亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人體姿態估計的目的是通過圖像、視頻等輸入數據定位人體部位，構建人體表征(如人體骨架)。在過去的十年中，它受到了越來越多的關注，并被廣泛應用于人機交互、運動分析、增強現實和虛擬現實等領域。盡管最近開發的基于深度學習的解決方案在人體姿態估計方面取得了很高的性能，但由于訓練數據不足、深度模糊和遮擋，仍然存在挑戰。本綜述論文的目的是通過對基于輸入數據和推理的解決方案進行系統的分析和比較，對最近基于深度學習的二維和三維姿態估計解決方案進行全面的回顧。這項綜述涵蓋了自2014年以來的240多篇研究論文。此外，還包括了二維和三維人體姿態估計數據集和評估指標。本文總結和討論了現有方法在流行數據集上的定量性能比較。最后，對所涉及的挑戰、應用和未來的研究方向進行了總結。

//www.zhuanzhi.ai/paper/7459265d2fbd81f9b91bf0f7b461bcc7

圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

導論

圖作為一種復雜的數據結構，由節點(或頂點)和邊(或鏈接)組成。它可以用于建模現實世界中的許多復雜系統，如社會網絡、蛋白質相互作用網絡、大腦網絡、道路網絡、物理相互作用網絡和知識圖等。因此，分析復雜網絡成為一個有趣的研究前沿。隨著深度學習技術的快速發展，許多學者采用深度學習體系結構來處理圖形。圖神經網絡(GNN)就是在這種情況下出現的。到目前為止，GNN已經發展成為一種流行和強大的計算框架，用于處理不規則數據，如圖形和流形。

GNN可以通過層次迭代算子學習任務特定的節點/邊/圖表示，從而利用傳統的機器學習方法執行與圖相關的學習任務，如節點分類、圖分類、鏈路預測和聚類等。盡管GNNs在圖形相關學習任務上取得了很大的成功，但他們仍然面臨著巨大的挑戰。首先，圖數據結構的復雜性給大型圖數據帶來了昂貴的計算代價。其次，擾動圖結構和/或初始特征會導致性能急劇下降。第三，wesfeiller - leman (WL)圖同構檢驗阻礙了GNNs的性能提升。最后，GNN的黑盒工作機制阻礙了將其安全部署到實際應用中。

本文將傳統的深度體系結構推廣到非歐氏域，總結了圖神經網絡的體系結構、擴展和應用、基準和評估缺陷以及未來的研究方向。到目前為止，已經對GNN進行了幾次調查。然而，他們通常從不同的角度、不同的側重點來討論GNN模型。據我們所知，關于GNN的第一次調查是由Michael M. Bronstein等人進行的。Peng Cui等[2]從三個方面綜述了應用于圖形的各種深度學習模型: 包括圖卷積神經網絡在內的半監督學習方法，包括圖自動編碼器在內的非監督學習方法，以及包括圖循環神經網絡和圖強化學習在內的最新進展。本研究側重于半監督學習模型，即空間圖和光譜圖卷積神經網絡，而對其他兩個方面的研究相對較少。由于篇幅有限，本調查只列出了GNNs的幾個關鍵應用，但忽略了應用的多樣性。孫茂松等人[3]從圖類型、傳播步驟和訓練方法三個方面詳細回顧了光譜和空間圖卷積神經網絡，并將其應用分為結構場景、非結構場景和其他場景三種場景。然而，這篇文章沒有涉及其他GNN架構，如圖形自動編碼器，圖形循環神經網絡和圖形生成網絡。Philip S. Yu等人[4]對圖神經網絡進行了全面的調查，并調查了可用的數據集、開源實現和實際應用。然而，對于每個研究主題，他們只列出了少量的核心文獻。Davide Bacciu等人[367]溫和地介紹了圖形數據的深度學習領域。本文的目的是介紹為圖數據構造神經網絡的主要概念和構建模塊，因此它沒有對最近的圖神經網絡工作進行闡述。

值得注意的是，上述所有調研都不涉及GNN的能力和可解釋性、概率推理和GNN的組合以及對圖的對抗攻擊。本文從架構、擴展和應用、基準測試和評估缺陷、未來研究方向四個方面為讀者提供了GNN的全景圖，如圖1所示。對于GNNs的結構，我們研究了圖卷積神經網絡(GCNNs)、圖池算子、圖注意機制和圖循環神經網絡(GRNNs)等方面的研究。通過對上述體系結構的集成，實現了GNNs的擴展和應用，展示了一些值得關注的研究課題。具體來說，這一視角包括深度圖表示學習、深度圖生成模型、概率推理(PI)和gnn的組合、GNN的對抗攻擊、圖神經結構搜索和圖強化學習和應用。綜上所述，本文對GNNs進行了完整的分類，并對GNNs的研究現狀和發展趨勢進行了全面的綜述。這些是我們與上述調查的主要不同之處。

我們的主要貢獻可以歸結為以下三個方面。

1. 我們提出了一種新的GNN分類方法，它有三個層次。第一個包括架構、基準測試和評估缺陷以及應用程序。體系結構分為9類，基準測試和評估缺陷分為2類，應用程序分為10類。此外，圖卷積神經網絡作為一種經典的GNN體系結構，又被分為6類。

2. 我們提供了GNN的全面回顧。所有的文獻都屬于相應的類別。希望讀者通過閱讀本概覽，不僅了解GNNs的全貌，而且了解GNNs的基本原理和各種計算模塊。

3.根據目前GNNs所面臨的挑戰，我們總結了未來四個研究方向，其中大部分在其他研究中沒有提及。希望通過克服這些挑戰，使GNNs的研究進入一個新的階段

未來研究方向：

盡管GNNs在許多領域取得了巨大的成功，但仍存在一些有待解決的問題。本節總結了GNNs未來的研究方向。

• 高度可伸縮的GNN。現實世界的圖通常包含數億個節點和邊，并具有動態演化的特征。事實證明，現有的GNN架構很難擴展到巨大的真實世界圖。這促使我們設計高度可伸縮的GNN架構，能夠高效和有效地學習節點/邊/圖表示為巨大的動態演化圖。

• 健壯的GNN。現有的GNN架構容易受到對抗性攻擊。也就是說，一旦輸入圖的結構和/或初始特征受到攻擊，GNN模型的性能就會急劇下降。因此，我們應該將攻擊防御機制整合到GNN體系結構中，即構建健壯的GNN體系結構，以增強其對抗攻擊的能力。

• GNNs超過WL測試。空間廣義網格網絡的性能受單WL的限制，而高階WL檢驗的計算代價昂貴。因此，在適當的條件下，兩個非同構圖將產生相同的節點/邊/圖表示。這促使我們開發一個超越WL測試的新的GNN框架，或者設計一個優雅的高階GNN架構來對應高階WL測試。

• 可解釋的GNN。現有的GNN在一個黑盒中工作。我們不明白為什么它們在節點分類任務、圖分類任務和圖嵌入任務等方面都能達到如此先進的性能。可解釋性已經成為將GNNs應用于現實問題的一個主要障礙。雖然已有一些研究對某些特定的GNN模型進行了解釋，但它們不能解釋一般的GNN模型。這促使我們為gnn構建一個統一的可解釋框架。

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496

The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人臉識別是計算機視覺領域中最基本、最長期存在的研究課題之一。隨著深度卷積神經網絡和大規模數據集的發展，深度人臉識別取得了顯著的進展，并在實際應用中得到了廣泛的應用。以自然圖像或視頻幀作為輸入，端到端深度人臉識別系統輸出人臉特征進行識別。為了實現這一目標，整個系統通常由三個關鍵要素構建:人臉檢測、人臉預處理和人臉表示。人臉檢測在圖像或幀中定位人臉。然后，對人臉進行預處理，將人臉標定為標準視圖，并將其裁剪為標準化像素大小。最后，在人臉表示階段，從預處理后的人臉中提取識別特征進行識別。深度卷積神經網絡滿足了這三個要素。摘要隨著深度學習技術的蓬勃發展，端到端深度人臉識別技術的能力得到了極大的提高，本文對端到端深度人臉識別技術中各個方面的最新進展進行了綜述。首先，我們介紹端到端深度人臉識別的概述，如前所述，它包括人臉檢測、人臉預處理和人臉表示。然后，我們分別回顧了基于深度學習的每個元素的進展，包括許多方面，如最新的算法設計、評估指標、數據集、性能比較、存在的挑戰和未來的研究方向。我們希望這一調查可以為我們更好地理解端到端人臉識別的大圖和更系統的探索帶來有益的想法。

//arxiv.org/abs/2009.13290

主動學習試圖在具有盡可能少標注樣本的同時最大化模型的性能增益。深度學習(Deep learning, DL)需要大量標注數據，如果模型要學習如何提取高質量的特征，就需要大量的數據供應來優化大量的參數。近年來，由于互聯網技術的飛速發展，我們進入了一個以海量可用數據為特征的信息豐富性時代。因此，DL得到了研究者的極大關注，并得到了迅速的發展。但與DL相比，研究者對AL的興趣相對較低，這主要是因為在DL興起之前，傳統機器學習需要的標記樣本相對較少，這意味著早期的AL很少被賦予應有的價值。雖然DL在各個領域都取得了突破，但大部分的成功都要歸功于大量公開的帶標注的數據集。然而，獲取大量高質量的帶注釋數據集需要耗費大量人力，在需要較高專業知識水平的領域(如語音識別、信息提取、醫學圖像等)是不可行的，因此AL逐漸得到了它應該得到的重視。

因此，研究是否可以使用AL來降低數據標注的成本，同時保留DL強大的學習能力是很自然的。由于這些調研的結果，深度主動學習(DAL)出現了。雖然對這一課題的研究相當豐富，但至今還沒有對相關著作進行全面的調研; 因此，本文旨在填補這一空白。我們為現有的工作提供了一個正式的分類方法，以及一個全面和系統的概述。此外，我們還從應用的角度對DAL的發展進行了分析和總結。最后，我們討論了與DAL相關的問題，并提出了一些可能的發展方向。

概述：

深度學習(DL)和主動學習(AL)在機器學習領域都有重要的應用。由于其優良的特性，近年來引起了廣泛的研究興趣。更具體地說，DL在各種具有挑戰性的任務上取得了前所未有的突破;然而，這很大程度上是由于大量標簽數據集的發表[16,87]。因此，在一些需要豐富知識的專業領域，樣品標注成本高限制了DL的發展。相比之下，一種有效的AL算法在理論上可以實現標注效率的指數加速。這將極大地節省數據標注成本。然而，經典的AL算法也難以處理高維數據[160]。因此，DL和AL的結合被稱為DAL，有望取得更好的效果。DAL被廣泛應用于多個領域，包括圖像識別[35,47,53,68]，文本分類[145,180,185]，視覺答題[98]，目標檢測[3,39,121]等。雖然已經發表了豐富的相關工作，DAL仍然缺乏一個統一的分類框架。為了填補這一空白，在本文中，我們將全面概述現有的DAL相關工作，以及一種正式的分類方法。下面我們將簡要回顧DL和AL在各自領域的發展現狀。隨后，在第二節中，進一步闡述了DL與AL結合的必要性和挑戰。

圖1所示。DL、AL和DAL的典型體系結構比較。(a)一種常見的DL模型:卷積神經網絡。(b) 基于池化的AL框架: 使用查詢策略查詢未標記的樣本池U和將其交給oracle進行標注,然后將查詢樣本添加到標記的訓練數據集L，然后使用新學到的知識查詢的下一輪。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。(c) DAL的一個典型例子:在標簽訓練集L0上初始化或預訓練DL模型的參數的常變量，利用未標記池U的樣本通過DL模型提取特征。然后根據相應的查詢策略選擇樣本，在查詢時對標簽進行查詢，形成新的標簽訓練集L，然后在L上訓練DL模型，同時更新U。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。

DAL結合了DL和AL的共同優勢:它不僅繼承了DL處理高維圖像數據和自動提取特征的能力，也繼承了AL有效降低標注成本的潛力。因此，DAL具有令人著迷的潛力，特別是在標簽需要高水平的專業知識和難以獲得的領域。

語義表示是自然語言處理的基礎，我們需要將原始文本數據中的有用信息轉換為計算機能夠理解的語義表示，才能實現各種自然語言處理應用。表示學習旨在從大規模數據中自動學習數據的語義特征表示，并支持機器學習進一步用于數據訓練和預測。以深度學習為代表的表示學習技術，能夠靈活地建立對大規模文本、音頻、圖像、視頻等無結構數據的語義表示，顯著提升語音識別、圖像處理和自然語言處理的性能，近年來引發了人工智能的新浪潮。本書是第一本完整介紹自然語言處理表示學習技術的著作。書中全面介紹了表示學習技術在自然語言處理領域的最新進展，對相關理論、方法和應用進行了深入介紹，并展望了未來的重要研究方向。

本書全面介紹了自然語言處理表示學習技術的理論、方法和應用，內容包括三大部分：第一部分介紹了單詞、短語、句子和文檔等不同粒度語言單元的表示學習技術；第二部分介紹了與自然語言密切相關的世界知識、語言知識、復雜網絡和跨模態數據的表示學習技術；第三部分整理了相關開放資源與工具，并探討了面向自然語言處理的表示學習技術面臨的重要挑戰和未來研究方向。本書對于自然語言處理和人工智能基礎研究具有一定的參考意義，既適合專業人士了解自然語言處理和表示學習的前沿熱點，也適合機器學習、信息檢索、數據挖掘、社會網絡分析、語義Web等其他相關領域學者和學生作為參考讀物。

基于協同過濾(CF)的潛在因素模型(LFM)，如矩陣分解(MF)和深度CF方法，由于其良好的性能和推薦精度，在現代推薦系統(RS)中得到了廣泛的應用。盡管近年來取得了巨大的成功，但事實表明，這些方法易受對抗性例子的影響，即，這是一種微妙但非隨機的擾動，旨在迫使推薦模型產生錯誤的輸出。這種行為的主要原因是，用于LFM訓練的用戶交互數據可能會受到惡意活動或用戶誤操作的污染，從而導致不可預測的自然噪聲和危害推薦結果。另一方面，研究表明，這些最初設想用于攻擊機器學習應用程序的系統可以成功地用于增強它們對攻擊的魯棒性，以及訓練更精確的推薦引擎。在這方面，本調查的目標有兩方面:(i)介紹關于AML-RS的最新進展，以保障AML-RS的安全性。(ii)展示了AML在生成對抗網絡(GANs)中的另一個成功應用，生成對抗網絡(GANs)使用了AML學習的核心概念(即用于生成應用程序。在這項綜述中，我們提供了一個詳盡的文獻回顧60篇文章發表在主要的RS和ML雜志和會議。這篇綜述為RS社區提供了參考，研究RS和推薦模型的安全性，利用生成模型來提高它們的質量。

智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域，為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一，它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用，包括檢索顯示感興趣的個體的視頻序列，甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能，最近研究人員利用了深度神經網絡(DNNs)，因為它在類似的視覺問題上具有令人信服的性能，而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍，我們的目標是討論在該領域開展的工作，并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后，我們對這些模型進行了詳細的比較，并討論了它們的局限性，為今后的研究提供了指導。