亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

人體姿態估計的目的是通過圖像、視頻等輸入數據定位人體部位，構建人體表征(如人體骨架)。在過去的十年中，它受到了越來越多的關注，并被廣泛應用于人機交互、運動分析、增強現實和虛擬現實等領域。盡管最近開發的基于深度學習的解決方案在人體姿態估計方面取得了很高的性能，但由于訓練數據不足、深度模糊和遮擋，仍然存在挑戰。本綜述論文的目的是通過對基于輸入數據和推理的解決方案進行系統的分析和比較，對最近基于深度學習的二維和三維姿態估計解決方案進行全面的回顧。這項綜述涵蓋了自2014年以來的240多篇研究論文。此外，還包括了二維和三維人體姿態估計數據集和評估指標。本文總結和討論了現有方法在流行數據集上的定量性能比較。最后，對所涉及的挑戰、應用和未來的研究方向進行了總結。

//www.zhuanzhi.ai/paper/7459265d2fbd81f9b91bf0f7b461bcc7

視頻中的異常檢測是一個研究了十多年的問題。這一領域因其廣泛的適用性而引起了研究者的興趣。正因為如此，多年來出現了一系列廣泛的方法，這些方法從基于統計的方法到基于機器學習的方法。在這一領域已經進行了大量的綜述，但本文著重介紹了使用深度學習進行異常檢測領域的最新進展。深度學習已成功應用于人工智能的許多領域，如計算機視覺、自然語言處理等。然而，這項調查關注的是深度學習是如何改進的，并為視頻異常檢測領域提供了更多的見解。本文針對不同的深度學習方法提供了一個分類。此外，還討論了常用的數據集以及常用的評價指標。然后，對最近的研究方法進行了綜合討論，以提供未來研究的方向和可能的領域。

//arxiv.org/abs/2009.14146

神經網絡在諸多應用領域展現了巨大的潛力，成為當前最熱門的研究方向之一。神經網絡的訓練主要通過求解一個優化問題來完成，但這是一個困難的非線性優化問題，傳統的優化理論難以直接應用。在神經網絡和優化的交叉領域，長期以來研究人員積累了大量的理論研究知識，不過這些研究或過于理論而不被大部分實踐者所了解，或過于偏工程而不被理論學者所理解和欣賞。本文的目的是總結目前對于神經網絡優化基本理論和算法的現狀，架起理論和實踐、優化和機器學習界之間的橋梁。

對苦于調參常感到困惑的工程師而言，本文可以提供一些已有的理論理解以供參考，并提供一些思考的方式。對理論學者而言，本文力圖解釋其作為數學問題的困難之所在以及目前的理論進展，以期吸引更多研究者投身神經網絡優化理論和算法研究。

本文概述了神經網絡的算法和優化理論。首先，我們討論梯度爆炸/消失問題和更一般的譜控制問題，然后討論實際中常用的解決方案，包括初始化方法和歸一化方法。其次，我們回顧用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和大規模分布式訓練方法，以及這些算法的現有理論結果。第三，我們回顧了最近關于神經網絡訓練的全局問題的研究，包括局部極值、模式連接、彩票假設和無限寬度分析等方面的結果。

主題： Deep Learning for Community Detection: Progress, Challenges and Opportunities

摘要： 由于社區代表著相似的觀點，相似的功能，相似的目的等，因此社區檢測在科學查詢和數據分析中都是重要且極其有用的工具。 但是，隨著深度學習技術展示出以令人印象深刻的性能處理高維圖數據的能力日益增強，諸如頻譜聚類和統計推斷之類的經典社區檢測方法正在逐漸被淘汰。 因此，對通過深度學習進行社區發現的當前進展進行調查是及時的。 本文分為三個領域，分別是深度神經網絡，深度圖嵌入和圖神經網絡，本文總結了各個框架中各種框架，模型和算法的貢獻以及當前尚未解決的挑戰以及 未來的研究機會有待探索。

現實網絡由多種相互作用、不斷進化的實體組成，而現有的研究大多將其簡單地描述為特定的靜態網絡，而沒有考慮動態網絡的演化趨勢。近年來，動態網絡的特性跟蹤研究取得了重大進展，利用網絡中實體和鏈接的變化來設計網絡嵌入技術。與被廣泛提出的靜態網絡嵌入方法相比，動態網絡嵌入努力將節點編碼為低維密集表示，有效地保持了網絡結構和時間動態，有利于處理各種下游機器學習任務。本文對動態網絡嵌入問題進行了系統的研究，重點介紹了動態網絡嵌入的基本概念，首次對現有的動態網絡嵌入技術進行了分類，包括基于矩陣分解的、基于躍格的、基于自動編碼器的、基于神經網絡的等嵌入方法。此外，我們仔細總結了常用的數據集和各種各樣的后續任務，動態網絡嵌入可以受益。在此基礎上，提出了動態嵌入模型、大規模動態網絡、異構動態網絡、動態屬性網絡、面向任務的動態網絡嵌入以及更多的嵌入空間等現有算法面臨的挑戰，并提出了未來可能的研究方向。

雖然像CNNs這樣的深度學習模型在醫學圖像分析方面取得了很大的成功，但是小型的醫學數據集仍然是這一領域的主要瓶頸。為了解決這個問題，研究人員開始尋找現有醫療數據集之外的外部信息。傳統的方法通常利用來自自然圖像的信息。最近的研究利用了來自醫生的領域知識，通過讓網絡模仿他們如何被訓練，模仿他們的診斷模式，或者專注于他們特別關注的特征或領域。本文綜述了將醫學領域知識引入疾病診斷、病變、器官及異常檢測、病變及器官分割等深度學習模型的研究進展。針對不同類型的任務，我們系統地對所使用的不同類型的醫學領域知識進行了分類，并給出了相應的整合方法。最后，我們總結了挑戰、未解決的問題和未來研究的方向。