亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

神經網絡已被證明是解決許多生活領域中復雜問題的一種高效工具。最近，隨著深度學習的出現，它們的重要性和實用性得到了進一步的加強。神經網絡成功的一個重要條件是選擇合適的激活函數，為模型引入非線性。過去的文獻中提出了許多類型的這些函數，但沒有一個全面的來源包含了它們的詳盡概述。即使根據我們的經驗，這個概述的缺失導致了冗余和無意中重新發現已經存在的激活函數。為了彌補這一缺口，我們的論文提出了一個涉及400種激活函數的廣泛綜述，其規模是之前綜述的幾倍。我們的綜合編纂還引用了這些綜述；然而，其主要目標是提供最全面的激活函數已發表概述和系統化，并鏈接到它們的原始來源。次要目標是更新對這一函數家族的當前理解。

神經網絡 — 尤其是深度學習 — 在解決各個領域中的多樣化挑戰上表現出了顯著的成功。它們被視為最先進的方法，展示了它們解決復雜和錯綜復雜問題的能力。在這些網絡的核心，激活函數（AFs）通過為神經網絡層引入非線性而發揮著重要作用。在沒有非線性AFs的情況下，典型的神經網絡將只能模擬輸入的加權和，限制了它們捕獲數據內部復雜關系的能力。

激活函數的選擇深刻影響網絡的學習和泛化能力，直接影響其在一系列任務中的性能。有效的激活函數具有幾個關鍵特性，如Dubey, Singh, 和 Chaudhuri在[1]中概述的：a) 引入非線性曲率以增強訓練收斂性；b) 在訓練期間保持無阻礙的梯度流；c) 確保對模型計算復雜性的最小增加；d) 保持數據分布以優化網絡訓練。

在過去三十年的文獻中提出了許多激活函數 — 有些在計算復雜性或性能方面比其他函數更高。然而，激活函數的進一步研究受到了缺乏整合列表的阻礙。這一缺口導致了無意中重新發明現有激活函數和獨立提出相同或非常相似的函數，從而導致研究資源的浪費。即使是像Dubey, Singh, 和 Chaudhuri [1] 和 Apicella等人[2]這樣的綜合性調查和回顧，經常遺漏文獻中存在的許多激活函數；此外，這些回顧也有些過時，自那以后出現了許多新的激活函數。這種疏忽可能導致一個AF被冗余地提出為新穎，盡管它之前已經在文獻中被介紹 — 例如，修正冪單元（RePU）（第3.6.39節），雙參數ReLU（DPReLU）（第4.2.20節），截斷修正線性單元（TRec）（第3.6.21節），ReLU-Swish（第3.6.46節）和有界ReLU（BReLU）（第3.6.16節）。通過提供更廣泛的激活函數列表，我們旨在避免這種冗余，并促進神經網絡中激活函數研究的更快進展。 為了解決這個問題，我們努力提供一個廣泛且整合的AFs列表。這項調查旨在防止冗余，消除重新發明已建立AFs的現象，以促進創新，并加速神經網絡領域研究的進步。通過提供一個綜合資源，我們旨在促進該領域內探索AFs的效率和創新。

重要的是，我們的貢獻主要集中在提供一個全面的AFs列表，而不是進行廣泛的基準測試或深入分析。編譯的廣度包括了廣泛的AFs，使得詳細的基準測試或更深入的分析超出了本項工作的范圍。我們的目標是為研究人員提供一個基礎資源，以便在選擇神經網絡的AFs時做出明智的決策，認識到更徹底的探索或詳細分析將需要超出這個全面列表范圍的專門和集中的努力。所呈現的概述僅限于實值激活函數；復值神經網絡（例如，[3–16]，簡要概述可見于[17, 18]），雙復值神經網絡（例如，[19]），四元數值神經網絡（例如，[20–24]），光子神經網絡（例如，[25]），模糊神經網絡（例如，[26–31]），概率布爾邏輯的AFs（例如，[32]），量子AFs（例如，[33]）等超出了本工作的范圍。1 我們選擇將AFs分為兩大類：固定AFs（第3節）和自適應激活函數（AAFs）（第4節），后者具有一個在網絡中與其他權重一起訓練的參數。雖然存在AFs在實質上是相同的情況，只是在是否存在特定的自適應參數方面有所不同（例如，swish（見第4.4.1節）和SiLU（見第3.3節）），這種分類證明是有價值的。AAFs憑借其參數化，提供了在訓練過程中捕獲數據內復雜關系的額外靈活性層。

圖神經網絡(GNNs)是許多與圖相關的應用的有效機器學習模型。盡管它們在實際應用中取得了成功，但仍有許多研究努力專注于GNNs的理論局限性，即GNNs的表達能力。

這個領域的早期工作主要集中在研究GNNs的圖同構識別能力，而近期的工作試圖利用諸如子圖計數和連接學習等屬性來描述GNNs的表達能力，這些都更加實用并且更接近實際應用。

然而，還沒有綜述論文和開源代碼庫能夠全面地總結和討論這個重要方向的模型。為了填補這個空白，我們進行了第一次關于增強不同定義形式下表達能力的模型的調查。

具體來說，這些模型基于三個類別進行了綜述，即，圖特征增強、圖拓撲結構增強以及GNNs架構增強。

圖神經網絡表達能力

圖神經網絡(GNNs)已經成為深度學習領域的一個突出模型，吸引了大量的研究興趣[1]–[3]。GNNs已經顯示出了在學習圖數據方面的卓越能力，它們的各種變體已經被廣泛地應用于眾多真實世界的場景，包括推薦系統[4]、計算機視覺[5]、自然語言處理[6]、分子分析[7]、數據挖掘[8]和異常檢測[9]。關于GNNs的基礎和應用的更多介紹，請參考文獻[10]–[12]以獲取更多詳細信息。

與結構良好的文本和圖像相比，圖是不規則的。在圖上進行機器學習的一個基本假設是，預測的目標應該與圖上節點的順序無關。為了滿足這個假設，GNNs引入了一個稱為排列不變性的歸納偏見[13]。具體地說，GNNs的輸出與圖的節點索引如何分配以及它們的處理順序無關，即，模型參數與節點順序無關，并在整個圖中共享。由于這種新的參數共享機制，我們需要新的理論工具來研究它們的表達能力。然而，研究GNNs的表達性面臨許多挑戰。首先，大多數GNNs通常被用作圖的黑盒特征提取器，我們不清楚它們能夠多好地捕獲不同的圖特征和拓撲。其次，由于引入了排列不變性，神經網絡(NNs)的經典通用逼近定理的結果[14]、[15]不能直接推廣到GNNs[16]–[18]。此外，在實踐中，表達能力的研究與圖論中一些長期存在的困難問題有關[19]、[20]。例如，在預測化學分子的性質時，需要判斷分子結構是否與已知性質的分子相同或相似，這涉及到圖/子圖同構判斷的問題[19]、[21]和圖匹配[22]、[23]等問題[24]。

已有一些關于GNNs表達能力的開創性研究。Morris等人[25]、[26]以及Xu等人[27]提出使用圖同構識別來解釋GNNs的表達能力，從而引領了分析GNNs的分離能力的趨勢。Maron等人[16]和Chen等人[28]提出使用GNNs來近似圖函數的能力來解釋它們的表達能力，并進一步給出了可以由GNNs近似的不變圖函數的集合表示，從而引領了分析GNNs的近似能力的趨勢。盡管近年來已經出現了多項描述和增強GNNs表達能力的研究，但在這個方向上仍然缺乏全面的評論。Sato[29]探討了圖同構測試與表達能力之間的關系，并總結了克服GNNs表達能力局限性的策略。然而，他們只描述了GNNs的分離能力和近似能力來描述GNNs的表達能力，而還存在其他能力，包括子圖計數能力、譜分解能力[30]–[32]、邏輯能力[33]–[39]等，這些也被認為是GNNs表達能力的主要類別。因此，澄清GNNs表達能力的定義和范圍是至關重要的，這也是促使這項工作的動機。 在這項工作中，我們認為GNNs的表達能力包括兩個方面，即特征嵌入能力和拓撲表示能力。作為神經網絡的一員，GNNs具有強大的特征嵌入能力。拓撲表示能力是GNNs的獨特能力，這使GNNs與其他機器學習模型有所不同。基于這兩個組件，我們進一步分析了GNNs表達能力的邊界及其影響因素。研究發現，影響GNNs表達能力的因素也包括特征和拓撲，其中GNNs在學習和保持圖拓撲方面的缺陷是限制其表達能力的主要因素。 基于對影響GNNs表達能力因素的分析，本文將改進GNNs表達能力的現有工作總結為三個類別，即圖特性增強、圖拓撲增強和GNNs架構增強。圖特性增強旨在通過增強特征嵌入效果來提高表達能力。圖拓撲增強旨在更有效地表示圖拓撲，以幫助GNNs捕獲更復雜的圖拓撲信息。GNNs架構增強涉及改進限制GNNs表達能力的排列不變的聚合函數。我們還指出了這一方向現有基準和評估指標中的一些不足，并強調確定GNNs表達能力的挑戰。此外，我們提出了幾個有前景的未來研究方向，包括一個為設計更強大的GNNs而提出的受物理啟發的方法論，以及利用圖神經架構搜索。本文的結構組織如下：第2節介紹初步知識，包括圖神經網絡的基礎和圖同構。第3節給出了GNNs表達能力的統一定義。第4節分析了影響因素以及旨在提高GNNs表達能力的現有工作。第5節指出了這一研究方向中的幾個挑戰和機會。最后，我們在第6節結束。

GNNs的表達能力

表達能力。所有的機器學習問題都可以被抽象為從特征空間X到目標空間Y的映射f?。f?通常使用模型fθ來近似，通過優化一些參數θ。在實踐中，f?通常是事先未知的，所以人們希望fθ能盡可能地近似一大范圍的f?。估計這個范圍有多寬被稱為模型的表達能力，它為模型的潛力提供了一個重要的度量[69]，如圖3(a)所示。

神經網絡（NNs）強大的表達能力體現在它們可以近似所有連續函數[70]的能力上，特別是將特征空間X中的數據嵌入到由任何連續函數生成的目標空間Y的能力，這實際上是特征嵌入能力，如圖3(b)所示。由于NNs的強大表達能力，很少有工作懷疑在各種應用任務中展現出明顯優越性能的GNNs的表達能力，因為它們天然地將GNNs的優越性能歸因于它們出色的特征嵌入能力。然而，一些增強的多層感知器(MLP)模型[71]、[72]在多個節點分類問題[73]中的性能超過了GNNs，盡管前者的表達能力比后者少，其中MLPs[74]僅使用每個節點的信息來計算節點的特征嵌入，而GNNs在每一層迭代地聚合鄰近節點的特征，從而允許使用全局信息來計算節點的特征嵌入。這一事實導致了我們對表達能力的直觀理解之間的矛盾，但同時也說明特征嵌入能力并不能很好地描述GNNs的表達能力。與NNs相比，GNNs增加了排列不變性的歸納偏見，使得它們可以在圖的拓撲結構上傳播和聚合信息。[48]、[75]證明，如果GNNs只有特征嵌入能力，但缺乏保持圖拓撲的能力，那么它們的性能可能不如MLP。此外，我們知道前饋神經網絡的表達能力通常受到它們寬度的限制，而GNNs的表達能力不僅受到它們的寬度的限制，還受到它們如何使用圖拓撲進行消息傳播和節點更新的限制。由此可見，GNNs的拓撲表示能力，即保持圖拓撲的能力，成為了它們優越性能的關鍵。為了使用它們的拓撲表示能力來描述GNNs的表達能力，則需要一套新的理論工具。

提高GNNs表達能力的現有研究

為了提高GNNs的表達能力，我們可以從兩個方面來考慮：一是提高特征嵌入效果，二是提高拓撲表示效果。特征嵌入效果的增強依賴于特征本身的增強，包括提取特征之間的依賴性和添加相關特征。增強拓撲表示效果有兩種有效的方法。一種方法是為GNNs學習直接編碼相關的拓撲信息，另一種方法是優化GNNs模型架構，以消除由排列不變聚合函數引起的保持拓撲的障礙。在本文中，我們總結了這三種方法為：圖特征增強（增強特征嵌入效果）、圖拓撲增強（直接編碼拓撲信息）和GNNs架構增強（減輕排列不變聚合函數的缺陷）。符合我們的預期，目前已知的用于提高表達能力的更強大的GNNs模型設計都可以歸入我們總結的這三種方法。表2根據它們采用的設計方法檢查并系統地分類了近年來更具表達能力的GNNs的設計。

結論

關于GNNs表達能力的研究已經相當成熟，越來越多的改進模型不斷出現。然而，這些研究并沒有為深入了解GNNs的表達能力作出顯著的貢獻。因此，我們提出了一個統一的理論框架，用于描述GNNs的表達能力，包括定義、局限性和分析影響表達的因素。此外，我們利用這個框架來總結和分類目前用于增強GNNs表達能力的方法。總的來說，作為圖形學習模型的一個范例，GNNs的表達能力既涉及到圖的特征，也涉及到拓撲。因此，設計方法應該同時考慮這兩個方面。我們的統一框架為在這個背景下研究GNNs的表達能力提供了一個新穎的、標準化的路徑。

張量網絡(TNs)和神經網絡(NNs)是兩種基本的數據建模方法。TNs通過將指數維數轉換為多項式復雜度，被提出作為大規模張量面臨的維數災難的解決方案。因此，它們吸引了量子物理和機器學習領域的許多研究。另一方面，神經網絡是受構成人類大腦的生物神經網絡啟發的計算系統。近年來，神經網絡及其變體在計算機視覺、自然語言處理和機器人研究等各種應用中取得了卓越的性能。有趣的是，盡管這兩種類型的網絡來自不同的觀察，但它們通過TNs和NNs共同的內在多線性結構不可避免地聯系在一起。因此，出現了大量關于TNs和NN結合的思想火花。將"張量網絡與神經網絡"的組合稱為張量神經網絡(tensorial neural networks, TNNs)。**本文從三個方面對TNNs進行了介紹。1)網絡壓縮。TNs可以大大減少神經網絡中的參數，滿足構造有效神經網絡的思想。2)信息融合。TNs可以自然有效地增強神經網絡的能力，對多種模態、視圖或各種數據來源之間的相互作用進行建模。3)量子電路仿真。**TNs可以幫助設計和模擬量子神經網絡(QNNs)。本綜述還研究了改進TNN的方法，研究了用于實現TNN的有用工具箱，并試圖記錄TNN的發展并強調其潛在的未來方向。據我們所知，這是第一次將神經網絡、TNs和量子電路之間的聯系聯系起來的全面綜述。我們在//github.com/tnbar/awesome-tensorial-neural-networks上提供了一個精心策劃的TNNs列表。

1. 引言

**張量是高階數組，表示多個模態源之間的多方向相互作用。**相比之下，向量(即一階張量)和矩陣(即二階張量)分別只能以一種或兩種模式訪問。張量作為一種常見的數據類型，在[1]，[2]，[3]，[4]等場景中得到了廣泛的觀察。例如，功能磁共振成像(fMRI)樣本本質上是四階張量，由隨時間變化的三維體素組成[5]，[6]，[7]。在量子物理中，用于研究多體量子系統的變分波函數也是高階張量[8]，[9]。對于時空交通分析，幾周內從多條道路收集的道路流量/速度信息也可以構建為一個三階張量(road segment×day×time of day)[10]。然而，對于高階張量，當模態數量增加時，張量中的元素總數呈指數增長，導致存儲和處理張量時出現災難。這種現象也被公認為“維數詛咒”[11]。 張量網絡(TNs)。TNs[8]，[11]，[12]通常是通過張量收縮連接的小尺度張量的可數集合。這些小尺度張量被稱為“分量”、“塊”、“因子”或“核心”。非常大規模的張量可以通過TNs以極度壓縮和分布式的格式近似表示。因此，對以前無法處理的高階張量進行分布式存儲和高效處理是可行的。通過TN方法，可以緩解或完全克服[11]的維數災難問題。常用的TN格式包括CANDECOMP/PARAFAC (CP)[13]、[14]、[15]、Tucker分解[16]、[17]、Blockterm Tucker (BTT)分解[18]、[19]、[20]、矩陣積態(MPS)/張量列(TT)分解[21]、[22]、[23]、[24]、矩陣積算子(MPO)/矩陣張量列(mTT)分解[21]、[22]、[23]、[24]、張量環(TR)分解[25]、樹TN/層次Tucker (HT)分解[26]、投影糾纏對態(PEPS)/張量網格分解[8]、[27]，[28]，多尺度糾纏重整化[29]等。為了理解TNs相互關聯的結構，TN圖被開發為一種簡單的圖形圖(將在2.2節討論)。TN可以為分析一些計算上不可接受的任務提供一個理論和計算框架。例如，Pan等人基于TNs的低秩結構，[30]能夠在15小時內使用512個圖形處理器(GPU)解決量子隨機電路采樣問題;這個問題之前被認為在最強大的經典電子超級計算機上需要超過10000年的時間，并有效地挑戰了谷歌的量子計算機“Sycamore”的量子霸權。其他應用包括腦分析[31]、量子化學計算[32]、人臉聚類[33]、降維[34]、缺失值估計[35]、潛在因子分析[36]、子空間學習[37]等。

**神經網絡(NNs)。**神經網絡是受生物啟發的學習范式，使機器能夠通過反向傳播從觀察數據中學習知識[38]，[39]。多層堆疊的神經網絡，即深度神經網絡[40]、[41]，因其強大的從深層結構中捕獲豐富信息的能力，被廣泛應用于人工智能領域。典型的DNN類型包括受限玻爾茲曼機(RBMs)[42]、卷積神經網絡(CNNs)[41]、[43]、循環神經網絡(RNNs)[44]、[45]和transformer[46]、[47]。DNNs目前在計算機視覺[48]和自然語言處理[49]的廣泛應用中達到了最先進的性能。例如，一些CNN架構，如AlexNet [50]， VGGNet [51]， GoogLeNet[52]和ResNet[53]在ImageNet數據集[54]上贏得了冠軍，展示了解決圖像分類任務的良好潛力。特別是Alphafold[55]，[56]，這是一種Transformer架構，可以在幾天內識別蛋白質的結構，此前研究人員需要數年時間。最近，Alphafold2[55]、[56]以平均原子精度預測了幾乎所有已知蛋白質的結構。深度學習技術仍在推動多個學科的發展，包括語音識別[57]、DNA突變檢測[58]、結構生物學[55]、[56]、藥物發現[59]、食品安全[60]等。

**張量網絡遇見神經網絡。如上所述，TNs和NN是兩種來自不同起源并在不同方面取得成功的網絡。有趣的是，它們通過它們的多線性數學性質緊密結合而不是相互正交[11]。因此，一種有希望的方法是通過多元線性來整合它們，以達到“整體大于部分的總和”的目標。TNs的主要優點是其緊湊的結構、多條目以及與量子力學的密切聯系，而NN則以其廣泛的應用而聞名[8]，[12]。基于這些觀察，可以通過三種方式將TNs和NNs結合起來。(1)網絡壓縮。**神經網絡在各種任務中取得了許多成功[40]，[41]，[41]。然而，神經網絡仍然存在大量維度的過度線性乘積計算和維數災難[78]。解決這個問題的一個有希望的解決方案是利用TNs的輕量級和多線性特性[68]，[78]，[79]。其中，TNs可以將NNs的任何張量分解為更小的塊，從而將維度降低到線性復雜度[61]，[62]。例如，與使用樸素長短期記憶網絡(LSTM)進行動作識別任務相比，利用TN技術分解權重張量的TR-LSTM[79]模型可以將參數數量壓縮約34000倍，同時性能優于樸素LSTM。 **(2)信息融合。**在實際的數據分析中，多模態數據的高階交互建模對于獲得更好的性能是很重要的。然而，神經網絡通常用于處理單模向量的輸入，因此它們缺乏足夠的表達能力來建模這種高階交互[101]。為了解決這個問題，一種有希望的方法是將TNs嵌入到神經網絡中，作為有效的融合單元，借助多入口屬性[97]，[98]，[100]來處理多模態數據。以視覺問答(VQA)任務[142]為例，多模態Tucker融合(MUTAN)[101]可以通過Tucker格式框架學習文本表示和視覺表示之間的高級交互。因此，MUTAN通過有效的參數化低秩結構實現了最先進的性能。(3)量子電路仿真。TNs可以作為仿真器，成為經典神經網絡和量子電路之間的橋梁。首先，許多研究建議在量子電路上實現神經網絡，以通過量子計算方案的超并行性來加快其運行速度[143]，[144]。然而，目前量子計算機還沒有足夠的能力直接部署神經網絡，這給驗證量子神經網絡(quantum neural networks, QNNs)的可能性能帶來了困難[143]。幸運的是，由于TNs和量子電路[8]之間的等效性，[145]，TNs可以成為電子計算機中有效的量子模擬器。詳細地說，量子電路中的輸入量子比特和幺正運算門可以看作張量。門連接也可以被視為TN方案中的張量收縮[145]。利用TNs實現NNs的量子電路模擬，可以在制造出真正強大的量子計算機之前，開啟QNNs探索的新時代。

我們將這種連接TNs和NNs的方法族稱為張量神經網絡(TNNs)。據我們所知，這是第一次將神經網絡、TNs和量子電路之間的聯系聯系起來的全面綜述。TNN及其效用的概述如表1所示。本綜述的其余部分組織如下。第2節提供了張量符號、張量圖和TN格式的基礎知識。第3節討論如何使用TNs來構建緊湊的TNN。第4節探討了使用TNN的高效信息融合過程。第5節討論了TNs在量子電路和TNNs中的一些基本應用。第6節解釋了TNNs的一些訓練和實現技術。第7節介紹了可用于處理TNN的通用而強大的工具箱。

圖神經網絡(GNN)已被證明在處理與圖相關的任務方面取得了有競爭力的結果，如節點和圖分類、鏈接預測以及各種領域中的節點和圖聚類。盡管結果很有希望，但據報道GNN存在過度平滑、過度擠壓和不足。文獻中提出了圖重連和圖池化作為解決這些限制的解決方案。圖重連包括修改(編輯和/或重新加權)圖的邊，以便針對特定任務(如圖/節點分類或鏈接預測)優化信息流。許多圖重連方法依賴于邊采樣策略:首先，根據相關函數為邊分配新的權重，然后根據新的權重對它們進行重新采樣，以保留最相關的邊(即那些具有較大權重的邊)。計算邊緣相關性的方式有很多種，包括隨機計算、基于相似度計算或基于邊緣曲率計算。本教程提供了文獻中提出的基于擴散、曲率或譜概念的圖重連的最相關技術的概述。它將解釋它們的關系，并將介紹最相關的最先進的技術及其在不同領域的應用。本教程將從理論、經驗和倫理的角度概述這一領域的開放性問題。

本教程的主要目標是教授圖形重連的基礎知識及其當前的挑戰。我們將激發對數學上合理的圖重連方法的需求，作為解決GNN的主要限制的解決方案:欠延伸、過度平滑和過度擠壓。我們將解釋文獻中提出的實現圖重連的兩種主要方法:

• 直推式方法計算每個圖的新卷積矩陣作為預處理步驟，以提高手頭任務的性能。例如參數化擴散或基于曲率的方法。

• 歸納方法從子圖/圖的訓練中學習新的卷積矩陣，然后預測未見圖中的卷積矩陣。理想情況下，這個過程是完全可微的和無參數的。我們將深入研究這些方法的實現。

此外，我們將討論圖重連在解決人工智能帶來的社會和道德挑戰方面的潛力，特別是作為實現算法公平的工具。

圖神經網絡(GNNs)利用各種方法將卷積的概念推廣到圖中，已被廣泛應用于許多學習任務，包括物理系統建模，尋找分子表示來估計量子化學計算等。大多數現有的GNNs通過將網絡設想為一個消息傳遞方案來解決置換不變性，其中每個節點求和來自其鄰居的特征向量。我們認為該方案對GNN的表示能力施加了限制，使得每個節點在被求和聚合后失去了它們的身份。因此，我們提出了一種新的通用架構，稱為協變成分網絡(CCNs)，其中節點特征由高階張量表示，并根據其接受野對稱群的特定表示進行協變/等價變換。實驗表明，CCNs在標準圖學習基準和估計密度泛函理論(DFT)計算的分子性質方面優于競爭方法。這種新穎的機器學習方法允許科學家有效地提取化學知識，并探索日益增長的化學數據。

從多尺度角度理解圖對于捕獲分子、蛋白質、基因組等的大規模結構至關重要。為此，我們引入了多分辨率等變圖變分自編碼器(MGVAE)，這是第一個以多分辨率和等變方式學習和生成圖的分層生成模型。MGVAE建立在多分辨率圖網絡(MGN)之上，該體系結構顯式地學習頂點的多級硬聚類，從而形成真正的多分辨率層次結構。然后，MGVAE采用層次變分自編碼器模型，在給定潛在分布層次的情況下，隨機生成多個分辨率層次的圖。我們提出的框架實現了幾個生成任務，包括通用圖生成、分子生成、無監督分子表示學習、引用圖鏈接預測和基于圖的圖像生成。MGVAE的未來應用范圍從先導優化增強最有前途的化合物在藥物發現到尋找穩定的晶體結構在材料科學。

//people.cs.uchicago.edu/~hytruongson/PhD-Thesis.pdf 一般來說，我們希望學習由每個原子的一組電荷-位置對指定的分子數據。這個問題對旋轉和平移是不變的。我們使用協變激活來“烘焙”這些對稱性，同時保留局部幾何信息。我們提出協變分子神經網絡(Cormorant)，一種旋轉協變神經網絡結構，用于學習復雜多體物理系統的行為和特性。我們將這些網絡應用到分子系統中，有兩個目標:學習用于分子動力學模擬的原子勢能面，以及學習通過密度泛函理論計算的分子基態性質。我們的網絡的一些關鍵特征是:(a)每個神經元明確地對應于原子的一個子集;(b)每個神經元的激活與旋轉協變，確保整個網絡完全旋轉不變。此外，我們的網絡中的非線性是基于張量乘積和Clebsch-Gordan分解，允許網絡完全在傅里葉空間中運行。Cormorant在從MD-17數據集的構象幾何圖形中學習分子勢能面方面明顯優于其他算法，在學習GDB-9數據集上分子的幾何、能量、電子和熱力學性質方面與其他方法具有競爭力。

多分辨率矩陣分解(MMF)在快速矩陣分解算法中是不尋常的，因為它不做低秩的假設。這使得MMF特別適合于建模具有復雜的多尺度或層次結構的某些類型的圖。雖然MMF有望產生一個有用的小波基，但找到因式分解本身是困難的，現有的貪婪方法往往是脆弱的。因此，我們提出了MMF的“可學習”版本，該版本結合強化學習和通過反向傳播誤差的Stiefel流形優化，仔細優化了因式分解。基于MMF在分解歸一化圖拉普拉斯時產生的小波基，利用稀疏小波變換定義的圖卷積，構造譜域小波網絡學習圖。我們已經證明，由我們的可學習MMF產生的小波基遠遠優于先前的MMF算法，相應的小波網絡在引用圖的標準節點分類和分子圖分類上產生了最先進的結果。這對于理解和可視化復雜的層級結構(如社會網絡和生物數據)是一個很有前途的方向。

設計和分析時空網絡數據的學習模型對于預測、異常檢測和多智能體協調等任務具有重要意義。圖卷積神經網絡(GCNNs)是一種已建立的從時不變網絡數據學習的方法。圖卷積運算提供了一種原則性的方法來聚合每一層的多分辨率信息，并通過探索圖信號處理工具提供了一定程度的數學分析。這一分析為GCNNs的等方差特性提供了見解;學習濾波器的譜特性以及對圖拓撲中擾動的穩定性，這是由于支持攝動或不確定性引起的。然而，將卷積原則學習和各自分析擴展到時空領域是具有挑戰性的，因為時空數據有更多的內在相關性。因此，為了學習有意義的高階表示，需要有更高的靈活性來聯合捕獲空間和時間依賴性。在此，我們使用乘積圖來表示數據中的時空依賴關系，并引入圖-時間卷積神經網絡(Graph-Time Convolutional Neural Networks, gtcnn)作為一種原則性架構來輔助學習。該方法可用于任何類型的積圖，并引入參數積圖來學習時空耦合。卷積原理進一步允許類似GCNNs的數學處理。特別是穩定性結果表明，GTCNNs對空間擾動是穩定的，但在可分辨性和魯棒性之間存在隱式權衡;也就是說，模型越復雜，穩定性越差。在基準數據集上的大量數值結果證實了我們的發現，并表明GTCNN優于最先進的解決方案。我們預計，GTCNN將是一個起點，更復雜的模型，實現良好的性能，但也從根本上奠定了基礎。 //www.zhuanzhi.ai/paper/fdae650cba790b63edd03eccd71bb7c7

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

人工神經網絡與其他學科領域聯系日益緊密，人們通過對人工神經網絡層結構的探索和改進來解決各個領域的問題。根據人工神經網絡相關文獻進行分析，綜述了人工神經網絡算法以及網絡模型結構的發展史，根據神經網絡的發展介紹了人工神經網絡相關概念，其中主要涉及到多層感知器、反向傳播神經網絡、卷積神經網絡以及遞歸神經網絡，描述了卷積神經網絡發展當中出現的部分卷積神經網絡模型和遞歸神經網絡中常用的相關網絡結構，分別綜述了各個人工神經網絡算法在相關領域的應用情況，總結了人工神經網絡的未來發展方向。

圖神經網絡（GNN）是一類基于深度學習的處理圖域信息的方法，它通過將圖廣播操作和深度學習算法結合，可以讓圖的結構信息和頂點屬性信息都參與到學習中，在頂點分類、圖分類、鏈接預測等應用中表現出良好的效果和可解釋性，已成為一種廣泛應用的圖分析方法.然而現有主流的深度學習框架（如Tensorflow、PyTorch等）沒有為圖神經網絡計算提供高效的存儲支持和圖上的消息傳遞支持，這限制了圖神經網絡算法在大規模圖數據上的應用.目前已有諸多工作針對圖結構的數據特點和圖神經網絡的計算特點，探索了大規模圖神經網絡系統的設計和實現方案.本文首先對圖神經網絡的發展進行簡要概述，總結了設計圖神經網絡系統需要面對的挑戰；隨后對目前圖神經網絡系統的工作進行介紹，從系統架構、編程模型、消息傳遞優化、圖分區策略、通信優化等多個方面對系統進行分析；最后使用部分已開源的圖神經網絡系統進行實驗評估，從精確度、性能、擴展性等多個方面驗證這些系統的有效性.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6311

圖神經網絡（GNNs）在各種圖分析任務中得到了廣泛的關注，設計良好的消息傳播機制是GNNs中最基本的組成部分，并且被證明是十分有效的。雖然傳播機制多種多樣，但基本上都是以沿網絡拓撲傳播聚合節點特征的方式來利用拓撲與特征這兩種信息的。鑒于此，一個問題自然會被提出：盡管不同圖神經網絡有不同的傳播策略，是否存在統一的數學準則，能夠從本質上指導著不同的傳播機制？如果有的話，是什么？對這個問題較為完善的回答，可以幫助我們從宏觀的角度考察不同圖神經網絡之間的關系與差異。這樣的數學準則一旦被發現，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發更多新的圖神經網絡被設計出來。

本文中，我們首先分析了幾個具有代表性的圖神經網絡（例如GCN，SGC，PPNP）的傳播過程，并抽象出他們的共性。我們發現它們均可以歸結到一個統一的優化目標框架下，該優化目標由一個帶有靈活圖卷積核的特征擬合約束項和一個圖拉普拉斯正則項組成。特征擬合約束項旨在建立節點表示與原始節點特征之間的關系，而圖拉普拉斯正則項則起到拓撲平滑特征的作用。而對應圖神經網絡傳播后的節點表示則可以隱式地看做這個統一優化目標的最優解。

同時，基于該統一優化目標框架也較容易發現現有圖神經網絡傳播策略的不足之處，為設計新的圖神經網絡也提供了機會。通常來說，設計新的圖神經網絡往往側重于設計特定的譜圖濾波器或者空域聚合策略，而該統一框架為實現這一目標提供了另一種新的途徑，即通過設計傳播過程對應的優化目標函數來得到新的GNNs。這樣，我們就能夠清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。

本文的主要貢獻總結如下：

提出了一個包含特征擬合項與圖正則化項的統一優化目標框架，并從理論上證明了該框架能夠解釋多個圖神經網絡的傳播策略，為理解圖神經網絡提供了一個較宏觀的視角，也為設計新的圖神經網絡帶來新思路。 基于該統一優化框架，我們設計了兩種具有靈活圖卷積核擬合項的圖神經網絡傳播目標，并給出相應的網絡模型。同時對他們的收斂性，表達能力等進行了理論分析。 我們在六個數據集上驗證了提出兩種圖神經網絡模型的效果，實驗也表明他們具有較好的緩解過平滑的能力。這進一步驗證了基于該統一框架設計新圖神經網絡的可行性。