亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著深度學習的成功，基于圖神經網絡（GNN）的方法[8，12，30]已經證明了它們在分類節點標簽方面的有效性。大多數GNN模型采用消息傳遞策略[7]：每個節點從其鄰域聚合特征，然后將具有非線性激活的分層映射函數應用于聚合信息。這樣，GNN可以在其模型中利用圖結構和節點特征信息。

然而，這些神經模型的預測缺乏透明性，人們難以理解[36]，而這對于與安全和道德相關的關鍵決策應用至關重要[5]。此外，圖拓撲、節點特征和映射矩陣的耦合導致復雜的預測機制，無法充分利用數據中的先驗知識。例如，已有研究表明，標簽傳播法采用上述同質性假設來表示的基于結構的先驗，在圖卷積網絡（GCN）[12]中沒有充分使用[15,31]。

作為證據，最近的研究提出通過添加正則化[31]或操縱圖過濾器[15，25]將標簽傳播機制納入GCN。他們的實驗結果表明，通過強調這種基于結構的先驗知識可以改善GCN。然而，這些方法具有三個主要缺點：（1）其模型的主體仍然是GNN，并阻止它們進行更可解釋的預測；（2）它們是單一模型而不是框架，因此與其他高級GNN架構不兼容；（3）他們忽略了另一個重要的先驗知識，即基于特征的先驗知識，這意味著節點的標簽完全由其自身的特征確定。

為了解決這些問題，我們提出了一個有效的知識蒸餾框架，以將任意預訓練的GNN教師模型的知識注入精心設計的學生模型中。學生模型是通過兩個簡單的預測機制構建的，即標簽傳播和特征轉換，它們自然分別保留了基于結構和基于特征的先驗知識。具體來說，我們將學生模型設計為參數化標簽傳播和基于特征的2層感知機（MLP）的可訓練組合。另一方面，已有研究表明，教師模型的知識在于其軟預測[9]。通過模擬教師模型預測的軟標簽，我們的學生模型能夠進一步利用預訓練的GNN中的知識。因此，學習的學生模型具有更可解釋的預測過程，并且可以利用GNN和基于結構/特征的先驗知識。我們的框架概述如圖1所示。 圖片

圖1：我們的知識蒸餾框架的示意圖。學生模型的兩種簡單預測機制可確保充分利用基于結構/功能的先驗知識。在知識蒸餾過程中，將提取GNN教師中的知識并將其注入學生。因此，學生可以超越其相應的老師，得到更有效和可解釋的預測。

我們在五個公共基準數據集上進行了實驗，并采用了幾種流行的GNN模型，包括GCN[12]、GAT[30]、SAGE[8]、APPNP[13]、SGC[33]和最新的深層GCN模型GCNII[4]作為教師模型。實驗結果表明，就分類精度而言，學生模型的表現優于其相應的教師模型1.4％-4.7％。值得注意的是，我們也將框架應用于GLP[15]，它通過操縱圖過濾器來統一GCN和標簽傳播。結果，我們仍然可以獲得1.5％-2.3％的相對改進，這表明了我們框架的潛在兼容性。此外，我們通過探究參數化標簽傳播與特征轉換之間的可學習平衡參數以及標簽傳播中每個節點的可學習置信度得分，來研究學生模型的可解釋性。總而言之，改進是一致，并且更重要的是，它具有更好的可解釋性。

本文的貢獻總結如下：

• 我們提出了一個有效的知識蒸餾框架，以提取任意預訓練的GNN模型的知識，并將其注入學生模型，以實現更有效和可解釋的預測。
• 我們將學生模型設計為參數化標簽傳播和基于特征的兩層MLP的可訓練組合。因此，學生模型有一個更可解釋的預測過程，并自然地保留了基于結構/特征的先驗。因此，學習的學生模型可以同時利用GNN和先驗知識。
• 五個基準數據集和七個GNN教師模型上的實驗結果表明了我們的框架有效性。對學生模型中學習權重的廣泛研究也說明了我們方法的可解釋性。

論文鏈接：//yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

該方法的關鍵點是 L2P-GNN 試圖學習在預訓練過程中以可遷移先驗知識的形式進行微調。為了將局部信息和全局信息都編碼為先驗信息，研究者進一步為 L2P-GNN 設計了在節點和圖級別雙重適應（dual adaptation）的機制。最后研究者使用蛋白質圖公開集合和書目圖的新匯編進行預訓練，對各種 GNN 模型的預訓練進行了系統的實證研究。實驗結果表明，L2P-GNN 能夠學習有效且可遷移的先驗知識，從而為下游任務提供強大的表示。

總體來說，這篇論文的貢獻如下：

首次探索學習預訓練 GNN，緩解了預訓練與微調目標之間的差異，并且為預訓練 GNN 提供了新視角。

針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。

針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

論文鏈接：//www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

簡介：數據增強已被廣泛用于提高機器學習模型的通用性。但是，相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下，我們的工作研究了圖神經網絡（GNN）的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機，考慮因素和策略。我們的工作表明，神經邊緣預測器可以有效地編碼類同質結構，以在給定的圖結構中促進類內邊緣和降級類間邊緣，并且我們的主要貢獻是引入了GAug圖數據擴充框架，該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明，通過GAug進行的增強可提高GNN架構和數據集的性能。

圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而，現有的gnn在獲取層次圖表示方面的能力有限，而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN)，該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說，解糾纏圖膠囊是通過識別每個節點下的異構因素建立的，這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示，HGCN通過顯式地考慮部件之間的結構信息，刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。

//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf

簡介

本文研究如何利用圖生成作為自監督任務來預訓練GNN。我們將圖的生成概率分解成兩個模塊：1）節點特征生成；2）圖結構生成。通過對這兩個模塊建模，GPT-GNN可以捕捉圖任務里特征與結構之間的關聯，從而不需要很多的標注數據就可達到很高的泛化性能。

背景：預訓練

機器學習的成功很大程度上取決于數據。但是，高質量的標記數據通常很昂貴且難以獲得，尤其是對于希望訓練參數較多的模型。而相對應的，我們卻可以很容易地獲取大量的無標記數據，其數量可以是標記數據的數千倍。 例如，在社交網絡上進行異常檢測時，惡意帳戶的標注需要依賴于專家知識，數量較小，而整個網絡的規模卻可以達到十億規模。

為了解決標注數據較少，盡可能利用其無標注數據，一個常規的做法是自監督的預訓練(self-supervisedpre-training)。其目標是設計合理的自監督任務，從而使模型能從無標注數據里學得數據的信息，作為初始化遷移到下游任務中。由于目標任務中很多的知識已經在預訓練中學到，因此通過預訓練，我們只需要非常少量的標注數據，就能得到較好的泛化性能。

在NLP領域，BERT及其變種的取得了巨大的成功，證明了語言模型作為一個自監督任務，可以幫助訓練非常深的Transformer模型，以捕捉語言的底層知識，如語法、句法、詞義等。同樣，在CV領域，最近的工作如SimCLR也顯示出通過對比學習(Contrastive Learning) 對ResNet進行預訓練也可以顯著提升泛化性能。這些成功表明，無標注數據本身包含豐富的語義知識，因此如果通過預訓練可以使模型能捕捉無標注數據的分布，就能作為初始化幫助一系列下游任務。

受到這些工作的啟發，我們思考能否將預訓練的想法運用到圖數據分析中。本工作就致力于預訓練圖神經網絡，以期GNN能夠學習到圖數據的結構和特征信息，從而能幫助標注數據較少的下游任務。

GPT-GNN模型

要在圖數據上做預訓練，第一個問題是：如何設計合適的無監督學習任務？

本工作提出用生成模型來對圖分布進行建模，即逐步預測出一個圖中一個新節點會有哪些特征、會和圖中哪些節點相連。

由于我們想同時捕獲屬性和結構信息，因此需要將每個節點的條件生成概率分解為兩項，特征生成與圖結構生成。對每一個節點，我們會先掩蓋其特征及部分邊，僅提供剩下的部分作為已經觀測到的邊。

在第一步中，我們將通過已經觀測到的邊，預測該節點的特征，

在第二步中，我們將通過已經觀測到的邊，以及預測出的特征，來預測剩下的邊。

我們可以寫出對應的分解表達式。從理論上，這個目標的期望等同于整個圖的生成概率。

為了并行高效地計算每個節點的loss，避免信息泄露（如節點特征預測的時候如何避免看到該節點自己的輸入特征），以及處理大圖和增加負樣本采樣的準確性，我們做了很多的模型設計。詳見文章。

實驗

我們在兩個大規模異構網絡和一個同構網絡上進行了實驗。

第一個異構圖是MicrosoftAcademic Graph（OAG），其中包含超過2億個節點和23億條邊。另一個是AmazonRecommendation數據集。

總體而言，我們提出的GPT-GNN在不同的實驗設定下顯著提高下游任務的性能，平均能達到9.1％的性能提升。

我們還評估了在不同百分比的標記數據下，GPT-GNN是否依然能取得提升。我們可以看到，使用GPT預訓練時，僅使用20％標簽數據的模型性能就會比使用100％數據進行直接監督學習的模型性能更高。這顯示了預訓練的有效性，尤其是在標簽稀缺時。

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練