亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經，現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試，這意味著gnn無法預測節點聚類系數和最短路徑距離，無法區分不同的d-正則圖。在這里，我們提出了一類傳遞消息的GNN，稱為身份感知圖神經網絡(ID- GNNs)，具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點，IDGNN首先提取以該節點為中心的自我網絡，然后進行輪次異構消息傳遞，中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本，它將節點標識信息作為增強節點特征注入。總之，ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展，其中實驗表明，在具有挑戰性的節點、邊緣和圖屬性預測任務中，將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外，與其他特定于任務的圖網絡相比，ID- GNN表現出了更好的或相當的性能。

本文出自Criteo AI實驗室，圖神經網絡適合處理圖結構，但在處理具有表格節點特征的圖時，較為困難。本文利用梯度提升決策樹（GBDT）處理異構表格數據的優勢，搭建一套BGDT處理異構特征、GNN處理圖結構的體系，通過廣泛的實驗證明該體系結構處理表格節點特征圖時性能顯著提高。

圖神經網絡（GNN）是功能強大的模型，已在各種圖表示學習任務中取得了成功。面對異構表格數據時，梯度提升決策樹（GBDT）通常優于其他機器學習方法。但是，對于具有表格節點特征的圖，應該使用哪種方法？先前的GNN模型主要集中在具有同質稀疏特征的網絡上，并且如我們所示，在異構環境中次優。在這項工作中，作者團隊提出了一種新穎的體系結構，該體系結構可以聯合訓練GBDT和GNN以獲得兩者的最佳選擇：GBDT模型處理異構特征，而GNN負責圖結構。通過允許新樹適合GNN的梯度日期，我們的模型受益于端到端優化。通過與領先的GBDT和GNN模型進行廣泛的實驗比較，我們證明了具有表格特征的各種圖形的性能均得到了顯著提高。

BGNN（GBDT和GNN進行端到端培訓）的訓練如下圖1所示，在算法1中，介紹了結合GBDT和GNN的BGNN模型的訓練，以解決任何節點級預測問題。

//github.com/nd7141/bgnn

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

題目： 圖神經網絡的無冗余計算 會議： KDD2020 論文地址： //dl.acm.org/doi/abs/10.1145/3394486.3403142 推薦理由： 對于圖神經網絡中重復信息的聚合，這篇文章提出了一種簡單有效的層次化聚合的方法(HAG)，用于層次化管理中間結果并減少圖神經網絡在訓練和推斷過程中重復計算。HAG 能夠保證在計算層次化聚合的過程中，可以使用更少的時間用于訓練并且得到的結果和傳統的圖神經網絡模型一致。

GNN在單層中基于遞歸鄰域聚合方案，每個節點聚合其鄰居的特征，并使用聚合值更新其自身的特征。這樣遞歸地傳播多次（多層），最后，GNN中的每個節點都會從其k階網絡鄰居中的其他節點收集信息。最后GNN層的激活然后被用于下游預測任務，例如節點分類、圖分類或鏈路預測。然而，如何設計一個能夠有效處理大規模圖數據集的GNN仍然是一個挑戰。特別的是，許多當前的工作是使用整張圖的拉普拉斯矩陣，這樣即便是對于中等規模的圖，也會面臨存儲空間的問題。GraphSAGE首次提出使用對每個獨立節點執行小圖鄰域采樣，然后再聚合這些節點的鄰域信息，但是對于單個節點進行鄰域采樣是一個高復雜度的事情，因此許多手工調整的啟發式算法被用來限制采樣復雜性并選擇鄰域圖并通過優化圖的采樣步驟來提高GNN的效率。

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

圖池化是眾多圖神經網絡(GNN)架構的核心組件。由于繼承了傳統的CNNs，大多數方法將圖池化為一個聚類分配問題，將規則網格中的局部patch的思想擴展到圖中。盡管廣泛遵循了這種設計選擇，但沒有任何工作嚴格評估過它對GNNs成功的影響。我們以代表性的GNN為基礎，并引入了一些變體，這些變體挑戰了在補充圖上使用隨機化或聚類的局部保持表示的需要。引人注目的是，我們的實驗表明，使用這些變體不會導致任何性能下降。為了理解這一現象，我們研究了卷積層和隨后的池層之間的相互作用。我們證明了卷積在學習的表示法中起著主導作用。與通常的看法相反，局部池化不是GNNs在相關和廣泛使用的基準測試中成功的原因。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。