亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。

//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c

從圖結構數據中學習節點集的結構表示對于從節點角色發現到鏈接預測和分子分類的各種應用至關重要。圖神經網絡（GNNs）在結構表示學習方面取得了巨大的成功。然而：

大多數 GNN 受到 1-Weisfeiler-Lehman（WL）test 的限制，因此有可能為實際上不同的結構和圖形生成相同的表示。 最近通過模仿高階 WL tests 提出的更強大的 GNN 只關注全圖表示，不能利用圖結構的稀疏性來提高計算效率。 這篇文章提出了一類與結構相關的特征，稱為距離編碼(Distance Encoding，DE)，以幫助 GNN 以比 1-WL test 更嚴格的表達能力來表示任意大小的節點集。DE 本質上捕獲了要學習表示的節點集與圖中每個節點之間的距離，其中包括與圖相關的重要度量，如最短路徑距離和廣義 PageRank 得分。

此外，此文還提出了兩個通用的 GNNs 框架來使用 DEs：

作為額外的節點屬性 進一步作為 GNNs 中消息聚合的控制器 這兩個框架仍然可以利用稀疏結構來保持處理大型圖的可擴展性。

理論上，作者證明了這兩個框架可以區分傳統 GNN 經常失效的幾乎所有規則圖中嵌入的節點集。還嚴格分析了它們的局限性。 實驗上，作者在6個真實網絡上分別從節點結構角色預測、鏈路預測和三角形預測三個方面對這兩個框架進行了實證評估。 結果表明，DE-assisted GNNs 的平均準確率比沒有 DEs 的 GNNs 提高了15%，DE-assisted GNNs 的性能也明顯優于專門為這些相應任務設計的其他最先進的基線。

摘要

在只有很少數據的情況下，如分類問題中的新類別或輸入中的域變換，現代視覺系統的性能會急劇下降。在這項工作中，我們說明了支撐現代視覺系統的神經網絡表征如何受到監督崩塌的影響，從而丟失了執行訓練任務所不需要的任何信息，包括遷移到新任務或領域所需要的信息。然后我們提出了兩種方法來緩解這一問題。首先，我們采用自監督學習來鼓勵能夠更好地遷移的通用特性。第二,我們提出一種新穎的基于Transformer的神經網絡結構稱為CrossTransformers,這可能需要少量的標記圖像和一個無標簽查詢,發現粗空間對應查詢和標簽之間的圖像,然后通過計算相應空間之間的距離特性推斷相似類別的樣本。結果是一個分類器在任務和領域遷移方面更加具有魯棒性，我們通過在Meta-Dataset上的最先進的性能來證明這一點，Meta-Dataset是一個最近的數據集，用于評估從ImageNet到許多其他視覺數據集的遷移。

介紹

通用視覺系統必須具有適應性。比如家庭機器人必須能夠在新的、看不見的家庭中操作；照片組織軟件必須能夠識別看不見的物體(例如，尋找我六年級兒子的抽象藝術作品的樣本)；工業質量保證體系必須發現新產品中的缺陷。深度神經網絡表示可以從像ImageNet這樣的數據集中帶來一些視覺知識，用于ImageNet之外的不同任務，但從經驗上講，這需要在新任務中使用大量的標記數據。如果標簽數據太少，或者在分布上有大的變化，這樣的系統在實際上會表現很差。元學習研究直接衡量適應性。在訓練時，算法會收到大量的數據和伴隨的監督(如標簽)。然而，在測試時，算法會接收到一系列的片段，每個片段都由一小部分數據點組成，這些數據點來自不同于訓練集的分布(例如，不同的域或不同的類別)。只有這些數據的一個子集有伴隨的監督(稱為支持集);算法必須對其余部分(查詢集)進行預測。元數據集尤其與視覺相關，因為它的挑戰是小樣本細粒度圖像分類。訓練數據是ImageNet類的子集。在測試時，每一集都包含來自其他ImageNet類的圖像，或者來自其他九個細粒度識別數據集之一的圖像。算法必須快速調整其表示以適應新的類別和域。 簡單的基于中心的算法，如Prototypical Nets在Meta-Dataset方面處于或接近最先進的水平，并且在支持集的外置ImageNet類上可以達到大約50%的精度(概率大約是1 / 20)。在同樣的挑戰下，在這些外面的類上訓練等價的分類器可以達到84%的準確率。是什么導致了性能上的巨大差異分布內樣本和分布外樣本?我們假設典型的網絡，像大多數元學習算法一樣，很少要求表示捕獲訓練集以外的任何東西。由于核心神經網絡是為分類而設計的，它們傾向于這樣做:只表示類別信息，而丟失可能在訓練類別之外有用的信息。我們稱這個問題為監督崩塌，并在圖1中說明了這個問題。

我們的第一個貢獻是探索用自我監督來克服監督崩塌。我們使用SimCLR學習嵌入，區分數據集中的每個圖像，同時保持不變的轉換(例如，裁剪和顏色轉移)，因此捕獲的不僅僅是類別的信息。然而，與其將SimCLR視為一種輔助損失，不如將SimCLR重新定制為可以以同樣的方式分類為訓練插曲的插曲。我們的第二個貢獻是提出一種被稱為CrossTransformers的新架構，它將Transformer擴展到小樣本的細粒度分類。我們的關鍵見解是，物體和場景通常由較小的部分組成，局部外觀可能與訓練時看到的相似。這方面的經典例子是出現在早期幾篇關于視覺的論文中的半人馬，其中人和馬的部分組成了半人馬。

CrossTransformers的操作持有這一觀點(i)基于部分的局部比較,和(2)考慮空間對齊,讓程序去比較與底層類無關的圖像。更詳細地說，首先使用Transformer中的注意力來構建查詢集和支持集圖像中的幾何或功能部分之間的粗對齊。然后，給定這種對齊方式，計算相應局部特征之間的距離來指導分類。我們將演示這將改進未見類和域的泛化。

綜上所述，我們在本文中的貢獻是:(i)我們通過自監督技術提高了局部特征的魯棒性，修改了最先進的SimCLR算法。(ii)我們提出了CrossTransformers，這是一種空間感知的網絡架構，使用更多的局部特征進行小樣本分類，從而改進了遷移。最后，(iii)我們評估和分析了這些算法的選擇如何影響Meta-Dataset集的性能，并在其中幾乎每一個數據集上展示最先進的結果。

圖神經網絡(GNN)已經在許多具有挑戰性的應用中展示了優越的性能，包括小樣本學習任務。盡管GNN具有強大的從少量樣本中學習和歸納的能力，但隨著模型的深入，GNN通常會出現嚴重的過擬合和過平滑問題，這限制了模型的可擴展性。在這項工作中，我們提出了一個新的注意力GNN來解決這些挑戰，通過合并三重注意機制，即節點自我注意，鄰居注意和層記憶注意力。我們通過理論分析和實例說明了所提出的注意模塊可以改善小樣本學習的GNN的原因。廣泛的實驗表明，在mini-ImageNet 和Tiered-ImageNet數據集上，通過誘導和直推設置，提出的注意力GNN在小樣本學習方面優于基于最先進的GNN方法。

小樣本分類的目的是在只有少量樣本的情況下識別不可見的類。我們考慮了多域小樣本圖像分類的問題，其中不可見的類和樣例來自不同的數據源。人們對這個問題越來越感興趣，并激發了元數據集等基準的開發。在這種多領域設置的一個關鍵挑戰是有效地整合來自不同訓練領域集的特征表示。在這里，我們提出了一個通用表示轉換器(URT)層，該元學會通過動態地重新加權和組合最合適的特定于領域的表示來利用通用特性進行小樣本分類。在實驗中，我們表明，URT在元數據集上設置了一個新的最先進的結果。具體來說，它在三個數據源上的性能超過了之前最好的模型，或者在其他數據源上也有相同的性能。我們分析了城市軌道交通的各種變體，并給出了一個可視化的注意力分數熱圖，以闡明該模型是如何執行跨領域泛化的。我們的代碼可以在//github.com/liulu112601/URT獲得

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

題目： GRAPH-BERT : Only Attention is Needed for Learning Graph Representations

摘要： 主要的圖神經網絡過度依賴于圖鏈接，已經出現了一些嚴重的性能問題，如假死問題和過平滑問題。更重要的是，內在的相互連接特性阻止了圖數據中的并行化，這對于大型圖數據非常重要，因為內存限制限制了節點間的批處理。在本文中，我們將介紹一種新的圖神經網絡，即基于圖的BERT(Graph-BERT )，它完全基于注意力機制，沒有任何圖的卷積或聚合操作。我們不再用完整的大輸入圖來訓練Graph-BERT，而是在局部上下文中用抽取的無鏈接子圖來訓練Graph-BERT。Graph-BERT可以在獨立模式下有效地學習。同時，如果有任何監督的標簽信息或特定的應用導向的目標可用，一個預先訓練的Graph-BERT也可以直接轉移到其他應用任務中，或者進行必要的微調。我們在幾個圖基準數據集上測試了Graph-BERT的有效性。在節點屬性重構和結構恢復任務的預訓練Graph-BERT的基礎上，進一步對節點分類和圖聚類任務的Graph-BERT進行微調。實驗結果表明，該算法在學習效率和學習效果上都優于現有的神經網絡算法。

最近的研究表明，預訓練文本表示能夠顯著提高許多自然語言處理任務的性能。訓練的中心目標是學習對后續任務有用的文本表示形式。然而，現有的方法是通過最小化代理目標(如語言建模的負日志可能性)來優化的。在這項工作中，我們介紹了一個學習算法，它直接優化模型學習文本表示的能力，以有效地學習下游任務。我們證明了多任務預訓練和模型不可知的元學習之間有著內在的聯系。BERT中采用的標準多任務學習目標是元訓練深度為零的學習算法的一個特例。我們在兩種情況下研究了這個問題:無監督的預訓練和有監督的預訓練，不同的預訓練對象驗證了我們的方法的通用性。實驗結果表明，我們的算法對各種下游任務進行了改進，獲得了更好的初始化。

ExBert - A Visual Analysis Tool to Explore Learned Representations in Transformers Models

• 工具官網: //exbert.net
• 論文: