亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。

以圖結構為目標的擾動已被證明在降低圖神經網絡(GNNs)性能方面非常有效，而傳統的防御手段如對抗性訓練似乎不能提高魯棒性。這項工作的動機是觀察到，反向注入的邊緣有效地可以視為一個節點的鄰域聚集函數的額外樣本，這導致扭曲的聚集在層上累積。傳統的GNN聚合函數，如總和或平均值，可以被一個單獨的離群值任意扭曲。在魯棒統計領域的啟發下，我們提出了一個魯棒聚合函數。我們的方法顯示了0.5的最大可能分解點，這意味著只要節點的對抗邊的比例小于50%，聚合的偏差就有界。我們的新聚合函數，軟Medoid，是Medoid的一個完全可微的泛化，因此很適合端到端深度學習。在Cora ML上配置聚合的GNN，可將結構擾動的魯棒性提高3倍(Citeseer上提高5.5倍)，對于低度節點，可提高8倍。

持續學習和適應新任務的能力，同時又不失去對已經獲得的知識的掌握，是生物學習系統的一個特征，這是目前的深度學習系統所欠缺的。在這項工作中，我們提出了一種新的持續學習方法，稱為MERLIN:持續學習的元鞏固。

我們假設一個用于解決任務t的神經網絡的權值是來自于一個元分布p(lenian| t)。這種元分布是逐步學習和鞏固的。我們在具有挑戰性的在線持續學習設置中操作，其中一個數據點只被模型看到一次。

我們對MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet數據集的持續學習基準進行的實驗顯示，在五個基線上，包括最近的最先進水平，都證明了MERLIN的前景。

//arxiv.org/abs/2010.00352

本文通過新的概率建模方法，對對比學習的最新發展進行了有益的改進。我們推導了一種特殊形式的對比損失，稱為聯合對比學習(JCL)。JCL隱含地涉及到同時學習無限數量的查詢鍵對，這在搜索不變特征時帶來了更嚴格的約束。我們推導了這個公式的上界，它允許以端到端訓練的方式進行解析解。雖然JCL在許多計算機視覺應用程序中實際上是有效的，但我們也從理論上揭示了控制JCL行為的某些機制。我們證明，提出的公式具有一種內在的力量，強烈支持在每個實例特定類內的相似性，因此在搜索不同實例之間的區別特征時仍然具有優勢。我們在多個基準上評估這些建議，證明了對現有算法的相當大的改進。代碼可以通過以下網址公開獲得

//github.com/caiqi/Joint-Contrastive-Learning

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009

圖的深度學習方法在許多節點級和圖級預測任務中都取得了顯著的效果。然而，盡管這些方法大量涌現并取得了成功，但主流的圖神經網絡(GNNs)忽略了子圖，使得子圖預測任務在許多有影響的應用中難以處理。此外，子圖預測任務提出了幾個獨特的挑戰，因為子圖可以有非平凡的內部拓撲，但也攜帶了相對于其存在的底層圖的位置和外部連接信息的概念。在這里，我們介紹了子GNN，一種學習解糾纏子圖表示的子圖神經網絡。特別是，我們提出了一種新的子圖路由機制，它在子圖的組件和隨機抽樣的基礎圖錨塊之間傳播神經信息，從而產生高度精確的子圖表示。SUB-GNN指定了三個通道，每個通道都設計用于捕獲子圖結構的不同方面，我們提供了經驗證據證明這些通道編碼了它們預期的屬性。我們設計了一系列新的合成的和真實的子圖數據集。對8個數據集進行子圖分類的實證結果表明，子GNN實現了可觀的性能提升，比最強的baseline方法(包括節點級和圖級gnn)的性能高出12.4%。當子圖具有復雜的拓撲結構，甚至包含多個斷開連接的組件時，子GNN在具有挑戰性的生物醫學數據集上表現得非常好。

//www.zhuanzhi.ai/paper/9c11ef35cfb6b6a3ac7f8d547b9b59e6

圖神經網絡(GNNs)通常應用于靜態圖，這些靜態圖可以認為是預先已知的。這種靜態輸入結構通常完全由機器學習從業者的洞察力決定，對于GNN正在解決的實際任務可能不是最佳的。在缺乏可靠的領域專家知識的情況下，人們可能求助于推斷潛在的圖結構，但由于可能的圖的搜索空間很大，這往往是困難的。這里我們引入了點針圖網絡(PGNs)，它增加了集合或圖的推斷邊的能力，以提高模型的表達能力。PGNs允許每個節點動態地指向另一個節點，然后通過這些點針傳遞消息。這種可適應圖結構的稀疏性使學習變得容易處理，同時仍然具有足夠的表現力來模擬復雜的算法。關鍵的是，指向機制可以直接監督的，以對經典數據結構上的長期操作序列建模，并結合了來自理論計算機科學的有用的結構歸納偏差。定性地說，我們證明了PGNs可以學習基于點針的數據結構的可并行變體，即不相交集并和鏈接/修剪樹。PGNs在動態圖連通性任務中將分布外概括為5個較大的測試輸入，優于不受限制的GNNs和深度集合。

小樣本分類的目的是在只有少量樣本的情況下識別不可見的類。我們考慮了多域小樣本圖像分類的問題，其中不可見的類和樣例來自不同的數據源。人們對這個問題越來越感興趣，并激發了元數據集等基準的開發。在這種多領域設置的一個關鍵挑戰是有效地整合來自不同訓練領域集的特征表示。在這里，我們提出了一個通用表示轉換器(URT)層，該元學會通過動態地重新加權和組合最合適的特定于領域的表示來利用通用特性進行小樣本分類。在實驗中，我們表明，URT在元數據集上設置了一個新的最先進的結果。具體來說，它在三個數據源上的性能超過了之前最好的模型，或者在其他數據源上也有相同的性能。我們分析了城市軌道交通的各種變體，并給出了一個可視化的注意力分數熱圖，以闡明該模型是如何執行跨領域泛化的。我們的代碼可以在//github.com/liulu112601/URT獲得

消息傳遞被證明是一種設計圖神經網絡的有效方法，因為它能夠利用排列等方差和對學習局部結構的歸納偏差來實現良好的泛化。然而，當前的消息傳遞體系結構的表達能力有限，無法學習圖的基本拓撲性質。我們解決了這個問題，并提出了一個新的消息傳遞框架，它是強大的同時保持置換等方差。具體來說，我們以單熱點編碼的形式傳播惟一的節點標識符，以便了解每個節點的本地上下文。我們證明了我們的模型在極限情況下是通用的，同時也是等變的。通過實驗，我們發現我們的模型在預測各種圖的拓撲性質方面具有優勢，為新型的、功能強大的等變和計算效率的結構開辟了道路。

主題： Principal Neighbourhood Aggregation for Graph Nets

摘要： 圖神經網絡（GNN）已被證明是針對圖結構數據的不同預測任務的有效模型。 關于它們表現力的最新工作集中在同構任務和可數特征空間上。 我們擴展了該理論框架，使其包含連續的功能（在現實世界的輸入域中以及在GNN的隱藏層中定期發生），并說明了在這種情況下對多個聚合函數的需求。 將多個聚合器與度標度器結合在一起（可以對總和聚合器進行概括）。 最后，我們通過基準測試比較了不同模型捕獲和利用圖形結構的能力，該基準包含了經典圖形理論中的多個任務，這證明了我們模型的能力。