圖匹配深度學習由于其優于傳統方法的性能和為解決其他圖上的組合問題提供的見解而成為一個重要的研究課題。雖然最近的通用深度方法廣泛研究了有效的節點/邊緣特征學習或給出這些學習特征的下游通用求解器，但很少有現有工作質疑固定連通性/拓撲是否通常使用啟發式構建(例如，從學習的角度來看，我們認為固定的拓撲可能會限制模型的容量，從而潛在地阻礙性能。為了解決這個問題，我們提出學習潛在拓撲的分布，這樣可以更好地支持下游GM任務。我們設計了兩種潛在圖生成程序，一個是確定性的，一個是生成的。特別地，生成過程強調跨圖的一致性，因此可以看作是一個匹配引導的共生成模型。我們的方法在公共基準上的表現優于以往的先進水平，因此支持了我們的假設。
付費5元查看完整內容
相關內容
深度域自適應(DDA)方法在復雜域(如圖像、結構數據和順序數據)上具有更好的建模能力，其性能優于淺層模型。其基本思想是在一個潛在空間上學習領域不變表示，它可以在源域和目標域之間架起橋梁。一些理論研究建立了深刻的理解和學習領域不變特征的好處; 然而，它們通常僅限于沒有標簽遷移的情況，因此阻礙了它的適用性。在本文中，我們提出并研究了一種新的挑戰性設置，該設置允許我們使用Wasserstein距離(WS)不僅量化數據偏移，而且直接定義標簽偏移。我們進一步發展理論表明,減少數據的WS轉變導致關閉之間的差距的源和目標數據分布的空間(例如,中間的一層深網),同時仍然能夠量化的標簽對這個潛在的空間轉移。有趣的是，我們的理論可以解釋學習領域不變特征在潛在空間上的某些缺陷。最后，基于已有理論的結果和指導，我們提出了標簽匹配深度域自適應(LAMDA)方法，該方法在實際數據集上優于基準方法。
付費5元查看完整內容
我們定義了深度核過程，其中正定格拉姆矩陣由非線性核函數和(逆)Wishart分布的采樣逐步變換。值得注意的是，我們發現深度高斯過程(DGPs)，貝葉斯神經網絡(BNNs)，無限的BNNs和無限的有瓶頸的BNNs都可以寫成深度核過程。對于DGPs，產生等價是因為由特征的內積形成的格拉姆矩陣是Wishart分布的，正如我們所示，標準的各向同性核完全可以用這個格拉姆矩陣來表示——我們不需要關于底層特征的知識。我們定義了一個可處理的深度核過程，即深度逆Wishart過程，并給出了一個雙隨機誘導點變分推理方案，該方案作用于Gram矩陣，而不是像DGPs中那樣作用于特征。結果表明，在全連通基線上，深度逆Wishart過程的性能優于DGPs和無限BNN網絡。
付費5元查看完整內容
我們提出了圖神經擴散(GRAND)，它將圖的深度學習視為一個連續的擴散過程，并將圖神經網絡(GNN)視為一個潛在的PDE的離散化。在我們的模型中，層結構和拓撲對應于時間和空間算子的離散化選擇。我們的方法允許有原則地開發一大類新的GNN，這些GNN能夠解決圖學習模型的常見困境，如深度、過平滑和瓶頸。我們的模型成功的關鍵是相對于數據攝動的穩定性，這在隱式和顯式離散化方案中都得到了解決。我們開發了線性和非線性版本的GRAND，在許多標準圖基準上實現了有競爭性的結果。
//proceedings.mlr.press/v139/chamberlain21a/chamberlain21a.pdf
付費5元查看完整內容
最近的對比表示學習方法依賴于估計一個上下文的多個視圖之間的互信息。例如，我們可以通過應用數據增強獲得給定圖像的多個視圖，或者我們可以將序列分割成包含序列中某個步驟的過去和未來的視圖。MI的下界比較容易優化，但當評估大量的MI有強烈的低估偏見。我們提出將完整的MI估計問題分解為一個較小的估計問題。這個表達式包含一個無條件和條件MI項的和，每個測量總的MI的適度塊，這有助于通過對比界近似。為了使和最大化，我們給出了條件MI的一個比較下界，它可以有效地逼近。我們將我們的一般方法稱為互信息分解估計(DEMI)。我們證明了DEMI可以捕獲比標準的非分解對比界在綜合設置更大數量的MI，并在視覺域的對話生成學習更好的表示。
付費5元查看完整內容
回歸作為分類的對應，是一個具有廣泛應用的主要范式。域自適應回歸將回歸器從有標記的源域推廣到無標記的目標域。現有的區域適應回歸方法僅在淺層區取得了積極的結果。一個問題出現了:為什么在深層機制中學習不變表征不那么明顯?本文的一個重要發現是，分類對特征尺度具有魯棒性，而回歸則不具有魯棒性，對齊深度表示的分布會改變特征尺度，阻礙領域自適應回歸。基于這一發現，我們提出了通過表示空間的正交基來關閉域間隙，這是自由的特征縮放。受格拉斯曼流形的黎曼幾何啟發，我們定義了表示子空間上的幾何距離，并通過最小化它來學習深度可遷移表示。為了避免破壞深度表示的幾何性質，我們進一步引入了基不匹配懲罰來匹配正交基的排序跨表示子空間。我們的方法在三個領域自適應回歸基準上進行了評價，本文構建了其中兩個基準。我們的方法明顯優于最先進的方法。
付費5元查看完整內容
圖神經網絡
·
由于消息傳遞—圖神經網絡（MPNN）應用在稀疏圖時相對于節點數量具有線性復雜性，因此它們已被廣泛使用， 不過它們的理論表達能力bounded by一階 Weisfeiler-Lehman 檢驗 (1-WL)。
在本文中，我們表明，如果自定義特征值相關的非線性函數設計圖卷積supports并使用任意大的感受野進行掩蔽，則 MPNN 在理論上比 1-WL 測試更強大。實驗表明該方法與3-WL 同樣強大，同時能夠保持空間局部化(spatially localized)。此外，通過設計自定義濾波器函數，輸出可以具有各種頻率分量，從而允許卷積過程學習給定輸入圖信號與其相關屬性的不同關系。
目前，最好的 3-WL 等效圖神經網絡的計算復雜度為 O(n^3 )，內存使用量為 O(n^2 )，考慮非局部更新機制，并且不提供輸出的頻譜。但是本文所提出的方法克服了所有上述問題，并在許多下游任務中達到了最先進的結果。
付費5元查看完整內容
最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
以圖結構為目標的擾動已被證明在降低圖神經網絡(GNNs)性能方面非常有效，而傳統的防御手段如對抗性訓練似乎不能提高魯棒性。這項工作的動機是觀察到，反向注入的邊緣有效地可以視為一個節點的鄰域聚集函數的額外樣本，這導致扭曲的聚集在層上累積。傳統的GNN聚合函數，如總和或平均值，可以被一個單獨的離群值任意扭曲。在魯棒統計領域的啟發下，我們提出了一個魯棒聚合函數。我們的方法顯示了0.5的最大可能分解點，這意味著只要節點的對抗邊的比例小于50%，聚合的偏差就有界。我們的新聚合函數，軟Medoid，是Medoid的一個完全可微的泛化，因此很適合端到端深度學習。在Cora ML上配置聚合的GNN，可將結構擾動的魯棒性提高3倍(Citeseer上提高5.5倍)，對于低度節點，可提高8倍。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191