亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。

//www.zhuanzhi.ai/paper/187920fb1a4297ddf130fb676c7e1139

Lipschitz Normalization for Self-Attention Layers with Application to Graph Neural Networks

基于注意力的神經網絡在許多應用中都達到最優的效果。然而當層數增加時，它們的性能趨于下降。在這項研究工作中，我們發現通過標準化注意力得分來加強Lipschitz連續性，可以顯著改善深度注意力模型的性能。首先，我們的發現深度圖注意力網絡（GAT）在訓練過程中會出現梯度爆炸問題，從而導致基于梯度的訓練算法的性能表現較差。為解決該問題，我們分析了注意力模塊的Lipschitz連續性，據此引入了LipschitzNorm算子。自在注意力機制中，LipschitzNorm是一種的簡單高效的非參數歸一化方法，可以確保模型的Lipschitz連續性。我們將LipschitzNorm應用于GAT和GraphTransformers，發現深度圖模型（10到30層）的性能得到了顯著提高。我們的實驗顯示，當節點間存在遠程交互時，使用LipschitzNorm的深層GAT模型在節點標簽預測任務中達到了當前最高水平。此外，在基準節點分類任務中，我們的方案也顯示了與未歸類的同類算法一致的提升效果。

本文提出了一種基于框架小波變換（framelet transforms）的圖神經網絡。這種方法為結構化的圖數據提供了多尺度表示。我們利用這種變換方式把圖數據特征分解到低通和高通頻率（low-pass and high-pass frequency）空間上，并利用這些頻率信息定義相應的框架小波圖卷積層（graph framelet convolutional layer）。此外，圖上的特征通過框架小波分解，聚合出了低通和高通光譜（spectra）的信息。我們利用這一特征，進一步提出了相應的圖池化（graph pooling）方法。這種池化方法同時考慮了圖數據的特征信息（feature information）和幾何信息（topology information）。

我們在多種節點預測和圖預測任務上對本文提出的框架小波卷積和池化方法的圖神經網絡進行了測試。實驗結果表明，我們的方法在多種應用下都可以達到SOTA的表現。

//www.zhuanzhi.ai/paper/87ac4a31c20270d43bebe5279aca9ca2

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

題目：Interpreting and Unifying Graph Neural Networks with An Optimization Framework

作者：Meiqi Zhu, Xiao Wang, Chuan Shi, Houye Ji, Peng Cui

簡介：圖神經網絡(GNNs)在各種圖分析任務中得到了相當廣泛的關注。設計良好的消息傳遞機制是經典圖神經網絡中最基本的組成成分，并且經驗與實驗證明該部分是非常有效的。雖然傳播機制多種多樣，但基本都是通過沿著網絡拓撲結構聚合節點特征來利用網絡結構與特征信息的。鑒于此，一個問題自然產生：”盡管圖神經網絡有著不同的傳播策略，是否存在一個統一的數學準則，從本質上指導這不同圖神經網絡的傳播過程？如果有的話，是什么？“ 對這個問題較為完善的答案，可以幫助我們從宏觀上有原則地考察不同圖神經網絡之間的關系和差異，并且這樣的數學準則一旦被提出，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發設計更多新的圖神經網絡。

在本文中，我們致力于建立不同圖神經網絡傳播機制之間的聯系，將他們的傳播過程建模成一個統一的優化問題。分析表明，多種經典圖神經網絡的傳播機制實際上是在優化一個結合了特征擬合約束項和圖拉普拉斯正則化約束項的優化目標，而他們傳播后的節點表示可以隱式地看作是這個統一優化目標的最優解。特征擬合項旨在建立節點表示與原始節點特征之間的關系，通常用于滿足特定圖神經網絡的不同需求。圖拉普拉斯正則化項則是這些圖神經網絡所共享的，它起到拓撲平滑特征的作用。

我們提出的統一優化目標框架，總結了幾種最具代表性的GNN之間的共性，不僅為探索不同GNN之間的關系提供了一個宏觀的視角，也進一步為靈活設計GNN提供了新的機會。傳統上，在提出一種新的圖神經網絡模型時，我們通常側重于設計特定的譜域濾波器或空域聚合策略。現在，統一的優化目標框架為實現這一目標提供了另一種新的途徑，即通過設計傳播目標函數而得到新的圖神經網絡。這樣，我們就清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。舉例來說，本文我們發現現有的工作通常使用非常簡單的圖卷積核來設計特征擬合約束項，因此基于現有的不足開發出兩個具有可調低通和高通濾波器性質的靈活優化目標函數。此外，我們提供了收斂證明和表達能力的比較。在基準數據集上進行的大量實驗表明，基于本文優化框架提出的GNN模型不僅性能優于現有的優化方法，而且能夠很好地緩解過度平滑問題，進一步驗證了采用統一優化框架設計GNN的可行性。

文本匹配是一項研究兩段文本之間的相關關系的任務，在如搜索引擎、文檔挖掘、智能對話等場景有著廣泛應用和重要意義。

在文本匹配任務中，目標文本和候選文本之間的聯系以及文本內部的上下文關聯都是實現準確匹配的關鍵。然而，大多數已有的深度神經網絡模型只關注了前者，忽略了每個文本內部的上下文語義信息，從而面臨著長文本、復雜文本難匹配等問題。

解決方案 為了解決上述問題，中科院自動化所智能感知與計算研究中心團隊提出一種基于文本圖神經網絡架構的匹配方法，用圖（graph）結構表示文本，能夠同時建模兩個文本之間的交互以及每個文本內部的上下文關聯，可以有效緩解現有方法中長文本難匹配的問題，如圖1所示。

對于構建的文本圖，該方法采用“聚合（aggregation）”、“更新（update）”以及“讀出（readout）”三個步驟進行建模學習，如圖2所示。其中，“聚合”步驟將上下文信息進行匯總，“更新”步驟將匯總的信息進行篩選和合并，最后“讀出”步驟將整圖信息輸出為相似度得分。

基于圖神經網絡的文本匹配框架示例

該方法在常見的文本匹配數據集上進行了實驗，取得了與當前主流預訓練模型（BERT）相當的結果，并且在長文本數據集上對基線的提升更顯著，驗證了模型的有效性。

論文題目：Scalable Graph Neural Networks via Bidirectional Propagation

論文概述：圖神經網絡（GNN）是一個新興的非歐氏數據學習領域。近年來，人們對設計可擴展到大型圖形的GNN越來越感興趣。大多數現有的方法使用“圖采樣”或“分層采樣”技術來減少訓練時間；但是，這些方法在應用于具有數十億條邊的圖時仍然無法提供可靠的性能。在本文中，我們提出了一種可伸縮的圖神經網絡GBP，同時從特征向量和訓練/測試節點進行雙向消息傳播，為每個表示生成一個無偏估計量。每個傳播都是以局部方式執行的，從而實現了亞線性時間復雜性。廣泛的實驗證明，GBP達到了state-of-the-art性能同時顯著減少訓練和推理時間。在單臺機器上，GBP能夠在不到2000秒的時間內，在一個擁有超過6000萬個節點和18億條邊的圖形上提供優異的性能

//www.zhuanzhi.ai/paper/bf70cf78aa20bcfce7a1f6d36c8e080a

圖池化是眾多圖神經網絡(GNN)架構的核心組件。由于繼承了傳統的CNNs，大多數方法將圖池化為一個聚類分配問題，將規則網格中的局部patch的思想擴展到圖中。盡管廣泛遵循了這種設計選擇，但沒有任何工作嚴格評估過它對GNNs成功的影響。我們以代表性的GNN為基礎，并引入了一些變體，這些變體挑戰了在補充圖上使用隨機化或聚類的局部保持表示的需要。引人注目的是，我們的實驗表明，使用這些變體不會導致任何性能下降。為了理解這一現象，我們研究了卷積層和隨后的池層之間的相互作用。我們證明了卷積在學習的表示法中起著主導作用。與通常的看法相反，局部池化不是GNNs在相關和廣泛使用的基準測試中成功的原因。

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009