亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

對抗性例子的威脅激發了訓練可靠的魯棒神經網絡的工作，以便在推理時有效地驗證局部魯棒性。我們形式化了全局魯棒的概念，它捕獲了在線局部魯棒認證的操作特性，同時為魯棒訓練提供了一個自然學習目標。我們證明，通過將有效的全局Lipschitz邊界合并到網絡中，通過構建達到最先進的可驗證精度的可靠模型，廣泛使用的體系結構可以很容易地適應這一目標。值得注意的是，與最近的認證訓練方法相比，這種方法需要更少的時間和記憶，并且在在線認證點時成本可以忽略不計;例如，我們的評估表明，在大約幾小時內訓練一個大型魯棒的Tiny-Imagenet模型是可能的。我們的模型有效地利用了便宜的全局Lipschitz邊界來進行實時認證，盡管之前的建議是為了良好的性能需要更緊密的局部邊界;我們假設這是可能的，因為我們的模型經過專門訓練，以實現更緊密的全局邊界。也就是說，我們證明了對于給定的數據集，最大可實現的可驗證精度不能通過使用局部邊界來提高。

//arxiv.org/abs/2102.08452

目前的圖表示(GR)算法在超參數調優方面需要大量的人工專家，這極大地限制了其實際應用，促使人們迫切需要無需人工干預的自動圖表示。雖然自動機器學習(AutoML)是自動超參數調優的一個很好的候選對象，但關于自動圖表示學習的文獻報道很少，現有的工作只有使用黑盒策略，缺乏解釋不同超參數的相對重要性的見解。為了解決這一問題，本文研究了具有超參數重要性的可解釋自動圖表示。我們提出了一種可解釋的AutoML圖表示方法(e-AutoGR)，該方法在性能估計過程中利用可解釋的圖特征，并通過非線性去相關加權回歸學習不同超參數的去相關重要權重，以影響模型性能。這些學習到的重要權重在超參數搜索過程中可以反過來幫助提供更多的洞察力。我們從理論上證明了去相關加權算法的正確性。在真實數據集上的大量實驗表明，我們提出的e-AutoGR模型在模型性能和超參數重要性解釋方面優于最新方法。

//icml.cc/Conferences/2021/ScheduleMultitrack?event=9680

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

我們提出了一個嚴格的方法，使用一組任意相關的弱監督源，以解決多類分類任務時，只有一個非常小的標記數據集可用。我們的學習算法可證明收斂于一個模型，該模型對于一組未標記數據的可行標記的對抗性選擇具有最小的經驗風險，其中標記的可行性是通過對弱監督源的嚴格估計統計量定義的約束來計算的。我們為這種依賴于弱監督來源提供的信息的方法提供了理論保障。值得注意的是，該方法不要求弱監督源具有與多類分類任務相同的標注空間。我們通過實驗證明了我們的方法在各種圖像分類任務中的有效性。

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年來，利用圖神經網絡解決藥物相關問題在生物醫學領域得到了迅速發展。然而，就像任何其他深度架構一樣，GNN是數據需求型的。雖然在現實世界中要求標簽通常是昂貴的，但以一種無監督的方式對GNN進行預處理已經被積極地探索。其中，圖對比學習通過最大化成對圖增強之間的互信息，已被證明對各種下游任務是有效的。然而，目前的圖對比學習框架有兩個局限性。首先，增強是為一般圖設計的，因此對于某些領域可能不夠合適或不夠強大。第二，對比方案只學習對局部擾動不變的表示，因此不考慮數據集的全局結構，這也可能對下游任務有用。因此，本文研究生物醫學領域中存在分子圖的圖對比學習。我們提出了一個新的框架MoCL，利用領域知識在局部和全局水平上幫助表示學習。局部層次的領域知識指導擴展過程，這樣在不改變圖語義的情況下引入變體。全局層次的知識對整個數據集圖之間的相似性信息進行編碼，并幫助學習具有更豐富語義的表示。整個模型通過雙對比目標學習。我們評估了在線性和半監督設置下的多種分子數據集上的MoCL，結果表明MoCL達到了最先進的性能。

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

分類法是一種層次結構的知識圖譜，在機器智能中起著至關重要的作用。分類法擴展任務旨在為現有分類法中的新術語找到一個位置，以捕獲世界上正在出現的知識，并保持分類法的動態更新。以往的分類法擴展解決方案忽略了層次結構所帶來的有價值的信息，只評估了增加的一條邊的正確性，從而將問題降級為節點對評分或小路徑分類。在本文中，我們提出了層次擴展框架(HEF)，充分利用層次結構的特性，最大限度地提高擴展分類的一致性。HEF在多個方面利用了分類法的層次結構: (i) HEF利用包含相關節點最多的子樹作為自監督數據，對親兄弟關系進行完整的比較; (ii) HEF采用一致性建模模塊，通過整合hypernymy關系檢測和多個樹獨占特征來評估分類子樹的一致性; iii) HEF引入了位置選擇的擬合得分，明確評價路徑選擇和水平選擇，并充分利用親代關系交換信息進行消歧和自我修正。大量的實驗表明，通過更好地利用層次結構和優化分類法的一致性，HEF在三個基準數據集上的準確率平均提高了46.7%，平均倒數排名提高了32.3%。

//www.zhuanzhi.ai/paper/adeba9959c7b75259d5b83a0e99d79e2

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

論文鏈接：//yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

該方法的關鍵點是 L2P-GNN 試圖學習在預訓練過程中以可遷移先驗知識的形式進行微調。為了將局部信息和全局信息都編碼為先驗信息，研究者進一步為 L2P-GNN 設計了在節點和圖級別雙重適應（dual adaptation）的機制。最后研究者使用蛋白質圖公開集合和書目圖的新匯編進行預訓練，對各種 GNN 模型的預訓練進行了系統的實證研究。實驗結果表明，L2P-GNN 能夠學習有效且可遷移的先驗知識，從而為下游任務提供強大的表示。

總體來說，這篇論文的貢獻如下：

首次探索學習預訓練 GNN，緩解了預訓練與微調目標之間的差異，并且為預訓練 GNN 提供了新視角。

針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。

針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。