亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Hyperbolic Heterogeneous Information Network Embedding

摘要： 異構信息網絡嵌入(Heterogeneous information network, HIN)以將其投射到低維空間為目標，已經引起了相當多的研究關注。現有的HIN嵌入方法主要是在歐幾里得空間中保留內部網絡結構和語義相關性。然而，一個基本的問題是歐幾里得空間是否是HIN的合適的或內在的等距空間?。近年來的研究認為，復雜網絡的底層可能具有雙曲幾何，因為底層的雙曲幾何可以自然地反映復雜網絡的一些特性，如層次結構和冪律結構。在本文中，我們首次嘗試將HIN嵌入到雙曲空間中。我們分析了兩個實際HIN的結構，發現HIN中也存在冪律分布等性質。為此，我們提出了一種新的雙曲異構信息網絡嵌入模型。具體地說，為了捕獲節點之間的結構和語義關系，我們采用元路徑引導隨機游走對每個節點的序列進行采樣。然后利用雙曲空間中的距離作為近似度量。雙曲距離能滿足三角不等式，并能很好地保持HIN中的傳遞性。我們的模型使節點及其鄰域具有小的雙曲線距離。進一步推導出有效的優化策略，迭代更新雙曲嵌入。實驗結果表明，該模型不僅在網絡重構和鏈路預測任務上具有優越的性能，而且在HIN中通過可視化顯示了捕獲層次結構的能力。

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

圖神經網絡(GNNs)是一種強大的圖表示學習工具。然而，最近的研究表明，GNN很容易受到精心設計的干擾，即所謂的對抗攻擊。對抗攻擊可以很容易地愚弄GNN，使其無法預測后續任務。在對安全性要求很高的應用程序中應用GNN的脆弱性引起了越來越多的關注。因此，開發對抗攻擊的魯棒算法具有重要意義。為對抗攻擊辯護的一個自然的想法是清理受干擾的圖。很明顯，真實世界的圖具有一些內在的特性。例如，許多真實世界的圖是低秩和稀疏的，并且兩個相鄰節點的特征趨于相似。事實上，我們發現，對抗攻擊很可能會破壞這些圖的屬性。因此，在本文中，我們探討這些性質，以防御圖的對抗性攻擊。特別地，我們提出了一個通用的框架Pro-GNN，它可以聯合學習結構圖和魯棒圖神經網絡模型從攝動圖的這些屬性指導。在真實圖上的大量實驗表明，與最先進的防御方法相比，即使在圖受到嚴重干擾的情況下，所提出的框架也能獲得更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，用于對抗攻擊和防御

//github.com/DSE-MSU/DeepRobust。

復現我們的結果的具體實驗設置可以在

概述

圖是在許多領域中普遍存在的數據結構，例如化學(分子)、金融(交易網絡)和社交媒體(Facebook朋友網絡)。隨著它們的流行，學習有效的圖表示并將其應用于解決后續任務尤為重要。近年來，圖神經網絡(Graph Neural Networks, GNNs)在圖表示學習取得了巨大的成功(Li et al.， 2015;Hamilton，2017;Kipf and Welling, 2016a;Veli?kovi?et al ., 2018)。GNNs遵循消息傳遞方案(Gilmer et al.， 2017)，其中節點嵌入是通過聚合和轉換其鄰居的嵌入來獲得的。由于其良好的性能，GNNs已經應用于各種分析任務，包括節點分類(Kipf和Welling, 2016a)、鏈接預測(Kipf和Welling, 2016b)和推薦系統(Ying et al.， 2018)。

雖然已經取得了令人鼓舞的結果，但最近的研究表明，GNNs易受攻擊(Jin et al.， 2020;Zugner et al.， 2018;Zugner Gunnemann, 2019;Dai et al.， 2018;吳等，2019b)。換句話說，在圖中不明顯的擾動下，GNNs的性能會大大降低。這些模型缺乏健壯性，可能會對與安全和隱私相關的關鍵應用造成嚴重后果。例如，在信用卡欺詐檢測中，詐騙者可以創建多個交易，只有少數高信用用戶可以偽裝自己，從而逃避基于GNNs的檢測。因此，開發抗攻擊的穩健的GNN模型具有重要意義。修改圖數據可以擾亂節點特征或圖結構。然而，由于結構信息的復雜性，現有的對圖數據的攻擊主要集中在修改圖數據結構，特別是添加/刪除/重連邊(Xu et al.， 2019)。因此，在這項工作中，我們的目標是抵御對圖數據的最常見的攻擊設置，即，對圖結構的毒殺攻擊。在這種情況下，圖結構在訓練GNNs之前已經修改了邊，而節點特征沒有改變，這已經擾亂了圖結構。

設計有效防御算法的一個視角是對擾動圖進行清理，如刪除反向邊和恢復被刪除邊(Zhu et al.， 2019;Tang et al., 2019)。從這個角度來看，關鍵的挑戰是我們應該遵循什么標準來清除擾動圖。眾所周知，真實世界的圖通常具有某些特性。首先，許多真實世界的干凈圖是低秩和稀疏的(Zhou et al.， 2013)。例如，在社交網絡中，大多數個體只與少數鄰居連接，影響用戶之間連接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次，干凈圖中連接的節點可能具有相似的特征或屬性(或特征平滑度)(McPherson et al.， 2001)。例如，在一個引文網絡中，兩個相連的出版物經常共享相似的主題(Kipf Welling, 2016a)。圖1演示了干凈和中毒圖的這些屬性。具體來說，我們用了最先進的圖數據中毒攻擊metattack (Zugner和Gunnemann, 2019a)來擾亂圖數據，并在mettack之前和之后可視化圖的屬性。如圖(a)a所示，metattack擴大了鄰接矩陣的奇異值，圖(b)b說明metattack可以快速地增加鄰接矩陣的秩。此外，當我們分別從攝動圖中刪除對抗性邊和法線時，我們觀察到刪除對抗性邊比刪除法線更快地降低了秩，如圖(c)c所示。另外，我們在圖(d)d中描述了攻擊圖的連通節點特征差異的密度分布。可以看出，metattack傾向于連接特征差異較大的節點。圖1的觀察結果表明，對抗性攻擊可能破壞這些屬性。因此，這些性質有可能作為清除攝動圖的指導。然而，利用這些性質來建立魯棒圖神經網絡的研究還很有限。

本文旨在探討圖的稀疏性、低秩性和特征平滑性，設計魯棒的圖神經網絡。請注意，還有更多的屬性有待探索，我們希望將其作為未來的工作。從本質上講，我們面臨著兩個挑戰:(1)如何在這些屬性的引導下，從中毒的圖數據中學習干凈的圖結構;(二)如何將魯棒圖神經網絡的參數與凈結構聯合學習。為了解決這兩個問題，我們提出了一個通用的框架屬性GNN (Pro-GNN)來同時從攝動圖和GNN參數中學習干凈的圖結構，以抵御對抗攻擊。在各種真實世界圖形上的大量實驗表明，我們提出的模型能夠有效地防御不同類型的對抗攻擊，并優于最先進的防御方法。

對抗性攻擊會對圖數據產生精心設計的擾動。我們把精心設計的擾動稱為對抗性結構。對抗結構會導致GNNs的性能急劇下降。因此，為了防御競爭攻擊，一種自然的策略是消除精心設計的競爭結構，同時保持固有的圖結構。在本工作中，我們的目標是通過探索低秩、稀疏性和特征平滑性的圖結構特性來實現這一目標。該框架的示意圖如圖2所示，其中黑色的邊為普通邊，紅色的邊為攻擊者為降低節點分類性能而引入的對抗性邊。為了抵御攻擊，Pro-GNN通過保持圖的低秩性、稀疏性和特征平滑性，迭代地重構干凈圖，以減少對抗結構的負面影響。同時，為了保證重構圖能夠幫助節點分類，Pro-GNN通過求解交替模式下的優化問題，同時更新重構圖上的GNN參數。

圖神經網絡很容易被圖對抗攻擊所欺騙。為了防御不同類型的圖對抗攻擊，我們引入了一種新的防御方法Pro-GNN，該方法同時學習圖結構和GNN參數。我們的實驗表明，我們的模型始終優于最先進的基線，并提高了在各種對抗攻擊下的整體魯棒性。在未來，我們的目標是探索更多的屬性，以進一步提高GNNs的魯棒性。

這也是一篇滿分的工作。是由常年戰斗在圖領域的大佬 Pablo Barceló 團隊貢獻的。圖神經網絡（GNN）區分圖節點的能力最近已經通過用于檢查圖同構性的 Weisfeiler-Lehman（WL）測試進行了表征。但是，這種表征并不能解決哪些布爾節點分類器可以由 GNN 來表示 （即，將圖中的節點分類為真或假的函數）的問題。這篇文章專注于研究布爾分類器來解決上述問題。首先研究的是流行的GNNs（文中稱為 AC-GNNs）開始，在該類 GNN 中僅根據鄰居的特征，在連續的層中更新圖中每個節點的特征。實驗表明，這類 GNN 太弱而無法捕獲所有 FOC2（一種一階邏輯研究） 分類器，并提供了 AC-GNNs 可以捕獲的 FOC2 分類器最大子類的語法表征。然后，研究人員研究了，需要在 AC-GNNs 中添加什么來實現捕獲所有的 FOC2 分類器，實驗表明，添加 readout 就可以了。不僅可以更新節點的鄰居，還可以更新全局屬性向量。文章稱這類 GNNs 為 ACR-GNNs。

圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。

摘要 近年來，使用結構化數據建模的圖神經網絡(GNNs)取得了巨大的成功。然而，大多數的GNN都是針對同構圖設計的，在同構圖中，所有的節點和邊都屬于同一種類型，使得它們無法表示異構結構。在這篇論文中，我們提出了一種異構圖 Transformer(HGT)結構來對web級的異構圖進行建模。為了對異構性進行建模，我們設計了節點類型和邊類型的相關參數來描述每個邊上的異構注意力程度，從而使HGT能夠維護不同類型節點和邊的特定表示。為了處理動態異構圖，我們在HGT中引入了相對時間編碼技術，該技術能夠捕獲具有任意持續時間的動態結構依賴關系。針對網絡規模圖數據的處理問題，設計了高效、可擴展的小批量圖數據采樣算法HGSampling。在擁有1.79億個節點和20億個邊的開放學術圖上進行的大量實驗表明，所提出的HGT模型在各種下游任務上的性能始終比所有最先進的GNN基線高9-21%。

關鍵詞：圖神經網絡；異構信息網絡；表示學習；圖嵌入；圖注意力

介紹

異構圖通常對復雜的系統進行抽象和建模，其中不同類型的對象以各種方式相互交互。此類系統的一些常見實例包括學術圖、Facebook實體圖、LinkedIn經濟圖，以及廣泛的物聯網網絡。例如，圖1中的開放學術圖(OAG)[28]包含五種類型的節點:論文、作者、機構、場所(期刊、會議或預印本)和字段，以及它們之間不同類型的關系。

在過去的十年中，人們對異構圖[17]的挖掘進行了大量的研究。其中一個經典的范例就是定義和使用元路徑來對異類結構進行建模，例如PathSim[18]和變元ath2vec[3]。最近，鑒于圖神經網絡(GNNs)的成功[7,9,22]，[14,23,26,27]嘗試采用GNNs來學習異構網絡。然而，這些工作面臨著幾個問題:首先，它們大多涉及到為每種類型的異構圖設計元路徑，這需要特定的領域知識;其次，它們要么簡單地假設不同類型的節點/邊共享相同的特征和表示空間，要么為節點類型或單獨的邊類型保留不同的非共享權值，使它們不足以捕獲異類圖的屬性;三是大多忽略了每一個(異構)圖的動態性;最后，它們固有的設計和實現使得它們無法對web規模的異構圖進行建模。

以OAG為例:首先，OAG中的節點和邊可能具有不同的特征分布，如論文具有文本特征，而機構可能具有來自附屬學者的特征，共同作者明顯不同于引文鏈接;OAG一直在不斷發展，例如:1)出版物的數量每12年翻一倍[4];2)KDD會議在1990年代更多地與數據庫相關，而近年來更多地與機器學習相關;最后，OAG包含數億個節點和數十億個關系，使得現有的異構GNN無法擴展來處理它。

針對這些限制和挑戰，我們建議研究異構圖神經網絡，其目標是維護節點和邊類型依賴表示、捕獲網絡動態、避免自定義元路徑和可擴展到web級圖。在這項工作中，我們提出了異構圖 Transformer(HGT)架構來處理所有這些問題。

為了處理圖的異構性，我們引入了節點類型和邊類型依賴注意力機制。HGT中的相互注意不是對每一個類型邊參數化，而是根據其元關系三元組e=(s，t)，即 s為節點類型，s與t之間的e的邊類型，t的節點類型。圖1展示了異構學術圖的元關系。具體來說，我們使用這些元關系來對權重矩陣參數化，以計算每條邊上的注意力。因此，允許不同類型的節點和邊維護其特定的表示空間。同時，不同類型的連接節點仍然可以交互、傳遞和聚合消息，而不受其分布差異的限制。由于其架構的性質，HGT可以通過跨層傳遞消息來整合來自不同類型的高階鄰居的信息，這可以看作是軟元路徑。也就是說，即使HGT只將其單跳邊作為輸入，而不需要手動設計元路徑，所提出的注意力機制也可以自動、隱式地學習和提取對不同下游任務重要的元路徑。

為了處理圖數據的動態特性，我們提出了相對時間編碼(RTE)策略來增強HGT。我們不打算將輸入圖分割成不同的時間戳，而是建議將發生在不同時間的所有邊作為一個整體進行維護，并設計RTE策略來對任何持續時間長度的結構性時間依賴關系進行建模，甚至包括不可見的和未來的時間戳。通過端到端訓練，RTE使HGT能夠自動學習異構圖的時間依賴性和演化。

為了處理網絡規模的圖形數據，我們設計了第一個用于小批量GNN訓練的異構子圖采樣算法HGSampling。它的主要思想是樣本異構子圖中不同類型的節點與類似的比例,由于直接使用現有的(均勻)GNN抽樣方法,如GraphSage [7], FastGCN[1],和LADIES[29],結果在高度不平衡的關于節點和邊緣的類型。此外，它還被設計成保持采樣子圖的密度以最小化信息的丟失。通過HGSampling，所有的GNN模型，包括我們提出的HGT，都可以在任意大小的異構圖上進行訓練和推斷。

我們證明了所提出的異構圖Transformer在網絡規模開放學術圖上的有效性和效率，該開放學術圖由1.79億個節點和20億個邊組成，時間跨度從1900年到2019年，這是迄今為止在異構圖上進行的規模最大、跨度最長的表示學習。此外，我們還檢查領域特定的圖表:計算機科學和醫學學術圖表。實驗結果表明，與最先進的GNNs和專用的異構模型相比，在下游任務中HGT可以顯著提高9-21%。我們進一步進行了案例研究，表明了所提出的方法確實能夠自動捕獲不同任務的隱式元路徑的重要性。

題目： Logical Expressiveness of Graph Neural Networks

摘要：

圖神經網絡(Graph Neural Networks, GNNs)是近年來在分子分類、知識圖譜補全等結構化數據處理領域中流行起來的一類機器學習體系結構。最近關于GNNs表達能力的研究已經建立了它們對圖中節點進行分類的能力與用于檢查圖同構的WeisfeilerLehman (WL)測試之間的緊密聯系。具體來說，這兩篇論文的作者分別觀察到，WL測試產生的節點分類總是細化了任何GNN產生的分類，而且有GNN可以重現WL測試。這些結果表明，GNNs在節點分類方面與WL測試一樣強大。然而，這并不意味著GNNs可以表達任何通過WL測試改進的分類器。我們的工作旨在回答以下問題:什么是可以用GNNs捕獲的節點分類器?在本文中，我們從邏輯的角度來看待這個問題，將其限制在FOC2中可表達的屬性上，即具有計數能力的一階邏輯的兩變量片段進行研究。

作者：

Pablo Barceló是智利天主教大學工程學院和數學學院數學與計算工程研究所所長，研究領域為數據庫理論、計算機科學中的邏輯、自動機理論。