論文解讀者：北郵 GAMMA Lab 博士生 張夢玫

題目： 對抗攻擊魯棒的異質圖神經網絡會議： AAAI 2022

異構圖神經網絡(Heterogeneous Graph Neural Networks, HGNNs)近年來受到越來越多的關注，并在許多任務中取得了突出的性能。然而，盡管它們被廣泛使用，我們發現它們對于對抗攻擊并不魯棒。在本研究中，我們首先系統地研究了HGNNs的魯棒性，并展示了在目標節點和hub節點(節點度高)之間添加對抗邊可以很容易地欺騙HGNNs。此外，我們給出了造成HGNNs漏洞的兩個關鍵原因:一種是擾動放大效應，HGNNs沒有編碼轉移概率，因此會放大對抗hub鄰居的影響；另一種是軟注意機制，即這種機制會給明顯不可靠的鄰居賦予恒正的注意力值。基于這兩個事實，我們提出了一種新的魯棒HGNNs框架RoHe，通過配置一個注意力凈化器，可以根據拓撲和特征對惡意鄰居進行剪枝。具體來說，為了解決對抗擾動的放大效應，我們引入基于元路徑的轉移概率作為凈化器的先驗，抑制惡意鄰居對于對抗hub鄰居的信心。然后，凈化器會學著mask掉低置信度的鄰居，從而消除軟注意機制中惡意鄰居的負面影響。在不同基準數據集上對多個HGNNs(HAN,MAGNN,GTN)[1,2,3]進行了大量實驗，在對抗性攻擊下HGNNs的顯著改進將證明我們的防御框架的有效性和泛化能力。

1 引言

許多真實世界的數據集都很自然地用異構圖(Heterogeneous Graphs, HGs)表示，其中包含了不同類型的對象和關系。圖1(a)給出了一個HG引文網絡的為例，網絡由三種類型的對象(作者(A)、論文(P)、主題(S))和兩種類型的關系(P- A和P-S)組成。由于HGs包含豐富的高階結構信息，元路徑(兩個節點類型之間的關系類型序列)被廣泛用作獲取此類信息的基本工具，如P-A-P(同一作者寫的論文)和P-S-P(屬于同一主題的論文)。近年來，隨著深度學習技術的應用，異質圖神經網絡(HGNN)興起，HGNN通常采用層次聚合(包括節點級和語義級)從基于元路徑的鄰居中獲取信息，并在許多任務(如節點分類、鏈接預測、聚類等)上取得了最先進的性能。

為了回答這個問題，我們測試了HGNNs的對抗魯棒性，我們發現它們在ACM數據集上對于相同的逃逸拓撲對抗攻擊(在測試階段擾動)下的性能，攻擊結果如圖1(b)所示。令人驚訝的是，與GCN下降約3個點相比，HGNNs（即HAN、MAGNN和GTN）平均大幅下降約28個點。顯然，HGNNs與GCNs的對抗魯棒性存在顯著差異，這促使我們進一步研究GCNs與HGNNs在模型設計上的差異。在對攻擊結果的進一步分析中，我們觀察到攻擊者傾向于惡意地將目標節點鏈接到度很高的節點(即hub)。以HAN為例，攻擊者在圖1(a)中注入一個對抗邊，這將導致惡意(紅色)論文在元路徑PAP下成為的直接鄰居。即使它們被分配了較小的注意值，它們仍然可以主導HAN中的接受域。

本文認為，HGNNs的這種脆弱性主要有兩個原因:

（1）擾動放大效應：我們將證明HGNNs會擴大對抗hub鄰居的影響，而GCNs不會擴大，因為HGNNs相比，GCN是通過間接吸收這些惡意的二跳鄰居，大量惡意鄰居只能通過影響鄰居來影響。而HAN直接聚合了基于PAP的所有鄰居，從而導致”只加一條對抗邊就可以注入大量惡意直接鄰居“的效果。具體HAN，MAGNN，GTN的擾動放大程度等以及例子可以參見論文。

（2）軟注意力機制：當存在對抗性/噪聲/異配鄰居時，軟注意機制可能會損害GNN的性能。而這種機制在HGNNs中會造成更嚴重的傷害，如圖1 (c)所示，大量的惡意鄰居可以累積較小但恒正的注意值，最終控制HGNNs的接受域，誤導的分類。基于這一事實，對于HGNNs來說，對明顯不可靠的鄰居分配零注意力值的能力是重要的。

圖1:ACM數據集上針對HGNNs的對抗攻擊的示例。(a) 異質圖（HG）和元路徑 (metapath)的基本概念。(b) HGNNs和GCN的魯棒性測試。(c)對抗邊下HAN中的軟注意值的toy example。(d)對抗邊對HAN和GCN的影響比較。

2. 模型

本文描述了我們提出的拓撲對抗攻擊魯棒的HGNNs框架 (Robust Heterogeneous GNNs，RoHe)。HGNNs通常采用分層聚合(包括節點級和語義級)，而我們的RoHe是從節點級聚合凈化鄰居。圖2說明了RoHe的總體架構。正如我們所看到的，對于基于每個基于元路徑的鄰居，我們用注意力凈化器來凈化被污染的注意力以進行防御。具體來說，為了減少擾動的放大效應，RoHe引入了一個轉移概率作為我們的凈化器的先驗，降低對抗hub鄰居的置信度。然后，基于轉移概率和特征相似性對感受域進行收縮，mask掉置信度很低的鄰居，解決了軟注意力機制不能徹底消除對抗邊的問題。最后，利用凈化后的注意力聚合所有元路徑的鄰居信息，將這些元路徑進行語義級聚合，最終生成下游任務的節點嵌入。注意，RoHe是一個通用的防御框架，可用于保護不同的HGNN方法。為了方便起見，我們展示了基于代表性HGNN模型的框架(HAN)。另外，我們也在實驗中探索了RoHe在其他最先進的HGNN（即MAGNN,GTN）上的防御能力。

圖2：RoHe的整體框架

節點特征映射:由于不同類型的節點可能具有不相等的特征向量維數或處于不同的特征空間中，HGNNs通常將不同類型節點的特征投影到公共空間中。具體地說，對于類型的目標節點，我們使用特定于類型的轉換矩陣來獲得投影特征，如下所示：

基于特征的相似性:給定一個元路徑，基于“特征相似的節點比不相似的節點更有可能重要”的假設，我們通過特征的點積相似性估計了下鄰居節點對目標節點的重要性:

在傳統的節點級注意機制中，基于特征的重要性將通過softmax函數在上直接歸一化，得到最終的軟注意值。我們認為HAN中只考慮節點的特征信息，而從拓撲的角度同等對待多跳鄰居，這將導致對抗hub鄰居的惡意影響被擴大，此外，所有在中的鄰居在softmax函數之后都被賦正值。這種軟注意機制在反向傳播中具有很好的可微分性，但無法對明顯的惡意鄰居賦零值。為了解決上述問題，我們引入了一個可微的凈化器來mask掉中置信度()較低的鄰居中的鄰居。具體地說，我們首先利用基于元路徑的轉移概率作為置信度的先驗來消除擾動放大問題。

轉移概率先驗：給定路徑，為了編碼沿元路徑的轉移概率作為置信度的先驗，我們首先計算關系，中的過渡概率矩陣 。其中，是度矩陣，中每個元素表示與下的從節點到的轉移概率。然后依據下式計算基于元路徑的轉移概率矩陣：

也就是說，給定元路徑, 包含兩部分信息:(1)基于和之間沿的路徑個數的連通性;(2)路徑上所有節點的度的信息。

置信度： 基于轉移概率先驗，為了確定不可靠的鄰居，我們可以通過融合 和，計算基于特征和拓撲的置信度向量

凈化mask: 接下來，針對軟注意力機制的問題，我們設計了一種mask操作，以可微的方式mask掉低信心的鄰居。具體地，我們通過構造一個mask 向量 來建模mask 操作：

其中是要保留的鄰居的數量，基于置信度返回個最可靠鄰居的集合，然后將通過將其他鄰居的掩碼值設置為來移除不可靠鄰居。softmax下，時，節點將被有效屏蔽，因為softmax對于的輸出為零。 因此，我們可以使用來屏蔽大量的對抗性/噪聲鄰居，通過softmax函數得到 :

至此，這種方法增強了節點級注意，編碼了元路徑鄰居的轉移概率，只聚合top-的可靠鄰居，緩解了擾動擴大和軟注意機制問題。最后，最終的被純化的注意力值將用于聚合鄰居以實現特定語義的嵌入 ：

本文的防御模型focus在節點級別的聚合，語義級聚合仍然和傳統的HGNNs類似。

3. 實驗

**RoHe在HAN上的對抗防御效果實驗：**在三個數據集上的不同程度的攻擊實驗證明了我們方法的防御能力。由于沒有現成的 HGNNs 防御框架, 我們直接將同質圖神經網絡的防御策略（ Jaccard、GGCL和SimP）簡單適應到HGNNs中。同時提出兩個RoHe的變種方法: (只保留轉移概率) and (只保留mask操作用于剪枝)。發現我們的對抗防御效果最好，同時在clean數據集中也獲得了comparable的效果。

**RoHe在HAN,MAGNN,GTN上的防御實驗：**證明了我們方法的泛化性

[1] Wang, X.; Ji, H.; Shi, C.; Wang, B.; Ye, Y.; Cui, P.; and Yu, P. S. 2019b. Heterogeneous Graph Attention Network. In WWW, 2022–2032. [2] Fu, X.; Zhang, J.; Meng, Z.; and King, I. 2020. MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding. In WWW, 2331–2341. [3] Hu, Z.; Dong, Y.; Wang, K.; and Sun, Y. 2020. Heterogeneous Graph Transformer. In WWW, 2704–2710.

題目：Compact Graph Structure Learning via Mutual Information Compression

作者：Nian Liu, Xiao Wang, Lingfei Wu, Yu Chen, Xiaojie Guo, Chuan Shi

//arxiv.org/abs/2201.05540

簡介：圖結構學習（GSL）的目的是同時學習最優圖結構以及圖神經網絡（GNNs）參數，可大致分為基于單視圖和基于多視圖兩類。其中，基于多視圖的GSL能從原始結構中抽取出多個基礎視圖，利用多方面的知識，從而來綜合評估最優的最終視圖。那么，如何有原則地從多個視圖中評估出最優結構，如何定義“最優”的概念，尚未有理論的指導。我們認為，本質上，最優圖結構應該僅包含關于下游任務中最精簡的信息，不多不少，從而能對于標簽做出最精確的預測。如果學到的結構吸收了很多和標簽無關的信息，那它會易受到對抗攻擊的影響；反之，如果它僅包含關于標簽有限的信息，模型就無法支撐下游任務。總之，最優結構應該包含最小但卻充分的關于標簽的信息，我們稱其為最小充分結構，它是有效性和魯棒性的平衡。

然而，獲得這樣一個最小充分結構需要解決兩個挑戰：（1）如何確保最終視圖的最小以及充分？為了達到充分，最終視圖應該充分由標簽指導，從而盡可能多地包含和標簽有關的信息；為了達到最小，我們需要限制信息從基礎視圖向最終視圖的流動。因此，為了達到最小與充分，我們需要思考基礎視圖、最終視圖以及標簽三者間的關系；（2）如何確保基礎視圖的有效性？作為最終視圖的信息源，基礎視圖需要保證較高質量。一方面，基礎視圖同樣需要包含標簽的信息，從而保證最終視圖的表現效果；另一方面，不同視圖間應相互獨立，這樣能消除彼此間的冗余，為最終視圖提供多方面的關于標簽的知識。

為了解決上述挑戰，在本文中我們通過互信息壓縮來學習緊致的圖結構，提出CoGSL模型。我們首先從原始結構中抽取兩個基礎視圖作為輸入，并設計視圖估計器去對輸入視圖進行調整。基于估計后的視圖，我們提出新的自適應無參聚合機制得到最終視圖。之后，我們給出了“最小充分結構”的正式定義，并從理論上證明，在基礎視圖和最終視圖的效果得到保障的前提下，我們需要同時最小化兩兩視圖間的互信息。為了有效地評估不同視圖間的互信息，我們基于InfoNCE損失設計相應的互信息估計器。最后，我們采用三折優化去訓練上述框架。

最大似然(Maximum likelihood, ML)是最基本、最通用的統計估計技術之一。受最近分布函數估計進展的啟發，我們提出壓縮最大似然(CML)，它將ML應用于壓縮樣本。然后，我們證明了CML對于離散和連續域上的幾個基本學習任務是樣本有效的，包括具有結構的學習密度、估計概率多集和推斷對稱分布函數。

//proceedings.mlr.press/v139/hao21c.html

題目： Lorentzian Graph Convolutional Networks 會議： WWW 2021

圖卷積神經網絡（GCN）最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示，但是對于具有無標度或層次結構的圖，歐幾里得幾何可能會產生較高的失真。近來，一些GCN使用非歐幾里得幾何，例如雙曲幾何，解決以上問題。盡管雙曲GCN展示了其性能，但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何，這可能會限制雙曲幾何的能力，從而損害雙曲GCN的性能。 在本文中，我們提出了一種新穎的洛倫茲圖卷積網絡（LGCN），它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作，包括特征變換和非線性激活，以確保變換后的節點特征遵循雙曲幾何。此外，基于洛倫茲距離的質心，我們提出了一種優雅的雙曲鄰居聚合方式，以確保被聚合的節點特征滿足數學意義。并且，我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義，表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。

利用弱監督或有噪聲的監督來構建有效的機器學習模型一直是一個重要的研究問題。由于訓練深度學習模型對大規模數據集的需求越來越大，其重要性最近進一步增加。弱或嘈雜的監督可能來自多種來源，包括非專業的注釋者或基于啟發式或用戶交互信號的自動標記。有大量的前期工作集中在利用嘈雜的標簽。最值得注意的是，最近的研究顯示，使用元學習實例重加權方法取得了令人印象深刻的成果，在這種方法中，元學習框架用于為嘈雜標簽分配實例權重。在本文中，我們將此方法擴展為元學習框架內的標簽校正問題。我們將標簽校正過程視為一個元過程，并提出了一個新的基于元學習的框架，稱為MLC(元標簽校正)，用于有噪聲標簽的學習。具體來說，采用標簽校正網絡作為元模型，對有噪聲的標簽進行校正，同時對主模型進行訓練，以充分利用校正后的標簽。兩個模型通過求解一個雙層優化問題來聯合訓練。在圖像識別和文本分類任務中，我們使用不同的標簽噪聲水平和類型進行了廣泛的實驗。我們比較重加權和修正的方法表明，修正框架解決了一些限制重加權。我們還表明，提出的MLC方法在圖像和語言任務上都優于以前的方法。

//www.microsoft.com/en-us/research/uploads/prod/2020/12/aaai2021_mlc_zheng.pdf

題目：* Certified Adversarial Robustness with Additive Noise

摘要：

對抗性數據實例的存在引起了深度學習社區的高度重視;相對于原始數據，這些數據似乎受到了最小程度的干擾，但從深度學習算法得到的結果卻非常不同。盡管已經考慮了開發防御模型的大量工作，但大多數此類模型都是啟發式的，并且常常容易受到自適應攻擊。人們對提供理論魯棒性保證的防御方法進行了深入的研究，但是當存在大規模模型和數據時，大多數方法都無法獲得非平凡的魯棒性。為了解決這些限制，我們引入了一個可伸縮的框架，并為構造對抗性示例提供了輸入操作規范的認證邊界。我們建立了對抗擾動的魯棒性與加性隨機噪聲之間的聯系，并提出了一種能顯著提高驗證界的訓練策略。我們對MNIST、CIFAR-10和ImageNet的評估表明，該方法可擴展到復雜的模型和大型數據集，同時對最先進的可證明防御方法具有競爭力的魯棒性。

作者簡介：

Changyou Chen是紐約州立大學布法羅分校計算機科學與工程系的助理教授，研究興趣包括貝葉斯機器學習、深度學習和深度強化學習。目前感興趣的是:大規模貝葉斯抽樣和推理、深度生成模型，如VAE和GAN、用貝葉斯方法進行深度強化學習。