本文研究了一種知識遷移的新范式，旨在通過將知識從在完全圖上訓練的教師GNN模型提取到在更小或更稀疏的圖上操作的學生GNN模型，將圖拓撲信息編碼到圖神經網絡(GNN)中。為此，我們回顧了熱力學和GNN行為之間的聯系，在此基礎上，我們提出了神經熱核(NHK)來封裝與GNN體系結構有關的底層流形的幾何特性。一個基本的和原則性的解決方案是通過對齊教師和學生模型的NHKs，稱為幾何知識蒸餾。我們開發了非參數實例化和參數化實例化，并在不同的實驗設置中演示了它們的有效性，用于不同類型的特權拓撲信息和師生方案的知識蒸餾。

//arxiv.org/pdf/2210.13014.pdf

目前的一種主流自監督學習方法追求可以很好地遷移到下游任務的通用表示，通常通過對給定的前置任務(如實例判別)進行優化。現有的前置任務不可避免地在學習到的表示中引入了偏見，這反過來導致在各種下游任務上的遷移性能存在偏見。為了解決這一問題，我們提出了最大熵編碼(Maximum Entropy Coding, MEC)，這是一個更原則性的目標，它明確優化了表示的結構，從而使學習到的表示更少偏差，從而更好地推廣到不可見的下游任務。受信息論中最大熵原理的啟發，假設一個可泛化的表示應該是在所有似是而非的表示中允許最大熵的表示。為了使目標端到端可訓練，我們提出利用有耗數據編碼中的最小編碼長度作為熵的計算可處理代理，并進一步推導出允許快速計算的可擴展的目標重新表述。廣泛的實驗表明，MEC比之前基于特定前置任務的方法學習到更通用的表示。它在各種下游任務上始終保持最先進的性能，不僅包括ImageNet線性探測，還包括半監督分類、目標檢測、實例分割和目標跟蹤。有趣的是，我們表明，現有的批處理和特征自監督目標可以被視為等同于MEC的低階近似。代碼和預訓練的模型可在//github.com/xinliu20/MEC獲得。

題目：Uncovering the Structural Fairness in Graph Contrastive Learning 會議：NeurIPS 2022 論文鏈接：//arxiv.org/abs/2210.03011

節點表示學習對結構公平性有所要求，即在度小和度大節點上都有良好的性能表現。最近研究表明，圖卷積網絡 (GCN) 常對度小節點的預測性能較差，在廣泛存在的度呈長尾分布的圖上表現出結構不公平。圖對比學習 (GCL) 繼承了 GCN 和對比學習的優勢，甚至在許多任務上超越了半監督 GCN。那么 GCL 針對節點度的表現又如何呢？是否可能為緩解結構不公平提供新的思路？

1. 背景

最近研究表明[1]，圖神經網絡（GCN）表現出結構不公平，即對度大節點（頭節點）的預測性能較佳，而度小節點（尾節點）較差。由于實際場景中的節點度通常遵循長尾冪律分布，GCN 的這種結構不公平會導致一定的性能瓶頸。 圖對比學習（GCL）取 GCN 和對比學習之長處，使節點表示學習不依賴監督信息的同時，在一些任務上的性能比肩甚至超越半監督 GCN。現有 GCL 方法一般對輸入隨機增廣，并設置合適的正負例來對比優化 GCN 編碼器。由此，不禁好奇： GCL 是否會繼承 GCN 的結構不公平性？ 我們通過實驗探究，驚奇地發現 GCL 方法中度大和度小節點間的性能差距小于 GCN，展現出緩解結構不公平性的潛力。此時，一個關鍵的問題自然出現： 為什么 GCL 對度偏差更公平？ 該問題的答案可以為緩解結構不公平性提供新的思路，并加深我們對 GCL 機制的理解。 直觀地，圖增廣使尾節點有機會產生更多的社區內邊，與同社區節點的表示更近，從而遠離社區邊界，易于分類。理論地，我們通過證明社區內集中定理和社區間分散定理揭示 GCL 所得節點表示呈現清晰的社區結構。這些定理與 GCL 的兩個核心部分相關：正例的對齊，恰為 GCL 的優化目標；預定義的圖增廣策略，影響增廣表示的集中程度。由此，我們我們建立了圖增廣與表示集中間的關系，并提出基于新的圖增廣策略的 GCL 模型（GRADE）來進一步提升結構公平性。具體地，GRADE 將尾節點和相似節點的自我中心網絡插值，使尾節點鄰域包含更多相同社區的節點；將頭節點的自我中心網絡提純以減弱不同社區節點帶來的噪音。在多種基準數據集和評估協議下的實驗充分驗證了 GRADE 的有效性。

2. GCL 結構公平性的實驗探究

選取兩個具有代表性的 GCL 模型 DGI[2]和 GraphCL[3]，分析其結構公平性。具體地，我們將GCN、DGI 和 GraphCL 分別在 Cora、Citeseer、Photo 和 Computer 數據集上訓練，并根據度將節點分組，計算這些組的平均準確率，如圖所示。為進一步反映結構公平性，我們用線性回歸擬合這些散點，斜率越小，該模型對度偏差越公平。Photo 和 Computer 數據集上的實驗結果，參見論文。從圖中可以看出，DGI 和 GraphCL 尾節點的平均準確率高于 GCN，且回歸線的斜率也較小。這一有趣的現象說明，無監督的 GCL 方法比半監督的 GCN 更具有結構公平性。

3. GCL 結構公平性的理論分析

圖定義為 ，其中 是 個節點組成的節點集 ， 是邊集， 是節點特征矩陣， 代表節點 的特征。邊集可以用鄰接矩陣 表示，如果 ，則 。給定無標簽的訓練集，每個節點屬于 個社區 之一。假設增廣集 包含所有可能的拓撲增廣策略，節點 的自我中心網絡 可能產生的所有正例集為 。 GCL 的目標是學到合理的 GCN 編碼器 使得正例對間相近，而負例對間相遠。這里，我們聚焦于拓撲增廣和單層 GCN， 其中 是轉移矩陣 的第 行， 是加自環的鄰接矩陣， 是度矩陣。我們使用社區指示器 其中 是社區中心， 代表 范數。社區指示器 的誤差形式化為 基于以上定義，記正例對表示間距離不大于 的節點集為 。 假設非線性變換具有 -Lipschitz 連續性，即 ，拓撲增廣均勻采樣 條邊 ，且存在半徑 使任意增廣都有 。可證：

該定理建立了表示的社區內集中程度與 中正例對對齊程度間的關系。具體地，社區內集中需要較小的 。對比學習優化框架正是縮小正例對間的距離，因而 GCL 滿足要求。 接下來，我們證明 GCL 還具有社區間分散的特性。對于增廣集 ，將兩節點間的增廣距離定義為其變換前表示的最小距離， 其中 是增廣后的鄰接矩陣 的第 行， 為增廣后的度。基于增廣距離，我們引入 -augmentation 的定義用于衡量變換前表示的集中程度。

越大的 和越小的 說明變換前表示越集中。假設表示被歸一化 ，且 。我們同時約束社區間距離和社區指示器誤差：

為更準確地分配社區，不等式右邊應接近 ，因而需要 較小。我們進一步通過對比框架中的正例對對齊損失約束 ：

所有定理證明參見原文。綜上，社區間距離和社區指示器的誤差由兩個因素主導：1）正例對的對齊，較好的對齊可使 較小，從而 較小；2）增廣表示的集中程度，更集中則 更大。小的 和大的 會直接減小社區指示器的誤差，并為社區間分散提供小的 。需要強調的是，第一個因素是 GCL 的對比目標，反映 GCL 結構公平的原因。而第二個因素取決于圖增廣策略的設計。在此驅動下，我們提出可以進一步集中增廣表示的圖增廣方式。

4. GRADE

圖增廣

我們通過同時擾動原始特征和拓撲生成兩個增廣 和 ，并將兩增廣所得節點表示記為 和。 為獲得更集中的增廣表示，需要增加社區內邊，減少社區間邊。由于尾節點和頭節點的結構屬性不同，我們分別設計了不同的拓撲增廣策略，如圖所示。為擴展尾節點鄰域以包含更多相同社區的節點，我們將錨尾節點 與采樣所得相似節點 的自我中心網絡插值。為防止增廣過程注入許多不同社區節點，進一步依據 和 間的相似性調整插值比率。對于頭節點，我們則利用相似性采樣來提純其鄰域，盡量移除社區間邊。

形式化地，我們基于節點表示間的余弦相似度構建相似度矩陣 ，對 有 ，否則 。對于任意尾節點 ，自多峰分布 中采樣出節點 ，其中 是 中對應于節點 的行向量。然后，將 和 的鄰居分布插值，為尾節點 創建新的相似度感知鄰域。這里，節點 的鄰居分布定義為 ，如果 ，否則 。為減少不同社區節點帶來的噪音，相似度 用作插值比率 ， 然后，從鄰居分布 中進行不替換采樣。對任意頭節點 ，定義用于提純的相似性分布。具體地，如果 ，則節點 的相似性分布為 ，否則 。基于相似性分布 ，不替換地采樣出 個鄰居，其中 是邊丟棄率。通過這種相似性采樣，不同社區間的邊往往會被移除，從而保留有效的鄰域信息。 至于特征增廣，我們隨機產生掩碼向量 來隱去節點特征中的部分維度。掩碼 中的每個元素都是從貝努利分布 中采樣所得，其中超參數 是特征丟棄率。因此，增廣后的特征 為 在實現時，設置閾值 區分尾節點和頭節點。增廣 和 應用相同的超參數 和 。

優化目標

對節點 ，不同圖增廣得到的節點表示 和 構成正例對，而其他節點的表示被視為負例。因此，每個正例對 的目標函數定義為 其中 是溫度系數， 是 ， 是多層感知器（MLP），用于增強表達能力[4]。因此，總體目標函數是最大化所有正例對的平均值

5. 實驗

我們將 GRADE 與最具代表性的 GCL 模型 DGI、GraphCL、GRACE、MVGRL 和 CCA-SSG 進行比較，并同時評估半監督 GCN 以供參考。對于 GCL 模型，每個模型以無監督方式進行訓練后，所得節點表示喂入邏輯回歸分類器，并采用常見的兩種劃分方式進行評估：1）半監督劃分，每類 20 個標記節點用于訓練，1000 個節點用于測試；2）監督劃分，1000 個節點用于測試，其余節點用于訓練。GCN 同樣遵循上述劃分進行訓練。

節點分類

10次獨立實驗的平均值和標準差如上表所示。在大多數情況下，GRADE 優于所有基線方法。GRADE 在 Cora 和 Citeser 數據集上的提升更顯著，因為這兩個數據集的平均節點度約為 3，存在大量尾節點。為驗證 GRADE 在提高尾節點分類性能的同時保留了頭節點的性能，我們根據閾值 將 Cora 的測試節點分為尾節點和頭節點，并在小提琴圖中繪制其平均準確率。正如預期，無論尾節點還是頭節點，GRADE 都有較明顯的性能提升。

公平性分析

為定量分析結構公平性，定義組平均為所有以度分組的平均準確度的平均值，而偏差定義為方差。

基于這些指標，評估結果如下表所示。可以看出，GRADE 降低了所有數據集的偏差，并保持最高的組平均。

可視化

為證明 GRADE 使社區更集中，我們可視化了 Cora 數據集上 GRADE 和基線的節點表示。以藍色社區為例，圖對比學習基線雖比 GCN 有更清晰的社區邊界，但藍色節點仍很分散。在 GRADE 中，它們聚集在一起，說明增廣策略發揮了重要作用。 更多實驗，請參考原文。

參考文獻

[1] Jian Kang, Yan Zhu, Yinglong Xia, Jiebo Luo, and Hanghang Tong Rawlsgcn: Towards rawlsian difference principle on graph convolutional network. In WWW, 2022. [2] Petar Velickovic, William Fedus, William L Hamilton, Pietro Liò, Yoshua Bengio, and R Devon Hjelm. Deep graph infomax. In ICLR, 2019. [3] Yuning You, Tianlong Chen, Yongduo Sui, Ting Chen, Zhangyang Wang, and Yang Shen. Graph contrastive learning with augmentations. In NeurIPS, 2020. [4] Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey E. Hinton. A simple framework for contrastive learning of visual representations. In ICML, 2020.

本期責任編輯：王嘯本期編輯：劉佳瑋

圖神經網絡(GNNs)已被證明是有前途的解決方案的協同過濾(CF)與用戶項交互圖建模。現有的基于GNN的推薦系統的關鍵思路是遞歸地執行沿用戶-項目交互邊緣傳遞的消息，以細化編碼的嵌入。盡管他們的有效性，但是，目前大多數的推薦模型依賴于足夠的和高質量的訓練數據，這樣學習的表示可以很好地捕捉準確的用戶偏好。在許多實際的推薦場景中，用戶行為數據往往是有噪聲的，并且呈現出偏態分布，這可能導致基于GNN的模型的表現性能欠佳。在本文中，我們提出了一種新的自監督超圖transformer 框架(SHT)，它通過明確地探索全局協作關系來增強用戶表示。具體來說，我們首先賦予圖神經CF范式以超圖transformer 網絡來維持用戶和物品之間的全局協同效果。在提取全局上下文的基礎上，提出了一種跨視圖生成式自監督學習組件，用于用戶-物品交互圖上的數據增強，以增強推薦系統的魯棒性。大量實驗表明，SHT可以顯著提高各種最先進的基線性能。進一步的消融研究表明，我們的SHT推薦框架在緩解數據稀疏性和噪聲問題方面具有卓越的表達能力。源代碼和評估數據集可以在//github.com/akaxlh/SHT上找到。

異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。

//www.zhuanzhi.ai/paper/9af678b0d09538b9cc18ef07a10d9560

在半監督領域自適應問題的目標域數據中對每個類別賦予少量有標簽樣本可引導其余的無標簽目標域樣本的特征聚集在它們周圍。但是，如此經過訓練后的模型無法為目標域生成具有高度區分性的特征表示，因為訓練過程主要由來自源域的有標簽樣本主導。這就可能導致有標簽和無標簽的目標域樣本之間的特征缺乏連結以及目標域和源域樣本之間的特征進行錯位對齊。在本文中，作者們提出了一種新的被稱為跨域自適應聚類的算法來解決這個問題。為了同時實現不同領域間和同一領域內的自適應，我們首先引入了一個對抗性自適應聚類損失函數來對無標簽目標域樣本的特征進行分組聚類，并在源域和目標域之間以聚類簇的形式進行跨域特征對齊。另外，我們進一步將“Pseudo labeling”技術應用于目標域中無標簽樣本，并對具有較高的置信度的樣本賦予“偽標簽”。該技術擴充了目標域中每個類別的“有標簽樣本”的數量使得每個類別可以產生了更加魯棒、強大的聚類簇中心，從而促進對抗學習過程。我們在包括DomainNet、Office-Home和Office在內的基準數據集上進行的大量實驗，結果表明我們所提出的方法能夠在半監督域自適應中實現最優性能。

論文鏈接：//www.zhuanzhi.ai/paper/bca546caa350082ff63382cc18636077

代碼鏈接：

無監督域自適應(UDA)是在給定源域上有標記數據的情況下，對目標域上的無標記數據進行預測。主流的UDA方法學習這兩個域之間的對齊特征，這樣一個訓練在源特征上的分類器可以很容易地應用到目標特征上。但是，這種轉移策略有可能破壞目標數據的內在辨別能力。為了緩解這種風險，我們基于結構域相似度的假設，提出通過對目標數據進行判別聚類，直接發現目標的內在歧視。我們利用基于結構域相似性的結構源正則化約束聚類解。在技術上，我們使用了一個靈活的基于判別聚類的深度網絡框架，使網絡的預測標簽分布與引入的輔助標簽分布之間的KL分歧最小化;用源數據的基真標簽形成的輔助分布代替輔助分布，通過簡單的聯合網絡訓練策略實現了結構源的正則化。我們將提出的方法稱為結構正則化深度聚類(SRDC)，其中我們還使用中間網絡特征的聚類來增強目標識別，并使用較少發散的源實例的軟選擇來增強結構正則化。仔細的消融研究顯示了我們提出的SRDC的療效。值得注意的是，在沒有顯式域對齊的情況下，SRDC在三個UDA基準上的性能優于所有現有方法。