深度圖神經網絡(Deep graph neural networks, GNNs)能夠很好地表達圖結構數據的建模。然而，深度圖模型的過載架構使得其難以在移動或嵌入式系統上部署和快速測試。為了壓縮重疊的GNN，通過師生架構進行知識蒸餾是一種有效的技術，其中的關鍵步驟是用預定義的距離函數測量教師和學生網絡之間的差異。然而，對各種結構的圖使用相同的距離可能是不合適的，最優距離公式難以確定。為了解決這些問題，我們提出了一種新的對抗性知識蒸餾框架，命名為GraphAKD，它對抗性訓練一個鑒別器和一個生成器，自適應檢測和減少差異。特別地，注意到良好捕獲的節點間和類間相關性有利于深度GNN的成功，我們提出使用可訓練的鑒別器來批判從節點級和類級視圖繼承的知識。鑒別器區分老師的知識和學生繼承的知識，而學生GNN作為生成器，目的是欺騙鑒別器。據我們所知，GraphAKD是第一個將對抗性訓練引入到圖領域知識蒸餾的系統。在節點級和圖級分類基準上的實驗表明，GraphAKD在很大程度上提高了學生的表現。結果表明，GraphAKD能夠準確地將知識從復雜的教師GNN傳遞到緊湊的學生GNN。
//arxiv.org/pdf/2205.11678.pdf
付費5元查看完整內容
相關內容
結構化數據在網絡應用中很好地存在，如社交媒體中的社交網絡、學術網站中的引文網絡、在線論壇中的線程數據。由于拓撲結構的復雜性，這些數據中的豐富信息難以處理和利用。圖神經網絡(GNN)在結構化數據的學習表示方面顯示出極大的優勢。然而，深度學習模型的不透明性使得解釋GNN的預測變得非常重要。同時，GNN解釋的評價也是一個巨大的挑戰，因為在很多情況下，基準真相解釋是不可用的。在本文中，我們從因果推理理論中借鑒反事實和事實推理(CF^2)的觀點，來解決可解釋GNN中的學習和評價問題。為了生成解釋，我們提出了一個模型無關的框架，通過建立一個優化問題的基礎上，這兩個隨意的觀點。這將CF^2與之前只考慮其中一個的可解釋GNN區分開來。這項工作的另一個貢獻是對GNN解釋的評價。為了在不要求基本事實的情況下定量地評估生成的解釋，我們設計了基于反事實和事實推理的度量標準，以評估解釋的必要性和充分性。實驗表明，無論基準真相解釋是否可用，CF^2在真實數據集上都比以前的最先進的方法產生了更好的解釋。此外，統計分析證明了基準真相評估和我們提出的指標之間的相關性。
付費5元查看完整內容
圖對齊的目的是識別跨多個圖的節點對應，這在各個領域具有重要意義。由于監督信息往往是不可獲取的，無監督方法最近吸引了大量的研究興趣。大多數現有的無監督方法都假定相應的節點應該具有類似的局部結構，然而，這往往不成立。同時，富節點屬性通常是可用的，并已證明在緩解上述局部拓撲不一致問題方面是有效的。由于圖卷積網絡(GCNs)成功地融合了網絡和節點屬性用于各種學習任務，我們的目標是在GCNs的基礎上解決圖對齊問題。然而，由于多方面的挑戰，直接將GCNs嫁接到圖對齊上往往是不可行的。為了解決這一問題，我們提出了一種新的無監督圖對齊框架WAlign。我們首先開發了一個輕量級的GCN架構來捕獲本地和全局圖模式以及它們與節點屬性的內在關聯。然后證明在嵌入空間中，獲得最優對齊結果等價于最小化不同圖中節點嵌入之間的Wasserstein距離。為此，我們提出了一種新的Wasserstein距離鑒別器來識別候選節點對應對，用于更新節點嵌入。整個過程就像一個兩人博弈，最后我們得到了適合于對齊任務的鑒別嵌入。在合成和真實數據集上的大量實驗驗證了所提出框架WAlign的有效性和效率。
付費5元查看完整內容
圖神經網絡在許多基于圖的任務中得到了廣泛的應用，如節點分類、鏈路預測和節點聚類。GNNs的性能優勢主要來自于對圖的邊緣執行特征傳播和平滑，因此需要足夠的連接性和標簽信息來進行有效傳播。不幸的是，許多現實世界的網絡在邊緣和標簽方面都是稀疏的，這導致了GNN的次優性能。最近對這個稀疏問題的興趣集中在自訓練方法上，它用偽標簽擴展監督信號。然而，由于偽標簽的質量和數量都不理想，自訓練方法本身并不能充分發揮提煉稀疏圖學習性能的潛力。在本文中，我們提出了ROD，一種新的接收感知的在線知識提取方法用于稀疏圖學習。我們為ROD設計了三種監督信號:多尺度接收感知的圖知識、基于任務的監督和豐富的提煉知識，允許知識以同行教學的方式在線遷移。為了提取隱藏在多尺度接收領域中的知識，ROD明確要求個體學生模型保持不同層次的位置信息。對于給定的任務，每個學生根據自己的接受量表知識進行預測，同時結合多尺度知識動態地建立一個強大的教師。我們的方法已經在9個數據集和各種基于圖的任務上進行了廣泛的評估，包括節點分類、鏈接預測和節點聚類。結果表明，ROD算法達到了最先進的性能，對圖稀疏性具有更強的魯棒性。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
推薦系統(RS)采用知識蒸餾，這是一種模型壓縮技術，用從預訓練的大型教師模型遷移的知識來訓練緊湊的學生模型。最近的研究表明，從教師的中間層遷移知識顯著提高了學生的推薦質量。但是，它們是逐點遷移個體表示的知識，因此存在一個局限，即RS的主要信息在于表示空間中的關系。本文提出了一種新的拓撲蒸餾方法，通過將建立在教師空間關系上的拓撲結構傳遞給學生來指導學生進行拓撲蒸餾。我們首先觀察到，簡單地讓學生學習整個拓撲結構并不總是有效的，甚至會降低學生的表現。我們證明，因為與老師相比，學生的能力是非常有限的，學習整個拓撲結構對學生來說是令人生畏的。為了解決這一問題，我們提出了一種新的分層拓撲蒸餾(HTD)方法，該方法可以分層地對拓撲進行蒸餾，以應對較大的容量缺口。我們在真實數據集上的大量實驗表明，提出的方法明顯優于先進的競爭對手。我們還提供了深入的分析，以確定提取RS拓撲的好處。
付費5元查看完整內容
論文針對現有跨語言命名實體識別方法主要使用源語言數據和翻譯數據的局限性，提出充分利用目標語言的大規模無標簽數據提升遷移性能。作者基于半監督學習和強化學習方法，提出RIKD模型，首先通過在目標語言無標簽數據上迭代知識蒸餾，不斷獲得更高效的學生模型。其次，為了降低蒸餾過程中教師模型的推理錯誤和低質量數據帶來的噪聲，設計了一個基于強化學習的樣本選擇器，動態選擇信息量更大的樣本進行蒸餾。實驗結果表明，RIKD在基準數據集和內部數據集上顯著優于現有最優模型。
付費5元查看完整內容
近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。
付費5元查看完整內容
【導讀】作為世界數據挖掘領域的最高級別的學術會議，ACM SIGKDD（國際數據挖掘與知識發現大會，簡稱 KDD）每年都會吸引全球領域眾多專業人士參與。今年的 KDD大會已經在這周線上舉行（疫情影響）。KDD 2020官方發布接收論文，共有1279篇論文提交到Research Track，共216篇被接收，接收率16.8%。KDD 2020 Paper 都已經放出來了，為此，專知小編提前為大家整理了五篇KDD 2020 遷移學習（Transfer Learning）相關論文，供大家參考——對抗攻擊、時序數據、半監督協同過濾、遷移集成學習、信息抽取
KDD2020 Accepted Papers //www.kdd.org/kdd2020/accepted-papers
KDD2020RS、KDD2020GNN_Part2、KDD2020GNN、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、
1、Two Sides of the Same Coin: White-box and Black-box Attacks for Transfer Learning
作者：Yinghua Zhang, Yangqiu Song, Jian Liang, Kun Bai, Qiang Yang
摘要：遷移學習已經成為在目標領域訓練有限標簽數據的深度學習模型的一種常見做法。另一方面，深度模型容易受到對抗性攻擊。盡管遷移學習已得到廣泛應用，但其對模型穩健性的影響尚不清楚。為了解決這個問題，我們進行了廣泛的實驗評估，表明這種微調方式有效地增強了模型在白盒FGSM攻擊下的魯棒性。我們還提出了一種針對遷移學習模型的黑盒攻擊方法，該方法利用目標模型的源模型生成的對抗性示例攻擊目標模型。為了系統地度量白盒攻擊和黑盒攻擊的效果，我們提出了一種新的度量來評估源模型產生的對抗性示例向目標模型遷移的程度。實驗結果表明，與兩個網絡單獨訓練時相比，使用微調時的對抗性例子具有更強的可移植性。
網址：
2、Multi-Source Deep Domain Adaptation with Weak Supervision for Time-Series Sensor Data
作者：Garrett Wilson, Janardhan Rao Doppa, Diane J. Cook
摘要：域自適應(DA)為重新使用新問題領域的數據和模型提供了一種有價值的手段。然而，對于時間序列數據，這些技術尚未被考慮。在本文中，我們主要做了三個方面的貢獻來填補這一空白。首先，我們提出了一種新的用于時序數據的卷積深度域自適應模型(CoDATS)，該模型在真實傳感器數據基準上比現有的DA策略顯著提高了準確率和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，以進一步提高先前的單源方法的準確性，特別是在域間具有高度變異性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督領域自適應(DA-WS)方法，該方法利用目標領域標簽分布形式的弱監督，可能比附加的數據標簽更容易收集。第三，我們在不同的真實數據集上進行了全面的實驗，以評估我們的領域自適應和弱監督方法的有效性。結果表明，單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據在準確率上取得了額外的改進。
網址：
3、Semi-supervised Collaborative Filtering by Text-enhanced Domain Adaptation
作者：Wenhui Yu, Xiao Lin, Junfeng Ge, Wenwu Ou, Zheng Qin
摘要：在推薦系統中，數據稀疏是一個固有的挑戰，其中大部分數據都是從用戶的隱式反饋中收集的。這給設計有效的算法帶來了兩個困難：第一，大多數用戶與系統的交互很少，沒有足夠的數據可供學習；第二，隱式反饋中沒有負樣本，通常需要進行負采樣來生成負樣本。然而，這會導致許多潛在的正樣本被錯誤地標記為負樣本，而數據稀疏會加劇錯誤標記問題。為了解決這些困難，我們將稀疏隱式反饋推薦問題看作一個半監督學習任務，并探索領域自適應來解決這個問題。我們將從密集數據中學到的知識轉移到稀疏數據中，并將重點放在最具挑戰性的案例a??上，該案列沒有用戶或項目重疊。在這種極端情況下，由于兩個潛在空間編碼的信息非常不同的，直接對齊兩個數據集的嵌入是相當次優的。因此，我們采用領域不變的文本特征作為錨點來對齊潛在空間。為了對齊嵌入，我們提取每個用戶和項目的文本特征，并將它們與用戶和項目的嵌入一起饋送到領域分類器中。通過訓練嵌入來迷惑分類器，并將文本特征固定為錨點。通過域自適應，將源域中的分布模式轉移到目標域。由于目標部分可以通過領域自適應進行監督，因此我們放棄了對目標數據集的負采樣，以避免標簽噪聲。
網址：
4、TranSlider: Transfer Ensemble Learning from Exploitation to Exploration
作者：Kuo Zhong, Ying Wei, Chun Yuan, Haoli Bai, Junzhou Huang
摘要：在遷移學習中，遷移什么、遷移到哪里已經得到了廣泛的研究。然而，學習到的遷移策略有很高的過擬合風險，特別是當目標域中只有幾個帶標注實例時。在本文中，我們引入了遷移集成學習的概念，這是解決遷移策略過擬合問題的一個新方向。直觀地說，具有不同遷移策略的模型提供了關于遷移什么以及遷移到哪里的不同視角。因此，一個核心問題是如何在這些不同遷移的模型中搜索集成，以達到更好的泛化。為此，我們提出了用于遷移集成學習的可遷移性滑塊(TranSlider)。通過降低可遷移性，我們得到了從源模型的純粹開發到對目標域的無約束探索的各種基本模型。此外，參數共享降低可遷移性的方式保證了在不增加訓練成本的情況下快速優化。最后，我們對各種分析進行了廣泛的實驗，證明了TranSlider在綜合基準數據集上達到了最先進的性能。
網址：
5、FreeDOM: A Transferable Neural Architecture for Structured Information Extraction on Web Documents
作者：Bill Yuchen Lin, Ying Sheng, Nguyen Vo, Sandeep Tata
摘要：從HTML文檔中提取結構化數據是一個研究已久的問題，具有廣泛的應用，如擴充知識庫、支持分面搜索，以及為購物和電影等關鍵垂直領域提供特定領域的經驗。以前的方法要么需要為每個目標站點提供少量示例，要么依賴于構建在網站視覺渲染之上的啟發式方法。在本文中，我們提出了一種新的兩階段神經方法，稱為FreeDOM，它克服了這兩個限制。First階段通過組合文本和標記信息來學習頁面中每個DOM節點的表示。第二階段使用關系神經網絡捕獲長距離和語義相關性。通過將這些階段結合在一起，在不需要在頁面的視覺呈現上花費昂貴的手工特征的前提下，Liberty能夠從垂直方向對少量 seed sites 進行訓練之后，將其推廣到不可知的sites。通過在具有8個不同垂直方向的公共數據集上的實驗表明，在不需要渲染頁面上的特征或昂貴的手工特征的情況下，平均比以前的技術狀態高出近3.7的F1點。
網址：
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191