本文提出了一種新穎的圖形化社會上下文表示和學習框架——事實新聞圖(FANG),用于假新聞檢測。與之前的上下文模型以表現為目標不同,我們關注的是表示學習。與直推模型相比,FANG在訓練方面具有可擴展性,因為它不需要維護所有節點,而且在推理時高效,不需要重新處理整個圖。我們的實驗結果表明,與最新的圖形和非圖形模型相比,FANG更善于將社會上下文捕捉到高保真的表現中。特別值得一提的是,FANG在假新聞檢測方面取得了顯著的改進,并且在訓練數據有限的情況下具有較強的魯棒性。我們進一步證明,FANG所學的表示可推廣到相關任務,如預測新聞媒體報道的真實性。
從圖結構數據中學習節點集的結構表示對于從節點角色發現到鏈接預測和分子分類的各種應用至關重要。圖神經網絡(GNNs)在結構表示學習方面取得了巨大的成功。然而:
大多數 GNN 受到 1-Weisfeiler-Lehman(WL)test 的限制,因此有可能為實際上不同的結構和圖形生成相同的表示。 最近通過模仿高階 WL tests 提出的更強大的 GNN 只關注全圖表示,不能利用圖結構的稀疏性來提高計算效率。 這篇文章提出了一類與結構相關的特征,稱為距離編碼(Distance Encoding,DE),以幫助 GNN 以比 1-WL test 更嚴格的表達能力來表示任意大小的節點集。DE 本質上捕獲了要學習表示的節點集與圖中每個節點之間的距離,其中包括與圖相關的重要度量,如最短路徑距離和廣義 PageRank 得分。
此外,此文還提出了兩個通用的 GNNs 框架來使用 DEs:
作為額外的節點屬性 進一步作為 GNNs 中消息聚合的控制器 這兩個框架仍然可以利用稀疏結構來保持處理大型圖的可擴展性。
理論上,作者證明了這兩個框架可以區分傳統 GNN 經常失效的幾乎所有規則圖中嵌入的節點集。還嚴格分析了它們的局限性。 實驗上,作者在6個真實網絡上分別從節點結構角色預測、鏈路預測和三角形預測三個方面對這兩個框架進行了實證評估。 結果表明,DE-assisted GNNs 的平均準確率比沒有 DEs 的 GNNs 提高了15%,DE-assisted GNNs 的性能也明顯優于專門為這些相應任務設計的其他最先進的基線。
【導讀】作為CCF推薦的A類國際學術會議,International ACM SIGIR Conference on Research and Development in Information Retrieval(國際計算機學會信息檢索大會,簡稱 SIGIR)在信息檢索領域享有很高的學術聲譽,每年都會吸引全球眾多專業人士參與。今年的 SIGIR 2020計劃將于 2020年7月25日~30日在中國西安舉行。本次大會共有555篇長文投稿,僅有147篇長文被錄用,錄用率約26%。專知小編提前為大家整理了六篇SIGIR 2020 基于圖神經網絡的推薦(GNN+RS)相關論文,這六篇論文分別出自中科大何向南老師和和昆士蘭大學陰紅志老師團隊,供大家參考——捆綁推薦、Disentangled GCF、服裝推薦、多行為推薦、全局屬性GNN
CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN
1. Bundle Recommendation with Graph Convolutional Networks
作者:Jianxin Chang, Chen Gao, Xiangnan He, Yong Li, Depeng Jin
摘要:捆綁推薦(Bundle recommendation )旨在推薦一組商品供用戶整體消費。現有的解決方案通過共享模型參數或多任務學習的方式將用戶項目交互建模集成到捆綁推薦中,然而,這些方法不能顯式建模項目與捆綁包(bundles)之間的隸屬關系,不能探索用戶選擇捆綁包時的決策。在這項工作中,我們提出了一個用于捆綁推薦的圖神經網絡模型BGCN(Bundle Graph Convolutional Network)。BGCN將用戶-項目交互、用戶-捆綁包交互和捆綁包-項目從屬關系統一到一個異構圖中。以項目節點為橋梁,在用戶節點和捆綁包節點之間進行圖卷積傳播,使學習到的表示能夠捕捉到項目級的語義。通過基于hard-negative采樣器的訓練,可以進一步區分用戶對相似捆綁包的細粒度偏好。在兩個真實數據集上的實驗結果表明,BGCN的性能有很高的提升,其性能比最新的基線高出10.77%到23.18%。
網址: //arxiv.org/abs/2005.03475
2. Disentangled Graph Collaborative Filtering
作者:Xiang Wang, Hongye Jin, An Zhang, Xiangnan He, Tong Xu, Tat-Seng Chua
摘要:從交互數據中學習用戶和項目的信息表示對于協同過濾(CF)至關重要。當前的嵌入函數利用用戶-項目關系來豐富表示,從單個用戶-項目實例演變為整體交互圖。然而,這些方法在很大程度上以統一的方式對關系進行建模,而忽略了用戶采用這些項目的意圖的多樣性,這可能是為了打發時間,為了興趣,或者為其他人(如家庭)購物。這種統一的對用戶興趣建模的方法很容易導致次優表示,不能對不同的關系建模并在表示中分清用戶意圖。在這項工作中,我們特別關注用戶意圖細粒度上的用戶-項目關系。因此,我們設計了一種新的模型- Disentangled圖協同過濾(Disentangled Graph Collaborative Filtering ,DGCF),來理清這些因素并產生disentangled的表示。具體地說,通過在每個用戶-項目交互意圖上的分布建模,我們迭代地細化意圖感知的交互圖和表示。同時,我們鼓勵不同的意圖獨立。這將生成disentangled的表示,有效地提取與每個意圖相關的信息。我們在三個基準數據集上進行了廣泛的實驗,DGCF與NGCF、DisenGCN和MacridV AE這幾個最先進的模型相比取得了顯著的改進。進一步的分析揭示了DGCF在分解用戶意圖和表示的可解釋性方面的優勢。
網址:
代碼鏈接:
.
3. GCN-Based User Representation Learning for Unifying Robust Recommendation and Fraudster Detection
作者:Shijie Zhang, Hongzhi Yin, Tong Chen, Quoc Viet Nguyen Hung, Zi Huang, Lizhen Cui
摘要:近年來,推薦系統已經成為所有電子商務平臺中不可缺少的功能。推薦系統的審查評級數據通常來自開放平臺,這可能會吸引一群惡意用戶故意插入虛假反饋,試圖使推薦系統偏向于他們。此類攻擊的存在可能會違反高質量數據始終可用的建模假設,而這些數據確實會影響用戶的興趣和偏好。因此,構建一個即使在攻擊下也能產生穩定推薦的健壯推薦系統具有重要的現實意義。本文提出了一種基于GCN的用戶表示學習框架GraphRf,該框架能夠統一地進行穩健的推薦和欺詐者檢測。在其端到端學習過程中,用戶在欺詐者檢測模塊中被識別為欺詐者的概率自動確定該用戶的評級數據在推薦模塊中的貢獻;而在推薦模塊中輸出的預測誤差作為欺詐者檢測模塊中的重要特征。因此,這兩個組成部分可以相互促進。經過大量的實驗,實驗結果表明我們的GraphRf在魯棒評級預測和欺詐者檢測這兩個任務中具有優勢。此外,所提出的GraphRf被驗證為對現有推薦系統上的各種攻擊具有更強的魯棒性。
網址:
4. Hierarchical Fashion Graph Network for Personalized Outfit Recommendation
作者:Xingchen Li, Xiang Wang, Xiangnan He, Long Chen, Jun Xiao, Tat-Seng Chua
摘要:服裝推薦越來越受到網購服務商和時尚界的關注。與向用戶推薦單個單品(例如,朋友或圖片)的其他場景(例如,社交網絡或內容共享)不同,服裝推薦預測用戶對一組匹配良好的時尚單品的偏好。因此,進行高質量的個性化服裝推薦應滿足兩個要求:1)時尚單品的良好兼容性;2)與用戶偏好的一致性。然而,目前的研究主要集中在其中一個需求上,只考慮了用戶-全套服裝(outfit)或全套服裝-項目的關系,從而容易導致次優表示,限制了性能。在這項工作中,我們統一了兩個任務,服裝兼容性建模和個性化服裝推薦。為此,我們開發了一個新的框架,層次時尚圖網絡(HFGN),用于同時建模用戶、商品和成套服裝之間的關系。特別地,我們構建了一個基于用戶-全套服裝交互和全套服裝-項目映射的層次結構。然后,我們從最近的圖神經網絡中得到啟發,在這種層次圖上使用嵌入傳播,從而將項目信息聚合到一個服裝表示中,然后通過他/她的歷史服裝來提煉用戶的表示。此外,我們還對這兩個任務進行了聯合訓練,以優化這些表示。為了證明HFGN的有效性,我們在一個基準數據集上進行了廣泛的實驗,HFGN在NGNN和FHN等最先進的兼容性匹配模型基礎上取得了顯著的改進。
網址:
代碼鏈接:
5. Multi-behavior Recommendation with Graph Convolutional Networks
作者:Bowen Jin, Chen Gao, Xiangnan He, Depeng Jin, Yong Li
摘要:傳統的推薦模型通常只使用一種類型的用戶-項目交互,面臨著嚴重的數據稀疏或冷啟動問題。利用多種類型的用戶-項目交互(例如:點擊和收藏)的多行為推薦可以作為一種有效的解決方案。早期的多行為推薦研究未能捕捉到行為對目標行為的不同程度的影響。它們也忽略了多行為數據中隱含的行為語義。這兩個限制都使得數據不能被充分利用來提高對目標行為的推薦性能。在這項工作中,我們創新性地構造了一個統一的圖來表示多行為數據,并提出了一種新的模型--多行為圖卷積網絡(Multi-Behavior Graph Convolutional Network,MBGCN)。MBGCN通過用戶-項目傳播層學習行為強度,通過項目-項目傳播層捕獲行為語義,較好地解決了現有工作的局限性。在兩個真實數據集上的實驗結果驗證了該模型在挖掘多行為數據方面的有效性。我們的模型在兩個數據集上的性能分別比最優基線高25.02%和6.51%。對冷啟動用戶的進一步研究證實了該模型的實用性。
網址:
6. GAG: Global Atributed Graph Neural Network for Streaming Session-based Recommendation
作者:Ruihong Qiu, Hongzhi Yin, Zi Huang, Tong Chen
摘要:基于流會話的推薦(Streaming session-based recommendation,SSR)是一項具有挑戰性的任務,它要求推薦器系統在流媒體場景(streaming scenario)中進行基于會話的推薦(SR)。在電子商務和社交媒體的現實應用中,在一定時間內產生的一系列用戶-項目交互被分組為一個會話,這些會話以流的形式連續到達。最近的SR研究大多集中在靜態集合上,即首先獲取訓練數據,然后使用該集合來訓練基于會話的推薦器模型。他們需要對整個數據集進行幾個epoch的訓練,這在流式設置下是不可行的。此外,由于對用戶信息的忽視或簡單使用,它們很難很好地捕捉到用戶的長期興趣。雖然最近已經提出了一些流推薦策略,但它們是針對個人交互流而不是會話流而設計的。本文提出了一種求解SSR問題的帶有Wasserstein 庫的全局屬性圖(GAG)神經網絡模型。一方面,當新的會話到達時,基于當前會話及其關聯用戶構造具有全局屬性的會話圖。因此,GAG可以同時考慮全局屬性和當前會話,以了解會話和用戶的更全面的表示,從而在推薦中產生更好的性能。另一方面,為了適應流會話場景,提出了Wasserstein庫來幫助保存歷史數據的代表性草圖。在兩個真實數據集上進行了擴展實驗,驗證了GAG模型與最新方法相比的優越性。
網址:
領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而,對于具有不同數據可用性的時間序列數據,還沒有考慮到健壯的技術。在本文中,我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS),該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據,我們增加了CoDATS的有用性,從而進一步提高了與以前的單源方法相比的準確性,特別是在域之間具有高度可變性的復雜時間序列數據集上。其次,我們提出了一種新的弱監督域自適應(DA-WS)方法,利用目標域標簽分布形式的弱監督,這可能比其他數據標簽更容易收集。第三,我們對不同的真實數據集進行了綜合實驗,以評估我們的域適應和弱監督方法的有效性。結果表明,用于單源DA的CoDATS比最先進的方法有了顯著的改進,并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。
將圖表示學習與多視圖數據(邊信息)相結合進行推薦是行業發展的趨勢。現有的方法大多可以歸類為多視圖表示融合;他們首先構建一個圖,然后將多視圖數據集成到圖中每個節點的一個緊湊表示中。然而,這些方法在工程和算法方面都引起了關注:1)多視圖數據在工業中是豐富的,信息量大,可能超過單個向量的容量,2)由于多視圖數據往往來自不同的分布,可能會引入歸納偏差。在本文中,我們使用一種多視圖表示對齊方法來解決這個問題。特別地,我們提出了一個多任務多視圖圖表示學習框架(M2GRL)來學習網絡規模推薦系統的多視圖圖的節點表示。M2GRL為每個單視圖數據構造一個圖,從多個圖中學習多個單獨的表示,并對跨視圖關系進行對齊。M2GRL選擇多任務學習范式,共同學習視圖內表示和跨視圖關系。此外,M2GRL利用同方差不確定性自適應調整訓練任務的權重損失。我們在淘寶上部署了M2GRL,并在570億個例子上訓練它。根據離線指標和在線A/B測試,M2GRL的性能顯著優于其他最先進的算法。淘寶多樣性推薦的進一步探索表明了利用所產生的多種表示的有效性,我們認為這對于不同焦點的行業推薦任務是一個很有前景的方向。
近年來,人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性,圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器),它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡,它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡,目的是學習具有任意結構的離散拓撲上的可微函數。然而,盡管這些領域很受歡迎,但在統一這三種范式方面的工作卻少得驚人。在這里,我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類,旨在統一幾個不同的工作主體。具體來說,我們提出了一個圖編碼解碼器模型(GRAPHEDM),它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性,我們將30多個現有方法放入這個框架中。我們相信,這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎,也使該領域的未來研究成為可能。
概述
學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中,針對特定類型的結構化數據開發了許多成功的模型,包括定義在離散歐幾里德域上的數據。例如,序列數據,如文本或視頻,可以通過遞歸神經網絡建模,它可以捕捉序列信息,產生高效的表示,如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs),它根據移位不變性等結構先驗參數化神經網絡,在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如,順序數據或遵循規則模式的數據)。
在許多設置中,數據幾乎不是規則的: 通常會出現復雜的關系結構,從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構,它可以表示復雜的關系數據(由節點和邊組成),并出現在多個領域,如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說,將CNNs泛化為圖并非易事,定義具有強結構先驗的網絡是一項挑戰,因為結構可以是任意的,并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是,像卷積這樣的操作不能直接應用于不規則的圖域。例如,在圖像中,每個像素具有相同的鄰域結構,允許在圖像中的多個位置應用相同的過濾器權重。然而,在圖中,我們不能定義節點的順序,因為每個節點可能具有不同的鄰域結構(圖1)。此外,歐幾里德卷積強烈依賴于幾何先驗(如移位不變性),這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。
這些挑戰導致了幾何深度學習(GDL)研究的發展,旨在將深度學習技術應用于非歐幾里德數據。特別是,考慮到圖在現實世界應用中的廣泛流行,人們對將機器學習方法應用于圖結構數據的興趣激增。其中,圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示,也稱為嵌入。
廣義上講,GRL可以分為兩類學習問題,非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示,但為一個特定的下游預測任務,如節點或圖分類。與非監督設置不同,在非監督設置中輸入通常是圖結構,監督設置中的輸入通常由圖上定義的不同信號組成,通常稱為節點特征。此外,底層的離散圖域可以是固定的,這是直推學習設置(例如,預測一個大型社交網絡中的用戶屬性),但也可以在歸納性學習設置中發生變化(例如,預測分子屬性,其中每個分子都是一個圖)。最后,請注意,雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示,最近有興趣的非歐幾里德表示學習,其目的是學習非歐幾里德嵌入空間,如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間,它類似于它試圖嵌入的輸入數據的底層離散結構(例如,雙曲空間是樹的連續版本[99])。
鑒于圖表示學習領域的發展速度令人印象深刻,我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖,以便更好地理解在深度學習模型中利用圖結構的不同方法。
目前已有大量的圖表示學習綜述。首先,有一些研究覆蓋了淺層網絡嵌入和自動編碼技術,我們參考[18,24,46,51,122]這些方法的詳細概述。其次,Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三,最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法,包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域,而沒有在每個子領域之間建立聯系。
在這項工作中,我們擴展了Hamilton等人提出的編碼-解碼器框架,并介紹了一個通用的框架,圖編碼解碼器模型(GRAPHEDM),它允許我們將現有的工作分為四大類: (i)淺嵌入方法,(ii)自動編碼方法,(iii) 圖正則化方法,和(iv) 圖神經網絡(GNNs)。此外,我們還介紹了一個圖卷積框架(GCF),專門用于描述基于卷積的GNN,該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN,從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法,從而推斷出相似性、差異性,并指出潛在的擴展和限制。盡管如此,我們對前幾次綜述的貢獻有三個方面
我們介紹了一個通用的框架,即GRAPHEDM,來描述一系列廣泛的有監督和無監督的方法,這些方法對圖形結構數據進行操作,即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。
我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線,我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是,這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法,可以讓我們了解這些方法究竟有何不同。
我們為GRL發布了一個開源庫,其中包括最先進的GRL方法和重要的圖形應用程序,包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開,會議論文集已經公開,大家可以自己查看感興趣的論文,專知小編繼續整理WWW 2020 系列論文,這期小編為大家奉上的是WWW 2020五篇知識圖譜+圖神經網絡(KG+GNN)相關論文,供大家參考!——多關系實體對齊、問答推理、動態圖實體鏈接、序列實體鏈接、知識圖譜補全。
WWW 2020 會議論文集: //dl.acm.org/doi/proceedings/10.1145/3366423
WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、EMNLP2019GNN、ICCV2019GNN_Part2、ICCV2019GNN_Part1、NIPS2019GNN、IJCAI2019GNN_Part1、IJCAI2019GNN_Part2、KDD2019GNN、ACL2019GNN、CVPR2019GNN、ICML2019GNN
作者:Qi Zhu, Hao Wei, Bunyamin Sisman, Da Zheng, Christos Faloutsos, Xin Luna Dong and Jiawei Han
摘要:知識圖(如Freebase、Yago)是表示各類實體之間豐富真實信息的多關系圖。實體對齊是實現多源知識圖集成的關鍵步驟。它旨在識別涉及同一真實世界實體的不同知識圖中的實體。然而,現有的實體對齊系統忽略了不同知識圖的稀疏性,不能通過單一模型對多類型實體進行對齊。在本文中,我們提出了一種用于多類型實體對齊的聯合圖神經網絡(Collective Graph neural network),稱為CG-MuAlign。與以前的工作不同,CG-MuAlign聯合對齊多種類型的實體,共同利用鄰域信息并將其推廣到未標記的實體類型。具體地說,我們提出了一種新的集中聚集函數1)通過交叉圖和自注意力來緩解知識圖的不完全性,2)通過小批量訓練范例和有效的鄰域抽樣策略,有效地提高了可伸縮性。我們在具有數百萬個實體的真實知識圖上進行了實驗,觀察到了比現有方法更優越的性能。此外,我們的方法的運行時間比目前最先進的深度學習方法要少得多。
網址:
作者:Chen Zhao, Chenyan Xiong, Xin Qian and Jordan Boyd-Graber
摘要:我們介紹了Delft,一個事實問答系統,它將知識圖問答方法的細微和深度與更廣泛的free-文本結合在一起。Delft從Wikipedia構建了一個自由文本知識圖,以實體為節點和句子,其中實體同時出現做為邊。對于每個問題,Delft使用文本句子作為邊,找到將問題實體節點鏈接到候選對象的子圖,創建了密集且覆蓋率高的語義圖。一種新穎的圖神經網絡在free-文本圖上進行推理-通過沿邊句子的信息組合節點上的證據-以選擇最終答案。在三個問答數據集上的實驗表明,Delft能夠比基于機器閱讀的模型、基于BERT的答案排序和記憶網絡更好地回答實體豐富的問題。Delft的優勢既來自于其free-文本知識圖譜的高覆蓋率--是DBpedia關系的兩倍多--也來自于新穎的圖神經網絡,它基于豐富而嘈雜的free-文本證據進行推理。
網址:
作者:Junshuang Wu, Richong Zhang, Yongyi Mao, Hongyu Guo, Masoumeh Soflaei and Jinpeng Huai
摘要:實體鏈接將文檔中提及的命名實體映射到給定知識圖中的合適的實體,已被證明能夠從基于圖卷積網絡(GCN)對實體相關性建模中獲得顯著好處。然而,現有的GCN實體鏈接模型沒有考慮到,一組實體的結構化圖不僅依賴于給定文檔的上下文信息,而且在GCN的不同聚合層上自適應地變化,導致在捕捉實體之間的結構信息方面存在不足。在本文中,我們提出了一種動態的GCN體系結構來有效地應對這一挑戰。模型中的圖結構是在訓練過程中動態計算和修改的。通過聚合動態鏈接節點的知識,我們的GCN模型可以集中識別文檔和知識圖之間的實體映射,并有效地捕捉整個文檔中各個實體提及( mentions)之間的主題一致性。在基準實體連接數據集上的實證研究證實了我們提出的策略的優越性能和動態圖結構的好處。
網址:
作者:Yichao Zhou, Shaunak Mishra, Manisha Verma, Narayan Bhamidipati and Wei Wang
摘要:實體鏈接(EL)是將文本中提及的內容映射到知識庫(KB)中相應實體的任務。這項任務通常包括候選生成(CG)和實體消歧(ED)兩個階段。目前基于神經網絡模型的EL系統取得了較好的性能,但仍然面臨著兩個挑戰:(1)以往的研究在評估模型時沒有考慮候選實體之間的差異。事實上,候選集的質量(特別是黃金召回)對EL結果有影響。因此,如何提候選的素質需要引起更多的關注。(Ii)為了利用提及實體之間的主題一致性,提出了許多聚集ED的圖和序列模型。然而,基于圖的模型對所有候選實體一視同仁,這可能會引入大量的噪聲信息。相反,序列模型只能觀察先前引用的實體,而忽略了當前提及的實體與其后續實體之間的相關性。針對第一個問題,我們提出了一種基于多策略的CG方法來生成高召回率的候選集。對于第二個問題,我們設計了一個序列圖注意力網絡(SeqGat),它結合了圖和序列方法的優點。在我們的模型中,提及( mentions)是按順序處理的。在當前提到的情況下,SeqGAT對其先前引用的實體和后續實體進行動態編碼,并為這些實體分配不同的重要性。這樣既充分利用了主題的一致性,又減少了噪聲干擾。我們在不同類型的數據集上進行了實驗,并在開放的評測平臺上與以前的EL系統進行了比較。比較結果表明,與現有的方法相比,我們的模型有了很大的改進。
網址:
作者:Gaole He, Junyi Li, Wayne Xin Zhao, Peiju Liu and Ji-Rong Wen
摘要:知識圖補全(KGC)任務旨在自動推斷知識圖(KG)中缺失的事實信息。在本文中,我們采取了一個新的視角,旨在利用豐富的用戶-項目交互數據(簡稱用戶交互數據)來改進KGC任務。我們的工作靈感來自于觀察到許多KG實體對應于應用系統中的在線項目。然而,這兩種數據源的固有特性有很大的不同,使用簡單的融合策略很可能會損害原有的性能。為了應對這一挑戰,我們提出了一種新的對抗性學習方法,通過利用用戶交互數據來執行KGC任務。我們的生成器是從用戶交互數據中分離出來的,用來提高鑒別器的性能。鑒別器將從用戶交互數據中學習到的有用信息作為輸入,并逐步增強評估能力,以識別生成器生成的假樣本。為了發現用戶的隱含實體偏好,設計了一種基于圖神經網絡的協同學習算法,并與鑒別器進行聯合優化。這種方法有效地緩解了KGC任務的數據異構性和語義復雜性問題。在三個真實世界數據集上的廣泛實驗已經證明了我們在KGC任務上的方法的有效性。
網址: