知識圖譜(KG)是一種靈活的結構,能夠描述數據實體之間的復雜關系。目前,大多數KG嵌入模型都是基于負采樣進行訓練的,即模型的目標是最大限度地增加KG內被連接實體的某些相似度,同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集,降低了模型學習的時間復雜度,這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷,我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例,從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題,我們利用數學推導來降低非采樣損失函數的復雜度,最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明,NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型,該框架適用于大規模知識圖譜嵌入模型。
現有的協同過濾(CF)方法大多是基于匹配的思想設計的,即通過使用淺層或深層模型從數據中學習用戶和項目嵌入,試圖捕獲數據中的關聯關聯模式,這樣用戶嵌入就可以通過設計或學習的相似函數與相關的物品嵌入相匹配。然而,推薦作為一種認知而非感知智能任務,不僅需要從數據中進行模式識別和匹配的能力,還需要對數據進行認知推理的能力。在本文中,我們將協同過濾(CF)提升為協同推理(CR),即每個用戶知道推理空間的一部分,并在空間中協作進行推理,以估計彼此的偏好。在技術上,我們提出了一個神經協作推理(NCR)框架來連接學習和推理。具體來說,我們整合了表示學習和邏輯推理的能力,其中表示從感知的角度捕捉數據中的相似模式,而邏輯促進了知情決策的認知推理。然而,一個重要的挑戰是在一個共享的體系結構中架起可微分神經網絡和符號推理的橋梁,以進行優化和推理。為解決這一問題,我們提出了一種模塊化的推理體系結構,將AND(∧)、OR(∨)、NOT(?)等邏輯運算學習為蘊涵推理(→)的神經模塊。這樣,邏輯表達式就可以等效地組織成神經網絡,從而在連續空間中進行邏輯推理和預測。與淺層、深層和推理模型相比,在真實數據集上的實驗驗證了我們的框架的優勢。
時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時,這是特別具有挑戰性的。該模型必須適應TKG的變化,以便進行有效的訓練和推理,同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而,使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如,政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰,我們提出了時間感知增量嵌入(TIE)框架,該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性,并提出一個約束,將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明,本文提出的TIE框架減少了大約10倍的訓練時間,并在提出的指標上有所改進。對于任何傳統的度量方法,它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡,這對于真實世界的TKG應用的決策是至關重要的。
題目:Graph Structure Estimation Neural Networks
作者:Ruijia Wang, Shuai Mou, Xiao Wang, Wanpeng Xiao, Qi Ju, Chuan Shi and Xing Xie
簡介:盡管現有的GNN已成功應用于各種場景,但存在一個基本的假設:所觀察到的圖結構是正確的且符合GNN的性質。實際上,由于圖通常抽取自復雜的交互系統,該假設總是被違反。原因之一是這些交互系統通常包含不確定性或錯誤。例如,在蛋白質相互作用圖中,傳統的實驗誤差是錯誤的主要來源。另一個原因是數據缺失是不可避免的。例如,Internet構建的圖通過檢查路由表或跟蹤路由路徑集合確定,而這兩個表僅給出了邊的子集。已經有研究表明不可靠的圖結構可能會嚴重限制GNN的表示能力,其中一個典型的例子是GNN的性能會在同配性(即同一社區內的節點傾向于相互連接)差的圖上大大降低。簡而言之,在實際的圖中普遍存在缺失、無意義甚至錯誤的邊,這導致其與GNN的性質不匹配,并對結果的準確性或正確性產生影響。因此,迫切需要探索適宜于GNN的圖結構。
然而,有效學習適合于GNN的圖結構在技術上具有挑戰性。我們認為,需要解決兩個障礙。(1)應考慮圖生成機制。網絡科學的很多文獻中已經證明圖的生成可能受某些基本原則的約束,如隨機塊模型模型。考慮這些原則,可以從根本上驅使學得的圖保持規則的全局結構,并對實際觀測中的噪聲更魯棒。不幸的是,大多數當前方法對每條邊進行參數化,沒有考慮全局結構和圖的基礎生成機制,因此學得的圖對噪聲和稀疏性的容忍度較低。(2)應該利用多方面信息以減少偏差。從一個信息源學習圖結構不可避免地會導致偏差和不確定性。合理的假設是如果一條邊在多次測量中存在,則邊存在的置信度會更大。因此,一個可靠的圖結構應該考慮全面的信息,盡管要獲得多視圖的信息并描述它們與GNN的關系是很復雜的。現有的方法主要利用特征相似性,從而使學得的圖易受單一視圖偏差的影響。
為了解決上述問題,在本文中我們提出了圖結構估計神經網絡(GEN),通過估計適宜于GNN的圖結構來提高節點分類性能。我們首先分析GNN的性質以匹配適當的圖生成機制。GNN作為低通濾波器,平滑鄰域以使相鄰節點表示相似,適用于具有社區結構的圖。因此,我們提出結構模型約束圖生成過程,假設圖是從隨機塊模型(SBM)中產生的。此外,除觀察到的圖結構和節點特征外,我們還創造性地利用多階鄰域信息來規避偏差,并提出觀測模型將上述多視圖信息作為最佳圖結構的觀測共同建模。為了估計最佳圖結構,我們在GNN訓練期間構造觀測集合,并基于結構和觀測模型應用貝葉斯推斷來計算圖結構的后驗分布。最后,估計的圖結構和GNN的參數通過精心設計的迭代優化實現彼此增強。
雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入,這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近,有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是,這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面,圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中,我們提出了一個用于協同過濾的雙曲線GCN模型,以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習,并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時,我們的模型使用雙曲距離來進行推理,雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析,并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果,并超過領先的基線,包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質,并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。
點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據,其中每個特征屬于一個字段。字段信息被證明是重要的,在他們的模型中有一些考慮字段的工作。在本文中,我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進,被稱為場矩陣分解機(FmFM,或FM2)。在FmFM框架下,我們對FM和FwFM提出了新的解釋,并與FFM進行了比較。除了對交叉項進行修剪外,我們的模型還支持特定領域的可變維度的嵌入向量,這是一種軟修剪。在保持模型性能的同時,我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化,它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明,該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美,DNN模型在運行時需要更多FLOPs 。
//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f
零樣本學習(Zero-shot Learning, ZSL)是一種針對從未出現在訓練數據中的類別進行預測的學習方法,目前已成為研究熱點。實現ZSL的關鍵是利用類的先驗知識,構建類之間的語義關系,并使學習到的模型(例如,特性)能夠從訓練類(例如,可見類)轉移到不可見類。然而,現有方法所采用的先驗相對有限,語義不完全。本文通過基于本體的知識表示和語義嵌入,探索更豐富和更具競爭性的先驗知識,為ZSL的類間關系建模。同時,為了解決可見類和不可見類之間的數據不平衡問題,我們提出了帶有生成式對抗網絡(GANs)的生成式ZSL框架。我們的主要發現包括: (i)一個本體增強的ZSL框架,可以應用于不同的領域,如圖像分類(IMGC)和知識圖譜補全(KGC); (ii)利用來自不同領域的多個零樣本數據集進行綜合評估,我們的方法往往比最先進的模型獲得更好的性能。特別是,在IMGC的四個代表性的ZSL基線上,基于本體的類語義優于之前的預測,例如,在兩個示例數據集上,類的詞嵌入在標準ZSL中的平均精度為12.4點(見圖4)。
//www.zhuanzhi.ai/paper/455f8ab60b8550b4318debc0acebe2d3
知識圖譜是關于實體及其關系的集合,是非常有用資源。然而,由于知識圖通常是不完備的,所以進行知識圖補全或鏈接預測是有用的,即預測一個不在知識圖譜中的關系是否可能是真的。本文綜述了用于知識圖譜完成的實體和關系嵌入模型,總結了在標準基準數據集上最新的實驗結果,并指出了未來可能的研究方向。