由螞蟻集團算法工程師胡斌斌、高級算法專家張志強、資深算法專家周俊和北京郵電大學教授石川聯合撰寫的《KGNN：Distributed Framework for Graph Neural Knowledge Representation》順利入選ICML2020 workshop(Bridge Between Perception and Reasoning: Graph Neural Networks & Beyond)，該workshop由知名學者唐建、螞蟻集團研究員宋樂、斯坦福大學終身教授Jure Leskovec聯合舉辦，并邀請了人工智能奠基者之一的Yoshua Bengio進行了keynote報告，該workshop旨在將不同領域(如深度學習、邏輯/符號推理、統計關系學習和圖算法等)的研究人員聚集起來討論系統和系統智能之間的潛在接口和集成，探索理論基礎、模型和算法方面的新進展，沉淀新基準數據集和有影響力的應用。以下為該論文的解讀。
知識表示學習主要用于將知識圖(KG)融入各種在線服務中以提升各個應用的性能。現有的知識表示學習方法雖然在性能上有了很大的提高，但它們忽略了高階結構和豐富的屬性信息，導致在語義豐富的知識圖譜上性能不佳。另外，這些方法不能進行歸納式的預測，也不能適用于大型工業圖。
為了解決這些問題，我們開發了一個新的框架KGNN在分布式學習系統中來充分利用知識數據進行表示學習。KGNN配置了基于GNN的編碼器和知識感知的解碼器，目的是以細粒度的方式將高階結構和屬性信息結合在一起，并保留知識圖譜中的關系模式。我們在三個數據集上進行了鏈接預測和三元組的分類實驗，驗證了該框架的有效性和可擴展性。
//logicalreasoninggnn.github.io/papers/11.pdf
付費5元查看完整內容
相關內容
近年來，深度神經網絡在許多研究領域取得了成功。大多數神經網絡設計背后的基本思想是從數據中學習相似模式，用于預測和推理，這缺乏認知推理能力。然而，具體的推理能力對于許多理論和實踐問題是至關重要的。另一方面，傳統的符號推理方法在邏輯推理方面做得很好，但它們大多是基于規則的硬推理，由于不同的任務可能需要不同的規則，使得它們的泛化能力局限于不同的任務。推理和泛化能力對于預測任務都很重要，比如推薦系統，推理為精確預測提供了用戶歷史和目標項目之間的緊密聯系，泛化幫助模型在噪聲輸入中繪制出一個穩健的用戶畫像。
在本文中，我們提出了邏輯集成神經網絡(LINN)來集成深度學習和邏輯推理的能力。LINN是一個根據輸入邏輯表達式構建計算圖的動態神經結構。它學習基本的邏輯操作，如AND, OR，而不是神經模塊，并通過網絡進行命題邏輯推理進行推理。理論任務實驗表明，LINN在求解邏輯方程和變量方面都取得了顯著的效果。此外，我們通過將實際的推薦任務構造成一個邏輯推理問題來測試我們的方法。實驗表明，LINN在Top-K推薦方面的性能顯著優于現有推薦模型，驗證了LINN在實際應用中的潛力。
付費5元查看完整內容
** 簡介：**
推薦方法構造了預測模型，以估計用戶與項目交互的可能性。先前的模型在很大程度上遵循一般的監督學習范式-將每個交互視為一個單獨的數據實例，并基于“信息孤島”進行預測。但是，此類方法忽略了數據實例之間的關系，這可能導致性能欠佳，尤其是對于稀疏場景。此外，建立在單獨數據實例上的模型幾乎無法顯示出推薦背后的原因，從而使過程難以理解。
在本教程中，我們將從圖學習的角度重新審視推薦問題。可以將用于推薦的通用數據源組織成圖形，例如用戶-項目交互（二分圖），社交網絡，項目知識圖（異構圖）等。這種基于圖的組織將孤立的數據實例連接起來，從而為利用高階連通性帶來了好處，這些高階連通性對有意義的模式進行了編碼，以進行協作過濾，基于內容的過濾，社會影響力建模和知識感知推理。結合圖神經網絡（GNN）的最新成功，基于圖的模型已展現出成為下一代推薦系統技術的潛力。本教程對基于圖的學??習方法進行了回顧，以提出建議，特別關注GNN的最新發展和知識圖譜增強的建議。通過在本教程中介紹這個新興而有前途的領域，我們希望觀眾可以對空間有深入的了解和準確的見解，激發更多的想法和討論，并促進技術的發展。
目錄：
作者簡介：
王翔是新加坡國立大學（NUS）計算機學院的研究員。 他獲得了博士學位。 他于2019年獲得國大計算機科學博士學位。他的研究興趣包括推薦系統，信息檢索和數據挖掘。 在SIGIR，KDD，WWW和AAAI等頂級會議上，他擁有20多種出版物，包括TOIS和TKDE等期刊。 他曾擔任CCIS 2019的本地主席，包括SIGIR，CIKM和MM在內的頂級會議的PC成員以及TKDE和TOIS等著名期刊的定期審稿人。
付費5元查看完整內容
簡介：
馬爾可夫邏輯網絡（MLN）將邏輯規則和概率圖形模型完美地結合在一起，可用于解決許多知識圖問題。但是，MLN的推理需要大量的計算，這使得MLN的工業規模應用非常困難。 近年來，圖神經網絡（GNN）已經成為解決大規模圖問題的有效工具。 盡管如此，GNN并未將先前的邏輯規則明確納入模型，并且可能需要許多帶有標簽的示例來完成目標任務。 在本文中，我們探索了MLN和GNN的組合，并使用圖神經網絡進行MLN的變異推理。 我們提出了一個名為ExpressGNN的GNN變體，該變體在表示能力和模型的簡單性之間取得了很好的平衡。 我們在幾個基準數據集上進行的廣泛實驗表明，ExpressGNN可以帶來有效而高效的概率邏輯推理。
付費5元查看完整內容
論文題目： A Structural Graph Representation Learning Framework
論文摘要： 許多基于圖的機器學習任務的成功在很大程度上取決于從圖數據中學習到的適當表示。大多數工作都集中在于學習保留鄰近性的節點嵌入，而不是保留節點之間結構相似性的基于結構的嵌入。這些方法無法捕獲對基于結構的應用程序(如web日志中的visitor stitching)至關重要的高階結構依賴和連接模式。在這項工作中，我們闡述了高階網絡表示學習，并提出了一個稱為HONE的通用框架，用于通過節點鄰域中的子圖模式(network motifs, graphlet orbits/positions)從網絡中學習這種結構性節點嵌入。HONE引入了一種通用的diffusion機制和一種節省空間的方法，該方法避免了使用k-step線性算子來顯式構造k-step motif-based矩陣。此外，HONE被證明是快速和有效的，最壞情況下的時間復雜度幾乎是線性的。實驗結果表明，該算法能有效地處理大量的網絡日志數據，包括鏈接預測和visitor stitching。
作者簡介：
Ryan A. Rossi，目前在Adobe Research工作，研究領域是機器學習；涉及社會和物理現象中的大型復雜關系（網絡/圖形）數據的理論、算法和應用。在普渡大學獲得了計算機科學博士和碩士學位。
Nesreen K. Ahmed，英特爾實驗室的高級研究員。我在普渡大學計算機科學系獲得博士學位，在普渡大學獲得統計學和計算機科學碩士學位。研究方向是機器學習和數據挖掘，涵蓋了大規模圖挖掘、統計機器學習的理論和算法，以及它們在社會和信息網絡中的應用。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191