近年來,深度神經網絡在許多研究領域取得了成功。大多數神經網絡設計背后的基本思想是從數據中學習相似模式,用于預測和推理,這缺乏認知推理能力。然而,具體的推理能力對于許多理論和實踐問題是至關重要的。另一方面,傳統的符號推理方法在邏輯推理方面做得很好,但它們大多是基于規則的硬推理,由于不同的任務可能需要不同的規則,使得它們的泛化能力局限于不同的任務。推理和泛化能力對于預測任務都很重要,比如推薦系統,推理為精確預測提供了用戶歷史和目標項目之間的緊密聯系,泛化幫助模型在噪聲輸入中繪制出一個穩健的用戶畫像。
在本文中,我們提出了邏輯集成神經網絡(LINN)來集成深度學習和邏輯推理的能力。LINN是一個根據輸入邏輯表達式構建計算圖的動態神經結構。它學習基本的邏輯操作,如AND, OR,而不是神經模塊,并通過網絡進行命題邏輯推理進行推理。理論任務實驗表明,LINN在求解邏輯方程和變量方面都取得了顯著的效果。此外,我們通過將實際的推薦任務構造成一個邏輯推理問題來測試我們的方法。實驗表明,LINN在Top-K推薦方面的性能顯著優于現有推薦模型,驗證了LINN在實際應用中的潛力。
在信息過載的時代,個性化推薦系統對于輔助用戶決策具有重要意義。同時,對推薦的解釋進一步幫助用戶更好地了解被推薦的項目,從而做出知情的選擇,這就使得可解釋的推薦研究變得非常重要。基于文本句子的解釋由于能夠向用戶傳遞豐富的信息而成為推薦系統的一種重要的解釋形式。然而,現有的句子解釋生成方法要么局限于預定義的句子模板,這限制了句子的表現力,要么選擇自由風格的句子生成,這使得句子質量難以控制。為了同時提高句子表達能力和質量,我們提出了一種神經模板解釋生成框架,它通過從數據中學習句子模板,并生成評論特定特性的模板控制的句子,從而實現了兩方面的優點。在真實數據集上的實驗結果表明,NETE在句子質量和表達能力方面始終優于最新的解釋生成方法。通過對案例研究的進一步分析,也可以看出NETE在產生多樣化和可控解釋方面的優勢。
為了推動網絡廣告的購買行為,優化序列廣告策略是廣告商非常關心的問題,而序列廣告策略的性能和可解釋性都非常重要。現有的深度強化學習方法缺乏可解釋性,使得策略不易被理解、診斷和進一步優化。在本文中,我們提出了我們的深度意圖序列廣告(DISA)方法來解決這些問題。可解釋性的關鍵部分是了解消費者的購買意圖,而這種意圖是不可觀察的(稱為隱藏狀態)。在本文中,我們將意圖建模為一個潛在變量,并將問題表述為一個部分可觀察的馬爾可夫決策過程(POMDP),其中潛在意圖是根據可觀察行為推斷出來的。大規模的工業離線和在線實驗證明了我們的方法在多個基線上的優越性能。對推導出的隱狀態進行了分析,結果證明了推理的合理性。
在各種在線應用中,推薦系統在解決信息爆炸問題、增強用戶體驗方面顯示出了巨大的潛力。為了解決推薦系統中的數據稀疏性和冷啟動問題,研究人員提出了基于知識圖譜的推薦,利用有價值的外部知識作為輔助信息。然而,這些研究大多忽略了多模態知識圖譜(MMKGs)中數據類型的多樣性(如文本和圖像)。為了更好地利用多模態知識,提出了一種多模態知識圖譜注意力網絡(MKGAT)。具體地說,我們提出了一種多模態圖注意力技術,在MMKGs上進行信息傳播,然后使用所得到的聚合嵌入表示進行推薦。據我們所知,這是第一個將多模態知識圖譜引入推薦系統的工作。我們在來自不同領域的兩個真實數據集上進行了大量的實驗,實驗結果表明我們的模型MKGAT能夠成功地應用MMKGs來提高推薦系統的質量。
主題: Neural Topological SLAM for Visual Navigation
摘要: 本文研究了圖像目標導航的問題,該問題涉及在以前看不見的新型環境中導航到目標圖像指示的位置。 為了解決這個問題,我們設計了空間的拓撲表示,以有效利用語義并提供近似的幾何推理。 表示的核心是具有關聯語義特征的節點,這些節點使用粗略的幾何信息相互連接。我們描述了基于監督學習的算法,該算法可以在噪聲激勵下構建,維護和使用此類表示。 在視覺和物理逼真的模擬中的實驗研究表明,我們的方法建立了有效的表示形式,可以捕獲結構規律性并有效解決長視距導航問題。 與研究該任務的現有方法相比,我們觀察到相對改進了50%以上。
主題: TOPOLOGY OF DEEP NEURAL NETWORKS
摘要: 我們研究數據集M=Ma∪Mb?Rd的拓撲結構如何表示二進制分類問題中的兩個類別a和b,如何通過經過良好訓練的神經網絡的層而發生變化,即在訓練集和接近零的泛化誤差(≈0.01%)。目的是揭示深層神經網絡的兩個奧秘:(i)像ReLU這樣的非平滑激活函數要優于像雙曲正切這樣的平滑函數; (ii)成功的神經網絡架構依賴于多層結構,即使淺層網絡可以很好地近似任意函數。我們對大量點云數據集的持久同源性進行了廣泛的實驗,無論是真實的還是模擬的。結果一致地證明了以下幾點:(1)神經網絡通過更改拓撲結構來運行,將拓撲復雜的數據集在穿過各層時轉換為拓撲簡單的數據集。無論M的拓撲多么復雜,當通過訓練有素的神經網絡f:Rd→Rp時,Ma和Mb的貝蒂數都會大大減少;實際上,它們幾乎總是減小到可能的最低值:對于k≥1和β0(f(Mi))= 1,i = a,b,βk(f(Mi))= 0。此外,(2)ReLU激活的Betti數減少比雙曲線切線激活快得多,因為前者定義了改變拓撲的非同胚映射,而后者定義了保留拓撲的同胚映射。最后,(3)淺層和深層網絡以不同的方式轉換數據集-淺層網絡主要通過更改幾何結構并僅在其最終層中更改拓撲來運行,而深層網絡則將拓撲變化更均勻地分布在所有層中。
簡介:
馬爾可夫邏輯網絡(MLN)將邏輯規則和概率圖形模型完美地結合在一起,可用于解決許多知識圖問題。但是,MLN的推理需要大量的計算,這使得MLN的工業規模應用非常困難。 近年來,圖神經網絡(GNN)已經成為解決大規模圖問題的有效工具。 盡管如此,GNN并未將先前的邏輯規則明確納入模型,并且可能需要許多帶有標簽的示例來完成目標任務。 在本文中,我們探索了MLN和GNN的組合,并使用圖神經網絡進行MLN的變異推理。 我們提出了一個名為ExpressGNN的GNN變體,該變體在表示能力和模型的簡單性之間取得了很好的平衡。 我們在幾個基準數據集上進行的廣泛實驗表明,ExpressGNN可以帶來有效而高效的概率邏輯推理。
題目: Probabilistic Logic Neural Networks for Reasoning
摘要:
知識圖譜推理的目的是通過對觀測到的事實進行推理來預測缺失的事實,它在許多應用中起著至關重要的作用。傳統的基于邏輯規則的方法和近年來的知識圖譜嵌入方法都對這一問題進行了廣泛的探討。馬爾可夫邏輯網絡(MLN)是一種有原則的基于規則的邏輯方法,它能夠利用一階邏輯的領域知識,同時處理不確定性。然而,由于其復雜的圖形結構,MLNs的推理通常是非常困難的。與MLNs不同的是,知識圖的嵌入方法(如TransE、DistMult)學習有效的實體嵌入和關系嵌入進行推理,這樣更有效、更高效。然而,他們無法利用領域知識。在本文中,我們提出了概率邏輯神經網絡(pLogicNet),它結合了兩種方法的優點。pLogicNet使用一階邏輯的馬爾可夫邏輯網絡定義所有可能的三聯體的聯合分布,該網絡可以通過變分EM算法進行有效優化。采用知識圖譜嵌入模型推斷缺失的三聯體,根據觀測到的三聯體和預測到的三聯體更新邏輯規則權值。在多個知識圖譜的實驗證明了pLogicNet在許多競爭基線上的有效性。
作者:
瞿錳是蒙特利爾學習算法研究所的一年級博士生,之前,在伊利諾伊大學香檳分校獲得了碩士學位,此外,在北京大學獲得了學士學位。主要研究方向為機器學習、貝葉斯深度學習、數據挖掘和自然語言處理。
題目: Logical Expressiveness of Graph Neural Networks
摘要:
圖神經網絡(Graph Neural Networks, GNNs)是近年來在分子分類、知識圖譜補全等結構化數據處理領域中流行起來的一類機器學習體系結構。最近關于GNNs表達能力的研究已經建立了它們對圖中節點進行分類的能力與用于檢查圖同構的WeisfeilerLehman (WL)測試之間的緊密聯系。具體來說,這兩篇論文的作者分別觀察到,WL測試產生的節點分類總是細化了任何GNN產生的分類,而且有GNN可以重現WL測試。這些結果表明,GNNs在節點分類方面與WL測試一樣強大。然而,這并不意味著GNNs可以表達任何通過WL測試改進的分類器。我們的工作旨在回答以下問題:什么是可以用GNNs捕獲的節點分類器?在本文中,我們從邏輯的角度來看待這個問題,將其限制在FOC2中可表達的屬性上,即具有計數能力的一階邏輯的兩變量片段進行研究。
作者:
Pablo Barceló是智利天主教大學工程學院和數學學院數學與計算工程研究所所長,研究領域為數據庫理論、計算機科學中的邏輯、自動機理論。
簡介:
回答需要針對文本進行推理的多個步驟的構想問題具有挑戰性,尤其是當它們涉及離散的象征性操作時。神經模塊網絡(NMN)學習解析諸如由可學習模塊組成的可執行程序之類的問題,它們在合成視覺質量檢查域中表現良好。但是,我們發現在開放域文本中針對非合成問題學習這些模型具有挑戰性,在這種模型中,模型需要處理自然語言的多樣性并進行更廣泛的推理。我們通過以下方式擴展NMN:(a)引入對一段文本進行推理的模塊,以概率和可微分的方式對數字和日期執行符號推理(例如算術,排序,計數); (b)提出無監督的損失,以幫助提取與文本中的事件相關的參數。此外,我們顯示出有限的啟發式獲得的問題程序和中間模塊輸出監督為準確學習提供了足夠的歸納偏差。我們提出的模型大大優于DROP數據集的子集上的最新模型,后者構成了我們模塊所涵蓋的各種推理挑戰。
Knowledge graph reasoning, which aims at predicting the missing facts through reasoning with the observed facts, is critical to many applications. Such a problem has been widely explored by traditional logic rule-based approaches and recent knowledge graph embedding methods. A principled logic rule-based approach is the Markov Logic Network (MLN), which is able to leverage domain knowledge with first-order logic and meanwhile handle their uncertainty. However, the inference of MLNs is usually very difficult due to the complicated graph structures. Different from MLNs, knowledge graph embedding methods (e.g. TransE, DistMult) learn effective entity and relation embeddings for reasoning, which are much more effective and efficient. However, they are unable to leverage domain knowledge. In this paper, we propose the probabilistic Logic Neural Network (pLogicNet), which combines the advantages of both methods. A pLogicNet defines the joint distribution of all possible triplets by using a Markov logic network with first-order logic, which can be efficiently optimized with the variational EM algorithm. In the E-step, a knowledge graph embedding model is used for inferring the missing triplets, while in the M-step, the weights of logic rules are updated based on both the observed and predicted triplets. Experiments on multiple knowledge graphs prove the effectiveness of pLogicNet over many competitive baselines.