亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

知識庫上的問答（QA）提供了一種用戶友好的方式來訪問存儲在知識庫中的大量信息。由于最近在深度神經模型的表征學習方面取得的進展，我們在QA系統的性能上取得了巨大的進步。然而，這種深度模型作為黑盒的功能，具有不透明的推理過程，很脆弱，并且提供非常有限的控制（例如，用于調試錯誤的模型預測）。目前還不清楚如何可靠地添加或更新存儲在其模型參數中的知識。

本論文提出了用于回題的非參數模型，該模型將邏輯與知識分離開來。對于一個給定的查詢，所提出的模型能夠從訓練集中的其他上下文相似的查詢中 "即時"得出可解釋的推理模式。我們表明，我們的模型可以無縫地處理新的知識（新的實體和關系），因為它們被不斷地添加到知識庫中。我們的模型對需要子圖推理模式的復雜和組合性自然語言查詢是有效的，甚至在推理模式（邏輯形式）的注釋不可用時也能工作，在多個基準上取得了新的最先進的結果。利用我們的非參數化方法，我們還證明有可能糾正深度QA模型的錯誤預測，而不需要重新訓練，從而為建立更加可控和可調試的QA系統鋪平道路。最后，與深度參數模型相比，本論文證明了非參數推理模型（i）可以更好地概括需要復雜推理的問題，特別是在訓練期間看到的問題數量有限的情況下（ii）可以在新數據增加時更有效地推理，（iii）為其預測提供更多的可解釋性，（iv）更可控和可調試。

第一章 引言

自動推理，即計算系統從觀察到的證據中做出新推論的能力，一直是人工智能的一個長期目標。我們對具有豐富多樣語義類型的大型知識庫（KBs）的自動推理感興趣（157；7；14）。無論是自動還是手動構建的知識庫，往往都是不完整的。然而，許多有效的未觀察到的事實可以通過推理從觀察到的KB事實中推斷出來。存儲在知識庫中的大部分信息都是形式為(e1,r, e2)的符號事實，其中e1, e2表示實體，r表示語義關系。因此，知識庫可以被自然地描述為一個圖，其中實體是節點，關系是標記的邊。

訪問存儲在知識庫中的信息的一個有效和用戶友好的方法是向它發出查詢。這種查詢可以是結構化的（如預訂航班的查詢）或非結構化的（如自然語言查詢）。在知識庫上的問答（QA）系統面臨的一個挑戰是處理那些答案沒有直接存儲在知識庫中（作為一個簡單的事實）的查詢，相反，QA模型需要推理，以便從其他觀察到的事實中得出答案。這篇論文的重點是在結構化的KB上建立能夠進行這種推理的QA系統。

由于最近深度神經模型在表征學習方面的進展，我們在QA和KB完成系統的性能方面取得了巨大的進步。然而，這樣的深度模型也有很多實際的不足之處。比如說：

• 目前的質量保證和知識庫完成模型通常是黑盒式的評分函數，學習實體和關系的固定詞匯的向量表示（9；155；162；55）。模型的參數同時存儲了邏輯和知識，使得模型所使用的底層推理過程不透明，也不清楚。

• 可以向質量保證系統提出的問題類型基本上是沒有限制的，因此，模型必須學習并存儲在其參數中的推理模式類型是巨大的。此外，在訓練過程中，一個模型可能只遇到每種問題類型的幾個訓練實例。我們表明，KBQA的參數化模型在這樣的環境中很困難（29）。

• 我們生活在一個不斷發展的世界中，有很多異質性，同時新的實體和關系也在不斷被創造。例如，描述新實體事實的科學論文和維基百科頁面被不斷添加。這些新的發現進一步引發了更多新的事實的推論，每一個事實都有其不同的推理。由于固定的預定義詞匯，目前的知識庫完成模型不能處理新增加的實體和關系，也不能對新數據進行推理。

• 隨著我們觀察到新證據（數據），人類的推理過程變得更加細微，即新的推理規則出現，現有的推理規則隨著新數據的加入而演變。目前還不清楚如何穩健地更新深度神經模型的參數來編碼更新的（和新的推理規則）。正如我們在論文后面所顯示的，模型在對新到的數據進行訓練時，往往會出現災難性的遺忘，即模型已經忘記了它之前所學的東西（28；31）。

• 最后，當模型對一個給定的問題輸出錯誤的預測時，它們為我們提供的見解和對錯誤預測的調試控制非常有限（31）。我們表明，非參數模型讓我們有新的機會來修復錯誤的模型預測，讓我們向KNN記憶 "注入 "案例，使模型更有可解釋性和可控性。

1.1 期望

我們希望為大型知識庫的問答設計準確的模型，并具有以下理想的特性：

• 適用于新加入的數據。我們需要能夠與動態世界無縫推理的模型。這意味著模型應該能夠處理新的實體和關系，以及隨著新數據的加入而出現的新的（潛在的）推理規則。

• 準確地回答需要復雜推理模式的各種自然語言查詢。知識庫的自然語言界面為存儲在其中的信息提供了一種用戶友好的訪問方式。自然語言查詢還允許我們提出更復雜的問題，這些問題很難用單一的知識庫關系來表達。此外，看似簡單的問題可能需要涉及KB中多個事實的復雜推理（例如，居里家族的成員獲得了多少諾貝爾獎？） 回答許多這樣的問題所需要的推理模式是子圖的形狀，而且往往比簡單的推理鏈更復雜。我們需要能夠對復雜的（潛在的）子圖圖譜進行所需的推理的模型，以準確回答此類問題。

• 具有可控性和可調試性的可解釋推理過程。目前的QA和KB完成模型作為黑盒的功能，對其推理過程提供了有限的見解。此外，當它們對一個查詢輸出錯誤的預測時，除了在失敗的輸入上重新訓練模型外，我們沒有什么可以做的。我們需要的模型不僅在如何得出查詢的答案方面提供更多的透明度，而且是可控制和可調試的，對如何修復錯誤的模型預測提供更好的洞察力。

1.2 已完成的工作總結

本論文提出建立模型，將邏輯與存儲在模型參數中的數據分離開來。所建議的模型不是記憶數據并將其存儲在參數中，而是學習如何瀏覽知識圖譜來回答一個給定的查詢。我們提出的解決方案MINERVA（26），將知識圖譜（KG）視為強化學習（RL）框架中的一個環境。從對應于查詢實體的節點開始，MINERVA通過從所有邊的集合（行動空間）中選擇一條出站邊來遍歷知識圖譜。這樣重復進行，直到代理決定在它認為是答案的節點上停止。在訓練過程中，如果終端節點是給定查詢的答案，環境就會給予積極的獎勵。應該強調的是，MINERVA不是記憶KG，而是學習如何為給定的查詢進行導航。這使得MINERVA能夠泛化到包含未見過的實體的圖的新部分。此外，所穿越的關系邊的序列也為模型所采用的推理過程提供了可解釋性。然而，瀏覽KG的邏輯，即下一步選擇哪條關系邊緣，完全是由模型的參數來編碼的。這意味著MINERVA將無法適應添加到KG中的新關系，因為沒有經過訓練的參數來適應它們。另外，隨著新信息的加入，現有的規則會不斷演變，新的推理規則也會出現。隨著新數據的加入，MINERVA將無法使用新的（或進化的）規則進行推理（無需重新訓練）。

為了能夠對動態世界進行推理，我們提出了能夠進行非參數和背景推理的模型（27）。給定一個關于新實體的查詢，我們的模型在我們觀察到查詢關系的KG中找到其他上下文相似的實體。接下來，我們收集多個推理路徑，將檢索到的實體與使用查詢關系的實體相連接。最后，這些推理路徑會在查詢實體周圍的子圖中被遍歷，從而得出答案。這種非參數化的方法使我們能夠與新到達的數據進行無縫推理。回答一個新增加的實體的查詢所需的推理模式可以從知識庫中的現有實體中導出。同樣地，任何新增加的數據都可以被納入，以完善對現有實體的查詢的預測。(27)中提出的算法對從上下文實體中收集的所有路徑進行了平等處理。然而，并不是所有的路徑對推理都同樣重要。事實上，經常存在一些 "虛假 "的路徑，它們將問題實體與答案實體連接起來，但并不是有效的推理鏈。為了處理這種情況，我們提出了一種概率方法，用先驗分和精確分來衡量每條推理路徑（28）。我們證明了我們簡單的基于CBR的方法不僅在各種知識庫完成基準上取得了最先進的性能（168；187），而且在一個具有挑戰性的開放世界知識庫完成設置中，以很大的幅度超過了SOTA模型，在這個世界中，新的實體和事實正在不斷地被添加。

本論文到目前為止所描述的工作，接受結構化查詢（e1,r,?）作為輸入。如前所述，知識庫的自然語言界面為用戶提供了對知識庫中存儲信息的友好訪問。自然語言（NL）查詢也允許我們提出難以用單一KB關系表達的問題。為了處理復雜的NL查詢，我們引入了一種非參數化的語義解析方法，從訓練集中檢索其他類似的NL查詢及其邏輯形式。然后，一個神經編碼器-解碼器模型以檢索到的案例為條件，得出給定查詢的邏輯形式（31）。我們表明，我們提出的方法對復雜的組合性問題非常有效，這些問題需要在訓練過程中沒有看到的新的KB關系組合，從而在多個KBQA數據集（192；164；77）中獲得最先進的結果。

上述方法讓人想起幾十年前經典人工智能中提出的非參數框架--基于案例的推理（147；84）。一個CBR系統（1）的簡圖包括：（i）一個檢索模塊，其中檢索與給定問題相似的 "案例"，（ii）一個重用模塊，其中重新使用檢索到的案例的解決方案來合成一個新的解決方案。通常情況下，新的解決方案不起作用，需要更多的修改，這由(iii)修改模塊來處理。最近，在質量保證方面有很多工作，從非參數存儲器中檢索相關證據（59；94；75）。另一項工作（96）是從文件中預先生成一個大的問題集。回答一個問題可以歸結為在生成的列表中找到最相似的問題解析（使用KNN搜索）并返回相應的答案。

相比之下，我們的CBR方法是從訓練數據（或KG）中檢索與給定查詢有關聯的查詢（或一個實體）。檢索到的查詢不需要是轉述，但應該有關系上的相似性（例如，對于 "哪些國家與美國接壤？"的查詢，一個最近的鄰居問題可能是 "哪些國家與印度接壤？") 接下來，它找到解釋解決所檢索查詢的推理模式（KG路徑或子圖）。最后，檢索到的推理模式被用來推導出一個適用于給定查詢的推理模式。與（96）提出的方法相比，我們認為我們的方法（31）是一種更穩健的非參數推理方式，因為不能保證所有問題都能從文檔中預先生成。

然而，以前的工作（31）需要在訓練過程中對邏輯形式進行注釋，這對大規模的注釋來說是非常昂貴的。此外，一個模式的注釋并不能推廣到不同的模式。我們假設在一個大的知識庫中，回答一個查詢類型所需的推理模式在它們各自的子圖鄰域中的各種實體中重復出現（29）。利用不同子圖的局部鄰域之間的這種結構相似性，我們引入了一個半參數模型，包括：（i）一個非參數組件，對于每個查詢，動態地檢索其他類似的k-近鄰（KNN）訓練查詢以及查詢特定的子圖；（ii）一個參數組件，它被訓練來識別來自KNN查詢子圖的（潛在）推理模式，然后將其應用于目標查詢的子圖。我們還提出了一種新的算法，從大規模知識圖譜（KG）中選擇一個特定于查詢的緊湊子圖，使我們能夠擴展到包含數十億條邊的完整Freebase KG。

最后，本論文探討了非參數模型的另一個有用屬性。當QA模型對一個查詢輸出錯誤的預測時，非參數模型給我們提供了一個機會，通過向KNN索引注入相關案例來 "修復 "錯誤的預測。另一個選擇是在失敗的輸入上訓練模型，但我們發現，除非在失敗的例子上進行仔細的微調，否則模型經常表現出災難性的遺忘。相反，我們表明，在向KNN索引添加一些簡單的案例（查詢，邏輯形式對）時，我們的模型能夠檢索到新添加的案例，并使用它來推導出正確的邏輯形式，本質上修復了錯誤的預測。我們利用這一特性來證明，一個質量保證模型可以被用來回答那些需要關系的查詢，而該模型從未被訓練過，這為實現實用的生產準備模型鋪平了道路。

1.3 本文背景下的推理

歸納推理是一種邏輯推理的形式，它使用觀察結果來合成一般原則，而這些原則又被用來對未觀察到的事物進行預測（72）。大多數機器學習（ML）方法都可以說是屬于這一類推理，其中學習的參數編碼了這些一般原則，對未觀察到的數據的預測涉及模型參數與輸入特征的加權組合。ML方法（尤其是深度神經網絡）在泛化精度上有了很大的提高，然而，要理解模型參數中所捕捉到的基本泛化原則變得越來越困難。

相反，演繹推理從一組前提（如一組規則）開始，然后根據這些規則得出新的結論。任何通過演繹得出的新結論都可以通過遵循推導過程中使用的推理步驟來清晰地理解。然而，在大多數實際案例中，完整的規則/前提集是未知的。

本論文中提出的大多數工作都結合了歸納推理和演繹推理的優點。例如，MINERVA（第2章）從數據中誘導出通用角條款并將其存儲在其參數中，但是在推理過程中，它不是直接輸出一個答案實體，而是通過遵循學到的推理規則遍歷KG。同樣地，CBR（第3章）從KB中針對一個給定的查詢實體，從其他類似的實體中飛快地誘導出象征性的加權角條款，最終的答案是通過這些規則的演繹而得到的。在CBR-KBQA（第四章）中，一個神經網絡學習從類似查詢的注釋規則中復制相關關系。然后，神經網絡輸出查詢的邏輯形式（歸納法），然后針對KB執行（演繹法）。因為有了歸納和演繹的成分，論文中的模型享有很高的準確性和可解釋性。

我還想指出，本論文中提出的工作也不同于Peirce的歸納推理（63），其目的是找到最可能解釋觀察的規則。相反，本論文中的所有工作都推導出多種推理規則，并利用這些規則推導出結論。

表1.1: 本論文中提出的方法在學習的規則結構方面的分類，它們被儲存在哪里，以及這些規則如何被模型執行。

表1.1對本文介紹的方法進行了分類，包括所學規則的結構、存儲位置以及規則的執行方式。在MINERVA和CBR中，學到的規則是一連串的KB關系或代表角句的關系鏈。在CBR-KBQA中，規則采取任意子圖的形式（表示為SPARQL查詢），而在CBR-SUBG中，規則是（潛在的）子圖模式，在多個近鄰查詢的子圖中重復。在MINERVA中，規則被編碼在策略網絡的參數中。在CBR中，對于一個給定的查詢實體和關系，規則是從其他類似的實體中即時衍生出來的。這些規則是符號化的，存儲在表格中。在PRCBR（28）中，每個規則都與所有可能的KB查詢關系的標量分數有關。在CBR-KBQA和CBR-SUBG中，規則是根據上下文檢索的。例如，對于CBR-KBQA，每個檢索到的問題都與一個注釋的SPARQL查詢配對，對于CBR-SUBG，每個檢索到的查詢子圖都包含潛在的推理子圖。CBR-KBQA和CBR-SUBG的參數組件學習從上下文中存在的規則中識別所需的關系集，并輸出一個邏輯形式（對于CBR-KBQA）或一個答案實體節點（對于CBR-SUBG）。最后，對于MINERVA和CBR來說，規則是通過遵循誘導規則遍歷KG來執行的（推理）。在CBR-KBQA中，學到的規則可以用SPARQL解釋器針對KB執行。最后，在CBR-SUBG中，節點表示是通過消息傳遞形成的，它（希望）在回答節點的表示中編碼推理子圖。然后，查詢子圖中的答案節點通過對檢索到的KNN問題的已知答案節點進行相似性搜索來確定。

1.4 本文組織

本論文建議文件組織如下。

第二章,介紹了我們提出的模型（MINERVA），該模型參數中的邏輯與知識解耦。我們將演示MINERVA如何在KG上行走，以找到一個給定查詢的答案。

第三章，我們描述了我們的非參數推理方法來完成知識庫，并在一個具有挑戰性的開放世界的知識圖譜完成環境中證明了其功效。

第四章將我們的非參數方法擴展到自然語言中復雜的組合查詢。利用我們模型的非參數屬性，我們表明有可能 "修復 "深度QA模型的錯誤預測，而不需要重新訓練它們。

第五章，描述了我們的解決方案，即對需要復雜子圖推理模式的問題進行KBQA，而不需要在訓練中注釋邏輯形式。我們表明，我們提出的模型（CBR-SUBG）可以回答需要復雜推理模式的問題，即使它在訓練期間只看到少數問題類型的例子；可以泛化到包含全新實體的圖，并令人信服地超過基于路徑的模型。我們還表明，模型的性能，以真正的非參數方式，隨著更多證據（類似問題）的檢索而增加。