在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

摘要

第四次工業革命，即工業4.0（I40）的目的是創建智能工廠，其中采用網絡物理系統（CPS）、物聯網（IoT）和人工智能（AI）。根據I40的愿景，實現智能工廠需要智能的人與機器和機器與機器的溝通。為了實現這種通信，需要對CPS及其數據進行描述，并解決由各種表現形式引起的互操作性沖突。為了建立互操作性，工業界已經創建了標準和標準化框架。標準描述了實體、系統和流程的主要屬性，以及它們之間的相互作用。標準化框架根據其目的和特點對工業標準進行分類、調整和整合。盡管是由官方國際組織發布的，不同的標準對類似的實體可能包含不同的定義。此外，當利用同一標準來設計CPS時，不同的觀點會產生互操作性沖突。盡管標準化框架具有表達性，但在某種程度上可能代表了同一標準的不同分類，需要解決互操作性沖突，以支持智能工廠的有效和高效通信。

為了實現互操作性，需要對數據進行語義整合，調解現有的沖突。這個問題已經在文獻中得到了廣泛的研究。獲得的結果可以應用于一般的集成問題。然而，目前的方法未能考慮I40場景中實體之間發生的特定互操作性沖突。在這篇論文中，我們解決了I40場景中的語義數據整合問題。我們提出了一種基于知識圖譜的方法，允許在考慮其語義的同時整合I40中的實體。為了實現這種整合，在不同的概念層面上有一些挑戰需要解決。首先，定義標準和標準化框架之間的映射；其次，代表標準所描述的I40場景中的實體知識；第三，在解決語義異質性問題的同時，整合CPS設計的觀點；最后，確定所提出方法的實際行業應用。

我們首先設計了一種知識驅動的方法，允許將標準和標準化框架整合到工業4.0知識圖譜（I40KG）中。標準本體用于表示標準和標準化框架的主要屬性，以及它們之間的關系。I40KG允許整合標準和標準化框架，同時解決該領域中特定的語義異質性沖突。此外，我們在知識圖譜中對標準進行語義描述。為此，我們考慮了對I40場景具有核心重要性的標準，即I40的參考架構模型（RAMI4.0）、AutomationML和供應鏈操作參考模型（SCOR）。此外，描述CPS的實體的不同角度被整合到知識圖譜中。為了評估所提出的方法，我們依靠經驗性的評估以及具體用例的開發。獲得的結果證明，知識圖譜方法能夠在I40場景中對實體進行有效的數據整合，同時解決語義上的互操作性沖突，從而增強了智能工廠中的通信。

1 引言

目前許多領域因數字化進程而產生的數據越來越多地影響著社會的許多方面。全球化、無處不在的通信網絡和互聯網、新的人機協作場景，例如社會和職業網絡，以及復雜的信息系統的存在，是一些消耗和產生大量數據的活動。這些活動實際上正在影響著社會和工業的所有領域。在這些數字化過程中產生的數據對于改善人類發展的許多領域可能具有極其重要的意義。特別是，公司越來越多地將數據視為對提高其流程的效率和效能具有關鍵意義的資產。

在工程和制造領域，目前有一種向數字化生產的新時代出發的氛圍。第四次工業革命在德國被稱為"工業4.0"，而相關術語，如美國的 "工業互聯網"、中國的 "智能制造"、法國的 "未來工業"，在不同的國家被用來表示同一概念。工業4.0（I40）一詞似乎已被國際社會認可，指的是第四次工業革命。I40的主要目標是通過結合物聯網（IoT）、服務互聯網（IoS）和網絡物理系統（CPS）的優勢創建智能工廠。在智能工廠中，人類、機器、材料以及CPS需要以智能方式合作，以提高產量。

為了實現創建智能工廠的目標，必須確保數據整合的三個方面：1）垂直整合，在工廠/生產車間內；2）水平整合，通過整個價值創造網絡；3）端到端整合，貫穿整個產品生命周期[1，2]。首先，垂直整合包括將不同層次的制造水平的系統整合成一個全面的解決方案。這種集成是在車間層面上進行的，在車間層面上，傳感器、執行器、CPS等設備位于企業規劃層面上的企業資源系統（ERP）。第二，橫向整合，涉及合作伙伴、供應商、客戶以及其他生態系統成員之間的合作，從物流到創新、流動以及利益相關者。智能工廠通過在其運營中使用世界范圍內的生產鏈和數據網絡達到全球。因此，有必要在所有這些參與者之間進行數據整合，也就是橫向整合。橫向整合需要確保工廠能夠作為一個智能工廠在全球市場上進行互動。最后，產品生命周期的發展包括許多工程活動，以創建一個CPS，如構思、設計、生產、利用和終止。在復雜系統（如CPS）的工程中，通常屬于不同工程學科的利益相關者必須進行有效的合作。CPS工程過程的目的是提供高質量的最終產品，例如，完整的生產工廠設計，并滿足嚴格的時間框架。各種工程學科的存在導致了高度復雜和軟件密集型的環境，其特點是：a）眾多的工程工具在設計上不能相互合作；b）各種工程領域的特定表示和數據交換格式的應用；以及c）各相關學科采用的工作流程的差異。不同的系統、組織和利益相關者參與到CPS的工程和運營中，既要跨越工程領域的界限，即橫向整合，又要在系統的不同抽象層次（業務、工程、運營）之間，即縱向整合[3]。此外，這些環境中的一個核心挑戰是確保互操作性，允許在整個產品生命周期中進行數據整合。為了實現這種互操作性，實現CPS的一個關鍵問題依賴于解決這些系統、組織和利益相關者之間的數據整合挑戰。這意味著要開發一個CPS，受影響的學科必須確保生成的數據的整合。

實現這樣的整合是一項復雜的任務，特別是當考慮到世界各地的工廠，它們通常根據不同的商業和法律規則以及不同的標準運作。互操作性是一個主要挑戰，也是I40的設計原則之一[4]。為了實現I40場景中的互操作性，像執行器、傳感器、傳送帶和CPS等實體的含義需要以語義描述的方式，讓機器和人類都能夠理解和分享它們的含義。當試圖在所描述的集成中進行合作時，相關實體之間會出現語義互操作性沖突。語義互操作性沖突表示不同或等同概念的建模以及這些概念的表達方式的差異[5]。為了實現I40的愿景，需要解決不同實體間的這些互操作性沖突。

為了解決智能工廠的互操作性問題，世界各地的工業界都提出了標準和標準化框架。這方面的相關例子有工業4.0參考架構（RAMI4.0）[6] 或工業互聯網參考架構（IIRA）[7]。這些環境的基本價值在于使基于這些標準化框架建立的CPS之間具有互操作性。盡管在對現有標準進行分類和調整方面很有表現力，但標準化框架可能對同一標準提出不同的解釋或分類。例如，OPC UA被RAMI4.0分類為通信標準，而IIRA將OPC UA定位在其架構的框架層[8]。標準分類之間的不匹配產生沖突，對智能工廠的互操作性產生負面影響。因此，盡管為創建標準以及標準化框架做出了所有這些努力，語義互操作性沖突仍然是I40場景中未解決的問題。

由于對實體或過程的不同和/或類似的表述，類似的I40相關標準之間的互操作性受到阻礙。例如，在旨在合作的標準中，不同的名稱被用來表達相同的含義，例如，AutomationML（AML）中的InternalElement描述的含義與OPC UA中的Object相同[9]。如果這些標準被聯合用來為同一個CPS建模，那么他們的信息模型的整合是必須的。為此，所涉及的實體的含義需要被精確定義，并解決互操作性沖突[10]。總之，為了實現I40場景下所需的互操作性，數據需要在語義上進行整合，與所面臨的整合類型無關，即垂直、水平或端到端的工程整合。

圖1.1: I40場景中的語義互操作性沖突。已經定義了四個層次來描述I40場景中的語義互操作性沖突。從標準化框架到由網絡物理系統代表的物理世界。語義互操作性沖突發生在所有層面，對I40場景中的數據集成產生了負面影響。

1.1 問題的定義和挑戰

在概念層面上，面臨著一個語義數據整合問題。指導本論文工作的研究問題可以表達如下：我們研究如何通過描述I40場景中實體的含義來增強這些場景的互操作性。

由于I40場景中的語義數據整合問題包括許多需要解決的問題和障礙，我們認為以下挑戰和問題不屬于本論文的范圍：在I40場景中語義整合數據時的大數據挑戰；I40場景的安全問題；以及I40數據的實時語義數據整合。盡管如此，我們承認本論文中提出的結果為擴展這項工作以涵蓋這些方面奠定了基礎。

為了更好地理解I40場景中的語義數據整合問題，以及需要解決的不同語義互操作性沖突，我們確定了四個層次（參見圖1.1）。頂層對應的是標準化框架。在這個層次中，調查了標準化框架，如RAMI4.0、IIRA、IICF，以及美國國家標準與技術研究院（NIST）的標準化景觀。我們調查了標準化框架用于對標準進行分類的不同分類層次，如維度和層次。此外，我們研究了標準是如何被納入這些層次的，目的是了解需要解決的現有語義互操作性沖突，例如，相同的標準被不同的標準化框架進行不同的分類。第二個層次--工業4.0標準，考慮到了標準之間的關系。這一層次也包括語義上的互操作性沖突。例如，對應于兩個應該互動的標準的信息模型的不同名稱被用來表達一個實體的相同含義，例如，AML中的InternalElement與OPC UA中的Object具有相同的含義。第三層，文檔，指的是基于描述I40實體的特征和關系的標準而生成的文檔，例如，CPS。這些文件是由不同的學科建立的，代表了同一CPS的不同觀點。通常情況下，語義異質性沖突被引入，即對同一領域的不同解釋被建模。這是由參與該過程的不同觀點造成的。第四層，網絡物理系統，描述了物理世界，其中有CPS的存在。在下文中，將介紹本論文所解決的主要挑戰。前三個挑戰是指研究，而第四個挑戰的重點是將研究應用于具體場景。

挑戰1: 定義標準和標準化框架之間的映射關系。標準化框架根據其功能對標準進行分類。然而，標準化框架代表了I40場景中關于標準的區域觀點。一些標準，如OPC UA，可能被RAMI4.0、IIRA和NIST的標準化景觀分類在不同的層次。因此，存在關于標準和標準化框架的不同觀點。需要確定不同標準化框架的標準表述之間的語義沖突。此外，一些標準被不同的標準化組織以不同的方式命名，例如，OPC UA在其國際版本中被命名為IEC 62541。標準化框架中的這些不同的標準表述對I40場景中的互操作性產生了負面影響。因此，需要確定標準化框架和標準之間的映射，以及標準之間的映射。

挑戰2：在工業4.0場景中表示關于實體的知識。標準由信息模型組成，以表示它們所涵蓋的領域的知識。在某些情況下，這些信息模型包含模糊的、冗余的和重疊的信息。此外，這些信息是以半結構化或非結構化格式（如XML或純文本）以及結構化格式（如數據庫模型）進行編碼。以計算機可讀的形式表示這些知識，允許識別和解決I40實體之間的語義互操作性沖突，對于本論文的工作至關重要。

挑戰3：整合工業4.0場景中的實體的沖突觀點。CPS是復雜的系統，通常需要多個學科的投入，如機械、電氣或軟件工程。在設計CPS時，這些學科中的每一個都會產生不同的觀點。不同的觀點需要被整合到最終的CPS設計中。此外，在每個觀點中單獨建模的實體，以及解決可能引起的相應的語義異質性沖突，應根據它們與其他觀點的一致性程度，成為最終CPS設計的一部分。

挑戰4：確定工業4.0中實體的語義數據整合的現實世界應用。互操作性和語義數據整合是公認的設計原則和I40愿景發展的要求。然而，由于以下原因，確定基于語義的方法的附加值的現實世界的應用是困難的。1）對I40背景下產生的數據的語義異質性沖突缺乏了解；2）使用的標準沒有足夠的表達能力來解決I40背景下的數據語義整合問題，例如XML；以及3）缺乏成功案例來證明基于語義的數據整合方法的好處。

1.2 研究問題

經過前面幾節的討論，我們確定了以下研究問題。

問題1：知識圖譜方法如何定義標準和標準化框架的映射并解決它們之間現有的語義互操作性沖突？

為了回答這個研究問題，知識圖譜方法被用來表示和整合各種標準化框架和標準中編碼的知識。通過這種方法，標準化框架和標準之間的語義互操作性沖突得到了調解。

問題2：知識圖譜如何表示工業4.0實體中編碼的語義？

為了回答這個問題，我們開發了涵蓋I40領域不同領域的本體論。與傳統的知識管理方法相比，這種方法所提供的好處被證明。

問題3：如何利用現有的基于規則的方法來解決知識圖譜的語義互操作性沖突？

為了回答這個研究問題，我們研究了用于創建和利用知識圖譜的邏輯編程方法和概率技術。邏輯編程方法和概率技術被用于捕捉不同CPS視角下的知識編碼。這些知識被編碼在知識圖譜中并被利用，目的是識別CPS視角之間的語義互操作性沖突。然后，語義互操作性沖突通過依靠知識圖譜來解決。最后，代表CPS觀點的綜合知識的最終設計被創建。

問題4：基于知識圖譜的實體集成如何應用于工業4.0的真實場景？

為了解決這個問題，研究了I40場景中語義數據集成的不同應用領域。已經開發了真實的用例，并報告了一家制造公司使用這種應用的實際經驗。

圖1.2：論文的貢獻。本論文的四個貢獻提出了基于知識圖譜調和工業4.0場景下的互操作性沖突的解決方案。1）將標準和標準化框架整合到知識圖譜中；2）使用本體對標準進行語義描述；3）將CPS整合到知識圖譜中；4）基于知識圖譜的方法在I40場景中對數據進行語義整合的實際應用建議。標準和標準化框架的語義被編碼在知識圖譜中，以解決工業4.0場景下的語義互操作性沖突。

1.3 論文概述

為了指導讀者閱讀本文，我們對本論文的主要貢獻和研究領域進行了概述。此外，還包括支持這項工作的科學出版物的參考文獻。

1.3.1 貢獻

本論文的貢獻是跨學科的，涉及語義建模、知識圖譜的創建和完善，以及I40場景下的語義數據整合。圖1.2描述了在解決I40場景中語義互操作性沖突的同時，根據確定的層次，提出了整合數據的解決方案。接下來，將概述本論文的貢獻。

事實證明，知識圖譜（KGs）已經成功地應對了不同領域的數據整合過程中的語義互操作性沖突，如醫學[11]、農業[12]和人類交通[13]。對于工廠來說，KGs被認為是下一代企業信息系統的核心[14]。數據的意義與圖一起存儲，以本體的形式捕捉領域的語義。KGs也能在現有的基礎上得出結論和新的知識。這使得KGs成為尋找和理解數據的單一場所。為了實現語義互操作性，由標準和標準化框架描述的數據需要在語義上進行整合。這些數據的意義需要被保留下來，并且在整合過程中需要解決語義異質性沖突。

• 貢獻1：將標準和標準化框架整合到知識圖譜中。我們提出了一種基于知識圖譜的方法，對遵守I40標準和標準化框架的文件進行語義整合。開發了STO本體，它描述了標準和標準化框架的概念。此外，還提出了一種建立和利用工業4.0標準和標準化框架知識圖的方法。基于這種方法和STO中的語義，我們建立了工業4.0標準知識圖（I40KG）。I40KG包含了對200多個標準、25個以上的標準化組織和100個標準之間關系的描述。最后，I40KG與現有的知識圖譜（如DBpedia）相連接，并實現了自動推理，以揭示標準之間的隱性關系以及跨標準化框架的映射關系。這一貢獻旨在回答RQ1。

• 貢獻2：使用本體對標準進行語義描述。對于第二層次，即工業4.0標準，建議使用本體對標準進行語義描述。概述了一種新的方法，以語義表示和利用與I40相關的標準和標準化框架的知識。對I40愿景極為重要的標準被建模為本體。首先，RAMI4.0涵蓋了I40解決方案的參考架構和提供資產代表的Administration Shell概念。第二，AML本體，涵蓋AutomationML標準。該標準對于從不同學科角度設計CPS的工業解決方案至關重要，如機械、電氣和軟件工程。最后，SCORVoc代表APICS行業協會的供應鏈運營參考模型。我們展示了工業4.0實體的語義表示的好處。我們開發了I40場景中語義表示的常見用例，例如，測量單位。介紹了這些場景中實體間語義異質性沖突的編纂。此外，通過考慮和應用本體的語義，開發了沖突的解決方案。這一貢獻涵蓋了研究問題RQ2。

• 貢獻3：將CPS整合到知識圖譜中。我們提出了一種將CPS的觀點融入知識圖譜的方法。知識圖譜是為代表CPS設計的不同角度的信息而創建的，即機械、電氣和軟件觀點。這些觀點之間發生的語義互操作性沖突被描述出來。為此，我們按照兩種邏輯方法對識別和解決CPS視角的I40實體之間的沖突問題進行了形式化：演繹數據庫和概率軟邏輯。這些形式化的規范分別在Alligator和SemCPS中實現。首先，我們介紹了Alligator，一種用于識別和解決CPS文件之間語義互操作性沖突的演繹方法。Alligator依靠Datalog來準確地表示描述CPS文檔中不同類型的語義異質性沖突的知識。Alligator使用一個知識圖譜來編碼CPS觀點的知識。其次，我們開發了SemCPS，一個依靠概率軟邏輯（PSL）的規則庫框架，用于捕捉不同CPS視角中編碼的知識，并在解決現有語義異質性沖突的同時利用這些知識進行CPS視角整合。關于文件層面，以及網絡物理系統層面，我們的目標是創建一個能夠描述和整合由不同標準定義的CPS文件的CPS KG。通過這一提議，研究問題RQ3得到了解決。

• 貢獻4：為了展示知識圖譜方法的適用性，我們進行了一個基于制造公司的案例研究。開發了對工廠生產效率具有核心意義的兩個用例，即工具可用性和能源消耗。我們調查了與這些用例相關的制造公司的數據源。分析了數據源之間現有的語義互操作性沖突。為了執行這些用例，我們開發了一種知識圖譜的方法來解決公司數據源之間存在的語義互操作性沖突。我們開發了一套本體論來描述數據源的語義，即物料清單、制造執行系統和傳感器數據。此外，還定義了一套映射，將數據源與本體進行映射。定義了一個實現知識圖譜方法的架構。該架構使數據的整合考慮到了數據源、本體、映射和應用。通過使用提議的方法，數據源之間的語義互操作性沖突得到了解決。本報告中獲得的結果回答了RQ4。

1.3.2 出版物

本論文中的部分工作已經作為會議、研討會和期刊文章或書籍章節發表。在每一章的開頭，都提到了該章所依據的出版物。在下文中，將概述作為本論文基礎的主要出版物。

1.Irlán Grangel-González, Lavdim Halilaj, G?khan Coskun, S?ren Auer. Towards Vocabulary Development by Convention. In Proceedings of the International Conference on Knowledge Engineering and Ontology Development (KEOD), 2015, 334-343, SciTePress; 本文是與波恩大學的博士生Lavdim Halilaj的合作作品。在這篇文章中，我參與了問題的定義、詞匯開發方法的開發、評估以及結果的分析。

2.Irlán Grangel-González, Lavdim Halilaj, G?khan Coskun, S?ren Auer, Diego Collarana, Michael Hoffmeister. 邁向工業4.0組件的語義管理殼。在2016年第十屆IEEE國際語義計算會議（ICSC）論文集，230-237，IEEE。Fraunhofer IAIS月度論文，2016年6月。這篇文章是與波恩大學博士生Lavdim Halilaj的合作作品。在這篇文章中，我參與了問題的定義、方法的開發、對最先進方法的回顧、用例的介紹以及對結果的分析。

3.Lavdim Halilaj, Irlán Grangel-González, G?khan Coskun, S?ren Auer. Git4Voc: 基于Git的版本管理，用于協作式詞匯開發。In Proceedings of the Tenth IEEE International Conference on Semantic Computing 2016, 285-292, IEEE; 本文是與波恩大學的博士生Lavdim Halilaj的聯合工作。在這篇文章中，我參與了問題的定義、方法的開發、對最先進技術的批判性審查以及對結果的分析。

4.Irlán Grangel-González, Lavdim Halilaj, G?khan Coskun, S?ren Auer, Diego Collarana. 基于RDF的方法，用Administration Shells實現工業4.0組件。在2016年第21屆IEEE新興技術和工廠自動化國際會議（EFTA）論文集，1-8，IEEE。本文是與波恩大學博士生Lavdim Halilaj的合作作品。在這篇文章中，我參與了問題的定義、方法的開發、對最先進方法的回顧、用例的介紹以及對結果的分析。

5.Niklas Petersen, Irlán Grangel-González, S?ren Auer, G?khan Coskun, Marvin Frommhold, Sebastian Tramp, Maxime Lefranc, Antoine Zimmermann. SCORVoc: 基于詞匯的供應網絡信息集成和交流。2016年第十屆IEEE語義計算國際會議論文集》，132-139頁，IEEE；本文是與波恩大學的博士生Niklas Petersen的合作作品。我對本文的貢獻是致力于問題的定義、本體的建模，以及對相關工作的分析和回顧。

6.Irlán Grangel-González, Diego Collarana Vargas, Lavdim Halilaj, Steffen Lohmann, Christoph Lange, Maria-Esther Vidal, S?ren Auer. Alligator: 用于整合工業4.0標準的演繹方法。In Proceedings of the 20th International Conference of Knowledge Engineering and Knowledge Management (EKAW) 2016, 272-287; 本文是與波恩大學的博士生Diego Collarana Vargas和Lavdim Halilaj的聯合工作。在這篇文章中，我參與了問題和激勵性例子的定義、方法的開發、對最先進方法的修訂、軟件的開發，以及實驗和結果的執行和分析。

7.Irlán Grangel-González, Paul Baptista, Lavdim Halilaj, Steffen Lohmann, MariaEsther Vidal, Christian Mader, S?ren Auer. 從語義整合的角度看工業4.0的標準環境。在2017年第21屆IEEE新興技術和工廠自動化國際會議論文集中，1-8；在這篇文章中，我的貢獻是對問題和激勵性例子的定義、方法的開發、本體和知識圖譜的開發、對最先進方法的修訂，以及實驗和結果的執行和分析。

8.Irlán Grangel-González, Lavdim Halilaj, Omar Rana, Maria-Esther Vidal, Steffen Lohmann, S?ren Auer, Andreas W. Müller. 用于網絡物理系統語義整合的知識圖譜。在2018年第29屆數據庫和專家系統應用國際會議（DEXA）論文集，184-199。在這篇文章中，我參與了問題的定義和激勵性的例子，方法的開發，軟件的實現，相關工作的回顧，以及實驗和結果的執行和分析。

9.Niklas Petersen, Lavdim Halilaj, Irlán Grangel-González, Steffen Lohmann, Christoph Lange, S?ren Auer. 為一家制造公司實現基于RDF的信息模型--一個案例研究。(最佳使用中論文獎的兩個提名者之一）《2017年第16屆國際語義網會議（ISWC）論文集》，350-366，Springer。這是與Niklas Petersen和Lavdim Halilaj兩位波恩大學的博士生共同完成的工作。在這篇文章中，我參與了信息模型的開發、映射的定義、架構的開發、用例的描述，以及對如何用信息模型解決語義異質性沖突的分析。

在博士期間完成的完整的出版物清單見附錄A.1。

1.4 論文結構

本論文的結構分為七章，概述如下。

• 第1章 - 緒論為論文作序，包括主要的研究問題和挑戰，開展工作的動機，研究問題，解決研究問題的科學貢獻，以及正式描述這些貢獻的已發表的科學文章列表。

• 第2章--背景和前提介紹了理解本論文工作所需的關鍵概念。最初，解釋了I40場景和核心相關概念。接下來，描述了語義技術的基礎。研究了數據整合的一般原則，重點是語義數據整合；介紹了語義異質性沖突以及它們在I40場景中的存在。最后，研究了用于整合數據同時解決語義異質性沖突的技術描述。

• 第3章--相關工作研究了當前最先進的方法，以使讀者更好地理解本論文中所進行的工作。對語義數據整合的一般方法進行了調查。此外，還描述了與I40領域的標準語義表示有關的具體工作。接下來，概述了關于將標準整合到知識圖譜中的工作。最后，描述了I40領域中實體語義整合的現有方法。

• 第4章--將工業4.0標準整合到知識圖譜中，描述了解決標準化框架之間以及標準之間互操作性沖突的知識圖譜方法；還概述了建立和完善知識圖譜的方法。

• 第5章--使用本體對工業4.0標準進行語義描述，介紹了一種建立本體的方法，這些本體是在I40場景中常用的標準，即RAMI4.0、AML和SCOR。這種方法被用來利用這些標準中編碼的實體的語義，并幫助解決語義異質性問題。

• 第6章--將網絡物理系統整合到知識圖譜中，概述了將CPS整合到知識圖譜中的情況。對本章所處理的問題提出了兩種解決方案：i）結合Datalog和本體的力量的演繹方法；以及ii）考慮到CPS設計中存在的不確定性并使用概率軟邏輯方法來獲得CPS的最可能的設計的方法。

• 第7章 - 語義數據集成在工業4.0場景中的應用，展示了知識圖譜方法在實際制造公司中語義集成數據的適用性。

• 第8章--結論和未來方向最后總結了本論文的結果和對I40場景中語義互操作性問題的貢獻。討論了所提出的方法的現有限制，并對未來研究的可能方向進行了展望。

幾個世紀以來，人類一直在收集數據和表征信息，但數字技術的出現，特別是萬維網的出現，導致了新的挑戰：穩步增長的各種數據需要以系統和有意義的方式進行整合管理。否則，只剩下質量不明的大量無關聯的數據。

為了實現信息的智能管理，我們需要以統一的方式表示數據。此外，我們需要表示限制條件，以定義哪些數據連接在某個用例中是有意義的或有效的，以表示手頭的信息。一個簡單但強大的方法是通過兩件事來表示信息：概念和概念之間的關系。這就形成了一個以概念為節點、以連接節點的關系為邊的圖結構，即所謂的知識圖譜。像這樣，我們可以表示 "作者"、"人 "和 "書 "這三個概念，以及 "寫 "或 "買 "這樣的關系。而作者 "安迪-威爾 "寫了《火星人》一書的信息是有意義的信息，《火星人》一書不能寫作者 "安迪-威爾"。然而，對于計算機來說，如果沒有限制條件來限制連接概念與關系的可能方式，這兩個例子都是有效的。

表達什么是在特定環境下有意義的或者什么是高質量的限制是主觀的，必須由人類來定義。在給定的例子中，限制可以是作者寫書，作者也是一個人。在這種情況下，這些限制是所謂的公理：說明根據模型什么是真的。這些限制可以被計算機用來推斷新的知識：根據安迪-威爾寫了《火星人》這本書的知識，可以推斷出他是一個作家和一個人。另一個限制可能是，只有人可以寫書，而且數據庫中的所有書都需要有作者。在這種情況下，這些限制是所謂的約束，用來識別無效的數據。這可以用于質量評估，以識別缺失的作者信息或錯誤的數據。

本論文主要研究人類對知識圖譜的創建和使用限制。當定義抽象的概念，如 "作者 "或 "書 "時，人們通常把它稱為詞匯表。它的術語可以通過公理來限制意義，那么這個詞匯就可以被稱為本體論。當連接知識圖譜中的具體數據時，如作者 "安迪-威爾 "和書 "火星人"，人們使用這種詞匯表的術語將其稱為數據，例如 "安迪-威爾是一位作者 "和 "火星人是一本書"。在某種情況下，對這些數據有效的東西可能受到限制。為了用機器友好的方式表示所有這些，我們可以使用萬維網聯盟（W3C）推薦的以下語言：（i）資源描述框架（RDF）來表示術語，（ii）RDF Schema（RDFS）和網絡本體語言（OWL）來表示公理（iii）和形狀約束語言（SHACL）來表示約束。

第一個挑戰是支持用戶根據使用的限制條件來評估知識圖譜。在構建知識圖譜時，現有的詞匯表經常被重復使用，這使得一個系統中的信息在其他系統中也能被理解。這些詞匯表通常包含影響潛在重用的公理：一些公理在計算上更加復雜，人們可能希望在某個使用案例中避免重用包含這些公理的詞匯表。同樣地，人們可能要評估現有約束條件對通用詞匯的使用。但在這兩種情況下，目前對用戶比較和選擇所使用的限制條件的知識圖譜的支持有限。

第二個挑戰是如何支持用戶創建約束條件。通常情況下，領域專家最清楚他們要施加哪些限制，但他們不是知識圖譜專家，需要一種用戶友好的方式來創建知識圖譜限制。其他研究表明，表示如何以視覺方式表示某些概念的可視化符號可以支持用戶。目前，還沒有這樣的可視化符號來可視化知識圖譜的約束。

限制條件的使用是特定的，因此在本論文中，我們專注于數據管理的某個用例：支持國家圖書館對社會媒體的保存。一方面，在保存動態社交媒體內容時，需要考慮不同的異質數據源。然而，目前還沒有一個完整的社交媒體歸檔工作流程，可以有意義地結合不同的數據片段。另一方面，保存的內容需要被訪問和查詢，這對主觀的數據質量約束提出了挑戰。

為了解決第一個挑戰，我們提出了一種方法來衡量知識圖譜中限制條件的使用，并提出了收集到的原理和限制條件的統計數據。我們首先介紹了Montolo，這是一種定義抽象限制類型的方法，如 "subclass "和RDF中的具體表達，如rdfs:subClassOf。然后，我們介紹了一個在RDF中創建可互操作的限制使用統計的實現。我們通過測量（i）RDFS和OWL公理在來自通用LOV和特定領域的BioPortal資源庫的一千多個本體中的使用情況，以及（ii）來自確定的GitHub資源庫的SHACL形狀中的限制使用情況，來證明這種方法的可行性。

為了解決第二個挑戰，我們關注的是如何支持人類用視覺符號來創建約束，這些符號可以直觀地顯示SHACL中指定的所有約束。我們在計算機科學和知識圖譜領域現有的常用可視化符號的基礎上，提出了兩個可視化符號ShapeUML和ShapeVOWL。我們根據認知有效的設計原則對它們進行了比較，因為它們是要被人類用戶認知處理的，并在一個用戶比較研究中對這兩種符號進行了評估。

為了解決第三個挑戰，我們引入了一個基于知識圖譜的社交媒體歸檔解決方案和相應的質量評估與約束。我們的BESOCIAL解決方案是基于聲明式的知識圖譜生成：使用通用詞匯及其公理來有意義地整合異質的社會媒體歸檔相關數據。此外，我們提出了社交媒體檔案相關的數據質量類別、維度和指標，以及用知識圖譜約束的低級驗證來衡量相應的高級數據質量指標。我們遵循既定的方法，但與現有作品相比，我們的質量評估依賴于萬維網聯盟（W3C）的相關規范，而不是定制軟件。

本論文的貢獻為評估和處理知識圖譜的限制提供了可互操作的手段。

Montolo使用戶能夠評估現有的知識圖譜在公理和約束方面的使用情況。關于公理，我們發現來自通用LOV和特定領域的BioPortal資源庫的詞匯顯示出類似的模式：95%以上使用基于RDFS的限制，但只有一半使用基于OWL的限制。創建的統計數據可以支持本體的重用：本體工程師現在可以依靠公理的使用統計數據來評估現有的本體。關于約束，我們發現了與公理使用類似的模式：概念之間的關系經常被限制在某些類別或數據類型中，而關于字面價值的約束則使用得較少。我們的統計數據揭示了一個可能的問題：一個自我實現的預言，即創建約束的工具只關注常用的約束類型，最終產生更多這樣的約束。因此，少用的約束類型應該得到更多的關注。

ShapeUML和ShapeVOWL的可視化符號獨立于特定的約束語言，并且是在考慮到認知有效性的情況下建立的。因此，人類可以利用他們的快速認知系統，而不必依賴特定的文本語法。我們的比較分析的定量部分顯示，用戶使用一種視覺符號或另一種視覺符號所犯的錯誤并沒有減少，而且兩種符號都有超過80%的問題被正確回答。因此，兩種可視化符號都有可能被用于不同的使用案例，我們的定性分析也指出了可能的改進。

我們的BESOCIAL社交媒體歸檔工作流程使文化遺產專家能夠使用聲明性的手段來保存社交媒體，因此無需他們編寫代碼。此外，我們還定義了與社交媒體收集相關的質量類別、維度和指標，可供社區重新使用。這個用例體現了使用公理和約束來實現數據管理，并在數據整合和數據質量方面提供附加價值。開發的數據質量評估也可以應用于其他用例，因為我們的解決方案只依賴于公開的W3C相關規范。

未來方向包括增加對約束條件的可視化符號的采用，以及創建知識圖譜限制的方法。

關于約束條件的創建，我們對兩種可視化符號與知識圖譜專家的比較評估所得到的結果，是向用戶友好型支持知識圖譜約束條件工作邁出的第一步。類似的研究可以與來自不同領域的專家一起進行，以改進可視化符號和實現符號的工具。后者可以通過調查不同的編輯工作流程來改進。此外，還可以研究如何用我們的可視化符號來表示SHACL以外的其他約束語言。一個有希望的候選語言是形狀表達語言（ShEx），它在從事維基數據工作的社區中引起了關注。

目前有幾種本體工程方法，但特別是隨著SHACL等約束語言的出現，出現了新的建模范式。在這篇論文中，我們將公理和約束同時應用于文化遺產的使用案例，未來的工作可以研究一種通用的方法來支持知識工程師創建知識圖譜。創建知識圖譜的方法論支持何時使用哪些公理，何時使用哪些約束。這使得與限制有關的設計決策透明化，從而最大限度地減少了關于使用公理和使用限制的主觀討論。

人工智能（AI）的幾個主要創新（如卷積神經網絡，經驗回放）是基于關于大腦的發現。然而，基礎的大腦研究結果花了很多年才首次得到鞏固，并花了更多時間轉移到人工智能上。此外，這些發現是在非人類物種中使用侵入性方法得出的。對于人類特有的大腦功能，如理解復雜的語言，沒有合適的動物可以作為模型生物，因此，機械性的理解離我們更遠。

在這篇論文中，我們提出了一個數據驅動的框架，通過建立人們理解語言的大腦記錄和自然語言處理（NLP）計算機系統之間的直接聯系來規避這些限制。我們提出的證據表明，這種聯系對神經語言學和NLP都有好處。具體來說，這個框架可以利用最近在NLP的神經網絡方面取得的成功，來實現對大腦中依賴上下文和任務的科學發現，并且我們提出了第一個證據，表明對人們閱讀的大腦活動測量可以用來提高一個流行的深度神經網絡語言模型的泛化性能。這些調查還有助于認知建模方面的進展，這些進展可能在語言研究之外還有用。總之，這篇論文涉及多學科的調查，對認知神經科學、神經語言學和自然語言處理做出了貢獻。

引言

人腦是一個了不起的信息處理系統，能夠從少數例子中學習，在學習新的事實和技能的同時保留以前學到的事實和技能，并理解任何長度、任何語言的文本。長期以來，它一直是人工智能（AI）和機器學習（ML）領域的靈感來源。例如，早期視覺系統中細胞感受野和信息處理層次的發現（Hubel等人，1968年）導致了卷積神經網絡的發明（Fukushima等人，1982年），徹底改變了計算機視覺，而發現在海馬體中回放先前的經驗有助于記憶鞏固（McNaughton，1983年）激發了經驗回放的發展（McClelland等人，1992年）（也見（Lin，1992年）），在DeepMind的AlphaGo（Silver等人，2016年）首次戰勝人類圍棋世界冠軍后，它已成為深度強化學習的主力。在這些案例中，關于大腦功能的基本發現花了很多年才首次鞏固，而要轉移到人工智能上則需要更多的時間（例如，視覺系統的發現花了10年才鞏固，而要轉移到人工智能上又需要10年以上）。此外，這些發現是在非人類物種中使用侵入性方法得出的。對于人類特有的大腦功能，如理解復雜的語言，沒有合適的動物可以作為模型生物體，因此，機械性的理解就更遙遠了。

在這篇論文中，我們提出了一個數據驅動的框架，通過在大腦和自然語言處理（NLP）計算機系統之間建立直接聯系來規避這些限制。我們在圖1.1中對這個數據驅動的框架的基礎進行了可視化。我們提出的證據表明，這種數據驅動的連接對神經語言學和NLP都有好處。具體來說，我們表明這個框架可以利用最近在NLP的神經網絡方面取得的成功，來實現對大腦中依賴語境和任務的科學發現，并提出了第一個證據，表明對人們閱讀的大腦活動測量可以用來提高一個流行的深度神經網絡語言模型的泛化性能。

圖1.1: 我們的數據驅動方法的可視化。我們首先將自然文本，如一本書的一章，逐字逐句地呈現給一個人，同時她的大腦活動被大腦成像設備，如fMRI記錄下來。我們將相同的文本作為輸入給自然語言處理（NLP）計算機系統，如BERT（Devlin等人，2018）。接下來，我們從NLP系統的特定中間層提取該文本的表征，我們觀察由同一文本引起的大腦記錄。最后，我們計算這兩個文本表征之間的一致性--一個來自NLP系統，一個來自大腦記錄。大腦記錄和NLP系統之間的一致性是通過學習一個函數f來估計的，該函數預測每個大腦源（如體素、傳感器-時間點等）的活動是NLP系統對所呈現文本的表述函數。這個函數通常被建模為一個線性函數，并使用標準的機器學習技術學習。關于這種方法的更多細節，請參考第三章。

NLP系統作為人類語言理解的模型生物體

當閱讀 "獎杯不適合放在棕色的手提箱里，因為它太大了 "這個句子時，盡管有一個模棱兩可的代詞 "它"，它既可以指獎杯，也可以指手提箱，但我們還是能理解這個句子的意思（Levesque等人，2012）。我們知道所指的是獎杯。如果這個句子是 "獎杯不適合放在棕色的手提箱里，因為它太小了"，那么我們就會推斷出所指的是手提箱。大腦是如何處理這些句子并將現實世界的意義賦予它們的？為了解決這個問題，有一些基本的初步問題需要回答，即哪些信息在大腦中的什么地方和什么時候被處理，以了解這些信息是如何在不同的位置和時間點上被聚合的。

利用記錄語言處理過程中人腦活動的神經影像設備，神經科學家在回答 "什么"、"哪里 "和 "什么時候 "的問題上取得了進展。例如，研究人員發現，單個單詞的含義分布在大腦皮層中，但在不同的人中是一致的（Mitchell, Shinkareva等人, 2008; Wehbe, Murphy等人, 2014; Huth, Heer等人, 2016年），一組被稱為 "語言網絡 "的大腦區域支持語言理解（Fedorenko, Hsieh等人, 2010; Fedorenko and ThompsonSchill, 2014），以及一個詞的意思在第一次閱讀后的200到600ms之間被處理（Salmelin, 2007; Skeide等人）。然而，在語言理解過程中，大腦是如何在不同的位置和時間點上匯總信息的，仍然空白。

同時，自然語言處理（NLP）領域創造了一些計算系統，這些系統以特定的方式匯總單詞的含義，以執行特定的語言任務，如預測句子中即將出現的單詞。然而，目前還不清楚這些計算系統是否真正理解句子的含義，以及NLP系統的 "如何 "與大腦的 "如何 "是否相同。在這篇論文中，我們認為，盡管NLP系統與人腦不同，但神經語言學可以從使用NLP系統作為人腦在語言理解過程中如何聚集信息的模型生物中獲益。模型生物體使研究特定的大腦功能更加容易，因為它們允許直接干預，而由于道德或實際原因，在人類身上很難做到這一點。例如，大鼠被用作研究空間表征的神經成分的模型生物，因為它們的探索行為和它們的尺寸，可以在自由行為中進行神經記錄（Yartsev，2017）。但是，是什么讓一個特定的生物體成為特定功能的好模型？我們認為，一個好的模型生物體要滿足三個特性。1）它執行特定的功能，2）它提供了一個比直接在人腦中研究該功能更容易的平臺，以及3）模型生物體中的功能可以與人腦中的類似功能相關。

在這篇論文中，我們提供了證據，證明NLP系統滿足了大腦中語言理解的良好模型生物的第二和第三屬性。第二個屬性可以說是NLP系統對神經語言學最重要的好處--能夠對NLP系統進行具體干預，并觀察這些干預如何影響其與大腦的一致性。就像在動物模型生物體中一樣，研究人員可以在NLP系統中消減現有的信息通路或引入新的信息通路。這些干預措施允許研究人員對NLP系統中包含的信息進行因果推斷，而這在對真實大腦的非侵入性神經科學研究中是不可能的。在這篇論文中，我們提供了一個使用NLP系統中的干預措施來研究超詞義神經基礎的研究案例：語言的多詞義是超越單個詞的意義的。為了測量干預前和干預后NLP系統與大腦的一致性，我們表明我們可以使用編碼模型，這些模型被訓練來預測大腦記錄，作為從NLP系統獲得的文本表征的函數。編碼模型提供了一種方法，將來自NLP系統的文字表征與人們理解語言的大腦記錄聯系起來，從而滿足了一個好的模型生物體的第三個屬性。

大腦引導的NLP系統

一個好的模型生物體的第一個屬性是什么？一個好的大腦語言理解模型生物體必須理解語言。一個NLP系統真的能理解語言嗎？為了回答這個問題，我們可以研究量化語言理解的不同方法，并觀察到NLP系統在其中一些指標上表現良好，但在其他指標上則不然。例如，一個NLP系統非常善于預測句子中即將出現的單詞，但可能會錯誤地得出結論，"我把沉重的桌子放在書上，它就壞了 "這個句子中的 "它 "指的是 "桌子 "而不是 "書"（Trichelair等人，2018），因為它大概已經知道桌子壞了比書壞了更經常出現在上下文中。這種超越詞語關聯的推理困難是NLP系統目前面臨的挑戰。同樣，如果我們在NLP系統中逐句輸入一本書的章節，NLP系統的內部狀態就會偏向于最近處理的文本（Goodfellow等人，2016）。越往后的章節，NLP系統的記憶就越差（Khandelwal等人，2018；Dai等人，2019）。這是一個問題，因為理解現實的語言需要我們有時解決長期的依賴關系。評估NLP系統編碼長范圍語境的能力，以及提高這種能力，是一個活躍的研究領域。

與NLP系統形成鮮明對比的是，一個人在閱讀一本書的一章時，會記住該章最開始的信息（例如有助于理解人物之間關系的背景信息）。因此，我們提出的一個關鍵問題是：我們能否利用我們擁有的唯一能真正理解語言的處理系統--人腦--來評估，甚至可能改進這些NLP系統能夠編碼的信息？為了探究語言理解過程中人腦中的信息，我們沿用了幾十年的神經科學工作，使用腦成像設備（fMRI和MEG）對人們逐字閱讀文本時的大腦活動進行采樣。然后我們在NLP系統中進行不同的干預，觀察其與大腦記錄的一致性如何變化。我們觀察到，一個特定的干預措施，即強迫NLP系統在匯總所有單詞的含義時給予同等的權重，改善了與大腦記錄的一致性，也改善了NLP系統在新數據分布上的表現。這是第一個證據，表明人們理解語言的大腦記錄可以用來改善流行的神經網絡NLP系統的泛化性能。

雖然NLP系統還不能完美地理解語言，但在過去的三年里，它們在語言理解的許多相關指標方面有了明顯的改善。重要的是，NLP系統不是一成不變的，未來能夠導致對語言的理解更像人類的改進，將導致更好的模型生物體。鼓勵在NLP系統中進行更像人類語言理解的未來工作可能會研究顯性記憶模塊在整合和保持語言信息中的作用，并可能整合來自多種感官模式的信息，如視覺和聽覺。

1.1 論文陳述和大綱

這篇論文是圍繞著以下論述展開的：在大腦中的語言處理和機器中的語言處理之間建立數據驅動的聯系可以改善提升。1）通過計算建模，我們對大腦中語言處理的機械理解；2）通過轉移大腦的洞察力，提高自然語言處理模型的泛化性能。

第二章詳細介紹了以前的相關神經語言學發現，論文中使用的腦成像記錄模式和數據集，以及多個論文章節中通用的NLP系統。

第三章詳細介紹了現有的訓練編碼模型的方法，這些模型被用來建立大腦中的語言和機器中的語言之間的數據驅動的聯系，并測量它們的一致性。進一步討論了編碼模型的局限性，特別是在作為復雜表征函數進行訓練時，如從NLP系統中獲得的表征。最后，它提出了兩個新的衡量標準，能夠對大腦中的信息處理進行更精確的科學推斷，并在兩個自然的fMRI數據集中對其進行驗證。

第四章為論文的第一個論述提供了支持，通過對NLP系統的干預來研究語言的多詞意義的神經基礎，這超出了單個詞的意義，我們稱之為超詞意義（Toneva, Mitchell等人, 2020）。我們對NLP系統進行干預，將這種超詞義從單個詞的意義中分離出來。通過使用fMRI記錄，我們發現被認為是處理詞匯層面意義的樞紐也保持著超詞的意義，這表明詞匯和組合語義的共同基底。然而，令人驚訝的是，我們發現超詞意義很難在腦電圖中檢測到。相反，腦電圖的記錄被最近閱讀的單個單詞所特有的信息所顯著預測。fMRI和MEG結果之間的差異表明，超詞意義的處理可能是基于神經機制，與同步細胞發射無關，就像MEG信號一樣。

第五章還為計算模型如何能導致大腦中語言的科學發現提供了支持。在這一章中，我們通過預測毫秒級分辨率的腦電活動作為名詞語義和任務的函數來研究問題任務對具體名詞處理的影響（Toneva, Stretcu等人, 2020）。這項工作提供了第一個預測大腦記錄作為觀察到的刺激物和問題任務的功能方法。使用我們提出的方法，我們表明，納入任務語義（即提出的具體問題）大大改善了對腦電圖記錄的預測，跨參與者。這種改善發生在參與者第一次看到這個詞之后的475-550ms，這相當于被認為是一個詞的語義處理的結束時間。這些結果表明，只有一個詞的語義處理的結束時間是依賴于任務的。

第六章為論文的第二個論述提供支持。在這一章中，我們開發了一種方法，利用先前的神經語言學證據來評估NLP模型的表征中是否存在特定大腦相關信息（Toneva and Wehbe, 2019）。該方法在神經成像設備和NLP模型中向人逐字呈現相同的文本，并測量網絡衍生的表征與相關腦區大腦記錄的吻合程度。這項工作表明，我們可以使用這種方法和功能磁共振成像捕捉到的大腦活動快照，來揭示4個流行的預訓練NLP模型得出的表征中有多少上下文被編碼。我們進一步表明，改變一個最先進的預訓練模型以更好地預測fMRI記錄也大大改善了其對新數據分布的概括性能。這些結果是第一個證據，表明人們閱讀的fMRI記錄可以用來改善神經網絡NLP模型。

1.2 貢獻

本論文的貢獻可以概括為以下幾點。

• 第三章：我們從概念上分解了兩個腦源、實驗刺激和所選刺激表征之間共享變異可能的基本關系。

• 第三章：我們提出了常用方法在區分這些不同關系方面的局限性，并提出了兩種可以區分它們的新方法，利用模擬數據和兩個自然實驗的fMRI數據提供證據。

• 第四章：我們介紹了一種基于計算模型的新方法，該方法對NLP系統進行干預，以便將整體的意義與部分的意義分開來捕捉。這種方法允許以以前不可能的方式研究大腦中復雜和組成的多詞含義。

• 第四章：我們確定了在腦電圖中可檢測到的信息類型的潛在限制。雖然高時間成像分辨率是達到理解語言處理的機械水平的關鍵，但我們的研究結果表明，要檢測長距離的語境信息，可能需要使用除MEG以外的其他模式。

• 第五章：我們提供了第一個可以預測大腦記錄的方法，作為觀察到的刺激物和問題任務的函數。這很重要，因為它不僅會鼓勵神經科學家制定關于問題對刺激物處理的影響的機械性計算假說，而且會使神經科學家通過評估這些假說與大腦記錄的吻合程度來檢驗這些不同假說。

• 第五章：我們表明，整合了任務和刺激表征的模型比不考慮任務語義的模型具有明顯更高的預測性能，并將任務語義的影響主要定位在刺激呈現后475-650ms的時間窗口。

• 第六章：我們提出了一種解釋NLP表征的新方法，并發現轉化器的中間層比其他層更善于預測大腦活動，而且轉化器-XL的性能不會隨著上下文的增加而降低，與其他流行的測試模型'不同。我們發現，在BERT的早期層中用統一的注意力取代預訓練的注意力會導致對大腦活動的更好預測。

• 第六章：我們表明，當BERT被改變以更好地與大腦記錄保持一致時（通過在早期層用均勻的注意力取代預訓練的注意力），它也能在探測其句法理解的NLP任務中表現得更好（Marvin等人，2018）。這些結果是第一個證據，證明人們閱讀的fMRI記錄可以用來改善神經網絡NLP模型。

智能需要記憶。沒有記憶，人類就無法完成各種重要的任務，比如讀小說、玩游戲或解決數學問題。機器學習的最終目標是開發出像人類一樣自動學習和行動的智能系統，因此機器的記憶構建是必然的。人工神經網絡通過權值將計算單元連接起來，對大腦中的神經元和突觸進行建模，這是一種典型的類似于記憶結構的機器學習算法。他們的后代擁有更復雜的建模技術(即深度學習)，已經成功地應用于許多實際問題，并證明了記憶在機器系統學習過程中的重要性。近年來，深度學習中記憶建模的研究主要圍繞外部記憶結構展開，受到計算圖靈模型和生物神經元系統的啟發。注意力機制的產生是為了支持外部記憶的獲取和保留操作。盡管缺乏理論基礎，這些方法已經顯示出幫助機器系統達到更高智能水平的希望。本文的目的是提高對深度學習中記憶和注意力的認識。它的貢獻包括: (i) 呈現記憶分類的集合，(ii)構建支持多個控制和記憶單元的新的記憶增強神經網絡(MANN)， (iii)通過序列生成模型中的記憶引入可變性，(iv)在基于槽的記憶網絡中尋找最佳的寫操作以最大限度地提高記憶能力;(v)通過神經網絡的一種新型外部存儲器——神經存儲程序存儲器來模擬通用圖靈機。

目錄內容： 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions

在這篇論文中，我們介紹了神經網絡的幾種記憶類型，特別是遞歸神經網絡(RNNs)。我們強調記憶作為RNN的外部存儲的概念，其中rnn可以學習讀寫外部記憶，以支持其工作記憶(第2章)。我們回顧了解決訓練RNN困難的進展，如門控和注意機制，特別是基于槽的MANN，這是本文第三章提出的新模型的主要內容。我們的主要貢獻有四方面。首先, 我們MANN作為一個多進程多視點模型來處理復雜的問題,如sequence-to-sequence映射和多視角序列學習(第四章)。我們進一步擴展MANNs作為離散序列的模型生成會話數據可變性和一致性要求(第5章)。我們也解釋到內存中最后，我們介紹了一類新的MANN，它遵循存儲程序存儲原理，可以通過切換控制器的程序來執行不同的功能。

我們為什么在這里?我們大多數人來到這里的原因很簡單:我們想解決人工智能問題。那么，人工智能和這本書的書名有什么關系呢?人工智能的現代定義之一是對理性代理的研究和設計[RN09]。從這個意義上說，我們將一個系統描述為智能的，當它最大化某些預期的性能概念時。機器學習的子領域處理的是問題和算法的子集，其中代理可以獲得經驗(通常以某種形式的數據)，可以利用這些經驗來改進性能的概念[MRT12]。大多數情況下，性能是由代理人在新的和看不見的情況下如何行動來衡量的，這些情況不構成其訓練經驗的一部分。例如，可以訓練一名代理人將英文翻譯成法文，其訓練經驗包括大量翻譯的聯合國文件。然而，在評估時，它可能會在與它所見過的文件不同的聯合國新文件上進行測試。很自然地，代理在它所看到的訓練經驗和它所評估的新情況下的表現之間存在著差距。代理泛化的能力是通過性能上的差距有多小來衡量的。

希望前面的段落已經解釋了在機器學習的背景下，以及在更大的AI背景下，什么是泛化。那么，標題中還保留著哪些“分布外”詞呢?如前所述，泛化是指減少一個agent在已知訓練情境下的表現與同一agent在未知測試情境下的表現之間的差距。然而，有許多不同類型的未知。統計學習通常處理的一類泛化是分布的:當從訓練示例生成的數據與測試示例生成的數據無法區分時。根據定義，非分布內的泛化問題稱為分布外泛化問題，這是本書的主題。

這項工作的目標很簡單。我們想要回顧，分布外泛化的知識。因此，這項工作的很大一部分將致力于理解(有時是微妙的)不同方法和假設之間的差異和相似性，通常以一種孤立的方式呈現。重點將放在與人工智能或現代大規模機器學習應用等想法上。此外，我們將特別注意研究不同方法的缺點，以及下一步可能是重要的。

• 在第二章中，我們首先討論如何量化分布外泛化。通過幾個例子，我們研究了分布外泛化與處理不同分布外任務的幾種常用方法之間的關系。本文將特別強調這些方法背后的假設，并說明這些方法何時有效，何時無效。

• 在第三章中，我們將關注一個特定的分布外任務類。在這些預測任務中，就像在許多實際問題中一樣，在分布之外泛化的困難在于找出數據中的哪些相關性是假的和不可靠的，以及哪些相關性代表感興趣的現象。

• 在第四章中，我們討論了不同應用領域在實踐中出現的分布外任務的類型，以及這些領域在過去是如何處理這些問題的。

• 在第五章中，我們為分布外泛化和人工智能背景下的新研究領域奠定了基礎。在本章中，我們將關注在探索或強化學習環境中與世界交互的agent，以及它們如何從分布外泛化中獲益。

在我的論文“深度潛變量模型的編碼視角”中，我們討論了深度潛變量模型(DLVM)中的統計推理與編碼的關系。

特別地，我們檢查最小欺騙長度(MDL)原則作為統計推斷的指南。在此背景下，我們探討它與貝葉斯推理的關系。我們將看到，盡管兩者都會導致類似的算法，但MDL原則允許我們對數據生成過程不做任何假設。我們只是把自己限制在從觀測數據中尋找規律性，而規律性與壓縮能力有關。因此，我們發現學習DLVM等價于最小化通信(壓縮)一組觀察數據的成本。一種常見的溝通方法是發送一個假設(或模型)，隨后數據與上述模型不匹配。這就是所謂的兩部分碼。在本論文中，我們將主要關注所謂的貝葉斯碼——一種理論上比兩部分碼更有效的碼。

與直覺相反的是，貝葉斯推理方法允許我們在不知道編碼或編碼方案的情況下計算編碼長度。本文的目的就是通過開發相應的編碼方案來縮小這一差距。我們將在MDL原則的啟發和指導下，尋找達到MDL所預測的代碼長度的代碼。特別關注的是可微函數，更準確地說，是通過大量高維數據學習的深度神經網絡。我們將通過MDL原理來研究模型壓縮和源壓縮。

強化學習定義了僅通過行動和觀察來學習做出好的決策的代理所面臨的問題。為了成為有效的問題解決器，這些代理必須能有效地探索廣闊的世界，從延遲的反饋中分配信用，并歸納出新的經驗，同時要利用有限的數據、計算資源和感知帶寬。抽象對所有這些努力都是必要的。通過抽象，代理可以形成其環境的簡潔模型，以支持一個理性的、自適應的決策者所需要的許多實踐。在這篇論文中，我提出了強化學習中的抽象理論。首先，我提出了執行抽象過程的函數的三個要求:它們應該1)保持近似最優行為的表示，2) 有效地被學習和構造，3) 更低的規劃或學習時間。然后，我提出了一套新的算法和分析，闡明了代理如何根據這些需求學習抽象。總的來說，這些結果提供了一條通向發現和使用抽象的部分路徑，將有效強化學習的復雜性降到最低。

強化學習問題如下。RL代理通過以下兩個離散步驟的無限重復與環境進行交互:

1. 代理收到觀察和獎勵。
2. 代理從這種交互中學習并執行一個動作。 這個過程如圖1.2所示。在這種互動過程中，agent的目標是做出決策，使其獲得的長期報酬最大化。

論文余下組織如下： 第1部分。在第2章中，我提供了關于RL(2.1節)以及狀態抽象(2.2節)和動作抽象(2.3節)的必要背景知識。

第2部分。下一部分將專注于狀態抽象。我提出了新的算法和三個緊密相連的分析集，每一個目標是發現滿足引入的需求的狀態抽象。在第3章中，我開發了一個形式化的框架來推理狀態抽象，以保持近似最優的行為。這個框架由定理3.1總結，它強調了值保持狀態抽象的四個充分條件。然后，在第4章中，我將這一分析擴展到終身RL設置，在終身RL設置中，代理必須不斷地與不同的任務交互并解決不同的任務。本章的主要觀點是介紹了用于終身學習設置的PAC狀態抽象，以及澄清如何有效計算它們的結果。定理4.4說明了保證這些抽象保持良好行為的意義，定理4.5說明了有多少以前已解決的任務足以計算PAC狀態抽象。我著重介紹了模擬實驗的結果，這些結果說明了所介紹的狀態抽象類型在加速學習和計劃方面的效用。最后，第五章介紹了信息論工具對狀態抽象的作用。我提出了狀態抽象和率失真理論[283,43]和信息瓶頸方法[318]之間的緊密聯系，并利用這種聯系設計新的算法，以高效地構建狀態抽象，優雅地在壓縮和良好行為表示之間進行權衡。我以各種方式擴展了這個算法框架，說明了它發現狀態抽象的能力，這些狀態抽象提供了良好行為的樣本高效學習。

第3部分。然后我轉向行動抽象。在第6章中，我展示了Jinnai等人的分析[144]，研究了尋找盡可能快地做出計劃的抽象動作的問題——主要結果表明，這個問題通常是NP困難的(在適當簡化的假設下)，甚至在多項式時間內很難近似。然后，在第7章中，我解決了在規劃中伴隨高層次行為構建預測模型的問題。這樣的模型使代理能夠估計在給定狀態下執行行為的結果。在本章中，我將介紹并分析一個用于這些高級行為的新模型，并證明在溫和的假設下，這個簡單的替代仍然是有用的。我提供的經驗證據表明，新的預測模型可以作為其更復雜的對等物的適當替代者。最后，在第8章中，我探討了抽象行動改善探索過程的潛力。我描述了Jinnai等人開發的一種算法[145]，該算法基于構建可以輕松到達環境所有部分的抽象行動的概念，并證明該算法可以加速對基準任務的探索。

第4部分。最后，我轉向狀態動作抽象的聯合過程。在第9章中，我介紹了一個將狀態和動作抽象結合在一起的簡單機制。使用這個方案，然后我證明了哪些狀態和動作抽象的組合可以在任何有限的MDP中保持良好的行為策略的表示，定理9.1總結了這一點。接下來，我將研究這些聯合抽象的反復應用，作為構建分層抽象的機制。在對層次結構和底層狀態動作抽象的溫和假設下，我證明了這些層次結構也可以保持全局近最優行為策略的表示，如定理9.3所述。然后，我將在第十章中總結我的思考和今后的方向。

總的來說，這些結果闡明了強化學習的抽象理論。圖1.4展示了本文的可視化概述。

在本文中，我們對知識圖譜進行了全面的介紹，在需要開發多樣化、動態、大規模數據收集的場景中，知識圖譜最近引起了業界和學術界的極大關注。在大致介紹之后，我們對用于知識圖譜的各種基于圖的數據模型和查詢語言進行了歸納和對比。我們將討論模式、標識和上下文在知識圖譜中的作用。我們解釋如何使用演繹和歸納技術的組合來表示和提取知識。我們總結了知識圖譜的創建、豐富、質量評估、細化和發布的方法。我們將概述著名的開放知識圖譜和企業知識圖譜及其應用，以及它們如何使用上述技術。最后，我們總結了未來高層次的知識圖譜研究方向。

盡管“知識圖譜”一詞至少從1972年就開始出現在文獻中了[440]，但它的現代形式起源于2012年發布的谷歌知識圖譜[459]，隨后Airbnb[83]、亞馬遜[280]、eBay[392]、Facebook[365]、IBM[123]、LinkedIn[214]、微軟[457]、優步[205]等公司相繼發布了開發知識圖譜的公告。事實證明，學術界難以忽視這一概念的日益普及: 越來越多的科學文獻發表關于知識圖譜的主題，其中包括書籍(如[400])，以及概述定義(如[136])的論文，新技術(如[298,399,521])，以及對知識圖譜具體方面的調查(如[375,519])。

所有這些發展的核心思想是使用圖形來表示數據，通常通過某種方式顯式地表示知識來增強這種思想[365]。結果最常用于涉及大規模集成、管理和從不同數據源提取價值的應用場景[365]。在這種情況下，與關系模型或NoSQL替代方案相比，使用基于圖的知識抽象有很多好處。圖為各種領域提供了簡潔而直觀的抽象，其中邊捕獲了社會數據、生物交互、書目引用和合作作者、交通網絡等[15]中固有實體之間的(潛在的循環)關系。圖允許維護者推遲模式的定義，允許數據(及其范圍)以比關系設置中通常可能的更靈活的方式發展，特別是對于獲取不完整的知識[2]。與(其他)NoSQL模型不同，專門的圖形查詢語言不僅支持標準的關系運算符(連接、聯合、投影等)，而且還支持遞歸查找通過任意長度路徑[14]連接的實體的導航運算符。標準的知識表示形式主義——如本體論[66,228,344]和規則[242,270]——可以用來定義和推理用于標記和描述圖中的節點和邊的術語的語義。可伸縮的圖形分析框架[314,478,529]可用于計算中心性、集群、摘要等，以獲得對所描述領域的洞察。各種表示形式也被開發出來，支持直接在圖上應用機器學習技術[519,527]。

總之，構建和使用知識圖譜的決策為集成和從不同數據源提取價值提供了一系列技術。但是，我們還沒有看到一個通用的統一總結，它描述了如何使用知識圖譜，使用了哪些技術，以及它們如何與現有的數據管理主題相關。

本教程的目標是全面介紹知識圖譜: 描述它們的基本數據模型以及如何查詢它們;討論與schema, identity, 和 context相關的表征;討論演繹和歸納的方式使知識明確;介紹可用于創建和充實圖形結構數據的各種技術;描述如何識別知識圖譜的質量以及如何改進知識圖譜;討論發布知識圖譜的標準和最佳實踐;并提供在實踐中發現的現有知識圖譜的概述。我們的目標受眾包括對知識圖譜不熟悉的研究人員和實踐者。因此，我們并不假設讀者對知識圖譜有特定的專業知識。

知識圖。“知識圖譜”的定義仍然存在爭議[36,53,136]，其中出現了一些(有時相互沖突的)定義，從具體的技術建議到更具包容性的一般性建議;我們在附錄a中討論了這些先前的定義。在這里，我們采用了一個包容性的定義，其中我們將知識圖譜視為一個數據圖，目的是積累和傳遞真實世界的知識，其節點表示感興趣的實體，其邊緣表示這些實體之間的關系。數據圖(又稱數據圖)符合一個基于圖的數據模型，它可以是一個有向邊標記的圖，一個屬性圖等(我們在第二節中討論具體的替代方案)。這些知識可以從外部資源中積累，也可以從知識圖譜本身中提取。知識可以由簡單的語句組成，如“圣地亞哥是智利的首都”，也可以由量化的語句組成，如“所有的首都都是城市”。簡單的語句可以作為數據圖的邊來積累。如果知識圖譜打算積累量化的語句，那么就需要一種更有表現力的方式來表示知識——例如本體或規則。演繹的方法可以用來繼承和積累進一步的知識(例如，“圣地亞哥是一個城市”)。基于簡單或量化語句的額外知識也可以通過歸納方法從知識圖譜中提取和積累。

知識圖譜通常來自多個來源，因此，在結構和粒度方面可能非常多樣化。解決這種多樣性, 表示模式, 身份, 和上下文常常起著關鍵的作用,在一個模式定義了一個高層結構知識圖譜,身份表示圖中哪些節點(或外部源)引用同一個真實的實體,而上下文可能表明一個特定的設置一些單位的知識是真實的。如前所述，知識圖譜需要有效的提取、充實、質量評估和細化方法才能隨著時間的推移而增長和改進。

在實踐中 知識圖譜的目標是作為組織或社區內不斷發展的共享知識基礎[365]。在實踐中，我們區分了兩種類型的知識圖譜:開放知識圖譜和企業知識圖譜。開放知識圖譜在網上發布，使其內容對公眾有好處。最突出的例子——DBpedia[291]、Freebase[51]、Wikidata[515]、YAGO[232]等——涵蓋了許多領域，它們要么是從Wikipedia[232,291]中提取出來的，要么是由志愿者社區[51,515]建立的。開放知識圖譜也在特定領域內發表過，如媒體[406]、政府[222,450]、地理[472]、旅游[11,263,308,540]、生命科學[79]等。企業知識圖譜通常是公司內部的，并應用于商業用例[365]。使用企業知識圖譜的著名行業包括網絡搜索(如Bing[457]、谷歌[459])、商業(如Airbnb[83]、亞馬遜[127、280]、eBay[392]、Uber[205])、社交網絡(如Facebook[365]、LinkedIn[214])、金融(如埃森哲[368]、意大利銀行[32][326]、彭博[326]、Capital One[65]、富國銀行[355])等。應用包括搜索[457,459]，推薦[83,205,214,365]，個人代理[392]，廣告[214]，商業分析[214]，風險評估[107,495]，自動化[223]，以及更多。我們將在第10節中提供更多關于在實踐中使用知識圖譜的細節。

結構。本文件其余部分的結構如下:

• 第2節概述了圖形數據模型和可用于查詢它們的語言。
• 第3節描述了知識圖譜中模式、標識和上下文的表示形式。
• 第四節介紹了演繹式的形式主義，通過這種形式主義，知識可以被描述和推導出來。
• 第5節描述了可以提取額外知識的歸納技術。
• 第6節討論了如何從外部資源中創建和豐富知識圖譜。
• 第7節列舉了可用于評估知識圖譜的質量維度。
• 第8節討論知識圖譜細化的各種技術。
• 第9節討論發布知識圖譜的原則和協議。
• 第10節介紹了一些著名的知識圖譜及其應用。
• 第11節總結了知識圖譜的研究概況和未來的研究方向。
• 附錄A提供了知識圖譜的歷史背景和以前的定義。
• 附錄B列舉了將從論文正文中引用的正式定義。