移動設備的迅速普及以及移動應用和服務的日益普及，對移動和無線網絡基礎設施提出了前所未有的要求。即將到來的5G系統正在不斷發展，以支持爆炸式的移動流量、實時提取細粒度分析和敏捷管理網絡資源，從而最大限度地提高用戶體驗。隨著移動環境日益復雜、異構和演進，完成這些任務是具有挑戰性的。一個潛在的解決方案是求助于先進的機器學習技術，以幫助管理數據量和算法驅動的應用的增長。最近深度學習的成功為解決這一領域的問題提供了強大的新工具。在本文中，我們通過對這兩個領域的交叉研究的全面調研，彌合了深度學習和移動和無線網絡研究之間的差距。我們首先簡要介紹深度學習技術的基本背景和最新進展，以及在網絡中的潛在應用。然后，我們討論了幾種有助于在移動系統上高效部署深度學習的技術和平臺。隨后，我們對基于深度學習的移動和無線網絡研究進行了百科全書式的回顧，并將其劃分為不同的領域。根據我們的經驗，我們討論了如何根據移動環境定制深度學習。我們通過明確當前的挑戰和打開未來的研究方向來完成這項調研。

與互聯網連接的移動設備正滲透到個人生活、工作和娛樂的方方面面。越來越多的智能手機和越來越多樣化的應用程序的出現引發了移動數據流量的激增。事實上，最新的行業預測表明，到2021年，全球每年的IP流量消耗將達到3.3 zettabytes (1015 MB)，同年智能手機流量將超過PC流量[1]。鑒于用戶偏好向無線連接的轉變，當前的移動基礎設施面臨著巨大的容量需求。為了應對這一日益增長的需求，早期的努力建議靈活地提供資源[2]，并分配地解決移動性管理[3]。但從長遠來看，互聯網服務提供商(isp)必須開發智能的異構架構和工具，以衍生第5代移動系統(5G)，并逐步滿足更嚴格的終端用戶應用需求[4]，[5]。

移動網絡結構的日益多樣化和復雜性使得對眾多網絡要素的監控和管理變得非常困難。因此，在未來的移動網絡中嵌入多用途的機器智能正引起空前的研究興趣。這一趨勢反映在基于機器學習(ML)的問題解決方案中，從無線電訪問技術(RAT)選擇[8]到惡意軟件檢測[9]，以及支持機器學習實踐的網絡系統的開發(如[10]，[11])。ML允許系統地從交通數據中挖掘有價值的信息，并自動發現相關關系，否則人類專家將無法提取這些相關關系。深度學習作為機器學習的旗艦，在計算機視覺[13]和自然語言處理(NLP)[14]等領域取得了令人矚目的成績。網絡研究人員也開始認識到深度學習的力量和重要性，并正在探索其解決特定于移動網絡領域[15]、[16]問題的潛力。

將深度學習嵌入5G移動和無線網絡是有充分理由的。特別是，移動環境產生的數據越來越異構，因為這些數據通常從不同的來源收集，具有不同的格式，并表現出復雜的相關性[17]。因此，對于傳統的機器學習工具(如淺神經網絡)來說，一系列特定的問題變得過于困難或不切實際。這是因為(i)如果提供更多的數據[18]，它們的性能不會提高;(ii)它們無法處理控制問題[19]中的高維度狀態/操作空間。相比之下，大數據促進了深度學習的性能，因為它消除了領域專業知識，而使用層次特征提取。本質上，這意味著可以高效地提取信息，并且可以從數據中獲得越來越抽象的相關性，同時減少預處理工作。基于圖形處理單元(GPU)的并行計算進一步使深度學習在毫秒內做出推斷。這有助于提高網絡分析和管理的準確性和及時性，克服了傳統數學技術(如凸優化、博弈論、元啟發式)的運行時間限制。

盡管移動網絡領域對深度學習的興趣日益增長，但現有的貢獻分散在不同的研究領域，缺乏全面的綜述。這篇文章填補了深度學習和移動和無線網絡之間的空白，通過呈現位于這兩個領域之間的交叉點的最新研究調研。除了回顧最相關的文獻，我們還討論了各種深度學習架構的關鍵利弊，并概述了深度學習模型選擇策略，以解決移動網絡問題。我們進一步研究了針對單個移動網絡任務定制深度學習的方法，以在復雜環境中獲得最佳性能。我們總結了這篇論文，指出了未來的研究方向和重要的問題，仍然沒有解決和值得追求的深度神經網絡。我們的最終目標是為打算使用深度學習來解決感興趣的問題的網絡研究者和實踐者提供一個明確的指南。

本綜述的目的是在移動網絡領域提供最先進的深度學習實踐的全面觀點。通過這一點，我們旨在回答以下關鍵問題:

1. 為什么深度學習在解決移動網絡問題上很有前景?
2. 與移動和無線網絡相關的前沿深度學習模型有哪些?
3. 深度學習在移動網絡領域最新的成功應用有哪些?
4. 研究人員如何針對特定的移動網絡問題定制深度學習?
5. 哪些是最重要且最有前景的值得進一步研究的方向?

我們之前提到的研究論文和書籍只能部分回答這些問題。這篇文章超越了之前的這些工作，特別關注深度學習和移動網絡之間的交叉。我們涵蓋了一系列神經網絡(NN)結構，這些結構越來越重要，在早期教程中沒有明確討論，例如[77]。這包括自動編碼器和生成式對抗網絡。與這些現有的教程不同，我們還回顧了用于部署和訓練神經網絡的開源庫，一系列優化算法，以及在大量移動設備上并行化神經網絡模型和訓練。我們還會調研其他相關綜述中沒有涉及的應用，包括流量/用戶分析、安全和隱私、移動健康等。雖然我們的主要范圍仍然是移動網絡領域，但為了完整起見，我們也討論了深度學習在無線網絡中的應用，并確定了與這些領域密切相關的新興應用領域。我們區分了移動網絡和無線網絡，移動網絡指的是設備是便攜式的、電池供電的、潛在的可穿戴的，并且經常連接到蜂窩基礎設施;無線網絡指的是設備大多是固定的，是分布式基礎設施(包括wlan和WSNs)的一部分，并服務于單個應用。總的來說，我們的論文從以下幾個方面區別于之前的綜述:

(i) 我們特別關注深度學習在移動網絡分析和管理中的應用，而不是廣泛討論深度學習方法(如[20]、[21])或圍繞單個應用領域，如特定平臺[17]的移動大數據分析。

(ii) 我們從移動網絡的角度討論前沿的深度學習技術(如[78]，[79])，重點關注它們在該領域的適用性，而較少關注可能過時的傳統深度學習模型。

(iii) 我們分析現有的非聯網問題與移動網絡特有問題之間的相似性;基于此分析，我們提出了最佳深度學習架構選擇策略和適應方法，從而利用移動網絡的特點進行分析和管理任務。

據我們所知，這是第一次從深度學習的角度共同回顧移動網絡分析和管理。我們還首次提供了深度學習如何針對移動網絡問題的見解。

深度學習驅動的移動和無線網絡

摘要

雖然人工智能應用于法律領域是一個起源于上個世紀的話題，但人工智能最近的進展使其發生了革命性的變化。本工作概述和背景介紹了自然語言處理領域的主要進展，以及這些進展如何被用于進一步發展法律文本分析的現狀。

1. 引言

世界上每個國家的內部運作都建立在一個復雜的司法系統之上。例如，在葡萄牙，《葡萄牙官方公報》(Di′ario da Rep′ublica)是公布葡萄牙共和國所有法律和規范的場所。目前有150多萬項法律法規在實施，每個月有1000多項新的法律法規在DRE上發表。這個在線資源提供了訪問葡萄牙所有立法的途徑，以及讓公民找到他們所需要的法律和規范的服務。

鑒于公民擁有的權利和必須遵守的義務，這類信息對所有公民來說都很容易獲得，這一點顯然很重要。在訪問立法搜索時，由于使用的語言級別，一些公民可能很難找到搜索結果。普通市民通常使用自然語言(NL)來引入搜索查詢。問題在于，法律和法律規范包含的語言——盡管在技術上屬于非母語——使用了專門的術語和句子結構。即使是簡單的搜索也會遇到雙重障礙。一方面，系統必須理解用戶的查詢，并將其與正確的法規聯系起來。另一方面，由于格式的原因，返回的文本不容易被普通用戶理解。

法律文本、規范、程序和論證的邏輯特征表明，形式邏輯可以作為代表法律規則和情境事實的模型。因此，根據規則對事實的應用，可以幫助公民進行推理。但是，要使這個系統發揮作用，我們前面提到的“自然語言障礙”必須克服。首先，有必要將法律規范從NL翻譯成某種與機器兼容的語義或邏輯表示形式。由于NL和法律語言的一些特性，這個困難成為了一個真正的障礙。然后，還必須將用戶查詢從NL轉換為語義或邏輯表示。最后，在系統完成邏輯推理后，“自然語言障礙”必須進行第三次換位，為外行人生成用戶友好的解釋或程序描述。自然語言處理的革命性進展最近改變了這一局面，創造了可擴展的方法來分析大型文本語料庫。它們也已開始應用于法律領域，為跨越上述障礙開辟了新的途徑。許多困難和未決問題仍然存在，但似乎在未來幾年內，我們將能夠創造新的工具，開發創新的應用，以幫助公民與法律互動。

本文對人工智能和法律領域、自然語言處理(NLP)及其在法律領域的應用現狀進行了概述、情境化和分析，目的是確定如何最好地利用最近的進展來改善由DRE提供給用戶的搜索服務。本文檔組織如下。在下一節中，我們將簡要概述人工智能應用于法律領域的子領域。在第三部分，NLP的深度學習進展，我們將介紹NLP的深度學習的最新進展。語義表示部分概述了語義表示語言和自然語言處理中的語義信息提取。之后，我們將討論NLP(探索新的進展和語義表示語言的使用)在與法律領域相關的任務中的新應用，如法律信息檢索和規范提取。

2. 人工智能和法律

應用于法律領域的兩種傳統人工智能方法，要么是以邏輯為基礎，要么以數據為中心。基于邏輯的方法植根于像[3]這樣的先驅的工作，但是第一次將其應用于真正的法律，像英國國家法案[52]的規則的形式化，是在80年代制定的。以數據為中心的方法在法律領域的應用也始于20世紀80年代，以基于案例的推理HYPO系統[4]為例。該制度的目標是在先例的基礎上建立推理模式，引用過去的案例作為法律結論的理由。

2.1基于邏輯的方法

圖1顯示了基于會話邏輯的法律推理系統的體系結構。原則上，可以從有關法律和案件事實的形式化版本中推斷出法律結論。但是，“自然語言障礙”造成了兩個主要障礙:以邏輯表達形式表示法律文本的挑戰，以及從自然語言[15]表達的事實評估法律謂詞的困難。

基于會話邏輯的法律推理系統結構

2.2 以數據為中心的方法

以數據為中心或數據驅動的方法具有自動化和可伸縮性的優點，大大減少了以邏輯形式對法律文本進行人工編碼的繁瑣工作。它可以用來替代法律推理系統或整個系統的特定組件。如圖3所示,主要的前提是通過構建一個數據集的例子,例如一組與法律文本翻譯成一個邏輯表示的例子,一個可以使用機器學習技術——如深度神經網絡——歸納學習如何自動執行相同的任務在新的例子。但是，這里有一個權衡，因為以數據為中心的方法通常透明度和解釋性較低[15]。例如，在深度神經網絡的情況下，學習的模型將是一個非常復雜的模型，通常有數百萬甚至數十億個參數被組合起來——通常以非線性的方式——來確定一個特定的輸出。對于人類觀察者來說，理解模型產生特定翻譯、預測或決策的原因或方式并不容易。出于這個原因，我們認為，與其取代整個系統，不如將數據為中心的方法用作改進法律推理系統某些組件的工具——例如將法律文本翻譯成相應邏輯形式的組件。

在基于會話邏輯的法律推理系統的體系結構中增加一個以數據為中心的組件。

3. 深度學習自然語言處理

近年來，由于基于Transformer的模型的出現，研究人員看到了深度學習模型和技術在自然語言處理領域的應用取得了重大突破。本節將通過描述NLP中使用的編碼器-解碼器模型的演變來概述這些進展，從基于LSTM的序列到序列模型，最后介紹最新的基于transformer的方法。

Transformer架構

Multi2OIE的體系結構。利用BERT的隱藏狀態提取謂詞，然后將隱藏序列、謂詞的平均向量和位置嵌入連接起來，作為多頭注意力塊的輸入進行參數提取。

4. 深度學習自然語言處理在法律領域應用

研究人員已經開始探索利用深度學習模型對一系列下游任務實現的自然語言處理的最新進展。在本節中，我們將介紹一些系統的示例，這些系統將說明如何使用自然語言處理來改進一組對法律領域有用的任務，例如信息檢索或規范提取。我們將描述直接應用于法律文本的系統的例子，但也將描述其技術可以容易地應用和轉移到法律領域的系統。

法律信息檢索的語義NLP方法

NLP領域已經顯示出在創造解釋和代表法律文本的新方式方面非常相關，以便不了解基本法律概念的普通公民能夠理解和查詢該系統。對于這個復雜的任務，有幾個因素會影響基于NL的法律查詢系統的良性運行。在一個句子中，單詞的順序是決定其語義價值的一個非常重要的因素。發布的前幾個句子編碼器——有些實際上是改頭換面的單詞編碼器——也陷入了同樣的困境。缺少詞序編碼。兩個單詞完全相同，但順序不同的句子，可能有完全不同的意思。由這個順序定義的語境會影響特定單詞的意思。例如，當一個人說“我去跑步了”時，我們就會認為“跑”這個詞與這項運動有關聯。當另一個人說，你必須在你的電腦上運行這個，意思完全不同于另一個句子。它不僅被用作動詞，而且它的意思也不再與體育有關，而是與計算任務有關。而且，即使在run這個詞被用作與這項運動相關的動詞的情況下，在大多數情況下，由于相關的單詞，它仍然可以與計算意義區分開來。

評價兩篇文本之間的語義文本相似度(STS)非常重要，它是指兩篇文本之間的意義相似度。這項任務對于確定搜索系統如何能夠捕獲查詢的含義并將其作為選擇搜索結果的一個因素非常有用。在STS任務中度量模型性能的一個重要基準是GLUE基準。它使用指標和STS數據集，專門用于評估模型將意義編碼到生成的令牌嵌入中的能力。

句子BERT的相似性計算

自動合規檢查的語義NLP方法

SNACC(基于語義自然語言處理的自動合規檢查)系統[63]能夠自動從國際建筑規范的法規文件中提取法規信息。提取的法規信息用一階邏輯(FOL)表示。通過使用FOL形式主義表示這些信息，SNACC能夠自動檢查特定的建筑模型是否與法規一致。SNACC的另一個有趣的方面是,作者探索了基于樹的可視化表示的法規陳述(基于樹的表示形式是由符合表示),并認為基于樹的表示讓用戶更容易理解。圖21顯示了一個基于樹的表示的示例。

利用SRL從法律文本中提取規范

Humphreys和他的同事[36]最近研究了如何從法律文本中自動提取知識，并使用這些知識填充法律本體的問題。為了解決這個問題，他們創建了一個基于自然語言處理和基于領域知識的后處理規則的系統。作者聲稱他們是第一個使用PropBank語義角色標簽從法律文本中提取定義和規范的人。該系統主要由兩部分組成。第一個組件是Mate Tools語義角色標記器[10]，它從法律文本中提取抽象語義表示以及依賴解析樹。第二個組件由一組規則組成，這些規則標識可能的規范和定義，對它們的類型進行分類，并將語義角色樹中的參數映射到法律本體中特定領域的位置。使用SRL的優勢在于，它用相關的語義信息豐富了句子解析樹，這將簡化為提取規范和定義而必須創建的規則。

結論

在本文中，我們簡要分析了人工智能應用于法律領域的研究領域的歷史和現狀，以及它的前景和挑戰。我們還發現了一些可用的產品。然后，我們回顧了深度學習應用于自然語言處理、信息檢索和語義表示的最新趨勢，這些可用于構建更好的系統，幫助公民訪問和理解法律。這些技術，有些是最近才發表的論文，就在這些結論發表前的幾周，可以用來幫助解決我們上面描述的法律信息搜索系統的非專業用戶面臨的三重自然語言障礙。特別有趣的是，最近關注的系統能夠探索使用自動提取的語法和語義信息來完成需要自然語言理解的任務。語義信息——即使只是在較淺的層次上提供——提供了對法律語料庫中的文本的更深入的理解，使我們能夠超越單詞匹配技術。另一個相關趨勢是使用弱監督技術(具有低注釋成本和易于擴展到大領域)自動生成問題和答案的數據集，并使用它們在信息檢索或問題回答等下游任務中訓練模型。我們相信，以其中一些技術為基礎，將有可能建立一個“主動法律信息檢索和過濾系統”，允許以簡化程序并使檢索數據更相關和及時的方式訪問法律文本。

參考文獻

[1] Ajani, G., Boella, G., Caro, L.D., Robaldo, L., Humphreys, L., Praduroux, S., Rossi, P., Violato, A.: The european taxonomy syllabus: A multilingual, multi-level ontology framework to untangle the web of european legal terminology. Appl. Ontology 11(4), 325–375 (2016)

[2] Aletras, N., Tsarapatsanis, D., Preot?iuc-Pietro, D., Lampos, V.: Predicting judicial decisions of the european court of human rights: A natural language processing perspective. PeerJ Computer Science 2, e93 (2016)

[3] Allen, L.E.: Symbolic logic: A razor-edged tool for drafting and interpreting legal documents. Yale Law Journal 66, 833—-879 (1957)

[4] Ashley, K.D.: Reasoning with cases and hypotheticals in HYPO. International Journal of Man-Machine Studies 34, 753–796 (1991)

[5] Ashley, K.D.: Case-based models of legal reasoning in a civil law context. In: International congress of comparative cultures and legal systems of the instituto de investigaciones jur′?dicas (2004)

[6] Athan, T., Governatori, G., Palmirani, M., Paschke, A., Wyner, A.: LegalRuleML: Design Principles and Foundations, pp. 151–188. Springer International Publishing (2015)

[7] Banarescu, L., Bonial, C., Cai, S., Georgescu, M., Griffitt, K., Hermjakob, U., Knight, K., Koehn, P., Palmer, M., Schneider, N.: Abstract Meaning Representation for sembanking. In: Proceedings of the 7th Linguistic Annotation Workshop and Interoperability with Discourse. pp. 178–186. Association for Computational Linguistics, Sofia, Bulgaria (Aug 2013), //www.aclweb.org/anthology/W13-2322

[8] Barros, R., Peres, A., Lorenzi, F., Wives, L.K., da Silva Jaccottet, E.H.: Case law analysis with machine learning in brazilian court. In: International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems. pp. 857–868. Springer (2018)

結構化數據在網絡應用中很好地存在，如社交媒體中的社交網絡、學術網站中的引文網絡、在線論壇中的線程數據。由于拓撲結構的復雜性，這些數據中的豐富信息難以處理和利用。圖神經網絡(GNN)在結構化數據的學習表示方面顯示出極大的優勢。然而，深度學習模型的不透明性使得解釋GNN的預測變得非常重要。同時，GNN解釋的評價也是一個巨大的挑戰，因為在很多情況下，基準真相解釋是不可用的。在本文中，我們從因果推理理論中借鑒反事實和事實推理(CF^2)的觀點，來解決可解釋GNN中的學習和評價問題。為了生成解釋，我們提出了一個模型無關的框架，通過建立一個優化問題的基礎上，這兩個隨意的觀點。這將CF^2與之前只考慮其中一個的可解釋GNN區分開來。這項工作的另一個貢獻是對GNN解釋的評價。為了在不要求基本事實的情況下定量地評估生成的解釋，我們設計了基于反事實和事實推理的度量標準，以評估解釋的必要性和充分性。實驗表明，無論基準真相解釋是否可用，CF^2在真實數據集上都比以前的最先進的方法產生了更好的解釋。此外，統計分析證明了基準真相評估和我們提出的指標之間的相關性。

//www.zhuanzhi.ai/paper/3b2867aa0d96b5b6a4993c1affa0e534

隨著互聯網的興起，每天都有不同形式的大量的文本數據產生：新聞、研究文獻、 博客、論壇文字以及社交媒體評論等。很多重要有用的信息隱藏在其中，如何從這些自 由文本中自動抽取所需要的信息是一個關鍵并且重要的一步。信息抽取任務就是為此目 標而誕生。本文主要研究信息抽取子任務之一的實體關系抽取任務。該任務旨在識別文 本中出現的實體，并判斷出實體之間存在的關系。

傳統的有監督實體關系抽取通常采用基于流水線的方法，即實體模型和關系模型 分開訓練。在測試階段，先用實體模型識別出實體，然后關系模型找出這些實體之間的 關系。這種流水線的方法存在著錯誤傳播的缺點，前一個任務的錯誤會累積到后一個任 務。為了緩解這一問題，研究人員提出了聯合模型。聯合模型將兩個子模型統一建模， 可以進一步利用兩個任務之間的潛在信息，以緩解錯誤傳播的缺點。聯合模型的難點是 如何加強實體模型和關系模型之間的交互，比如實體模型和關系模型的輸出之間存在著 一定的約束，在建模的時候考慮到此類約束將有助于聯合模型的性能。

另一方面，為了解決實體關系抽取數據集難以獲得的問題，遠程監督的方法也被提 出來。其主要思想是利用知識庫和大規模文本數據對齊，自動構建大規模的訓練集。然 而，遠程監督方法的缺點是自動構建的訓練集中存在著很多的噪音數據，這些噪音數據 的存在對遠程監督實體關系抽取有著很大的負面影響。此外，在有些應用場景中可能沒 有現成的知識庫可以用來進行遠程監督，如何解決類似的數據噪音和數據缺失問題也是 一大挑戰。

根據實體關系抽取方法的研究現狀，本文從數據和聯合模型兩個角度探索了幾種實 體關系抽取聯合模型，并且探究了所提出模型的優勢和不足。具體來說，本文的主要貢 獻有

• 1. 為了緩解遠程監督中的噪音樣本問題，本文提出利用少量高質量異構的人工標注 數據集幫助遠程監督實體關系抽取任務。本文設計了一個基于多任務學習的融合 框架，并且在融合過程中考慮到子模型之間的一致性約束，從而實現知識的遷移。本文提出的系統在標準遠程監督數據集能夠顯著的提高聯合抽取的性能（數據角 度）。
• 2. 為了解決某些領域沒有現成知識庫無法進行遠程監督的問題，本文提出利用語言 學規則進行遠程監督。首先應用領域無關的語言學規則自動構建訓練集，然后使用 分類器在得到的訓練集上進行訓練，最后利用分類器進一步抽取語言學規則無法 覆蓋的新的實體關系。本文提出的算法很快并且適用于大規模數據。在 Amazon 在 i 線評論數據集上的實驗表明了本文提出的算法明顯優于多個基準模型（數據角度）。
• 3. 為了加強實體模型和關系模型之間的交互，本文提出基于風險最小化訓練方法的 聯合實體關系抽取模型，通過優化全局的損失函數以達到加強實體模型和關系模 型之間聯系的目的。在 ACE05 數據集上的實驗證明了提出模型的有效性（聯合模 型角度）。
• 4. 為了同時考慮到實體類型和關系類型的信息，本文提出一個基于圖卷積網絡的聯 合模型用于實體關系抽取。我們構造了實體-關系二分圖，并在圖上運行圖卷積網 絡，從而捕獲多個實體和多個關系之間的信息。在 ACE05 數據集上的實驗證明了 提出模型的有效性（聯合模型角度）。

//www.czsun.site/

深度學習的進步使自然語言生成(NLG)變得更加流暢和靈活。雖然這些神經生成系統在機器翻譯方面取得了早期的成功，但當它們被應用到抽象總結、故事生成和閑談對話等更開放的任務時，它們會遇到重復、不連貫和不可控等問題。此外，開放式神經生成模型往往由人工在精心控制的環境中進行評估;它們在現實環境中如何與現實用戶互動，這一點還不太清楚。

本文分析和改進了執行開放性任務的神經生成系統; 在對話的情況下，系統是在其整個社會背景下評估的。首先，對于抽象摘要，我提出了一個指針生成器模型來提高復制的準確性，以及一個覆蓋機制來減少生成摘要的重復。接下來，對于聊天對話，我提出了一個大規模的詳細的人的評價，揭示了機器人行為(如重復、特異性、話題停留和提問)和人的質量判斷之間的關系，并表明通過控制這些機器人行為，我們可以改善用戶體驗。第三，關于故事生成，我描述了大規模預訓練和解碼算法對生成文本的句法、語義、結構和文體方面的影響。最后，作為Alexa獎項的一部分，我展示了一個神經生成聊天模型的部署研究，與真實的、內在動機的用戶交談。通過分析機器人與用戶的交互，我確定了機器人的主要錯誤類型，以及它們與用戶不滿的關系。

此外，我展示了一種半監督的方法，從不佳中學習，從而改善對話系統。

//purl.stanford.edu/hw190jq4736

近年來，機器學習取得了顯著進展，提供了一些新功能，比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品，如基于圖像內容的圖像搜索、多種語言之間的自動翻譯，甚至是真實圖像和聲音的合成。同時，機器學習已經在企業中被廣泛采用，用于經典的用例(例如，預測客戶流失、貸款違約和制造設備故障)。

在機器學習取得成功的地方，它是非常成功的。

在許多情況下，這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說，有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果，并且我們有很多這個結果的例子，以及與它相關的特征時，我們可能會轉向監督學習。

隨著機器學習的普及，它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額，預測制造設備故障，以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時，更多(和更好)的可解釋性方法已經被開發出來，這是非常重要的。

然而，僅僅基于預測的推理有一些基本的限制。例如，如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答，因為它們涉及到客戶選擇的可能變化，作為對信用限額變化的反應。在很多情況下，我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的，純粹相關的預測系統不具備在這種干預下進行推理的能力，因此容易產生偏差。對于干預下的數據決策，我們需要因果關系。

即使對于純粹的預測系統(這是監督學習的強項)，應用一些因果思維也會帶來好處。根據因果關系的定義，它們是不變的，這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說，這是一個非常理想的特性，在機器學習系統中，我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。

因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。

本書介紹了因果推理，因為它涉及很多數據科學和機器學習工作。我們引入因果圖，著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法，它給高維問題帶來了因果圖的一些好處。通過附帶的原型，我們展示了即使是經典的機器學習問題，如圖像分類，也可以從因果推理工具中受益。

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文，主要研究兩個NLP任務：關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一，也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員，其社會科學、人文科學、物理，化學，生命科學，醫學，數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理（Natural language processing，NLP）涉及構建計算技術，允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長，基于NLP的系統的出現使我們能夠通過廣泛的應用程序，如網絡搜索引擎、語音助理等，輕松地訪問相關信息。為了實現這一目標，幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來，深度學習技術利用了人工神經網絡（ANNs）的表現力，在廣泛的NLP任務中取得了最先進的性能。深度神經網絡（DNNs）可以從輸入數據中自動提取復雜的特征，從而為手工特征工程提供了一種替代方法。除了ANN之外，概率圖形模型（PGMs）、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力，并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點，它們被有利地結合起來建立強大的神經模型，以了解數據的潛在復雜性。

傳統的基于機器學習的NLP系統采用了淺層計算方法（如SVM或Logistic回歸），并依賴于手工特征，這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務：關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫，在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面，主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具，它可以自動分析大量的文檔集合，并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群（即主題）和文檔表示。

本質上，關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中，我們提出了特定于任務的學習表示神經模型，并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說，我們在開發NLP任務的神經模型方面做出了以下貢獻：

神經關系提取：首先，我們提出了一種新的基于遞歸神經網絡的table-filling體系結構，以便在句子中聯合執行實體和關系提取。然后，我們進一步擴展了跨句子邊界實體之間關系的提取范圍，并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外，我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻，其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻，我們進一步探索了遞歸神經網絡的可解釋性，以解釋它們對關系提取的預測。

神經主題建模：除了有監督神經體系結構外，我們還開發了無監督神經模型，以學習主題建模框架中有意義的文檔表示。首先，我們提出了一種新的動態主題模型，它捕獲了隨著時間的推移的主題。接下來，我們在不考慮時間依賴性的情況下建立了靜態主題模型，其中我們提出了神經主題建模體系結構，這些體系結構也利用外部知識，即Word嵌入來解決數據稀疏性。此外，我們還開發了神經主題模型，其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后，我們通過引入語言結構（如語序、局部句法和語義信息等）來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。

在這里，神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示，而不訪問更廣泛的文檔上下文。然而，主題模型可以訪問跨文檔的統計信息。因此，我們將兩種互補的學習范式結合在一個神經復合模型中是有利的，它由一個神經主題和一個神經語言模型組成，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

總的來說，我們在本論文中的研究貢獻擴展了基于NLP的系統，用于關系提取和主題建模任務，同時具有最先進的性能。