亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習(ML)最近的快速進展提出了一些科學問題，挑戰了該領域長期存在的教條。最重要的謎題之一是過度參數化模型的良好經驗泛化。過度參數化的模型對于訓練數據集的大小來說過于復雜，這導致它們完美地擬合(即插值)訓練數據，而訓練數據通常是有噪聲的。這種對噪聲數據的插值傳統上與有害的過擬合有關，但最近觀察到，從簡單的線性模型到深度神經網絡的各種插值模型在新測試數據上都能很好地泛化。事實上，最近發現的雙下降現象表明，在測試性能上，高度過度參數化的模型往往比最好的欠參數化模型更好。理解這種過度參數化的學習需要新的理論和基礎的實證研究，即使是最簡單的線性模型。這種理解的基礎已經在最近對過度參數化線性回歸和相關統計學習任務的分析中奠定，這導致了雙下降的精確分析特征。本文簡要概述了這一新興的過度參數化ML理論(以下簡稱為TOPML)，并從統計信號處理的角度解釋了這些最新發現。我們強調將TOPML研究領域定義為現代ML理論的一個子領域的獨特方面，并概述了仍然存在的有趣的未決問題。

//www.zhuanzhi.ai/paper/182ad6c4b994aa517d10319504e9bb3a

引言

深度學習技術已經徹底改變了許多工程和科學問題的解決方式，使數據驅動方法成為實踐成功的主要選擇。當前的深度學習方法是經典機器學習(ML)設置的極限開發版本，以前這些設置受到有限的計算資源和訓練數據可用性不足的限制。目前已建立的實踐是從一組訓練示例中學習高度復雜的深度神經網絡(DNN)，這些示例雖然本身很大，但相對于DNN中的參數數量來說相當小。雖然這種過度參數化的DNN在ML實踐中是最先進的，但這種實際成功的根本原因仍不清楚。特別神秘的是兩個經驗觀察結果: 1) 模型中添加更多參數的明顯益處(在泛化方面)，2) 這些模型即使完美地擬合了噪聲訓練數據，也能很好地泛化。這些觀察結果在現代ML的不同結構中都得到了體現——當它們首次被用于復雜的、最先進的DNN時(Neyshabur et al., 2014; Zhang et al., 2017))，它們已經在更簡單的模型家族中出土，包括寬神經網絡、核方法，甚至線性模型(Belkin et al., 2018b; Spigler et al., 2019; Geiger et al., 2020; Belkin et al., 2019a)。

在本文中，我們綜述了最近發展起來的過度參數化機器學習理論(簡稱TOPML)，該理論建立了與訓練數據插值(即完美擬合)相關的現象相關的基本數學原理。我們很快將提供一個過度參數化ML的正式定義，但在這里描述一些模型必須滿足的顯著屬性，以合格為過度參數化。首先，這樣的模型必須是高度復雜的，因為它的獨立可調參數的數量要遠遠高于訓練數據集中的示例數量。其次，這樣的模型絕不能以任何方式被明確地規范化。DNN是過度參數化模型的常見實例，這些模型通常沒有明確的正則化訓練(參見，例如，Neyshabur et al., 2014; Zhang et al., 2017)。這種過度參數化和缺乏顯式正則化的組合產生了一個可插值訓練示例的學習模型，因此在任何訓練數據集上都實現了零訓練誤差。訓練數據通常被認為是來自底層數據類(即噪聲數據模型)的噪聲實現。因此，插值模型完美地擬合了基礎數據和訓練示例中的噪聲。傳統的統計學習總是將噪聲的完美擬合與較差的泛化性能聯系在一起(例如，Friedman et al., 2001, p. 194);因此，值得注意的是，這些插值解決方案通常能很好地泛化到訓練數據集以外的新測試數據。

在本文中，我們回顧了TOPML研究的新興領域，主要關注在過去幾年發展的基本原理。與最近的其他綜述相比(Bartlett et al., 2021; Belkin, 2021)，我們從更基本的信號處理角度來闡明這些原則。形式上，我們將TOPML研究領域定義為ML理論的子領域，其中1. 明確考慮訓練數據的精確或近似插值 2. 相對于訓練數據集的大小，學習模型的復雜性較高。

本文組織如下。在第2節中，我們介紹了過度參數化學習中插值解的基礎知識，作為一個機器學習領域，它超出了經典偏方差權衡的范圍。在第3節中，我們概述了最近關于過度參數化回歸的結果。在這里，我們從信號處理的角度直觀地解釋了過度參數化學習的基本原理。在第4節中，我們回顧了關于過度參數化分類的最新發現。在第5節中，我們概述了最近關于過度參數化子空間學習的工作。在第6節中，我們考察了最近關于回歸和分類以外的過度參數化學習問題的研究。在第7節中，我們討論了過度參數化ML理論中的主要開放問題。

摘要

科學研究的一個基本目標是了解因果關系。然而，盡管因果關系在生命和社會科學中發揮著關鍵作用，但在自然語言處理(NLP)中卻沒有同等的重要性，后者傳統上更重視預測任務。隨著因果推理和語言處理融合的跨學科研究的興起，這種區別正開始消失。然而，關于NLP中因果關系的研究仍然分散在各個領域，沒有統一的定義、基準數據集和對剩余挑戰的清晰表述。在這項綜述中，我們鞏固了跨學術領域的研究，并將其置于更廣闊的NLP景觀中。我們介紹了估計因果效應的統計挑戰，包括文本作為結果、治療或解決混淆的手段的設置。此外，我們還探討了因果推理的潛在用途，以改善NLP模型的性能、魯棒性、公平性和可解釋性。因此，我們為計算語言學界提供了一個統一的因果推理概述。

引言

許多科學領域對將融入文本為數據越來越感興趣(例如，Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然語言處理(NLP)研究人員可能不熟悉這些領域的一個關鍵特性，是強調因果推理，通常用于評估策略干預。例如，在推薦一種新的藥物治療之前，臨床醫生想知道這種藥物對疾病進展的因果關系。因果推理涉及到一個通過干預創造的反事實世界的問題:如果我們給病人用藥，他們的疾病進展會如何?正如我們下面所解釋的，在觀察數據中，因果關系并不等同于服用藥物的患者與其觀察到的疾病進展之間的相關性。現在有大量關于使用傳統(非文本)數據集進行有效推理的技術的文獻(例如，Morgan and Winship, 2015)，但將這些技術應用于自然語言數據提出了新的和基本的挑戰。

相反，在經典的NLP應用中，目標只是做出準確的預測:任何統計相關性通常都被認為是可接受的，不管潛在的因果關系是什么。然而，隨著NLP系統越來越多地部署在具有挑戰性和高風險的場景中，我們不能依賴通常的假設，即訓練和測試數據是相同分布的，我們可能不會滿足于無法解釋的黑箱預測器。對于這兩個問題，因果關系提供了一條有希望的前進道路: 數據生成過程中因果結構的領域知識可以提示歸納偏差，導致更魯棒的預測器，而預測器本身的因果視圖可以提供關于其內部工作的新見解。

這篇調查論文的核心主張是，探究因果關系和NLP之間的聯系，有可能推進社會科學和NLP研究者的目標。我們將因果關系和自然語言處理的交集分為兩個不同的領域: 從文本中估計因果效應，以及使用因果形式主義使自然語言處理方法更可靠。我們將用兩個例子來說明這種區別。

NLP幫助因果關系。文本數據的因果推理涉及幾個不同于典型因果推理設置的挑戰:文本是高維的，需要復雜的建模來衡量語義上有意義的因素，如主題，并需要仔細思考，以形式化因果問題對應的干預。從主題模型到上下文嵌入，自然語言處理在建模語言方面的發展為從文本中提取所需信息以估計因果效應提供了有前景的方法。然而，我們需要新的假設，以確保使用NLP方法導致有效的因果推理。我們將在第3節討論從文本中估計因果效應的現有研究，并強調這些挑戰和機遇。

因果關系可以幫助NLP。為了解決NLP方法帶來的穩健性和可解釋性挑戰，我們需要新的標準來學習超越利用相關性的模型。例如，我們希望預測器對于我們對文本所做的某些更改是不變的，例如在保持ground truth標簽不變的情況下更改格式。利用因果關系來發展新的準則，為建立可靠的、可解釋的自然語言處理方法提供服務，這是相當有希望的。與文本因果推理的研究領域相比，因果關系和NLP研究的這一領域較少被理解，盡管最近的經驗成功很好地推動了這一領域的研究。在第4節中，我們涵蓋了現有的研究，并回顧了使用因果關系來改進自然語言處理的挑戰和機遇。

該論文調研了文本數據在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中，我們采取了一個更廣泛的視角，將因果關系和自然語言處理的交集分為兩個截然不同的研究線，即估計因果效應和因果驅動的自然語言處理方法。在閱讀了本文之后，我們設想讀者將對以下內容有一個廣泛的理解:

• 使用文本數據和NLP方法所特有的統計和因果挑戰;
• 在評估文本效果和應用因果關系來
• 改進NLP方法方面的開放問題。

隨著機器學習黑盒越來越多地部署在醫療保健和刑事司法等領域，人們越來越重視構建工具和技術，以事后方式解釋這些黑盒。這些解釋正被領域專家用來診斷系統性錯誤和黑盒的潛在偏見。然而，最近的研究揭示了流行的事后解釋技術的弱點。在本教程中，我將簡要概述事后解釋方法，特別強調特征歸因方法，如LIME和SHAP。然后，我將討論最近的研究，這些研究表明，這些方法是脆弱的，不穩定的，并容易受到各種對抗性攻擊。最后，我將提出兩種解決方案，以解決這些方法的一些漏洞:(I)一個基于對抗性訓練的通用框架，旨在使事后解釋更穩定，更魯棒，以應對底層數據的變化，(ii) 貝葉斯框架，捕獲與事后解釋相關的不確定性，從而允許我們生成滿足用戶指定的置信水平的可靠解釋。總的來說，本教程將提供可解釋機器學習這一新興領域的最新技術的概述。

//www.chilconference.org/tutorial_T04.html

近年來，機器學習取得了顯著進展，提供了一些新功能，比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品，如基于圖像內容的圖像搜索、多種語言之間的自動翻譯，甚至是真實圖像和聲音的合成。同時，機器學習已經在企業中被廣泛采用，用于經典的用例(例如，預測客戶流失、貸款違約和制造設備故障)。

在機器學習取得成功的地方，它是非常成功的。

在許多情況下，這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說，有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果，并且我們有很多這個結果的例子，以及與它相關的特征時，我們可能會轉向監督學習。

隨著機器學習的普及，它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額，預測制造設備故障，以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時，更多(和更好)的可解釋性方法已經被開發出來，這是非常重要的。

然而，僅僅基于預測的推理有一些基本的限制。例如，如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答，因為它們涉及到客戶選擇的可能變化，作為對信用限額變化的反應。在很多情況下，我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的，純粹相關的預測系統不具備在這種干預下進行推理的能力，因此容易產生偏差。對于干預下的數據決策，我們需要因果關系。

即使對于純粹的預測系統(這是監督學習的強項)，應用一些因果思維也會帶來好處。根據因果關系的定義，它們是不變的，這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說，這是一個非常理想的特性，在機器學習系統中，我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。

因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。

本書介紹了因果推理，因為它涉及很多數據科學和機器學習工作。我們引入因果圖，著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法，它給高維問題帶來了因果圖的一些好處。通過附帶的原型，我們展示了即使是經典的機器學習問題，如圖像分類，也可以從因果推理工具中受益。

人工智能(AI)在決定我們日常體驗方面扮演著越來越重要的角色。人工智能的應用越來越多地不再局限于搜索和推薦系統，如網絡搜索、電影和產品推薦，但人工智能也被用于對個人、企業和社會至關重要的決策和流程。在招聘、借貸、刑事司法、醫療保健和教育等領域，基于web的人工智能解決方案對個人和專業的影響是深遠的。

在人工智能系統的開發和部署中，有許多因素發揮著作用，它們可能會表現出不同的、有時是有害的行為。例如，訓練數據往往來自社會和現實世界，因此它可能反映了社會對少數民族和弱勢群體的偏見和歧視。例如，少數族裔與多數族裔在類似行為上面臨更高的逮捕率，所以在沒有補償的情況下構建一個人工智能系統可能只會加劇這種偏見。

上述問題凸顯出需要監管、最佳實踐和實用工具，以幫助數據科學家和ML開發人員構建安全、隱私保護、透明、可解釋、公平和負責的人工智能系統，以避免可能對個人、企業和社會有害的意外后果和合規挑戰。

在這些原則中，模型的透明度和可解釋性是在需要可靠性和安全性的高風險領域(如醫療保健和自動化運輸)建立信任和采用人工智能系統的先決條件，以及具有重大經濟影響的關鍵工業應用(如預測性維護、自然資源勘探和氣候變化建模)。除了可解釋性，越來越多的利益相關者質疑他們的人工智能系統的公平性，因為有很多例子可以說明不考慮公平性的后果，從人臉識別對白人男性的效果明顯優于有色女性，到歧視特定群體的自動招聘系統。通過整合工具來確保模型的透明度和公平性，可以讓數據科學家、工程師和模型用戶更容易調試模型，并實現確保AI系統的公平性、可靠性和安全性等重要目標。

最后，人工智能產品通常由ML模型驅動，這些模型根據敏感用戶數據進行訓練。給定足夠的復雜性——無論是從參數的數量[例如。或者用戶級個性化——，該模型可以對用戶的私人信息進行編碼。此外，通常需要在ML生命周期的不同階段確保用戶隱私，并保護不同類型的不良行為者和威脅場景，需要隱私保護AI方法。

在本教程中，我們將概述負責任的人工智能，強調人工智能中模型的可解釋性、公平性和隱私性，關鍵的法規/法律，以及提供關于基于web的人工智能/ML系統的理解的技術/工具。然后，我們將關注可解釋性、公平評估/不公平緩解和隱私技術在行業中的應用，其中我們提出了有效使用這些技術的實際挑戰/指導方針，以及從部署幾個web規模的機器學習和數據挖掘應用模型中獲得的經驗教訓。我們將介紹不同公司的案例研究，包括搜索和推薦系統、招聘、銷售、借貸和欺詐檢測等應用領域。我們將強調，與負責任的人工智能相關的主題是社會技術的，也就是說，它們是社會和技術交叉的主題。潛在的挑戰不能由技術人員單獨解決;我們需要與所有關鍵的利益相關者一起工作——比如技術的客戶、受技術影響的人，以及具有道德和相關學科背景的人——并在設計這些系統時考慮他們的輸入。最后，基于我們在行業中的經驗，我們將為數據挖掘/機器學習社區確定開放的問題和研究方向。

//sites.google.com/view/ResponsibleAITutorial

語言是一種固有的時間現象。當我們理解和產生口語時，我們處理不確定長度的連續輸入流。即使在處理書面文本時，我們通常也按順序處理。語言的時代性反映在我們使用的隱喻中;我們談論的是對話流、新聞源和twitter流，所有這些都喚起了這樣一種觀念:語言是一個隨時間展開的序列。這種時間性質反映在我們用來處理語言的算法中。例如，當應用于詞性標注問題時，維特比算法每次遞增地輸入一個單詞，并將沿途收集到的信息傳遞下去。另一方面，我們研究的用于情感分析和其他文本分類任務的機器學習方法沒有這種時間性質——它們假設同時訪問輸入的所有方面。前饋神經網絡尤其如此，包括它們在神經語言模型中的應用。這些完全連接的網絡使用固定大小的輸入，以及相關的權重，一次性捕獲示例的所有相關方面。這使得處理不同長度的序列變得困難，并且無法捕捉語言的重要時間方面。

本章涵蓋了兩個密切相關的深度學習架構，旨在解決這些挑戰:循環神經網絡和transformer網絡。這兩種方法都具有直接處理語言的順序性質的機制，允許它們處理可變長度的輸入，而不使用任意固定大小的窗口，并捕獲和利用語言的時間性質。

在優化和決策過程中，不確定性量化(UQ)在減少不確定性方面起著至關重要的作用。它可以應用于解決科學和工程中的各種實際應用。貝葉斯逼近和集成學習技術是目前文獻中使用最廣泛的兩種UQ方法。在這方面，研究者們提出了不同的UQ方法，并在計算機視覺(如自動駕駛汽車和目標檢測)、圖像處理(如圖像恢復)、醫學圖像分析(如醫學圖像分類和分割)、自然語言處理(如文本分類、社交媒體文本和再犯風險評分)、生物信息學得到廣泛應用。本研究綜述了UQ方法在深度學習中的最新進展。此外，我們還研究了這些方法在強化學習(RL)中的應用。然后，我們概述了UQ方法的幾個重要應用。最后，我們簡要地強調了UQ方法面臨的基本研究挑戰，并討論了該領域的未來研究方向。

//arxiv.org/abs/2011.06225

摘要:

在日常情景中，我們處理很多領域的不確定性，從投資機會和醫療診斷到體育比賽和天氣預報，目的是根據收集的觀察和不確定的領域知識進行決策。現在，我們可以依靠使用機器和深度學習技術開發的模型來量化不確定性來完成統計推斷[1]。在人工智能(AI)系統使用[2]之前，對其效能進行評估是非常重要的。這種模型的預測具有不確定性，除了存在不確定性的歸納假設外，還容易出現噪聲和錯誤的模型推斷。因此，在任何基于人工智能的系統中，以一種值得信賴的方式表示不確定性是非常可取的。通過有效地處理不確定性，這樣的自動化系統應該能夠準確地執行。不確定性因素在人工智能中扮演著重要的角色

不確定性的來源是當測試和訓練數據不匹配，由于類重疊或由于數據[6]中存在噪聲而產生的不確定性。估計知識的不確定性要比數據的不確定性困難得多，數據的不確定性自然是通過極大似然訓練來度量的。預測中的不確定性來源對于解決不確定性估計問題[7]至關重要。不確定性有兩個主要來源，在概念上稱為aleatoric和epistemic不確定性8。

數據中的不可約不確定性導致預測中的不確定性是一種可選不確定性(也稱為數據不確定性)。這種類型的不確定性不是模型的屬性，而是數據分布的固有屬性;因此它是不可約的。不確定性的另一種類型是認知不確定性(也稱為知識不確定性)，它是由于知識和數據的不足而產生的。人們可以定義模型來回答基于模型預測中的不同人類問題。在數據豐富的情況下，有大量的數據收集，但它可能是信息差的[10]。在這種情況下，可以使用基于人工智能的方法定義有效的模型，表征數據特征。通常這些數據是不完整的，有噪聲的，不一致的和多模態的[1]。

不確定性量化(UQ)是當今許多關鍵決策的基礎。沒有UQ的預測通常是不可靠和不準確的。為了理解深度學習(DL)[11]，[12]過程生命周期，我們需要理解UQ在DL中的作用。DL模型首先收集可用于決策過程的最全面和潛在相關的數據集。DL場景的設計是為了滿足某些性能目標，以便在使用標記數據訓練模型之后選擇最合適的DL架構。迭代訓練過程優化不同的學習參數，這些參數將被“調整”，直到網絡提供令人滿意的性能水平。

在涉及的步驟中，有幾個不確定因素需要加以量化。很明顯的不確定性這些步驟如下:(i)選擇和訓練數據的集合,(ii)訓練數據的完整性和準確性,(3)理解DL(或傳統機器學習)模型與性能范圍及其局限性,和(iv)不確定性對應基于操作數據的性能模型[13]。數據驅動的方法，如與UQ相關的DL提出了至少四組重疊的挑戰:(1)缺乏理論，(2)缺乏臨時模型，(3)對不完美數據的敏感性，以及(4)計算費用。為了緩解這些挑戰，有時會采用模型變異性研究和敏感性分析等特殊解決方案。不確定性估計和量化在數字學習和傳統機器學習中得到了廣泛的研究。在下面，我們提供一些最近的研究的簡要總結，這些研究檢驗了處理不確定性的各種方法的有效性。

圖2給出了三種不同不確定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意圖比較。此外，不確定性感知模型(BNN)與OoD分類器的兩種圖形表示如圖3所示。

在大數據時代，ML和DL，智能使用不同的原始數據有巨大的潛力，造福于廣泛的領域。然而，UQ在不同的ML和DL方法可以顯著提高其結果的可靠性。Ning等人總結并分類了不確定性下數據驅動優化范式的主要貢獻。可以看出，本文只回顧了數據驅動的優化。在另一項研究中，Kabir等人[16]回顧了基于神經網絡的UQ。作者關注概率預測和預測區間(pi)，因為它們是UQ文獻中最廣泛使用的技術之一。

我們注意到，從2010年到2020年(6月底)，在各個領域(如計算機視覺、圖像處理、醫學圖像分析、信號處理、自然語言處理等)發表了超過2500篇關于AI中UQ的論文。與以往UQ領域的文獻綜述不同，本研究回顧了最近發表的使用不同方法定量AI (ML和DL)不確定性的文章。另外，我們很想知道UQ如何影響真實案例，解決AI中的不確定性有助于獲得可靠的結果。與此同時，在現有的研究方法中尋找重要的談話是一種很好的方式，為未來的研究指明方向。在這方面，本文將為ML和DL中UQ的未來研究人員提供更多的建議。我們調查了UQ領域應用于ML和DL方法的最新研究。因此，我們總結了ML和DL中UQ的一些現有研究。值得一提的是，本研究的主要目的并不是比較提出的不同UQ方法的性能，因為這些方法是針對不同的數據和特定的任務引入的。由于這個原因，我們認為比較所有方法的性能超出了本研究的范圍。因此，本研究主要關注DL、ML和強化學習(RL)等重要領域。因此，本研究的主要貢獻如下:

• 據我們所知，這是第一篇關于ML和DL方法中使用的UQ方法的全面綜述論文，值得該領域的研究人員使用。
• 對新提出的UQ方法進行了全面調研。
• 此外，UQ方法的重要應用的主要類別也進行了介紹
• 指出了UQ方法的主要研究空白。
• 最后，討論了很少確定的未來發展方向。

人工智能(AI)為改善私人和公共生活提供了很多機會，以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件，目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而，這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策，以便我們能夠信任它們?在這個報告中，我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中，可以特別理解本報告的目的。然而，隨著方法的日益普及和復雜性，業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地，數據科學從業者通常不知道來自學術文獻的方法，或者可能很難理解不同方法之間的差異，所以最終使用行業標準，比如SHAP。在這里，我們進行了一項調查，以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域，并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述，并討論她如何通過提出正確的問題來解釋模型。

//arxiv.org/abs/2009.11698

【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊，涵蓋可解釋人工智能的簡述論文，論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文，值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。

//robotics.sciencemag.org/content/4/37/eaay7120

最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮，為各種領域提供了廣泛的益處。然而，許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說，解釋可能不是必要的，一些人工智能研究人員認為，強調解釋是錯誤的，太難實現，而且可能是不必要的。然而，對于國防、醫學、金融和法律的許多關鍵應用，解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。

最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能，但它們在可解釋性方面是不透明的。ML性能(例如，預測準確性)和可解釋性之間可能存在固有的沖突。通常，性能最好的方法(如DL)是最不可解釋的，而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。

圖1 ML技術的性能與可解釋性權衡。

(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型，以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如，訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。

什么是XAI?

一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么，現在正在做什么，接下來會發生什么; 披露其所依據的重要信息(4)。

然而，每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此，可解釋性和可解釋性的定義是與域相關的，并且可能不是與域獨立定義的。解釋可以是全面的，也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如，某些變量和相關變量的單調性服從特定關系)，而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。

來自用戶的期望

XAI假設向最終用戶提供一個解釋，該用戶依賴于AI系統所產生的決策、建議或操作，然而可能有許多不同類型的用戶，通常在系統開發和使用的不同時間點(5)。例如，一種類型的用戶可能是智能分析師、法官或操作員。但是，需要對系統進行解釋的其他用戶可能是開發人員或測試操作員，他們需要了解哪里可能有改進的地方。然而，另一個用戶可能是政策制定者，他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型，能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組，他們的背景知識可能不同，需要解釋什么。

可操作性——評估和測量

一些方法提出了一些評價和衡量解釋有效性的方法;然而，目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量，例如用戶滿意度，可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即，這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。

XAI -問題和挑戰

在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。

1. 從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習，包括讓用戶與解釋交互以提供反饋和指導學習?

2. 準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡，并在準確性、可解釋性和可處理性之間取得平衡。

3. 使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰，而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。

4. 解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力，包括一個特定的人工智能系統有哪些能力，如何衡量這些能力，以及人工智能系統是否存在盲點;也就是說，有沒有一類解是永遠找不到的?

從以人為本的研究視角來看，對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來，XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋，而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理，以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看，XAI的未來才剛剛開始。

本期刊論文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我們會相信機器人嗎?科幻小說說沒有，但可解釋的機器人可能會找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的強化學習方法能從形式化的語言中獲得回報，并保證了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

參考文獻：

1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

2. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

3. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

4. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

5. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

6. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

7. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

?

8. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

9. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.