亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能(AI)的最新進展引起了人們對人工智能系統需要被人類用戶理解的關注。可解釋人工智能(XAI)文獻旨在通過向用戶提供有關人工智能系統行為的必要信息來增強人類的理解和人類-人工智能團隊的表現。同時,人為因素文獻長期以來一直在解決有助于人類表現的重要考慮因素,包括如何確定人類的信息需求、人類負荷以及人類對自主系統的信任。從人類因素的文獻中,提出了可解釋人工智能的態勢感知框架(SAFE-AI),這是一個關于人工智能系統行為解釋的發展和評估的三級框架。提出的XAI級別是基于人類用戶的信息需求,這些需求可以用人因文獻中的態勢感知(SA)級別框架來確定。基于我們的XAI等級框架,我們還提出了一種評估XAI系統有效性的方法。進一步詳細說明了在確定解釋的內容和頻率時對人為負荷的考慮,以及可用于評估人為負荷的指標。最后,討論了通過解釋適當校準用戶對人工智能系統信任的重要性,以及XAI的其他與信任有關的考慮,還詳細介紹了可用于評估用戶對這些系統信任的指標。

隨著最近人工智能文獻中對可解釋人工智能(XAI)的關注,定義XAI系統應該傳達哪些信息以及如何衡量其有效性變得越來越重要。Gunning和Aha(2019)將XAI定義為 "能夠向人類用戶解釋其原理的人工智能系統,描述其優勢和劣勢,并傳達對其未來行為方式的理解"。我們采用了XAI的這一定義,并將解釋定義為支持人類推斷人工智能系統上述細節的必要信息,包括關于其輸入、模型和輸出的信息。開發XAI技術的動機經常被說成是需要在日益復雜的人工智能系統中實現透明化(Fox等人,2017;Lipton,2016),以及需要在日益不透明的系統中獲得用戶信任(Borgo等人,2018;Fox等人,2017;Lipton,2016)。提高人工智能系統的透明度和說明人類對這些系統的信任都有助于提高人類-人工智能團隊的績效;因此,支持人類-人工智能團隊的績效是XAI的主要目標之一。事實上,以前的研究已經證明了智能體的透明度對人類-AI團隊中人類隊友的任務表現的積極影響(Chen等人,2017,2018;Stowers等人,2016)。一些文獻認為,存在性能-可解釋性的交換,即更多可解釋的人工智能系統會以某種方式犧牲算法性能(Gunning & Aha,2019;Lipton,2016)。然而,如果缺乏系統的可解釋性抑制了團隊的整體表現,那么改進算法性能所提供的好處可能會喪失。例如,如果一個基于醫學機器學習的成像系統能夠在對某些醫療問題進行分類時取得更大的準確性,但它的方式使人類醫生更難注意到其判斷中的錯誤,醫生-AI團隊的績效可能會受到整體影響。因此,我們認為優化人類-AI團隊的表現,通過對系統行為的解釋來實現,是XAI的主要目標。

在人因方面存在著豐富的文獻,探討了人類與自動化系統互動的場景,以及在任務執行過程中影響人類表現的各種因素。態勢感知(SA)的概念,已經在人為因素領域和人類-自動化團隊的背景下進行了研究(Chen等人,2014;Endsley,1995),定義了人類在任何場景下操作的信息需求(Endsley,1995)。XAI系統,作為提供人工智能行為信息的系統,可以為人類用戶的SA子集做出貢獻,該子集與人工智能行為有關。通過XAI系統提供的支持人工智能的信息,可以提高人類-人工智能團隊的績效;然而,除了XAI支持的人工智能子集之外,整體的人工智能也是支持團隊績效的必要條件,但并不完全是充分條件(Endsley,1995)。

人為因素的文獻討論了其他的因素,這些因素對于人與AI團隊的表現同樣是必要的,并且也與XAI系統有關。首先,雖然SA定義了人類需要的信息,但工作負荷的考慮影響了如何以及何時提供這些信息(Parasuraman等人,2008)。其次,用戶對自動化系統的信任的重要性已經在之前的文獻中得到了明確的探討(Lee & See, 2004; Schaefer等人, 2014)。重點不是增加用戶的信任,這通常被作為XAI的動機(Borgo等人,2018;Fox等人,2017;Krarup等人,2019),而是適當地校準信任,導致人工智能系統的適當使用(Chen等人,2014;Ososky等人,2014;Schaefer等人,2014)。

除了討論SA、負荷和信任的概念以及對這些考慮因素的相關設計建議之外,文獻還將這些概念操作化,提供了評估的方法和指標(Parasuraman等人,2008)。正如SA支持但不等同于性能一樣,XAI系統提供的高質量解釋支持但不等同于SA、適當的人類工作負荷或對AI系統的充分信任。然而,根據與這些因素相關的方法和指標來評估XAI系統,有助于了解所提供的解釋是否實現了提高人與AI團隊績效的最終目標。除了團隊績效之外,將SA、工作負荷和信任作為XAI的中間目標來衡量,可以明確績效評估中存在的潛在混淆因素。

雖然之前已經提出了一些評估XAI系統不同方面的指標(Doshi-Velez和Kim,2017;Hoffman、Miller等人,2018;Hoffman、Mueller等人,2018;Lage等人,2019),但XAI文獻目前缺乏一套全面的評估解釋質量的合適指標。雖然可能無法明確和獨立地定義一個解釋的質量,但在許多情況下,一個解釋只有在它有助于實現SA、適當的信任和適當的工作負荷等中間目標以及提高績效的最終目標時才是 "好 "的。換句話說,在許多情況下,SA、信任和工作負荷以及團隊績效可以作為代理,表明XAI系統是否實現了它的預期目標,因為XAI系統的目標往往與這些概念有關。因此,XAI從業者可以利用現有的人類因素指標來評估他們所提出的技術。

在本文中,我們討論了與XAI相關的人類因素文獻(包括現有的XAI技術),并根據人類因素界的發現提出了一套XAI系統的設計考慮和評估指標。我們首先更詳細地討論了人的因素中的SA概念,并提出了可解釋人工智能的態勢感知框架(SAFE-AI),其中包括XAI的級別,定義了哪些關于人工智能算法和過程的信息應該由XAI系統來支持;這些級別與Endsley(1995)提出的SA級別緊密對應。我們進一步強調了一套現有的XAI技術如何適合我們的框架,以及用于評估現有技術的指標如何映射到SA的評估。SAFE-AI旨在為定義XAI系統的需求提供一個以人為本的結構化方法,為XAI技術的開發提供指導,并為XAI系統的評估提供指導。

SAFE-AI可以用來定義XAI系統的信息要求,但是信息要求本身并不能決定XAI系統的整個設計。同樣重要的是,要考慮在交互過程中的任何給定點向用戶展示多少信息,以及展示信息的頻率,以便用戶能夠實際處理這些信息。這些考慮與人類的工作負荷有關。此外,系統可能有必要向人類用戶提供額外的信息,以便適當地校準人類對系統的信任,這可能會影響到適當的使用和團隊表現。因此,在本文中,我們還討論了工作負荷和信任的人為因素概念,XAI中考慮過這些概念的現有工作,以及如何將與每個概念相關的指標應用于XAI系統的評估。理想情況下,SAFE-AI可以被應用于確定一套初始的交互信息要求,而信任和工作負荷的考慮可以被用來完善這套初始要求,并充實與XAI系統如何被整合到真實世界環境中有關的額外細節。這項工作的初步版本可以在Sanneman和Shah(2020)中找到。本文通過擴展與SAFE-AI框架相關的XAI技術的文獻回顧,以及包括對工作負荷和信任及其與XAI系統的關系的額外討論,對初步版本進行了擴展。

本文的其余部分組織如下:在第2節中,我們討論了態勢感知,包括來自人類因素的相關文獻,我們基于態勢感知的XAI框架,來自XAI文獻的相關例子,以及一個激勵性的例子來澄清對框架的討論。在第3節中,我們擴展了人類因素中人類工作負荷的概念,以及XAI的相關考慮和衡量標準。在第4節中,我們討論了XAI的信任相關考慮。在第5節中,我們根據人類因素文獻的結果和發現,列舉了未來可能的方向,在第6節中,我們總結了本文。

付費5元查看完整內容

相關內容

人工智能在軍事中可用于多項任務,例如目標識別、大數據處理、作戰系統、網絡安全、后勤運輸、戰爭醫療、威脅和安全監測以及戰斗模擬和訓練。

在人工智能(Al)和機器學習(ML)的高節奏、高風險的軍事應用中,操作人員需要迅速了解他們的AI/ML輔助工具的優勢和局限性,以便人類+AI團隊的組合能夠提供決策優勢。隨著AI智能體變得越來越復雜,操作員需要這些先進系統的透明度,就像為他們的人類合作者建立心理模型的能力,以最終判斷他們的適當使用。

要讓不是計算機或數據科學家,也沒有時間或工具來理解AI系統的內部運作的人類能夠解釋人工智能,一個關鍵的挑戰是將機器推理的隱藏層映射到人類可以解釋的語義中,以獲得對AI建議的更多了解,這樣操作者就可以對AI的結果更有信心,或者知道何時推翻它。為了解決將機器生成的解釋的語義與人的解釋相一致的挑戰,我們首先描述了創建一個代用的白盒方法作,隨后描述了語義一致方法概念。我們描述了一個自動目標識別(ATR)的用例,并說明了為什么目前的解釋器方法不足以實現機器的透明度,并討論了研究需求。

付費5元查看完整內容

"可預測性 "和 "可理解性 "被廣泛認為是人工智能系統的重要品質。簡單地說:這種系統應該做他們被期望做的事情,而且他們必須以可理解的理由這樣做。這一觀點代表了關于致命性自主武器系統(LAWS)和其他形式軍事人工智能領域新興技術辯論的許多不同方面的一個重要共同點。正如不受限制地使用一個完全不可預測的致命性自主武器系統,其行為方式完全無法理解,可能會被普遍認為是不謹慎的和非法的,而使用一個完全可預測和可理解的自主武器系統--如果存在這樣的系統--可能不會引起許多核心的監管問題,這些問題是目前辯論的基礎。

這表明,最終為解決致命性自主武器系統和其他形式的人工智能在軍事應用中的使用而采取的任何途徑,都必須考慮到有時被稱為人工智能的 "黑盒困境"。事實上,遵守現有的國際人道主義法(IHL),更不用說假設的新法律,甚至可能取決于具體的措施,以確保致命性自主武器系統和其他軍事人工智能系統做他們期望做的事情,并以可理解的理由這樣做。然而,在關于致命性自主武器系統和軍事人工智能的討論中,可預測性和可理解性尚未得到與如此重要和復雜的問題相稱的那種詳細介紹。這導致了對人工智能可預測性和可理解性的技術基礎的混淆,它們如何以及為什么重要,以及可能解決黑匣子困境的潛在途徑。

本報告試圖通過提供有關這一主題的共同知識基線來解決這些模糊不清的問題。第1節和第2節解釋了說一個智能系統是 "可預測的 "和 "可理解的"(或者相反,是 "不可預測的 "和 "不可理解的")的確切含義,并說明有各種類型的可理解性和可預測性,它們在重要方面有所不同。第3節描述了可預測性和可理解性將成為致命性自主武器系統和其他軍事人工智能在其開發、部署和使用后評估的每個階段的必要特征的具體實際原因。第4節列出了決定每個階段所需的適當水平和類型的可預測性和可理解性的因素。第5節討論了為實現和保證這些水平的可預測性和可理解性可能需要的措施--包括培訓、測試、標準和可解釋人工智能(XAI)技術。結論是為政策利益相關者、軍隊和技術界提出了進一步調查和行動的五個途徑。

本報告的主要要點

  • 人工智能的不可預測性有三種不同的意義:一個系統的技術性能與過去的性能一致或不一致的程度,任何人工智能或自主系統3的具體行動可以(和不能)被預期的程度,以及采用人工智能系統的效果可以被預期的程度。

  • 可預測性是一個系統的技術特征、系統所處的環境和對手的類型以及用戶對它的理解程度的函數。

  • 可理解性是基于一個系統內在的可解釋性以及人類主體的理解能力。一個智能系統可以通過多種方式被 "理解",并不是所有的方式都建立在系統的技術方面或人類的技術素養之上。

  • 可預測性不是可理解性的絕對替代品,反之亦然。高可預測性和高可理解性的結合,可能是安全、謹慎和合規使用復雜的智能或自主軍事系統的唯一最佳條件。

  • 可預測性和可理解性是自主武器和其他形式的軍事人工智能的必要品質,這在其整個開發、使用和評估過程中有著廣泛的原因。

  • 這些系統中可預測性和可理解性的適當水平和類型將因一系列因素而大不相同,包括任務的類型和關鍵性、環境或輸入數據的種類,以及評估或操作系統的利益相關者的類型。

  • 在軍事人工智能系統中實現并確保適當的可預測性和可理解性的潛在方法可能會涉及與培訓、測試和標準有關的工作。建立XAI的技術研究工作也提供了一些希望,但這仍然是一個新的領域。

付費5元查看完整內容

海上作業航行安全是一個高度優先的問題。在新加坡高性能計算研究所 (IHPC)和新加坡理工學院(SP)最近的合作中,開發了一個基于人工智能的行為能力評估工具原型,以幫助教官評估值守人員進行導航的軟技能能力,并在SP的新加坡海事學院(SMA)培訓模擬器上進行了概念驗證演示。使用我們的工具可以通過提供詳細的特定行為分析來幫助教官進行評估,從而有助于消除人為偏見。

基于人工智能的行為能力評估工具

一個基于人工智能的行為能力評估工具原型被開發出來,它使用來自模擬器的視頻資料,自動生成對學生行為能力的評估,并以定量的方式進行客觀評估。生成的報告提供了培訓課程的摘要,其中有按時間索引的事件,教員可以用來向學生匯報,并允許教員輕松地放大特定事件,以進行更深入的審查和更有效的指導。

基于人工智能的行為能力評估工具原型(如圖1所示)是一個軟件,包括:

  • 一個行為學習和理解模塊,它從訓練模擬器的攝像機中獲取視頻,并使用計算機視覺和機器學習從學生執行導航任務的行動中檢測和識別關鍵的行為指標。對識別的行為指標進行行為學習,以自動捕捉與每個行為能力相關的行為,并將其編碼為行為腳本。

  • 能力評估模塊通過識別學生使用學習到的行為腳本表現出來的行為來進行績效分析,并生成一份學生績效報告,量化觀察到的關鍵行為指標和觀察到的行為的時間過程。根據國際海事組織和行業出版物[2][3]中頒布的行為能力評估和驗證(BCAV)指南中的一套行為指標,通過分析也為每個學生生成一個數字性能分數。

圖 1. 態勢感知能力評估工具原型示意圖

付費5元查看完整內容

決策算法正在被用于重要的決策中,例如誰應該被納入醫療保健計劃和被雇用。盡管這些系統目前被部署在高風險的場景中,但許多系統無法解釋其決策。這種局限性促使了可解釋人工智能(XAI)計劃的提出,該計劃旨在使算法可以解釋,以符合法律要求,促進信任,并保持問責制。本文質疑可解釋性是否以及在多大程度上可以幫助解決自主人工智能系統帶來的責任問題。我們認為,提供事后解釋的XAI系統可以被看作是可問責的智能體,掩蓋了開發者在決策過程中的責任。此外,我們認為XAI可能會導致對脆弱的利益相關者的不正確責任歸屬,比如那些受到算法決策影響的人(即病人),因為他們被誤導地認為對可解釋的算法有控制。如果設計者選擇將算法和病人作為道德和法律上的“替罪羊”,這種可解釋性和責任感之間的沖突就會加劇。我們最后提出了一系列關于如何處理算法決策的社會技術過程中的這種緊張關系的建議,以及為防止設計者逃避責任而進行的硬性監管辯護。

引言

人工智能(AI)現在被廣泛用于各種情況,從娛樂等低風險的場景[90]到選擇誰應該優先獲得醫療幫助等高風險的生死決策[75]。廣泛的研究已經提出了算法決策是否會對社會產生負面影響。例如,研究發現,算法保釋決策有種族偏見[2],討論了用于招聘決策的人工智能系統如何嵌入偏見[8],并發現在線廣告對女性有歧視[27]。

大多數決策算法的一個主要問題是其不透明性。大多數算法都是黑盒的,不對其決策、建議或處理提供解釋[76]。這一局限性是開發可解釋人工智能(XAI)的核心動力,它提議通過 "使[其]功能清晰易懂 "來使算法變得可解釋[3]。在算法決策的背景下,XAI創建的模型的行為可以很容易理解(即那些透明的模型),或者可以在決策后解釋其行為(例如,通過提供事后的解釋)。對XAI的呼吁已經在工業界、學術界和政策制定中變得很普遍[48]。

XAI領域的目標是創建便于將責任歸于參與其開發和部署的人類智能體系統。由于責任差距的存在,分配算法決策的責任被廣泛認為是一項困難的任務[4, 69]。正如Robbins[81]所主張的,可解釋的系統將保持有意義的人類控制,允許將責任追溯到設計者、用戶和病人(即那些受算法決策影響的人)。這并不是說,XAI的提出只是為了處理責任問題。例如,解釋也可以用來遵守法律要求,促進對決策算法的信任,并評估其準確性[57]。

我們在本文中認為,XAI并不是解決自主決策算法所帶來的大量責任問題的萬能藥。我們將討論的重點放在那些被設計為做出后果性決定并能在事后提供解釋的人工智能系統上,也就是說,那些可以事后解釋的算法。雖然我們同意可解釋的系統對于負責任地部署算法決策是必要的,但我們表明XAI的事后解釋可能與公眾對AI系統的代理權和可問責性的理解不一致。此外,我們討論了那些受制于算法決策的人(即病人)如何可能被視為對XAI系統具有有意義的人類控制,并說明這種印象是錯誤的,不能轉化為對算法的真正授權。

考慮到問責是對代理人采取行動的原因的反應[86],事后可解釋的算法可能被視為可以解釋其決定背后原因的行為者,因此是可問責的。可解釋的人工智能系統也可能被視為比其不透明的同行更有能力和意圖,從而導致更高的問責水平[63, 64]。這種印象掩蓋了人類代理人在算法決策中的責任,并將普通人的道德判斷轉移到機器上,有可能影響政策制定者并阻礙有益的人工智能技術的采用[11, 19]。

出于對開發者可以為自主系統的部署洗白其代理權[82]并實施表面的道德措施以避免監管[38]的擔憂,我們展示了他們如何利用XAI為病人創造一種虛假的理解和控制感。我們用研究來說明這種誤導性的印象,研究表明,算法解釋往往是無意義的,讓個人無法真正控制[83]。XAI系統也可以被用來欺騙病人,甚至是那些在AI相關領域受過訓練的人[33],制造道德和法律上的替罪羊。

通過說明可解釋系統的責任是如何模糊的,我們以XAI領域的新穎和批判的視角分析了自主系統所帶來的責任差距,從而對文獻做出了貢獻。我們的結論是對可解釋系統的呼吁,這將強調開發者在整個決策算法的開發和部署過程中的責任。最后,我們討論了目前的監管方法如何未能解決可解釋性和責任之間的沖突,并提供了潛在的解決方案。

圖 1. 此圖中總結了要點。提供事后解釋的決策算法可以被視為應為自己的決策負責的應受指責的代理人;我們解釋了如何通過增加意向性和能力的歸因來解釋這種看法。可解釋的系統還可能導致將責任錯誤地歸因于受算法決策影響的人(即患者)。可解釋的系統給人以自信和授權的印象,暗示患者應該承擔一些責任。這個概念是不正確的,可能會被試圖逃避算法決策責任的設計師所利用。

付費5元查看完整內容

摘要

指揮與控制是聯合軍事行動的核心內容之一,然而,現代安全威脅性質、全球技術民主化以及信息流動速度和范圍都對傳統的作戰范式造成了壓力,需要進行根本性的轉變,以便更好地在多個物理和虛擬領域進行同步整合和操作。在本文中,我們旨在通過提出三個概念來應對這些挑戰,這些概念將指導人類-人工智能綜合指揮與控制系統的創建,其靈感來自于商業部門和學術界的最新進展和成功。第一個概念是一個將人工智能能力整合到事業的框架,優化勞動力中的信任和性能。第二個概念是通過對信息抽象、團隊合作和風險控制的動態管理,實時創建多組織多領域的任務團隊,從而促進多領域的運作。第三種是多級數據安全和多組織數據共享的新范式,這將是未來聯合和聯盟多域作戰的一個關鍵推動因素。最后,我們提出了一系列建議,以研究、開發和實例化這些指揮與控制能力方面的變革性進展。

關鍵詞--人與人工智能系統,多域指揮與控制,分布式貝葉斯組合分析,信任網絡

I. 前言

在聯合軍事行動中,聯合部隊指揮官承擔的最關鍵角色之一是指揮和控制(C2),即對指定的部隊行使指揮權力,以實現集體目標[1]。在現代軍事環境中,C2增強了指揮官做出知情和及時決策的能力,并得到了提供態勢感知的分布式信息和通信系統的復雜企業的支持。傳統上,通過政策和技術,C2被限制在單個物理領域,如空中、陸地和空間,以及虛擬領域,如網絡,導致不同領域的信息整合面臨挑戰。然而,現代同行和跨國安全威脅的復雜性要求有能力在多個領域進行整合和聯合行動,美國政府目前正在調查技術和方法,以實現和加強多領域的C2[2]。

遷移到一個多域的作戰結構,在技術、人力、理論和文化方面有許多挑戰。現有的武器和信息系統是建立在使用專有數據交換機制的傳統硬件和軟件上的,抑制了現代化和更廣泛的整合。來自各種來源和組織的人類和傳感器產生的數據以臨時的方式結合在一起,并在多個網絡的多個安全級別上進行存儲和分隔,往往抑制了多組織的聯合信息共享和決策。此外,這些系統幾乎沒有自動化,操作起來也是人力密集型的,隨著人力的固定以及任務范圍和責任的增加,這些系統將無法擴展。在自動化和分析系統存在的地方,由于缺乏培訓、透明度和衡量的性能(包括真實的和感知的),它們受到了濫用和不良的信任校準。同時,美國政府高級領導層評估說,技術的民主化已經使戰場變得平坦,美國未來的戰略優勢取決于利用人工智能(AI)的能力,如機器學習、計算機視覺和自主系統,并將其與勞動力結合起來,創建共生的人機團隊[3]。

在本文中,我們研究了在美國武裝部隊中實現綜合多域作戰結構的挑戰,并比較和對比了商業部門和學術界的類似既定方法。我們提出三個概念來應對這些挑戰。首先,我們開發了一個框架,以幫助人工智能(AI)能力的發展、成熟和擴散到業務中,并將優化員工隊伍中的信任和表現的過程制度化。其次,我們探討了如何通過平衡的信息管理和動態管理的風險,使多域作戰得以創建。最后,我們描述了一個多級數據安全和多組織數據共享的新范式,這將是未來聯合和聯盟多域作戰的一個關鍵推動因素。

付費5元查看完整內容

這本書提供了使“機器學習”系統更可解釋的最新概念和可用的技術的全面介紹。本文提出的方法幾乎可以應用于所有當前的“機器學習”模型: 線性和邏輯回歸、深度學習神經網絡、自然語言處理和圖像識別等。

機器學習(Machine Learning)的進展正在增加使用人工代理來執行以前由人類處理的關鍵任務(醫療、法律和金融等)。雖然指導這些代理設計的原則是可以理解的,但目前大多數深度學習模型對人類的理解是“不透明的”。《Python可解釋人工智能》通過從理論和實踐的角度,填補了目前關于這一新興主題的文獻空白,使讀者能夠快速使用可解釋人工智能的工具和代碼。

本書以可解釋AI (XAI)是什么以及為什么在該領域需要它為例開始,詳細介紹了根據特定背景和需要使用XAI的不同方法。然后介紹利用Python的具體示例對可解釋模型的實際操作,展示如何解釋內在的可解釋模型以及如何產生“人類可理解的”解釋。XAI的模型不可知方法可以在不依賴于“不透明”的ML模型內部的情況下產生解釋。使用計算機視覺的例子,作者然后著眼于可解釋的模型的深度學習和未來的展望方法。從實踐的角度,作者演示了如何在科學中有效地使用ML和XAI。最后一章解釋了對抗性機器學習以及如何使用對抗性例子來做XAI。

//www.springer.com/gp/book/9783030686390

付費5元查看完整內容

機器學習的巨大成功導致了AI應用的新浪潮(例如,交通、安全、醫療、金融、國防),這些應用提供了巨大的好處,但無法向人類用戶解釋它們的決定和行動。DARPA的可解釋人工智能(XAI)項目致力于創建人工智能系統,其學習的模型和決策可以被最終用戶理解并適當信任。實現這一目標需要學習更多可解釋的模型、設計有效的解釋界面和理解有效解釋的心理要求的方法。XAI開發團隊正在通過創建ML技術和開發原理、策略和人機交互技術來解決前兩個挑戰,以生成有效的解釋。XAI的另一個團隊正在通過總結、擴展和應用心理解釋理論來解決第三個挑戰,以幫助XAI評估人員定義一個合適的評估框架,開發團隊將使用這個框架來測試他們的系統。XAI團隊于2018年5月完成了第一個為期4年的項目。在一系列正在進行的評估中,開發人員團隊正在評估他們的XAM系統的解釋在多大程度上改善了用戶理解、用戶信任和用戶任務性能。

付費5元查看完整內容

我們給出了一個關于調查透明度和可解釋性的前沿教程,因為它們與NLP有關。研究團體和業界都在開發新的技術,以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告,我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后,我們將討論NLP任務的可解釋性,并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究,該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。

自然語言處理中可解釋AI的現狀調研

近年來,最領先的模型在性能上取得了重要的進步,但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述,在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類,以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術,以作為社區中模型開發人員的資源。最后,我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。

//www.zhuanzhi.ai/paper/377e285abccf56a823a3fd0ad7a3f958

付費5元查看完整內容

【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊,涵蓋可解釋人工智能的簡述論文,論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。

//robotics.sciencemag.org/content/4/37/eaay7120

最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮,為各種領域提供了廣泛的益處。然而,許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說,解釋可能不是必要的,一些人工智能研究人員認為,強調解釋是錯誤的,太難實現,而且可能是不必要的。然而,對于國防、醫學、金融和法律的許多關鍵應用,解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。

最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能,但它們在可解釋性方面是不透明的。ML性能(例如,預測準確性)和可解釋性之間可能存在固有的沖突。通常,性能最好的方法(如DL)是最不可解釋的,而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。

圖1 ML技術的性能與可解釋性權衡。

(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型,以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如,訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。

什么是XAI?

一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么,現在正在做什么,接下來會發生什么; 披露其所依據的重要信息(4)。

然而,每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此,可解釋性和可解釋性的定義是與域相關的,并且可能不是與域獨立定義的。解釋可以是全面的,也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如,某些變量和相關變量的單調性服從特定關系),而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。

來自用戶的期望

XAI假設向最終用戶提供一個解釋,該用戶依賴于AI系統所產生的決策、建議或操作,然而可能有許多不同類型的用戶,通常在系統開發和使用的不同時間點(5)。例如,一種類型的用戶可能是智能分析師、法官或操作員。但是,需要對系統進行解釋的其他用戶可能是開發人員或測試操作員,他們需要了解哪里可能有改進的地方。然而,另一個用戶可能是政策制定者,他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型,能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組,他們的背景知識可能不同,需要解釋什么。

可操作性——評估和測量

一些方法提出了一些評價和衡量解釋有效性的方法;然而,目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量,例如用戶滿意度,可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即,這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。

XAI -問題和挑戰

在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。

  1. 從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習,包括讓用戶與解釋交互以提供反饋和指導學習?

  2. 準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡,并在準確性、可解釋性和可處理性之間取得平衡。

  3. 使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰,而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。

  4. 解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力,包括一個特定的人工智能系統有哪些能力,如何衡量這些能力,以及人工智能系統是否存在盲點;也就是說,有沒有一類解是永遠找不到的?

從以人為本的研究視角來看,對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來,XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋,而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理,以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看,XAI的未來才剛剛開始。

本期刊論文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我們會相信機器人嗎?科幻小說說沒有,但可解釋的機器人可能會找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的強化學習方法能從形式化的語言中獲得回報,并保證了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

參考文獻:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

?

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

付費5元查看完整內容
北京阿比特科技有限公司