亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

系統介紹可信推薦系統構建與技術

推薦系統(RS)服務于以人為中心的人工智能的最前沿，被廣泛部署在web的幾乎每個角落，并促進了人類的決策過程。然而，盡管RS具有巨大的能力和潛力，但它也可能會對用戶、物品、生產者、平臺，甚至整個社會產生不利影響，例如由于不透明而損害用戶信任，對不同消費者或生產者的不公平對待，因個性化廣泛使用用戶私人數據而造成的隱私問題，等等。所有這些都導致了對可信推薦系統(TRS)的迫切需求，以減輕或避免這些不利影響和風險。在本次綜述中，我們將介紹值得信賴和負責任推薦的相關技術，包括但不限于可解釋推薦、推薦公平性、隱私感知推薦、推薦穩健性、用戶可控推薦，以及這些不同視角在值得信賴和負責任推薦中的關系。我們希望通過此次綜述，讓讀者對研究領域有一個全面的認識，并引起社會對可信推薦的重要性、已有的研究成果和未來的研究方向的關注。

推薦系統(RS)廣泛應用于各種系統，如電子商務、社交網絡、搜索引擎、新聞門戶、招聘平臺、智能助手、智能家居和智能城市服務，以及醫療保健和金融應用，其提供高質量服務的能力已得到公認，通過為每個人提供量身定制的內容，彌合用戶和項目之間的差距。推薦系統不僅可以幫助用戶更高效地找到相關信息，還可以通過提供相關建議來直接影響人類的決策過程，甚至可以通過將所選擇的內容暴露給用戶來塑造用戶的世界觀。總的來說，推薦系統是以人類為中心的AI研究的前沿，是人類和AI之間的橋梁。

然而，RS有利有弊，它既可能帶來希望，也可能帶來風險。越來越多的人擔心，不負責任地使用推薦技術可能會帶來反作用和不可信的問題，例如不透明導致用戶信任受損，不同用戶、生產者或平臺受到不公平對待，大量使用用戶隱私數據進行個性化帶來的隱私問題，用戶缺乏可變性導致用戶已有興趣的反復強化而產生的回音室——這些問題還在繼續擴大。這些漏洞極大地限制了推薦算法的開發和部署，甚至可能導致嚴重的經濟和社會問題。因此，在開發現代推薦系統時，僅僅考慮推薦準確度是不夠的。我們還需要確保模型是公平的，沒有被篡改，不會在不同的條件下崩潰，可以被人類理解。此外，RS的設計和開發過程也需要透明和包容。除了準確性之外，所有這些使推薦系統安全、負責、值得我們信任的考慮因素都與值得信賴的推薦系統研究有關。由于推薦系統是以人為中心的人工智能研究的一個重要方向，直接涉及到人類的循環，值得信賴的推薦系統(TRS)在過去的幾年里一直領導著值得信賴的人工智能(TAI)的研究，包括可信性、公平性、魯棒性、隱私等方面的定義、方法和評估，以及人類如何與值得信賴的人工智能系統進行交互。

因此，作為推薦系統研究背景下值得信賴人工智能的一個重要實例，在本綜述中，我們將值得信賴的推薦系統引入為可解釋性、公平性、隱私性、魯棒性和可控性等可信賴核心方面的勝任RS。我們相信，在設計推薦系統時，將這些方面結合起來，將提高推薦系統的責任感，獲得人類用戶的信任，并顯著促進推薦系統的社會效益。與現有綜述的差異。最近已經有一些針對推薦場景中特定倫理問題的綜述，如可解釋性[61,340]、偏見和公平[54,77,178,225,288,328]、隱私保護[140,308]、用戶可控性[142,143]等。這些調查成功地強調了推薦系統社會責任的重要性，導致了這一重要研究方向的進一步發展。然而，這些問題只是以各自獨立的方式呈現出來，而對推薦中的可信度以及各種可信度觀點之間的內在關系的系統認識是非常必要的。與我們的研究最接近的是Dong等人[82]和Mobasher等人[207]。然而，【82】只涉及用戶社會關系、魯棒性和可解釋性，【207】只討論了推薦中的攻擊模型和算法魯棒性，并沒有考察這些概念之間的內在關系。相比之下，我們的工作在更全面的視角上引入了可信度，強調了視角之間的關系，并闡明了探索視角交叉的開放性問題和未來方向。

**與其他值得信賴的人工智能研究的關系。**由于它的重要性和必要性，關于值得信賴的人工智能(TAI)的含義有很多討論和爭論。特別是Toreini等人[273]研究了人工智能的信任，并將人工智能的屬性總結為能力、仁慈、正直和可預測性;Varshney[280]認為，一個值得信賴的機器學習系統應該具有足夠的基本性能、可靠性、人類互動和無私性;Liu等人[186]認為TAI是一種無威脅或無風險的項目，并關注實現可信度的六個維度:安全性與穩健性、非歧視與公平、可解釋性、隱私性、問責性與可審計性以及環境福祉。此外，在2019年，歐盟(EU)提出了《值得信賴的AI1倫理準則》，要求人工智能系統應滿足四項倫理原則:尊重人類自主權、防止傷害、可解釋性和公平性[6]。雖然現有文獻從不同角度探討了誠信的空間，但得到最多認可和共識的幾個關鍵方面是可解釋性、公平性、隱私性、魯棒性和可控性，我們認為這些也是TRS的關鍵組成部分。

該綜述的主要讀者是RS的研究人員、技術人員和專業人員，他們的目標是使推薦系統更值得信賴和負責任。另一方面，由于推薦系統是一個非常具有代表性和普遍性的以人為中心的AI系統，因此綜述的目標讀者還包括一般AI研究人員、實踐者、理論家以及對AI的可信度、倫理和法規感興趣的公共決策者。余下的綜述安排如下:第2節介紹了推薦系統的初步知識和一些有代表性的推薦算法。第3、4、5、6、7節分別關注可解釋性、公平性、隱私性、穩健性和可控性。最后一部分是對全文的總結。

可解釋性

可解釋推薦一直是業界和學術界的一個重要領域，旨在提高推薦系統的透明度、用戶滿意度和可信度[340,341]。具體來說，目標是提供可理解的理由以及推薦的項目，以幫助利益相關者做出更好和可靠的決策，同時提高推薦系統的透明度和可信度。推薦系統中的解釋可以幫助模型開發人員理解和調試決策過程的工作機制，也可以促進使用系統產生的結果的最終用戶更好地參與和信任。除了基于web門戶的推薦系統，解釋也被集成到對話式推薦界面中，如蘋果Siri、微軟Cortana和亞馬遜Alexa，作為終端用戶的直接交互門戶[62]。它們能夠提供清晰的用戶偏好，智能地與用戶進行交互，并結合一定的建議提供解釋。

公平性

長期以來，推薦系統一直被認為是“善意”的系統，它幫助用戶(例如，通過幫助他們找到相關的物品)，并為企業創造價值(例如，提高銷售額或提高客戶留存率)[141]。然而，近年來，學術界和產業界都對建議書中的公平性問題提出了相當大的關注[178]。一些研究認為，RS可能在幾個方面容易受到不公平的影響，這可能會對代表性不足或弱勢群體造成不利后果[109,176,180,254]。例如，在電子商務系統中，RS可能主要促進某些生產者的利潤最大化[103]，或者在在線就業市場中，RS可能會導致種族或性別歧視，不成比例地向某些用戶群體推薦低報酬的工作[109]。因此，為了提高RS[2]中不同利益相關者的滿意度，研究推薦中的公平性，建立可信負責的制度是很重要的。

隱私

隨著人們對收集和分析個人數據的機器學習方法的日益關注，數據隱私的道德需求已在強制性法規和法律中得到正式承認[22,281]。因此，近年來保護隱私的機器學習的研究得到了長足的發展[185]。人們相信，一個更值得信賴的網絡服務應該提供保護隱私的解決方案，以避免系統的任何參與者不希望的信息暴露。在推薦系統和一般的機器學習領域中，都存在多種隱私定義[5,148,255,257]，在大多數情況下，它們具有相同的成分:

• 私人信息: 需要限制訪問的關鍵或有價值的信息。例如，用戶身份和用戶敏感屬性(如性別、年齡、地址等)。
• 所有權: 只有被授權的實體才能訪問和控制相應的私人信息，實體可能指的是用戶甚至平臺本身。
• 威脅: 旨在獲取或操縱私人信息的惡意實體(系統內部或外部)。注意，這些實體可能利用輔助公共信息進行滲透或攻擊。
• 隱私保護的目標: 維護私人信息的所有權，并找到應對威脅的對策。在本節中，我們采用了這些術語，并討論了推薦系統(RS)領域中的隱私問題。

魯棒性

雖然推薦系統提高了信息搜索的效率，對客戶和生產者都有好處，但它也可能使系統的用戶在魯棒性方面受到威脅，這為第三方通過配置文件注入攻擊(又稱先令攻擊)操縱用戶的推薦結果留下了空間。這些攻擊的動機往往是惡意的，例如個人獲得不正當利潤、滲透某些商品/品牌的市場，甚至造成系統故障。由于推薦系統已經在許多高風險決策場景中被采用，這種漏洞引發了人們對如何在推薦系統中安全地采用機器學習技術的擔憂，以及如何精心設計推薦系統，使其在抵御攻擊者[13]的侵入時具有魯棒性和可信性的擔憂。

可控性

人工智能的可控性是人類面臨的最重要的問題之一[313]，它是用戶與智能系統交互時必不可少的，在人機交互(HCI)領域已經研究了20多年[11,276]。在與人類互動的推薦系統中[154,199,245,250,258]，可控性的重要性不可忽視。然而，盡管最近推薦性能有了成功的改進，但推薦系統中的可控性問題已經成為一個新的主要問題:目前大多數的RS大多是系統用戶不可控的，用戶只能被動地接收推薦結果。更具體地說，在使用非可控推薦系統時，用戶只能被動地選擇接受或不接受推薦結果，而很難控制自己收到的推薦結果是什么，更重要的是控制推薦系統對自己的了解。事實上，可控性是構建值得信賴的推薦系統的一個重要方面。最近的研究表明，即使推薦精度很高，用戶也可能不滿意[128,198]，增加用戶對推薦系統的可控性可以增加用戶對推薦結果的滿意度和信任度[133,142,146,153,197,305,340]。

結論

本綜述總結了當前可信推薦系統研究的發展和趨勢，旨在促進和推進未來可信推薦系統的研究和實施。本綜述從技術角度為全面開發值得信賴的推薦系統提供了路線圖。我們首先定義推薦系統的可信性，并通過對可信性原則的分類來說明它們的特點。隨后，我們從可解釋性、公平性、隱私性、可控性和魯棒性等方面介紹并討論了可信推薦系統的最新進展。我們描述了每個組成部分的基本思想，詳細概述了每個組成部分的現有方法，并建議了這些組成部分未來的研究方向，特別是從跨方面的角度。總的來說，值得信賴的推薦系統的研究領域是重要的，并且隨著一系列不同的方法和應用而蓬勃發展，同時，使推薦系統負責任和值得我們信任是我們的研究界需要應對的最大挑戰之一。我們希望這項綜述能夠為這一領域感興趣的研究人員提供足夠的背景和知識來迎接這一挑戰。

在過去的幾年里，人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而，人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域，它有助于提取信息，并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后，討論了傳統AI技術的使用及其相關挑戰，這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后，從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。

引言

網絡安全是程序、控制和技術的應用，以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示，數據泄露造成的平均損失在全球范圍內為386萬美元，在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響，還包括后續調查，以確定違約的原因、相關的應對措施、收入損失、停機時間，以及最重要的聲譽品牌損害[3]。

考慮到這些成本，大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護，對網絡攻擊提供防御，以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索，妨礙正常的商業運作。因此，在這方面部署明智、有效和高效的應對措施是絕對必要的。例如，美國國家標準與技術研究所(NIST)開發了一個網絡安全框架，幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織，即ISO27000系列資訊保安標準，旨在滿足類似的需要。盡管存在這樣的方法和標準，攻擊者仍然在安全框架中發現漏洞，這些漏洞可以繞過極其強大的防御措施。在大流行危機期間，當專業規范從辦公室變為在家工作時，網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。

網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息，從而有效減少網絡漏洞。更具體地說，身份和訪問管理(IAM)，例如，框架用戶角色和訪問權限，建立標準，訪問權限可以被監控。IAM技術包括單點登錄功能，其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶，只提供對特定合法用戶的訪問，減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外，在出現安全漏洞的情況下，這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。

有各種綜合的數據安全平臺，包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如，安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合，對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法，用戶行為分析和人工智能/機器智能(AI/ML)，以檢測軟件產品和服務領域的異常[7]。

網絡安全風險管理有助于理解安全威脅的各種特征，以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則，強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本，并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響，從而平衡減少或緩解風險影響的相關成本。

值得一提的是，ISO27000這類國際標準家族的范圍，強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成，涵蓋了組織網絡安全的所有方面。為了適用該標準，必須評估現有風險，確定適用的控制措施，評估這些控制措施帶來的緩解效果，評估應用這些控制措施的成本，還必須評估所引入的任何次級風險的緩解效果。控件將被應用于： (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。

人工智能如何幫助網絡安全

機器學習(ML)算法是在以往經驗的基礎上訓練的，以便做出類似人類行為的決定。此外，ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外，在過去幾年中，基于機器學習的自動化安全工具已經得到了發展，它們可以自動響應威脅，執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似，但又不同于其他聚類中的數據對象。因此，聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面，分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別，使用無監督學習技術。回歸分析是一種統計技術，它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。

AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互，以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。

反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如，Cylance智能防病毒產品是為了滿足類似的目標，為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅，而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼，并用于基于生物識別的認證系統，提供更強的保護層，黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息，如DNA、靜脈、指紋、虹膜等，并將這些信息轉換為人工智能系統可以理解的代碼。相反，行為識別系統捕捉獨特的行為特征，如聲音、個人打字節奏、與物體的交互方式，然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。

AI在網絡安全方面的局限性使XAI成為必要

人工智能在網絡安全領域的應用帶來了許多挑戰。特別是，人工智能應用引入了大量的反指示和次級風險，它們成為惡意行為者發起攻擊的載體。例如，攻擊者可能會成功地避開基于ML的檢測。更具體地說，攻擊者可能會操縱惡意軟件文件，使基于人工智能的檢測框架無法識別任何惡意或異常活動，這就是通常所說的規避攻擊。類似地，基于人工智能的網絡安全應用也存在各種威脅，如圖1所示，涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。

基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險，其中存在不準確的通知或假警報的可能性。[14]。在這種情況下，迫切需要確保采取必要的緩解措施，確保更準確地處理違約或異常事件的情況，從而保持所作決定的可解釋性和合理性。

實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16]，因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰，與上述問題相關，這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反，這些系統經常被黑客出于不道德的目的而破壞，這些黑客訓練或變異惡意軟件，使其具有AI免疫力，其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法，使數據操作不被發現，從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此，當前基于人工智能的系統面臨的挑戰在于，與基于模型的傳統算法[17]相比，它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓，那么無論基于人工智能的系統多么強大和準確，網絡安全都將成為一個具有普遍二級風險的黑匣子。

人工智能威脅體系

在深度強化學習的情況下，被確定為某些反應的原因的顯著特征，通常仍然無法解釋。例如，可以考慮貝葉斯推斷的計算，其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋，因此，XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用，為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣，在醫療保健領域，XAI的實施首先允許機器分析數據并得出結論。其次，它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中，基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據，這些數據與結構化數據相關聯，即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。

XAI能提供什么幫助

人工智能模型已經成功地應用于許多日益復雜的領域，通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍，人工智能應用的增長呈可視化指數增長。因此，在關鍵任務設置中對此類AI應用的需求迅速增長，其中AI被嵌入到眾多硬件智能設備中，從而實現無監督或遠程控制使用。然而，人工智能的應用帶來了相關的重大問題。過擬合，是監督式ML中的一個基本問題，其中統計模型與訓練數據完美匹配，阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時，模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降，在關鍵任務設置中，可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。

通過對模型的機制和推理的理解，可以在一定程度上減輕這些風險。不幸的是，傳統AI系統的黑箱特性成為瓶頸，即使是AI專家也無法提供合理的解決方案[19,20]。因此，透明度是必要的，它將使明智和合理的決策制定成為可能，并有助于為模型的行為提供準確的解釋。例如，在網絡安全系統的情況下，不合理和誤導性的預測可能會使系統非常容易受到攻擊，導致完全不安全的關鍵系統。隨著可解釋人工智能的實施，提供實用的、實時的基于人工智能的解決方案將變得更加容易，因為數據集中的偏見可以完全消除，從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信，確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行，但其可解釋性滯后。例如，對于id，網絡管理員很難理解入侵檢測背后的原因，并將其轉化為黑盒模型。在這種黑盒模型中，涉及決策制定的過程是具有挑戰性的，因為DNN在試錯過程中編輯特征，以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究，但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時，很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設，并且有效地處理了特征共線性問題。因此，可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中，我們探討了網絡和人工智能風險的競爭本質，并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊，該攻擊實現了XAI，損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊，這有助于鏈接用戶，并從泄露的數據集竊取他們的密碼，從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅，并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改，以準確分類錯誤分類的數據集樣本。在[22]中，提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術，有助于實現ML模型的每個層次的透明度。

該研究中使用的XAI方法包括SHAP和BRCG，能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征，從而將決策導出為輸出。考慮到分析師的視角，使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合，在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊，破譯導致分類的特征，然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素，并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇，從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比，基于決策樹的XAI方法提高了精度。

雖然有各種綜述文章關注AI在網絡安全中的應用，但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述，其中包括明確和廣泛的信息。因此，為了彌補這一差距**，本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看，使用XAI比使用AI的好處在圖3中得到了強調。

綜上所述，本研究的具體貢獻包括:

• 網絡安全和各種形式的攻擊的基本信息。
• 強調人工智能在網絡安全領域的各種應用，以及在解釋所產生的結果時存在的相關缺陷，是實施XAI的必要性
• 介紹了基于XAI的網絡安全框架在各個行業的應用

• 詳細討論了使用XAI實現網絡安全的各種研究項目和行業項目
• 從這些實施中獲得的經驗教訓將有助于確定該領域研究的未來范圍

可解釋性是構建可信人工智能系統的必要元素。來自普渡大學等幾位學者在SIGMOD2022《可解釋的人工智能》教程，130+PPT闡述XAI的基礎、應用、機會，非常值得關注！

算法決策系統被成功地應用于各種領域的不同任務。雖然算法決策的潛在好處很多，但信任這些系統的重要性直到最近才引起關注。人們越來越擔心這些系統復雜、不透明、不直觀，因此難以信任。最近，人們對可解釋人工智能(XAI)的興趣重新升溫。XAI旨在通過解釋模型的行為、預測或兩者兼有來減少模型的不透明性，從而使人類能夠仔細檢查并信任模型。近年來，針對模型的可解釋性和透明性問題，出現了一系列的技術進步和解釋方法。在本教程中，我們將介紹這些新穎的解釋方法，描述它們的優勢和局限性，將現有工作與數據庫(DB)社區聯系起來，并列舉在XAI環境下進行數據管理研究的機會。

引言

人工智能(AI)系統越來越多地用于關鍵領域的決策，如醫療保健、刑事司法和金融。然而，這些系統的不透明性和復雜性構成了新的威脅。越來越多的人擔心，這些系統的不透明可能會造成培訓數據[37]中反映的系統性偏見和歧視，從而損害分布在不同社會階層的利益攸關方。這些對透明度的呼吁重新激起了人們對可解釋人工智能(XAI -參見[50]最近的一項調查)的興趣，它旨在為算法決策系統的結果或過程提供人類可以理解的解釋。

XAI方法的發展受到技術、社會和倫理目標的推動[9,14,36,38,44]: (1)通過建立對決策結果的信任，提高社會對基于機器學習(ML)的決策算法的接受程度;(2)為用戶提供可操作的見解，以在未來改變算法的結果;(3)促進識別偏見和歧視等危害來源;(4)通過識別導致不利和意外行為的訓練數據中的錯誤或偏差，提供調試ML算法和模型的能力。政府法規要求企業使用自動化決策系統向最終用戶解釋其決策，進一步加劇了這一問題的緊迫性[1,16]。最近，人們提出了幾種方法來解釋ML模型的行為或預測。這些方法可以大致分為以下幾類:(a)可解釋性是通過設計(內在)還是通過事后系統分析(外在)實現的，(b)方法是否假設訪問系統內部(模型相關)或可以應用于任何黑箱算法系統(模型無關)，以及(c)方法生成的解釋是否迎合對單個實例的預測(局部)，解釋模型的整體行為(全局)或介于這兩個極端之間。

在本教程中，我們將詳細介紹當代XAI技術，并強調它們的優點和局限性。與現有的XAI教程相比，我們將在數據庫社區的背景下討論XAI的范圍，并概述一組利用XAI進展的數據管理研究的挑戰和機會，并為XAI研究的挑戰做出貢獻。本教程的學習結果如下。

• (1) 了解XAI技術的概況。
• (2) XAI技術與數據管理社區現有技術之間的聯系。
• (3) 暴露之前XAI提案的關鍵漏洞，以及數據管理技術如何在許多情況下提供幫助。
• (4) 接觸到一些新的機會，利用基于數據來源和因果推理的技術來解釋模型行為和調試AI管道。

涵蓋范圍

根據現有XAI技術[50]生成的結果，可以根據多個維度來解釋模型及其預測。目前有各種各樣的技術可以解決這些可解釋性的不同維度。例如，一些方法提供了代表用于訓練模型的數據的特征的全面總結，一些返回數據點以使模型可解釋，一些用固有的可解釋模型來近似模型，等等。本教程分為五個主題，涵蓋了這些不同維度的代表性技術。每個專題的內容總結如下。

2.1基于特征的解釋

解釋黑盒模型的一種常見方法是將模型輸出的責任歸因于它的輸入。這種方法類似于提供輸入特征的重要性。例如，在線性回歸的情況下，學習線性方程中的特征的系數可以作為特征重要性的指標。為訓練數據中的所有特征分配一個實數的最終目標可以通過多種方式實現。此外，該數字還可以表示該特征影響的程度和方向。我們將在本教程中介紹以下特征屬性方法。

2.2 基于規則的解釋

基于特征屬性的方法為每個特征值分配一個實值重要性分數。相反，基于規則的解釋生成一組規則作為對模型行為的解釋。輸出規則集滿足一個共同屬性，即只要遵守這些規則，模型就會提供一個特定的結果。理想情況下，這些規則應該簡明扼要，并適用于大量數據點。較長的規則(超過5個從句)是不可理解的，而非常具體的規則是不可概括的。錨[54]是一種試圖生成簡短且廣泛適用的規則的方法。它使用一種基于多武裝匪徒的算法來搜索這些規則。Lakkaraju等人使用可解釋的決策集來獲得一組if-then規則，這些規則可以用來解釋黑盒模型[43]。它們的目標函數旨在平衡和優化這些決策集的準確性和可解釋性。

2.3 基于訓練數據的解釋

與特征歸因方法相比，基于訓練數據的方法將ML算法的輸出歸為訓練數據集[10]的特定實例。基于數據的解釋的核心思想是，訓練數據影響模型，從而間接影響模型預測的結果。為了理解模型的預測，基于數據的解釋可以將模型參數和預測追溯到用于訓練模型的訓練數據。這些方法不是根據數據的特征(例如，年齡，性別等)，而是根據特定的數據點(例如，列舉20個數據點負責特定的模型輸出)來解釋模型的行為。基于數據的解釋有助于調試ML模型，理解和解釋模型行為和模型預測。在本教程中，我們將介紹以下基于訓練數據的方法。

2.4 對非結構化數據的解釋

深度學習已經非常成功，特別是在圖像分類和涉及圖像和文本的語言翻譯等任務中。盡管現有的XAI方法主要關注結構化數據，但在解釋ML模型預測優于非結構化數據方面已經取得了重大進展。例如，對圖像分類模型的解釋可以在各種名稱下找到，如敏感性地圖、顯著性地圖、像素屬性地圖、基于梯度的屬性方法、特征相關性、特征屬性和特征貢獻[50]。這些解釋通常會根據輸入像素對分類結果的重要性突出并排序。然而，單個像素可能對分類器的結果沒有很大的直接影響，但可以通過貢獻神經網絡從原始像素學習到的抽象特征和概念，間接影響其結果。已有研究表明，這些方法的計算成本很高，而且極易引起誤解、脆弱和不可靠[2,22,52]。類似地，可以將LIME[53]應用于文本數據，以識別解釋文本分類模型結果的特定單詞。計算機視覺中另一種流行的解釋類型是反事實解釋，這種解釋是通過改變圖像的最小區域產生的，從而導致分類結果的改變[72]。在本教程中，我們將關注結構化數據，因為它與DB社區更相關。

[1] 2016. Regulation (EU) 2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data, and repealing Directive 95/46/EC (General Data Protection Regulation). (2016). [2] Julius Adebayo, Justin Gilmer, Michael Muelly, Ian J. Goodfellow, Moritz Hardt, and Been Kim. 2018. Sanity Checks for Saliency Maps. In Advances in NeuralInformation Processing Systems 31: Annual Conference on Neural Information Processing Systems 2018, NeurIPS 2018, December 3-8, 2018, Montréal, Canada, Samy Bengio, Hanna M. Wallach, Hugo Larochelle, Kristen Grauman, Nicolò Cesa-Bianchi, and Roman Garnett (Eds.). 9525–9536. [3] Rakesh Agrawal, Tomasz Imieliński, and Arun Swami. 1993. Mining association rules between sets of items in large databases. In Proceedings of the 1993 ACM SIGMOD international conference on Management of data. 207–216. [4] Rakesh Agrawal, Ramakrishnan Srikant, et al. 1994. Fast algorithms for mining association rules. PVLDB.

葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

針對不同的異常檢測方法的差異及應用于工業物聯網（IIoT）安全防護的適用性問題，從技術原理出發，調研分析2000—2021年發表的關于網絡異常檢測的論文，總結了工業物聯網面臨的安全威脅，歸納了9種網絡異常檢測方法及其特點，通過縱向對比梳理了不同方法的優缺點和適用工業物聯網場景。另外，對常用數據集做了統計分析和對比，并從4個方向對未來發展趨勢進行展望。分析結果可以指導按應用場景選擇適配方法，發現待解決關鍵問題并為后續研究指明方向。

0 引言

隨著 5G 通信技術的快速發展，以及傳感器和處理器等嵌入式設備的計算和存儲能力不斷增加，這些網絡通信和嵌入式設備在工業系統中的應用越來越普遍。工業物聯網（IIoT, industrial Internet of things）是由應用程序、軟件系統和物理設備三者組成的大型網絡，這三者與外部環境以及人類之間進行通信和共享智能[1]。據埃森哲預測，到2030年，美國的工業物聯網價值將出到7.1 萬億美元，對歐洲而言價值將超過 1.2 萬億美元[2]。

在這波工業發展浪潮中，物聯網安全是影響工業物聯網廣泛使用的重要因素之一。事實上，物聯網設備的安全性通常很差，因此很容易成為攻擊者的目標。攻擊者利用這些設備可以進行毀滅性的網絡攻擊，如分布式拒絕服務（DDoS, distributed denial of service）[3-4]。傳統的工業環境在過去一直遭受攻擊，有的還造成了災難性的后果（例如，震網病毒[5]或故障超馳/工業破壞者[6]）。因此，如果沒有安全性，工業物聯網將永遠無法發揮其全部潛力。另外，工業系統對性能和可用性有嚴格的要求，即使系統受到網絡攻擊，維護系統不間斷和安全地運行也常常是優先考慮的。

異常檢測在防御系統和網絡的惡意活動中是至關重要的。近年來，為了緩解網絡攻擊，工業物聯網異常檢測方面的研究迅速增多，許多檢測機制被提出。另一方面，在異常檢測方面研究者已經從技術手段、應用場景等方面做了一些調研工作，如文獻[7-10]，但這些工作很少專門針對工業物聯網的特性和適用性進行深入剖析。近兩年，雖然出現了針對工業物聯網異常檢測的綜述性文章，但介紹的都不夠全面。例如，文獻[2]只介紹了基于系統規則、建模系統物理狀態的檢測方法，文獻[4]則只介紹了基于統計和機器學習的檢測方法。除了文獻[2,4]提到的檢測方法之外，還存在許多新穎的檢測技術。

因此，本文從技術原理的角度，梳理了基于系統不變性和物理狀態的建模、基于統計學習、特征選擇、機器學習、圖、邊緣/霧計算、指紋、生物免疫等算法的異常檢測技術，并詳細分析了各類技術的優缺點。由于用于工業異常檢測研究的數據集繁雜且多樣，本文詳細歸納了常用數據集的特點及其使用頻率，方便讀者對比和選擇。除此之外，本文針對工業物聯網典型場景的網絡威脅和異常檢測方法進行調研和綜述，介紹了邊緣/霧計算方法在異常檢測方面的應用，增加了對2021 年最新論文的調研，對不同檢測方法的特點和適用場景進行了深入分析。

1 工業物聯網面臨的安全威脅

工業4.0將信息通信技術應用于工業制造和自動化領域，極大地提高了生產力和效率。然而，這一進步的代價是擴大了工業系統的受攻擊面。針對工業物聯網的攻擊，可以分為被動攻擊和主動攻擊。被動攻擊是隱蔽的，通常無法檢測到，如竊聽和流量分析。主動攻擊包括丟包、回注、干擾網絡的正常運行等。惡意軟件感染、拒絕服務（DoS, denial of service）、未授權訪問和虛假數據包注入等主動攻擊通常是可以檢測到的[9]。下面簡要總結幾種主動攻擊的特點和目標。

惡意包注入攻擊。重放抓包，發送偽造或篡改的報文，以達到干擾或破壞系統操作的目的。 DoS攻擊。消耗系統或網絡資源，導致資源不可用。 未授權訪問攻擊。探測計算機或網絡以發現漏洞；對報文進行嗅探或攔截，用于收集信息。 除此之外，還涌現出了一些針對工業物聯網典型場景的威脅。 物理攻擊。例如針對交通運輸物聯網的物理攻擊，對交通設備節點本身進行物理上的破壞，如斷電、移動節點位置等，造成信息缺失、信息泄露等。 感知數據破壞。非授權地增刪、修改或破壞感知數據，例如針對新能源發電廠的電力物聯網生產數據篡改。 控制命令偽造攻擊。發送偽造的控制命令，從而達到破壞系統或惡意利用系統的目的，例如針對數控機床設備物聯網的控制命令偽造。 為了保護工業系統免受網絡攻擊，涌現出了各種安全措施，如加密通信數據、數據完整性校驗和訪問控制等方法，可以保護系統免受多種類型的攻擊。然而，即使這些安全措施已經到位，攻擊者仍然可以成功地對系統發起攻擊，如惡意包注入和DDoS攻擊等。因此，有必要對網絡進行異常檢測，以此來進一步保障工業系統的安全。

2 工業物聯網異常檢測

本節首先介紹了工業物聯網中存在的異常種類，進而詳細分析和梳理了現有的針對不同異常類別和不同應用場景的異常檢測方法。

2.1 異常種類

網絡攻擊以損害系統信息的機密性、完整性和資源的可用性為目標，通常以某種方式造成網絡運行偏離正常，表現出異常行為。因此，可以通過發現數據中不符合預期行為的模式來識別異常。現階段IIoT中主要存在3種異常[8]。 點異常。即個別數據實例相對于其余數據是異常的。例如，假設水溫傳感器值的預定義范圍是30℃～40℃，那么超出這個范圍的值將是一個異常點。 上下文異常。僅在特定上下文中表現異常的數據實例稱為上下文異常。這類異常多為空間數據或時序數據中的異常。 集合異常。如果相關數據實例的集合相對于整個數據集是異常的，則稱為集合異常。集合異常中的單個數據實例本身可能不是異常，但它們一起作為一個集合出現就是異常。例如，單個TCP連接請求是正常的，但是連續從同一個源收到多個這種請求就有可能是DoS攻擊，也就是異常。 網絡異常檢測是指檢測網絡流量數據中的異常，利用設備或軟件應用程序對網絡流量進行監控和分析，從而檢測出惡意活動。現有工業物聯網異常檢測方法可以分為基于系統不變性、物理狀態建模、統計學習、特征選擇、機器學習、邊緣/霧計算、圖、指紋以及生物免疫等算法的檢測方法。下面將針對每一種檢測方法的技術原理、現有研究成果、優缺點及適用應用場景做介紹梳理和深入分析。

2.2 基于系統不變性的檢測方法

系統不變性是指系統運行過程的“物理”或“化學”特性中的一個條件，每當系統處于給定狀態時，必須滿足該條件。通過分析物理不變性來檢測異常已經被應用于許多網絡信息物理系統（CPS, cyber-physical system）[11-14]。文獻[11]將所有組件的穩定性和正確性約束以邏輯不變性的形式表示出來，系統動作只有在保證不違反這些不變性時才能執行。針對 CPS 各個模塊的不變性，文獻[12]提出了統一不變性，開發了跨越系統各個層面的公共語義。然而，文獻[11-12]都是通過人工來產生物理不變性，開銷很大，且很容易出錯。為了解決這個問題，文獻[13]提出利用關聯規則挖掘算法自動識別系統不變性，該算法的優點是可以發現隱藏在設計布局中的不變性，避免了手動尋找的煩瑣。但是，這項技術僅適用于成對出現的傳感器和執行器，而在真實的CPS中，所有傳感器和執行器都是跨多個過程協同工作的。也有一些使用機器學習算法來挖掘CPS物理不變性的研究。例如，Momtazpour 等[14]采用預先發現潛在變量的外源性輸入自動回歸模型，以發現多個時間步內無線傳感器數據之間的不變性。Chen 等[15]利用代碼變異程序生成異常數據軌跡，然后利用支持向量機（SVM, support vector machine）分類器和統計模型檢驗來發現安全水處理實驗臺傳感器數據之間的不變性。文獻[16]采用幾種機器學習和數據挖掘技術的組合，系統地從工業控制系統（ICS, industrial control system）的操作日志以及執行器的狀態信息生成不變性。

2.3 基于物理狀態建模的檢測方法

CPS的底層過程一般由其工作原理控制，因此其過程狀態是可預測的。基于物理模型的異常檢測方法根據物理狀態對正常的物理操作進行建模，從而能夠從偏離物理操作模型的異常狀態中檢測到網絡攻擊。 文獻[17]提出了一個CPS攻擊彈性框架。該框架利用已知物理領域的數學描述，以及預測值和歷史數據信息，驗證預測值和測量值之間的相關性。文獻[18]描述了如何使用流體動力學模型來檢測供水網絡的物理故障和網絡攻擊，并通過狀態和測量方程以及未知輸入來建模水系統。該模型能夠反映傳感器、執行器故障或漏水等異常事件對系統的影響，但僅依靠建模物理模型來檢測網絡攻擊是不夠的，如果傳感器的測量值被破壞，則很難檢測到攻擊。為了識別攻擊者利用系統漏洞，注入合法的惡意控制命令來破壞電網的行為，文獻[19]提出結合電網物理基礎設施知識和網絡信息來檢測攻擊。該方法基于協議規范對數據包進行檢測，提取其中的關鍵控制命令，并通過電力系統運行方程進行仿真運行。通過仿真，對執行控制命令所產生的系統狀態進行估計，并與可信度量進行比較，從而識別攻擊。文獻[20]提出了一種針對電力領域的基于模型的異常檢測算法。該算法驗證了接收到的測量數據與控制底層物理系統運行的方程所獲得的預測數據的一致性。文獻[21]描述了一種基于模型的方法來保護智能電網。該方法基于系統狀態動力學方程，評估系統狀態，并與采集的測量值比較，檢測出受損的測量值。文獻[22]在一個水基礎設施實驗臺上測試了基于控制理論建模的故障檢測和基于網絡安全的異常檢測方法。結果表明，這2種方法都能有效地檢測出故障和攻擊，但存在一定的局限性。在物理故障和網絡攻擊同時進行的實驗中，網絡攻擊者可以躲避控制理論建模方法的檢測。因此，將物理動態建模方法中的狀態估計與網絡安全方法中的數據分析相結合，是提高 ICS 網絡安全的關鍵。

2.4 基于統計學習的檢測方法

基于統計的異常檢測方法為數據集創建一個分布模型，并與目標數據對象相匹配。假設正常數據落在高概率區間，而異常數據相對落在低概率區間，根據目標數據集中數據落在模型中的概率來判斷是否異常。Rajasegarar等[23-24]建立了2種異常檢測模型：統計檢測模型和非參數檢測模型。這2種模型可以應用于不同的場景，其中前者適用于數據類型和采樣周期預先確定的應用；而后者在沒有先驗知識的情況下，通過比較當前數據和相鄰數據的行為識別異常。費歡等[25]提出一種多源數據異常檢測方法。該方法主要應用于平臺空間，通過二維坐標的位置來確定2個節點之間的關系。類似地，文獻[26]提出基于密度的模型，通過分析電數據來發現太陽能發電系統的異常行為。 另外，傳感器數據的時間和頻率屬性能夠為建立時頻邏輯提供有價值的信息。時域信號（均值、標準差或方差等）可以描述有關系統行為的某些信息。例如，基于頻率的信號特性（傅里葉變換、小波變換等）可以單獨或結合時域特征來理解系統的行為[27]。工業系統復雜而廣泛，大量的傳感器被用于監控空間和物體，以為異常行為預測提供全面、多維度的運行數據。對于這種情況，基于相關性分析的方法[28]被證明可以更有效地識別異常。該方法能夠反映系統的真實表現，因為這些相關性可以從物理上反映系統的運行機制和條件。表1列出了基于統計學習方法的異常檢測在工業物聯網中的應用。

2.5 基于特征選擇的檢測方法

異常檢測處理的數據是人工從復雜的網絡系統中提取出來的。這些數據一般具有高維、強冗余、低相關性等特點。直接使用原始數據，檢測算法的性能會很差。而特征選擇的作用是從原始數據中選擇有用的特征，選出的特征具有更強的相關性、非冗余特性和更少的噪聲。這些特征可以幫助相關算法更高效、快速地區分、檢測和分類出不同的目標。因此許多研究者將其應用于入侵檢測系統（IDS, intrusion detection system）的設計中，以提高檢測精度，減少檢測時間。 這些研究通常來自2種觀點。一種是有效提取，如主成分分析（PCA, principal component analysis）。針對異常檢測系統耗時長、性能下降等問題，文獻[30]提出了一種混合的 PCA 神經網絡算法。該算法利用PCA變換對特征降維，使訓練時間減少約40%，測試時間減少約70%，同時還提高了檢測精度。文獻[31]基于核主成分分析和極限學習機（ELM, extreme learning machine）設計IDS。其中，核主成分分析用于特征矩陣降維。實驗結果表明，該系統比單純基于ELM或者SVM算法的IDS效率更高，速度更快。類似地，文獻[32]提出一種增量ELM與自適應PCA相結合的方法，該方法可以自適應地選擇相關特征以獲得更高的精度。然而，所有這些方法都沒有減少原始數據的特征量，總的時間消耗仍然非常大。另一種是有效特征選擇，如遺傳算法和最大相關最小冗余算法。文獻[33-34]將特征選擇問題定義為組合優化問題，提出基于局部搜索最優解算法來選擇有效的特征子集，用于檢測“正常”和“DoS”攻擊數據。雖然使用該算法選擇出的有效特征子集在檢測率和準確率方面都優于使用全部特征集，但也帶來了較高的誤報率。文獻[35]提出了一種基于遺傳算法的特征選擇方法來設計IDS以選擇最優特征，采用單點交叉而不是兩點交叉優化該遺傳算法的參數。總體而言，其給出了更好的結果，但在某些情況下分類率會下降。Feng 等[36]提出基于K近鄰和樹種子算法的IDS模型來選擇特征，減少特征冗余，檢測效率有所提升但準確率沒有明顯的改善。

上述方法有一個共同的缺點，即選擇的特征具有一定的隨機性和不確定性，不能應用于下次選擇。為了克服這個問題以及明確不同特征對異常檢測的影響，文獻[37]基于最大相關最小冗余特征選擇算法和 SVM 分類方法進行了一系列實驗。另外，為了進一步選取有效的特征，文獻[38]結合群體智能算法和強化學習，提出了一個名叫 QBSO-FS 的特征選擇模型，實驗結果表明，該模型確實優于傳統特征選擇算法。工業系統中基于特征選擇的異常檢測方法對比如表2所示。

2.6 基于機器學習的檢測方法

在工業系統中，機器學習方法（如貝葉斯網絡、k-means、ELM[39]、SVM、回歸等）已經被成功用于識別和檢測工業物聯網中的異常行為[10]。除此之外，聚類[40-42]、隨機森林[43]、孤立森林[44]和隱馬爾可夫模型[45]等算法也取得了不錯的成績。表3 總結了工業系統中基于機器學習的異常檢測方法。

單分類支持向量機（OCSVM, one class suport vector machine）是一種非常著名的異常檢測算法，被應用于許多應用領域中，它能夠學習可見數據的邊界，并將邊界之外的所有事件或數據點識別為系統異常行為[43,46-47]。為了進一步提升OCSVM 的性能，文獻[48]采用云灰狼優化算法對OCSVM參數進行優化。實驗結果表明，該算法在一定程度上確實提高了模型的檢測精度。與文獻[48]的工作不同，文獻[49]提出 2 種將OCSVM擴展到張量空間的異常檢測算法，即單分類支持塔克機和基于張量塔克分解以及遺傳算法的遺傳單分類支持塔克機。兩者都是針對傳感器大數據的無監督異常檢測，保留了數據結構信息的同時，提高了檢測的準確率和效率。

聚類方法以無監督的方式將特征相似的對象歸為一組，經過這種自動分組后，如果新的數據點不能被放入預定義的集群（組）中，則系統會將該數據點判為異常情況并生成警報[40,42]。梯度提升樹是一種集成學習分類器，文獻[50]用其檢測風力機螺栓斷裂問題的早期異常。該算法首先生成多棵決策樹，然后綜合所有樹的結果從而做出最終決策。梯度提升樹有個令人不容忽視的缺點，即不能處理海量數據。為了解決這個問題，文獻[51]提出結合輕量級梯度提升機和貝葉斯優化來檢測工業網絡流量中的異常。該方法在提高檢測效率和準確率的同時，減少了人工對模型訓練的參與度。

然而，機器學習方法有以下3個局限性：1) 性能很大程度上依賴所采用的特征工程技術的穩健性，限制了穩定性；2) 應用于大規模高維數據時，性能會嚴重惡化；3) 學習能力不夠強，無法應對工業物聯網環境中數據（網絡攻擊）的動態性。

2.6.1 深度學習方法

深度學習（DL, deep learning）是一種具有自動學習能力的智能算法，是機器學習的一個分支。由于 DL 對任何特征工程的獨立性、對動態環境的適應性以及強大的學習能力（特別是從高維數據中），其很快成為解決上述局限性的新的學習范式。各種各樣的 DL 方法已經成功應用于異常和入侵檢測，如卷積神經網絡（CNN, convolutional neural network）[52-53]、循環神經網絡（RNN, recurrent neural network）[54-56]、生成對抗網絡（GAN, generative adversarial network）[57-59]、脈沖神經網絡[60]、粒子深框架[61]和長短期記憶（LSTM, long short-term memory）網絡[56,62-66]。Ferrag等[53]對CNN、RNN和深度神經網絡（DNN, deep neural network）進行了入侵檢測研究，并對它們在不同配置下的性能進行了對比分析。Bhuvaneswari等[67]在基于霧的物聯網中引入向量卷積構建入侵檢測系統。但是，CNN有一個讓人無法忽視的缺點，即無法學習物聯網流量的長時依賴特征，而這正是 LSTM 網絡的優勢。因此， Saharkhizan等[68]提出使用LSTM來學習時序數據之間的依賴關系。該研究使用一個LSTM集合作為檢測器，將該檢驗器的輸出合并成決策樹，最終進行分類。

然而，這些模型的計算成本很高。為了解決這個問題，Liaqat等[69]提出了一個整合CNN和Cuda DNN LSTM的方案，該方案能夠及時有效地檢測出醫療物聯網環境中的復雜惡意僵尸網絡。

文獻[70]提出了一種壓縮卷積變分自動編碼器，用于IIoT中時間序列數據的異常檢測。該方法減少了模型的大小和推理的時間，但是分類性能基本上沒有提升。研究了卷積神經網絡在工業控制系統異常檢測的應用后，文獻[52]提出了一種基于測量預測值與觀測值的統計偏差的異常檢測方法，并指出一維卷積網絡在工業控制系統的異常檢測方面優于循環神經網絡。從網絡包內容分析的角度出發，文獻[66]提出了簽名+LSTM的多層異常檢測方法。其首先開發了一個數據包的基準簽名數據庫，并用布魯姆過濾器存儲該簽名數據庫同時檢測包異常，然后將該簽名數據庫作為數據源輸入LSTM中，來進行時間序列的異常檢測。為了保護集成電路免受網絡攻擊，文獻[71]采用 2 種異常檢測算法來做異常檢測，一個是傳統機器學習算法k-means，另一個是卷積自編碼算法，并取2種算法結果的邏輯與來作為最終的檢測結果。但是該方法在特征選擇時，沒有采用專有的特征選擇算法，僅僅通過人工過濾掉了不產生影響的屬性。另外，為了保護IIoT系統免受勒索軟件攻擊，文獻[72]提出了一種基于堆疊變分自編碼的檢測模型，該模型具有一個全連接神經網絡，能夠學習系統活動的潛在結構，并揭示勒索軟件的行為。為了提高檢測的準確率和降低出錯率，文獻[73]利用深度學習自編碼器結合編碼層的系數懲罰和重構損失來提取高維數據特征，然后使用極限學習機（ELM, extreme learning machine）對提取的特征進行快速有效的分類。文獻[59]提出一種基于雙向生成對抗網絡（BiGAN, bidirectional-GAN）的ICS入侵檢測策略。為了提高BiGAN模型在ICS入侵檢測中的適應性，該研究通過單變量原理和交叉驗證得到了最優模型。針對循環DL模型不能并行化且難以處理長流量序列的問題，文獻[74]設計了基于取證的深度學習模型，該模型使用局部門控制循環單元學習局部特征，并引入多頭注意力機制來捕獲和學習全局表示（即長期依賴）。文獻[75]設計了一個雙向多特征層的長短時記憶網絡。文獻[76]基于深度隨機神經網絡設計了入侵檢測方案，在訓練過程中，其選擇了數據集的41個最顯著的特征。文獻[77]提出了基于孿生卷積神經網絡的少樣本學習模型，以緩解ICPS中的過擬合問題，同時提高了智能異常檢測的準確率。表4展示了工業系統中的基于深度學習的異常檢測研究成果。

2.6.2 聯邦學習方法

聯邦學習是一種機器學習框架，能有效幫助多個機構在滿足用戶隱私保護、數據安全等要求下，進行數據使用和機器學習建模。近年來，為了在異常檢測的過程中不泄露用戶的隱私，聯邦學習在工業物聯網中的應用引起了學術界和產業界的極大興趣。為了保護用戶的隱私數據，Liu 等[78]將聯邦學習與深度異常檢測相結合，建立具有LSTM的卷積神經網絡模型，同時在聯邦學習的過程中利用基于Top-k 選擇的梯度壓縮機制降低通信代價以及提高通信質量。2021 年，Liu 等[79]在文獻[78]的基礎上引入注意力機制，進一步提高了異常檢測的準確率。Li 等[80]基于卷積神經網絡和門控遞歸單元設計了聯邦深度學習方案。該方案允許多個工業CPS以隱私保護的方式共同構建一個綜合性的入侵檢測模型，并利用Paillier加密機制保護訓練過程中模型參數的安全性和隱私性。值得一提的是，該模型僅適用于同域工業 CPS。文獻[81]提出了一種聯邦深度強化學習異常檢測算法，即利用聯邦學習技術，建立一個通用的異常檢測模型，然后采用深度強化學習算法訓練每個局部模型。由于聯邦學習過程中不需要局部數據集，減少了隱私泄露的機會。此外，通過在異常檢測設計中引入隱私泄露程度和動作關系，提高了檢測精度。表5總結了聯邦學習在工業異常檢測中的研究成果。

![](//cdn.zhuanzhi.ai/vfiles/dc9936dca231d5dd5c00c2bea62099f4

2.7 基于邊緣/霧計算的檢測方法

深度神經網絡的進展極大地支持異常物聯網數據的實時檢測。然而，由于計算能力和能源供應有限，物聯網設備幾乎負擔不起復雜的深度神經網絡模型。雖然可以將異常檢測的任務轉移到云上，但當數千個物聯網設備同時將數據傳到云上時，會導致時延和網絡擁塞。 一種新興架構——霧（邊緣）計算的出現，解決了上述問題。該架構旨在通過將計算、通信、存儲和分析等資源密集型功能轉移到終端用戶來減輕云和核心網絡的網絡負擔。霧計算系統能夠處理對時間要求嚴格的物聯網的能源效率和時延敏感型應用，如工廠的火災報警系統、地下采礦環境等，都需要快速檢測出異常。因此，涌現出許多基于霧（邊緣）計算的異常檢測框架[82-84]。文獻[85]針對數據異常檢測的準確性和時效性，提出了一種基于層次邊緣計算（HEC, hierarchical edge computing）模型的多源多維數據異常檢測方案。該研究首先提出了 HEC 模型，來實現傳感器端和基站端負載均衡和低時延數據處理；然后設計了一種基于模糊理論的單源數據異常檢測算法，該算法能夠綜合分析多個連續時刻的異常檢測結果。針對工業物聯網終端設備中數據量大的問題，文獻[86]先采用邊緣計算對傳感器數據進行壓縮優化（即預處理），進而利用k-means 聚類算法對處理后數據的離群值進行判斷。然而，壓縮技術會造成數據信息的損失，可能影響檢測精度。因此，需要權衡好壓縮率與檢測精度的關系。

與文獻[84-85]類似，文獻[87]同樣基于 HEC提出了自適應異常檢測方法。首先，構建了 3 個復雜度不斷增加的 DNN 異常檢測模型，并將其與 HEC 的三層（物聯網設備、邊緣服務器、云）自下而上關聯。然后，根據輸入數據的上下文信息自適應地選擇合適的模型進行異常檢測。表6展示了工業物聯網中基于云計算、邊緣計算和霧計算的異常檢測方法。從表6中可以看出，雖然文獻[87]的準確率和 F1 得分略低于文獻[84]，但平均時延大幅度降低了。由此可知其必然是犧牲了部分的精度來獲得較小的檢測時延。基于自適應圖更新模型，文獻[88]引入一種新的邊緣計算環境中的異常檢測方法。在云中心，利用深度學習模型對未知模式進行分類，根據分類結果定期更新特征圖，不斷地將分類結果傳輸到每個邊緣節點，利用緩存暫時保存新出現的異常或正常模式，直到邊緣節點接收到新的更新的特征圖。

2.8 基于圖的檢測方法

基于圖的異常檢測在醫療保健、網絡、金融和保險等各個領域都有應用。由于來自網絡、電子郵件、電話等的數據相互依賴，使用圖表檢測異常變得越來越流行。文獻[89]提出了一種基于知識圖譜的工業物聯網移動設備異常檢測方法，并利用可視化技術對檢測結果進行演示。具體地，作者使用優化后的基于頻繁項集的數據挖掘算法對數據進行分析，使提出的方法能夠準確地檢測出不同類型的并發攻擊。另外，作者還設計了可以將結果多維度可視化的異常告警模塊，幫助非專業用戶在工業領域充分了解網絡安全情況。文獻[90-91]引入了一種新的基于圖的異常檢測方法，并將背景知識添加到傳統圖挖掘方法的評價指標中。背景知識以規則覆蓋的形式添加，報告子結構實例覆蓋了最終圖的百分比。由于人們認為異常不會頻繁出現，因此作者假定，通過為規則覆蓋分配負權值，可以發現異常的子結構。該方法在不損失精度的同時，大大降低了檢測時間。表7介紹了工業物聯網中基于圖的異常檢測方法的研究成果。

2.9 基于指紋的檢測方法

指紋識別技術被廣泛應用在人們生活的方方面面，如企業考勤、智能小區等。另一方面，越來越多的無線智能設備被應用到ICS網絡中，由于設備的計算和存儲能力較弱，使用常規的加密方法和安全補丁來提高ICS網絡中遺留設備的安全水平幾乎是不可能的。因此，指紋識別技術的高度成功吸引了許多安全領域研究者的目光。已經有許多人將指紋技術的思想運用到檢測ICS網絡的異常工作中。文獻[92]提出 2 種設備類型指紋方法，來增強現有ICS環境下的入侵檢測方法。方法1利用ICS網絡的靜態和低時延等特征建立設備指紋，方法 2 采用物理操作時間為每個設備類型開發一個唯一的簽名。文獻[93]提出了一種混合增強設備指紋的方法，利用程序流程的簡單性和硬件配置的穩定性，通過過濾掉異常數據包，來實現ICS網絡中的異常檢測。為了消除對信號周期性的依賴，文獻[94]設計了一種不考慮周期性的異構工業物聯網設備指紋識別算法。該算法從信號傳輸的時間序列中提取模式，然后通過聚類得到的模式來學習設備的指紋。文獻[95]提出一種稱為過程傾斜的技術，該技術利用ICS過程中的小偏差（稱為工藝（process）指紋）進行異常檢測。表8展示了工業物聯網中基于指紋的異常檢測的研究成果。

2.10 基于生物免疫的檢測方法

基于異常的入侵檢測技術通常假陽性很高，這使一些學者將目光轉向其他領域以尋求突破。人工免疫系統（AIS, artificial immune system）是一類生物啟發計算方法，出現在20世紀90年代，連接了不同的領域，如免疫學、計算機科學和工程。基于AIS的IDS通常被用作異常檢測系統。文獻[96]在生物免疫系統的啟發下，提出了一種基于多智能體系統的入侵檢測新模型，該模型集成在網絡上的分布式代理行為中，以確保良好的入侵檢測性能。文獻[97]基于確定性樹突細胞算法（DDCA, deterministic dendritic cell algorithm）設計了用于工業場景的入侵檢測算法，該算法利用上下文與抗原之間的相關性作為異常檢測的基礎。DDCA的分類性能很大程度上依賴于特征選擇過程，高度相關的特征導致近似完美的分類，反之，相關性較差的特征在DDCA分類過程中會帶來非常負面的影響。為了能夠實時檢測異常，文獻[98]基于分層時間記憶網絡，構建了在線序列記憶算法。該分層時間記憶網絡不斷學習和建模輸入數據的時空特性，通過預測輸入和實際輸入之間的差異來更新其突觸連接。學習發生在每個時間步，但由于表示非常稀疏，因此只有小部分突觸被更新，大大節省了訓練時間。上文詳細介紹了工業物聯網領域的9種異常檢測方法。為了更加直觀地比較各種的算法，本文進而介紹了每種檢測方法的優缺點以及現有研究成果，如表9所示。

摘要

在過去的幾十年里，人工智能技術迅猛發展，改變了每個人的日常生活，深刻改變了人類社會的進程。開發人工智能的目的是通過減少勞動、增加生活便利、促進社會公益來造福人類。然而，最近的研究和人工智能應用表明，人工智能可能會對人類造成意外傷害，例如，在安全關鍵的情況下做出不可靠的決定，或通過無意中歧視一個或多個群體而破壞公平。因此，值得信賴的人工智能最近受到越來越多的關注，人們需要避免人工智能可能給人們帶來的負面影響，以便人們能夠充分信任人工智能技術，與人工智能技術和諧相處。近年來，人們對可信人工智能進行了大量的研究。在本次綜述中，我們從計算的角度對值得信賴的人工智能進行了全面的評述，幫助讀者了解實現值得信賴的人工智能的最新技術。值得信賴的人工智能是一個大而復雜的課題，涉及方方面面。在這項工作中，我們關注實現值得信賴的人工智能的六個最關鍵方面: (i) 安全性和健壯性，(ii) 非歧視和公平，(iii) 可解釋性，(iv) 隱私，(v) 問責性和可審計性，和(vi) 環境福祉。對于每個維度，我們根據一個分類回顧了最近的相關技術，并總結了它們在真實系統中的應用。我們還討論了不同維度之間的協調和沖突互動，并討論了值得信賴的人工智能在未來研究的潛在方面。

引言

人工智能(AI)是一門研究和發展模擬、擴展和拓展人類智能的理論、方法、技術和應用系統的科學，為現代人類社會帶來了革命性的影響。從微觀角度來看，人工智能在我們生活的許多方面發揮著不可替代的作用。現代生活充滿了與人工智能應用的互動: 從用人臉識別解鎖手機，與語音助手交談，到購買電子商務平臺推薦的產品; 從宏觀角度看，人工智能創造了巨大的經濟成果。世界經濟論壇的《2020年就業前景報告》[136]預測，人工智能將在5年內創造5800萬個新就業崗位。到2030年，人工智能預計將產生13萬億美元的額外經濟利潤，對全球GDP的年增長率貢獻1.2%[54]。然而，隨著其快速而令人印象深刻的發展，人工智能系統也暴露了其不值得信任的一面。例如，安全至關重要的人工智能系統在對抗攻擊時很脆弱。無人駕駛汽車的深度圖像識別系統可能無法識別被惡意攻擊者修改的路標[345]，對乘客安全構成極大威脅。此外，人工智能算法可能會導致偏見和不公平。在線人工智能聊天機器人可能會產生不雅、種族主義和性別歧視的內容[335]，冒犯用戶，并產生負面社會影響。此外，人工智能系統還存在泄露用戶隱私和商業秘密的風險。黑客可以利用人工智能模型產生的特征向量來重構私人輸入數據，如指紋[25]，從而泄露用戶的敏感信息。這些漏洞會使現有的人工智能系統無法使用，并可能造成嚴重的經濟和安全后果。對于人工智能來說，要想在一個領域取得進步、得到更廣泛的應用并創造更多的經濟價值，對誠信的擔憂已經成為一個巨大的障礙。因此，如何構建可信的人工智能系統成為學術界和業界關注的焦點。

近年來，出現了大量關于可信人工智能的文獻。隨著構建可信人工智能的需求日益增長，總結已有成果并探討未來可能的研究方向勢在必行。在本次綜述中，我們提供了值得信賴的人工智能的全面概述，以幫助新手對什么使人工智能系統值得信賴有一個基本的了解，并幫助老兵跟蹤該領域的最新進展。我們澄清了可信人工智能的定義，并介紹了可信人工智能的六個關鍵維度。對于每個維度，我們給出了它的概念和分類，并回顧了有代表性的算法。我們還介紹了不同維度之間可能的互動，并討論了值得信賴的人工智能尚未引起足夠關注的其他潛在問題。除了定義和概念，我們的綜述還關注實現可信人工智能每個維度的具體計算解決方案。這一視角有別于現有的一些相關工作，如政府指南[307]，建議如何以法律法規的形式建立一個值得信賴的人工智能系統，或綜述[51,318]，從高層次、非技術的角度討論值得信賴的人工智能的實現。

根據歐盟(EU)最近提供的人工智能倫理指南[307]，一個值得信賴的人工智能系統應符合四項倫理原則: 尊重人類自主、防止傷害、公平和可解釋性。基于這四個原則，人工智能研究人員、實踐者和政府提出了值得信賴的人工智能的各個具體維度[51,307,318]。在這項調查中，我們重點關注已經被廣泛研究的六個重要和相關的維度。如圖1所示，它們是安全性和穩健性、非歧視性和公平性、可解釋性、隱私性、可審計性和可問責性，以及環境福祉。

余下論文綜述組織如下。在第2節中，我們明確了值得信賴的AI的定義，并提供了值得信賴的AI的各種定義，幫助讀者理解來自計算機科學、社會學、法律、商業等不同學科的研究人員是如何定義值得信賴的AI系統的。然后，我們將值得信賴的人工智能與倫理人工智能和負責任的人工智能等幾個相關概念區分開來。在第3節中，我們詳細介紹了安全性和穩健性的維度，這要求人工智能系統對輸入的噪聲擾動具有穩健性，并能夠做出安全的決策。近年來，大量研究表明，人工智能系統，尤其是那些采用深度學習模型的系統，可能對有意或無意的輸入擾動非常敏感，對安全至關重要的應用構成巨大風險。例如，如前所述，自動駕駛汽車可能會被改變的路標欺騙。此外，垃圾郵件檢測模型可能會被設計良好的文本[30]郵件欺騙。因此，垃圾郵件發送者可以利用這個弱點，使他們的電子郵件不受檢測系統的影響，這將導致糟糕的用戶體驗。已經證明，人工智能算法可以通過提供的訓練例子學習人類的歧視，并做出不公平的決定。例如，一些人臉識別算法難以識別非洲裔美國人的面孔[280]或將其誤分類為大猩猩[168]。此外，語音聽寫軟件在識別男性聲音時通常比識別女性聲音表現得更好[277]。

在第4節中，我們介紹了非歧視和公平的維度，在這個維度中，人工智能系統被期望避免對某些群體或個人的不公平偏見。在第5節中，我們討論了可解釋性的維度，這表明AI的決策機制系統應該能夠向利益相關者解釋(他們應該能夠理解解釋)。例如，人工智能技術已經被用于根據患者的癥狀和身體特征進行疾病診斷[289]。在這種情況下，黑箱決策是不可接受的。推理過程應該對醫生和患者透明，以確保診斷的每個細節都是準確的。

研究人員發現，一些人工智能算法可以存儲和暴露用戶的個人信息。例如，在人類會話語料庫上訓練的對話模型可以記住敏感信息，如信用卡號碼，這些信息可以通過與模型交互而得到[164]。在第6節中，我們提出了隱私的維度，這需要一個人工智能系統來避免泄露任何私人信息。在第7節中，我們描述了可審計性和問責性的維度，該維度期望人工智能系統由第三方評估，并在必要時為人工智能故障分配責任，特別是在關鍵應用中[307]。最近，人工智能系統對環境的影響引起了人們的關注，因為一些大型人工智能系統消耗了大量的能源。作為一項主流的人工智能技術，深度學習正在朝著追求更大的模型和更多的參數的方向發展。因此，會消耗更多的存儲和計算資源。一項研究[312]表明，訓練BERT模型[110]需要排放大約1400磅二氧化碳，這與跨美國的往返飛行相當。因此，人工智能系統應該是可持續的和環境友好的。

在第8節中，我們回顧了環境福利的維度。在第9節中，我們將討論不同維度之間的相互作用。最近的研究表明，值得信賴的AI的不同維度之間存在一致性和沖突[307,333]。例如，深度神經網絡的魯棒性和可解釋性緊密相連，魯棒模型往往更具有可解釋性[122,322]，反之亦然[255]。此外，研究表明，在某些情況下，健壯性和隱私之間存在權衡。例如，對抗性防御方法會使模型更容易受到成員推理攻擊，增加了訓練數據泄漏的風險[308]。

除了上述六個維度，值得信賴的人工智能還有更多的維度，如人工代理和監督、可信性等。盡管這些額外的維度與本文中考慮的6個維度一樣重要，但它們還處于開發的早期階段，相關文獻非常有限，特別是對于計算方法而言。因此，在第10節中，我們將討論值得信賴的人工智能的這些方面，作為未來需要專門研究的方向。

我們給出了一個關于調查透明度和可解釋性的前沿教程，因為它們與NLP有關。研究團體和業界都在開發新的技術，以使黑箱型NLP模型更加透明和可解釋。來自社會科學、人機交互(HCI)和NLP研究人員的跨學科團隊的報告，我們的教程有兩個組成部分:對可解釋的人工智能(XAI)的介紹和對NLP中可解釋性研究的最新回顧; 研究結果來自一個大型跨國技術和咨詢公司在現實世界中從事NLP項目的個人的定性訪談研究。第一部分將介紹NLP中與可解釋性相關的核心概念。然后，我們將討論NLP任務的可解釋性，并對AI、NLP和HCI會議上的最新文獻進行系統的文獻綜述。第二部分報告了我們的定性訪談研究，該研究確定了包括NLP在內的現實世界開發項目中出現的實際挑戰和擔憂。

自然語言處理中可解釋AI的現狀調研

近年來，最領先的模型在性能上取得了重要的進步，但這是以模型變得越來越難以解釋為代價的。本調研提出了可解釋AI (XAI)的當前狀態的概述，在自然語言處理(NLP)領域內考慮。我們討論解釋的主要分類，以及解釋可以達到和可視化的各種方式。我們詳細介紹了目前可用來為NLP模型預測生成解釋的操作和可解釋性技術，以作為社區中模型開發人員的資源。最后，我們指出了在這個重要的研究領域目前的挑戰和未來可能工作方向。

//www.zhuanzhi.ai/paper/377e285abccf56a823a3fd0ad7a3f958

目前，深度神經網絡廣泛應用于醫療、自動駕駛汽車、軍事等直接影響人類生活的關鍵任務系統。然而，深度神經網絡的黑箱特性對其在關鍵任務應用中的應用提出了挑戰，引發了道德和司法方面的擔憂，導致信任缺失。可解釋人工智能(XAI)是人工智能(AI)的一個領域，它促進了一套工具、技術和算法，可以生成高質量的可解釋的、直觀的、人類可以理解的人工智能決策解釋。除了在深度學習中提供當前XAI景觀的整體視圖外，本文還提供了開創性工作的數學總結。首先，我們根據XAI技術的解釋范圍、算法背后的方法論以及有助于構建可信、可解釋和自解釋的深度學習模型的解釋級別或用法，提出了一種分類和分類方法。然后，我們描述了在XAI研究中使用的主要原則，并給出了2007年至2020年XAI里程碑式研究的歷史時間表。在詳細解釋了每一類算法和方法之后，我們對8種XAI算法在圖像數據上生成的解釋圖進行了評估，討論了該方法的局限性，并為進一步改進XAI評估提供了潛在的方向。

基于人工智能(AI)的算法，尤其是使用深度神經網絡的算法，正在改變人類完成現實任務的方式。近年來，機器學習(ML)算法在科學、商業和社會工作流的各個方面的自動化應用出現了激增。這種激增的部分原因是ML領域(被稱為深度學習(DL))研究的增加，在深度學習中，數千(甚至數十億)個神經元參數被訓練用于泛化執行特定任務。成功使用DL算法在醫療(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],發育障礙(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主機器人和車輛(You2019、Grigorescu2019 Feng2020],在圖像處理的分類和檢測[Sahba2018 Bendre2020Human], 在語音和音頻處理(Boles2017, Panwar2017),網絡安全(Parra2020Detecting, Chacon2019Deep), 還有更多DL算法在我們日常生活中被成功應用。

深度神經網絡中大量的參數使其理解復雜，不可否認地更難解釋。不管交叉驗證的準確性或其他可能表明良好學習性能的評估參數如何，深度學習(DL)模型可能天生就能從人們認為重要的數據中學習表示，也可能無法從這些數據中學習表示。解釋DNNs所做的決策需要了解DNNs的內部運作，而非人工智能專家和更專注于獲得準確解決方案的最終用戶則缺乏這些知識。因此，解釋人工智能決策的能力往往被認為是次要的，以達到最先進的結果或超越人類水平的準確性。

對XAI的興趣，甚至來自各國政府，特別是歐洲通用數據保護條例(GDPR) [AIHLEG2019]的規定，顯示出AI的倫理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics]， trust [Weld2019, Lui2018, Hengstler2016]， bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要實現，以及對抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺騙分類器決策方面的影響。在[Miller2019]， Miller等人描述了好奇心是人們要求解釋具體決策的主要原因之一。另一個原因可能是為了促進更好的學習——重塑模型設計并產生更好的結果。每種解釋都應該在相似的數據點上保持一致，并且隨著時間的推移對同一數據點產生穩定或相似的解釋[Sokol2020]。解釋應該使人工智能算法表達，以提高人類的理解能力，提高決策的信心，并促進公正和公正的決策。因此，為了在ML決策過程中保持透明度、信任和公平性，ML系統需要一個解釋或可解釋的解決方案。

解釋是一種驗證人工智能代理或算法的輸出決策的方法。對于一個使用顯微圖像的癌癥檢測模型，解釋可能意味著一個輸入像素的地圖，這有助于模型輸出。對于語音識別模型，解釋可能是特定時間內的功率譜信息對當前輸出決策的貢獻較大。解釋也可以基于參數或激活的訓練模型解釋或使用代理，如決策樹或使用梯度或其他方法。在強化學習算法的背景下，一個解釋可能會給出為什么一個代理做了一個特定的決定。然而，可解釋和可解釋的人工智能的定義通常是通用的，可能會引起誤解[Rudin2019]，應該整合某種形式的推理[Doran2018]。

AI模型的集合，比如決策樹和基于規則的模型，本質上是可解釋的。但是，與深度學習模型相比，存在可解釋性與準確性權衡的缺點。本文討論了研究人員解決深度學習算法可解釋性問題的不同方法和觀點。如果模型參數和體系結構是已知的，方法可以被有效地使用。然而，現代基于api的人工智能服務帶來了更多的挑戰，因為該問題的相對“黑箱”(Castelvecchi2016)性質，即終端用戶只掌握提供給深度學習模型的輸入信息，而不是模型本身。

在這個綜述中，我們提供了一個可解釋算法的全面概述，并將重要事件的時間軸和研究出版物劃分為三個定義完好的分類，如圖1所示。不像許多其他的綜述，只分類和總結在一個高水平上發表的研究，我們提供額外的數學概述和算法的重大工作在XAI領域。調查中提出的算法被分成三個定義明確的類別，下面將詳細描述。文獻中提出的各種評價XAI的技術也進行了討論，并討論了這些方法的局限性和未來的發展方向。

我們的貢獻可以概括如下:

• 為了系統地分析深度學習中可解釋和可解釋的算法，我們將XAI分類為三個定義明確的類別，以提高方法的清晰度和可訪問性。

• 我們審查，總結和分類的核心數學模型和算法，最近XAI研究提出的分類，并討論重要工作的時間。

• 我們生成并比較了八種不同XAI算法的解釋圖，概述了這種方法的局限性，并討論了使用深度神經網絡解釋來提高信任、透明度、偏差和公平的未來可能的方向。