隨著5G商業化的到來,下一代超5G(B5G)的無線電接入技術需要更可靠、更快、更智能的電信系統。人工智能(AI)和機器學習(ML)不僅在服務層應用中大受歡迎,而且還被提議作為B5G網絡的多方面重要推動者,從物聯網設備和邊緣計算到基于云的基礎設施。然而,大多數現有的B5G安全綜述都集中在AI/ML模型的性能和它們的準確性上,但它們往往忽略了模型決策的責任和可信度。可解釋人工智能(XAI)方法是很有前途的技術,可以讓系統開發者識別AI/ML黑盒模型的內部工作原理。在B5G的安全領域使用XAI的目標是讓系統安全的決策過程對利益相關者透明和理解,使系統對自主行動負責。在即將到來的B5G時代的每個方面,包括B5G技術,如RAN、零接觸網絡管理、E2E切片,本調查強調了XAI在其中的作用,以及普通用戶最終將享受的使用案例。此外,我們還介紹了在目前開展的涉及XAI的項目基礎上,從最近的工作中獲得的經驗和未來的研究方向。
關鍵詞:B5G、XAI、人工智能安全、網絡安全、6G移動通信、責任制、可信賴的人工智能、可解釋的安全
無線通信行業可以說是技術領域中發展最迅速的部門之一。在電信領域蓬勃發展的創新奠定了基礎設施,并形成了和諧的發展,使生活水平呈指數級增長。第一代蜂窩網絡是在20世紀80年代開始發展無線通信技術的。5G無線技術主要基于軟件化,預計將在2025年之前完成過渡,實現大幅覆蓋。5G最引人注目的特點是通過基于微服務的架構將網絡云化。隨著5G商業化實施的開始,專家們預測6G移動通信將在接下來的幾年里廣泛普及[1]。與此同時,學術界更加關注超5G或6G標準化之前的新研究方向。邊緣智能(EI)、超越6GHz到太赫茲通信、非正交多址(NOMA)、大型智能表面(LIS)和零接觸網絡在最近幾年已經興起[2]-[4]。這些概念正被發展為將為下一代通信網絡提供動力的技術。在5G網絡能力方面,要滿足這些需要高速數據傳輸率和實時訪問重要計算資源的應用,還有很長的路要走。由5G促成的物聯網,試圖連接大量的設備和網絡物理系統(CPS),超越5G的能力,進入B5G時代。例如,6G有望連接數以百萬計的設備,并提供對大量計算和存儲能力的即時訪問。對于B5G無線網絡,科學界期待著完全智能的網絡協調和管理[2],[5]。它將在各方面有別于前幾代,包括網絡基礎設施、無線電接入方法、處理和存儲能力、應用類型。新的應用將需要智能地使用通信、計算、控制和存儲資源。此外,無線網絡正在產生大量的數據。這種模式的轉變使得B5G中數據驅動的實時網絡設計和運行成為可能。
物理攻擊、竊聽以及認證和授權問題困擾著從1G到3G的無線通信技術。現在它包括更復雜的攻擊和更強硬的攻擊者。4G網絡最突出的安全和隱私威脅來自惡意軟件程序和常見的MAC層安全漏洞,如病毒、篡改、拒絕服務(DoS)、回放攻擊、竊聽。這些攻擊已經演變進入5G中的軟件定義網絡(SDN)、網絡功能虛擬化(NFV)和云計算。不安全的SDN功能包括OpenFlow、集中式網絡管理(容易受到DoS攻擊)、核心和回程、邊緣設備漏洞和開放API[6],[7]。研究團體開始關注B5G通信中的安全漏洞,使用先進的網絡、AI/ML和鏈接智能技術,為B5G愿景提供動力。在前幾代帶來的未解決的安全問題之上,這些新技術使B5G網絡面臨著前所未有的全新威脅。盡管如此,B5G的整體成功最終取決于人工智能和6G在未來的協作程度[8]。
人工智能的惡意使用正在改變威脅格局,為許多潛在的應用增加了限制,使其無法看到光明。隨著6G技術的出現,濫用人工智能可能會危及越來越復雜的系統,如智能CPS(SCPSs)。SCPSs是先進的CPS系統,它們通過物聯網(IoT)、人工智能(AI)、無線傳感器網絡(WSN)和云計算等技術日益聯系在一起,以實現各種獨特的服務和應用[9]。由于SCPSs與各個領域交織在一起,一個弱點就會導致災難性的故障(蝴蝶效應)。除了人工智能在服務中的應用,它也可以被用于惡意目的,允許更大規模的攻擊,與我們之前看到的攻擊不同。
因此,所有互聯的設備和用戶都處于風險之中。盡管關于人工智能防范網絡威脅的研究已經進行了很多年[10],[11],但目前仍不清楚如何確保將人工智能融入其核心業務的網絡安全。人工智能安全的一個重要缺陷來自于這些系統的黑盒性質,以這樣或那樣的方式。因此,在這方面保持可問責和可信賴的人工智能是非常重要的。
美國國防部高級研究計劃局(DARPA)于2017年5月啟動了可解釋人工智能(XAI)計劃,以開發一套新的人工智能方法,使最終用戶能夠理解、充分信任并成功管理下一代人工智能系統[12]。為了進一步闡述,它可以被認為是計算機科學和社會科學的集體初始化,其中包括人類心理學的解釋。B5G的整體成功將最終取決于在其實施過程中使用的人工智能在多大程度上會有彈性和值得信賴,供大眾利用[8]。在這方面,擴展對 XAI 等潛在技術的研究是需要立即采取行動。
寫這篇文章的時候,5G正在商業化地推出,許多研究人員都在關注B5G。其應用、架構和使能技術是最近發表的大量研究的主題,如表II所示。此外,諸如[2]、[4]、[13]-[20]等研究主要集中在B5G無線通信技術的愿景、潛在應用和要求上,如太比特每秒的速度FeMBB、互聯智能和EDuRLLC等,這些技術將在未來促進自動駕駛汽車、遠程醫療、擴展現實等新興應用。
在B5G/6G移動通信的關鍵推動因素中,如太赫茲通信、邊緣計算、集群網絡、完全自動化、區塊鏈;人工智能占有突出的地位。人工智能技術由于其泛化能力,更適合解決復雜的問題,因此適合在許多新的B5G時代應用中使用。包括[13]、[21]-[26]在內的研究闡述了人工智能的重要性及其在B5G中的發展趨勢,以及它對未來通信技術帶來的挑戰。以前的調查,如[6],[27]-[31]強調了一系列B5G使能技術中安全方面的動態,如物聯網、RAN和邊緣計算,而[8],[29],[32],[33]完全集中在安全威脅和潛在的防御措施,這將提高B5G中使用的AI/ML方法的信任。
盡管它顯示了有希望的結果,但只有少數出版物([34]-[36])涵蓋了安全背景下的XAI應用或XAI研究項目和標準化方法。XAI的機會、挑戰和標準化仍處于起步階段,需要與來自人類心理學和社會學等領域的專家進行更多的合作,以走向更具體的現實世界應用。表II概述了當代關于B5G、人工智能和XAI的進展的研究和調查。這里我們發現,每篇論文都提出了不明確的背景下的應用。相反,實施B5G技術反而要求對人工智能和XAI在安全方面進行全面的審查,因為問責制和彈性是任何一代移動網絡的核心和基本特征。許多研究人員專注于B5G、XAI和人工智能技術,但目前還沒有一個類似的方法,在B5G的使用案例中審查XAI技術的可行性。作為回應,本調查報告全面概述了XAI和安全技術方面、應用、要求、限制、挑戰/問題、目前的項目、標準化倡議以及B5G應用的經驗教訓。
據作者所知,本文是第一個試圖探索XAI在廣泛的B5G安全方面應用的文章。表II描述了在這方面進行的一些相關但不體系的研究。然而,這些研究中沒有一個能夠傳達出XAI在B5G安全方面的作用的整體形象。因此,我們在這次調查中的主要貢獻列舉如下:
強調XAI對B5G安全的重要性:本文闡述了XAI在實現網絡安全中使用的AI/ML模型的問責制和提高B5G電信彈性的潛力。盡管許多關于B5G安全的研究涉及數據驅動的ML解決方案,但很少關注對其決策的解釋。在使用黑盒人工智能來確保關鍵應用程序的安全時,利益相關者會產生嚴重的懷疑和問責問題。XAI方法解釋基于AI/ML的安全系統黑盒性質的能力是目前填補這一研究空白的要求。
針對通常討論的B5G技術方面和用例,全面分析XAI。在這里,我們探討XAI在一系列B5G使能技術中的作用,如物聯網/設備、無線接入網(RAN)、邊緣網絡、核心和回程網絡、E2E切片和網絡自動化。這張清單是精心挑選的,涵蓋了B5G電信架構的大部分內容,并提供了XAI對B5G安全影響的整體看法。該研究延伸到討論可能的安全問題和XAI對一組流行的用例的影響,包括智能城市、智能醫療、工業4.0/5.0、智能電網2.0和擴展現實(XR)。
對重要的、相關的研究項目和標準化的調查。與其他許多調查報告不同,這里我們探討了正在進行的研究項目,以實現納入AI/ML/XAI的B5G實施和標準化。對涉及學術界和工業界合作伙伴的當前項目和倡議的詳細討論,使人們對正在進行的領域和目前探索的研究差距有了清晰的認識。這里討論了B5G中的AI安全標準化,以確定對未來B5G網絡及其各自技術的要求。
提供有希望的研究方向作為指導。詳盡地討論了目前XAI方法在安全方面的現有限制和挑戰,以及可能的研究方向。提出的一些研究方向包括網絡片之間的安全和隔離,計算效率高的解釋能力的邊緣AI,以及了解ML模型在白盒和黑盒背景下對對抗性攻擊的脆弱程度是一些被確定的可能研究方向。
圖1. 使用XAI來提高B5G技術和用例的安全性概述。該圖的左邊部分顯示了與傳統的網絡分層堆棧相比,虛擬化如何導致5G啟用技術,以及人工智能如何從5G發展到B5G。該圖的右邊部分顯示了XAI可以為系統利益相關者改善基于AI的安全解決方案。
本節介紹了本調查論文的動機和貢獻。第二節給出了本文的技術背景,即B5G、XAI,以及XAI對改善B5G安全的潛力。然后,第三節、第四節和第六節討論了這些技術方面的細節。第三節闡述了發展B5G網絡的分類法、威脅建模和安全方面的情況。第四節分析了引入XAI對現有AI驅動的B5G安全解決方案的影響。第六節強調了因引入XAI而產生的潛在的新安全問題。此外,對于B5G啟用的用例,第五節分析了XAI對這些B5G用例的安全方面的影響。第七節通過列出正在進行的有關B5G安全和XAI的研究項目和標準化,加強了本調查報告的重要性。第八節總結了第三、四、六、五和七節的經驗教訓和未來研究方向。最后,第九節對整篇論文進行了總結。
圖2. 本調查論文的大綱顯示了論文章節的組織,以與論文的主要議題相一致:用于B5G安全的XAI
本節簡要介紹了本文討論的相關技術的背景。特別是討論了B5G技術和XAI的概念,然后是B5G安全對XAI日益增長的需求。
根據XAI方法在開發過程中的應用階段,XAI主要有三類:模型前、模型內和模型后。模型前方法主要用于模型開發管道中的數據集準備階段。這些方法有助于數據分析、特征工程和解釋在數據中看到的任何潛在模式。模型內XAI方法被嵌入到ML算法中。它包括所有透明模型,如線性回歸、決策樹、隨機森林等。此外,模型內解釋也是通過使用固有的透明模型對現有的ML模型架構進行修改而產生的。事后/模型后解釋是在訓練一個ML模型后應用的。它使我們能夠確定模型在訓練過程中學到了什么。
圖3. XAI分類法。Pre-model XAI解釋用于建立人工智能模型的訓練數據(例如,主成分分析(PCA),t-分布式隨機鄰接嵌入(t-SNE))。In-model XA指的是不言自明的透明AI模型(如決策樹、隨機森林)。Post-model(Post-hoc) XAI模型解釋訓練過的AI模型給出的結果(例如LIME、SHAP)。
圖4. 各種XAI方法目前在研究和工業界中很流行。如圖所示,每種方法都有自己的優勢和劣勢。選擇LIME、SHAP、LRP、CFE、PIRL、Heirrachial policies和LMUTs只是為了代表XAI方法的類別。
圖5. XAI的利益相關者。每個利益相關者對系統及其各自的可解釋性要求的不同影響程度。
在愿景征集階段后,6G目前正處于確定系統關鍵性能指標的早期階段。沒有什么是固定的,但6G肯定會基于5G的發展和演變。6G將繼承5G提供的優勢,改進其余的不足,并利用新的技術和應用。在本節中,我們將B5G的威脅分為三類(圖7)。繼承自5G網絡的B5G威脅,6G技術威脅和6G應用威脅
圖6. B5G中可解釋安全性的6W分析。所示的程序可以作為一個框架,在設計B5G網絡中/上的可解釋智能系統的安全方面時開始奠定基礎。
圖7. 6G的安全威脅形勢
圖8. 使用基于學習的方法實現的B5G-IoT安全技術大多被視為黑盒系統。當這些系統本身因外部因素(如攻擊)而承受壓力時,從這種方法中檢測出的惡意代理可能會導致不可預測的結果。額外的解釋可以改善追溯模型內部的這些問題,為用戶提供保障
上述使能技術將刺激各種新應用的發展,這些應用在以前是不可能的,因為基于AI/ML的系統缺乏責任感,在5G及以后的時代塑造人類社會。本節將討論一些依賴未來B5G網絡能力的新興用例。本節強調了XAI的出現在安全方面帶來的影響。
圖10. B5G時代的智慧城市將涉及到收集大量的個人數據,這將需要服務提供商進一步負責。從收集數據到傳達人工智能模型做出的決定,隨著服務范圍的擴大,終端用戶將需要對系統的安全性給予額外的保證。
圖11. 在B5G下,智慧醫療服務有望通過基于人工智能的系統得到極大的擴展。這些系統的安全漏洞會導致大范圍的系統故障,危及許多依賴這些服務的人的生命。因此,對黑盒人工智能系統的解釋可以讓各方對系統中的攻擊或漏洞導致的任何異常情況保持警惕。
圖12. 工業5.0的核心是強調以人為本,量身定做的制造流程,這可能對廣泛的行業產生實質性的影響。在這里,如果出現安全漏洞或其他異常行為,XAI可能會協助確定根本原因,以便采取預防措施。
圖13. 穩定性管理和維護是智能電網最關鍵的兩項職責。越來越多的這些控制系統現在使用了人工智能。智能電網的安全評估可以使用更多可解釋的方法,對人工智能系統進行整體的解釋,從而正確地進行評估。這些發現可能會在緊急情況下得到很好的利用。
圖14. 根據設想,XR將使用由人工智能驅動的B5G基礎設施提供服務。在這個過程中,人工智能安全將發揮重要作用。對基于人工智能的系統的攻擊可能會混淆模型,泄露數據,并造成可用性問題。這些都可以在XAI方法的幫助下及早發現。
在過去的幾年里,人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而,人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域,它有助于提取信息,并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后,討論了傳統AI技術的使用及其相關挑戰,這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后,從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。
引言
網絡安全是程序、控制和技術的應用,以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示,數據泄露造成的平均損失在全球范圍內為386萬美元,在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響,還包括后續調查,以確定違約的原因、相關的應對措施、收入損失、停機時間,以及最重要的聲譽品牌損害[3]。
考慮到這些成本,大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護,對網絡攻擊提供防御,以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索,妨礙正常的商業運作。因此,在這方面部署明智、有效和高效的應對措施是絕對必要的。例如,美國國家標準與技術研究所(NIST)開發了一個網絡安全框架,幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織,即ISO27000系列資訊保安標準,旨在滿足類似的需要。盡管存在這樣的方法和標準,攻擊者仍然在安全框架中發現漏洞,這些漏洞可以繞過極其強大的防御措施。在大流行危機期間,當專業規范從辦公室變為在家工作時,網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。
網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息,從而有效減少網絡漏洞。更具體地說,身份和訪問管理(IAM),例如,框架用戶角色和訪問權限,建立標準,訪問權限可以被監控。IAM技術包括單點登錄功能,其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶,只提供對特定合法用戶的訪問,減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外,在出現安全漏洞的情況下,這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。
有各種綜合的數據安全平臺,包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如,安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合,對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法,用戶行為分析和人工智能/機器智能(AI/ML),以檢測軟件產品和服務領域的異常[7]。
網絡安全風險管理有助于理解安全威脅的各種特征,以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則,強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本,并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響,從而平衡減少或緩解風險影響的相關成本。
值得一提的是,ISO27000這類國際標準家族的范圍,強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成,涵蓋了組織網絡安全的所有方面。為了適用該標準,必須評估現有風險,確定適用的控制措施,評估這些控制措施帶來的緩解效果,評估應用這些控制措施的成本,還必須評估所引入的任何次級風險的緩解效果。控件將被應用于: (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。
人工智能如何幫助網絡安全
機器學習(ML)算法是在以往經驗的基礎上訓練的,以便做出類似人類行為的決定。此外,ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外,在過去幾年中,基于機器學習的自動化安全工具已經得到了發展,它們可以自動響應威脅,執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似,但又不同于其他聚類中的數據對象。因此,聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面,分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別,使用無監督學習技術。回歸分析是一種統計技術,它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。
AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互,以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。
反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如,Cylance智能防病毒產品是為了滿足類似的目標,為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅,而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼,并用于基于生物識別的認證系統,提供更強的保護層,黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息,如DNA、靜脈、指紋、虹膜等,并將這些信息轉換為人工智能系統可以理解的代碼。相反,行為識別系統捕捉獨特的行為特征,如聲音、個人打字節奏、與物體的交互方式,然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。
AI在網絡安全方面的局限性使XAI成為必要
人工智能在網絡安全領域的應用帶來了許多挑戰。特別是,人工智能應用引入了大量的反指示和次級風險,它們成為惡意行為者發起攻擊的載體。例如,攻擊者可能會成功地避開基于ML的檢測。更具體地說,攻擊者可能會操縱惡意軟件文件,使基于人工智能的檢測框架無法識別任何惡意或異常活動,這就是通常所說的規避攻擊。類似地,基于人工智能的網絡安全應用也存在各種威脅,如圖1所示,涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。
基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險,其中存在不準確的通知或假警報的可能性。[14]。在這種情況下,迫切需要確保采取必要的緩解措施,確保更準確地處理違約或異常事件的情況,從而保持所作決定的可解釋性和合理性。
實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16],因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰,與上述問題相關,這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反,這些系統經常被黑客出于不道德的目的而破壞,這些黑客訓練或變異惡意軟件,使其具有AI免疫力,其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法,使數據操作不被發現,從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此,當前基于人工智能的系統面臨的挑戰在于,與基于模型的傳統算法[17]相比,它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓,那么無論基于人工智能的系統多么強大和準確,網絡安全都將成為一個具有普遍二級風險的黑匣子。
人工智能威脅體系
在深度強化學習的情況下,被確定為某些反應的原因的顯著特征,通常仍然無法解釋。例如,可以考慮貝葉斯推斷的計算,其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋,因此,XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用,為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣,在醫療保健領域,XAI的實施首先允許機器分析數據并得出結論。其次,它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中,基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據,這些數據與結構化數據相關聯,即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。
XAI能提供什么幫助
人工智能模型已經成功地應用于許多日益復雜的領域,通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍,人工智能應用的增長呈可視化指數增長。因此,在關鍵任務設置中對此類AI應用的需求迅速增長,其中AI被嵌入到眾多硬件智能設備中,從而實現無監督或遠程控制使用。然而,人工智能的應用帶來了相關的重大問題。過擬合,是監督式ML中的一個基本問題,其中統計模型與訓練數據完美匹配,阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時,模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降,在關鍵任務設置中,可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。
通過對模型的機制和推理的理解,可以在一定程度上減輕這些風險。不幸的是,傳統AI系統的黑箱特性成為瓶頸,即使是AI專家也無法提供合理的解決方案[19,20]。因此,透明度是必要的,它將使明智和合理的決策制定成為可能,并有助于為模型的行為提供準確的解釋。例如,在網絡安全系統的情況下,不合理和誤導性的預測可能會使系統非常容易受到攻擊,導致完全不安全的關鍵系統。隨著可解釋人工智能的實施,提供實用的、實時的基于人工智能的解決方案將變得更加容易,因為數據集中的偏見可以完全消除,從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信,確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行,但其可解釋性滯后。例如,對于id,網絡管理員很難理解入侵檢測背后的原因,并將其轉化為黑盒模型。在這種黑盒模型中,涉及決策制定的過程是具有挑戰性的,因為DNN在試錯過程中編輯特征,以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究,但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時,很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設,并且有效地處理了特征共線性問題。因此,可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中,我們探討了網絡和人工智能風險的競爭本質,并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊,該攻擊實現了XAI,損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊,這有助于鏈接用戶,并從泄露的數據集竊取他們的密碼,從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅,并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改,以準確分類錯誤分類的數據集樣本。在[22]中,提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術,有助于實現ML模型的每個層次的透明度。
該研究中使用的XAI方法包括SHAP和BRCG,能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征,從而將決策導出為輸出。考慮到分析師的視角,使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合,在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊,破譯導致分類的特征,然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素,并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇,從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比,基于決策樹的XAI方法提高了精度。
雖然有各種綜述文章關注AI在網絡安全中的應用,但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述,其中包括明確和廣泛的信息。因此,為了彌補這一差距**,本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看,使用XAI比使用AI的好處在圖3中得到了強調。
綜上所述,本研究的具體貢獻包括:
摘要: 元宇宙作為一個新興的概念受到了產業界、學術界、媒體界及公眾的廣泛關注,國內外眾多公司也紛紛在“元宇宙”領域布局,但布局的背后離不開強大的技術支持。本文從技術維度深入剖析元宇宙。首先,從科學與技術的角度論述元宇宙的概念及內涵,并總結了目前從業者、專家以及學者對元宇宙的不同見解。其次,概述了元宇宙相關關鍵技術,包括網絡及運算技術(5G、6G、物聯網、云計算、霧計算及邊緣計算)、管理技術(能耗管理、資源管理、會話管理及時空一致性管理)、虛實對象連接、建模與管理技術(X聯網、身份建模、社會計算、去中心化管理技術)、虛實空間交互與融合技術(拓展現實、電子游戲技術、腦機接口技術)等。元宇宙不宜稱為新技術,而是IT新技術的綜合運用。技術的進步與發展,將為元宇宙的實現和應用奠定堅實的基礎,同時元宇宙的發展也會促進現有技術的升級換代。最后,展望了元宇宙發展面臨的諸多挑戰,以清晰認識、理智決策、穩步探索元宇宙。
1992 年,美國著名作家Neal Stephenson在《Snow Crash》中提到元宇宙(Metaverse)一詞,他這樣描述:“戴上耳機和目鏡,找到連接終端,就能夠以虛擬分身的方式進入由計算機模擬、與真實世界平行的虛擬空間。”[1] 其實Metaverse這個概念的思想源頭是由美國數學家和計算機專家Vernor Vinge教授在 1981 年出版的《True Names》中描述的通過腦機接口技術進入并獲得真實感官體驗的虛擬世界[2]。 在元宇宙時代,人類的生活方式會受到較大的影響。其一,傳統的哲學與科學會受到巨大的沖擊,需要不斷挖掘和研究新的理論與方法;其二,元宇宙的興起將推動人類社會邁進一個新階段,相應地,時代的演變又進一步為技術的發展添磚加瓦。元宇宙技術在融合已有技術的同時,也將不斷衍生出更多的新技術。本文先從科學與技術的角度論述元宇宙的概念及內涵,并總結了目前從業者、專家以及學者對元宇宙的見解;其次,從技術維度深入剖析元宇宙,即從網絡及運算技術、管理技術、元宇宙虛實對象連接、建模與管理技術以及虛實空間交互與融合技術四個方面闡述元宇宙中涉及的關鍵技術。最后,對未來元宇宙技術發展所面臨的挑戰進行歸納與總結。
元宇宙作為一個新興的概念,受到了產業界、學術界、媒體界及公眾的廣泛關注,但對于元宇宙的定義及概念還不夠統一和明確,不同從業者、專家以及機構給出了對元宇宙的見解,如表1所示
為進一步理解元宇宙的概念及內涵,本文從科學和技術的角度對其進行剖析,具體如下: 從科學角度上說,元宇宙的誕生是多學科融合的結果。元宇宙將促進信息科學、量子科學、數學和生命科學等學科的融合與互動,創新科學范式,推動傳統的哲學、社會學甚至人文科學體系的突破。元宇宙,實質上就是廣義網絡空間[7],在涵蓋物理空間、社會空間、賽博空間以及思維空間的基礎上,融合多種數字技術,將網絡、軟硬件設備和用戶聚合在一個虛擬現實系統之中,形成一個既映射于、又獨立于現實世界的虛擬世界。
從技術角度上說,元宇宙不宜稱為新技術,而是現有IT技術的綜合集成運用,它是信息化發展的一個新階段。因此,隨著元宇宙的發展不僅會促進現有技術的升級換代,而且也會促進新技術的出現。本文將從技術維度對元宇宙中涉及的關鍵技術進行概述,如圖1 所示
網絡及運算技術是元宇宙的基礎設施,可為元宇宙提供高速通信、泛在連接以及共享資源等功能,本節主要介紹5G、6G、物聯網、云計算、邊緣計算、互聯網等在元宇宙中的作用。
無論是遠程執行計算繁重的任務、訪問大型數據庫、還是在用戶之間提供共享體驗,都離不開網絡與通信[8],元宇宙時代所需要的沉浸式體驗,要求網絡具有低延遲、大帶寬、高可靠性等特點。5G作為新一代信息化基礎設施的出現,為元宇宙的沉浸式體驗提供可能。為了滿足不同行業和市場的需求,國際電信聯盟(The International Telecommunication Union, ITU)將5G劃分為超可靠低延遲通信(Ultra-reliable low-latency communication, URRLC)、增強移動帶寬(Enhanced mobile broadband, eMBB)和海量機器類通信(Massive machine-type communications, mMTC)[9], URRLC 和 eMBB 恰好可滿足元宇宙對沉浸感體驗的需求[10],眾多學者近年來不斷為 URRLC 和 eMBB 做研究,以提高 5G 的通信效率,減少能源消耗。例如,Kumar和Ahmad[11] 提出基于 ANFIS 的 5G 新空口技術(5G New radio, 5G NR)中 URRLC 和 eMBB多路復用反應策略,為 URLLC 流量提供高優先級,同時保證了 5G 蜂窩網絡場景中其他 eMBB 流量的可靠性。Malik等[12]提出一種干擾感知無線資源分配方法,并與傳統的循環調度算法作比較,結果表明,提出的算法比傳統的循環調度算法在鏈路可靠性和延遲降低方面有明顯的改善。Buccheri等[13]提出混合重傳策略,以滿足URRLC需求并最小化消耗資源。
6G 作為 5G 的必然演進方向,6G 將打破時間、虛實的限制,為元宇宙的實現提供網絡基礎。6G 的出現,更多地實現現實世界與虛擬世界的交互和未來的共存共生。中國移動通信研究副院長黃宇紅表示,未來不僅會有物理世界,也將有數字世界,一方面是物理世界的孿生世界,另一方面會演變成元宇宙和平行世界 。未來,元宇宙將不僅是對現實世界的模擬與仿真,更重要的是物理世界與虛擬世界的融合與交互發展,6G 將對其發展提供強大的驅動力。東南大學尤肖虎教授團隊[14]在“6G 的最新進展及發展趨勢”一文中,提出 6G 無線通信網絡有望提供更高的頻譜、能量、更高地傳輸速率、更低傳輸時延、超大連接密度、更高覆蓋率和亞毫秒級的時間同步,6G 所具有的特征將在元宇宙中大顯身手。
在 5G、6G 網絡環境下,利用量子通信保障通信安全方面,Chowdhury等[15]提出基于量子不可克隆性定理和測不準原理,量子通信通過應用量子密鑰提供了強大的安全性。
物聯網(Internet of Things, IoT)在元宇宙的網絡基礎設施的實現和發展中將發揮重要作用。虛擬世界與現實世界的泛在連接,離不開大量傳感器、智能終端等物聯網設備實時采集和處理數據,故物聯網可為用戶提供真實、持久且順暢的交互體驗,是虛擬世界與現實世界的聯接和橋梁。物聯網經典的三層架構,即感知層、網絡層和應用層,與元宇宙的建立緊密聯系。表2 列舉了近年來部分學者對物聯網三層架構的研究成果,將來為物聯網技術在元宇宙中的應用做好鋪墊,支撐元宇宙的發展。
從物聯網的三層架構來看,要想支撐元宇宙的發展,仍存在一些瓶頸,例如,存在于感知層的數據爆炸與有限感知資源之間的不平衡問題,Shi等[27]提出了將人工智能與選擇性感知相結合的解決方案;傳感器/制動器性能不佳問題,Ning和Liu[28]提出使用納米技術用于改善傳感器/制動器的性能(例如,更高的靈敏度和選擇性、更短的響應時間和更長的使用壽命)。因此,納米材料(如石墨烯、納米線等)的應用將為元宇宙的感知與通信領域提供可選性。存在于網絡層的連接爆炸與高效通信之間的問題[29];存在于應用層的應用爆炸與精準服務之間的矛盾[30],都是現在正面臨的問題。未來隨著科技的進步,解決上述“卡脖子”問題,將為構建元宇宙提供進一步的支撐。
另外,觸覺互聯網也是支撐元宇宙發展的一種新的物聯網形式。觸覺互聯網是由Fettweis[31]提出,它允許人和機器能夠在移動中和特定空間通信范圍內,通過觸覺實時地與周圍環境進行互動。觸覺互聯網有潛力使元宇宙更具有沉浸感。5G 關于低時延、高可靠性的研究客觀上是為觸覺互聯網作了鋪墊,Saches等[32]描述了 5G 在觸覺互聯網(Tactile internet)中發揮的基礎作用,并展示了 5G 新空口技術(5G NR)和 5G 長期演進技術(5G LTE)如何實現有保證的低遲延無線傳輸,提出了基于分布式云平臺的 5G 系統架構,以滿足觸覺互聯網對可靠性和低延遲方面的苛刻通信需求。Antonakoglou等[33]關注 5G 如何結合觸覺數據通信協議、雙邊遠程操作控制方案和觸覺數據處理,讓觸覺應用發揮作用。
有十余年發展史的云計算,成為元宇宙中可以大量賦能的領域。元宇宙所需要的身份建模、現實世界與虛擬世界的交互以及多元宇宙之間的互動,都會產生難以想象的海量數據,這離不開云計算的支持。本節將從數據處理和數據存儲兩個維度論述云計算的重要作用。
(1) 數據處理。 具有算力動態分配的云計算是元宇宙最重要的網絡基礎設施。元宇宙的構建需要一個強大的算力系統處理數據,當前的算力架構依然無法滿足元宇宙對于低用戶門檻、高體驗感的需求,云計算一定程度上能夠推動算力發展。日前,元宇宙借助游戲技術來展現,大型游戲采用的客戶端與服務器結合的模式,其對客戶端設備的性能和服務器的承載能力有較高要求[34],并且在全球范圍內集中部署的云數據中心[35],旨在處理來自物聯網設備的傳感數據或基于嵌入式設備的實時視頻、圖像等非結構化數據。例如,Zhang等[36]提出了用于嵌入式設備實時視頻處理的流式云平臺,并對該平臺的處理速度、功耗和網絡吞吐量等進行評估。
(2) 數據存儲。 在云上存儲數據,即云存儲(Cloud storage),一般不用考慮存儲容量、存儲設備類型、數據存儲位置以及數據的可用性、可靠性和安全性等繁瑣的底層技術細節,按需付費就可以從云服務提供商那里獲得近乎無限大的存儲空間和企業級的服務質量[37]。近幾年來學者們一直在云存儲方面的研究,如Sharma等[38]綜述了區塊鏈技術在云存儲安全方面的應用;Qiu等[39]提出了基于可逆小波變換的以用戶為中心的云存儲數據保護方法;Doan等[40]提出云存儲系統中數據一致性維護的虛擬服務器解決方案。 元宇宙在構建過程中產生的大量數據需要云計算按需調配資源,以進行海量數據處理及存儲,但若把所有的資源都集中在云端,那對于元宇宙的沉浸感體驗、負載均衡以及能量消耗將帶來巨大的挑戰。對此,需要在本地部署帶有計算和存儲功能的設備,以縮短終端用戶到計算和存儲資源的距離,這就需要霧計算來支撐[41]。霧計算由終端用戶層、霧層及云層構成,霧層的存在極大地降低傳統云計算的時延,可以自己向用戶直接提供服務,還可以利用云層強大的算力和存儲能力協同進行服務。
另外,霧計算中更加靠近邊緣終端的部分,稱之為邊緣計算(Edge computing)。邊緣計算可將元宇宙計算所需的大型服務分解為小巧且易于管理的子任務,并將這些任務分散到邊緣節點去處理。邊緣計算在物理上更接近終端用戶,進一步將遲延時間最小化,為用戶流暢、優質的體驗提供保障[42]。另外,當元宇宙的內容涉及多個用戶時,會大大增加網絡流量負載,Kim[43]提出了一種在邊緣網絡中基于云 VR 的服務配置和部署方法,這只是對其的初步探索。由于云計算、邊緣計算以及霧計算各有優缺點及特性,如表3 所示,故利用云邊協同策略降低網絡時延及流量負載[44–45]受到關注,為元宇宙關鍵技術的研究提供一種選擇。
元宇宙將用戶與互聯網交互的界面(體驗感)從“二維”上升到“三維”,將對互聯網的技術和發展起到推動作用。值得注意的是,元宇宙是互聯網之上的應用,二者不宜等同起來,更不能將元宇宙簡單地看成下一代互聯網。對行業、企業來說,互聯網的“升維”將催生新的生產力,但是找到“入口”僅是第一步。還要在技術層面上,提供更多的連接與通信方式,以及基礎設施。硬件設施也要不斷適配升級,這也將是一個相對艱難的探索過程[46]。
元宇宙管理技術保障虛擬空間(即賽博空間)與真實空間(含物理空間、社會空間及思維空間)的泛在連接與空間融合所需要的軟硬件環境,主要包括能耗管理、資源管理、會話管理、時空一致性管理等。
節能環保一直是信息系統所追求的,未來的元宇宙一大挑戰便是能耗。元宇宙中能耗管理的目標和理念是實現最低能耗和綠色能源占比最大化,提高能源利用效率。在元宇宙中,傳感器設備、網絡及通信基礎設施(如,5G、6G、云計算系統等)、虛擬世界與現實世界的交互(如,VR/AR/MR、腦機接口等)等需要大量的能源消耗。許多學者提出了能源監測的方法。例如,Somula 和Sasikala[47]提出基于物聯網的方法監控負載消耗并以高效的方式節約能源。Bi等[48]創建了 Elman 遞歸神經網絡模型和指數電力預測模型,幫助減少電力損耗、節約成本。能源可持續發展既是元宇宙的核心約束也是投資機遇。 元宇宙中節能環保的目標是建立綠色元宇宙。這需要我們做到兩點:一是不斷創新與發展先進的能源基礎設施,實現對能源的自動測量、收集、存儲、分析等智能化處理,以提高能源的高效循環利用率為目的,研發能源循環設備,加速能源網絡的變革;二是優化能源管理的算法與模型,通過對物理空間、社會空間及思維空間的資源創建虛擬資源以便實現能源重組織與優化,提高能源利用率。未來,隨著納米及量子等技術的成熟,將研發出新型材料并應用于高性能設備、裝備或平臺,以獲取納米級別或量子級別的網絡,從而增強高性能能源使用率、降低能耗[49]。
元宇宙,本質上就是廣義網絡空間[7,49],在涵蓋物理空間、社會空間、賽博空間及思維空間的基礎上,共享資源。資源管理主要包括資源描述、資源尋址、資源發現和資源分配等,以滿足元宇宙的低延遲、高度沉浸等需求。目前,在資源管理的四個典型階段上已經有了一些較為成熟的技術,如表4 所示。
元宇宙的會話管理,是管理異構網絡中無處不在的資源和資源用戶之間的交互[28]。在元宇宙中,會話管理主要針對具有動態特性的長時間、持久性交互,特別是針對具有多個資源用戶參與的會話。會話管理需要解決切換延遲、瞬時數據包丟失、端到端通信延遲以及跨異構網絡的無縫會話切換等問題,以提高用戶的沉浸感體驗。例如,針對5G網絡基礎設施,學者們研究在5G網絡上的會話管理方法,以盡可能地滿足未來元宇宙對實時性、低能耗等需求,如,Kim等[51]提出了一種有效的5G系統低延遲通信會話管理方案,并且避免了移動設備的網絡資源浪費和電池消耗。Park等[52]探討了如何在5G無線網絡環境中實現用戶的高性能會話管理。另外,元宇宙中的會話管理還應預防會話過程被攻擊的情況發生。Nadar等[53]研究了一種針對破壞性身份驗證和會話管理攻擊的防御方法。Marlinspike等[54]研究了Sesame算法,對異步消息進行加密,提高會話過程中的安全系數。
在物理空間、社會空間及思維空間中的實體與賽博空間實體映射過程中離不開時空一致性管理。元宇宙實質上是廣義網絡空間,它是一個虛實結合的世界,人在現實世界中,時間、空間的連續和唯一是嚴格按照物理規律,若要在虛擬世界中享受到沉浸式體驗,故也需要考慮時空一致性管理。現在已有學者提出一些管理時空一致性的方法,例如,時間同步法、目標定位法、時間配準法及空間配準法等時空一致性管理方案[28]。一致的時空數據對現實世界和虛擬世界之間的映射非常重要,Atluri等[55]綜述了時空數據的挖掘方法。
現實世界中的人和物以另一種虛擬身份的形式存在于元宇宙,這將構建成一種新型的虛擬社會,并在新的虛擬社會中重塑數字經濟體系、社會關系等。然而,虛實對象的映射與連接、虛擬社會的構建與管理離不開X聯網(Internet of X, IoX)、身份建模、社會計算、去中心化管理技術的支持。
X聯網包括物聯網、人聯網和思維聯網。物聯網(IoT)在物理空間和元宇宙之間建立虛實對象的泛在連接,將物理對象映射到虛擬世界中。人聯網(Internet of People, IoP)描述的是由各種人類節點組成的互連網絡[56]。節點的互連離不開人與人之間的社會關系、以物為媒介的社會關系、與時空屬性相關的社會關系等。在元宇宙時代,IoP在人類社會和元宇宙之間建立了虛實對象的泛在連接,從“社會關系的數字化”過渡到“人與世界的關系數字化”。在元宇宙內容不斷豐富的過程中,不僅僅要賦予虛擬原生人與數字人身份,還要考慮其認知與思維。思維聯網(Internet of Thinking, IoTk)強調思維創造的過程,進一步深化思維空間與元宇宙之間的互動,使得元宇宙中的對象擁有自動獲取、處理、學習和思考知識的自適應感知能力,克服時間和空間的限制,可在不同的地點和時間交換思想,實現準確、高效及便利的合作與交流[57]。
隨著多種技術的融合以及新興技術的出現,進入元宇宙的對象數量和種類將急劇增長,如何對物理對象的身份標識進行建模及解析,以實現物理對象在與元宇宙的感知和映射,這將是未來發展元宇宙的核心問題之一。物理對象身份標識主要包括唯一標識法和非唯一標識法。其中,唯一標識法采用外界賦予對象的標識號,標識身份并應用于對象的網絡身份/資源的發現、尋址和訪問等,除了使用Bar Code技術、QR code技術、RFID技術等外界賦予的對象身份,還有利用對象的生物屬性、時空屬性等自身屬性信息進行身份標識[58],典型的有利用虹膜、人臉、指紋等生物特征標識與解析技術等。
除元宇宙中映射的物理對象外,存在于元宇宙的人類也需要身份標識,其被稱為“虛擬數字人”。“虛擬數字人”是元宇宙的重要參與者,也是大眾最能接受的元宇宙表現形式之一。在未來,元宇宙用戶分為兩類:虛擬原生人和數字人。虛擬原生人(如,虛擬偶像、虛擬主持人、虛擬記者等),與現實世界不存在映射關系,脫離現實世界而存在;數字人則是指現實世界中的人類在虛擬世界的數字分身。無論是虛擬原生人還是數字人,都需要身份標識以便對其管理及研究。目前,身份建模與解析在物聯網領域比較常見,如Verma等[59]提出了基于區塊鏈的身份管理系統建模;Ning等[60]綜述了身份建模與解析現狀,以及其未來的發展趨勢與挑戰; Bouras等[61]提出了一種基于輕量級區塊鏈的物聯網身份管理方法。未來,隨著身份建模與解析技術應用領域的擴大,也將是元宇宙時代重要的研究領域。
首先,通過身份建模技術,對數據、信息以及屬性進行描述,構建出進入元宇宙的實體對象。進一步,通過IoP、社會計算等技術進行實體的關系建模與行為形式化,從而實現實體的關聯及行為挖掘、理解與分析[62]。社會計算具體包括社交網絡分析(Social network analysis)、群體智能(Swarm intelligence)、人工社會(Artificial society)等。社交網絡分析指的是利用圖論、代理模型等方法對個體之間通過社會關系結成的網絡體系進行研究。群體智能指的是在集體層面表現得分散的、去中心化的自組織行為。人工社會指的是通過對復雜社會問題建立計算機模型,進行實驗分析并提供決策支持。 社會計算以處理社會關系為導向。元宇宙的出現,虛擬社會關系不會取代現實中的社會關系,但會催生線上線下一體的新型社會關系。通過社會計算研究人類的行為、新型社會關系能夠預測元宇宙的運行規律及未來發展趨勢,同時在元宇宙中更容易收集用戶的位置、年齡、偏好等數據信息,進行深度挖掘以更好地構建元宇宙中的社會運行機制。
元宇宙中的對象在身份建模、IoP、IoTk、社會計算等技術的支持下,擁有獨立的身份、思維、行為及社會關系。根據需求,可在元宇宙中組建社區、城市,共同構建區別于或類似于現實世界的法律法規,衍生出新的虛擬社會文明。但實現這一切的前提是,元宇宙需要擁有獨立的經濟系統和經濟屬性。元宇宙的每一塊組成部分信奉的是去中心化概念,需要借助去中心化底層技術來重塑元宇宙的數字經濟系統。去中心化技術的典型代表區塊鏈[63],借助區塊鏈加密算法、共識機制、智能合約等技術,可能會為元宇宙發展提供新的金融體系,為用戶提供保險、交易、證券化等虛擬資產的金融服務,也可實現虛擬世界與現實世界經濟體系的聯動。但是元宇宙經濟系統不等價于互聯網經濟系統,它不是互聯網經濟系統的復制品。需要說明的是,獨立的去中心化金融體系,與現實社會中的國家治理、主權貨幣等機制往往是矛盾的,這也許是元宇宙未來發展的制約。
區塊鏈技術主要包括點對點傳輸、數字加密技術、分布式存儲、共識機制和智能合約等[64],這也決定了基于區塊鏈的經濟系統將為元宇宙經濟系統的實現奠定基礎。因為,數字加密技術在區塊鏈中具有核心地位,可以保證元宇宙用戶身份信息和交易數據的安全,文獻[64]中簡要介紹了哈希函數、對稱加密算法、非對稱加密算法、數字簽名等加密技術原理;分布式存儲系統(例如,Storj, IPFS),將數據分布式存儲于各個節點,可以保證數據的安全與隱私;雖然共識機制在公鏈和私鏈/聯盟鏈上有很大的差別,公鏈上使用的POW/POS共識機制[65],私鏈上使用PBFT及其變種算法的共識機制,但元宇宙將會基于區塊鏈形成自己的共識機制,去約束去中心化網絡中的每一個分散節點,并驗證每個節點的身份產生信任,保障元宇宙的去中心化價值網絡;基于以太坊的智能合約,一旦寫入無法篡改的特點及其可追蹤性,為元宇宙用戶提供可信交易。
除此之外,還有一些去中心化交易載體、組織機構也為元宇宙經濟系統建設增磚添瓦。目前,去中心化交易載體——數字貨幣,幣種已達21種 [66],包括MANA, AXS, SAND, CHR, TLM, SLP, ILV, ALICE, STARL, GHST, DPET等。另外,非同質化代幣(Non-fungible token, NFT)的出現引爆了元宇宙,可充當元宇宙激勵環節的媒介。它表示獨特物品所有權的代幣,包含特定商品或資產的獨特信息,實現虛擬物品的資產化,由于自身的數字稀缺性被率先應用于收藏、藝術品以及游戲場景。去中心化自治組織(Decentralized Autonomous Organization, DAO)將組織的管理和運營規則以智能合約的形式編碼在區塊鏈上,從而在沒有集中控制或第三方干預的情況下自主運行[67]。去中心化交易所(Decentralized Exchange, DEX)將資金保管在用戶的錢包中,交易平臺只負責提供數字貨幣流動性,撮合交易由智能合約來完成。現在DEX比較著名的有基于以太坊網絡的Uniswap、Sushiswap、IDEX、Bancor、Kyber,基于幣安智能鏈的Pancakeswap,基于Heco鏈上的MDEX [68]。
去中心化管理技術不僅在構建元宇宙經濟系統上起到了關鍵性作用,而且去中心化數據傳輸、存儲與管理等方面至關重要。如,數據傳輸和存儲過于集中,會出現單點故障和數據安全問題,文獻[69]提出了基于區塊鏈技術、門限代理重加密技術以及IPFS技術的去中心化數據共享方案;文獻[70]提出了基于分布式賬本的去中心化存儲系統框架,以提供可靠的數據存儲服務。因此未來去中心化管理技術將作為核心技術之一,保障元宇宙數據及經濟體系的安全,同時也能保障元宇宙中用戶的信息安全。
虛實世界的交互、虛實世界視覺、聽覺、觸覺、嗅覺的統一,是元宇宙虛實空間融合的基石,這離不開擴展現實、電子游戲及腦機接口等技術。
在較長的一段時間,人們與機器的交互拘泥于鍵盤、鼠標及顯示屏等外部設備。隨著科技的進步,擴展現實技術誕生,將人機交互從二維界面過渡到了三維交互,大大增加了人們的沉浸感體驗,這逐步變成了構建元宇宙技術支柱之一。實現其中的交互效果,XR及全息影像將承擔重要角色。 虛擬現實 (Virtual reality, VR)是一個先進的、理想化的虛擬現實系統,為用戶提供了完全沉浸式的體驗,讓他們感覺自己置身于現實世界。增強現實 (Augment reality, AR) 通過設備識別和判斷(二維、三維、GPS、體感、人臉和其他識別對象)將虛擬信息疊加在基于識別對象的位置上,并顯示在設備屏幕上,從而實現虛擬信息的實時交互。混合現實 (Mix reality, MR) 是一種結合現實世界和虛擬世界的新型可視化環境。在新的可視化環境中,物理對象和數字對象實時共存和交互。VR/AR/MR的邊界將在未來變得模糊,成為一種融合產品。目前,元宇宙采用的主要交互方式是為用戶創建高度交互的虛擬世界。 全息影像是通過光學的手段呈現物體真實的三維圖像的記錄和再現技術,是計算機技術和電子成像技術結合的產物。利用相干光干涉,記錄光波的振幅信息和相位信息,得到物體包含形狀、大小等的全部信息。全息影像技術是真正的三維立體影像,用戶在不借助可穿戴設備的情況下,就可以在不同的角度裸眼觀看全息影像。隨著技術的發展,全息影像技術可以模糊現實世界和虛擬世界的邊界,這將為真正實現元宇宙打下堅實的基礎。
電子游戲技術,是元宇宙的最直觀的表現方式,不僅可以為元宇宙提供內容創作平臺,還可以實現娛樂、社交場景的聚合。元宇宙產品實質是游戲的泛化(娛樂游戲、嚴肅游戲等),比如,美國著名歌手Travis Scott在《堡壘之夜》舉辦元宇宙演唱會;GUCCI與Roblox推出的“元宇宙GUCCI品牌展覽會”;歐萊雅發布的全球首個品牌虛擬代言人“M姐”等等。游戲開發中,最重要的是游戲引擎,類似于制造機床的母機床,這也將是大規模元宇宙平臺的“卡脖子”技術之一。游戲引擎的出現降低了游戲設計者及開發者建立虛擬場景的難度,使他們無需從基礎的代碼做起。其發展決定了元宇宙中NPC建模、場景實時渲染、用戶操作與交互等方面的質量及性能,讓用戶有更加接近于真實世界的體驗。目前,比較知名的游戲引擎如表5 所示。
腦機接口(Brain-computer interface, BCI)是通過識別大腦信號,對大腦活動過程中腦信號進行編碼和解碼。用戶通過腦機接口進行操作,如玩游戲、打字等。腦機接口技術通過將個人的大腦信號解碼成計算機設備可識別的命令,將人類的神經世界和外部物理世界連接起來[71],其過程主要包括:腦電信號采集、腦信號處理、設備控制及信息反饋四個方面[72]。腦機接口技術讓人類突破身體、可穿戴設備的限制,特別是可以幫助殘障人士以一種新的姿態重新融入到社會中。這種姿態是意識與思維的融入,將真正達到虛實空間融合,助力元宇宙虛實相生。 BCI目前已經有了許多可行的方法,Abiri等[73]綜述了基于腦電圖的腦機接口方法,其他學者基于人工智能算法的腦機接口進行了研究[71,74–75]。根據傳感器和計算設備的部署方式,可以分為侵入式接口和非侵入式接口,由于侵入式接口會對生物體造成一定的損傷,而且考慮到元宇宙的沉浸式體驗,未來元宇宙研究將重點關注非侵入式接口的研究,為元宇宙虛實空間融合奠定基礎。
2021年被成為元宇宙元年,自此,“元宇宙”概念和應用不斷地出現在我們視野中,國內外許多科技公司(例如,Facebook、英偉達、字節跳動等)開始布局元宇宙。隨著各種信息技術的逐漸成熟,元宇宙時代已經悄然來臨,并被應用于房地產、服裝、娛樂、會議、教育等應用場景。當前元宇宙正處于一個起步發力階段,潛力巨大,但它也會面臨諸多挑戰,具體如下所示。
元宇宙是否能夠被社會所接受,以及接受之后隨之而來產生的倫理與道德問題,比如,人機相處、虛擬婚姻家庭、虛假身份和信息、知識產權等[76]。也許在未來,會有公司/研究機構開發道德與倫理的數字協議,作為底層的技術來支撐元宇宙的運行。元宇宙概念構建的是一種高自由度、高包容度的“烏托邦”世界,如何在去中心化的框架中構架元宇宙的倫理與道德共識并被真實社會所接受,這需要從多視角進行探索。
另外,元宇宙的法律法規建設問題也需要同步研究。現實世界里用法律法規來約束正常的社會秩序,而元宇宙還處于初步探索期,是繼續沿用現實世界的法律還是依靠群體共識來約束元宇宙中人的行為及社會治理,都需要進一步研究。
元宇宙的發展,會帶來眾多的安全與隱私問題。其一,國家信息平臺整體安全問題。元宇宙作為新興的數字生態,其將遭受網絡攻擊。網絡攻擊既可針對元宇宙的最終用戶和設備終端,也可針對元宇宙的運營商或關鍵服務提供商,這將會影響國家的關鍵基礎設施。而且,元宇宙促進虛擬世界與現實世界的融合,將擴大網絡攻擊的危害性,嚴重影響國家信息平臺的整體安全。另外,由于元宇宙的技術發展模式,造成元宇宙產品蘊藏較多的設計缺陷和漏洞,這將威脅用戶在元宇宙中的“化身”資產,加大數字內容治理難度。其二,用戶數據的安全與隱私保護問題。元宇宙的出現,收集個人數據的數量以及豐富程度是前所未有的。在未來極有可能是多個公司/機構一起打造一個或多個元宇宙,那么公司/機構之間如何進行數據協調消除“數據孤島”問題以及不同元宇宙之間如何進行數據交互,保障元宇宙中用戶的隱私及安全成為亟待解決的問題。例如,Zhang等[77]從人工智能的角度概述了用戶訪問認證、網絡態勢感知、危險行為監控和異常流量識別等方面的研究,為優化元宇宙安全與隱私保護手段提供參考;Falchuk等[78]也提出了在元宇宙中面臨的隱私問題。
當前的技術遠不能實現概念中所描述的理想元宇宙,現在進入元宇宙空間主要依靠高沉浸感的XR(VR/AR/MR)設備,但當前的虛擬實現技術很難將設備小型化、便攜化以及低成本化,供用戶隨時隨地的進入元宇宙,而且長時間佩戴XR設備會讓人感覺不舒服。 元宇宙將會大量使用人工智能(Artificial intelligence, AI)算法(如機器學習、深度學習、強化學習等)。AI三要素,即數據、算法及算力,對元宇宙的建立及發展具有關鍵性的作用,助力實現超越現實世界限制的社會和經濟活動[79],但人工智能還存在諸多缺陷[80]。利用計算機視覺、智能語音、自然語言處理等技術可以產生逼真的視覺、聽覺等感覺。不管是硬件發展水平,還是數據、算法、算力的發展水平使得元宇宙目前遠不能達到高沉浸感體驗,而且體驗過程中,對于可靠性、穩定性及舒適度等方面具有較高要求,這些都還需要繼續和深度研究。
元宇宙強調了去中心化管理、用戶定制內容和高沉浸感等特點,尤其是去中心化的社會和經濟模式,一方面,包括貨幣、交易、資產、司法等都嚴重依賴現實世界的相應機構進行約束;二方面,去中心化模式發展的天花板是現實世界的各種限制,尤其是超大規模的元宇宙平臺實際上挑戰的是國家主權。因此,需要辯證地看待元宇宙的發展:小規模的元宇宙應用(平臺)可能會發展很快很廣泛;中等規模的元宇宙平臺(如社交網絡、購物平臺)受投資規模及運營風險等限制,進入的門檻還是很高的;至于超大規模的元宇宙社區,挑戰的是現實世界的國家主權,發展一定會受到限制。
元宇宙的誕生將促進現實世界與虛擬世界的聯接與融合,可能會成為人類社會發展的新形態,改變人們的生活方式。在元宇宙的發展初期,技術是根,技術的發展與創新是重中之重,本文概述了元宇宙涉及的網絡及運算技術、管理技術、虛實對象連接、建模與管理技術和虛實空間融合技術,為研究人員提供參考,推動技術創新來帶動產品、場景和應用創新。但是,“元宇宙”概念的爆火,其發展速度、終極形態,甚至對哲學、文化、社會及經濟治理,以及對人類的影響都還未知。隨著元宇宙應用雛形的落地,賦能實體經濟也將成為熱點方向,在政府堅持以技術賦能實體經濟的政策導向下,其在“元宇宙”時代仍將適用。當下“元宇宙”概念逐漸回歸理性,行業開始逐漸顯現出脫虛向實的趨勢。此外,隨著元宇宙的發展和應用的逐漸落地,其安全與監管問題,也將逐步提上日程。總之,無論處于何種趨勢,我們要清晰認識、理智決策、穩步探索元宇宙!
[1] What is the metaverse of the recent fire? [EB/OL]. CNR(2021-09-13) [2021-11-18].//baijiahao.baidu.com/s?id=37385158&wfr=spider&for=pc 最近大火的元宇宙是什么?[EB/OL]. 央廣網(2021-9-13) [2021-11-18]. [2] What is the metaverse of the recent fire [EB/ OL]. Mr. Xiong Hongmeng development (2021-11-09) [2021-11-18]. 最近大火的“元宇宙”到底是什么[EB/OL]. 鴻蒙開發大熊老師(2021-11-09) [2021-11-18].
目前,深度神經網絡廣泛應用于醫療、自動駕駛汽車、軍事等直接影響人類生活的關鍵任務系統。然而,深度神經網絡的黑箱特性對其在關鍵任務應用中的應用提出了挑戰,引發了道德和司法方面的擔憂,導致信任缺失。可解釋人工智能(XAI)是人工智能(AI)的一個領域,它促進了一套工具、技術和算法,可以生成高質量的可解釋的、直觀的、人類可以理解的人工智能決策解釋。除了在深度學習中提供當前XAI景觀的整體視圖外,本文還提供了開創性工作的數學總結。首先,我們根據XAI技術的解釋范圍、算法背后的方法論以及有助于構建可信、可解釋和自解釋的深度學習模型的解釋級別或用法,提出了一種分類和分類方法。然后,我們描述了在XAI研究中使用的主要原則,并給出了2007年至2020年XAI里程碑式研究的歷史時間表。在詳細解釋了每一類算法和方法之后,我們對8種XAI算法在圖像數據上生成的解釋圖進行了評估,討論了該方法的局限性,并為進一步改進XAI評估提供了潛在的方向。
基于人工智能(AI)的算法,尤其是使用深度神經網絡的算法,正在改變人類完成現實任務的方式。近年來,機器學習(ML)算法在科學、商業和社會工作流的各個方面的自動化應用出現了激增。這種激增的部分原因是ML領域(被稱為深度學習(DL))研究的增加,在深度學習中,數千(甚至數十億)個神經元參數被訓練用于泛化執行特定任務。成功使用DL算法在醫療(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],發育障礙(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主機器人和車輛(You2019、Grigorescu2019 Feng2020],在圖像處理的分類和檢測[Sahba2018 Bendre2020Human], 在語音和音頻處理(Boles2017, Panwar2017),網絡安全(Parra2020Detecting, Chacon2019Deep), 還有更多DL算法在我們日常生活中被成功應用。
深度神經網絡中大量的參數使其理解復雜,不可否認地更難解釋。不管交叉驗證的準確性或其他可能表明良好學習性能的評估參數如何,深度學習(DL)模型可能天生就能從人們認為重要的數據中學習表示,也可能無法從這些數據中學習表示。解釋DNNs所做的決策需要了解DNNs的內部運作,而非人工智能專家和更專注于獲得準確解決方案的最終用戶則缺乏這些知識。因此,解釋人工智能決策的能力往往被認為是次要的,以達到最先進的結果或超越人類水平的準確性。
對XAI的興趣,甚至來自各國政府,特別是歐洲通用數據保護條例(GDPR) [AIHLEG2019]的規定,顯示出AI的倫理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要實現,以及對抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺騙分類器決策方面的影響。在[Miller2019], Miller等人描述了好奇心是人們要求解釋具體決策的主要原因之一。另一個原因可能是為了促進更好的學習——重塑模型設計并產生更好的結果。每種解釋都應該在相似的數據點上保持一致,并且隨著時間的推移對同一數據點產生穩定或相似的解釋[Sokol2020]。解釋應該使人工智能算法表達,以提高人類的理解能力,提高決策的信心,并促進公正和公正的決策。因此,為了在ML決策過程中保持透明度、信任和公平性,ML系統需要一個解釋或可解釋的解決方案。
解釋是一種驗證人工智能代理或算法的輸出決策的方法。對于一個使用顯微圖像的癌癥檢測模型,解釋可能意味著一個輸入像素的地圖,這有助于模型輸出。對于語音識別模型,解釋可能是特定時間內的功率譜信息對當前輸出決策的貢獻較大。解釋也可以基于參數或激活的訓練模型解釋或使用代理,如決策樹或使用梯度或其他方法。在強化學習算法的背景下,一個解釋可能會給出為什么一個代理做了一個特定的決定。然而,可解釋和可解釋的人工智能的定義通常是通用的,可能會引起誤解[Rudin2019],應該整合某種形式的推理[Doran2018]。
AI模型的集合,比如決策樹和基于規則的模型,本質上是可解釋的。但是,與深度學習模型相比,存在可解釋性與準確性權衡的缺點。本文討論了研究人員解決深度學習算法可解釋性問題的不同方法和觀點。如果模型參數和體系結構是已知的,方法可以被有效地使用。然而,現代基于api的人工智能服務帶來了更多的挑戰,因為該問題的相對“黑箱”(Castelvecchi2016)性質,即終端用戶只掌握提供給深度學習模型的輸入信息,而不是模型本身。
在這個綜述中,我們提供了一個可解釋算法的全面概述,并將重要事件的時間軸和研究出版物劃分為三個定義完好的分類,如圖1所示。不像許多其他的綜述,只分類和總結在一個高水平上發表的研究,我們提供額外的數學概述和算法的重大工作在XAI領域。調查中提出的算法被分成三個定義明確的類別,下面將詳細描述。文獻中提出的各種評價XAI的技術也進行了討論,并討論了這些方法的局限性和未來的發展方向。
我們的貢獻可以概括如下:
為了系統地分析深度學習中可解釋和可解釋的算法,我們將XAI分類為三個定義明確的類別,以提高方法的清晰度和可訪問性。
我們審查,總結和分類的核心數學模型和算法,最近XAI研究提出的分類,并討論重要工作的時間。
我們生成并比較了八種不同XAI算法的解釋圖,概述了這種方法的局限性,并討論了使用深度神經網絡解釋來提高信任、透明度、偏差和公平的未來可能的方向。
【簡介】近些年來,可解釋的人工智能受到了越來越多的關注。隨著人工智能模型變得越來越復雜和不透明,可解釋性變得越來越重要。最近,研究人員一直在以用戶為中心研究和處理可解釋性,尋找可信任、可理解、明確的來源和上下文感知的可解釋性。在這篇論文中,我們通過調研人工智能和相關領域中有關可解釋性的文獻,并利用過去的相關研究生成了一系列的可解釋類型。我們定義每種類型,并提供一個示例問題,來闡述對這種解釋方式的需求。我們相信,這一系列的解釋類型將有助于未來的系統設計人員獲得可靠的需求和確定各種需求的優先級,并進一步幫助生成能夠更好地符合用戶和情景需求的解釋。
介紹
人工智能(AI)領域已經從單純的基于符號和邏輯的專家系統發展到使用統計和邏輯推理技術的混合系統。可解釋性人工智能的進展與人工智能方法的發展緊密相關,例如我們在早期的論文“可解釋的知識支持系統的基礎”中所涉及的類別,涵蓋了專家系統、語義web方法、認知助手和機器學習方法。我們注意到這些方法主要處理可解釋性的特定方面。例如,由專家系統產生的解釋主要用于提供推理所需的痕跡、來源和理由。這些由認知助理提供的模型能夠調整它們的形式以適應用戶的需求,并且在機器學習和專家系統領域,解釋為模型的功能提供了一種“直覺”。
【導讀】可解釋人工智能(Explainable Artificial Intelligence)旨在于具備可為人類所理解的功能或運作機制,具備透明度, 是當前AI研究的熱點,是構建和諧人機協作世界必要的條件,是構建負責任人工智能的基礎。最近來自法國西班牙等8家機構12位學者共同發表了關于可解釋人工智能XAI最新進展的綜述論文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》,共67頁pdf調研了402篇文獻,講解了最新可解釋人工智能的進展,集大成者,梳理了XAI的體系,并提出構建負責任人工智能的內涵,非常具有指引性。
在過去的幾年里,人工智能(AI)取得了顯著的發展勢頭,在不同領域的許多應用中它可能會帶來最好的預期。當這種情況發生時,整個社區都面臨可解釋性的障礙,這是人工智能技術的一個內在問題,它是由次象征主義(模型例如集成算法或深層神經網絡)帶來的,而這些在人工智能的最上一次高潮中是不存在的。這個問題背后的范例屬于所謂的可解釋AI (XAI)領域,它被認為是AI模型實際部署的一個關鍵特性。本文綜述了XAI領域的現有文獻,并對未來的研究方向進行了展望。我們總結了在機器學習中定義可解釋性的前期工作,建立了一個新的定義,它涵蓋了先前的概念命題,主要關注可解釋性所關心的受眾。然后,我們提出并討論了與不同機器學習模型的可解釋性相關的最近貢獻的分類,包括那些旨在建立第二種體系的深度學習方法。這篇文獻分析為XAI面臨的一系列挑戰提供了背景,比如數據融合和可解釋性之間的十字路口。我們構建了負責任的人工智能的概念,即一種以公平、模型可解釋性和問責性為核心的在真實組織中大規模實施人工智能方法的方法。最終目標是為XAI的新來者提供參考資料,以促進未來的研究進展,同時也鼓勵其他學科的專家和專業人員在他們的活動領域擁抱AI的好處,而不是因為它缺乏可解釋性而事先有任何偏見。
關鍵詞: 可解釋人工智能,機器學習,深度學習,數據融合,可解釋性,可理解性,透明性,隱私,公平性,可問責性,負責任的人工智能。
目錄
1. 引言
人工智能(AI)是許多采用新信息技術的活動領域的核心。人工智能的起源可以追溯到幾十年前,人們對于智能機器具有學習、推理和適應能力的重要性有著明確的共識。正是憑借這些能力,人工智能方法在學習解決日益復雜的計算任務時達到了前所未有的性能水平,這對人類社會[2]的未來發展至關重要。近來,人工智能系統的復雜程度已經提高到幾乎不需要人為干預來設計和部署它們。當來自這些系統的決策最終影響到人類的生活(例如,醫學、法律或國防)時,就有必要了解這些決策是如何由人工智能方法[3]提供的。
最早的人工智能系統是很容易解釋的,過去的幾年見證了不透明的決策系統的興起,比如深度神經網絡(DNNs)。深度學習(DL)模型(如DNNs)的經驗成功源于高效的學習算法及其巨大的參數空間的結合。后一個空間由數百層和數百萬個參數組成,這使得DNNs被認為是復雜的黑盒模型[4]。black-box-ness的反義詞是透明性,即以尋求對模型工作機理的直接理解。
隨著黑箱機器學習(ML)模型越來越多地被用于在關鍵環境中進行重要的預測,人工智能[6]的各個利益相關者對透明度的要求也越來越高。危險在于做出和使用的決策不合理、不合法,或者不允許對其行為進行詳細的解釋。支持模型輸出的解釋是至關重要的,例如,在精準醫療中,為了支持診斷[8],專家需要從模型中獲得遠比簡單的二進制預測多得多的信息。其他例子包括交通、安全、金融等領域的自動駕駛汽車。
一般來說,考慮到對合乎道德的人工智能[3]日益增長的需求,人類不愿采用不能直接解釋、處理和信任的[9]技術。習慣上認為,如果只關注性能,系統將變得越來越不透明。從模型的性能和它的透明性[10]之間的權衡來看,這是正確的。然而,對一個系統理解的提高可以導致對其缺陷的修正。在開發ML模型時,將可解釋性考慮為額外的設計驅動程序可以提高其可實現性,原因有三:
可解釋性有助于確保決策的公正性,即檢測并糾正訓練數據集中的偏差。
可解釋性通過強調可能改變預測的潛在對抗性擾動,促進了穩健性的提供。
可解釋性可以作為一種保證,即只有有意義的變量才能推斷出輸出,即,以確保模型推理中存在真實的因果關系。
這意味著,為了考慮實際,系統的解釋應該要么提供對模型機制和預測的理解,要么提供模型識別規則的可視化,要么提供可能擾亂模型[11]的提示。
為了避免限制當前一代人工智能系統的有效性,可解釋人工智能(XAI)[7]建議創建一套ML技術,1) 產生更多可解釋的模型,同時保持高水平的學習性能(如預測準確性),2) 使人類能夠理解、適當信任和有效管理新一代人工智能伙伴。XAI還借鑒了社會科學的[12],并考慮了解釋心理學。
圖1: 過去幾年中,標題、摘要和/或關鍵詞涉及XAI領域的出版物總數的變化。通過提交圖中所示的查詢從Scopus R數據庫檢索到的數據(2019年10月14日)。值得注意的是,隨著時間的推移,對可解釋的AI模型的潛在需求(這符合直覺,因為在許多場景中,可解釋性是一種要求),但直到2017年,解釋AI模型的技術興趣才滲透到整個研究領域。
這篇綜述的其余部分的結構如下:首先,第2節和其中的子節圍繞AI中的可解釋性和可解釋性展開了關于術語和概念的討論,最后得出前面提到的可解釋性的新定義(第2.1和2.2小節),以及從XAI的角度對ML模型進行分類和分析的一般標準。第3節和第4節回顧了ML模型(分別是透明模型和事后技術)的XAI的最新發現,它們構成了上述分類中的主要部分。同時,我們也回顧了這兩種方法的混合,以達到XAI。在第5節中討論了各種方法之間的協同作用的好處和注意事項,在這里,我們提出了對一般挑戰的展望和需要謹慎對待的一些后果。最后,第6節闡述了負責任的人工智能的概念。第7節總結了調查,目的是讓社區參與到這一充滿活力的研究領域中來,這一領域有可能影響社會,特別是那些逐漸將ML作為其活動核心技術的部門。
2. 可解釋性: 是什么,為什么,怎么做?
在繼續我們的文獻研究之前,我們可以先建立一個共同的觀點來理解在AI的可解釋性這個術語,更具體地說是ML中的含義。這確實是本節的目的,即暫停對這個概念的大量定義(什么?),討論為什么可解釋性在AI和ML中是一個重要的問題(為什么?目的何在?),并介紹XAI方法的一般分類,這將推動此后的文獻研究(如何?)。
2.1 術語說明
阻礙建立共同基礎的問題之一是interpretability 和explainability 在文獻中的互換誤用。這些概念之間存在著顯著的差異。首先,interpretability 是指一個模型的被動特性,指的是一個給定的模型對人類觀察者有意義的程度。這個特性也表示為透明性。相比之下,explainability 可以被看作是模型的主動特征,表示模型為了闡明或詳述其內部功能而采取的任何動作或過程。
為了總結最常用的命名法,在本節中,我們將闡明在倫理AI和XAI社區中常用的術語之間的區別和相似性。
Understandability(或等同地,intelligibility)指的是一個模型的特征,使人理解其功能——模型如何工作——而不需要解釋其內部結構或模型內部處理數據[18]的算法方法。
Comprehensibility: 在ML模型中,可理解性是指學習算法以人類可理解的方式表示其已學知識的能力[19,20,21]。這種模型可理解性的概念源于Michalski[22]的假設,即“計算機歸納的結果應該是對給定實體的符號描述,在語義和結構上類似于人類專家可能產生的觀察相同實體的結果。”這些描述的組成部分應作為單一的‘信息塊’可理解,可直接用自然語言解釋,并應以綜合方式將定量和定性概念聯系起來”。由于難以量化,可理解性通常與模型復雜度[17]的評估聯系在一起。
Interpretability可解釋性是指以可理解的語言向人類解釋或提供意義的能力。
Explainability可解釋性與作為人類和決策者之間的接口的解釋概念相關,同時,這也是決策者的準確代理,也是人類可以理解的[17]。
Transparency 透明度:如果一個模型本身是可以理解的,那么它就被認為是透明的。由于模型具有不同程度的可理解性,因此第3節中的透明模型分為三類: 可模擬模型、可分解模型和算法透明模型[5]。
2.2 什么?
雖然這可能被認為超出了本文的范圍,但值得注意的是在哲學領域[23]中圍繞一般解釋理論展開的討論。在這方面已經提出了許多建議,建議需要一種普遍的、統一的理論來近似解釋的結構和意圖。然而,在提出這樣一個普遍的理論時,沒有人經得起批評。就目前而言,最一致的想法是將不同的解釋方法從不同的知識學科中融合在一起。在處理人工智能的可解釋性時也發現了類似的問題。從文獻中似乎還沒有一個共同的觀點來理解什么是可解釋性或可解釋性。然而,許多貢獻聲稱是可解釋(interpretable)模型和技術的成就增強了可解釋性(explainability).
為了闡明這種缺乏共識的情況,我們不妨以D. Gunning在[7]中給出的可解釋人工智能(XAI)的定義作為參考起點:
“XAI將創造一套機器學習技術,使人類用戶能夠理解、適當信任并有效管理新一代人工智能合作伙伴。
這個定義結合了兩個需要提前處理的概念(理解和信任)。然而,它忽略了其他目的,如因果關系、可轉移性、信息性、公平性和信心等,從而激發了對可解釋AI模型的需求[5,24,25,26]。
進一步修正,我們給出explainable AI的定義:
給定一個受眾,一個可解釋的人工智能是一個產生細節或理由使其功能清晰或容易理解的人工智能。
這個定義在這里作為當前概述的第一個貢獻,隱含地假設XAI技術針對當前模型的易用性和清晰性在不同的應用目的上有所恢復,比如更好地讓用戶信任模型的輸出。
2.3 為什么?
如引言所述,可解釋性是人工智能在實際應用中面臨的主要障礙之一。無法解釋或完全理解最先進的ML算法表現得如此出色的原因是一個問題,它的根源有兩個不同的原因,如圖2所示。
圖2: 圖中顯示了在ML模型中由不同的用戶配置文件尋找的可解釋性的不同目的。它們有兩個目標:模型理解的需要和法規遵從性。
2.4 什么目標?
到目前為止,圍繞XAI的研究已經揭示出了不同的目標,以便從一個可解釋的模型的實現中得出結論。幾乎沒有一篇被調研的論文在描述一個可解釋的模型所要求的目標上是完全一致的。盡管如此,所有這些不同的目標都可能有助于區分特定的ML可解釋性的目的。不幸的是,很少有人試圖從概念的角度來界定這些目標[5、13、24、30]。我們現在綜合并列舉這些XAI目標的定義,以便為這篇綜述涵蓋的所有論文確定第一個分類標準:
圖3. 可解釋AI不同的度量維度
可信賴性Trustworthiness:一些作者同意將可信賴性作為可解釋AI模型的主要目標[31,32]。然而,根據模型誘導信任的能力將模型聲明為可解釋的可能并不完全符合模型可解釋性的要求。可信度可以被認為是一個模型在面對給定問題時是否會按預期行事的信心。雖然它肯定是任何可解釋模型的一個屬性,但它并不意味著每一個值得信任的模型都可以被認為是可解釋的,可信度也不是一個容易量化的屬性。信任可能遠遠不是可解釋模型的唯一目的,因為兩者之間的關系,如果達成一致,并不是相互的。在綜述的論文中,有一部分提到了信任的概念。但是,如表1所示,它們在最近與XAI相關的貢獻中所占的份額并不大。
因果關系Causality:可解釋性的另一個常見目標是發現數據變量之間的因果關系。一些作者認為,可解釋的模型可能簡化了尋找關系的任務,如果它們發生,可以進一步測試所涉及的變量之間更強的因果關系[159,160]。從觀測數據推斷因果關系是一個隨著時間的推移已經被廣泛研究的領域[161]。正如從事這一主題的社區所廣泛承認的那樣,因果關系需要一個廣泛的先驗知識框架來證明所觀察到的影響是因果關系。ML模型只發現它所學習的數據之間的相關性,因此可能不足以揭示因果關系。然而,因果關系涉及到相關性,所以一個可解釋的ML模型可以驗證因果推理技術提供的結果,或者在現有數據中提供可能的因果關系的第一直覺。同樣,表1顯示,如果我們關注那些將因果關系明確表述為目標的論文數量,因果關系就不是最重要的目標之一。
可轉移性Transferability: 模型總是受到一些約束,這些約束應該考慮到模型的無縫可轉移性。這就是為什么在處理ML問題時使用訓練-測試方法的主要原因[162,163]。可解釋性也是可轉移性的倡導者,因為它可以簡化闡明可能影響模型的邊界的任務,從而更好地理解和實現。類似地,僅僅理解模型中發生的內部關系有助于用戶在另一個問題中重用這些知識。在某些情況下,缺乏對模型的正確理解可能會將用戶推向錯誤的假設和致命的后果[44,164]。可轉移性也應該落在可解釋模型的結果屬性之間,但同樣,不是每個可轉讓性模型都應該被認為是可解釋的。正如在表1中所觀察到的,大量的論文指出,將一個模型描述為可解釋的是為了更好地理解復用它或提高它的性能所需要的概念,這是追求模型可解釋性的第二個最常用的理由。
信息性Informativeness: ML模型的最終目的是支持決策[92]。然而,不應該忘記的是,模型所解決的問題并不等于它的人類對手所面臨的問題。因此,為了能夠將用戶的決策與模型給出的解決方案聯系起來,并避免陷入誤解的陷阱,需要大量的信息。為此,可解釋的ML模型應該提供有關正在處理的問題的信息。在文獻綜述中發現的主要原因是為了提取模型內部關系的信息。幾乎所有的規則提取技術都證實了它們在尋找模型內部功能的更簡單理解方面的方法,說明知識(信息)可以用這些更簡單的代理來表示,它們認為這些代理可以解釋先行詞。這是在綜述的論文中發現的最常用的論點,用來支持他們所期望的可解釋模型。
置信度Confidence: 作為穩健性和穩定性的概括,置信度的評估應該始終基于一個預期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述,當從某個模型中提取解釋時,穩定性是必須具備的。可靠的解釋不應該由不穩定的模型產生。因此,一個可解釋的模型應該包含關于其工作機制可信度的信息。
公平性Fairness:從社會的角度來看,在ML模型中,可解釋性可以被認為是達到和保證公平性的能力。在一個特定的文獻鏈中,一個可解釋的ML模型建議對影響結果的關系進行清晰的可視化,允許對手頭的模型進行公平或倫理分析[3,100]。同樣,XAI的一個相關目標是強調模型所暴露的數據中的偏差[168,169]。在涉及人類生活的領域,對算法和模型的支持正在迅速增長,因此,可解釋性應被視為避免不公平或不道德地使用算法輸出的橋梁。
Accessibility可訪問性: 評審貢獻的認為可解釋性是允許最終用戶更多地參與改進和開發某個ML模型的過程的屬性[37,86]。顯然,可解釋的模型將減輕非技術或非專業用戶在處理乍一看似乎不可理解的算法時的負擔。這一概念在被調查的文獻中被認為是第三個最重要的目標。
交互性Interactivity: 一些貢獻[50,59]包括模型與用戶交互的能力,這是可解釋的ML模型的目標之一。同樣,這個目標與最終用戶非常重要的領域相關,他們調整模型并與之交互的能力是確保成功的關鍵。
隱私意識Privacy awareness: 在回顧的文獻中,幾乎被遺忘的是,ML模型中可解釋性的副產品之一是它評估隱私的能力。ML模型可能具有其所學習模式的復雜表示。無法理解模型[4]捕獲并存儲在其內部表示中的內容可能會導致隱私被破壞。相反,由未經授權的第三方解釋訓練過的模型的內部關系的能力也可能會損害數據來源的差異隱私。由于其在XAI預計將發揮關鍵作用的行業中的重要性,機密性和隱私問題將分別在第5.4和6.3小節中進一步討論。
本小節回顧了所調研論文的廣泛范圍內所涉及的目標。所有這些目標都清楚地隱藏在本節前面介紹的可解釋性概念的表面之下。為了總結之前對可解釋性概念的分析,最后一小節討論了社區為解決ML模型中的可解釋性所采取的不同策略。
2.5 怎么樣?
文獻明確區分了可以通過設計解釋的模型和可以通過外部XAI技術解釋的模型。這種雙重性也可以看作是可解釋模型與模型可解釋技術的區別;更廣泛接受的分類是透明模型和事后可解釋性。同樣的對偶性也出現在[17]的論文中,作者所做的區分是指解決透明盒設計問題的方法,而不是解釋黑盒子問題的方法。這項工作進一步擴展了透明模型之間的區別,包括考慮的不同透明度級別。
在透明性中,考慮了三個層次: 算法透明性、可分解性和可模擬性。在后設技術中,我們可以區分文本解釋、可視化、局部解釋、實例解釋、簡化解釋和特征關聯。在這種情況下,[24] 提出了一個更廣泛的區別: 1)區分不透明的系統,其中從輸入到輸出的映射對用戶來說是不可見的; 2)可解釋系統,用戶可以對映射進行數學分析; 3)可理解的系統,在這個系統中,模型應該輸出符號或規則以及它們的特定輸出,以幫助理解映射背后的基本原理。最后一個分類標準可以被認為包含在前面提出的分類標準中,因此本文將嘗試遵循更具體的分類標準。
圖4. 概念圖舉例透明度的不同層次描述M?毫升模型,與?表示模型的參數集的手:(一)可模擬性;(b)可分解性;(c)算法的透明度。
圖5. 概念圖顯示了不同的因果explainability方法可供M?毫升模型
3. 透明機器學習模型
前一節介紹了透明模型的概念。如果一個模型本身是可以理解的,那么它就被認為是透明的。本節調查的模型是一套透明模型,它可以屬于前面描述的模型透明性的一個或所有級別(即可模擬性、可分解性和算法透明性)。在接下來的部分中,我們提供了該語句的理由,并提供了圖6與圖7中所示支持。
圖6:ML模型可解釋性分類的總體情況
圖7: 本綜述中所考慮的不同ML模型的透明度水平的圖形說明:(a)線性回歸;(b)決策樹;(c)再鄰居;(d)基于規則的學習者;(e)廣義可加模型;(f)貝葉斯模型。
4. 機器學習模型的后解釋技術:分類法、淺層模型和深度學習
當ML模型不滿足宣布它們透明的任何標準時,必須設計一個單獨的方法并應用于模型來解釋它的決策。這就是事后可解釋性技術(也稱為建模后可解釋性)的目的,它的目的是交流關于已經開發的模型如何對任何給定輸入產生預測的可理解信息。在本節中,我們將對不同的算法方法進行分類和回顧,這些算法方法用于事后可解釋性,區別于1) 那些為應用于任何類型的ML模型而設計的算法方法; 2) 那些是為特定的ML模型設計的,因此,不能直接推斷到任何其他學習者。現在,我們詳細闡述了不同ML模型的事后可解釋性方面的趨勢,這些趨勢在圖8中以分層目錄的形式進行了說明,并在下面進行了總結:
用于事后解釋的模型無關技術(4.1小節),可以無縫地應用于任何ML模型,而不考慮其內部處理或內部表示。
專為解釋某些ML模型而定制或專門設計的事后解釋能力。我們將我們的文獻分析分為兩個主要的分支:淺層ML模型的事后可解釋性的貢獻,這些貢獻統稱為所有不依賴于神經處理單元的分層結構的ML模型(第4.2小節);以及為深度學習模型設計的技術,這些技術相應地表示神經網絡家族和相關變體,如卷積神經網絡、遞歸神經網絡(4.3小節)和包含深度神經網絡和透明模型的混合方案。對于每一個模型,我們都對研究界提出的最新的事后方法進行了徹底的審查,并確定了這些貢獻所遵循的趨勢。
我們以4.4小節結束了我們的文獻分析,在4.4小節中,我們提出了第二種分類法,通過對處理深度學習模型的事后解釋的貢獻進行分類,對圖6中更一般的分類進行了補充。為此,我們將重點關注與這類黑盒ML方法相關的特定方面,并展示它們如何鏈接到第一種分類法中使用的分類標準。
圖8. 綜述文獻的分類和與不同ML模型相關的可解釋性技術的趨勢。用藍色、綠色和紅色框起來的引用分別對應于使用圖像、文本或表格數據的XAI技術。為了建立這種分類法,對文獻進行了深入分析,以區分是否可以將后適應技術無縫地應用于任何ML模型,即使在其標題和/或摘要中明確提到了深度學習。
4.1 用于事后可解釋性的模型不可知技術
用于事后可解釋性的模型無關技術被設計成插入到任何模型,目的是從其預測過程中提取一些信息。有時,使用簡化技術來生成模仿其前身的代理,目的是為了獲得易于處理和降低復雜性的東西。其他時候,意圖集中在直接從模型中提取知識,或者簡單地將它們可視化,以簡化對其行為的解釋。根據第2節中介紹的分類法,與模型無關的技術可能依賴于模型簡化、特征相關性估計和可視化技術。
4.2 淺ML模型的事后解釋能力
Shallow ML覆蓋了多種監督學習模型。在這些模型中,有一些嚴格可解釋的(透明的)方法(如KNN和決策樹,已經在第3節中討論過)。考慮到它們在預測任務中的突出地位和顯著性能,本節將集中討論兩種流行的淺ML模型(樹集成和支持向量機,SVMs),它們需要采用事后可解釋性技術來解釋它們的決策
4.3 深度學習的可解釋性
事后局部解釋和特征相關技術正日益成為解釋DNNs的主要方法。本節回顧了最常用的DL模型,即多層神經網絡、卷積神經網絡(CNN)和遞歸神經網絡(RNN)的可解釋性研究。
圖9: 混合模型的圖示。一個被認為是黑箱的神經網絡可以通過將其與一個更具解釋性的模型相關聯來解釋,如決策樹[298]、一個(模糊的)基于規則的系統[19]或KNN[259]。
圖10:(a) 可選的深度學習特定分類擴展自[13]的分類;(b)它與圖6中的分類法的聯系。
5. XAI:機遇、挑戰和研究需求
現在,我們利用已完成的文獻回顧,對ML和數據融合模型的可解釋性領域的成就、趨勢和挑戰提出了批評。實際上,我們在討論到目前為止在這一領域取得的進展時,已經預見到了其中的一些挑戰。在本節中,我們將重新審視這些問題,并為XAI探索新的研究機會,找出可能的研究路徑,以便在未來幾年有效地解決這些問題:
在可解釋性和性能之間的權衡
可解釋性與性能的問題是一個隨著時間不斷重復的問題,但就像任何其他大命題一樣,它的周圍充滿了神話和誤解。
圖11: 模型可解釋性和性能之間的權衡,以及XAI技術和工具潛力所在的改進領域的表示
6. 走向負責任的人工智能:人工智能、公平、隱私和數據融合的原則
多年來,許多組織,無論是私人的還是公共的,都發布了指導方針,指出人工智能應該如何開發和使用。這些指導方針通常被稱為人工智能原則,它們處理與個人和整個社會潛在的人工智能威脅相關的問題。本節將介紹一些最重要和被廣泛認可的原則,以便將XAI(通常出現在它自己的原則中)與所有這些原則聯系起來。如果在實踐中尋求一個負責任的AI模型的實現和使用,我們公司聲稱XAI本身是不夠的。其他重要的人工智能原則,如隱私和公平,在實踐中必須謹慎處理。在接下來的章節中,我們將詳細闡述負責任人工智能的概念,以及XAI和數據融合在實現其假設原則中的含義。
6.1 人工智能原則 Principles of Artificial Intelligence
使用人工智能系統后的輸出不應導致在種族、宗教、性別、性取向、殘疾、種族、出身或任何其他個人條件方面對個人或集體產生任何形式的歧視。因此,在優化人工智能系統的結果時要考慮的一個基本標準不僅是它們在錯誤優化方面的輸出,而且是系統如何處理這些狀況。這定義了公平AI的原則。
人們應該知道什么時候與人交流,什么時候與人工智能系統交流。人們還應該知道他們的個人信息是否被人工智能系統使用,以及用于什么目的。確保對人工智能系統的決策有一定程度的理解是至關重要的。這可以通過使用XAI技術來實現。重要的是,生成的解釋要考慮將接收這些解釋的用戶的配置文件(根據小節2.2中給出的定義,所謂的受眾),以便調整透明度級別,如[45]中所示。這定義了透明和可解釋AI的原則。
人工智能產品和服務應始終與聯合國的可持續發展目標保持一致[375],并以積極和切實的方式為之做出貢獻。因此,人工智能應該總是為人類和公共利益帶來好處。這定義了以人為中心的人工智能的原則(也稱為社會公益的人工智能[376])。
人工智能系統,尤其是當它們由數據提供信息時,應該在其整個生命周期中始終考慮隱私和安全標準。這一原則并不排斥人工智能系統,因為它與許多其他軟件產品共享。因此,它可以從公司內部已經存在的流程中繼承。這通過設計定義了隱私和安全的原則,這也被認為是負責任的研究和創新范式下智能信息系統面臨的核心倫理和社會挑戰之一(RRI,[377])。RRI指的是一套方法學指南和建議,旨在從實驗室的角度考慮更廣泛的科學研究背景,以應對全球社會挑戰,如可持續性、公眾參與、倫理、科學教育、性別平等、開放獲取和治理。有趣的是,RRI還要求在遵循其原則的項目中確保開放性和透明度,這與前面提到的透明和可解釋的AI原則直接相關。
作者強調,所有這些原則都應該擴展到任何第三方(供應商、顧問、合作伙伴……)
6.2 公平和責任
如前一節所述,除了XAI之外,在過去十年中發布的不同AI原則指導方針中還包括許多關鍵方面。然而,這些方面并不是完全脫離了XAI;事實上,它們是交織在一起的。本節介紹了與人工智能原則指導具有巨大相關性的兩個關鍵組成部分,即公平性和可說明性。這也突出了它們與XAI的聯系。
6.3 隱私與數據融合
如今,幾乎所有領域的活動中都存在著越來越多的信息源,這就要求采用數據融合方法,同時利用這些信息源來解決學習任務。通過合并異構信息,數據融合已被證明可以在許多應用程序中提高ML模型的性能。本節通過數據融合技術的潛力進行推測,以豐富ML模型的可解釋性,并對從中學習ML模型的數據的私密性做出妥協。為此,我們簡要概述了不同的數據融合范式,并從數據隱私的角度進行了分析。我們稍后會講到,盡管XAI與負責任的人工智能相關,但在當前的研究主流中,XAI與數據融合是一個未知的研究領域。
圖12: 顯示可以執行數據融合的不同級別的關系圖:(a)數據級別;(b)模型;(c)知識水平;(d)大數據融合;(e)聯邦學習和(f)多視圖學習。
7. 結論和展望
這篇綜述圍繞著可解釋的人工智能(XAI)展開,它最近被認為是在現實應用中采用ML方法的最大需求。我們的研究首先闡明了模型可解釋性背后的不同概念,并展示了激發人們尋找更多可解釋的ML方法的各種目的。這些概念性的評注已經成為一個堅實的基礎,系統地回顧最近關于可解釋性的文獻,這些文獻從兩個不同的角度進行了探討:1) ML模型具有一定程度的透明性,因此可以在一定程度上自行解釋; 2) 后特設XAI技術的設計,使ML模型更容易解釋。這個文獻分析已經產生了一個由社區報告的不同提案的全球分類,在統一的標準下對它們進行分類。在深入研究深度學習模型可解釋性的貢獻越來越普遍的情況下,我們深入研究了有關這類模型的文獻,提出了一種可選擇的分類方法,可以更緊密地連接深度學習模型可解釋性的具體領域。
我們的討論已經超越了XAI領域目前所取得的成果,轉向了負責任的AI概念,即在實踐中實現AI模型時必須遵循的一系列AI原則,包括公平、透明和隱私。我們還討論了在數據融合的背景下采用XAI技術的含義,揭示了XAI在融合過程中可能會損害受保護數據的隱私。對XAI在公平方面的含義也進行了詳細的討論。
我們對XAI未來的思考,通過在整個論文中進行的討論,一致認為有必要對XAI技術的潛力和警告進行適當的理解。我們的設想是,模型的可解釋性必須與數據隱私、模型保密性、公平性和可靠性相關的需求和約束一起解決。只有聯合研究所有這些人工智能原則,才能保證在全世界的組織和機構中負責任地實施和使用人工智能方法。
參考文獻
題目: Convergence of Edge Computing and Deep Learning: A Comprehensive Survey
簡介: 來自工廠和社區的傳感器和智能設備正在生成大量數據,而不斷增長的計算能力正在將計算和服務的核心從云端驅動到網絡邊緣。作為廣泛改變人們生活的重要推動力,從人臉識別到智能工廠和城市,基于人工智能(尤其是深度學習,DL)的應用程序和服務的發展正在蓬勃發展。但是,由于效率和延遲問題,當前的云計算服務體系結構阻礙了“為每個地方的每個人和每個組織提供人工智能”的愿景。因此,使用在數據源附近的網絡邊緣的資源來釋放DL服務已經成為一種理想的解決方案。因此,旨在通過邊緣計算促進DL服務部署的邊緣智能已引起了廣泛關注。此外,作為人工智能的代表技術的DL可以集成到邊緣計算框架中,以構建用于動態,自適應邊緣維護和管理的智能邊緣。關于互惠互利的邊緣智能和智能邊緣,本文介紹和討論:1)兩者的應用場景; 2)實際的實現方法和使能技術,即定制邊緣計算框架中的DL訓練; 3)現有挑戰以及更普遍,更精細的智能化趨勢。通過整合散布在通信,網絡和DL領域的信息,可以幫助讀者理解支持技術之間的聯系,同時促進對邊緣智能與智能邊緣融合的進一步討論。