亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的十年中，深度學習在人工智能的各個領域，包括自然語言處理、計算機視覺和生物醫學信號處理中，顯示出了顯著的主導地位。盡管模型準確性有了顯著提高，但在移動電話和微控制器等輕量級設備上部署這些模型受到了有限資源的制約。在這篇綜述中，我們為這些設備提供了全面的設計指導，詳細介紹了輕量級模型的精細設計、壓縮方法和硬件加速策略。這項工作的主要目標是探索在不影響模型準確性的前提下，如何繞過硬件限制的方法和概念。此外，我們還探討了未來輕量級深度學習的兩條值得注意的路徑：TinyML 和大型語言模型的部署技術。盡管這些路徑無疑具有潛力，但它們也帶來了重大挑戰，鼓勵對未探索領域的研究。

近年來，神經網絡（NN）的重要性急劇上升，其應用已滲透到日常生活的各個方面，并擴展到支持復雜任務【18, 84, 222】。然而，自2012年AlexNet【110】發布以來，一直流行著創建更深、更復雜的網絡以提高準確性的趨勢。例如，Model Soups【215】在ImageNet數據集上取得了顯著的準確性，但代價是超過18.43億個參數。同樣，GPT-4【10】在自然語言處理（NLP）基準測試中表現出色，盡管其擁有驚人的1.76萬億參數。值得注意的是，Amodei等人【4】指出，從2012年到2018年，深度學習（DL）的計算需求急劇增加，大約增長了300,000倍。這種尺寸的急劇增加為本文探討的挑戰和發展奠定了舞臺。

同時，近幾年來Green AI【169, 188】已成為突出的關注點，因其對顯著的GPU和訓練時間需求標記出不適合使用的重量級DL模型，這可能導致環境退化。Strubell等人【178】對在多GPU上訓練的語言模型的碳足跡進行了廣泛分析。與此同時，輕量級設備因其多功能應用和便攜性而受到增加的關注。根據Sinha【174】的說法，2022年連接的IoT設備數量增長了18%，達到了144億，并預計到2027年將增長到290億。自2016年以來生產的超過2億部iPhone證明了這種需求的增長。另一方面，邊緣設備提供了比移動設備更優越的自動化和能效，特別是在如起搏器和額溫計等設備中部署的超低成本微控制器（MCU）【46】。

為了應對上述實際需求，近年來出現了大量研究，重點是輕量級建模、模型壓縮和加速技術。連續在CVPR 2021-2023年期間舉行的年度移動AI（MAI）研討會【139–141】，主要強調在ARM Mali GPU和Raspberry Pi 4等資源受限的設備上部署DL模型用于圖像處理。此外，在ICCV 2019、ICCV 2021和ECCV 2022【3】舉辦的圖像操作進步（AIM）研討會組織了圍繞在移動設備上進行圖像/視頻操作、恢復和增強的挑戰。

通過我們的研究，我們發現從設計階段到部署，分析高效輕量級模型發展的最有效方法涉及到將三個關鍵元素整合到流程中：NN架構設計、壓縮方法和輕量級DL模型的硬件加速。以前的綜述【11, 62, 69, 121, 165】通常只關注這一流程的特定方面，例如僅討論量化方法，提供那些部分的詳細見解。然而，這些綜述可能無法提供整個過程的全面視圖，可能忽視了重要的替代方法和技術。相比之下，我們的綜述涵蓋了輕量級架構、壓縮方法和硬件加速算法。

1.1 神經網絡設計

在本文的第一部分，第2節中，我們考察了經典的輕量級架構，將它們歸類為系列族以提高清晰度。其中一些架構通過引入創新的卷積塊取得了重大進展。例如，深度可分離卷積[35]優先考慮高精度和降低計算需求。Sandler等人[168]引入了反向殘差瓶頸來增強梯度傳播。其他架構，如ShuffleNet[248]，能夠開發優化的卷積操作，該操作應用了群卷積[110]以實現并行設計，并通過洗牌操作進一步提高數據組間的轉移能力。ShiftNet[217]實現了與傳統卷積相等的效果，但不需要參數或浮點運算（FLOPs）。AdderNet[21]用加法操作取代乘法操作，大大降低了計算需求。

還需注意的是，參數和FLOPs與推理時間并不總是一致相關。早期的輕量級架構，如SqueezeNet[98]和MobileNet[89]，旨在減少參數和FLOPs。然而，這種減少常常會增加內存訪問成本（MAC）[138]，導致推理速度變慢。因此，我們旨在通過提供更全面和深入的綜述來促進輕量級模型的應用。

1.2 神經網絡壓縮

除了輕量級架構設計外，第3節還提到了可以應用于壓縮給定架構的各種高效算法。例如，量化方法[97, 132, 230]旨在減少數據存儲需求，常通過用8位或16位數字甚至使用二進制值代替32位浮點數來實現。最簡單的剪枝算法[54, 67, 114]從模型中移除參數，以消除網絡內不必要的冗余。更復雜的算法可能會從網絡中移除整個通道或濾波器[81, 135]。知識蒸餾（KD）技術[62, 85]探討了從一個模型（稱為“教師”）向另一個模型（稱為“學生”）轉移知識的概念。教師代表一個具有所需知識的大型預訓練模型，而學生則是一個未訓練的小型模型，負責從教師中提取知識。隨著方法的演進，一些算法[5, 239]通過使用相同的網絡兩次，消除了額外教師模型的需要。隨著這些各種壓縮方法的進展，常見的是采用兩種或更多技術的融合，例如在同一模型中結合剪枝和量化方法。

1.3 神經網絡部署

在第4節中，我們瀏覽了專用于DL應用的常見硬件加速器的概況，包括圖形處理單元（GPUs）、現場可編程門陣列（FPGAs）和張量處理單元（TPUs）。此外，我們描述了各種數據流類型[23, 65, 103, 128]并深入探討了數據局部性優化方法[146, 177, 241]，探索支撐DL工作流中高效處理的復雜技術。本篇綜述還討論了加速DL過程的流行DL庫[1, 24, 153]，這些庫和框架在優化硬件加速器的利用中發揮了關鍵作用。此外，我們還研究了共同設計的解決方案[32, 152, 212]，在加速DL中實現優化和整體的成果需要仔細考慮硬件架構和壓縮方法。

1.4 挑戰與未來工作

最后，在第5節中，我們開始探索旨在在極低功耗設備上執行DL模型的新興TinyML技術，這些設備通常的功率消耗不到1毫瓦。此外，我們的論文還深入探討了大型語言模型（LLMs），這些模型在資源有限的設備上部署時面臨挑戰，因為它們的模型尺寸巨大。在計算機視覺領域，將這些方法部署在邊緣設備上對于廣泛應用至關重要。

1.5 貢獻

本文旨在簡單但準確地描述如何利用輕量級架構、壓縮方法和硬件技術在資源受限的設備上實現準確模型。我們的主要貢獻總結如下： (1) 以前的綜述僅簡要參考了少數關于輕量級架構的作品。我們將輕量級架構組織成系列，例如將MobileNetV1-V3和MobileNeXt歸類為MobileNet系列，并提供了從其開始到現在的輕量級架構的歷史。 (2) 為了全面覆蓋輕量級DL應用，我們還涵蓋了壓縮和硬件加速方法。與許多其他綜述不同，我們的綜述明確建立了這些技術之間的聯系，提供了每個領域的徹底概覽，以便全面了解它們的相互關系。 (3) 作為輕量級DL領域前沿進展的一部分，我們回顧了當前的挑戰并探索了未來的工作。首先，我們探討了TinyML，這是一種為在資源極其有限的設備上部署DL模型而設計的新興方法。隨后，我們調查了各種當代倡議，這些倡議在輕量級DL領域的邊緣設備上利用LLMs，這是一個有前景的方向。

航空航天和國防領域正在經歷一場變革，其主要驅動力是將人工智能（AI）和機器學習（ML）技術集成到為軍事設計的傳感器、武器和信息系統中。在精確度、快速決策和穩健性至關重要的環境中，人工智能/機器學習已成為一項關鍵技術，可加快對態勢的理解和決策，提高作戰效率。這些技術使軍事行動更有可能克服 "戰爭迷霧"，人工智能/機器學習基于無休止和持續的信號收集，而不是人眼可見的跡象，使感官和態勢理解更加敏銳。這些部門的獨特要求，如多域作戰、極端條件下的應變能力、高風險決策、互操作性和先進的安全措施，為人工智能發揮重大影響創造了條件。

市場驅動力和獨特需求

航空航天和國防領域轉向人工智能有幾個關鍵因素：

1.快速準確的決策：軍事行動在時間和空間上都具有決定性意義。人工智能系統快速處理和分析海量數據的能力對于實時做出戰略和行動決策至關重要。挖掘來自不同來源和領域的信息并快速融合這些數據，可為決策者提供可在短周期內實施的行動情報，從而在分配的時間和空間內產生預期效果。

2.彈性和可靠性： 人工智能應用程序必須在各種具有挑戰性的環境中始終如一地運行；其建議和響應必須可信、可靠，并且不會出現商業大型語言模型（LLM）所遇到的 "幻覺"。信心和信任是軍事人工智能系統中最重要的因素，能讓用戶利用這些系統發揮最大價值。安全和信心不應是設計功能，而應是軍事人工智能系統基線基礎設施的一部分。此外，還應考慮物理安全和安保問題，采用分布式系統、邊緣處理以及強大而有彈性的網絡，使人工智能隨時隨地為作戰部隊提供支持。

3.道德和受控的自動化：無論是否有制衡機制來實現人類的信任，軍事系統的高風險都要求人工智能系統納入并遵守道德標準，并允許人類在不減慢整個流程的情況下進行監督。盡管 "道德標準 "是一個不固定的術語，取決于設計者和用戶的法律、文化、宗教和社會背景，但它為人工智能操作定義了 "游戲場地 "和邊界，就像戰爭法定義了作戰人員在戰時能做什么或不能做什么一樣。

4.先進的安全措施：鑒于國防行動的敏感性，人工智能系統必須具備無與倫比的網絡安全能力，消除系統訓練和操作過程中的不利和惡意行為。人工智能系統依賴于網絡、信息、數據饋送以及通過訓練嵌入的算法。在設計或訓練過程中篡改這些基礎，或在系統運行階段對其進行惡意操作，都可能會給用戶和依賴系統帶來巨大風險和意想不到的后果。因此，從早期設計階段就應考慮安全措施，包括風險檢測、規避和應對。

領先企業及其影響

研究了數十家公司的產品，觀看了演示，并在展覽和會議上聽取了官員的介紹。通過研究，掃描了市場上專為軍事行動設計或能夠支持軍事用途的人工智能系統。使用現有最好的人工智能工具進行研究，但即使這樣也需要大量的人工分析才能提供符合標準的可用信息。在第一部分中，挑選了五個在軍事行動中表現出色的人工智能系統。

洛克希德-馬丁公司

為何選擇：作為行業領導者，洛克希德-馬丁公司是將人工智能廣泛應用于國防領域的典范。他們的 AI Factory 計劃展示了他們在該領域推進 AI/ML 技術的承諾。它提供了一個安全的端到端模塊化生態系統，用于訓練、部署和維持可信賴的人工智能解決方案。其功能側重于從開發到部署和維護的自動化，應用 MLOps 解決方案（機器學習運營）來驗證、解釋、保護和監控所有機器學習生命周期階段，并創建可跨項目重復使用的參考架構和組件。

影響：從作戰飛機到太空探索，洛克希德-馬丁公司通過其人工智能驅動的解決方案影響著全球國防戰略，樹立了行業標準并為未來的技術進步鋪平了道路。

Palantir科技公司

為何選擇： Palantir 在大數據分析領域舉足輕重，為情報收集和作戰計劃提供人工智能平臺。他們的 AIP 平臺為綜合解決方案奠定了基礎，通過向決策者提供相關信息、利用可用傳感器增強信息以及根據對信息、紅軍和藍軍戰術、技術和程序（TTP）的理解向決策者提供相關的、可操作的響應，從而增強軍事組織的能力并使其同步化。

影響： Palantir AIP 將大型語言模型和尖端人工智能的力量結合起來，激活數據和模型，以安全、合法和合乎道德的方式從最高度敏感的環境中獲取信息。他們的系統利用信息源的可追溯性和可信推理，在復雜的國防環境中實現數據驅動決策，說明人工智能在作戰計劃和情報行動中的重要性與日俱增。

安杜里爾工業公司

為何選擇：Anduril Industries 站在將人工智能整合到自主系統和監控技術的前沿，改變傳統的防御戰略，采用可信賴的有人無人操作能力。

影響：他們的任務自主方法是從邊境安全和態勢感知發展而來的。他們的 Lattice AI 操作系統重新定義了防御方法，引入了分布式任務自主，采用由小型人類團隊操作的眾多無人系統。核心軟件提供傳感器融合、目標識別和跟蹤、智能網絡、指揮和控制。與其他解決方案不同的是，Anduril 的方法是通過添加可操作的使能因素，將其人工智能的覆蓋范圍擴展到 Lattice 核心之外--在安全領域，這些使能因素包括 Sentry 傳感器、Anvil 和 Roadrunner 反制措施。在進攻性打擊任務中，例如在美國陸軍的 "空中發射效應 "中，該系統通過Altius長續航時間傳感器、Fury Attritable飛機和Altius 700M效應器，將Anduril的移動自主概念發揮到極致。作為一個集成解決方案，它通過擴展覆蓋范圍、能力和態勢感知，使人類能夠使用自主系統，同時使作戰人員能夠更快地做出更好的決策。

C3.ai公司

為何選擇：C3.ai 的突出之處在于其將各種人工智能工具整合到 AI-Readiness 中的戰略，這是一個安全、統一的平臺，具有可信任、彈性和可互操作的可擴展系統，可在整個生命周期內連接和管理復雜且不同的資產。

影響： 通過提高決策和運營效率，C3.ai 的解決方案優化了資源管理和維護計劃，證明了人工智能在提高國防資產的可用性和使用壽命方面的作用，同時還能保持高安全標準。為支持引入人工智能驅動的解決方案，該公司提供了一個人工智能開發工作室，將技術評估加速到數天，并在數周或數月內完成應用開發和部署，而不是數年。

赫爾辛公司

為何選擇：赫爾辛公司代表了新一輪專注于專業人工智能應用的國防初創企業，他們得到歐洲主要國防企業的支持，凸顯了赫爾辛公司在人工智能國防市場的潛力和影響力。

影響：赫爾辛公司在情報分析和決策支持方面的人工智能解決方案利用先進的目標識別和人工智能賦能的電子戰技術，與其他合作伙伴的解決方案一起，必將成為雄心勃勃的未來空戰系統（FCAS）這一任務系統的人工智能支柱的一部分。赫爾辛公司專為現代戰爭量身定制，將為未來提供獨一無二的人工智能國防和航空應用。自 2022 年以來，赫爾辛公司一直活躍在烏克蘭，為前線作戰提供能力和技術。

結論

正如這些領先公司所展示的那樣，航空航天和國防領域正在走向以人工智能為中心的未來。市場格局多種多樣，發展迅速。每家公司都以獨特的方式塑造人工智能的市場、技術和未來，凸顯了人工智能對全球國防和航空航天戰略的變革性影響。這一趨勢增強了當前的能力，為軍事和太空行動開辟了新的可能性，標志著國防技術進入了一個新時代。

參考來源：DEFENSE UPDATE

人工智能（AI）究竟是什么？它與電子戰（EW）的未來有什么關系？人工智能正在改變我們所做的一切嗎？如果忽視人工智能，那將是一個錯誤。眾所周知，特斯拉采用了人工智能算法，特別是卷積神經網絡、遞歸神經網絡和強化學習。從根本上說，這些算法可以匯編來自多個傳感器的數據，分析這些數據，然后做出決策或向最終用戶提供信息，從而以驚人的速度做出決策。這一過程以指數級的速度發生，超過了人腦的處理速度。因此，從根本上說，人工智能是機器像人類一樣執行認知功能的能力。

人工智能可以駕駛汽車、撰寫學期論文、以適當的語氣幫你創建電子郵件，因此，它在軍事領域的潛在應用也是理所當然的。具體來說，就是整合人工智能電子戰及其提供的潛在能力轉變。雖然 "電子戰 "一詞已經使用了相當長的一段時間，但將人工智能注入這一領域為提高速度和殺傷力和/或保護開辟了新的途徑。

電子戰包含一系列與控制電磁頻譜有關的活動，傳統上一直依賴人類的專業知識來探測、利用和防御電子信號。然而，現代戰爭的速度和復雜性已經超出了人類操作員的能力。這正是人工智能的優勢所在，它帶來的一系列優勢將徹底改變電子戰的格局。

將人工智能融入電子戰的首要好處之一是增強了實時處理和分析海量數據的能力。在數字時代，戰場上充斥著來自通信網絡、雷達系統和電子設備等各種來源的大量信息。人工智能算法可以迅速篩選這些數據，識別出人類操作員可能無法識別的模式、異常情況和潛在威脅。這種能力不僅能提高威脅檢測的準確性，還能大大縮短響應時間，使友軍在快速演變的局勢中獲得關鍵優勢。

在這種情況下，人工智能賦能的兵力倍增器就出現了，它能在面對復雜多變的局勢時做出更高效、更有效的決策。現代戰場會產生大量電子信號，需要快速準確地識別。人工智能驅動的算法擅長篩選這些數據、辨別模式，并識別在以往場景中可能被忽視的信息。這使兵力能夠迅速做出反應，以更快的速度做出關鍵決策。

此外，人工智能還具有適應和學習新信息的能力，這一特性在電子戰領域尤為有利。電子威脅和反制措施處于不斷演變的狀態，需要反應迅速和靈活的策略。人工智能驅動的系統可以根據不斷變化的情況迅速調整戰術，持續優化性能，而無需人工干預。這種適應性對于對抗復雜的電子攻擊和領先對手一步至關重要。

人工智能與電子戰的融合還為指揮官提供了更先進的決策工具，比歷史標準更詳細、更快速。人工智能算法可以分析各種場景，考慮地形、天氣以及友軍和敵軍兵力等因素。這種分析為指揮官提供了全面的戰場情況，使他們能夠在充分了解情況的基礎上做出決策，最大限度地提高任務成功的概率，最大限度地降低潛在風險。此外，人工智能驅動的模擬可以演繹不同的場景，使軍事規劃人員能夠完善戰略，評估不同行動方案的潛在結果。美國今年早些時候進行了一次以印度洋-太平洋地區為重點的演習，將大語言模型（LLM）作為規劃和決策過程的一部分。一位演習成員稱贊了系統 "學習 "的成功和速度，以及系統成為戰場上可行資源的速度。另一個例子是，利用已輸入人工智能系統的數據對目標清單進行優先排序，人工智能系統能夠考慮瞄準行動、網絡，從而比操作人員更快、更全面地了解戰區情況。

不過，必須承認，要完成人工智能整合，還存在一些潛在的障礙。首先，美國防部大多數實體無法直接獲得人工智能技術。大多數從事前沿人工智能工作的組織都是商業公司，它們必須與軍事系統合作或集成。這可能會受到美國現行預算和研發流程的阻礙。此外，美國的這些流程進展緩慢，人工智能技術很有可能無法融入美國兵力。還有潛在的道德和安全考慮。隨著人工智能系統在探測和應對威脅方面承擔更多責任，人類的監督和控制水平也會出現問題。為了與戰爭法則保持一致，需要有人工參與，而不是完全依賴人工智能來做出攻擊決策。任何時候，只要有可能造成人員傷亡、附帶損害或其他問題，就需要人類做出有意識的知情決策，而不能任由人工智能自生自滅。在人工智能自主決策和人工干預之間取得適當的平衡至關重要，以防止意外后果或機器在沒有適當問責的情況下做出生死攸關的選擇。

最后，人工智能的整合引發了對潛在網絡漏洞的擔憂。雖然人工智能可以提高電子戰的速度和準確性，但它也為試圖操縱或破壞人工智能系統的惡意行為者帶來了新的攻擊途徑。要保護這些系統免受網絡威脅，就必須采取強有力的整體網絡安全方法，同時考慮到人工智能驅動的電子戰的硬件和軟件層。

最后，不可否認，將人工智能融入戰爭預警的潛在戰略利益是巨大的。人工智能處理海量數據、適應不斷變化的條件和支持決策過程的能力有可能重塑現代戰爭的格局。隨著兵力越來越依賴技術來保持在數字化作戰空間中的優勢，負責任地開發和部署人工智能驅動的預警系統將是必要的。 如何在技術創新、人工監督和安全措施之間取得適當平衡，將決定能在多大程度上實現這些優勢，同時又不損害戰略目標或道德考量。美國采購系統面臨的挑戰也將在人工智能集成中發揮關鍵作用。人工智能在電子戰中的變革力量有可能改變游戲規則。問題是：它會嗎？人工智能將如何融入新型 EC-37B Compass Call 和 NexGen 干擾機等未來平臺？陸軍是否會將人工智能納入其推動營級決策的努力中？這些都是值得探討的問題，但有一點是肯定的：電磁作戰界必須繼續接受創新思維，因為我們知道未來的戰斗將在電磁頻譜中開始和結束。人工智能將在現代戰爭的新時代發揮關鍵作用。

最近的努力已經將大型語言模型（LLMs）與外部資源（例如，互聯網）或內部控制流（例如，提示鏈接）結合起來，用于需要定位或推理的任務。然而，這些努力大都是零散的，缺乏構建一個完整的語言智能體的系統框架。為了應對這一挑戰，我們借鑒了符號人工智能中智能體設計的豐富歷史，為新一波的認知語言智能體開發了一個藍圖。我們首先展示LLMs具有與生產系統相同的許多屬性，而最近為改進其定位或推理所做的努力反映了圍繞生產系統構建的認知架構的發展。接著，我們提出了“語言智能體的認知架構”(CoALA) ，這是一個概念框架，用于系統化地將基于LLM的推理、定位、學習和決策作為框架中語言智能體的實例化方法。最后，我們使用CoALA框架來突出顯示缺口，并提出實際的方向，以便在未來培養更有能力的語言智能體。

高度靈活、可重用的人工智能(AI)模型的異常快速發展可能會在醫學中引入新的能力。本文提出一種醫學人工智能的新范式，稱為全科醫學人工智能(GMAI)。GMAI模型將能夠使用很少或沒有特定任務的標記數據來執行一系列不同的任務。GMAI通過在大型、多樣化的數據集上進行自監督而建立，將靈活地解釋不同的醫療模式組合，包括來自圖像、電子健康記錄、實驗室結果、基因組學、圖或醫學文本的數據。反過來，模型將產生表現力的輸出，如自由文本解釋、口頭建議或圖像注釋，這些顯示了先進的醫學推理能力。本文確定了GMAI的一組高影響的潛在應用，并列出了實現它們所需的特定技術能力和訓練數據集。我們預計，支持GMAI的應用程序將挑戰目前監管和驗證醫療人工智能設備的策略，并將改變與大型醫療數據集收集相關的實踐。

可解釋人工智能(XAI)通過增強終端用戶對機器的信任，正在改變人工智能(AI)領域。隨著連接設備數量的不斷增長，物聯網(IoT)市場需要對終端用戶來說是值得信任的。然而，現有文獻對于XAI在物聯網中的應用尚缺乏系統而全面的綜述性工作**。為了彌補這一不足，在本文中，我們關注了XAI框架的特點和對物聯網的支持。我們介紹了物聯網應用中廣泛使用的XAI服務，如安全增強、醫療物聯網(IoMT)、工業物聯網(IIoT)和城市物聯網(IoCT)**。通過適當的例子，提出了在這些應用中XAI模型優于物聯網系統的實現選擇，并總結了未來工作的關鍵推論。此外，我們介紹了邊緣XAI結構的前沿發展，以及對物聯網應用的第六代(6G)通信服務的支持，以及關鍵推論。簡而言之，本文構成了針對未來物聯網用例需求的基于XAI的框架開發的第一個整體匯編。

//www.zhuanzhi.ai/paper/60b70e12d1bbad0142aa263371444331

概述

可解釋人工智能(XAI)由于具有高度透明、可信賴、可解釋的系統開發等諸多優點，越來越受到人們的重視。人工智能(AI)系統每天都在進化，具有更復雜的功能。人工智能也已經發展到可以直接與機器交互的水平。它已經成為每一個商業運作和人類日常生活的一部分。然而，這些往往容易產生模型偏差，缺乏代碼信心和信任問題。為了管理這些風險并保持AI模型的透明度，XAI的出現為系統提供了許多有意義的解釋，而不會對所做的決策或任何采納的解決方案產生任何混亂[1]。XAI對當前業務的影響可能會取代傳統的AI系統，這些系統能夠在生產、制造、供應鏈、金融部門和財富管理方面產生更大的影響，帶來更好的增長和可持續發展。

近年來，XAI技術引起了業界和學術界的廣泛關注。該技術的發展已經取得了巨大的成功，從模型中做出了值得信賴的決策。XAI的出現目前跨越了大量的應用程序，這些應用程序推動了對各個研究領域的投資。XAI最流行的應用程序包括醫療保健[2]、金融[3]、安全[4]、軍事[5]和法律部門[6]。一般來說，XAI技術已經證明了其潛力，目前需要可解釋的AI模型。一個使用XAI的實際例子是國防部門[7]。此外，谷歌的云服務正在探索XAI部署可解釋和包容性AI模型的潛力[8]。作為XAI對物聯網(IoT)環境最成功的影響之一，可解釋和透明ML模型[9]承諾了新的策略來解釋黑箱決策系統[10]，基于新的解釋風格[11]的設計，用于評估AI系統的透明度和可解釋性。用于解釋的算法的技術方面可以被物聯網系統用于確保XAI模型中的倫理方面。物聯網中的XAI系統的一個例子是[4]，它已被證明可以使用統計理論在工業物聯網(IIoT)中提供模型不可知的解釋，從而促進透明度的有效性。然而，涉及的挑戰是隨機新樣本的考慮，這需要解決高風險物聯網應用。通過使用基于LIME的XAI模型，可以學習域不變特征來保證信息處理的可信度，并且能夠提供可靠的解釋[12]。

XAI模型的一個關鍵挑戰是定制用于處理非線性數據的模型，這可以通過開發數據驅動的XAI模型[13]來規避。特別是，盡管完全可解釋的模型還處于初級階段，XAI系統仍然需要能夠解決解釋和可解釋性的理論和實踐方面的新模型。例如，物聯網設備中的隱私和數據保護可能無法由AI模型對模型如何做出決策進行足夠安全的處理。對物聯網應用的一些解釋必須明確，特別是在醫療保健和軍事應用中，XAI可以大大受益。因此，XAI技術有望成為物聯網及其相關賦能技術的可靠技術。

A. 動機

由于黑箱模型的不透明性，人工智能系統帶來的重大挑戰常常從倫理角度對信任構成威脅[14]。XAI模型固有的可解釋性是通過透明的方式做出決策來建立的，它允許在沒有任何爭論的情況下分享解釋。最近，XAI模型在交付可靠、透明和合乎道德的決策方面取得了重大進展。例如，開發了大量新穎的XAI模型，以提高具有高度倫理考慮的決策的透明度。因此，XAI模型也非常適合于大量的應用程序[7]。然而，物聯網應用的XAI支持非常有限，由于智能設備的資源限制，XAI支持受到了限制。將XAI的支持擴展到物聯網應用及其他領域，使學術和工業研究進入一個新的維度，這有可能維護在醫療保健、國防、工業和其他物聯網驅動的工業應用中所做決策的倫理關切和透明度。基于這一動機，大量的XAI模型已經部署在物聯網應用中，如醫療保健[2]、金融[3]、安全[4]、軍事[5]和法律部門[6]。此外，文獻報道了使用物聯網傳感器[15]進行故障預測的深度XAI模型和用于物聯網云系統[16]的端到端ML模型。更廣泛地說，XAI模型的新范圍還可以用來提供可信的解釋，并可以在大量的應用領域取代傳統的AI模型。B. XAI在物聯網中的作用通過對部署在環境中不同類型的物聯網設備所積累的數據進行適當的調查，從而可以感知特定場景中的活動。大多數識別技術通常基于人工智能技術，如ML和DL，可以提供精確的決策。AI在物聯網應用中的作用可以分為以下三個發展階段。

• **在第一類中，從傳感器和物聯網收集數據，然后輸入AI算法或AI領域的ML算法。

• **第二個進步是利用AI改善物聯網服務。這可以像對傳感器數據進行調查一樣簡單，比如這些數據是否越界，并試圖確定越界的原因，以及是否應該將數據輸入AI領域。

• **AI模型的第三個作用是監督物聯網領域的AI元素，并在AI領域的算法和ML系統之間交換信息

通過為物聯網定義各種模型，我們可以觀察到AI領域推理物聯網領域細節的方法。例如，如果我們打算診斷故障，我們可以從物聯網領域的AI能力中提取數據。我們還可以開始查詢傳感器或數據源的可靠性和可信性。然而，傳統人工智能技術的使用缺乏對開發框架所做的決策向人類提供解釋。獲取做出此類決策的明顯解釋，可以滿足在開發過程中更好地解釋模型的多重目標的需求，并同時提供更直接的、精細的上下文感知服務的方法。例如，對醫療保健應用程序中的患者活動進行持續檢查對于理解健康狀態非常重要。對病人活動的更透明的監測使專家能夠完全了解病人的行為。集成了元學習策略的XAI模型主要用于信息物理系統，這些系統是工業4.0的核心組件。它們確保了豐富的模擬基礎設施，與機器的智能通信，更高水平的可視化，更好的服務質量分析和生產效率最大化。在[4]中作者提出的另一個類似的工作中，為了在工業物聯網框架中賦予更高級別的安全特性，處理了模型不可知論解釋，以解決智能行業的網絡安全威脅。在這里，通過統計理論提供透明度，甚至為隨機的新樣本集提供解釋，以確保在高風險的工業物聯網任務的安全性。在[4]中，作者提出了一個可信任的、明顯的體驗平臺，用于評估物IOT智能家居場景中的電力消費行為。此外，XAI在醫療健康部門的作用與物聯網在疾病預測和診斷方面的作用正變得越來越重要。[19]中的工作涉及XAI模型，使醫療領域使用的物聯網框架能夠應對疾病預測和診斷所涉及的挑戰。

隨著XAI的深遠影響逐漸顯現，人工智能技術決策階段(如ML和DL模型)背后的整個深刻邏輯可以被理解。此外，XAI算法允許模型在預測階段解釋每個單獨的決策。它們在物聯網框架中的重要性是解決資源受限物聯網設備中XAI實施所涉及的問題的一種具有挑戰性的手段。然而，XAI對物聯網的深遠影響使得終端用戶信任這些部署在商業和公共場景中的設備。有了XAI模型和物聯網數據的本質成分，從終端用戶的角度，突出了模型訓練的高性價比和透明化的問題。

C. 比較和我們的貢獻

受XAI和物聯網領域進展的推動，研究界提出了一些相關的綜述工作。特別是，在過去幾年中，各種研究人員對XAI框架進行了廣泛的研究。例如，一些論文對XAI系統及其特性進行了總體概述[20,21,22,23,24,25]，并對不同的XAI算法[26]進行了綜述。特別地，[20]中的作者總結了XAI在監督學習中的作用，以及它與人工一般智能相關的最新發展。同樣，[22]的作者回顧了XAI中最先進的方法在理論、概念、方法和評價上采用的聚類策略的貢獻。在[24]中，作者為解決XAI黑箱問題的辯論確定了四個主題。此外，基于嚴格的審查，這些發現有助于增強對XAI模型決策的認識。Angelov等人[25]將機器學習和深度學習研究的進展與可解釋性問題聯系起來。在此，作者闡述了可解釋性的原則，并提出了該研究領域未來的研究方向。在[26]中，Das等人提出了分類法，并根據XAI技術的固有特征對其進行分類，并將其配置為自解釋學習模型。此外，作者評估了8種XAI算法，并生成了解釋圖，并總結了這些方法的局限性。[21]中的作者概述了XAI、從AI中提取的背景細節、開發的起源和技術標準化，以及XAI體系結構、用例和研究挑戰。Arrieta等人[23]對XAI的分類進行了全面的調查，引出了負責任AI的概念框架。此外，它還激勵研究人員利用具有可解釋能力的人工智能系統。

考慮到倫理問題，XAI提供了可靠的系統，并提供了關于模型的解釋。對模型的改進，對系統決策的論證，對異常行為的控制，發現新的規律和隱藏的洞見[21]都需要解釋。在[27,28,29]中，作者就研究挑戰和應用領域從深度學習(DL)、自動化決策和個性化體驗的背景下比較了各種XAI框架。其他的則專注于特定的功能，如安全[30,31]、醫療保健[32,33,34]、增強[35]、機器人[36,37]以及與ML模型[38,39,40]相關的解決方案，以探索對系統所做決策的見解。此外，[41]的作者提供了在基于強化學習的應用中使用XAI的詳細總結。表1從XAI的角度簡要介紹了一些現有的調查文章，以及它們的主要貢獻和局限性。盡管XAI在文獻中已經被各種研究人員廣泛研究過，但據我們所知，目前還沒有關于在物聯網服務和應用中使用XAI的全面和專門的調研。XAI在各個領域的潛力，如物聯網網絡、安全、醫療保健和工業部門，還沒有在開放文獻中探索過。此外，從智能家居到智慧城市的角度，整體總結XAI與IoT的融合還有待探索。這些缺點促使我們對XAI與物聯網服務的集成進行了全面的審查。具體來說，我們包括了XAI在各種物聯網應用類別中的應用的最新調查，如安全、醫療保健、工業和智慧城市。本文的主要貢獻在于對XAI的使用進行了廣泛的總結，包括網絡安全增強、IoMT、IIoT和IoCT。我們還在每個物聯網應用結束時總結了本次調研的主要觀察結果。最后，討論了基于xai的物聯網服務的重要研究挑戰，并展望了未來的研究方向。就我們的熟練程度而言，我們是第一個提供物聯網系統中XAI專門和詳細調研的機構。這項調研的主要貢獻可以強調如下。

與該領域的其他相關綜述工作相比，該調查提供了物聯網、XAI及其集成的相關背景細節的廣泛總結，使研究人員能夠挖掘物聯網系統的可信性。

我們介紹了物聯網中XAI的需求和最近文獻中提出的一些關鍵挑戰，并總結了一些最近的研究工作。

此外，我們還探索了一些物聯網應用領域，如安全、醫療保健、工業和智慧城市。我們介紹了XAI在此類應用中的需求和作用，以便更好地對物聯網服務進行值得信賴的探索，以及所吸取的教訓。

我們還從使用XAI模型的角度詳細討論了可靠物聯網服務的前沿發展。

最后，我們概述了未來研究的挑戰，以考慮物聯網的XAI方向。

本綜述的組織如下:第二部分闡述了XAI和物聯網的初步概況。第三節討論了物聯網中XAI系統的發展以及相關領域的應用類別。本節還闡述了每個應用程序的未來研究范圍和相關的開放端挑戰。第四部分總結了本文在建立基于xai的物聯網架構的最佳措施方面的主要發現和成果。第五部分指出了XAI在物聯網上的未來發展方向。第六部分是全文的總結。

圖1顯示了傳統AI和基于XAI的系統所涉及的操作的一般順序。在傳統的人工智能系統中，最終用戶無法解釋學習過程，它看起來像一個不透明的黑盒子。與傳統AI不同的是，XAI模型使用革命性的ML過程和可解釋的模型，在學習過程和根據訓練數據做出的決策中為最終用戶提供可持續的透明度。

圖3顯示了XAI模型的精度前景，這取決于用于實現的算法。在流行的XAI模型中，深度學習[54]模型以較少的可解釋特征確保了更好的精度。然而，與深度學習模型相比，基于決策樹[55]、隨機森林[56]和集成模型[57]的XAI模型提供了更好的解釋性，但性能精度顯著降低。同樣明顯的是，在模型的復雜性、解釋系統的功能和性能方面存在著權衡。

圖4顯示了一個示例IoMT框架，該框架使用XAI模型來傳遞值得信任的醫療保健服務。準確地說，連接的物聯網醫療設備能夠使用無線個人區域網絡(PAN)進行通信。XAI框架根據IoMT設備積累的數據做出的決策為患者和醫療保健專業人員提供了更好的幫助。

社會對人工智能(AI)的信任以及可信任的人工智能系統和生態系統的發展，對于人工智能技術在醫學領域的進步和實施至關重要。隨著人工智能在各種醫療和成像應用領域的應用日益廣泛，使這些系統更加可靠和值得信賴變得比以往任何時候都重要。本文考慮了14個核心原則，旨在將針更接近于準確、有彈性、公平、可解釋、安全和透明的系統:面向可信的AI。 //pubmed.ncbi.nlm.nih.gov/34809860/ 問題不再是人工智能(AI)是否會影響醫學的未來，而是“由誰、如何、在何處以及何時感受到這種有益或有害的影響”。基于人工智能的新技術和增強技術的發展速度正在加快，并滲透到每個行業。人工智能在改善人類生活和我們周圍的環境方面有著巨大的潛力;但是，我們必須小心地向前走，以便認識到它提供的機會和避免潛在的陷阱。

摘要： 機器學習(ML)中的可解釋性對于高風險決策和故障排除是至關重要的。在這項工作中，我們提供了可解釋性ML的基本原則，并消除了淡化這一關鍵話題的重要性的常見誤解。我們還確定了可解釋機器學習的10個技術挑戰領域，并提供了每個問題的歷史和背景。這些問題中有些是典型的重要問題，有些是最近幾年才出現的問題。這些問題包括: (1)優化決策樹等稀疏邏輯模型; (2)評分系統優化; (3)在廣義加性模型中放置約束，以促進稀疏性和更好的可解釋性; (4)現代案例推理，包括神經網絡和匹配因果推理; (5)神經網絡的完全監督解纏; (6)神經網絡的完全或部分無監督解纏; (7)數據可視化降維; (8)能夠結合物理和其他生成或因果約束的機器學習模型; (9)良好模型的“羅生門集”的刻畫; (10)可解釋強化學習。該綜述適合作為對可解釋機器學習感興趣的統計學家和計算機科學家的起點。

引言

隨著機器學習(ML)的廣泛應用，可解釋性在避免災難性后果方面的重要性變得越來越明顯。黑箱預測模型的定義是不可思議的，它已經導致嚴重的社會問題，深刻影響健康、自由、種族偏見和安全。可解釋預測模型受到限制，因此其推理過程更容易被人類理解，也更容易進行故障排除和在實踐中使用。人們普遍認為，可解釋性是AI模型信任的關鍵因素(Wagstaff, 2012; Rudin and Wagstaff, 2014; Lo Piano, 2020; Ashoori and Weisz, 2019; Thiebes et al., 2020; Spiegelhalter, 2020; Brundage et al., 2020)。在這項綜述中，我們提供了基本原理，以及內在可解釋機器學習模型設計中的10個技術挑戰。

讓我們提供一些背景資料。黑盒機器學習模型是一個公式，它要么太復雜，任何人都無法理解，要么是專有的，以至于人們無法理解其內部工作原理。黑盒模型很難排除故障，這對于醫療數據來說尤其成問題。黑箱模型通常會在錯誤的原因下預測正確的答案(“聰明的漢斯”現象)，導致在訓練中表現優異，但在實踐中表現不佳(Schramowski et al., 2020; Lapuschkin et al., 2019; O’Connor, 2021; Zech et al., 2018; Badgeley et al., 2019; Hamamoto et al., 2020)。黑盒模型還有許多其他問題。在刑事司法方面，個人可能會因為黑箱模型輸入的印刷錯誤而遭受多年的額外監禁(Wexler, 2017)，而設計不佳的空氣質量專有模型在野火期間對公共安全造成了嚴重后果(McGough, 2018);這兩種情況都很容易用可解釋模型來避免。在數據的底層分布發生變化的情況下(稱為域轉移，這在實踐中經常發生)，如果用戶不能實時地對模型進行故障排除，那么問題就會出現，而黑盒模型比可解釋模型要困難得多。要確定一個黑箱模型在性別或種族群體方面是否公平，要比確定一個可解釋的模型是否存在這種偏見要困難得多。在醫學領域，黑盒模型將計算機輔助決策轉化為自動決策，正是因為醫生無法理解黑盒模型的推理過程。解釋黑盒，而不是用可解釋的模型替代它們，可能會通過提供誤導性或錯誤的描述使問題變得更糟(Rudin, 2019; Laugel et al., 2019; Lakkaraju and Bastani, 2020)，或者給黑匣子增加不必要的權力(Rudin and Radin, 2019)。顯然，我們需要具有內在可解釋性的創新機器學習模型。

本綜述的主要部分概述了可解釋性機器學習中一系列重要和基本的技術重大挑戰。這些挑戰既有現代的，也有古典的，有些挑戰要比其他的困難得多。它們要么很難解決，要么很難正確地表述。雖然有許多關于模型部署的社會技術挑戰(可能比技術挑戰困難得多)，人機交互挑戰，以及健壯性和公平性如何與可解釋性交互，這些話題可以留到以后討論。我們從可解釋機器學習中最經典和最規范的問題開始: 如何為表格數據建立稀疏模型，包括決策樹(挑戰#1)和評分系統(挑戰#2)。然后我們研究了一個涉及加法模型的挑戰(挑戰#3)，接著是另一個基于案例推理的挑戰(挑戰#4)，這是可解釋人工智能中的另一個經典主題。然后我們轉向更奇特的問題，即在神經網絡中有監督和無監督的概念解纏(挑戰#5和#6)。回到經典問題，我們討論降維(挑戰#7)。然后，如何整合物理或因果約束(挑戰#8)。挑戰#9涉及到理解、探索和衡量羅生門精確預測模型集。挑戰#10 討論可解釋強化學習。表1提供了一個指南，可以幫助用戶將數據集與合適的可解釋監督學習技術相匹配。我們將在挑戰中涉及所有這些技術。

可解釋機器學習原則

• 原則1: 一個可解釋的機器學習模型遵循一組特定領域的約束，使其(或其預測或數據)更容易被人類理解。這些約束會根據域的不同而有很大的不同。

• 原則2：盡管有常見的修辭，但可解釋的模型不一定能創造或促成信任——它們也可能導致不信任。它們只是讓用戶決定是否信任它們。換句話說，他們允許信任的決定，而不是信任本身。

• 原則3：重要的是，不要假設一個人需要犧牲準確性來獲得可解釋性。事實上，可解釋性往往會帶來準確性，而不是相反。在機器學習中，可解釋性和準確性通常是一個錯誤的二分法。

• 原則4：作為整個數據科學過程的一部分，性能指標和可解釋性指標都應該被反復地改進。

• 原則5：對于高風險的決策，如果可能的話，應該使用可解釋的模型，而不是“解釋”的黑盒模型

在這項綜述中，我們希望為讀者提供一個途徑進入可解釋機器學習的重要主題。目前有關可解釋和可解釋AI的文獻可能會讓人非常困惑。參與這一領域研究的個體多樣性不僅包括統計學家和計算機科學家，還包括法律專家、哲學家和研究生，其中許多人從未建立或部署過機器學習模型。人們很容易低估說服別人在實踐中使用機器學習模型的難度，而可解釋性是一個關鍵因素。過去幾年的許多工作都貢獻了新的術語，錯誤地將舊的可解釋機器學習領域納入了新的領域“XAI”，而且評論論文普遍未能真正區分解釋黑箱和設計可解釋模型的基本概念。因為有誤導性的術語，標題為“可解釋性(explainability)”的論文有時是關于“可解釋性(interpretability)”，反之亦然，所以很難理解文獻(即使是我們)。至少，我們希望介紹一些基本原則，涵蓋該領域的幾個重要領域，并展示它們彼此之間的關系和與實際問題的關系。顯然，這是一個我們無法真正涵蓋的巨大領域，但我們希望我們涵蓋的不同領域和提出的問題可能對那些需要進入這個迷宮的人有用。

深度學習(DL)在我們的生活中扮演著越來越重要的角色。它已經在癌癥診斷、精準醫療、自動駕駛汽車、預測預測和語音識別等領域產生了巨大的影響。在傳統的學習、分類和模式識別系統中使用的人工制作的特征提取器對于大型數據集是不可擴展的。在許多情況下，根據問題的復雜性，DL還可以克服早期淺層網絡的限制，這些限制阻礙了有效的訓練和多維培訓數據分層表示的抽象。深度神經網絡(DNN)使用多個(深度)單元層，具有高度優化的算法和體系結構。來自美國AJAY SHRESTHA等學者撰寫了深度學習算法與架構回顧綜述論文，包括深度學習算法類型與訓練方法，深入研究了最近深度網絡中使用的訓練算法背后的數學原理。本文還介紹了深度卷積網絡、深度殘差網絡、遞歸神經網絡、增強學習、變分自編碼器等不同類型的深度結構。