亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要——目前，大多數工業物聯網（IIoT）應用仍然依賴于基于卷積神經網絡（CNN）的神經網絡。盡管基于Transformer的大模型（LMs），包括語言、視覺和多模態模型，已經在AI生成內容（AIGC）中展示了令人印象深刻的能力，但它們在工業領域（如檢測、規劃和控制）中的應用仍然相對有限。在工業環境中部署預訓練的大模型往往面臨穩定性與可塑性之間的挑戰，這主要是由于任務的復雜性、數據的多樣性以及用戶需求的動態性。為了應對這些挑戰，預訓練與微調策略結合持續學習已被證明是一種有效的解決方案，使模型能夠適應動態需求，同時不斷優化其推理和決策能力。本文綜述了大模型在工業物聯網增強的通用工業智能（GII）中的集成，重點關注兩個關鍵領域：大模型賦能GII和GII環境下的大模型。前者側重于利用大模型為工業應用中的挑戰提供優化解決方案，而后者則研究在涉及工業設備、邊緣計算和云計算的協同場景中，持續優化大模型的學習和推理能力。本文為GII的未來發展提供了洞見，旨在建立一個全面的理論框架和研究方向，從而推動GII向更加通用和適應性強的未來發展。 關鍵詞——通(tong)用工(gong)業(ye)智能、大語言模型、持續學習、工(gong)業(ye)物聯網、邊緣(yuan)計算。

工業5.0將網絡-物理-社會元素集成到制造業中，強調數字與物理系統的交互以及人機協作，通過互聯網有效地連接設備、物體和人[1]。隨著物聯網（IIoT）的快速發展[2]-[4]、通信技術[5], [6]、AI生成內容（AIGC）[7]、機器人和數字孿生技術[8]-[10]，現代工業系統變得越來越復雜。這些系統不僅生成高頻的單模態數據，還包括文本、圖像、視頻、代碼和音頻等多模態數據類型。工業大數據可以用于創建數字化制造工作流程和工業流程，極大地推動了工業5.0和網絡-物理-社會系統中生產力、效率和效能的提升。 如圖1所示，數據集和模型構成了GII生態系統的基礎要素，推動了更高層次算法和應用的快速發展。這(zhe)些(xie)應用包(bao)括智能(neng)控制系統、預測性維護[11]、故(gu)障診(zhen)斷[12], [13]和(he)異常檢測[14]，這(zhe)些(xie)都高(gao)度依(yi)賴(lai)于(yu)(yu)對(dui)IIoT數據(ju)的(de)提取(qu)(qu)和(he)分析。GII的(de)成(cheng)功特(te)(te)別依(yi)賴(lai)于(yu)(yu)其從這(zhe)些(xie)IIoT數據(ju)集中高(gao)效學(xue)習和(he)提取(qu)(qu)有價值特(te)(te)征(zheng)的(de)能(neng)力。基于(yu)(yu)Transformer的(de)大(da)模(mo)(mo)型(xing)(xing)（LMs），例如大(da)語(yu)言模(mo)(mo)型(xing)(xing)（LLMs）[16]–[18]、視覺模(mo)(mo)型(xing)(xing)[19], [20]、時間序列模(mo)(mo)型(xing)(xing)[21]以及多模(mo)(mo)態模(mo)(mo)型(xing)(xing)[22], [23]，由于(yu)(yu)其獨特(te)(te)優(you)勢，受到(dao)(dao)廣泛關注。通(tong)過在大(da)規模(mo)(mo)數據(ju)集上進行預訓(xun)練(lian)，這(zhe)些(xie)擁有數十億到(dao)(dao)數萬(wan)億參數的(de)模(mo)(mo)型(xing)(xing)積累了(le)廣泛的(de)知(zhi)識(shi)，極大(da)地推動了(le)數據(ju)處理的(de)自動化和(he)多樣化，同時減少了(le)對(dui)人類(lei)專業知(zhi)識(shi)的(de)依(yi)賴(lai)。

在工業領域，大模型的精度和可擴展性使其在提高工業流程的準確性方面非常有效。然(ran)(ran)而(er)，在(zai)(zai)工(gong)(gong)業(ye)環境(jing)中(zhong)(zhong)部署(shu)預(yu)(yu)訓(xun)練大(da)模型(xing)時，需(xu)要根(gen)據具(ju)體任務(wu)架構(gou)、動(dong)態數據分(fen)布(bu)和(he)(he)用(yong)戶(hu)偏(pian)好進行謹慎(shen)的(de)(de)(de)(de)適配(pei)。盡(jin)管(guan)大(da)模型(xing)在(zai)(zai)多(duo)任務(wu)泛(fan)化、小樣本學(xue)習和(he)(he)推理方(fang)(fang)(fang)(fang)面(mian)具(ju)有(you)(you)優(you)勢，但(dan)(dan)在(zai)(zai)這些環境(jing)中(zhong)(zhong)平衡穩定性和(he)(he)適應性仍然(ran)(ran)是(shi)(shi)一(yi)個顯(xian)(xian)著挑戰。受到大(da)模型(xing)在(zai)(zai)自然(ran)(ran)語言處理（NLP）中(zhong)(zhong)成功(gong)的(de)(de)(de)(de)啟發(fa)，工(gong)(gong)業(ye)界越來越多(duo)地(di)探索其在(zai)(zai)GII中(zhong)(zhong)的(de)(de)(de)(de)潛力(li)(li)。一(yi)種(zhong)方(fang)(fang)(fang)(fang)法(fa)是(shi)(shi)從頭構(gou)建行業(ye)特(te)定的(de)(de)(de)(de)基(ji)礎模型(xing)[24]，但(dan)(dan)特(te)定領(ling)域數據規模的(de)(de)(de)(de)限制通(tong)常阻礙了涌現(xian)能力(li)(li)的(de)(de)(de)(de)發(fa)展。另一(yi)種(zhong)方(fang)(fang)(fang)(fang)法(fa)是(shi)(shi)通(tong)過大(da)數據集上的(de)(de)(de)(de)預(yu)(yu)訓(xun)練，然(ran)(ran)后進行特(te)定任務(wu)的(de)(de)(de)(de)微調，這已顯(xian)(xian)示(shi)出在(zai)(zai)構(gou)建穩健(jian)的(de)(de)(de)(de)工(gong)(gong)業(ye)模型(xing)方(fang)(fang)(fang)(fang)面(mian)的(de)(de)(de)(de)巨大(da)潛力(li)(li)，顯(xian)(xian)著提高了各類(lei)任務(wu)的(de)(de)(de)(de)性能。這種(zhong)方(fang)(fang)(fang)(fang)法(fa)有(you)(you)效地(di)應對了特(te)定領(ling)域數據匱乏的(de)(de)(de)(de)挑戰，同時加速(su)了工(gong)(gong)業(ye)應用(yong)中(zhong)(zhong)先(xian)進能力(li)(li)的(de)(de)(de)(de)發(fa)展。

為工業任務調整大模型是一個重要的研究方向[25]。這(zhe)些模(mo)型在跨任務(wu)泛化、零樣本(ben)(ben)/小樣本(ben)(ben)學習和(he)(he)推理能(neng)(neng)力方(fang)(fang)面的(de)(de)優勢，為(wei)解(jie)決(jue)知識遷移、數據稀缺性(xing)和(he)(he)解(jie)釋性(xing)問(wen)題(ti)提供了(le)新(xin)的(de)(de)途徑。 ****持(chi)續大模(mo)型（CLMs）****在維持(chi)和(he)(he)發(fa)展(zhan)這(zhe)些工業模(mo)型的(de)(de)能(neng)(neng)力方(fang)(fang)面發(fa)揮了(le)關鍵(jian)作用(yong)。CLMs在大規(gui)模(mo)數據集上進行預訓練，并由Transformer架構(gou)驅動，設(she)計用(yong)于(yu)持(chi)續學習和(he)(he)適應，確保工業大模(mo)型在滿足GII不斷變化的(de)(de)需求(qiu)時仍然保持(chi)相關性(xing)和(he)(he)有效性(xing)。

A. 本綜述的目標

本文旨在(zai)建立一個全面(mian)的(de)視角，并(bing)對IIoT增強的(de)GII進行(xing)深入分析。它提出(chu)了(le)將(jiang)GII分為(wei)兩個主要類(lei)別的(de)概念：

• 通用工業智能的大模型（LMs for GII）：該方向重點利用大模型的高級數據處理和分析能力來解決工業應用中固有的優化問題。具體來說，LMs通過其處理實時多模態IIoT數據、執行復雜特征提取并確保精確的模式識別和結果驗證的能力，提升了IIoT驅動的工業系統的智能化和運營效率，最終提高了不同工業環境中的測量精度和系統性能。
• 通用工業智能上的大模型（LMs on GII）：該視角探討了工業應用如何通過持續模型操作，在協同的IIoT設備-邊緣-云環境中擴展和優化大模型的能力。通過采用持續學習（CL）和在線學習策略，模型可以適應新數據和環境變化，而無需昂貴的再訓練。這種方法節省了計算資源，最小化了延遲，并高效處理了數據分布變化和性能退化，確保了動態工業場景中的穩健模型性能。

本文通過一個(ge)示意圖（圖2）進一步明確(que)了(le)這些類別的(de)引入，幫助(zhu)闡(chan)明了(le)兩種(zhong)方法之間(jian)的(de)結構(gou)性差異和操作機制。

B. 本綜述的獨特特征

近年來，持續學習（CL）作為一個(ge)研究(jiu)課題獲得了顯著關注，許多研究(jiu)探討(tao)了其在設備健康(kang)管(guan)理[26]、機器人(ren)[27]和流數據[28]等領域的(de)應(ying)用。在大(da)模(mo)(mo)型(xing)的(de)背景(jing)下，由于這些(xie)模(mo)(mo)型(xing)的(de)規(gui)模(mo)(mo)巨大(da)，頻繁的(de)再(zai)訓(xun)練成(cheng)本高(gao)昂，因此CL已被(bei)認為是至關重(zhong)要的(de)[29]。盡管(guan)CL的(de)文(wen)(wen)獻廣泛，但我們的(de)綜述(shu)獨(du)特地關注了CL在IIoT增(zeng)強的(de)工業(ye)系統(tong)中(zhong)的(de)大(da)模(mo)(mo)型(xing)的(de)持續適(shi)應(ying)性(xing)——這是現(xian)有(you)文(wen)(wen)獻中(zhong)未被(bei)充分覆(fu)蓋的(de)領域。本綜述(shu)首次為大(da)模(mo)(mo)型(xing)在四個(ge)不同(tong)的(de)IIoT工業(ye)場(chang)景(jing)中(zhong)應(ying)用的(de)CL方法提供(gong)了全面而系統(tong)的(de)回顧(gu)。

如表I所示，本文通過以下幾個關鍵貢獻來區分自身：

• 新穎的分類體系：我們引入了(le)一個新的(de)GII理論框架。通過(guo)將(jiang)大(da)模型(xing)(xing)的(de)應用(yong)分為兩個維度——“LMs for GII”和(he)“LMs on GII”，本文不(bu)僅探討了(le)如(ru)何利(li)用(yong)大(da)模型(xing)(xing)優化(hua)工業應用(yong)，還(huan)研(yan)究了(le)這些應用(yong)如(ru)何反(fan)過(guo)來優化(hua)模型(xing)(xing)本身。這種雙向交互(hu)視角(jiao)顯著豐富了(le)現有(you)文獻(xian)。

• 跨領域多模態集成：與大多(duo)數僅專注于特定類型(xing)大模(mo)(mo)(mo)型(xing)（如語言模(mo)(mo)(mo)型(xing)或視覺模(mo)(mo)(mo)型(xing)）的(de)(de)現有研究不(bu)(bu)同，本綜述涵蓋了(le)(le)大語言模(mo)(mo)(mo)型(xing)（LLMs）、視覺Transformer、多(duo)模(mo)(mo)(mo)態模(mo)(mo)(mo)型(xing)和時間序列模(mo)(mo)(mo)型(xing)。這(zhe)種跨模(mo)(mo)(mo)態集(ji)成(cheng)增強(qiang)了(le)(le)復雜儀器和測量(liang)系(xi)統的(de)(de)設(she)計、開發(fa)和評估，這(zhe)些系(xi)統用(yong)于信號(hao)的(de)(de)生(sheng)成(cheng)、獲取、調理和處理。通過利用(yong)不(bu)(bu)同模(mo)(mo)(mo)型(xing)的(de)(de)獨特優(you)勢，它為推(tui)進測量(liang)科學及其(qi)應(ying)用(yong)提供了(le)(le)更全面和深(shen)入(ru)的(de)(de)視角，從而(er)更有效地應(ying)對復雜的(de)(de)工業挑戰。

• 持續學習的實際應用：本(ben)文(wen)強(qiang)調了持續學(xue)習(xi)策略在(zai)IIoT增(zeng)強(qiang)的(de)工業(ye)系統，特別是邊緣計算(suan)和(he)(he)云計算(suan)協同環境中的(de)實際應(ying)用。這個(ge)重(zhong)點確保了模型不僅能(neng)適(shi)應(ying)新(xin)數據和(he)(he)變化的(de)條件，還能(neng)資源(yuan)高效。通過減少計算(suan)需(xu)求和(he)(he)訓練成本(ben)，我(wo)們的(de)方法(fa)解決了工業(ye)應(ying)用中的(de)關鍵約束。

近年來(lai), 深(shen)(shen)度強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)(deep reinforcement learning, DRL)已經(jing)在諸多(duo)序貫決策任務中取得矚目成(cheng)功(gong)(gong), 但當前, 深(shen)(shen)度強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)的(de)成(cheng)功(gong)(gong)很大程度依(yi)賴于(yu)海量的(de)學(xue)(xue)習(xi)(xi)數據與計算資源(yuan), 低劣的(de)樣本(ben)效率和策略通用(yong)性是制約其進(jin)(jin)一步(bu)發(fa)展的(de)關鍵因(yin)素. 元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)(meta-reinforcement learning, Meta-RL)致力于(yu)以更(geng)小(xiao)的(de)樣本(ben)量適(shi)應更(geng)廣泛的(de)任務, 其研(yan)究(jiu)(jiu)有望緩解上述限制從而推進(jin)(jin)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)領(ling)域發(fa)展. 以元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)工(gong)作的(de)研(yan)究(jiu)(jiu)對(dui)(dui)象與適(shi)用(yong)場(chang)景(jing)為(wei)脈絡, 對(dui)(dui)元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)領(ling)域的(de)研(yan)究(jiu)(jiu)進(jin)(jin)展進(jin)(jin)行了全面梳理: 首(shou)先, 對(dui)(dui)深(shen)(shen)度強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)、元(yuan)學(xue)(xue)習(xi)(xi)背(bei)景(jing)做基本(ben)介(jie)紹(shao); 然(ran)后, 對(dui)(dui)元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)作形式化(hua)(hua)(hua)定(ding)義及(ji)常見的(de)場(chang)景(jing)設置總(zong)結, 并從元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)研(yan)究(jiu)(jiu)成(cheng)果(guo)的(de)適(shi)用(yong)范圍(wei)角度展開介(jie)紹(shao)元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)的(de)現有研(yan)究(jiu)(jiu)進(jin)(jin)展; 最后, 分(fen)析了元(yuan)強(qiang)(qiang)(qiang)(qiang)化(hua)(hua)(hua)學(xue)(xue)習(xi)(xi)領(ling)域的(de)研(yan)究(jiu)(jiu)挑戰(zhan)與發(fa)展前景(jing).

智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)又叫自(zi)動(dong)規劃(hua)(hua)(hua)(hua)，主要研究(jiu)在(zai)復(fu)雜環境下，如(ru)何通過自(zi)動(dong)化(hua)的方式(shi)生成(cheng)可行(xing)的行(xing)動(dong)序列，以實現(xian)從初始狀(zhuang)態(tai)到達目標(biao)狀(zhuang)態(tai)。大(da)(da)(da)(da)(da)(da)語(yu)言模(mo)型(xing)(xing)是指(zhi)使用大(da)(da)(da)(da)(da)(da)量文本(ben)數(shu)據訓練的深(shen)度學(xue)習生成(cheng)式(shi)模(mo)型(xing)(xing)，可以生成(cheng)自(zi)然語(yu)言文本(ben)或(huo)理解語(yu)言文本(ben)的含(han)義(yi)。當前圍繞如(ru)何讓大(da)(da)(da)(da)(da)(da)語(yu)言模(mo)型(xing)(xing)在(zai)強大(da)(da)(da)(da)(da)(da)的常識性知識基(ji)礎上獲得生成(cheng)式(shi)智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)能(neng)(neng)(neng)力(li)已然成(cheng)為當下研究(jiu)的熱潮(chao)。本(ben)文從大(da)(da)(da)(da)(da)(da)語(yu)言模(mo)型(xing)(xing)的視角入手，首(shou)先對智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)的定義(yi)和發展(zhan)(zhan)進行(xing)概述、簡要介(jie)紹(shao)(shao)了(le)傳統智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)的方法；其次基(ji)于大(da)(da)(da)(da)(da)(da)語(yu)言智(zhi)(zhi)能(neng)(neng)(neng)體(ti)(ti)與智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)的緊密關系(xi)，介(jie)紹(shao)(shao)了(le)大(da)(da)(da)(da)(da)(da)語(yu)言模(mo)型(xing)(xing)的架構和典(dian)型(xing)(xing)的大(da)(da)(da)(da)(da)(da)模(mo)型(xing)(xing)智(zhi)(zhi)能(neng)(neng)(neng)體(ti)(ti)；再(zai)次重點圍繞大(da)(da)(da)(da)(da)(da)模(mo)型(xing)(xing)的智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)，梳理了(le)規劃(hua)(hua)(hua)(hua)語(yu)言學(xue)習、思維鏈推(tui)理、反饋優化(hua)和流程自(zi)動(dong)化(hua)共4類規劃(hua)(hua)(hua)(hua)方法；最(zui)后(hou)結合當前的挑戰與困(kun)難(nan)，介(jie)紹(shao)(shao)大(da)(da)(da)(da)(da)(da)模(mo)型(xing)(xing)進行(xing)智(zhi)(zhi)能(neng)(neng)(neng)規劃(hua)(hua)(hua)(hua)的前沿(yan)研究(jiu)展(zhan)(zhan)望。

強化(hua)(hua)學(xue)(xue)習(xi)(xi) (reinforcement learning, RL) 技術(shu)經歷(li)了(le)數十年的(de)發(fa)展, 已經被成(cheng)功(gong)地應用于(yu)連續決 策的(de)環(huan)境(jing)中. 如今強化(hua)(hua)學(xue)(xue)習(xi)(xi)技術(shu)受到越來越多(duo)的(de)關(guan)注, 甚(shen)至被冠以(yi)(yi)最接(jie)近(jin)通用人(ren)工智(zhi)(zhi)能(neng)(neng)的(de)方(fang)法之一. 但 是, 客觀環(huan)境(jing)中往(wang)往(wang)不(bu)(bu)僅(jin)包含(han)一個(ge)決策智(zhi)(zhi)能(neng)(neng)體(ti)(ti). 因此, 我(wo)們(men)更傾向于(yu)以(yi)(yi)多(duo)智(zhi)(zhi)能(neng)(neng)體(ti)(ti)強化(hua)(hua)學(xue)(xue)習(xi)(xi) (multi-agent reinforcement learning, MARL) 為技術(shu)手段, 應對現實的(de)復雜系(xi)統.** 近(jin)十年來, 多(duo)智(zhi)(zhi)能(neng)(neng)體(ti)(ti)系(xi)統 (multiagent system, MAS) 和強化(hua)(hua)學(xue)(xue)習(xi)(xi)的(de)結合日漸緊密(mi), 逐漸形成(cheng)并豐富了(le)多(duo)智(zhi)(zhi)能(neng)(neng)體(ti)(ti)強化(hua)(hua)學(xue)(xue)習(xi)(xi)這個(ge)研(yan)究(jiu)方(fang)向. 回顧 MARL 的(de)相關(guan)工作(zuo)(zuo), 我(wo)們(men)發(fa)現研(yan)究(jiu)者們(men)大致從(cong)學(xue)(xue)習(xi)(xi)框架的(de)討論、聯合動作(zuo)(zuo)學(xue)(xue)習(xi)(xi), 以(yi)(yi)及基(ji)于(yu)通信的(de) MARL 這 3 個(ge)角度解決 MARL 的(de)問題(ti)**. 而本文重點調(diao)研(yan)基(ji)于(yu)通信的(de) MARL 的(de)工作(zuo)(zuo). 首(shou)先介紹選取基(ji) 于(yu)通信的(de) MARL 進行討論的(de)原因, 然后列(lie)舉(ju)出不(bu)(bu)同性質(zhi)的(de)多(duo)智(zhi)(zhi)能(neng)(neng)體(ti)(ti)系(xi)統下的(de)代(dai)表性工作(zuo)(zuo). 希望本文能(neng)(neng) 夠為 MARL 的(de)研(yan)究(jiu)者提供參考, 進而提出能(neng)(neng)夠解決實際問題(ti)的(de) MAS 方(fang)法.

1 引言

如今, 強化學習 (reinforcement learning, RL) 作為人工智能領域中的熱門話題之一, 吸引了很多不 同專業領域學者的關注. 強化學習的本質 [1] 是讓智能體在與環境的不斷交互中, 通過嘗試和犯錯, 學 習如何在特定的時間段中作出合適的序列性決策以解決社會和工程中遇到的問題. 強化學習的發展過程有著鮮明的特征. 在 20 世紀 50 ～ 60 年代以前, 關于 RL 的探索都局限于 反復的試錯. 而后, 貝爾曼提出貝爾曼方程 (Bellman equation) 以及離散的動態系統中的最優控制理 論并且將其建模為馬爾可夫決策過程 (Markov decision process, MDP). 然而最優控制的潛在前提是我 們知道系統相關的所有特性, 實際上這個前提往往是無法滿足的. 這一點恰恰是強化學習的獨特研究 背景之一. 在 20 世紀 60 年代, “Reinforcement Learning” 第一次出現在了工程領域的試錯方法總結 中. 其中影響最深遠的就是 Minsky 的工作 [2], 其中提到了試錯和信任分配 (credit assignment) 的問題, 這些都是強化學習的起源. 此后研究者們從未知環境中試錯的出發點提出了基于時序差分的方法 (temporal differences, TD) [3]、Q- 學習 [4] 和 SARSA [5] . 當時的 RL 技術還處于比較樸素的階段, 主要針對的是規模較小的離散狀態離散動作的場景. 當 狀態或者動作空間連續時, 便無法得到準確的值函數. 這時就需要對值函數進行近似, 從而產生了基 于值函數 (value based) 的強化學習方法. 此外, 如果直接對策略進行近似, 學習的目標就可以直接定 義為最優策略搜索 (policy search) 的性能. 如果在策略近似的同時還引入了值函數的近似, 并且策略 是基于值函數的評價而更新的, 這類方法屬于策略近似的一種特殊形式, 稱為 Actor-Critic 方法, 其中 的 Actor 指的是策略, Critic 指的是值函數. 自從 2015 年, Mnih 等 [6] 在 Atari 環境中利用深度 Q- 學習取得了突破性進展之后, 深度強化學 習 (deep reinforcement learning, DRL) 便開始在機器學習、人工智能領域掀起了一陣熱潮. 研(yan)究(jiu)者(zhe)們 不斷發現(xian)(xian) DRL 的(de)(de)(de)(de)(de)(de)(de)(de)(de)巨大(da)(da)潛力, 不論是機器人(ren)控制 [7]、優(you)化(hua)(hua)與(yu)調(diao)度(du)(du) [8] , 或(huo)(huo)者(zhe)是游戲和(he)博弈 [6, 9] 等方面都(dou) 能(neng)(neng)(neng)(neng)夠借助(zhu)于 DRL 來解決(jue). 而(er)當(dang) DRL 在(zai)解決(jue)現(xian)(xian)實問(wen)題(ti)的(de)(de)(de)(de)(de)(de)(de)(de)(de)時(shi)(shi)候, 研(yan)究(jiu)者(zhe)們往往高估(gu)了它(ta)的(de)(de)(de)(de)(de)(de)(de)(de)(de)能(neng)(neng)(neng)(neng)力, 低估(gu)了 實現(xian)(xian)它(ta)的(de)(de)(de)(de)(de)(de)(de)(de)(de)難(nan)(nan)度(du)(du) [10] . 事實上, 現(xian)(xian)實世(shi)界中的(de)(de)(de)(de)(de)(de)(de)(de)(de)問(wen)題(ti)是十分(fen)復(fu)雜的(de)(de)(de)(de)(de)(de)(de)(de)(de). 本文總(zong)結, 現(xian)(xian)實世(shi)界的(de)(de)(de)(de)(de)(de)(de)(de)(de)復(fu)雜性(xing)很大(da)(da)程度(du)(du)上體(ti)(ti)(ti)現(xian)(xian)在(zai): 多(duo) 數任務所(suo)涉(she)及的(de)(de)(de)(de)(de)(de)(de)(de)(de)系(xi)(xi)統(tong)規(gui)模較(jiao)為(wei)龐大(da)(da), 并(bing)且根據一些規(gui)則或(huo)(huo)者(zhe)常(chang)識可(ke)以分(fen)解為(wei)多(duo)個(ge)完(wan)成不同(tong)(tong)子(zi)(zi)任務的(de)(de)(de)(de)(de)(de)(de)(de)(de)個(ge) 體(ti)(ti)(ti). 為(wei)了完(wan)成某個(ge)任務, 系(xi)(xi)統(tong)需(xu)要(yao)多(duo)個(ge)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)同(tong)(tong)時(shi)(shi)參與(yu), 它(ta)們會(hui)(hui)在(zai)各自所(suo)處的(de)(de)(de)(de)(de)(de)(de)(de)(de)子(zi)(zi)空(kong)間(jian)分(fen)散(san)執行任務, 但(dan) 從任務層面來看(kan), 這(zhe)(zhe)些智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)需(xu)要(yao)互相(xiang)配合(he)并(bing)且子(zi)(zi)決(jue)策的(de)(de)(de)(de)(de)(de)(de)(de)(de)結果會(hui)(hui)互相(xiang)影(ying)響. 這(zhe)(zhe)樣的(de)(de)(de)(de)(de)(de)(de)(de)(de)系(xi)(xi)統(tong)可(ke)以被稱為(wei)多(duo) 智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)系(xi)(xi)統(tong) (multi-agent system, MAS). 在(zai)多(duo)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)系(xi)(xi)統(tong)中, 各個(ge)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)需(xu)要(yao)在(zai)環境不完(wan)全可(ke)知的(de)(de)(de)(de)(de)(de)(de)(de)(de)情(qing) 況下互相(xiang)關(guan)聯進而(er)完(wan)成任務. 簡而(er)言(yan)之, 它(ta)們可(ke)以互相(xiang)協同(tong)(tong), 或(huo)(huo)者(zhe)互相(xiang)競(jing)爭, 也可(ke)以有(you)競(jing)爭有(you)合(he)作(zuo). 如 果將(jiang)強(qiang)(qiang)化(hua)(hua)學(xue)(xue)(xue)習技術用于上述(shu)場(chang)景(jing)(jing)中, 相(xiang)異于傳統(tong)強(qiang)(qiang)化(hua)(hua)學(xue)(xue)(xue)習場(chang)景(jing)(jing)的(de)(de)(de)(de)(de)(de)(de)(de)(de)是, 在(zai)這(zhe)(zhe)種(zhong)系(xi)(xi)統(tong)中, (1) 至少有(you)兩(liang)個(ge)智(zhi)(zhi) 能(neng)(neng)(neng)(neng)體(ti)(ti)(ti); (2) 智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)之間(jian)存在(zai)著(zhu)一定的(de)(de)(de)(de)(de)(de)(de)(de)(de)關(guan)系(xi)(xi), 如合(he)作(zuo)關(guan)系(xi)(xi)、競(jing)爭關(guan)系(xi)(xi), 或(huo)(huo)者(zhe)同(tong)(tong)時(shi)(shi)存在(zai)競(jing)爭與(yu)合(he)作(zuo)的(de)(de)(de)(de)(de)(de)(de)(de)(de)關(guan)系(xi)(xi); (3) 每個(ge)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)最終所(suo)獲得的(de)(de)(de)(de)(de)(de)(de)(de)(de)獎(jiang)賞會(hui)(hui)受(shou)到其余(yu)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)的(de)(de)(de)(de)(de)(de)(de)(de)(de)影(ying)響. 通常(chang), 我們將(jiang)這(zhe)(zhe)種(zhong)場(chang)景(jing)(jing)下的(de)(de)(de)(de)(de)(de)(de)(de)(de)強(qiang)(qiang)化(hua)(hua)學(xue)(xue)(xue)習技術稱 為(wei)多(duo)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強(qiang)(qiang)化(hua)(hua)學(xue)(xue)(xue)習 (multi-agent RL, MARL). MARL 場(chang)景(jing)(jing)中的(de)(de)(de)(de)(de)(de)(de)(de)(de)環境是復(fu)雜的(de)(de)(de)(de)(de)(de)(de)(de)(de)、動態的(de)(de)(de)(de)(de)(de)(de)(de)(de). 這(zhe)(zhe)些特(te)性(xing)給 學(xue)(xue)(xue)習過程帶來很大(da)(da)的(de)(de)(de)(de)(de)(de)(de)(de)(de)困難(nan)(nan), 例(li)如, 隨著(zhu)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)數量的(de)(de)(de)(de)(de)(de)(de)(de)(de)增長, 聯合(he)狀(zhuang)態及動作(zuo)空(kong)間(jian)的(de)(de)(de)(de)(de)(de)(de)(de)(de)規(gui)模會(hui)(hui)呈現(xian)(xian)出指數擴(kuo) 大(da)(da), 帶來較(jiao)大(da)(da)的(de)(de)(de)(de)(de)(de)(de)(de)(de)計算開銷; 多(duo)個(ge)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)是同(tong)(tong)時(shi)(shi)學(xue)(xue)(xue)習的(de)(de)(de)(de)(de)(de)(de)(de)(de), 當(dang)某個(ge)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)的(de)(de)(de)(de)(de)(de)(de)(de)(de)策略改變時(shi)(shi), 其余(yu)智(zhi)(zhi)能(neng)(neng)(neng)(neng)體(ti)(ti)(ti)的(de)(de)(de)(de)(de)(de)(de)(de)(de)最優(you) 策略也可(ke)能(neng)(neng)(neng)(neng)會(hui)(hui)變化(hua)(hua), 這(zhe)(zhe)將(jiang)對(dui)算法的(de)(de)(de)(de)(de)(de)(de)(de)(de)收斂(lian)性(xing)和(he)穩定性(xing)帶來不利的(de)(de)(de)(de)(de)(de)(de)(de)(de)影(ying)響。

針對上述 MARL 的困難, 研究者們提出智能體可以在動態的環境中借助于一些輔助信息彌補其 不可見的信息, 從而高效學得各自的策略. 為了達到這個目的, 研究者們提出了一些方法, 可以大致被 分為以下幾類: (1) 學習框架的討論, 這類工作意在探索一種可行的學習框架, 因此這類工作更多地 偏向于將已有的機器學習 (machine learning, ML) 研究背景或者 RL 技術向 MAS 的場景中作融合; (2) 聯合動作學習, 這類方法基于單智能體的視角, 即將多個智能體合并為一個整體, 而原本各個智能 體的動作則被視為系統 “子部件” 的動作, 但是這類方法在狀態動作空間維數較高時會面臨學習效率 不高的問題; (3) 智能體之間的通信, 即智能(neng)體(ti)(ti)(ti)通(tong)過發送和接收(shou)抽(chou)象(xiang)的(de)(de)(de)(de)(de)通(tong)信(xin)(xin)信(xin)(xin)息(xi)(xi)來分(fen)(fen)析環境(jing)(jing)中(zhong)(zhong)其他智能(neng) 體(ti)(ti)(ti)的(de)(de)(de)(de)(de)情況(kuang)從(cong)而協(xie)調各自的(de)(de)(de)(de)(de)策略(lve). 學(xue)習(xi)框架(jia)和聯(lian)合的(de)(de)(de)(de)(de)多動作(zuo)學(xue)習(xi)算(suan)(suan)法(fa)主要依賴(lai)于集(ji)中(zhong)(zhong)式的(de)(de)(de)(de)(de)訓(xun)練學(xue)習(xi)或者 直接共享(xiang)(xiang)某(mou)些局(ju)部(bu)信(xin)(xin)息(xi)(xi)等條件(jian). 不難(nan)發現, 更容(rong)易適(shi)應(ying)于現實(shi)系統的(de)(de)(de)(de)(de)是基(ji)于通(tong)信(xin)(xin)的(de)(de)(de)(de)(de)這類方法(fa): 集(ji)中(zhong)(zhong)各 個(ge)(ge)智能(neng)體(ti)(ti)(ti), 并(bing)使(shi)各個(ge)(ge)智能(neng)體(ti)(ti)(ti)分(fen)(fen)享(xiang)(xiang)的(de)(de)(de)(de)(de)局(ju)部(bu)信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)訓(xun)練模(mo)式在(zai)實(shi)際應(ying)用中(zhong)(zhong)很(hen)難(nan)滿(man)足(zu). 因此(ci), 我們希望智能(neng) 體(ti)(ti)(ti)之間(jian)可(ke)以不依賴(lai)于集(ji)中(zhong)(zhong)式的(de)(de)(de)(de)(de)訓(xun)練學(xue)習(xi)方式, 依舊能(neng)夠在(zai)不完(wan)(wan)全可(ke)知的(de)(de)(de)(de)(de)環境(jing)(jing)中(zhong)(zhong)分(fen)(fen)析感知其他智能(neng)體(ti)(ti)(ti)的(de)(de)(de)(de)(de) 信(xin)(xin)息(xi)(xi), 從(cong)而完(wan)(wan)成任(ren)務(wu)(wu). 所以, 通(tong)過通(tong)信(xin)(xin)信(xin)(xin)息(xi)(xi)來補(bu)充環境(jing)(jing)的(de)(de)(de)(de)(de)缺失(shi)信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)這種思路更容(rong)易被泛化. 近期, 更 為迫切(qie)的(de)(de)(de)(de)(de)實(shi)際需求是參與(yu)任(ren)務(wu)(wu)的(de)(de)(de)(de)(de)多個(ge)(ge)智能(neng)體(ti)(ti)(ti)不愿(yuan)意進行諸如(ru)策略(lve)參數等信(xin)(xin)息(xi)(xi)的(de)(de)(de)(de)(de)共享(xiang)(xiang). 這就是聯(lian)邦學(xue)習(xi) (federated learning, FL) 的(de)(de)(de)(de)(de)要求. 在(zai)這種情況(kuang)下(xia), 算(suan)(suan)法(fa)更需要保證智能(neng)體(ti)(ti)(ti)之間(jian)只(zhi)有有限的(de)(de)(de)(de)(de)抽(chou)象(xiang)信(xin)(xin)息(xi)(xi)用來傳輸, 從(cong)而滿(man)足(zu)各個(ge)(ge)智能(neng)體(ti)(ti)(ti)對(dui)于隱私的(de)(de)(de)(de)(de)需求。

在多智能體系統中, 如果對智能體的保護程度較高, 即智能體不會直接分享重要的內部信息, 智能 體則需要一些輔助的信息來補充這一部分缺失的不可觀測狀態. 最(zui)直(zhi)觀的(de)(de)(de)(de)(de)(de)(de)(de)做法就是互相傳遞有(you)意(yi)義的(de)(de)(de)(de)(de)(de)(de)(de) 通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)信(xin)(xin)(xin)(xin)(xin)(xin)息(xi), 這種(zhong)信(xin)(xin)(xin)(xin)(xin)(xin)息(xi)可(ke)以在一定程(cheng)度(du)上幫(bang)助(zhu)智(zhi)能(neng)體(ti)對環境進行理(li)解. 但是, 在滿足嚴格的(de)(de)(de)(de)(de)(de)(de)(de)互相不(bu)可(ke)見, 且有(you)限信(xin)(xin)(xin)(xin)(xin)(xin)息(xi)共享(xiang)的(de)(de)(de)(de)(de)(de)(de)(de)要(yao)求的(de)(de)(de)(de)(de)(de)(de)(de)前(qian)提下, 智(zhi)能(neng)體(ti)之間(jian)要(yao)做到(dao)(dao)完全的(de)(de)(de)(de)(de)(de)(de)(de)獨立(li)學習與通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)是十分(fen)困難的(de)(de)(de)(de)(de)(de)(de)(de)事情. 即便 是在基(ji)(ji)于(yu)(yu)(yu)通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)(de) MARL 的(de)(de)(de)(de)(de)(de)(de)(de)工作(zuo)中, 也有(you)很大一部(bu)分(fen)工作(zuo)依(yi)賴(lai)于(yu)(yu)(yu)集(ji)中式的(de)(de)(de)(de)(de)(de)(de)(de)訓練學習或(huo)者依(yi)賴(lai)于(yu)(yu)(yu)智(zhi)能(neng)體(ti) 之間(jian)重要(yao)信(xin)(xin)(xin)(xin)(xin)(xin)息(xi)的(de)(de)(de)(de)(de)(de)(de)(de)共享(xiang) (例如智(zhi)能(neng)體(ti)的(de)(de)(de)(de)(de)(de)(de)(de)動作(zuo)). 而這樣的(de)(de)(de)(de)(de)(de)(de)(de)學習方(fang)(fang)式有(you)悖(bei)于(yu)(yu)(yu)實際的(de)(de)(de)(de)(de)(de)(de)(de)需求. 因此, 智(zhi)能(neng)體(ti)需要(yao) 能(neng)夠自(zi)主地在更新策略(lve)的(de)(de)(de)(de)(de)(de)(de)(de)同時自(zi)行調(diao)整通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)信(xin)(xin)(xin)(xin)(xin)(xin)息(xi), 從而做到(dao)(dao)完全的(de)(de)(de)(de)(de)(de)(de)(de)不(bu)依(yi)賴(lai)于(yu)(yu)(yu)集(ji)中式的(de)(de)(de)(de)(de)(de)(de)(de)或(huo)基(ji)(ji)于(yu)(yu)(yu)局(ju)部(bu)信(xin)(xin)(xin)(xin)(xin)(xin)息(xi) 共享(xiang)的(de)(de)(de)(de)(de)(de)(de)(de)學習. 本文(wen)重點(dian)回顧基(ji)(ji)于(yu)(yu)(yu)通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)(de) MARL 的(de)(de)(de)(de)(de)(de)(de)(de)工作(zuo). 我們總(zong)結(jie)了基(ji)(ji)于(yu)(yu)(yu)通(tong)(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)(de) MARL 的(de)(de)(de)(de)(de)(de)(de)(de)發(fa)展歷程(cheng), 以及不(bu)同 性(xing)質的(de)(de)(de)(de)(de)(de)(de)(de)多智(zhi)能(neng)體(ti)系(xi)統場景下的(de)(de)(de)(de)(de)(de)(de)(de)代表(biao)性(xing)工作(zuo), 進一步給(gei)出不(bu)同工作(zuo)的(de)(de)(de)(de)(de)(de)(de)(de)分(fen)析(xi)以及適用條件. 最(zui)后, 我們總(zong)結(jie) 并展望未(wei)來可(ke)能(neng)進行的(de)(de)(de)(de)(de)(de)(de)(de)探索方(fang)(fang)向(xiang). 我們由衷希望本文(wen)能(neng)夠為對研究(jiu) MARL 的(de)(de)(de)(de)(de)(de)(de)(de)讀者提供(gong)幫(bang)助(zhu).

2 單智能體強化學習

本節主要介紹(shao)(shao)單智能體(ti) DRL 的(de)(de)基(ji)礎知識. 首先, 回顧傳統的(de)(de)強(qiang)化學習(xi), 即單智能體(ti) (single-agent RL, SARL) 的(de)(de)相關概念, 然(ran)后, 介紹(shao)(shao)深度強(qiang)化學習(xi)的(de)(de)興起(qi)、前(qian)沿的(de)(de)算法和現存的(de)(de)問(wen)題以(yi)及挑戰(zhan). 方便后 續(xu)章節為大家引入多(duo)智能體(ti) RL 的(de)(de)問(wen)題設定、前(qian)沿研究的(de)(de)大致分類和框架.

3 多智能體強化學習

MARL DRL 面對的(de)(de)問(wen)(wen)題(ti)的(de)(de)復(fu)雜性很大程(cheng)度(du)上(shang)體(ti)現在: 多(duo)數任(ren)(ren)務(wu)所涉及(ji)的(de)(de)系統結構較為繁雜, 往往根據(ju)一(yi) 些規(gui)則或者常識可(ke)(ke)以分(fen)解為多(duo)個(ge)完成不同(tong)子任(ren)(ren)務(wu)的(de)(de)個(ge)體(ti). 也(ye)(ye)就(jiu)是說, 為了完成某(mou)個(ge)任(ren)(ren)務(wu), 系統需要(yao)多(duo)個(ge) 智(zhi)(zhi)能體(ti)同(tong)時參與, 它們(men)會在各(ge)自所處的(de)(de)子空間分(fen)散執行任(ren)(ren)務(wu), 但從任(ren)(ren)務(wu)層面來(lai)看, 它們(men)需要(yao)互(hu)相配合(he)并 且這些智(zhi)(zhi)能體(ti)各(ge)自的(de)(de)子決策結果(guo)會互(hu)相影響. 在這樣的(de)(de)多(duo)智(zhi)(zhi)能體(ti)系統中(zhong), 各(ge)個(ge)智(zhi)(zhi)能體(ti)需要(yao)在環境不完全可(ke)(ke)知的(de)(de)情況(kuang)下互(hu)相關(guan)聯, 進而完成任(ren)(ren)務(wu). 它們(men)需要(yao)互(hu)相配合(he). “配合(he)” 沒有(you)限(xian)定(ding)(ding)一(yi)定(ding)(ding)要(yao)合(he)作, 可(ke)(ke)以互(hu)相競爭(zheng)也(ye)(ye)可(ke)(ke)以有(you)競爭(zheng)有(you)合(he)作, 依據(ju)任(ren)(ren)務(wu)本身 來(lai)定(ding)(ding). 對于(yu) MAS 的(de)(de)場景(jing), 同(tong)樣需要(yao)對這類問(wen)(wen)題(ti)進行建模(mo)然后探索解決問(wen)(wen)題(ti)的(de)(de)方法.

4 基于通信的多智能體強化學習

在實際系統中, 參與任務的各個智能體往往會考慮安全或者隱私, 不希望過多地依賴于直接共享 各自領域的局部信息來完成任務. 這些關鍵的局部信息可能包括: 各個智能體的動作, 或者直接共享 同樣的策略網絡結構, 甚至是集中起來共享經驗池以更新各個智能體的策略, 也就是中心化的學習 (centralized learning) 的概念. 下面我們簡要地將現有的基于通信的 MARL 或者 MADRL 算法歸類, 然后列舉現在每一類的研究進展. 依據算法利用的 DRL 技術, 現有的基于通信的多智能體深度強化 學習算法 (communication-based multi-agent deep reinforcement learning, CB-MADRL) 大致可以分為 以下幾類: (1) 基于值函數的 CB-MADRL. 這種方法依靠對值函數 (以 Q- 值函數為主) 進行重構使之適用 于 MA 系統, 這部分工作在表 1 中總結. (2) 包含直接策略搜索的 CB-MADRL. 由于表現不夠穩定, 單純使用直接策略搜索作 MAS 決策 的工作十分少見. 現在大多學者都傾向于選擇基于 Actor-Critic 框架作 CB-MADRL 的研究, Actor 是 各個智能體的局部子策略, 通信的過程和效果主要依靠 Critic 來判定, 這部分算法在表 2 中總結. (3) 提升通信效率的突破. 我們發現在以上兩類方法逐漸發展的過程中, 學者們對這些算法也嘗 試了改進, 意在提升通信的效率進而提升算法的學習性能, 相關工作總結于表 3. (4) 關于應急通信的研究. 如今研究領域間的交叉已經極為常見, 很多語言研究領域的研究者們開 始嘗試從通信語言如何產生, 以及通信信息的質量度量等方向進行研究, 從而豐富了多智能體通信的 研究方向, 相關工作總結于表 4. 如果要求智能體通過通信的方式彼此協同完成一項任務, 智能體就需要通過將自己的信息, 例如 狀態和動作等, 編碼成一條有限長的信息, 傳遞給其余智能體, 同時也接受來自其余智能體的信息. 其 目的就是希望智能體能夠將收到的信息作為觀測的補充, 盡可能地還原不可見狀態的信息, 進而得到 近似全局狀態下的最優動作. 上述過程中, 通信的問題主要集中在如何傳遞高質量的通信信息, 具體來 說主要考慮: 通信信息需要包含哪些內容, 以及如何及時地更新通信信息. 在接下來的幾個小節中, 我們將主要從以上兩點為大家介紹并分析現有算法的特性.

5 歸納與展望

通(tong)過(guo)前面(mian)的(de)(de)(de)(de)(de)回顧不難發(fa)現(xian), 隨著 DRL 技(ji)術的(de)(de)(de)(de)(de)發(fa)展, MAS 場(chang)景(jing)的(de)(de)(de)(de)(de)問(wen)題越來越多地可(ke)以利(li)用 DRL技(ji)術的(de)(de)(de)(de)(de)遷移得到解決. 并且在各(ge)種 MAS 環境中(zhong)都得到了(le)測試, 甚至(zhi)在星際這樣(yang)的(de)(de)(de)(de)(de)游戲(xi)上也(ye)取得了(le)勝 利(li). MADRL 的(de)(de)(de)(de)(de)技(ji)術和(he)突破(po)是值得肯定的(de)(de)(de)(de)(de), 并且 MADRL 大背景(jing)下的(de)(de)(de)(de)(de)現(xian)有工作(zuo)(zuo)已(yi)經有學者進行了(le)總(zong) 結[62] . 我(wo)們更(geng)加(jia)希(xi)望各(ge)個智能(neng)(neng)體通(tong)過(guo)互相必要(yao)的(de)(de)(de)(de)(de)溝通(tong), 就能(neng)(neng)在不完(wan)全可(ke)知(zhi)的(de)(de)(de)(de)(de)環境中(zhong)分(fen)析感知(zhi)環境中(zhong)其 他(ta)智能(neng)(neng)體的(de)(de)(de)(de)(de)信息, 從而完(wan)成既定的(de)(de)(de)(de)(de)任務. 本節主要(yao)對現(xian)存的(de)(de)(de)(de)(de) CB-MADRL 算(suan)法(fa)進行歸納, 然后進一步探 討未來可(ke)能(neng)(neng)需要(yao)解決的(de)(de)(de)(de)(de)問(wen)題和(he)工作(zuo)(zuo)方向.

6 結束語

多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強化(hua)學(xue)習(xi)的(de)(de)(de)(de)(de)(de)(de)發展(zhan)離不開深(shen)度(du)強化(hua)學(xue)習(xi)的(de)(de)(de)(de)(de)(de)(de)突破性(xing)(xing)(xing)進展(zhan). 而從多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強化(hua)學(xue)習(xi)這個層(ceng)面(mian)來(lai) 說, 在(zai)看到已有(you)的(de)(de)(de)(de)(de)(de)(de)成績的(de)(de)(de)(de)(de)(de)(de)同時, 提(ti)高(gao)學(xue)習(xi)效率(lv)、提(ti)高(gao)魯棒性(xing)(xing)(xing)和(he)泛化(hua)性(xing)(xing)(xing)的(de)(de)(de)(de)(de)(de)(de)困難(nan)依舊存在(zai). 這種(zhong)困難(nan)是多(duo)(duo)智(zhi) 能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)系統本(ben)(ben)身(shen)固有(you)的(de)(de)(de)(de)(de)(de)(de)性(xing)(xing)(xing)質(zhi), 例(li)如環境(jing)的(de)(de)(de)(de)(de)(de)(de)非穩定性(xing)(xing)(xing)、獎賞的(de)(de)(de)(de)(de)(de)(de)延(yan)遲(chi)性(xing)(xing)(xing)和(he)稀疏性(xing)(xing)(xing)、獎賞分配的(de)(de)(de)(de)(de)(de)(de)困難(nan)性(xing)(xing)(xing)等. 盡 管這些困難(nan)依舊是牽(qian)制這個領域發展(zhan)的(de)(de)(de)(de)(de)(de)(de)因(yin)素, 但多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強化(hua)學(xue)習(xi)服(fu)務于現(xian)(xian)實系統解決現(xian)(xian)實問題是學(xue) 界(jie)的(de)(de)(de)(de)(de)(de)(de)目標(biao). 選擇基于通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強化(hua)學(xue)習(xi)算(suan)(suan)法(fa)(fa)進行介紹的(de)(de)(de)(de)(de)(de)(de)主要原因(yin)是通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)本(ben)(ben)身(shen)更迎合實際(ji)的(de)(de)(de)(de)(de)(de)(de)應用場(chang)景(jing) 的(de)(de)(de)(de)(de)(de)(de)需(xu)(xu)求(qiu). 通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)信(xin)(xin)(xin)(xin)(xin)息能(neng)(neng)(neng)(neng)(neng)夠很自(zi)然(ran)地使得智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)擺脫中心化(hua)的(de)(de)(de)(de)(de)(de)(de)學(xue)習(xi)的(de)(de)(de)(de)(de)(de)(de)框架. 智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)之間的(de)(de)(de)(de)(de)(de)(de)有(you)效的(de)(de)(de)(de)(de)(de)(de)信(xin)(xin)(xin)(xin)(xin)息傳(chuan)遞 不是簡單的(de)(de)(de)(de)(de)(de)(de)私(si)密的(de)(de)(de)(de)(de)(de)(de)信(xin)(xin)(xin)(xin)(xin)息共(gong)(gong)享(xiang), 而是智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)在(zai)不斷(duan)地跟環境(jing)交互(hu)中所給出(chu)的(de)(de)(de)(de)(de)(de)(de)有(you)意義的(de)(de)(de)(de)(de)(de)(de)反(fan)饋. 這種(zhong)反(fan)饋通(tong)(tong)(tong) 常是抽象的(de)(de)(de)(de)(de)(de)(de), 是需(xu)(xu)要協同的(de)(de)(de)(de)(de)(de)(de)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)互(hu)相(xiang)理解的(de)(de)(de)(de)(de)(de)(de). 通(tong)(tong)(tong)過對現(xian)(xian)有(you)的(de)(de)(de)(de)(de)(de)(de)基于通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)深(shen)度(du)強化(hua)學(xue)習(xi)算(suan)(suan)法(fa)(fa)的(de)(de)(de)(de)(de)(de)(de)分析, 不難(nan)發現(xian)(xian)能(neng)(neng)(neng)(neng)(neng)用于現(xian)(xian)實多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)系統 中的(de)(de)(de)(de)(de)(de)(de)基于通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)多(duo)(duo)智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)強化(hua)學(xue)習(xi)算(suan)(suan)法(fa)(fa)需(xu)(xu)要盡可能(neng)(neng)(neng)(neng)(neng)擺脫其對信(xin)(xin)(xin)(xin)(xin)息共(gong)(gong)享(xiang)的(de)(de)(de)(de)(de)(de)(de)依賴, 也(ye)就是盡可能(neng)(neng)(neng)(neng)(neng)保證較少(shao) 的(de)(de)(de)(de)(de)(de)(de)信(xin)(xin)(xin)(xin)(xin)息共(gong)(gong)享(xiang), 做到完全基于通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin). 完全基于通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)的(de)(de)(de)(de)(de)(de)(de)隱含意義是智(zhi)能(neng)(neng)(neng)(neng)(neng)體(ti)(ti)(ti)在(zai)互(hu)相(xiang)不可知的(de)(de)(de)(de)(de)(de)(de)情(qing)況下僅僅依靠 通(tong)(tong)(tong)信(xin)(xin)(xin)(xin)(xin)信(xin)(xin)(xin)(xin)(xin)息實現(xian)(xian)缺失信(xin)(xin)(xin)(xin)(xin)息的(de)(de)(de)(de)(de)(de)(de)補充, 進而擺脫過多(duo)(duo)的(de)(de)(de)(de)(de)(de)(de)內部信(xin)(xin)(xin)(xin)(xin)息交流以及中心化(hua)學(xue)習(xi)的(de)(de)(de)(de)(de)(de)(de)需(xu)(xu)求(qiu). 從而有(you)如下的(de)(de)(de)(de)(de)(de)(de) 結果.

? 智能體的隱私需求得到保障: 智能體可以根據自身狀態及接收的信息自行調整傳送信息. ? 算法的泛化性得到提升: 如果智能體可以僅通過通信信息互相理解進而協同完成任務, 在面對不 同任務時智能體可以根據不同的任務需求, 自適應地調整通信信息. 最后, 希望通過我們的介紹能夠對多智能體強化學習, 特別是基于通信手段的多智能體強化學習 方向有所關注的學者們提供一些幫助; 希望通過廣大學者們的努力使得多智能體強化學習技術更快更好地服務于現實世界中的系統.

可解釋人(ren)工智能(neng)(XAI)通過增強終端(duan)用(yong)戶(hu)對(dui)(dui)機器(qi)的(de)(de)信(xin)任，正在(zai)改變人(ren)工智能(neng)(AI)領(ling)域。隨著連(lian)接設(she)備(bei)數量的(de)(de)不斷(duan)增長(chang)，物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)(IoT)市(shi)場需(xu)要(yao)對(dui)(dui)終端(duan)用(yong)戶(hu)來(lai)說是值得信(xin)任的(de)(de)。然而，現有文獻對(dui)(dui)于XAI在(zai)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)中(zhong)的(de)(de)應用(yong)尚缺乏系統(tong)而全(quan)面的(de)(de)綜述性工作(zuo)**。為了(le)(le)(le)彌補這一不足(zu)，在(zai)本文中(zhong)，我們關注了(le)(le)(le)XAI框架的(de)(de)特點和對(dui)(dui)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)的(de)(de)支(zhi)持(chi)。我們介(jie)紹了(le)(le)(le)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)應用(yong)中(zhong)廣泛(fan)使用(yong)的(de)(de)XAI服務，如安(an)全(quan)增強、醫療物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)(IoMT)、工業(ye)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)(IIoT)和城市(shi)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)(IoCT)**。通過適當的(de)(de)例(li)子，提出了(le)(le)(le)在(zai)這些應用(yong)中(zhong)XAI模型優(you)于物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)系統(tong)的(de)(de)實(shi)現選擇，并總(zong)結了(le)(le)(le)未來(lai)工作(zuo)的(de)(de)關鍵(jian)推論(lun)。此(ci)外，我們介(jie)紹了(le)(le)(le)邊緣XAI結構(gou)的(de)(de)前沿發(fa)(fa)展，以(yi)及對(dui)(dui)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)應用(yong)的(de)(de)第(di)六代(6G)通信(xin)服務的(de)(de)支(zhi)持(chi)，以(yi)及關鍵(jian)推論(lun)。簡而言(yan)之(zhi)，本文構(gou)成了(le)(le)(le)針對(dui)(dui)未來(lai)物(wu)(wu)(wu)(wu)聯(lian)(lian)(lian)網(wang)(wang)用(yong)例(li)需(xu)求的(de)(de)基于XAI的(de)(de)框架開發(fa)(fa)的(de)(de)第(di)一個整體匯編。

//www.zhuanzhi.ai/paper/60b70e12d1bbad0142aa263371444331

概述

可(ke)(ke)(ke)解釋(shi)(shi)人(ren)工智能(neng)(neng)(XAI)由于具有高(gao)度透明、可(ke)(ke)(ke)信賴、可(ke)(ke)(ke)解釋(shi)(shi)的系(xi)統開發(fa)(fa)等(deng)諸多優點，越(yue)來越(yue)受到人(ren)們(men)的重視。人(ren)工智能(neng)(neng)(AI)系(xi)統每天都在進化，具有更(geng)復雜(za)的功能(neng)(neng)。人(ren)工智能(neng)(neng)也已經(jing)(jing)發(fa)(fa)展到可(ke)(ke)(ke)以直接與機器交(jiao)互的水平(ping)。它已經(jing)(jing)成為(wei)每一(yi)個商(shang)業(ye)運作和人(ren)類日常生(sheng)活的一(yi)部分。然而，這些往往容易產生(sheng)模型偏差，缺(que)乏代(dai)碼信心和信任問題。為(wei)了(le)管(guan)(guan)理(li)這些風險并保(bao)持AI模型的透明度，XAI的出現為(wei)系(xi)統提供(gong)(gong)了(le)許多有意義(yi)的解釋(shi)(shi)，而不會(hui)對所做的決策或任何采納的解決方案產生(sheng)任何混(hun)亂[1]。XAI對當前業(ye)務(wu)的影響可(ke)(ke)(ke)能(neng)(neng)會(hui)取代(dai)傳統的AI系(xi)統，這些系(xi)統能(neng)(neng)夠在生(sheng)產、制(zhi)造(zao)、供(gong)(gong)應鏈、金融部門和財(cai)富管(guan)(guan)理(li)方面產生(sheng)更(geng)大的影響，帶來更(geng)好的增長和可(ke)(ke)(ke)持續(xu)發(fa)(fa)展。

近年來，XAI技術引起了業界和學術界的廣泛關注。該技術的發展已經取得了巨大的成功，從模型中做出了值得信賴的決策。XAI的(de)(de)(de)(de)(de)出現目前跨(kua)越(yue)了(le)大量的(de)(de)(de)(de)(de)應(ying)(ying)用(yong)(yong)程(cheng)序(xu)，這些(xie)應(ying)(ying)用(yong)(yong)程(cheng)序(xu)推動(dong)了(le)對(dui)各個研究(jiu)領域(yu)的(de)(de)(de)(de)(de)投資。XAI最流行的(de)(de)(de)(de)(de)應(ying)(ying)用(yong)(yong)程(cheng)序(xu)包(bao)括醫療保健[2]、金融[3]、安全(quan)[4]、軍事(shi)[5]和(he)法(fa)律部門[6]。一般來(lai)(lai)說，XAI技(ji)(ji)術已經證(zheng)明(ming)(ming)了(le)其潛力，目前需(xu)要可(ke)(ke)(ke)(ke)解釋(shi)的(de)(de)(de)(de)(de)AI模(mo)型(xing)(xing)(xing)。一個使(shi)用(yong)(yong)XAI的(de)(de)(de)(de)(de)實際例(li)子(zi)是(shi)國防部門[7]。此外，谷歌的(de)(de)(de)(de)(de)云(yun)服務正在探(tan)索XAI部署可(ke)(ke)(ke)(ke)解釋(shi)和(he)包(bao)容性(xing)AI模(mo)型(xing)(xing)(xing)的(de)(de)(de)(de)(de)潛力[8]。作為XAI對(dui)物(wu)聯網(wang)(IoT)環(huan)境最成(cheng)功(gong)的(de)(de)(de)(de)(de)影響之一，可(ke)(ke)(ke)(ke)解釋(shi)和(he)透(tou)明(ming)(ming)ML模(mo)型(xing)(xing)(xing)[9]承(cheng)諾了(le)新的(de)(de)(de)(de)(de)策略來(lai)(lai)解釋(shi)黑(hei)箱決策系統(tong)[10]，基于新的(de)(de)(de)(de)(de)解釋(shi)風(feng)格[11]的(de)(de)(de)(de)(de)設計(ji)，用(yong)(yong)于評估AI系統(tong)的(de)(de)(de)(de)(de)透(tou)明(ming)(ming)度(du)和(he)可(ke)(ke)(ke)(ke)解釋(shi)性(xing)。用(yong)(yong)于解釋(shi)的(de)(de)(de)(de)(de)算法(fa)的(de)(de)(de)(de)(de)技(ji)(ji)術方面可(ke)(ke)(ke)(ke)以被物(wu)聯網(wang)系統(tong)用(yong)(yong)于確保XAI模(mo)型(xing)(xing)(xing)中(zhong)的(de)(de)(de)(de)(de)倫理(li)方面。物(wu)聯網(wang)中(zhong)的(de)(de)(de)(de)(de)XAI系統(tong)的(de)(de)(de)(de)(de)一個例(li)子(zi)是(shi)[4]，它已被證(zheng)明(ming)(ming)可(ke)(ke)(ke)(ke)以使(shi)用(yong)(yong)統(tong)計(ji)理(li)論(lun)在工業(ye)物(wu)聯網(wang)(IIoT)中(zhong)提供(gong)模(mo)型(xing)(xing)(xing)不(bu)可(ke)(ke)(ke)(ke)知的(de)(de)(de)(de)(de)解釋(shi)，從而促(cu)進透(tou)明(ming)(ming)度(du)的(de)(de)(de)(de)(de)有效性(xing)。然而，涉及的(de)(de)(de)(de)(de)挑戰是(shi)隨機新樣本(ben)的(de)(de)(de)(de)(de)考慮(lv)，這需(xu)要解決高風(feng)險物(wu)聯網(wang)應(ying)(ying)用(yong)(yong)。通(tong)過使(shi)用(yong)(yong)基于LIME的(de)(de)(de)(de)(de)XAI模(mo)型(xing)(xing)(xing)，可(ke)(ke)(ke)(ke)以學習域(yu)不(bu)變(bian)特征來(lai)(lai)保證(zheng)信息處理(li)的(de)(de)(de)(de)(de)可(ke)(ke)(ke)(ke)信度(du)，并且能夠提供(gong)可(ke)(ke)(ke)(ke)靠的(de)(de)(de)(de)(de)解釋(shi)[12]。

XAI模型的一個關鍵挑戰是定制用于處理非線性數據的模型，這可以通過開發數據驅動的XAI模型[13]來規避。特別(bie)是，盡(jin)管(guan)完全(quan)可(ke)(ke)解(jie)(jie)釋的模型(xing)還處于初級階段，XAI系統(tong)仍然(ran)需要(yao)能夠解(jie)(jie)決解(jie)(jie)釋和可(ke)(ke)解(jie)(jie)釋性(xing)的理(li)論和實(shi)踐(jian)方(fang)面(mian)的新模型(xing)。例如，物聯(lian)網設備中的隱(yin)私和數(shu)據保(bao)護(hu)可(ke)(ke)能無法由AI模型(xing)對模型(xing)如何做出決策進行(xing)足(zu)夠安(an)全(quan)的處理(li)。對物聯(lian)網應(ying)用的一些(xie)解(jie)(jie)釋必須明確(que)，特別(bie)是在醫(yi)療保(bao)健和軍事應(ying)用中，XAI可(ke)(ke)以大大受(shou)益。因此，XAI技(ji)術(shu)有(you)望(wang)成為物聯(lian)網及(ji)其相關賦(fu)能技(ji)術(shu)的可(ke)(ke)靠技(ji)術(shu)。

A. 動機

由于黑箱模型的不透明性，人工智能系統帶來的重大挑戰常常從倫理角度對信任構成威脅[14]。XAI模型固有的可解釋性是通過透明的方式做出決策來建立的，它允許在沒有任何爭論的情況下分享解釋。最近，XAI模型在交付可靠、透明和合乎道德的決策方面取得了重大進展。例如，開發了大量新穎的XAI模型，以提高具有高度倫理考慮的決策的透明度。因此，XAI模型也非常適合于大量的應用程序[7]。然而，物聯網應用的XAI支持非常有限，由于智能設備的資源限制，XAI支持受到了限制。將XAI的支持擴展到物聯網應用及其他領域，使學術和工業研究進入一個新的維度，這有可能維護在醫療保健、國防、工業和其他物聯網驅動的工業應用中所做決策的倫理關切和透明度。基于這一動機，大量的XAI模型已經部署在物聯網應用中，如醫療保健[2]、金融[3]、安全[4]、軍事[5]和法律部門[6]。此外，文獻報道了使用物聯網傳感器[15]進行故障預測的深度XAI模型和用于物聯網云系統[16]的端到端ML模型。更廣泛地說，XAI模型的新范圍還可以用來提供可信的解釋，并可以在大量的應用領域取代傳統的AI模型。B. XAI在物聯網中的作用通過對部署在環境中不同類型的物聯網設備所積累的數據進行適當的調查，從而可以感知特定場景中的活動。大多數識別技術通常基于人工智能技術，如ML和DL，可以提供精確的決策。AI在物聯網應用中的作用可以分為以下三個發展階段。

• **在(zai)第(di)一(yi)類中，從傳感器和(he)物聯網收集(ji)數據，然后輸(shu)入AI算法或AI領域的ML算法。

• **第二個(ge)進步是利用AI改善物(wu)聯網(wang)服務(wu)。這可以像對傳感(gan)器(qi)數(shu)據(ju)進行調(diao)查一樣(yang)簡單(dan)，比如這些數(shu)據(ju)是否(fou)越(yue)界，并試圖確定越(yue)界的原因，以及是否(fou)應該將數(shu)據(ju)輸入AI領域。

• **AI模(mo)型(xing)的(de)第(di)三個作(zuo)用是(shi)監督物聯網領域的(de)AI元素，并在AI領域的(de)算(suan)法和ML系統之間(jian)交換信息

通過為物聯網定義各種模型，我們可以觀察到AI領域推理物聯網領域細節的方法。例如，如果我們打算診斷故障，我們可以從物聯網領域的AI能力中提取數據。我(wo)們還可(ke)(ke)以開(kai)始查詢傳(chuan)(chuan)感(gan)(gan)器或(huo)數據源的(de)(de)(de)(de)(de)(de)可(ke)(ke)靠性(xing)(xing)和(he)可(ke)(ke)信(xin)性(xing)(xing)。然而(er)，傳(chuan)(chuan)統人工智(zhi)(zhi)能(neng)(neng)技術(shu)的(de)(de)(de)(de)(de)(de)使用(yong)缺乏對(dui)(dui)開(kai)發(fa)(fa)框(kuang)架(jia)所做的(de)(de)(de)(de)(de)(de)決(jue)策向人類提(ti)(ti)(ti)(ti)供解(jie)(jie)(jie)釋(shi)。獲取(qu)做出此(ci)類決(jue)策的(de)(de)(de)(de)(de)(de)明顯解(jie)(jie)(jie)釋(shi)，可(ke)(ke)以滿(man)足在(zai)(zai)開(kai)發(fa)(fa)過(guo)程中(zhong)更(geng)好地解(jie)(jie)(jie)釋(shi)模(mo)型(xing)的(de)(de)(de)(de)(de)(de)多(duo)重(zhong)目標的(de)(de)(de)(de)(de)(de)需求，并同時提(ti)(ti)(ti)(ti)供更(geng)直接的(de)(de)(de)(de)(de)(de)、精細的(de)(de)(de)(de)(de)(de)上下文感(gan)(gan)知服(fu)務的(de)(de)(de)(de)(de)(de)方(fang)法。例如，對(dui)(dui)醫療(liao)保(bao)(bao)健(jian)應用(yong)程序中(zhong)的(de)(de)(de)(de)(de)(de)患(huan)者活(huo)動進(jin)行持續(xu)檢查對(dui)(dui)于(yu)理(li)(li)解(jie)(jie)(jie)健(jian)康狀態非常重(zhong)要(yao)。對(dui)(dui)病(bing)(bing)人活(huo)動的(de)(de)(de)(de)(de)(de)更(geng)透明的(de)(de)(de)(de)(de)(de)監測(ce)使專家能(neng)(neng)夠完全了(le)解(jie)(jie)(jie)病(bing)(bing)人的(de)(de)(de)(de)(de)(de)行為(wei)(wei)(wei)。集(ji)成了(le)元學(xue)習(xi)策略的(de)(de)(de)(de)(de)(de)XAI模(mo)型(xing)主要(yao)用(yong)于(yu)信(xin)息物(wu)理(li)(li)系統，這(zhe)(zhe)些系統是(shi)工業(ye)(ye)4.0的(de)(de)(de)(de)(de)(de)核心組件。它們確保(bao)(bao)了(le)豐富的(de)(de)(de)(de)(de)(de)模(mo)擬基礎(chu)設施，與機器的(de)(de)(de)(de)(de)(de)智(zhi)(zhi)能(neng)(neng)通信(xin)，更(geng)高(gao)水平的(de)(de)(de)(de)(de)(de)可(ke)(ke)視化，更(geng)好的(de)(de)(de)(de)(de)(de)服(fu)務質(zhi)量分析和(he)生產(chan)效率最大(da)化。在(zai)(zai)[4]中(zhong)作(zuo)(zuo)者提(ti)(ti)(ti)(ti)出的(de)(de)(de)(de)(de)(de)另一個類似的(de)(de)(de)(de)(de)(de)工作(zuo)(zuo)中(zhong)，為(wei)(wei)(wei)了(le)在(zai)(zai)工業(ye)(ye)物(wu)聯(lian)網框(kuang)架(jia)中(zhong)賦予更(geng)高(gao)級別的(de)(de)(de)(de)(de)(de)安(an)全特性(xing)(xing)，處理(li)(li)了(le)模(mo)型(xing)不可(ke)(ke)知論解(jie)(jie)(jie)釋(shi)，以解(jie)(jie)(jie)決(jue)智(zhi)(zhi)能(neng)(neng)行業(ye)(ye)的(de)(de)(de)(de)(de)(de)網絡安(an)全威脅。在(zai)(zai)這(zhe)(zhe)里，通過(guo)統計(ji)理(li)(li)論提(ti)(ti)(ti)(ti)供透明度，甚至為(wei)(wei)(wei)隨(sui)機的(de)(de)(de)(de)(de)(de)新樣本集(ji)提(ti)(ti)(ti)(ti)供解(jie)(jie)(jie)釋(shi)，以確保(bao)(bao)在(zai)(zai)高(gao)風險的(de)(de)(de)(de)(de)(de)工業(ye)(ye)物(wu)聯(lian)網任務的(de)(de)(de)(de)(de)(de)安(an)全性(xing)(xing)。在(zai)(zai)[4]中(zhong)，作(zuo)(zuo)者提(ti)(ti)(ti)(ti)出了(le)一個可(ke)(ke)信(xin)任的(de)(de)(de)(de)(de)(de)、明顯的(de)(de)(de)(de)(de)(de)體驗平臺，用(yong)于(yu)評估物(wu)IOT智(zhi)(zhi)能(neng)(neng)家居場景中(zhong)的(de)(de)(de)(de)(de)(de)電力(li)消費(fei)行為(wei)(wei)(wei)。此(ci)外，XAI在(zai)(zai)醫療(liao)健(jian)康部門的(de)(de)(de)(de)(de)(de)作(zuo)(zuo)用(yong)與物(wu)聯(lian)網在(zai)(zai)疾病(bing)(bing)預測(ce)和(he)診斷方(fang)面的(de)(de)(de)(de)(de)(de)作(zuo)(zuo)用(yong)正變得越來越重(zhong)要(yao)。[19]中(zhong)的(de)(de)(de)(de)(de)(de)工作(zuo)(zuo)涉(she)及XAI模(mo)型(xing)，使醫療(liao)領域(yu)使用(yong)的(de)(de)(de)(de)(de)(de)物(wu)聯(lian)網框(kuang)架(jia)能(neng)(neng)夠應對(dui)(dui)疾病(bing)(bing)預測(ce)和(he)診斷所涉(she)及的(de)(de)(de)(de)(de)(de)挑戰。

隨(sui)著XAI的(de)(de)(de)(de)深(shen)遠(yuan)影(ying)響(xiang)逐(zhu)漸顯現，人工(gong)智(zhi)能(neng)技術(shu)決策階(jie)段(duan)(如ML和DL模型(xing))背后的(de)(de)(de)(de)整(zheng)個(ge)深(shen)刻邏輯(ji)可以(yi)被理(li)解(jie)(jie)(jie)。此外，XAI算法允許模型(xing)在(zai)預測階(jie)段(duan)解(jie)(jie)(jie)釋(shi)每(mei)個(ge)單獨的(de)(de)(de)(de)決策。它們在(zai)物聯(lian)網框架中的(de)(de)(de)(de)重要性(xing)是(shi)解(jie)(jie)(jie)決資源受(shou)限物聯(lian)網設(she)備中XAI實施所涉及的(de)(de)(de)(de)問題的(de)(de)(de)(de)一種具有(you)挑戰性(xing)的(de)(de)(de)(de)手段(duan)。然而，XAI對物聯(lian)網的(de)(de)(de)(de)深(shen)遠(yuan)影(ying)響(xiang)使得(de)終端用戶(hu)信任這些部署在(zai)商業和公共場(chang)景中的(de)(de)(de)(de)設(she)備。有(you)了XAI模型(xing)和物聯(lian)網數(shu)據的(de)(de)(de)(de)本質成分(fen)，從(cong)終端用戶(hu)的(de)(de)(de)(de)角度，突出了模型(xing)訓練(lian)的(de)(de)(de)(de)高性(xing)價比(bi)和透明(ming)化的(de)(de)(de)(de)問題。

C. 比較和我們的貢獻

受XAI和(he)物(wu)聯網領域進(jin)(jin)(jin)展的(de)(de)(de)(de)(de)(de)推(tui)動，研(yan)(yan)究界提出了(le)(le)一(yi)些相(xiang)關(guan)的(de)(de)(de)(de)(de)(de)綜述(shu)工(gong)作(zuo)。特別是，在(zai)(zai)(zai)(zai)過(guo)去(qu)幾年(nian)中(zhong)(zhong)(zhong)，各(ge)種(zhong)研(yan)(yan)究人員(yuan)對XAI框架(jia)進(jin)(jin)(jin)行(xing)(xing)了(le)(le)廣泛(fan)的(de)(de)(de)(de)(de)(de)研(yan)(yan)究。例(li)如，一(yi)些論文對XAI系統及其特性(xing)進(jin)(jin)(jin)行(xing)(xing)了(le)(le)總體概述(shu)[20,21,22,23,24,25]，并對不同的(de)(de)(de)(de)(de)(de)XAI算(suan)法(fa)[26]進(jin)(jin)(jin)行(xing)(xing)了(le)(le)綜述(shu)。特別地，[20]中(zhong)(zhong)(zhong)的(de)(de)(de)(de)(de)(de)作(zuo)者(zhe)(zhe)總結(jie)了(le)(le)XAI在(zai)(zai)(zai)(zai)監(jian)督學(xue)(xue)習(xi)中(zhong)(zhong)(zhong)的(de)(de)(de)(de)(de)(de)作(zuo)用，以(yi)及它與人工(gong)一(yi)般智能(neng)相(xiang)關(guan)的(de)(de)(de)(de)(de)(de)最(zui)新發(fa)展。同樣(yang)，[22]的(de)(de)(de)(de)(de)(de)作(zuo)者(zhe)(zhe)回顧了(le)(le)XAI中(zhong)(zhong)(zhong)最(zui)先進(jin)(jin)(jin)的(de)(de)(de)(de)(de)(de)方法(fa)在(zai)(zai)(zai)(zai)理(li)論、概念、方法(fa)和(he)評價(jia)上采用的(de)(de)(de)(de)(de)(de)聚(ju)類(lei)策略的(de)(de)(de)(de)(de)(de)貢獻。在(zai)(zai)(zai)(zai)[24]中(zhong)(zhong)(zhong)，作(zuo)者(zhe)(zhe)為解(jie)(jie)決(jue)XAI黑箱問題(ti)的(de)(de)(de)(de)(de)(de)辯論確定了(le)(le)四(si)個主題(ti)。此(ci)外(wai)(wai)，基于嚴格(ge)的(de)(de)(de)(de)(de)(de)審(shen)查，這些發(fa)現有助于增(zeng)強對XAI模型(xing)決(jue)策的(de)(de)(de)(de)(de)(de)認識。Angelov等(deng)人[25]將機器學(xue)(xue)習(xi)和(he)深(shen)度(du)學(xue)(xue)習(xi)研(yan)(yan)究的(de)(de)(de)(de)(de)(de)進(jin)(jin)(jin)展與可(ke)解(jie)(jie)釋(shi)(shi)性(xing)問題(ti)聯系起來(lai)。在(zai)(zai)(zai)(zai)此(ci)，作(zuo)者(zhe)(zhe)闡述(shu)了(le)(le)可(ke)解(jie)(jie)釋(shi)(shi)性(xing)的(de)(de)(de)(de)(de)(de)原則，并提出了(le)(le)該研(yan)(yan)究領域未來(lai)的(de)(de)(de)(de)(de)(de)研(yan)(yan)究方向。在(zai)(zai)(zai)(zai)[26]中(zhong)(zhong)(zhong)，Das等(deng)人提出了(le)(le)分(fen)類(lei)法(fa)，并根據XAI技(ji)術(shu)的(de)(de)(de)(de)(de)(de)固有特征對其進(jin)(jin)(jin)行(xing)(xing)分(fen)類(lei)，并將其配(pei)置(zhi)為自(zi)解(jie)(jie)釋(shi)(shi)學(xue)(xue)習(xi)模型(xing)。此(ci)外(wai)(wai)，作(zuo)者(zhe)(zhe)評估了(le)(le)8種(zhong)XAI算(suan)法(fa)，并生成了(le)(le)解(jie)(jie)釋(shi)(shi)圖，并總結(jie)了(le)(le)這些方法(fa)的(de)(de)(de)(de)(de)(de)局限性(xing)。[21]中(zhong)(zhong)(zhong)的(de)(de)(de)(de)(de)(de)作(zuo)者(zhe)(zhe)概述(shu)了(le)(le)XAI、從(cong)AI中(zhong)(zhong)(zhong)提取的(de)(de)(de)(de)(de)(de)背景細節、開(kai)發(fa)的(de)(de)(de)(de)(de)(de)起源和(he)技(ji)術(shu)標準化，以(yi)及XAI體系結(jie)構(gou)、用例(li)和(he)研(yan)(yan)究挑(tiao)戰。Arrieta等(deng)人[23]對XAI的(de)(de)(de)(de)(de)(de)分(fen)類(lei)進(jin)(jin)(jin)行(xing)(xing)了(le)(le)全面的(de)(de)(de)(de)(de)(de)調查，引出了(le)(le)負責任AI的(de)(de)(de)(de)(de)(de)概念框架(jia)。此(ci)外(wai)(wai)，它還激勵研(yan)(yan)究人員(yuan)利(li)用具有可(ke)解(jie)(jie)釋(shi)(shi)能(neng)力的(de)(de)(de)(de)(de)(de)人工(gong)智能(neng)系統。

考慮到(dao)倫理問題，XAI提(ti)供(gong)了可靠的(de)(de)系(xi)(xi)統，并(bing)提(ti)供(gong)了關于(yu)模(mo)型(xing)的(de)(de)解釋。對(dui)模(mo)型(xing)的(de)(de)改進，對(dui)系(xi)(xi)統決(jue)策的(de)(de)論證，對(dui)異常行為(wei)的(de)(de)控制，發現(xian)新的(de)(de)規律和(he)(he)(he)隱藏的(de)(de)洞見(jian)[21]都(dou)需(xu)要(yao)解釋。在(zai)(zai)(zai)(zai)[27,28,29]中(zhong)(zhong)(zhong)，作者就研(yan)究(jiu)挑戰和(he)(he)(he)應(ying)(ying)用(yong)領(ling)域(yu)從(cong)深度(du)(du)學習(DL)、自動化(hua)決(jue)策和(he)(he)(he)個(ge)性(xing)化(hua)體驗的(de)(de)背景下比較了各(ge)種(zhong)XAI框架。其他的(de)(de)則專注于(yu)特定(ding)的(de)(de)功能，如安全[30,31]、醫療(liao)保健(jian)[32,33,34]、增強(qiang)[35]、機器人[36,37]以(yi)及(ji)與ML模(mo)型(xing)[38,39,40]相關的(de)(de)解決(jue)方案，以(yi)探(tan)(tan)索對(dui)系(xi)(xi)統所做(zuo)決(jue)策的(de)(de)見(jian)解。此外(wai)，[41]的(de)(de)作者提(ti)供(gong)了在(zai)(zai)(zai)(zai)基(ji)于(yu)強(qiang)化(hua)學習的(de)(de)應(ying)(ying)用(yong)中(zhong)(zhong)(zhong)使(shi)(shi)用(yong)XAI的(de)(de)詳(xiang)細(xi)總(zong)結(jie)(jie)。表(biao)1從(cong)XAI的(de)(de)角(jiao)度(du)(du)簡要(yao)介(jie)紹(shao)了一(yi)些現(xian)有的(de)(de)調查文章，以(yi)及(ji)它(ta)們(men)(men)(men)的(de)(de)主要(yao)貢獻和(he)(he)(he)局限性(xing)。盡管XAI在(zai)(zai)(zai)(zai)文獻中(zhong)(zhong)(zhong)已經被(bei)各(ge)種(zhong)研(yan)究(jiu)人員廣泛研(yan)究(jiu)過，但據我(wo)(wo)(wo)們(men)(men)(men)所知，目前還沒有關于(yu)在(zai)(zai)(zai)(zai)物(wu)(wu)聯(lian)(lian)網(wang)服(fu)務(wu)和(he)(he)(he)應(ying)(ying)用(yong)中(zhong)(zhong)(zhong)使(shi)(shi)用(yong)XAI的(de)(de)全面和(he)(he)(he)專門的(de)(de)調研(yan)。XAI在(zai)(zai)(zai)(zai)各(ge)個(ge)領(ling)域(yu)的(de)(de)潛力(li)，如物(wu)(wu)聯(lian)(lian)網(wang)網(wang)絡、安全、醫療(liao)保健(jian)和(he)(he)(he)工業部門，還沒有在(zai)(zai)(zai)(zai)開放文獻中(zhong)(zhong)(zhong)探(tan)(tan)索過。此外(wai)，從(cong)智(zhi)(zhi)能家居(ju)到(dao)智(zhi)(zhi)慧城市(shi)的(de)(de)角(jiao)度(du)(du)，整體總(zong)結(jie)(jie)XAI與IoT的(de)(de)融合還有待(dai)探(tan)(tan)索。這些缺點(dian)促使(shi)(shi)我(wo)(wo)(wo)們(men)(men)(men)對(dui)XAI與物(wu)(wu)聯(lian)(lian)網(wang)服(fu)務(wu)的(de)(de)集成(cheng)進行了全面的(de)(de)審查。具體來說，我(wo)(wo)(wo)們(men)(men)(men)包(bao)括了XAI在(zai)(zai)(zai)(zai)各(ge)種(zhong)物(wu)(wu)聯(lian)(lian)網(wang)應(ying)(ying)用(yong)類別(bie)中(zhong)(zhong)(zhong)的(de)(de)應(ying)(ying)用(yong)的(de)(de)最新調查，如安全、醫療(liao)保健(jian)、工業和(he)(he)(he)智(zhi)(zhi)慧城市(shi)。本文的(de)(de)主要(yao)貢獻在(zai)(zai)(zai)(zai)于(yu)對(dui)XAI的(de)(de)使(shi)(shi)用(yong)進行了廣泛的(de)(de)總(zong)結(jie)(jie)，包(bao)括網(wang)絡安全增強(qiang)、IoMT、IIoT和(he)(he)(he)IoCT。我(wo)(wo)(wo)們(men)(men)(men)還在(zai)(zai)(zai)(zai)每(mei)個(ge)物(wu)(wu)聯(lian)(lian)網(wang)應(ying)(ying)用(yong)結(jie)(jie)束時總(zong)結(jie)(jie)了本次調研(yan)的(de)(de)主要(yao)觀察結(jie)(jie)果。最后，討論了基(ji)于(yu)xai的(de)(de)物(wu)(wu)聯(lian)(lian)網(wang)服(fu)務(wu)的(de)(de)重要(yao)研(yan)究(jiu)挑戰，并(bing)展望了未來的(de)(de)研(yan)究(jiu)方向。就我(wo)(wo)(wo)們(men)(men)(men)的(de)(de)熟練程(cheng)度(du)(du)而(er)言，我(wo)(wo)(wo)們(men)(men)(men)是(shi)第一(yi)個(ge)提(ti)供(gong)物(wu)(wu)聯(lian)(lian)網(wang)系(xi)(xi)統中(zhong)(zhong)(zhong)XAI專門和(he)(he)(he)詳(xiang)細(xi)調研(yan)的(de)(de)機構。這項調研(yan)的(de)(de)主要(yao)貢獻可以(yi)強(qiang)調如下。

與該領域的其他相關綜述工作相比，該調查提供了物聯網、XAI及其集成的相關背景細節的廣泛總結，使研究人員能夠挖掘物聯網系統的可信性。

我們介紹了物(wu)聯網中XAI的(de)(de)需(xu)求和最近文獻中提出的(de)(de)一(yi)些關鍵(jian)挑戰(zhan)，并(bing)總(zong)結(jie)了一(yi)些最近的(de)(de)研究工作。

此(ci)外，我們還探(tan)索了一些物聯(lian)網(wang)應用(yong)(yong)領域，如安全(quan)、醫(yi)療保健、工業(ye)和智慧城市。我們介紹了XAI在此(ci)類應用(yong)(yong)中的需求和作用(yong)(yong)，以(yi)便更好地對物聯(lian)網(wang)服(fu)務進行值得信賴(lai)的探(tan)索，以(yi)及所吸取的教(jiao)訓。

我們還從使用(yong)XAI模型(xing)的(de)角(jiao)度詳細(xi)討論(lun)了(le)可靠物聯網服(fu)務的(de)前沿(yan)發展。

最后，我們概述了未來研究的(de)挑戰，以(yi)考慮物聯網的(de)XAI方向。

本(ben)綜述(shu)的(de)組(zu)織如(ru)下:第二部(bu)(bu)分闡(chan)述(shu)了(le)XAI和(he)物聯(lian)網(wang)的(de)初(chu)步(bu)概況。第三(san)節(jie)討論了(le)物聯(lian)網(wang)中XAI系統的(de)發展(zhan)以(yi)及(ji)相關(guan)領域(yu)的(de)應用類別。本(ben)節(jie)還闡(chan)述(shu)了(le)每個(ge)應用程序的(de)未來研究范圍和(he)相關(guan)的(de)開放端(duan)挑戰。第四部(bu)(bu)分總(zong)結了(le)本(ben)文(wen)在建立基于xai的(de)物聯(lian)網(wang)架構的(de)最佳(jia)措施方(fang)面的(de)主(zhu)要發現(xian)和(he)成果。第五部(bu)(bu)分指出(chu)了(le)XAI在物聯(lian)網(wang)上的(de)未來發展(zhan)方(fang)向。第六部(bu)(bu)分是全文(wen)的(de)總(zong)結。

圖1顯示(shi)了傳統AI和(he)基(ji)于(yu)XAI的(de)(de)(de)(de)系(xi)統所(suo)涉(she)及的(de)(de)(de)(de)操作的(de)(de)(de)(de)一般(ban)順序。在傳統的(de)(de)(de)(de)人(ren)工智能(neng)系(xi)統中，最終用戶(hu)無法解釋(shi)學(xue)習過程，它看起來像一個(ge)不透明(ming)的(de)(de)(de)(de)黑盒子(zi)。與傳統AI不同的(de)(de)(de)(de)是，XAI模型使用革命性的(de)(de)(de)(de)ML過程和(he)可(ke)解釋(shi)的(de)(de)(de)(de)模型，在學(xue)習過程和(he)根據訓練數據做出(chu)的(de)(de)(de)(de)決(jue)策中為最終用戶(hu)提供(gong)可(ke)持續的(de)(de)(de)(de)透明(ming)度。

圖(tu)3顯(xian)示(shi)了(le)XAI模(mo)型(xing)的(de)(de)精度(du)前景，這取(qu)決于(yu)用于(yu)實現的(de)(de)算法。在流行的(de)(de)XAI模(mo)型(xing)中，深度(du)學(xue)習[54]模(mo)型(xing)以較少的(de)(de)可解(jie)釋特征(zheng)確保了(le)更好的(de)(de)精度(du)。然(ran)而，與深度(du)學(xue)習模(mo)型(xing)相(xiang)比，基于(yu)決策樹[55]、隨(sui)機森林(lin)[56]和(he)集(ji)成(cheng)模(mo)型(xing)[57]的(de)(de)XAI模(mo)型(xing)提供了(le)更好的(de)(de)解(jie)釋性，但性能精度(du)顯(xian)著降(jiang)低。同樣明顯(xian)的(de)(de)是(shi)，在模(mo)型(xing)的(de)(de)復雜(za)性、解(jie)釋系統的(de)(de)功能和(he)性能方面存在著權衡。

圖4顯(xian)示(shi)了一個(ge)示(shi)例IoMT框架，該(gai)框架使(shi)用XAI模型(xing)來傳(chuan)遞值得信(xin)任(ren)的(de)醫(yi)療(liao)(liao)保健服(fu)務。準(zhun)確地說，連(lian)接的(de)物聯(lian)網醫(yi)療(liao)(liao)設備能夠使(shi)用無線個(ge)人區(qu)域網絡(PAN)進行通信(xin)。XAI框架根據IoMT設備積累(lei)的(de)數據做出的(de)決策為(wei)患者(zhe)和醫(yi)療(liao)(liao)保健專業人員(yuan)提(ti)供了更好的(de)幫助。

現在，AI4Science是個熱門的話題。如何把機器學習方法用在科學領域是個比較實際的問題. 科學機器學習(SciML)的領域。SciML的中心目標是將現有的科學理解與ML更緊密地結合起來，生成強大的ML算法，這些算法由我們的先驗知識提供信息。非常值得關注！

機器學習(ML)已經使我們實踐科學的方式發生了根本性的轉變，許多人現在把從數據中學習作為他們研究的重點。隨著我們想要研究的科學問題的復雜性的增加，以及當今科學實驗產生的數據量的增加，ML正在幫助自動化、加速和增強傳統的工作流程。站在這場革命前沿的是一個被稱為科學機器學習(SciML)的領域。SciML的中心目標是將現有的科學理解與ML更緊密地結合起來，生成強大的ML算法，這些算法由我們的先驗知識提供信息。

目前存在大量將科學原理納入ML的方法，人們對SciML解決科學中一些最大挑戰的期望越來越高。然(ran)而，該領(ling)域正(zheng)在(zai)(zai)蓬勃發展(zhan)(zhan)，許多問(wen)(wen)(wen)(wen)題(ti)(ti)仍在(zai)(zai)出現(xian)。一個(ge)(ge)主(zhu)要的(de)(de)問(wen)(wen)(wen)(wen)題(ti)(ti)是SciML方(fang)法是否可(ke)(ke)(ke)以擴(kuo)(kuo)展(zhan)(zhan)到更復(fu)(fu)雜(za)的(de)(de)現(xian)實問(wen)(wen)(wen)(wen)題(ti)(ti)。許多SciML研究(jiu)正(zheng)處于概念驗證階段(duan)，在(zai)(zai)這個(ge)(ge)階段(duan)，技術(shu)(shu)將在(zai)(zai)簡(jian)化(hua)的(de)(de)、簡(jian)單的(de)(de)問(wen)(wen)(wen)(wen)題(ti)(ti)上(shang)進(jin)行(xing)驗證。然(ran)而，了(le)解(jie)它(ta)們(men)在(zai)(zai)更復(fu)(fu)雜(za)的(de)(de)問(wen)(wen)(wen)(wen)題(ti)(ti)上(shang)的(de)(de)可(ke)(ke)(ke)擴(kuo)(kuo)展(zhan)(zhan)性(xing)對于它(ta)們(men)的(de)(de)廣泛(fan)應用至關重要。這個(ge)(ge)問(wen)(wen)(wen)(wen)題(ti)(ti)是本(ben)文的(de)(de)中心問(wen)(wen)(wen)(wen)題(ti)(ti)。首先(xian)，針對月球科學和地(di)球物(wu)理領(ling)域的(de)(de)三個(ge)(ge)復(fu)(fu)雜(za)的(de)(de)、真(zhen)實的(de)(de)、特定領(ling)域的(de)(de)案例研究(jiu)設計了(le)多種不同的(de)(de)物(wu)理知(zhi)識機器(qi)學習方(fang)法，并評(ping)估了(le)它(ta)們(men)的(de)(de)性(xing)能和可(ke)(ke)(ke)擴(kuo)(kuo)展(zhan)(zhan)性(xing)。其次，評(ping)估和改進(jin)了(le)物(wu)理信息神經網絡(一種流行(xing)的(de)(de)通用SciML方(fang)法)求解(jie)具有大區域和高頻解(jie)的(de)(de)微(wei)分方(fang)程的(de)(de)可(ke)(ke)(ke)擴(kuo)(kuo)展(zhan)(zhan)性(xing)。討論了(le)這些研究(jiu)的(de)(de)共(gong)同觀察結果，并確定了(le)顯(xian)著的(de)(de)優勢(shi)和潛在(zai)(zai)的(de)(de)限制(zhi)，突出了(le)設計可(ke)(ke)(ke)擴(kuo)(kuo)展(zhan)(zhan)的(de)(de)SciML技術(shu)(shu)的(de)(de)重要性(xing)。

//ora.ox.ac.uk/objects/uuid:b790477c-771f-4926-99c6-d2f9d248cb23

導論

機器學(xue)(xue)習(xi)(xi)(xi)(ML)在(zai)(zai)科學(xue)(xue)領域引(yin)起了(le)一場革命(ming)。傳(chuan)統(tong)上，科學(xue)(xue)研(yan)究圍(wei)繞(rao)著理論(lun)和實驗:一個人提出一個手工制(zhi)作的(de)(de)(de)(de)(de)(de)和定義良好的(de)(de)(de)(de)(de)(de)理論(lun)，然(ran)后使(shi)用實驗數(shu)據(ju)不(bu)斷完善它，并(bing)分析它以(yi)做出新的(de)(de)(de)(de)(de)(de)預(yu)測。但今天，許多人都(dou)把從數(shu)據(ju)中學(xue)(xue)習(xi)(xi)(xi)作為他們研(yan)究的(de)(de)(de)(de)(de)(de)重點。在(zai)(zai)這里，世界的(de)(de)(de)(de)(de)(de)模(mo)型(xing)是(shi)通(tong)過(guo)ML算法(fa)從數(shu)據(ju)中學(xue)(xue)習(xi)(xi)(xi)的(de)(de)(de)(de)(de)(de)，現(xian)有(you)的(de)(de)(de)(de)(de)(de)理論(lun)是(shi)不(bu)需要(yao)的(de)(de)(de)(de)(de)(de)。這種轉變的(de)(de)(de)(de)(de)(de)發(fa)生(sheng)有(you)多種原(yuan)因。首先，ML領域在(zai)(zai)過(guo)去十(shi)年中經歷(li)了(le)指數(shu)級(ji)增(zeng)長，這一激增(zeng)背后的(de)(de)(de)(de)(de)(de)主要(yao)驅動(dong)因素(su)通(tong)常被歸因于深(shen)(shen)度學(xue)(xue)習(xi)(xi)(xi)的(de)(de)(de)(de)(de)(de)突破[Goodfellow et al.，2016]。一些(xie)重要(yao)的(de)(de)(de)(de)(de)(de)發(fa)現(xian)，如使(shi)用更深(shen)(shen)層(ceng)次的(de)(de)(de)(de)(de)(de)網絡設計和更好的(de)(de)(de)(de)(de)(de)訓練算法(fa)，以(yi)及更強大的(de)(de)(de)(de)(de)(de)計算架構的(de)(de)(de)(de)(de)(de)可用性，已(yi)經導(dao)致(zhi)深(shen)(shen)度學(xue)(xue)習(xi)(xi)(xi)技術在(zai)(zai)廣泛問題上的(de)(de)(de)(de)(de)(de)性能迅速提高(gao)[Dally et al.，2021年]。現(xian)代ML算法(fa)現(xian)在(zai)(zai)能夠學(xue)(xue)習(xi)(xi)(xi)和解決難以(yi)置信的(de)(de)(de)(de)(de)(de)復雜(za)任務，從自動(dong)駕駛汽(qi)車[Schwarting et al.，2018年]到擊敗世界級(ji)圍(wei)棋選手[Silver et al.，2018年]。

伴隨著這些進步，今天的科學實驗產生了越來越多的數據，研究越來越復雜的現象[Baker et al.， 2019, Hey et al.， 2020]。人類和我們的傳統工作流程對所有這些數據進行分析和理論化正在迅速變得不可能，不久之后，科學實驗很可能會受到他們從已有數據中提取見解的能力的限制，而不是他們可以收集什么數據[Baker et al.， 2019]。鑒于ML可以提供強大的工具，許多研究人員正在轉向ML來幫助自動化、加速和增強傳統的工作流程。在過去十年中，新的ML算法和數據可用性的結合導致了一些重大的科學進步。例如，ML已經被用于比以往任何時候都更準確地預測蛋白質結構[Jumper et al.， 2021]，從神經活動合成語音[anummanchipalli et al.， 2019]，以及改進量子多體系統的模擬[Carleo和Troyer, 2017]。事實上，現代的ML算法現在已經被應用到科學的幾乎每一個方面，這個時代的一個決定性研究問題已經變成:“解決問題X，并將ML應用到它上面”，隨之而來(lai)的是有(you)趣且常常令(ling)人興奮(fen)的結果。

然而，盡管有這些進步，但ML，特別是深度學習算法的各種缺點在ML領域已經具體化。例如，盡管它們能夠學習高度復雜的現象，但深度神經網絡通常被視為“黑箱”，人們缺乏對它們如何表示和推理世界的理解。這種不可解釋性是一個關鍵問題，特別是對于需要對網絡預測進行論證的安全關鍵應用[Gilpin et al.，2019,Castelvecchi, 2016]。此外，關于如何設計適合特定任務的深度學習算法，幾乎沒有理論指導。深度神經網絡架構的選擇主要是根據經驗進行的，盡管元學習和神經架構搜索領域開始提供更多自動化的方法[Elsken et al.，2019年，Hospedales et al.，2021年]。最后，盡管深度神經網絡表達能力很強，但它們受到訓練數據的限制，在訓練分布之外通常表現不佳。學習在新任務中表現良好的世界可泛化模型是更通用人工智能(AI)系統的一個關鍵特征，也是ML領域的一個關鍵突出挑戰[Bengio et al.，2021]。

當在科學問題中使用ML時，研究人員開始遇到這些限制[Ourmazd, 2020, Forde和Paganini, 2019]。鑒于深度神經網絡的泛化能力較差，一個關鍵問題是它們是否真正“學習”了科學原理。一個好的科學理論被期望能在實驗數據之外做出新穎而準確的預測，然而深度神經網絡在訓練數據之外很難做出準確的預測。即使一個網絡可以做出可靠的預測，考慮到它們的不可解釋性，從它們中提取任何有意義的科學見解可能是具有挑戰性的。另一個主要問題是，許多當前的機器學習工作流完全用學習的模型取代了傳統的科學模型。雖然這可能很有用，但這些純數據驅動的方法“拋棄”了我們大量的先驗科學知識。重要的一點是，對于許多問題，有一個現有的理論可以建立，而不是從頭開始。**在一個傳統上基于明確的理論和實驗之間緊密相互作用的領域，一些人認為上述限制使當前的ML方法不可接受。這些擔憂促使形成了一個快速發展的新領域，稱為科學機器學習(SciML) **[Baker et al., 2019, Karniadakis et al., 2021, Willard et al., 2020, Cuomo et al., 2022, Arridge et al., 2019, Karpatne et al., 2017a]。SciML的目標是將現有的科學知識和ML融合在一起，生成更細微的ML算法，這些算法由我們的先驗知識提供信息，如圖1.1所示。這一領域的關鍵論點是，通過(guo)這樣做(zuo)，我們將(jiang)最終獲(huo)得更強大(da)的科學(xue)研究方法。傳統(tong)方法和ML方法各有優缺點，兩者的結合可(ke)能(neng)比(bi)其中一種(zhong)更有效。例(li)(li)如，在進行數據同化時(例(li)(li)如在氣候模型(xing)中)，可(ke)以使用傳統(tong)物理模型(xing)提供先驗知識，而ML可(ke)用于解(jie)釋數據依(yi)賴性(xing)和其他未知物理。

圖1.1:科(ke)學(xue)機(ji)器學(xue)習(SciML)概述(shu)。SciML旨(zhi)在將ML與科(ke)學(xue)知識緊密結合(he)，以便(bian)為(wei)科(ke)學(xue)研究生成更強大、魯棒和可解(jie)釋的ML方(fang)法。

人們對這一領域的期望正在迅速增長，目前正在提出和研究大量的方法和許多創新策略，以將科學知識融入ML。這些方法的范圍從預期的科學任務(例如模擬、反演和控制方程發現)，到不同的方法來合并科學原理(例如通過深度神經網絡的架構、其損失函數和混合模型的使用)，以及科學原理被強加的程度(例如通過硬約束或軟約束)。我們將在第2章中詳細回顧這些方法。許多方法使用來自物理學的思想來通知其在SciML的子領域稱為物理信息機器學習(PIML)的ML算法[Karniadakis等人，2021]。

到目前為(wei)止，SciML 取(qu)得了一些(xie)初步的(de)(de)(de)成功。它幫助我(wo)們進行了強大的(de)(de)(de)模(mo)(mo)擬[Raissi al.，2019]，發現(xian)了復雜(za)物理(li)系統(tong)的(de)(de)(de)控制(zhi)方程[Kutz和Brunton, 2022]，在反(fan)演問(wen)題(ti)中精確地(di)反(fan)演基礎參數[Arridge等(deng)人(ren)(ren)，2019]，并在廣泛的(de)(de)(de)領(ling)域中無縫地(di)將傳統(tong)工作流與學(xue)習(xi)過(guo)的(de)(de)(de)組件[Rackauckas等(deng)人(ren)(ren)，2020,Thuerey等(deng)人(ren)(ren)，2021]。盡管(guan)有早期的(de)(de)(de)希望，但SciML領(ling)域仍處于起(qi)步階段(duan)，出現(xian)了許多重要(yao)的(de)(de)(de)問(wen)題(ti)，例(li)如(ru);我(wo)們應(ying)該如(ru)何(he)實施科(ke)學(xue)原則?我(wo)們應(ying)該如(ru)何(he)平(ping)衡數據驅動模(mo)(mo)型(xing)的(de)(de)(de)可(ke)解(jie)釋性的(de)(de)(de)缺(que)乏和現(xian)有理(li)論的(de)(de)(de)清晰性?是(shi)否(fou)存在可(ke)以跨(kua)科(ke)學(xue)學(xue)科(ke)應(ying)用(yong)的(de)(de)(de)總括的(de)(de)(de)SciML技(ji)術?SciML能否(fou)為(wei)ML領(ling)域提供新(xin)的(de)(de)(de)視角和思路?對(dui)于復雜(za)的(de)(de)(de)現(xian)實世界問(wen)題(ti)，SciML技(ji)術的(de)(de)(de)擴展(zhan)性有多好?本文主要(yao)研究最后(hou)一個(ge)問(wen)題(ti)，具(ju)體討論如(ru)下。

在本文中，我們主要采用兩種方法來研究上述子問題。首先，針(zhen)對(dui)前3個(ge)子(zi)(zi)問(wen)(wen)題(ti)(ti)，使(shi)用復雜的(de)(de)(de)、真實的(de)(de)(de)、特定領域的(de)(de)(de)案例研(yan)究(jiu)來考(kao)察多種(zhong)不同(tong)的(de)(de)(de)PIML方法的(de)(de)(de)性(xing)能和(he)可(ke)擴展性(xing)。對(dui)于(yu)每(mei)個(ge)子(zi)(zi)問(wen)(wen)題(ti)(ti)，我(wo)(wo)們提(ti)出了(le)一(yi)個(ge)案例研(yan)究(jiu)，提(ti)出了(le)一(yi)種(zhong)PIML技術(shu)(或(huo)各(ge)種(zhong)PIML技術(shu))來解決它，并評(ping)估(gu)該技術(shu)如何擴展到這種(zhong)設置。其(qi)次，針(zhen)對(dui)最(zui)后一(yi)個(ge)子(zi)(zi)問(wen)(wen)題(ti)(ti)，我(wo)(wo)們專(zhuan)注于(yu)單一(yi)的(de)(de)(de)通用PIML技術(shu)，并評(ping)估(gu)和(he)改(gai)進(jin)(jin)(jin)其(qi)可(ke)擴展性(xing)。前三個(ge)子(zi)(zi)問(wen)(wen)題(ti)(ti)分別在(zai)本論文的(de)(de)(de)單獨一(yi)章(zhang)(分別為第3 ~ 5章(zhang))中(zhong)進(jin)(jin)(jin)行(xing)研(yan)究(jiu)，其(qi)案例研(yan)究(jiu)均(jun)來自月(yue)球科學和(he)地(di)球物理學領域。最(zui)后一(yi)個(ge)子(zi)(zi)問(wen)(wen)題(ti)(ti)將在(zai)第6章(zhang)進(jin)(jin)(jin)行(xing)研(yan)究(jiu)。最(zui)后，我(wo)(wo)們在(zai)第七(qi)章(zhang)中(zhong)討論和(he)總結了(le)每(mei)一(yi)章(zhang)對(dui)我(wo)(wo)們主(zhu)要研(yan)究(jiu)問(wen)(wen)題(ti)(ti)的(de)(de)(de)影響(xiang)。

SciML方法譜系。這張圖顯(xian)示了本章中(zhong)介紹的(de)不同類型(xing)(xing)的(de)SciML方(fang)(fang)法(fa)(fa)對(dui)科學知識的(de)“強(qiang)(qiang)”程(cheng)度。注意，科學約(yue)束(shu)的(de)強(qiang)(qiang)度是一(yi)個(ge)相當模(mo)(mo)糊的(de)概念;在(zai)這個(ge)圖中(zhong)，我們將(jiang)其(qi)定義為SciML方(fang)(fang)法(fa)(fa)與傳(chuan)統(tong)工(gong)(gong)作流(liu)的(de)接近程(cheng)度。中(zhong)間的(de)方(fang)(fang)法(fa)(fa)同樣(yang)將(jiang)ML與傳(chuan)統(tong)工(gong)(gong)作流(liu)的(de)某些方(fang)(fang)面結合(he)起來，例如在(zai)循(xun)環方(fang)(fang)法(fa)(fa)中(zhong)，將(jiang)傳(chuan)統(tong)迭代求解器與ML模(mo)(mo)型(xing)(xing)交織在(zai)一(yi)起。此外(wai)，我們的(de)作業有(you)些主觀，所(suo)以(yi)這個(ge)數(shu)字只是為了表(biao)達總體趨(qu)勢。

隨(sui)著人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)技(ji)(ji)(ji)術(shu)的(de)(de)(de)(de)突(tu)破性進(jin)展(zhan)(zhan)(zhan), 人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)與(yu)可(ke)(ke)(ke)視(shi)(shi)化的(de)(de)(de)(de)交叉(cha)研究成(cheng)為當前的(de)(de)(de)(de)研究熱(re)點之(zhi)一(yi)(yi), 為人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)和(he)大數(shu)據(ju)分(fen)(fen)(fen)析(xi)(xi)領域的(de)(de)(de)(de)若干核心(xin)難題提(ti)供了(le)啟發(fa)式(shi)的(de)(de)(de)(de)理(li)論(lun)、方法和(he)技(ji)(ji)(ji)術(shu). 一(yi)(yi)方面, 人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)技(ji)(ji)(ji)術(shu)的(de)(de)(de)(de)創新(xin)應用提(ti)升了(le)可(ke)(ke)(ke)視(shi)(shi)化的(de)(de)(de)(de)分(fen)(fen)(fen)析(xi)(xi)效率, 拓展(zhan)(zhan)(zhan)了(le)分(fen)(fen)(fen)析(xi)(xi)功(gong)能(neng)(neng), 為大數(shu)據(ju)可(ke)(ke)(ke)視(shi)(shi)分(fen)(fen)(fen)析(xi)(xi)提(ti)供了(le)強有力的(de)(de)(de)(de)工(gong)具(ju). 另一(yi)(yi)方面, 可(ke)(ke)(ke)視(shi)(shi)化技(ji)(ji)(ji)術(shu)增(zeng)強了(le)以深度學習(xi)(xi)為代(dai)表的(de)(de)(de)(de)人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)的(de)(de)(de)(de)可(ke)(ke)(ke)解(jie)釋(shi)性和(he)交互性, 為可(ke)(ke)(ke)解(jie)釋(shi)人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)提(ti)供了(le)可(ke)(ke)(ke)靠的(de)(de)(de)(de)技(ji)(ji)(ji)術(shu)基礎(chu). 本文(wen)從面向人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)的(de)(de)(de)(de)可(ke)(ke)(ke)視(shi)(shi)化技(ji)(ji)(ji)術(shu)和(he)人(ren)工(gong)智(zhi)(zhi)(zhi)能(neng)(neng)驅動(dong)的(de)(de)(de)(de)可(ke)(ke)(ke)視(shi)(shi)化技(ji)(ji)(ji)術(shu)兩個方向, 分(fen)(fen)(fen)別介紹了(le)數(shu)據(ju)質量改善、可(ke)(ke)(ke)解(jie)釋(shi)機器(qi)學習(xi)(xi)、智(zhi)(zhi)(zhi)能(neng)(neng)特征提(ti)取、可(ke)(ke)(ke)視(shi)(shi)化自動(dong)布局與(yu)生(sheng)成(cheng)、智(zhi)(zhi)(zhi)能(neng)(neng)交互、智(zhi)(zhi)(zhi)能(neng)(neng)故(gu)事敘述等6個重要問題. 對(dui)(dui)國內外的(de)(de)(de)(de)研究進(jin)展(zhan)(zhan)(zhan)進(jin)行(xing)(xing)了(le)分(fen)(fen)(fen)析(xi)(xi), 并對(dui)(dui)發(fa)展(zhan)(zhan)(zhan)趨勢進(jin)行(xing)(xing)了(le)展(zhan)(zhan)(zhan)望.

//www.sciengine.com/publisher/scp/journal/SSI/51/11/10.1360/SSI-2021-0062?slug=fulltext

題目： Embracing Imperfect Datasets:A Review of Deep Learning Solutions for Medical Image Segmentation

摘要： 醫(yi)學(xue)(xue)(xue)影(ying)像(xiang)文(wen)(wen)獻在基于卷積(ji)神(shen)經(jing)(jing)網絡的(de)(de)高(gao)性(xing)能(neng)(neng)分割模(mo)型(xing)方面取(qu)得了(le)顯(xian)著(zhu)進(jin)展(zhan)。盡管新的(de)(de)性(xing)能(neng)(neng)很高(gao)，最近的(de)(de)高(gao)級分割模(mo)型(xing)仍然需要(yao)海(hai)量的(de)(de)、典型(xing)的(de)(de)，高(gao)質量的(de)(de)帶有(you)標(biao)(biao)(biao)簽(qian)(qian)(qian)的(de)(de)數(shu)(shu)據(ju)集(ji)。然而，我們(men)很少有(you)一(yi)個完美的(de)(de)訓(xun)(xun)(xun)練(lian)(lian)(lian)數(shu)(shu)據(ju)集(ji)，特(te)別(bie)是(shi)在醫(yi)學(xue)(xue)(xue)圖像(xiang)領(ling)域，因為獲取(qu)數(shu)(shu)據(ju)和(he)打標(biao)(biao)(biao)簽(qian)(qian)(qian)都是(shi)昂貴的(de)(de)。近年來，大量的(de)(de)研究對不完全數(shu)(shu)據(ju)集(ji)的(de)(de)醫(yi)學(xue)(xue)(xue)圖像(xiang)分割問題進(jin)行了(le)研究，解(jie)(jie)決(jue)(jue)了(le)兩大數(shu)(shu)據(ju)集(ji)的(de)(de)局限(xian)性(xing):一(yi)是(shi)訓(xun)(xun)(xun)練(lian)(lian)(lian)有(you)標(biao)(biao)(biao)簽(qian)(qian)(qian)的(de)(de)數(shu)(shu)據(ju)太少，只(zhi)有(you)有(you)限(xian)的(de)(de)標(biao)(biao)(biao)簽(qian)(qian)(qian)數(shu)(shu)據(ju)可(ke)用;二(er)是(shi)訓(xun)(xun)(xun)練(lian)(lian)(lian)數(shu)(shu)據(ju)只(zhi)有(you)稀(xi)疏(shu)標(biao)(biao)(biao)簽(qian)(qian)(qian)、噪(zao)聲標(biao)(biao)(biao)簽(qian)(qian)(qian)或圖像(xiang)級標(biao)(biao)(biao)簽(qian)(qian)(qian)的(de)(de)軟標(biao)(biao)(biao)簽(qian)(qian)(qian)。在本文(wen)(wen)中，我們(men)對上述(shu)解(jie)(jie)決(jue)(jue)方案進(jin)行了(le)詳細的(de)(de)回顧，總結了(le)技術(shu)創新和(he)經(jing)(jing)驗結果(guo)。我們(men)進(jin)一(yi)步比較涉及(ji)的(de)(de)方法的(de)(de)好處和(he)要(yao)求，并提供我們(men)推(tui)薦的(de)(de)解(jie)(jie)決(jue)(jue)方案。我們(men)希望這篇綜述(shu)文(wen)(wen)章能(neng)(neng)提高(gao)公眾對處理不完善的(de)(de)醫(yi)學(xue)(xue)(xue)圖像(xiang)分割數(shu)(shu)據(ju)集(ji)的(de)(de)技術(shu)的(de)(de)認識。

簡介：

近年(nian)來，由于機(ji)(ji)器(qi)(qi)學(xue)(xue)(xue)習(xi)(xi)（ML）/深度學(xue)(xue)(xue)習(xi)(xi)（DL）技術(shu)使用多維(wei)醫(yi)(yi)學(xue)(xue)(xue)圖像，在(zai)從一維(wei)心(xin)(xin)臟信(xin)號(hao)的(de)(de)(de)心(xin)(xin)臟驟(zou)停的(de)(de)(de)預測到計算機(ji)(ji)輔助診斷(duan)（CADx）的(de)(de)(de)各(ge)種(zhong)醫(yi)(yi)療(liao)保健應用中的(de)(de)(de)卓越性(xing)能，見證了機(ji)(ji)器(qi)(qi)學(xue)(xue)(xue)習(xi)(xi)（ML）/深度學(xue)(xue)(xue)習(xi)(xi)（DL）技術(shu)的(de)(de)(de)廣泛(fan)采用。盡管(guan)ML / DL的(de)(de)(de)性(xing)能令(ling)人印象深刻，但對于ML / DL在(zai)醫(yi)(yi)療(liao)機(ji)(ji)構中的(de)(de)(de)健壯性(xing)仍然存有(you)疑慮(lv)（由于涉及(ji)眾多安全性(xing)和(he)隱(yin)私問題，傳(chuan)統上認為ML / DL的(de)(de)(de)挑(tiao)戰性(xing)很大），尤其是鑒于最(zui)近的(de)(de)(de)研(yan)究(jiu)結果表明ML / DL容易受(shou)到對抗性(xing)攻擊。在(zai)本文中，我們(men)概述了醫(yi)(yi)療(liao)保健中各(ge)個應用領域，這(zhe)些(xie)領域從安全性(xing)和(he)隱(yin)私性(xing)的(de)(de)(de)角度利用了這(zhe)些(xie)技術(shu)，并提(ti)出了相關的(de)(de)(de)挑(tiao)戰。此外，我們(men)提(ti)出了潛在(zai)的(de)(de)(de)方(fang)法(fa)來確保醫(yi)(yi)療(liao)保健應用程序的(de)(de)(de)安全和(he)隱(yin)私保護機(ji)(ji)器(qi)(qi)學(xue)(xue)(xue)習(xi)(xi)。最(zui)后，我們(men)提(ti)供了有(you)關當前研(yan)究(jiu)挑(tiao)戰的(de)(de)(de)見解以及(ji)未來研(yan)究(jiu)的(de)(de)(de)有(you)希望(wang)的(de)(de)(de)方(fang)向。

內容大綱：