亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

理解大模型中的“幻覺”，這篇論文及時解讀。

雖然大型語言模型（LLMs）在各種下游任務中展示出了卓越的能力，但一個重要的關注點是它們表現出幻覺的傾向：LLMs偶爾會生成與用戶輸入不符、與先前生成的上下文相矛盾或與已建立的世界知識不一致的內容。這種現象對LLMs在現實世界場景中的可靠性構成了重大挑戰。在本文中，我們對最近關于檢測、解釋和減輕幻覺的努力進行了調研，重點關注LLMs所帶來的獨特挑戰。我們提出了LLM幻覺現象和評估基準的分類，分析了現有的旨在減輕LLM幻覺的方法，并討論了未來研究的潛在方向。

//www.zhuanzhi.ai/paper/61ebe9c5007cf1373b900452ad52f0ae

1. 引言

大型語言模型（LLMs），特別以其龐大的參數數量為特點，已經成為自然語言處理（NLP）和人工智能發展的有前途的基石。通過適當的對齊技術，如監督微調（SFT；Zhang等，2023b）和強化學習來自人類反饋（RLHF；Ouyang等，2022；Fernandes等，2023），最近的LLMs（OpenAI，2023a；Touvron等，2023b；OpenAI，2023b等等）展現出了在解決各種下游任務中的強大能力。

然而，正如圖1所示，LLMs盡管取得了顯著的成功，但偶爾會產生看似合理但與用戶輸入（Adlakha等，2023）、先前生成的上下文（Liu等，2022）或事實知識（Min等，2023；Muhlgay等，2023；Li等，2023a）偏離的輸出，這種現象通常被稱為幻覺，嚴重損害了LLMs在現實世界場景中的可靠性。例如，LLMs有可能制造出錯誤的醫學診斷或導致實際生活風險的治療計劃（Umapathi等，2023）。 雖然在傳統的自然語言生成（NLG）環境中的幻覺問題已經得到廣泛研究（Ji等，2023），但在LLMs領域理解和解決幻覺問題面臨著獨特的挑戰，這些挑戰包括： 1. 巨大的訓練數據：與為特定任務精心策劃數據不同，LLM的預訓練使用來自網絡的數萬億令牌，難以消除虛構、過時或有偏見的信息； 2. LLM的多功能性：通用型LLM應該在跨任務、跨語言和跨領域設置中表現出色，這對于全面評估和減輕幻覺問題構成了挑戰。 3. 錯誤的難以察覺性：作為其強大能力的副產品，LLMs可能生成最初看似高度合理的虛假信息，這使得模型甚至人類難以檢測幻覺。 此外，RLHF過程（Ouyang等，2022），模糊的知識邊界（Ren等，2023）以及LLMs的黑盒屬性（Sun等，2022）也增加了在LLMs中檢測、解釋和減輕幻覺的復雜性。針對上述挑戰，最近涌現出了大量前沿研究，這極大地激發了我們編寫這份綜述的動力。我們按照以下方式組織本文，如圖2所示。首先，我們介紹LLMs的背景，并提供我們對LLMs中幻覺的定義（§2）。接下來，我們介紹相關的基準和度量標準（§3）。隨后，我們討論LLMs幻覺的潛在來源（§4），并深入審查最近解決這個問題的工作（§5）。最后，我們提供展望未來的觀點（§6）。我們將持續更新相關的開源材料，可以在 上訪問。

2 LLM時代的幻覺

在這一部分，我們首先回顧LLMs的歷史（§2.1）。接下來，我們通過將其分為三個子類別來提出我們對LLM幻覺的定義（§2.2）。此外，我們討論LLMs中幻覺的獨特挑戰（§2.3），并將幻覺與LLMs領域經常遇到的其他普遍問題進行比較（§2.4）。 雖然LLMs已經展示出了卓越的性能，但它們在實際應用中仍然不可避免地遇到不同的問題，其中幻覺是其中最重要的問題之一。在LLM出現之前，幻覺這個術語已經在NLP社區廣泛采用，通常指的是生成與提供的源內容毫無意義或不忠實的內容（Ji等，2023）。 我們認為，由于LLMs的多功能性，這個定義似乎已經大大擴展。為此，我們將LLMs的背景下的幻覺分類如下：- 輸入沖突幻覺，即LLMs生成與用戶提供的源輸入不符的內容；- 上下文沖突幻覺，即LLMs生成與其自身先前生成的信息沖突的內容；- 事實沖突幻覺，即LLMs生成不忠實于已建立的世界知識的內容。我們在表1中為每種類型的幻覺提供了示例，并在下面詳細討論它們。

3 評估LLM幻覺

先前的研究主要集中在評估特定的自然語言生成任務中的幻覺，如機器翻譯、對話生成、問答和文本摘要。這些工作主要關注輸入沖突幻覺，由于給定源文本，相對容易讓人類用戶識別，如表1所示。最近，在傳統的NLG任務中研究這種類型的幻覺取得了顯著的進展。然而，在LLMs設置中評估它們變得更加具有挑戰性，因為LLM生成通常是自由形式和常常是長篇的。 至于上下文沖突幻覺，Cui等人（2021）和Liu等人（2022）評估了模型在BERT（Devlin等人，2019）進行空白填充時引入的上下文沖突的識別能力。今天，大多數基準評估LLMs的事實沖突幻覺，即它們生成事實錯誤的傾向（Lin等，2021；Lee等，2022；Min等，2023；Yu等，2023a；Li等，2023a；Muhlgay等，2023）。這被認為是LLMs中的一個關鍵問題，因為用戶很難識別，并帶來了現實生活中的風險。在接下來的章節中，我們將分別回顧現有的基準數據集和常用的評估指標。

LLM 幻覺來源

在本節中，我們旨在探討可以在LLMs內部引發幻覺的各種因素。我們確定了跨足LLMs生命周期不同階段的四個主要來源。

1. LLMs缺乏相關知識或內化了錯誤的知識。在預訓練階段，LLMs從大量的訓練數據中積累了大量知識，這些知識存儲在它們的模型參數中。當要求回答問題或完成任務時，如果LLMs缺乏相關知識或已經內化了來自訓練語料庫的錯誤知識，它們通常會表現出幻覺。例如，一些研究發現，LLMs有時會誤解偶然的相關性，比如位置接近或高度共現的關聯，將其視為事實知識。此外，人類生成的語料庫中也存在幻覺（如過時、有偏見或虛構的表達），LLMs容易復制或甚至放大這種幻覺行為。

2. LLMs有時會高估自己的能力。一些研究旨在了解語言模型是否能夠評估其響應的準確性并識別其知識邊界。但對于非常大的LLMs，正確和錯誤答案的分布熵可能相似，這表明LLMs在生成不正確的答案時與生成正確答案一樣自信。這種過度自信可能導致LLMs以不必要的確定性制造答案。

3. 問題對齊過程可能誤導LLMs進入幻覺。LLMs通常在預訓練后經歷對齊過程，在這個過程中，它們接受了進一步的培訓，以使其響應與人類偏好一致。然而，當LLMs在對齊過程中接受針對它們在預訓練階段尚未獲得的知識的指示時，實際上是一種不對齊過程，鼓勵LLMs產生幻覺。此外，有時LLMs可能生成有利于用戶觀點而不是提供正確或真實答案的響應，這也可能導致幻覺。

4. LLMs采用的生成策略存在潛在風險。今天最先進的LLMs以順序方式生成響應，一次輸出一個令牌。有研究發現，LLMs有時會過分堅持早期的錯誤，即使它們意識到這是不正確的。換句話說，LLMs可能更喜歡為了自身一致性而堆積幻覺，而不是從錯誤中恢復。這被稱為幻覺堆積現象。此外，一些研究強調，基于采樣的生成策略，如top-p和top-k，引入的隨機性也可能是幻覺的潛在來源。

減輕LLM幻覺

在這一部分，我們對近期關于減輕LLM幻覺的研究進行了廣泛的回顧。為了使結構清晰，我們根據這些減輕工作在LLM生命周期內的應用時間對其進行分類。

在預訓練期間減輕幻覺主要集中在預訓練語料庫的策劃上。鑒于現有預訓練語料庫的龐大規模，當前的研究主要采用簡單的啟發式規則來進行數據選擇和過濾。一個潛在的探索方向可能是制定更有效的選擇或過濾策略。

在SFT（自監督微調）階段，構建訓練數據是減輕幻覺的一種方法。由于SFT數據的數量是可接受的，它們可以由人類專家進行手動策劃。最近，我們進行了初步的人工檢查，觀察到一些廣泛使用的合成SFT數據，如Alpaca（Taori等，2023年），由于缺乏人工檢查，包含了相當數量的幻覺答案。這在研究人員試圖基于自我指導（Wang等，2023c年）構建SFT數據集時需要特別注意。先前的工作還指出，SFT過程可能會無意中引入幻覺，因為它迫使LLMs回答超越其知識界限的問題。一些研究人員提出了以誠實為導向的SFT作為解決方案。然而，我們認為這種方法存在兩個主要問題。首先，它在面對分布之外（OOD）案例時展現出有限的泛化能力。其次，誠實樣本的注釋只反映了注釋者的不勝任和不確定性，而不反映LLMs的真實知識界限，因為注釋者不知道LLMs的真實知識界限。這些挑戰使得在SFT階段解決這個問題不夠理想。

強化學習可以引導LLMs探索其知識邊界，使其能夠拒絕回答超出其能力范圍的問題，而不是編造不真實的回答。然而，我們注意到這種方法也存在獨特的挑戰。例如，由于有益與誠實之間的權衡失衡，經過RL調整的LLMs可能表現出過于保守的特點（Ouyang等，2022年）。表9中的例子說明了這一點。正如在這種情況下所觀察到的，ChatGPT傾向于過于謹慎，不提供已經知道的明確答案，正如在另一個對話轉折中所證實的那樣。這可能歸因于獎勵函數的不合理設計或獎勵模型的培訓數據質量不佳。我們希望未來的研究可以考慮解決這些問題。

在推理期間，設計解碼策略以減輕LLMs中的幻覺通常是以插拔方式進行的。因此，這種方法易于部署，對于實際應用非常有前景。然而，對于這種方法，大多數現有研究需要訪問標記級輸出概率，而當前LLMs的相當數量只能通過有限的API（例如ChatGPT）返回生成的內容。因此，我們鼓勵未來研究在這個方向上探索更嚴格的黑盒設置內進行研究。

利用外部知識來減輕LLMs中的幻覺具有幾個優點。首先，這種方法避免了修改LLMs的需要，使其成為一種即插即用且高效的解決方案。其次，它便于將專有知識（例如公司的內部數據）和實時更新的信息傳遞給LLMs。最后，這種方法通過允許將生成結果追溯到來源證據來增強了LLMs生成的信息的可解釋性（Gao等，2023b年；Yue等，2023年）。然而，這個方向也存在一些仍未解決的挑戰。

利用不確定性來識別和減輕LLMs中的幻覺是當今一個有前景的研究方向。目前有三種主要方法用于估計LLMs的不確定性，每種方法都提出了其獨特的挑戰。首先，基于logit的方法在現代商業LLMs中越來越不適用，因為它們通常是封閉源和黑盒，導致其輸出logit無法訪問。其次，關于基于口頭表達的方法，研究人員觀察到LLMs在表達他們的自信時往往表現出過高的自信度（Xiong等，2023年）。第三，不同回應一致性的有效測量仍然是一項未解決的問題（Manakul等，2023年）。我們認為利用不確定性在開發值得信賴的LLMs方面至關重要，并鼓勵未來的研究解決上述領域的挑戰。

結論

由于在開放領域擁有強大的理解和生成能力，LLMs已經引起了學術界和工業界的廣泛關注。然而，幻覺仍然是阻礙LLMs實際應用的一個關鍵挑戰。在本調查中，我們全面回顧了最近的一些進展，主要是在ChatGPT發布后，旨在評估、追蹤和消除LLMs中的幻覺。我們還深入探討了現有的挑戰，并討論了潛在的未來方向。我們希望這份調查可以成為一個有價值的資源，供對LLM幻覺之謎感興趣的研究人員使用，從而促進LLMs的實際應用。

時態特性在大量知識中都有明顯的表現，這強調了時態知識圖譜（TKGs）在學術和工業中的關鍵作用。然而，由于三個主要原因，TKGs經常受到不完整性的困擾：新知識的持續出現、從非結構化數據中提取結構化信息的算法弱點，以及源數據集中的信息缺失。因此，時態知識圖譜補全（TKGC）的任務受到了越來越多的關注，其目的是基于現有信息預測缺失的項目。

在這篇論文中，我們提供了TKGC方法及其細節的綜合評論。具體來說，這篇文章主要包括三個部分，分別是：1) 背景，涵蓋TKGC方法的初步知識、訓練所需的損失函數、以及數據集和評估協議；2)** 插值**，通過相關的可用信息估計和預測缺失的元素或元素集。它進一步基于如何處理時態信息對相關TKGC方法進行分類；3) 外推，通常關注連續的TKGs并預測未來事件，然后根據它們使用的算法對所有外推方法進行分類。我們進一步指出了TKGC的挑戰，并討論了TKGC的未來研究方向。

知識圖譜（KGs）是結構化的多關系知識庫，通常包含一組事實。知識圖譜中的每一個事實都以三元組 (s, r, o) 的形式存儲，其中 s 和 o 分別表示頭實體和尾實體，而 r 表示連接頭實體和尾實體的關系。例如，給定一個三元組（Barack Hussein Obama，President of，USA），“Barack Hussein Obama” 和 “USA” 分別是頭實體 s 和尾實體 o，而 “President of” 表示關系 r。目前，大規模的知識圖譜在人工智能和數據挖掘應用中得到了廣泛的應用，包括交通流量預測[1]、信息檢索[2]和對話系統[3]。 通常，KGs中的事實是特定于時間的，并且僅在特定時期內有效，這使得知識受到時間的限制。例如，三元組（Barack Hussein Obama，President of，USA）僅在[2009, 2017]期間有效。因此，包含時間標簽的KGs形成時態知識圖譜（TKG），近年來受到了很大的關注。TKG的基本單位是四元組（s, r, o, t），它在三元組旁邊引入了時間信息。例如，四元組可以表示為（Barack Hussein Obama，President of，USA，[2009, 2017]）。

隨著事件不斷發展，TKGs可以定期更新以捕捉現實世界中的動態變化。TKGs（例如 ICEWS [4] 和 GDELT [5]）可能包含數百萬甚至數十億的四元組。然而，盡管它們很龐大，這些TKGs由于三個主要原因仍然是不完整的。首先，源數據集經常缺乏全面的信息。其次，用于提取實體和關系的算法在處理不同形式的非結構化數據時面臨挑戰，使它們效果不佳。最后，由于自然中正在進行的事件，知識持續地發展。知識圖譜的不完整性嚴重妨礙了知識驅動系統的有效性，從而強調了時態知識圖譜補全（TKGC）作為一個關鍵任務的重要性。 TK****GC任務旨在根據可用信息預測缺失的項目，例如，可以從現有的四元組 (Barack Hussein Obama, President of, USA, [2009, 2017]) 和 (Donald Trump, President of, USA, [2017, 2021]) 中推斷出 (Donald Trump, succeeded, Barack Hussein Obama, 2017)。具體來說，根據是否預測未來的事實，我們將現有的TKGC文獻分類為插值方法和外推方法。更具體地說，插值方法通常通過相關的已知事實來估計未知的知識，而外推方法則旨在估計未來的未知知識。

圖1舉例說明了這兩種不同的情境。每種TKGC方法都面臨需要解決的特定重要挑戰。對于插值方法，出現兩個重要的挑戰：如何有效地將時間信息融入KGs的演化過程，以及如何處理時間戳以充分利用其語義信息。盡管一些TKGC方法旨在探索時間信息的語義，但它們通常獨立地對待時間信息，未能捕獲與事實相關的隱藏的語義信息。此外，現有的TKGC方法簡單地將時間信息與事實相關聯，這很難反映在演化過程中。另一方面，外推方法面臨的挑戰是如何有效地減少異常歷史信息對TKG嵌入的影響。這些方法探索歷史快照中的結構和時間信息，以進一步幫助預測未來事件。然而，異常歷史信息的存在嚴重妨礙了對未來事件的準確預測。 為了應對這些挑戰，最近出現了越來越多的研究。例如，Ma等人[6]采用了詞袋和Bi-LSTM算法來充分探索時間信息的潛在語義。Goel等人[7]提出了一個稱為DE-SimplE的方法，該方法采用歷時嵌入函數將時間信息融入事實中。這種方法有效地捕獲了KGs的演化過程，從而實現了更為準確的預測。然而，重要的是要認識到仍然存在尚未解決的問題，這些問題需要引起關注并應予以優先考慮。為了促進該領域的進一步進展，提供現有TKGC方法的全面總結和比較顯得尤為重要。在本文中，我們提供了TKGC方法的概述，并進行了細致的分類。我們還總結了常用于評估TKGC方法的基準數據集，并介紹了評估協議。此外，我們分析了該領域的挑戰，并討論了這一迅速嶄露頭角的話題的未來方向。通過進行這一全面分析，我們旨在為TKGC研究的進步做出貢獻，并為研究人員和實踐者提供洞見。

我們的主要貢獻總結如下：

• 全面調查。我們系統地總結了所有TKGC文獻，特別關注最近的研究。此外，我們詳細描述了每一種TKGC方法，進行了必要的比較，并總結了使用的技術和代碼。

• 分類和新的分類法。我們為TKGC提供了全面的總結和細致的分類。在高層次上，我們將當前的TKGC文獻分類為兩類，根據它們是否預測未來事件：插值方法和外推方法。對于插值方法，我們根據處理時間信息的方式將它們進行劃分。對于外推方法，我們根據它們使用的算法進行分類。

• 未來方向。我們指出了這個快速增長領域的未來研究方向，并為TKGC提供了指導方針和建議。

本文的其余部分按以下方式組織。第2部分簡要回顧了TKGC的背景。第3部分詳細描述了TKGC的概述和分類。在第4部分，我們介紹了插值方法，并詳細分類了插值方法。同樣，第5部分介紹了外推方法。隨后，我們在第6部分討論了TKG在推薦和問答系統中的應用。第7部分討論了挑戰和未來的研究方向。最后，我們在第8部分總結了本文。

基于插值的TKGCs

插值[25]，[26]是一種統計方法，使用相關已知值來估算未知值或值集。通過識別數據集內的一致趨勢，就有可能合理地估算那些尚未明確計算的值。基于插值的TKGC方法通常通過分析TKGs中的已知知識來完成缺失的項目。我們根據它們處理時間信息的方式將其分類如下：1) 依賴時間戳的TKGC方法不對時間戳進行操作。2) 特定于時間戳功能的TKGC方法應用特定于時間戳的函數來獲得時間戳的嵌入或實體和關系的演變。3) 基于深度學習的TKGC方法使用深度學習算法對時間信息進行編碼，并研究實體和關系的動態演變。

基于外推的TKGCs

外推[27]，[28]主要關注預測當前可訪問數據之外的“未來”未知值。基于外推的TKGC方法專注于連續的TKGs，通過學習歷史快照中的實體和關系嵌入來預測未來的事件。我們根據它們使用的算法將它們分類如下：1) 基于規則的TKGC方法應用邏輯規則來推理未來的事件。2) 基于圖神經網絡的TKGC方法通常使用GNN和RNN來探索TKG中的結構和時間信息。3) 基于元學習的TKGC方法設計元學習者來指導模型的學習過程。4) 基于強化學習的TKGC方法引入強化學習策略，確保模型更好地達到其訓練目標。在接下來的部分（第4部分和第5部分），我們將詳細介紹這些TKGC分類。

結論

時間知識圖譜補全(TKGC)是一個新興且活躍的研究方向，已經吸引了學術界和工業界越來越多的關注。在本文中，我們對這一領域的最新研究進行了全面的概述。首先，我們詳細介紹了插值方法，并根據它們處理時間信息的方式進一步對其進行了分類。然后，我們進一步描述和分類了外推方法，基于它們如何預測未來的事件。最后，我們討論了這一領域的挑戰和未來的方向。

自監督學習（SSL）從大量未標記的訓練數據中學習高質量的表示。隨著數據集的不斷擴大，確定哪些樣本對學習這些表示最有貢獻變得至關重要。這使得SSL能夠通過減少學習高質量表示所需的數據量來提高效率。然而，如何量化樣本對SSL的價值一直是一個未解決的問題。在這項工作中，我們首次對此進行了討論，我們證明了對比自監督學習最有貢獻的樣本在期望值上是那些與其他樣本的增強最相似的樣本。我們為這些子集的SSL的泛化性能提供了嚴格的保證。從經驗上看，我們發現，也許令人驚訝的是，對SSL貢獻最大的那些子集是對監督學習貢獻最少的那些子集。通過大量實驗，我們證明了我們的子集在CIFAR100、CIFAR10和STL10上的性能超過隨機子集超過3%。有趣的是，我們還發現我們可以安全地從CIFAR100中排除20%的樣本，從STL10中排除40%，而不影響下游任務的性能。

//sjoshi804.github.io/data-efficient-contrastive-learning/

1. 引言

大數據集驅動現代的機器學習模型。然而，一個關鍵問題是：什么樣的數據點對學習是必要的，是否更多的數據總能帶來更好的性能？回答這個問題至關重要，因為它可以減少在大數據集上訓練的大量成本，提高訓練模型的性能，并指導數據收集。這激發了一系列最近的研究，尋找監督學習最基本的子集（Toneva等，2019；Paul等，2021；Mirzasoleiman等，2020；Mindermann等，2022；Sorscher等，2022；Swayamdipta等，2020）。然而，隨著數據集的不斷擴大，獲取高質量的標簽變得過于昂貴。因此，人們對大規模無標簽數據集的自監督（SSL）預訓練產生了濃厚的興趣（Chen等，2020；Grill等，2020；Chen和He，2021；Zbontar等，2021）。然而，找到對SSL最重要的數據點仍然是一個未解決的問題。找出對SSL貢獻最大的樣例確實非常具有挑戰性。當標簽可用時，可以根據每個樣例的損失（或預測的置信度）或梯度范數來量化學習的價值。實際上，難以學習的樣例，即在訓練過程中損失大或梯度范數大的例子，是對最小化訓練損失貢獻最大的樣例。然而，在沒有標簽的情況下，SSL方法基于樣例與其他數據點的相似性來聚類樣例。因此，每個樣例的SSL損失和梯度與數據集中的其他樣例緊密相連。因此，刪除一個樣例會影響所有其他樣例的損失和梯度。這使得數據選擇對SSL來說比監督學習更具挑戰性。在這項工作中，我們首次解決了上述挑戰，找到了可以證明對SSL貢獻最大的樣例。特別的，我們關注的是對比自監督學習，它通過最大化同一樣例的增強視圖之間的對齊度，并最小化不同樣例的增強視圖之間的相似度來學習表示（Chen等，2020；Zbontar等，2021；Oord等，2018）。我們證明，對SSL貢獻最大的樣例是那些其增強視圖與其潛在類別中其他樣例的增強視圖之間的預期相似度最高的樣例。實際上，這樣的樣例將一個類中的不同組樣例拉到一起，并使對比損失能最大程度地把不同類別中的樣例的表示推開。我們證明這樣的樣例（1）確保了每個類別中樣例的增強視圖之間的高度對齊度，（2）保留了SSL在完整數據上學習的類別表示的中心。我們利用上述屬性為在子集上學習的SSL表示上訓練的線性分類器的性能提供泛化保證。

我們注意到，可能令人驚訝的是，對對比自監督學習（SSL）貢獻最大的樣例對監督學習的貢獻最小。特別地，我們使用預測的置信度以及遺忘分數（Toneva等，2019）即一個樣例在訓練過程中被正確分類后被誤分類的次數，來量化監督學習的樣例的難度。我們發現對SSL貢獻最大的樣例是對監督學習來說容易的樣例，這些樣例具有高置信度和低遺忘分數。這樣的樣例可以安全地從監督學習流程中排除（Toneva等，2019），而不會影響準確度。相反，對監督學習貢獻最大的難以學習的樣例會嚴重影響SSL的性能。我們廣泛評估了我們提出的方法在CIFAR10，CIFAR100（Krizhevsky等，2009）和STL（Coates等，2011a）中學習樣例表示的性能，使用的是ResNet50。我們證明了我們的子集在CIFAR100和STL上的性能超過隨機子集超過3%。有趣的是，我們發現在CIFAR100的樣例中，最多20%的樣例，以及在STL中，最多40%的樣例可以安全地排除，而不會影響下游性能。我們證明了對SSL貢獻最大的子集可以在訓練早期或通過一個小的代理模型有效地提取出來。我們也證實了我們的方法適用于其他的對比學習方法，例如BYOL（Grill等，2020），并進一步觀察到，對于BYOL，丟棄STL10中20%的樣例甚至可以提高下游性能2%。

2. 問題與方法

對比式自監督學習通過學習一個編碼器f，最大化同一樣例不同增強視圖（即正對）的表示之間的一致性，并最小化不同樣例的增強視圖（即負對）的表示之間的一致性，從而學習訓練數據中樣例的表示。我們的目標是找到一個最多包含r個訓練樣例的子集S ? V，使得通過在子集上最小化對比損失得到的編碼器

，使得神經網絡分類器在完整數據上獲得相似的錯誤。形式上，我們旨在解決以下問題：

我們首先研究子集S ?必須滿足哪些屬性，以使得在子集上學習到的表示能夠提供較小的下游分類錯誤。為此，我們依賴最近對對比學習優化和泛化的理論結果。特別是，Huang等人（2021）最近的結果顯示，通過對比學習獲得的表示的泛化性能依賴于：（1）正對的對齊，（2）類中心的離散度，以及（3）增強數據的集中度。對齊反映了樣例的增強視圖的表示之間的相似性，期望中的這種相似性。良好的對齊需要一個樣例的所有增強視圖具有相似的表示。類中心的離散度反映了類中心μl和μk有多遠。良好的離散度會導致所有類中心對之間的距離足夠大。

3. 實驗結果

在本節中，我們首先評估對比學習訓練的模型在由CL-Core和隨機子集找到的常見圖像分類基準數據集（即CIFAR10、CIFAR100和STL10）上的下游泛化性能。然后，我們對近似潛在類別和用于估計預期數據增強距離的代理模型的效果進行了廣泛的消融研究。最后，我們研究了在子集中用于監督學習的樣本的難度。

3.1. 下游泛化性能

SimCLR 圖3顯示，使用CL-Core找到的不同大小的子集在CIFAR100和STL10上比隨機子集的訓練性能提高了超過3%，在CIFAR10上提高了最多2%。BYOL 圖4(a)顯示，使用CL-Core從STL10找到的不同大小的子集進行訓練，在性能上超過隨機子集超過3%。有趣的是，80%大小的子集在全數據上的性能超過了BYOL 2%。這證實了CL-Core可以有效地找到對對比學習做出最大貢獻的樣例，并排除可能有害的樣例。

3.2 探究由CL-Core找到的子集

圖5(a)使用t-SNE可視化了在CIFAR100中從“bed”類別中由CL-Core選擇和未選擇的樣例。與選擇和未選擇樣例之間的預期數據增強距離較小的樣例之間有連接線。我們可以看到，被選擇的樣例與該類別中的許多其他樣例之間的預期數據增強距離很小。圖5(b)展示了從“bicycle”類別中選擇和未選擇的一些樣例。我們可以看到，被選擇的樣例代表了整個類別，而未被選擇的用哪個例則呈現了不常見的姿勢或視角。易樣本是最重要的接下來，我們使用遺忘分數（Toneva等人，2019），即在監督學習期間被正確分類后被錯誤分類的次數，來量化一個樣例的難度。圖4(e)顯示了那些在監督學習中可以安全丟棄的最不易遺忘的樣例（Toneva等人，2019）能夠顯著優于隨機基線，并且在較小的子集上實現可比較的性能。附錄A的圖6顯示了由CL-Core找到的子集具有較低的遺忘分數和較高的置信度，平均而言，它們對于監督學習來說是易樣本。實際上，對于SSL來說最重要的子集對于監督學習來說卻是最不重要的。困難樣例損害對比學習最后，圖4(f)確認了由CL-Core排名最低的樣例，即由具有與其潛在類別的其他樣例之間較大預期數據增強距離的樣例組成的子集，會嚴重阻礙對比學習。這些樣例很難學習，并且對于監督學習非常有益（Toneva等人，2019）。

當前的生成式人工智能浪潮是人工智能的一個子集，它基于文本提示生成新穎的內容。ChatGPT可以寫一篇文章，Midjourney可以創作漂亮的插圖，或者MusicLM可以創作一首廣告歌。大多數現代生成式AI都是由基礎模型驅動的，或使用大規模自監督在廣泛數據上訓練的AI模型，然后適應廣泛的下游任務。這些模式為我們的生活、我們的社區和我們的社會帶來了巨大的機遇，也帶來了巨大的風險。一方面，它們可以無縫地補充人類的勞動，使我們更有生產力和創造力，另一方面，它們可能會放大我們已經經歷的偏見或破壞我們對信息的信任。我們相信，跨學科合作對于確保這些技術惠及我們所有人至關重要。以下是斯坦福大學醫學、科學、工程、人文和社會科學領域的領導人對生成式人工智能如何影響他們的領域和我們的世界的觀點。一些人研究技術對社會的影響，另一些人研究如何最好地應用這些技術來推進他們的領域，還有一些人開發了基礎模型下的算法的技術原理。

隨著大型語言模型(LLMs)能力的不斷提高，語境學習( in-context learning，ICL)已經成為自然語言處理(NLP)的一種新范式，其中LLMs僅根據由少量訓練樣本增強的上下文進行預測。探索ICL來評估和推斷LLM的能力已經成為一個新的趨勢。文中對ICL的研究進展、面臨的挑戰以及未來的研究方向進行了綜述和總結。

本文首先給出了ICL的形式化定義，并闡明了其與相關研究的相關性。然后，我們組織討論了ICL的先進技術，包括訓練策略、激勵策略等;最后，指出了ICL面臨的挑戰，并指出了進一步研究的方向。希望我們的工作能夠促進更多關于揭示ICL工作原理和改進ICL的研究。1. 引言隨著模型規模和語料庫規模的擴大(Devlin et al., 2019; Radford et al., 2019; Brown et al., 2020; Chowdhery et al., 2022)，大型語言模型展示了從由上下文中的幾個示例組成的演示中學習的新能力(簡稱語境學習)。許多研究表明，LLMs可以使用ICL執行一系列復雜的任務，如解決數學推理問題(Wei et al.， 2022c)。這些強大的能力已經被廣泛驗證為大型語言模型的新興能力(Wei等人，2022b)。

語境學習的核心思想是類比學習。圖1給出了一個示例，描述了語言模型如何使用ICL進行決策。首先，ICL需要一些示例來形成演示上下文。這些示例通常使用自然語言模板編寫。然后，ICL將一個查詢問題和一個演示上下文連接在一起形成一個提示，然后將其輸入到語言模型中進行預測。與監督學習需要一個使用后向梯度更新模型參數的訓練階段不同，ICL不需要參數更新，而是直接對預訓練語言模型進行預測。該模型被期望學習隱藏在演示中的模式，并相應地做出正確的預測。ICL作為一種新的范式，具有許多吸引人的優勢。首先，由于演示是用自然語言格式編寫的，它提供了一個可解釋的接口來與大型語言模型通信(Brown et al.， 2020)。這種范式通過更改演示和模板使將人類知識納入語言模型變得容易得多(Liu等人，2022;陸等人，2022;吳等人，2022;Wei等，2022c)。第二，上下文學習類似于人類的類比決策過程。第三，與有監督學習相比，ICL是一種無訓練學習框架。這不僅可以大大降低使模型適應新任務的計算成本，還可以使語言模型即服務(Sun等人，2022)成為可能，并且可以很容易地應用于大規模的現實世界任務。盡管前景看好，但ICL中還有一些有趣的問題和有趣的性質需要進一步研究。雖然普通的GPT-3模型本身顯示出有希望的ICL能力，但一些研究觀察到，通過預訓練期間的自適應，能力可以顯著提高(Min et al., 2022b; Chen et al., 2022c)。此外，ICL的性能對特定的設置很敏感，包括提示模板、上下文示例的選擇和示例順序等(Zhao et al.， 2021)。此外，盡管從直觀上看是合理的，但ICL的工作機制仍然不明確，很少有研究提供初步解釋(Dai et al., 2022; von Oswald et al., 2022)。我們提供了一份詳細的論文綜述，并將不斷更新論文列表，對ICL的相關研究進行深入討論。本文強調了面臨的挑戰和潛在的方向，希望所做的工作可以為對該領域感興趣的初學者提供有用的路線圖，并為未來的研究提供啟發。2. 概述ICL的強大性能依賴于兩個階段:(1)訓練階段，訓練LLM的ICL能力，(2)推理階段，LLM根據特定任務的演示進行預測。在訓練階段，語言模型直接在語言建模目標上進行訓練，如從左到右的生成。雖然這些模型并沒有針對上下文學習進行特別優化，但ICL仍然具有令人驚訝的能力。現有的ICL研究基本上以訓練有素的語言模型為骨干，因此本綜述不會涵蓋預訓練語言模型的細節。在推理階段，由于輸入和輸出標簽都在可解釋的自然語言模板中表示，因此有多個方向來提高ICL的性能。本文將給出詳細的描述和比較，如選擇合適的示例進行演示，針對不同的任務設計具體的評分方法等。本文按照上述分類法(如圖2所示)組織ICL目前的進展，給出了ICL的正式定義(§3)，詳細討論了熱身方法(§4)、演示設計策略(§5)和主要評分功能(§6)。§7對揭開ICL背后秘密的當前探索進行了深入討論。進一步為ICL(§8)提供了有用的評估和資源，并介紹了ICL顯示其有效性的潛在應用場景(§9)。最后，總結了挑戰和潛在的方向(§10)，希望這可以為該領域的研究人員鋪平道路。

ICL的主要流程如圖3所示。預訓練對于發展LLM的ICL能力具有重要意義，而可選的預熱階段可以進一步提高其能力。對于演示來說，最重要的步驟是演示設計。通過預訓練的LLM和精心設計的演示，適當的評分策略最終產生任務輸出。

通過使用像BERT這樣的預訓練語言模型(PLMs)，自然語言處理(NLP)已經發生了革命性的變化。盡管幾乎在每個NLP任務中都創造了新記錄，但PLM仍然面臨許多挑戰，包括可解釋性差、推理能力弱，以及在應用于下游任務時需要大量昂貴的注釋數據。通過將外部知識集成到PLM中，知識增強的預訓練語言模型(KEPLMs)有可能克服上述限制。本文通過一系列研究對KEPLMs進行了系統的考察。具體地，概述了可集成到KEPLMs中的知識的常見類型和不同格式，詳細介紹了現有的構建和評估KEPLMs的方法，介紹了KEPLMs在下游任務中的應用，并討論了未來的研究方向。研究人員將從這項調研中受益，通過獲得該領域最新發展的快速和全面的概述。

//www.zhuanzhi.ai/paper/08b18a51703942d4625d10b8f6cb8e4b

1. 引言

預訓練語言模型(PLMs)首先在大型數據集上進行訓練，然后直接遷移到下游任務，或在另一個小型數據集上進一步微調，以適應特定的NLP任務。早期的PLMs，如Skip-Gram[1]和GloVe[2]，是淺層神經網絡，其詞嵌入(從窗口大小的上下文中學習)是靜態語義向量，這使得它們無法處理動態環境下的一詞多義問題。隨著深度學習的發展，研究人員試圖利用深度神經網絡來通過動態語義嵌入來提高任務的性能。起初，人們仍然局限于監督學習的范式，認為沒有足夠的標記數據，很難釋放深度學習的潛力。然而，隨著自監督學習的出現，BERT[3]等大型語言模型可以通過預測事先被掩蓋的標記，從大規模無標記文本數據中學習大量知識。因此，他們在許多下游NLP任務中取得了突破性進展。此后，許多大型模型開始采用Transformer[4]結構和自監督學習來解決NLP問題，plm逐漸進入快速發展階段。PLMs最近的驚人成功是OpenAI的ChatGPT。隨著研究的進展，人們發現PLMs仍然面臨可解釋性差、魯棒性弱和缺乏推理能力的問題。具體來說，PLMs被廣泛認為是黑盒，其決策過程是不透明的，因此很難解釋。此外，PLMs可能不夠魯棒，因為深度神經模型容易受到對抗性樣本的影響。此外，由于純數據驅動，PLMs的推理能力也受到限制。PLMs的所有這些缺點都可以通過納入外部知識來改善，這就產生了所謂的知識增強的預訓練語言模型(KEPLMs)。圖1用ChatGPT的話說就是KEPLMs的優勢。

盡管目前對KEPLMs 中[5]、[6]、[7]、[8]的研究尚不多見，但隨著許多新技術的出現，該研究領域正在迅速發展和擴展。本綜述旨在從不同的角度為人工智能研究人員提供關于KEPLMs 最新進展的最全面和最新的圖景。 本綜述的其余部分組織如下。第2節解釋了KEPLMs 的背景。第3節對keplm常用的知識類型和格式進行了分類。第4節介紹了構建keplm的不同方法。第5節描述了評估KEPLMs 可能的性能指標。第6節討論了KEPLMs 在下游知識密集型NLP任務中的典型應用。第7節概述了KEPLMs 的未來研究方向。第8節總結了貢獻。

構建 KEPLMS

隱性知識整合

以BERT為代表的PLMs 通常使用維基百科等的非結構化文本文檔作為預訓練的語料庫。非結構化文本數據包含豐富的上下文語義信息，BERT可以通過掩碼語言模型(MLM)從中學習單詞的上下文知識。然而，文本中同樣包含有價值信息的實體和短語被忽略了。通過采用知識引導的超越單個單詞層面的掩碼策略，PLMs 能夠融合實體、短語等知識，如圖3所示。

一些構建KEPLMs的方法通過添加知識相關的預訓練任務隱式地納入知識，如圖6所示。

顯性知識整合

PLMs 顯式地合并外部知識主要有三種方式:修改模型輸入、添加知識融合模塊和利用外部內存。前兩種方法將相關知識插入PLMs中，其形式為模型的額外輸入或模型中的額外組件，如圖7①和②所示。第三種方法使文本空間和知識空間保持獨立，從而便于知識更新

參考文獻

[1] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, “Distributed representations of words and phrases and their compositionality,” in Proc. Int. Conf. Neural Inf. Process. Syst, vol. 26, 2013. [2] J. Pennington, R. Socher, and C. D. Manning, “Glove: Global vectors for word representation,” in Proc. Conf. Empir. Methods Natural Lang. Process., 2014, pp. 1532–1543.

深度神經網絡(DNNs)已廣泛應用于圖像分類、文本生成、音頻識別和圖數據分析等各個領域。然而，最近的研究表明，DNN很容易受到對抗性攻擊。雖然在圖像和自然語言處理等領域已經有了一些關于對抗性攻防策略的研究，但由于圖數據的表示結構，仍然很難將學到的知識直接轉化為圖數據。鑒于圖分析的重要性，在過去幾年里，越來越多的研究試圖分析機器學習模型對圖數據的魯棒性。然而，現有的研究考慮了圖數據上的對抗行為，通常只關注特定類型的攻擊，并帶有特定的假設。此外，每一項工作都提出了自己的數學公式，這使得不同方法之間的比較很困難。因此，本綜述旨在提供100多篇關于圖數據對抗攻防策略的論文的總體概況，并建立一個涵蓋大多數圖對抗學習模型的統一表述。此外，我們還比較了不同的圖攻擊和防御及其貢獻和局限性，并總結了評估指標、數據集和未來趨勢。我們希望本次綜述能夠幫助填補文獻空白，促進這一有前景的新領域的進一步發展。

1. 概述

近年來，深度神經網絡(DNNs)在多個領域取得了顯著的成功，從圖像識別[55]，自然語言處理[37]，圖數據應用[54]，[69]，[117]，[118]，[138]，到醫療保健分析[90]，腦電路建模[78]和基因突變功能[143]。深度學習具有優越的性能，已被應用于自動駕駛[9]、惡意軟件檢測[106]、身份識別[107]和異常檢測[42]等多個安全和安全關鍵任務。然而，DNNs缺乏可解釋性和魯棒性，使其容易受到對抗性攻擊。Szegedy等[111]指出了DNNs在圖像分類中的敏感性。一個訓練良好的DNN的性能可以被對抗性例子顯著降低，這些例子是經過精心設計的輸入，并添加了小幅度的擾動。Goodfellow等人[51]分析了這一現象，提出了一種基于梯度的方法(FGSM)來生成對抗圖像樣本。然后提出了不同的對抗攻擊策略，以演示DNNs在各種設置[8]，[19]，[142]中的漏洞。例如，黑盒對抗攻擊后來基于可移植性[81]，[93]和來自DNN模型[5]，[16]的查詢反饋進行了探索。一些防御和檢測方法也被采用來減輕這種對抗行為[86]，[102]，而各種自適應攻擊繼續被提出，表明一般來說檢測/防御是困難的[3]，[18]。

雖然對抗性攻防的研究越來越多，但目前的研究主要集中在圖像、自然語言和語音領域。盡管圖數據在許多實際應用中很重要，但對圖數據的研究工作仍處于初級階段。例如，在信用預測應用中，對手很容易通過與他人增加友誼連接來偽裝自己，這可能會造成嚴重的后果[33]。與非圖數據相比，圖數據的對抗分析有幾個獨特的挑戰:1)與像素值連續的圖像數據不同，圖結構是離散值的。在離散空間中設計一種有效的生成對抗例的算法是很困難的。2)對抗性擾動被設計成在圖像域中人類無法察覺的，因此可以強制一個特定的距離函數，例如對抗性和良性實例之間的p范數距離要小。然而，在圖數據中，如何定義“不可感知的”或“細微的擾動”需要進一步的分析、測量和研究。

鑒于圖在大數據背景下應用的重要性以及圖神經網絡(GNNs)的成功使用，GNNs的魯棒性吸引了學術界和工業界的極大興趣。近年來，人們對一組GNN模型的對抗性攻擊和防御進行了很多研究。本文的目的是對現有的關于圖數據的對抗學習文獻進行綜合分類，開發一個框架來統一大多數現有的方法，并探索未來的趨勢。所有相關的攻擊和防御研究都列在表3和表4中，主要基于任務、策略、基線、評估指標和數據集。盡管在過去三年中發表了100多篇論文，但到目前為止仍有一些挑戰沒有得到解決，我們在此貢獻總結和介紹如下。

全面的理解。據我們所知，這項調查是第一次嘗試對圖數據的對抗性攻擊和防御的文獻進行深入和全面的理解。[21]，[29]，[64]，[66]，[72]，[151]，[174]的后續研究都引用了它。本文不僅為GNNs背景下的關鍵對抗性攻防技術提供了廣闊的視角和指導，還解釋了與非梯度和非模型方法相關的許多觀察結果，并對未來的發展方向提出了見解。

在線更新的資源。我們創建了一個包含所有相關作品的開源資源庫，并在過去兩年對其進行了更新。該庫包含所有相關論文和相應代碼的鏈接，這使研究人員更容易使用和跟蹤最新進展，并可作為該領域的基準庫。然而，這些論文中的許多是預印本和報告，提供了研究結果的預覽，我們將繼續跟蹤它們，并將任何更新編入相應的知識庫。我們希望這個資源可以促進對這一重要話題的進一步研究，并繼續照亮未來研究和發展的各個方面。

定義統一的問題。雖然針對圖數據的攻擊和防御策略多種多樣，但還沒有統一的方法來描述它們之間的關系和屬性;每個模型似乎都是一種獨特方法的結果。為了便于理解現有模型和高效開發未來技術，有必要建立良好的基礎。在本文中，我們率先建立了一個統一的表述和定義，系統地分析了所有針對圖數據的對抗攻擊模型。與攻擊不同的是，對圖數據的防御通常超越對抗學習，我們根據它們的獨特策略提供額外的類別。

圖數據對抗分析的分類學。到目前為止，已有一百多篇論文研究圖表數據的對抗分析。與圖像數據和文本數據相比，圖數據的分析由于圖結構和任務的不同而更加復雜。列出所有的論文可以幫助讀者快速理解不同研究之間的相似和差異，但不是直觀的。為此，我們基于GNN和Non-GNN方法對已有的研究成果進行了總結，旨在幫助讀者輕松找到最相關的論文。我們在表1中展示了我們的分類法的更多細節。

數據和指標。由于以往攻防工作的目標和使用的數據不同，不同研究的結果很難進行比較。目前，還沒有人能直接回答“在這個領域，哪種攻擊或哪種防御是最好的基準測試?”緩解這一問題的唯一方法是像其他領域一樣建立一個基準[35]，[120]。為此，我們不僅根據不同的標準為以前的方法開發分類法，而且還總結了經常使用的相應數據集和指標。我們希望這項研究可以為社會各界在這一領域的未來研究和模型的實際選擇奠定一個基準。

本綜述的其余部分組織如下:第2節提供了圖數據和常見應用的必要背景信息。第3節給出了統一的問題表述，并討論了現有的針對圖數據的對抗攻擊工作。第四節討論了現有的圖形數據防御工作。第5節總結了不同研究中使用的評估和攻擊指標。第6節描述了每個數據集的詳細信息，并總結了跨數據集的現有工作。最后一節是本文的總結。

2. 圖數據的對抗性攻擊

在本節中，我們給出了圖數據對抗性攻擊的一般定義和分類，然后介紹了不可感知度量、攻擊類型、攻擊任務和攻擊知識級別。

3. 圖數據的對抗性防御

近年來，針對對抗攻擊的密集研究也引發了對抗防御的研究。在這里，我們調研了這方面的現有工作，并將它們分為兩個流行的類別: 對抗性訓練和攻擊檢測。在它們之后，我們使用額外的“其他方法”小節來總結其余不屬于這兩個一般類別的方法。

通過一系列聯邦舉措和命令，美國政府一直在努力確保美國在人工智能領域的領導地位。這些廣泛的戰略文件對美國空軍等組織產生了影響。DAF-MIT AI加速器是DAF和MIT之間的一項倡議，旨在彌合AI研究人員與DAF任務需求之間的差距。由DAF-MIT AI加速器支持的幾個項目正在開發公共挑戰問題，解決眾多聯邦AI研究優先事項。這些挑戰通過使大型的、可用于人工智能的數據集公開，激勵開源解決方案，并創造雙重用途技術的需求信號，從而刺激進一步的研究。在這篇文章中，我們描述了這些正在發展的公共挑戰，以及它們的應用如何有助于科學進步。

2019年，美國聯邦政府通過第13859號行政命令概述了一項廣泛的戰略，以確保在人工智能領域的領導地位。[1]概述了這一戰略的核心，即實現美國人工智能領導地位所需的大量研究投資。這些研究推力的例子顯示在圖1的左邊(來自[1])。聯邦政府組織，如國防部和空軍部門，開發了自己的AI戰略，以實現13859號行政命令的廣泛目標。空軍部門的一項倡議是在麻省理工學院主辦的人工智能加速器(DAF-MIT AI加速器)的開發。加速器由來自麻省理工學院和空軍部門的多學科團隊組成，以開發能夠在空軍和太空部隊以及整個社會推進AI的基礎技術。為了推動相對較新的領域的創新，并充分參與更廣泛的AI社區，加速器正在開發一系列“挑戰”問題。這些“挑戰”包括開放數據集、基準、問題定義、指標、基線實現，并解決諸如天氣預測、數據中心優化和人機界面等科學問題。并行開發多個挑戰也支持了協同活動。例如，我們能夠開發可復制的管道來發布開源數據集，提供統一的計算平臺，并利用為一個挑戰創建的數據來應對其他挑戰。

在本文中，我們描述了通過DAF-MIT AI Accelerator開發的一些挑戰，重點是當前發布的數據集和代碼庫。此外，開發超過10個挑戰問題帶來了我們所描述的一些重要教訓。除了本文中描述的挑戰之外，該團隊還在開發其他即將發布的挑戰。例如，Autonomous Flight Arcade[2]是一套人類和人工智能都可以玩的環境，旨在訓練人工智能完成受真實航空場景啟發的復雜任務。

1. 風暴事件圖像(SEVIR)數據集

充分監測和預測地球天氣對環境智能和人類安全至關重要，特別是在這個前所未有的氣候變化時期。最近，人工智能通過利用用于[4]預測的大量地球系統數據集，顯示出了提高預測性能的潛力。像GOES這樣的平臺提供的地球同步衛星數據，或者NEXRAD提供的快速更新的雷達信息，對于了解當前的天氣狀況和播種預報至關重要。然而，這些數據集的規模和復雜性往往會成為AI研究的障礙，與計算機視覺和自然語言處理等其他AI子領域不同，社區沒有很多通用基準數據集來驗證和基準化新功能。

創建風暴事件圖像(SEVIR)數據集以解決此問題[5]。SEVIR將多種不同的天氣傳感模式(包括地球同步衛星圖像、閃電探測和雷達)組合成一個人工智能就緒數據集，用于研究氣象學中的幾個問題。SEVIR包含超過10萬個事件，每個事件由384公里x 384公里的圖像序列組成，時間跨度為4小時。SEVIR中的許多事件都是根據國家環境信息中心風暴事件數據庫選擇的。

2. 數據中心面臨的挑戰

隨著AI/ML工作負載在高性能計算(HPC)中心和商業云系統的計算工作負載中所占的份額越來越大，有必要更好地理解集群/數據中心的操作。數據中心挑戰[9]旨在促進人工智能方法的創新，分析大規模數據中心監控日志，以減少能源消耗，改進調度策略，優化資源使用，并識別策略違規。

3. MagNav 挑戰

利用地球磁場進行導航已經顯示出了替代其他導航系統的可行性。商業和政府機構通過收集和存儲磁場數據作為磁異常圖，對地球進行了不同程度的精確測量。這些異常地圖的變化使導航與傳統的慣性導航系統相結合。這種技術不依賴于任何外部通信，在任何時間和任何天氣都是全球可用的[12]，而且也很難被干擾。

4. MultiEarth挑戰

地球與環境多模態學習挑戰賽(MultiEarth 2022)是首個旨在監測和分析亞馬遜雨林在任何時間和任何天氣條件下毀林情況的比賽。該挑戰的目標是為多模態信息處理提供一個共同的基準，并將地球和環境科學界以及多模態表示學習界聚集在一起，在定義明確且嚴格可比的條件下，比較各種多模態學習方法與森林砍伐估計的相對優點。MultiEarth 2022有三個子挑戰:1)矩陣完成，2)森林砍伐估計，3)圖像對圖像的轉換。我們的挑戰網站是//sites.google.com/view/rainforest-challenge。

5. 口語ObjectNet挑戰

近年來，多模態信息處理在圖像字幕和視頻檢索等問題上引起了極大的興趣和研究活動。存在各種各樣的數據集來支持這些領域的研究，這些數據集通常包括一個圖像或視頻剪輯庫，并搭配文本或語音字幕。不幸的是，許多這些數據集包含內在的偏見，這些模型在這些數據集上訓練然后學習，這反過來降低了它們在現實數據上的性能。例如，圖像字幕模型傾向于描述海灘上的人是快樂的，而圖像分類模型無法識別雪地背景外的狼。為了解決這些問題，我們創建了一個名為ObjectNet的大規模人群來源、偏差控制的對象分類數據集，它由全新圖像的語料庫組成，而不是依賴于那些已經以某種形式[19]上傳到互聯網上的圖像。接著，口語ObjectNet (SON)語料庫通過收集ObjectNet圖像的口語描述來擴展ObjectNet語料庫，并為語料庫創建一系列挑戰任務，如下所述。

6. 機動ID的挑戰

空軍繼續面臨飛行員短缺的問題，部分原因是缺乏加快本科飛行員培訓(UPT)過程所需的基礎設施和方法。“飛行員培訓下一步”(Pilot Training Next, PTN)是一個負責飛行員培訓教育的實驗項目，通過引入虛擬現實(VR)飛行模擬器[20]，進入了開展這一課題的新階段。這些模擬器的優化需要在許多方面增加訓練和測試能力，包括機動識別和評分。AI挑戰賽可以用來收集AI社區的解決方案，并將它們整合到PTN課程中。機動識別挑戰是為了從彈道數據中識別機動，以提高飛行安全和飛行員訓練。

7. CogPilot挑戰

與現有的主觀、粗糙的評估方法相比，采用量化的績效測量和生理監測對飛行員的訓練提供了更為個性化和客觀的評估。CogPilot團隊試圖開發AI算法，利用多模態生理信號預測個體的認知狀態和操作性能，從而支持飛行員訓練的個性化優化。

8. 經驗教訓

開發一項挑戰不僅僅是收集和發布數據。例如，圖7描述了AI挑戰所需的其他組件。根據我們的經驗，開發一個引人注目的問題，執行昂貴的數據管理步驟[21,22]，并提供基線實現和明確的成功指標，是吸引公眾參與的非常重要的步驟。

DAF-MIT AI加速器利用挑戰問題來公布數據，讓公眾參與，并推進機器學習科學。根據國家AI研究與發展戰略計劃，DAF-MIT AI加速器的使命是建立和建立一個持續的長期研究生態系統，以推動發現和洞察[1]。雖然重點是基礎研究，但公共挑戰加速了基礎和高級研究向可導致商業化和操作能力的應用研究方向的過渡。DAF-MIT人工智能加速器專注于兩用問題——對公眾很重要、與國防有關的問題——不太可能由投資支持的技術公司提供資金。在新的機器學習能力成熟并被證明有效之前，缺乏商業前景將導致行業[23]無法滿足關鍵需求。將魯棒性和數據增強等研究算法應用于實際問題，填補了這一關鍵空白，并加速了AI向商業化和運營集成的過渡。根據某些衡量標準，“目前使用的82%的算法源自聯邦資助的非營利組織和大學”[23]——這一衡量標準強調了開發公共挑戰問題的必要性。

我們從開發這些AI挑戰中學到了許多寶貴的經驗教訓:

開發平臺: 開發AI挑戰需要大量的計算資源(尤其是數據管理和基線算法開發)。作為一個例子，本文中列出的每一個挑戰都利用MIT SuperCloud[24]進行前期開發。開發平臺通常與部署不同，大多數項目都將其挑戰部署在公共或私有云平臺上。

數據/代碼發布: 大多數組織對開源代碼和/或數據集都有一個耗時的審閱過程。根據我們的經驗，從一開始就包括法律和合同代表對于簡化數據和代碼的初始和更新的持續發布過程至關重要。例如，概述的每個挑戰都與空軍法官倡導()密切互動，以確定任何可能延遲數據/代碼發布的法律問題。在由于數據敏感性而無法公開發布的情況下，例如在機動id挑戰中，我們開發了數據所有者可以為他們的項目定制的模板數據使用協議。

可復制流程: 根據我們的經驗，在開發挑戰過程中需要做出許多小決策。例如，對庫的依賴、支持的容器技術、具有較大上游影響的數據格式。為了提高再現性，精心挑選和選擇文檔是很重要的。

參與用戶社區: 本文中概述的每一個挑戰都有不同的科學社區。重要的是，通過研討會和技術交流，讓這個社區盡早參與到挑戰問題的發展中來。這確保了有趣的問題、相關的度量標準和準確反映領域最先進技術的基線實現。

在過去的幾年里，人工智能(AI)技術已經被應用到人類生活的幾乎所有垂直領域。然而，人工智能模型產生的結果往往滯后于可解釋性。AI模型經常出現在開發人員無法解釋或追溯特定決策背后的原因的黑箱中。可解釋AI (XAI)是一個快速發展的研究領域，它有助于提取信息，并以最佳的透明度將生成的結果可視化。本研究對XAI在網絡安全中的應用進行了廣泛的綜述。網絡安全能夠保護系統、網絡和程序免受不同類型的攻擊。XAI的使用在預測此類攻擊方面具有巨大的潛力。這篇論文簡要概述了網絡安全和各種形式的攻擊。然后，討論了傳統AI技術的使用及其相關挑戰，這打開了XAI在各種應用中的使用的大門。介紹了XAI在各研究項目和行業中的實施情況。最后，從這些應用中吸取的經驗教訓被強調為未來的研究范圍提供指導。

引言

網絡安全是程序、控制和技術的應用，以保護數據、程序、網絡和系統免受潛在的網絡攻擊。與網絡安全相關的各種工具和技術旨在對抗針對組織內部或外部環境中存在的網絡系統和應用程序的威脅。統計數據顯示，數據泄露造成的平均損失在全球范圍內為386萬美元，在美國上升到864萬美元[2]。這些成本不僅包括違約的直接影響，還包括后續調查，以確定違約的原因、相關的應對措施、收入損失、停機時間，以及最重要的聲譽品牌損害[3]。

考慮到這些成本，大多數組織都采用了基于主流最佳實踐的網絡安全策略。有效的網絡安全策略通常包括分層保護，對網絡攻擊提供防御，以保持網絡資產的機密性、完整性和可用性。這類戰略的實施還旨在防止對用戶或知名組織進行財務勒索，妨礙正常的商業運作。因此，在這方面部署明智、有效和高效的應對措施是絕對必要的。例如，美國國家標準與技術研究所(NIST)開發了一個網絡安全框架，幫助各組織保護它們的計算機系統、網絡和用于實現國家安全、公共衛生、安全和各種其他行政活動的各種其他資產。國際標準組織，即ISO27000系列資訊保安標準，旨在滿足類似的需要。盡管存在這樣的方法和標準，攻擊者仍然在安全框架中發現漏洞，這些漏洞可以繞過極其強大的防御措施。在大流行危機期間，當專業規范從辦公室變為在家工作時，網絡安全威脅還觀察到與遠程訪問工具、云服務和其他遠程工作工具相關的漏洞也發生了變化。[4]。這些不斷發展的威脅包括惡意軟件、勒索軟件、網絡釣魚、內部威脅、分布式拒絕服務(DDOS)威脅、高級持續威脅(APTs)、中間人攻擊和各種其他[5]。

網絡安全框架和相關最佳實踐能夠在不損害用戶隱私和客戶體驗的情況下保護機密信息，從而有效減少網絡漏洞。更具體地說，身份和訪問管理(IAM)，例如，框架用戶角色和訪問權限，建立標準，訪問權限可以被監控。IAM技術包括單點登錄功能，其中用戶訪問網絡時無需多次重新輸入證書。IAM還可以提供多因素認證和特權用戶帳戶，只提供對特定合法用戶的訪問，減少欺騙性訪問的可能性。這些工具增強了終端用戶設備中異常活動的可見性。此外，在出現安全漏洞的情況下，這些工具可確保加速調查、響應、隔離和遏制與安全漏洞相關的所有組件。

有各種綜合的數據安全平臺，包括分類、權限分析、行為分析和合規報告等功能。這些平臺的主要目標包括在混合云和多云環境中保護敏感信息。這些平臺提供自動、實時的可見性、入侵警報和對數據漏洞[6]的監控。例如，安全信息和事件管理(Security information and event management, SIEM)是安全信息管理(Security information management, SIM)和安全事件管理(Security event management, SEM)的結合，對應用程序和網絡硬件產生的安全告警進行自動化實時分析。這些產品包括智能和先進的檢測方法，用戶行為分析和人工智能/機器智能(AI/ML)，以檢測軟件產品和服務領域的異常[7]。

網絡安全風險管理有助于理解安全威脅的各種特征，以及個人和組織層面的相關內部互動。最低合理可行(ALARP)是一個類似的風險管理原則，強調網絡風險。這一原則確保通過將風險與解決相同問題所需的時間和資源進行比較來減少剩余風險。其理念是分析降低風險所涉及的成本，并確保其與所獲得的利益不成比例。網絡/信息安全的所有現代風險管理解決方案都著眼于降低風險影響，從而平衡減少或緩解風險影響的相關成本。

值得一提的是，ISO27000這類國際標準家族的范圍，強調了與網絡安全風險相關的信息安全管理系統文檔的創建和管理。該標準由14個組和35個控制類別的114個控制組成，涵蓋了組織網絡安全的所有方面。為了適用該標準，必須評估現有風險，確定適用的控制措施，評估這些控制措施帶來的緩解效果，評估應用這些控制措施的成本，還必須評估所引入的任何次級風險的緩解效果。控件將被應用于： (1)該風險經評估超過該組織的風險承受能力; (2)成本控制的應用被認為是可以接受的; (3)二次風險不排除應用。

人工智能如何幫助網絡安全

機器學習(ML)算法是在以往經驗的基礎上訓練的，以便做出類似人類行為的決定。此外，ML算法還被用于檢測與安全威脅和[8]漏洞相關的異常和威脅。此外，在過去幾年中，基于機器學習的自動化安全工具已經得到了發展，它們可以自動響應威脅，執行諸如聚類、分類和回歸[9]等任務。聚類是一種將數據根據其特征的相似性進行分組的過程。聚類中的數據對象彼此相似，但又不同于其他聚類中的數據對象。因此，聚類分析可以對沒有預定義類的數據進行無監督分類。另一方面，分類有助于預測給定數據點的類別。分類器使用訓練數據來理解輸入變量是否屬于一個特定的類別，使用無監督學習技術。回歸分析是一種統計技術，它建立因變量和獨立預測變量之間的關系與許多獨立變量之一。

AI和ML也被用于主動的漏洞管理。基于AI/機器學習的用戶和事件行為分析(UEBA)工具分析服務端點和服務器上的用戶交互，以檢測異常行為。這有助于在[10]漏洞報告或修補之前為組織提供提前保護。

反病毒檢測是人工智能技術發揮重要作用的一個領域。最主要的方法是啟發式技術、數據挖掘、代理技術和人工神經網絡[11]。例如，Cylance智能防病毒產品是為了滿足類似的目標，為家庭從合法數據中檢測惡意軟件提供企業級的基于人工智能的安全。該產品完全在執行點消除了威脅，而不需要任何人工干預[12]。有許多傳統的身份驗證系統使用用戶名或電子郵件和密碼作為一種身份驗證方法。人工智能的使用有助于檢測易受攻擊的密碼，并用于基于生物識別的認證系統，提供更強的保護層，黑客難以入侵。生物識別系統主要用于企業和政府組織的安全和訪問控制。生物識別系統可分為物理識別系統和行為識別系統。物理生物識別系統使用人體的物理、可測量和獨特的信息，如DNA、靜脈、指紋、虹膜等，并將這些信息轉換為人工智能系統可以理解的代碼。相反，行為識別系統捕捉獨特的行為特征，如聲音、個人打字節奏、與物體的交互方式，然后將這些編碼信息存儲在數據庫中。在身份驗證和驗證過程[13]期間對該信息進行數字戳記。

AI在網絡安全方面的局限性使XAI成為必要

人工智能在網絡安全領域的應用帶來了許多挑戰。特別是，人工智能應用引入了大量的反指示和次級風險，它們成為惡意行為者發起攻擊的載體。例如，攻擊者可能會成功地避開基于ML的檢測。更具體地說，攻擊者可能會操縱惡意軟件文件，使基于人工智能的檢測框架無法識別任何惡意或異常活動，這就是通常所說的規避攻擊。類似地，基于人工智能的網絡安全應用也存在各種威脅，如圖1所示，涉及通信攔截、服務失敗、事故、災難、法律問題、攻擊、停電和物理損害。

基于人工智能的系統的成功取決于數據的可用性。基于人工智能的系統引發了兩類次級風險。第一種類型包括產生假陰性結果導致不準確決策的風險。第二種包括產生假陽性結果的風險，其中存在不準確的通知或假警報的可能性。[14]。在這種情況下，迫切需要確保采取必要的緩解措施，確保更準確地處理違約或異常事件的情況，從而保持所作決定的可解釋性和合理性。

實時AI系統通常會消耗大量的計算能力、數據和原始內存資源需求。這些系統還需要更高水平的專業知識來構建和維護[16]，因此部署成本非常高。人工智能生物測量系統也面臨著類似的挑戰，與上述問題相關，這些系統也容易受到信息泄露風險的影響。網絡安全公司主要使用人工智能來開發魯棒和安全的系統。相反，這些系統經常被黑客出于不道德的目的而破壞，這些黑客訓練或變異惡意軟件，使其具有AI免疫力，其行為與傳統系統相比異常。人工智能的使用使黑客能夠挫敗安全算法，使數據操作不被發現，從而使組織極其難以糾正輸入基于人工智能的安全系統的數據。因此，當前基于人工智能的系統面臨的挑戰在于，與基于模型的傳統算法[17]相比，它們的決策缺乏合理性和合理性。如果系統不能理解并從網絡安全事件中吸取教訓，那么無論基于人工智能的系統多么強大和準確，網絡安全都將成為一個具有普遍二級風險的黑匣子。

人工智能威脅體系

在深度強化學習的情況下，被確定為某些反應的原因的顯著特征，通常仍然無法解釋。例如，可以考慮貝葉斯推斷的計算，其中產生的結果的準確性往往受到數據不足的問題的影響。這就需要統計AI算法來幫助量化這些不確定性。但是這種統計AI算法的結果往往難以解釋，因此，XAI通過為基于AI的統計模型產生的結果提供可解釋性來發揮其作用，為研究人員和專家提供理解因果推理和原始數據證據[18]的能力。同樣，在醫療保健領域，XAI的實施首先允許機器分析數據并得出結論。其次，它使醫生和其他醫療保健提供者能夠獲得解釋如何做出特定的決策。在制造業中，基于人工智能的自然語言處理(AI-based natural language processing, NLP)幫助分析與設備和維護標準相關的非結構化數據，這些數據與結構化數據相關聯，即工單、傳感器讀數等業務流程數據。這有助于技術人員在他們的工作流相關操作方面做出最佳決策。

XAI能提供什么幫助

人工智能模型已經成功地應用于許多日益復雜的領域，通過其基于復雜數據集的合成能力補充和增強人類的能力。計算能力的提高進一步擴大了通過人工智能提供解決方案的范圍，人工智能應用的增長呈可視化指數增長。因此，在關鍵任務設置中對此類AI應用的需求迅速增長，其中AI被嵌入到眾多硬件智能設備中，從而實現無監督或遠程控制使用。然而，人工智能的應用帶來了相關的重大問題。過擬合，是監督式ML中的一個基本問題，其中統計模型與訓練數據完美匹配，阻礙了其在數據未知情況下的準確分析能力。當它捕捉到數據中的噪聲和不準確的值時，模型的效率和精度會下降(Ying, 2019)。過度擬合模型的使用會導致AI性能下降，在關鍵任務設置中，可能會導致不準確的決策、經濟損失、身體傷害甚至死亡。

通過對模型的機制和推理的理解，可以在一定程度上減輕這些風險。不幸的是，傳統AI系統的黑箱特性成為瓶頸，即使是AI專家也無法提供合理的解決方案[19,20]。因此，透明度是必要的，它將使明智和合理的決策制定成為可能，并有助于為模型的行為提供準確的解釋。例如，在網絡安全系統的情況下，不合理和誤導性的預測可能會使系統非常容易受到攻擊，導致完全不安全的關鍵系統。隨著可解釋人工智能的實施，提供實用的、實時的基于人工智能的解決方案將變得更加容易，因為數據集中的偏見可以完全消除，從而導致公正的決策。解釋性結果使人工智能解決方案更加穩健和可信，確保有意義的變量推理和模型推理的基礎。傳統的基于深度神經網絡的模型(DNN)非常流行，但其可解釋性滯后。例如，對于id，網絡管理員很難理解入侵檢測背后的原因，并將其轉化為黑盒模型。在這種黑盒模型中，涉及決策制定的過程是具有挑戰性的，因為DNN在試錯過程中編輯特征，以生成理想的解決方案。盡管對基于ML的入侵檢測系統進行了大量的研究，但在得出與攻擊分類、異常流量行為識別和模型自動構建相關的結論時，很少對結果的基本推理或解釋進行探討。決策樹(DT)作為一個完美的模型來支持對結果預測的解釋。DT分析的結果不基于任何與數據分布相關的假設，并且有效地處理了特征共線性問題。因此，可解釋AI系統的實現使網絡管理員能夠分析、解釋和洞察IDS系統的安全策略[21,22]。在本文中，我們探討了網絡和人工智能風險的競爭本質，并探討了XAI作為人工智能風險的主要控制手段的潛力。關于XAI在網絡安全中的應用已經進行了大量的研究。本節將討論其中一些研究。[23]的研究提出了一種新穎的黑盒攻擊，該攻擊實現了XAI，損害了相關分類器的隱私和安全性。本研究采用反事實解釋(CF)生成方法實現基于梯度的優化。本研究中使用的CF方法包括潛在CF技術、多元反事實解釋(DiCE)技術和permute攻擊(對反病毒引擎執行端到端規避攻擊)。他們還執行成員推斷攻擊，這有助于鏈接用戶，并從泄露的數據集竊取他們的密碼，從而對同一數據集發起中毒和模型提取攻擊。該研究評估了與每種攻擊有關的安全威脅，并向用戶和攻擊者提供了能夠避免和減輕風險的范圍。[24]的研究提出了一種方法來解釋由面向數據的IDSs產生的不準確的分類。采用對抗性技術來識別輸入屬性中的最小修改，以準確分類錯誤分類的數據集樣本。在[22]中，提出了一個基于深度學習的入侵檢測框架。研究中可解釋的人工智能技術，有助于實現ML模型的每個層次的透明度。

該研究中使用的XAI方法包括SHAP和BRCG，能夠完全理解模型的行為。XAI的SHAP和CHEM技術有助于理解輸入的特征，從而將決策導出為輸出。考慮到分析師的視角，使用Protodash方法來識別訓練數據樣本之間的異同。[25]的作者提出了一種創新的方法來管理網絡安全系統報警系統中的超載問題。本研究考慮實施的系統包括安全資訊及事件管理系統(SIEM)及入侵偵測系統(IDS)。將零樣本學習技術與ML相結合，在框架內計算異常預測的解釋。該框架的獨特方法包括在沒有任何先驗知識的情況下識別攻擊，破譯導致分類的特征，然后使用XAI技術將攻擊分組到特定類別中。XAI的使用有助于識別、量化因素，并了解其對特定網絡攻擊預測的貢獻。[21]的研究提出了一種基于決策樹的XAI模型的IDS增強信任管理系統。研究中使用的決策樹算法幫助IDS在多個子選擇中分割選擇，從而為基準數據集生成規則。與傳統的支持向量機(SVM)系統相比，基于決策樹的XAI方法提高了精度。

雖然有各種綜述文章關注AI在網絡安全中的應用，但目前還沒有對可解釋AI在網絡安全中的應用進行全面的綜述，其中包括明確和廣泛的信息。因此，為了彌補這一差距**，本文著重對XAI在網絡安全領域的研究現狀、現有人工智能實施所面臨的挑戰、XAI的需求及其在各個領域的潛在應用范圍進行了全面的綜述**。表2重點分析了XAI和本論文的現有工作。從用戶的角度來看，使用XAI比使用AI的好處在圖3中得到了強調。

綜上所述，本研究的具體貢獻包括:

• 網絡安全和各種形式的攻擊的基本信息。
• 強調人工智能在網絡安全領域的各種應用，以及在解釋所產生的結果時存在的相關缺陷，是實施XAI的必要性
• 介紹了基于XAI的網絡安全框架在各個行業的應用

• 詳細討論了使用XAI實現網絡安全的各種研究項目和行業項目
• 從這些實施中獲得的經驗教訓將有助于確定該領域研究的未來范圍

本白皮書討論了魯棒和安全的AI系統:即使在面臨不確定性和危險或威脅時，AI系統也能在預期的性能水平上可靠地運行。

魯棒和安全的AI系統是指能夠在預期性能水平上可靠運行的AI系統，即使在面臨不確定性和危險或威脅時也是如此。這些系統具有內置的結構、機制或緩解措施，以防止、避免來自特定威脅模式的危險，或提供抵御能力。我們確定了三個具體的重點領域，以推進用于國防和國家安全的魯棒和安全的人工智能:

提高AI組件和系統的魯棒性 * 為現代人工智能系統的安全挑戰而設計 * 開發用于測試、評估和分析AI系統的流程和工具

對于每個領域，我們都有信心地確定在開發和部署AI系統方面正在進行的工作以及挑戰和機遇。

//resources.sei.cmu.edu/library/asset-view.cfm?assetid=735344