機器學習在許多應用中取得了顯著成功。然而，現有的研究大多基于封閉世界假設，該假設認為環境是靜態的，一旦部署模型就是固定的。在許多真實世界的應用中，這一基本而又幼稚的假設可能不成立，因為一個開放的環境是復雜的、動態的，并且充滿未知。在這種情況下，拒絕未知，發現新奇性，然后逐步學習它們，可以使模型像生物系統一樣安全地并持續地進化。本文提供了一個關于開放世界機器學習的全面視角，通過研究未知拒絕、新類發現和類增量學習在一個統一的范式下進行。當前方法的挑戰、原則和局限性被詳細討論。最后，我們討論了幾個未來研究的潛在方向。本文旨在提供一個關于新興開放世界機器學習范式的全面介紹，以幫助研究人員在各自的領域中構建更強大的AI系統，并促進人工通用智能的發展。 //arxiv.org/abs/2403.01759
人工智能結合機器學習技術在醫療治療[1]、工業[2]、交通運輸和科學發現[3]等許多領域得到了廣泛應用。通常，監督式機器學習涉及孤立的分類或回歸任務，它學習一個函數（模型）f : X → Y，從一個包含特征向量和真實標簽對的訓練數據集D = {(xi, yi)}^N_{i=1}學習。然后，可以將模型f部署用于預測未來遇到的輸入。然而，機器學習當前的成功在很大程度上基于封閉世界假設[5, 6, 7]，其中學習的重要因素限于訓練期間觀察到的內容。在分類任務中，模型在部署期間遇到的所有類y都必須在訓練中被看到，即y ∈ Y。這個假設在可能的類別已經明確定義且不太可能隨時間改變的限制場景中是合理的。例如，在手寫數字識別任務中，封閉世界假設成立，因為數字集合（0-9）是固定的并且提前已知。此外，這個假設也使數據收集過程更加簡單直接。然而，真實世界的應用往往涉及動態和開放的環境，其中不可避免地會出現意外情況，可能出現屬于未知類別的實例（y ∈ Y /）[8, 9]。例如，在非穩態環境中，自動駕駛汽車可能遇到以前從未學過的新奇對象；在網絡使用和面部識別系統中，無數的新類別會不斷出現。在這種情況下，封閉世界假設可能會出現問題。首先，模型對未知的過于自信，毫不猶豫地將其預測為訓練類別[10, 11, 12]，這可能導致從財務損失到傷害和死亡的各種危害。其次，模型未能通過發現和聚類它們來外推到新的類別[13]。第三，學習新的流數據會導致對先前知識的災難性遺忘[14]。為了在這樣一個不斷變化的無窮多樣的場景中學習，我們需要開放世界學習來克服這些限制，通過適應真實世界數據的動態和不確定性。在這種范式下，模型被裝備以識別和拒絕偏離訓練類的輸入以保持安全，然后從未知中發現新類并逐步學習它們，無需從頭開始重新訓練整個模型。 開放世界學習（OWL）范式的一般生命周期如圖1所示。這個過程主要包括三個關鍵步驟。第一步是未知拒絕，要求模型識別屬于已見類的測試實例，同時也能夠檢測或拒絕不屬于訓練類的錯誤分類和未知實例，基于可靠的置信度估計[11, 15]。第二步是新類發現[13]，它基于過去學到的知識自動地將收集到的未知樣本在緩沖區中聚類。最后，當發現的類有足夠的數據時，系統必須擴展原始的多類分類器，以包含新類，而無需從頭開始重新訓練或災難性地忘記先前學到的知識[16, 17, 18]。通過整合未知拒絕、新類發現和持續學習，系統能夠適應并擴展到不斷演變的環境。換句話說，模型可以意識到它不知道的內容，并在開放世界中部署后（在工作中）像人類一樣交互式學習。 在本文中，我們對開放世界機器學習的最新研究進展進行了系統綜述，重點討論了有關未知拒絕、新類發現和類增量學習的技術。詳細討論了當前方法的原則和局限性及其之間的關系。最后，介紹了開放世界機器學習未來發展的可能挑戰、研究空白和展望。我們廣泛而深刻的綜述將有助于研究人員將這一新的學習范式應用于他們自己的領域，并呼吁構建類似人類的、真正智能的系統。
開放世界學習的總體挑戰 如圖1和圖2所示，開放世界學習涉及順序地和定期地執行未知拒絕、新類發現和類增量學習。核心挑戰是使上述過程能夠通過模型與開放環境之間的交互自動進行，而不依賴于人類工程師[26]。不幸的是，在封閉世界假設[7]下，模型過于自信，幾乎無法意識到未知。具體來說，從表示學習的角度來看，模型僅在當前數據集上受到數據驅動的優化訓練，學到的表示是任務特定的且較不通用；從分類器學習的角度來看，當前的判別分類器為未知留下的空間很小，使得難以描述、發現和適應新奇性。因此，來自未知類的示例將被映射到已知類的區域，導致在后續的增量學習過程中發生之前知識的災難性遺忘。
開放世界機器學習是一個活躍且長期的研究話題，存在許多值得進一步探索的關鍵開放方向。在本節中，我們簡要概述了幾個有前景的研究方向，這些方向使OWL能夠在統一的框架和更復雜的情境中實現，例如結構化數據和應用，如檢測、分割等。此外，還討論了考慮腦啟發式OWL和機器遺忘的額外方向。圖6展示了未來方向的插圖。
付費5元查看完整內容
相關內容
在大規模多模態數據集上的自監督學習，允許在聯合多模態表示空間中學習有語義的嵌入，而不依賴人工標注。這些聯合嵌入實現了零樣本的跨模態任務，如檢索和分類。然而，這些方法往往難以在域外數據上很好地泛化，因為它們忽略了特定模態嵌入中存在的語義結構。在這種背景下,我們提出一個新穎的Semantic-Structure-Preserving一致性的方法來提高普遍性modality-specific關系保存在聯合嵌入空間。為捕捉樣本之間的特定模態語義關系，本文建議學習多個錨點，并表示樣本與這些錨點之間的多方面關系。為了給每個樣本分配多個錨點，提出了一種新的多指派Sinkhorn-Knopp算法。我們的實驗表明,我們提出的方法學習語義上有意義的錨self-supervised的方式。在MSR-VTT和YouCook2數據集上的評估表明，所提出的基于多錨點分配的解決方案實現了最先進的性能，并可泛化到域內和域外數據集。代碼://github。com/Swetha5/Multi_Sinkhorn_Knopp
付費5元查看完整內容
最優控制是一個強大的控制器設計范式，因為它可以用相對簡單的成本函數來隱含地編碼復雜的穩定行為。然而，維度災難和非凸優化的存在可能使得為復雜的高維系統可靠地獲得穩定的控制器變得具有挑戰性。近期，基于采樣的強化學習方法使機器人學家能夠為高維系統獲得近似最優的反饋控制器，即使動力學未知。然而，這些方法在許多應用領域的實際部署仍然不夠可靠。
這篇博士論文主張，可靠的基于優化的控制器合成的關鍵是深入理解我們寫下的成本函數和我們設計的算法如何與控制系統的基礎反饋幾何結構相互作用。首先，我們將研究如何通過嵌入控制Lyapunov函數（這是系統的能量類函數）來加速無模型的強化學習。接下來，我們將介紹一種新的基于數據的策略優化框架，該框架將來自近似動力學模型和低級反饋控制器家族的結構信息嵌入到更新方案中。然后，我們轉向動態規劃的視角，研究系統的幾何結構如何在計算或學習穩定控制器所需的計算量上施加根本性的限制。最后，我們研究基于導數的搜索算法，并研究如何設計用于模型預測控制方案的“好”成本函數，以確保即使使用基于梯度的方法在非凸目標上搜索，這些方法也能穩定系統。在整個過程中，我們將重點關注如何從簡單的分析模型中獲得的結構性洞見指導我們的設計決策，并將討論其在動態行走、飛行控制和自動駕駛等應用中的用途。
付費5元查看完整內容
理解強化學習(RL)智能體的新出現行為可能是困難的，因為此類智能體通常在復雜環境中使用高度復雜的決策程序進行訓練。這導致了強化學習中各種可解釋性方法的產生，這些方法旨在協調智能體的行為和觀察者預期的行為之間可能出現的差異。最近的大多數方法都依賴于領域知識(這可能并不總是可用的)，依賴于對智能體策略的分析，或者依賴于對底層環境的特定元素的分析(通常建模為馬爾可夫決策過程(Markov Decision Process, MDP))。我們的關鍵主張是，即使底層的MDP不是完全已知的(例如，轉移概率沒有被準確地學習)或不是由智能體維護的(即，轉移概率不是由智能體維護的)。，當使用無模型方法時)，它仍然可以被利用來自動生成解釋。出于這個目的，我們建議使用正式的MDP抽象和轉換(以前在文獻中用于加速搜索最優策略)來自動生成解釋。由于這種轉換通常基于環境的符號表示，它們可以表示預期和實際智能體行為之間差距的有意義的解釋。我們正式地定義了這個問題，提出了一類可以用來解釋突發行為的變換，并提出了能夠有效地尋找解釋的方法。我們將在一組標準基準上演示該方法。
付費5元查看完整內容
目前的自然語言處理模型嚴重依賴有效的表示學習算法。對比學習就是這樣一種學習嵌入空間的技術，它使相似的數據樣本對具有相近的表示，而不同的樣本彼此相距遙遠。它可以用于監督或非監督設置，使用不同的損失函數來產生特定于任務的或通用的表示。雖然它最初使視覺任務的成功成為可能，但近年來，關于對比NLP的工作越來越多。這一第一行的工作不僅在各種NLP任務中提供了有前景的性能改進，而且還提供了所需的特性，如任務不可知的句子表示、忠實的文本生成、零樣本和少樣本設置下的數據高效學習和可解釋性。
在本教程中，我們將溫柔地介紹對比學習方法的基本原理及其背后的理論。然后，我們調研了對比學習對各種下游NLP應用的好處和最佳實踐，包括文本分類、問題回答、摘要、文本生成、可解釋性和可解釋性、常識知識和推理、視覺和語言。
本教程旨在幫助自然語言處理和計算語言學領域的研究人員理解這一新興主題，并推動將對比學習用于自然語言處理應用的未來研究方向。
//contrastive-nlp-tutorial.github.io/
對比學習基礎 Part 1: Foundations of Contrastive Learning Contrastive Learning Objectives Contrastive Data Sampling and Augmentation Strategies Successful Applications Analysis of Contrastive Learning NLP對比學習 Part 2: Contrastive Learning for NLP Contrastive Learning in NLP Tasks Task-agnostics Representation Faithful Text Generation Data-efficient Learning Interpretability and Explainability
經驗教訓與未來 Part 3: Lessons Learned, Practical Advice, and Future Directions Lessons Learned Practical Advice Future Directions
講者:
付費5元查看完整內容
約束強化學習(CRL)最近引起了人們的極大興趣，因為滿足安全約束對現實世界的問題至關重要。然而，現有的CRL方法對折現累積成本的約束通常缺乏嚴格的定義和安全性保證。另一方面，在安全控制研究中，安全被定義為持續滿足一定的狀態約束。這種持久安全只在狀態空間的一個子集上是可能的，這個子集被稱為可行集，對于給定的環境存在一個最優最大可行集。近年來的研究利用基于能量的方法，如控制屏障函數(CBF)、安全指數(SI)等，將安全控制與CRL相結合，利用可行集的先驗保守估計，影響了學習策略的性能。針對這一問題，本文提出了一種可達性CRL (RCRL)方法，利用可達性分析來刻畫最大可行集。我們用建立的自一致性條件刻畫可行集，然后學習一個安全值函數作為CRL的約束。我們還利用多時間尺度隨機逼近理論證明了所提算法收斂于局部最優，其中最大可行集是可以保證的。不同基準上的經驗結果，如safecontrol-gym和Safety-Gym驗證了學習的可行集，在最優標準中的性能，以及RCRL的約束滿足，與最先進的CRL基線進行了比較。
//www.zhuanzhi.ai/paper/7cf75b83c7c786a3f426e412204927f8
付費5元查看完整內容
持續學習是一種學習模式，在這種模式下，學習系統按照一系列任務進行訓練。這里的目標是在當前任務上執行得很好，而不會受到前面任務的性能下降的影響。在神經網絡持續學習的最新進展中，有兩個值得注意的方向: (1) 基于變分貝葉斯的正則化，通過學習先前任務的先驗信息，以及(2)學習深度網絡的結構以適應新的任務。到目前為止，這兩種方法在很大程度上是相互正交的。我們提出了一個新的貝葉斯框架，基于不斷學習深度神經網絡的結構，以統一這些不同但互補的方法。該框架通過學習任務所使用的權值來學習任務的深層結構，并通過不同任務學習的權值的不同稀疏子集的重疊來支持任務間的遷移。我們提出的持續學習框架的一個吸引人的方面是，它既適用于甄別(有監督的)設置，也適用于生成(無監督的)設置。在有監督和無監督基準上的實驗結果表明，我們的方法在持續學習方面的表現與最近的進展相當或更好。
付費5元查看完整內容
圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。
付費5元查看完整內容
傳統的自然語言處理方法具有可解釋性，這些自然語言處理方法包括基于規則的方法、決策樹模型、隱馬爾可夫模型、邏輯回歸等，也被稱為白盒技術。近年來，以語言嵌入作為特征的深度學習模型（黑盒技術）不斷涌現，雖然這些方法在許多情況下顯著提高了模型的性能，但在另一方面這些方法使模型變得難以解釋。用戶難以了解數據經過怎樣的過程得到所期望的結果，進而產生許多問題，比如削弱了用戶與系統之間的交互（如聊天機器人、推薦系統等）。機器學習社區對可解釋性重要程度的認識日益增強，并創造了一個新興的領域，稱為可解釋人工智能(XAI)。而關于可解釋性有多種定義，大部分相關文章的論證也因此有所差異。這里我們關注的是可解釋人工智能給用戶提供關于模型如何得出結果的可解釋，也稱為結果解釋問題（outcome explanation problem）[1]。在可解釋人工智能中，解釋可以幫助用戶建立對基于NLP的人工智能系統的信任。本文依據前人的綜述[2]討論了可解釋的分類方式，介紹了能夠給出可解釋的技術及其具體操作，并簡要地描述了每一種技術及其代表性論文。
付費5元查看完整內容
經典機器學習算法假設訓練數據和測試數據具有相同的輸入特征空間和相同的數據分布。在諸多現實問題中，這一假設往往不能滿足，導致經典機器學習算法失效。領域自適應是一種新的學習范式，其關鍵技術在于通過學習新的特征表達來對齊源域和目標域的數據分布，使得在有標簽源域訓練的模型可以直接遷移到沒有標簽的目標域上，同時不會引起性能的明顯損失。本文介紹領域自適應的定義，分類和代表性算法，重點討論基于度量學習的領域自適應算法和基于對抗學習的領域自適應算法。最后，分析領域自適應的典型應用和存在挑戰，明確領域自適應的發展趨勢，并提出未來可能的研究方向。
付費5元查看完整內容
聯邦學習（Federated Learning）是一種新興的保護隱私的機器學習范式，在學術界和行業中都引起了極大的關注。聯邦學習的一大特征是異構性，它來源于參與學習的設備有各種硬件規格、且設備狀態是動態變化的。異構性會對聯邦學習訓練過程產生巨大影響，例如，導致設備無法進行訓練或無法上載其模型更新。不幸的是，這種影響尚未在現有的聯邦學習文獻中進行過系統的研究和量化。本文進行了第一個聯邦學習中異構性影響的實證研究。本文從13.6萬部智能手機中收集了大量數據，這些數據可以真實地反映現實環境中的異構性。本文還構建了一個符合標準聯邦學習協議同時考慮了異構性的聯邦學習平臺。基于以上數據和平臺進行了廣泛的實驗，以比較目前最優的聯邦學習算法在考慮異構性和不考慮異構性下的性能。結果表明，異構性導致聯邦學習的性能顯著下降，包括高達9.2％的準確度下降，2.32倍的訓練時間延長以及公平性受損。此外，本文進行了原因分析，發現設備故障和參與偏差是導致性能下降的兩個潛在根本原因。我們的研究對聯邦學習從業者具有深刻的啟示。一方面，本文的發現表明聯邦學習算法設計師在模型評估過程中有必要考慮異構性。另一方面，本文的發現敦促聯邦學習的系統設計者設計特定的機制來減輕異構性的影響。中心博士生楊程旭為該文第一作者。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191