模型必須能夠自我調整，以適應新環境。深度網絡在過去十年取得了巨大成功，特別是當訓練和測試數據來自相同的分布時。不幸的是，當訓練(源)與測試(目標)數據不同時，性能會受到影響，這種情況稱為域移位。模型需要自我更新以應對這些意外的自然干擾和對抗性擾動，如天氣變化、傳感器退化、對抗性攻擊等。如果我們有一些標記的目標數據，可以使用一些遷移學習方法，如微調和少樣本學習，以有監督的方式優化模型。然而，對目標標簽的要求對于大多數現實場景是不實際的。**本文專注于無監督學習方法，以將模型泛化到目標域。
本文研究了完全測試時自適應的設置，在不獲取目標標簽和源數據的情況下，將模型更新到不可控的目標數據分布。換句話說，模型在這個設置中只有它的參數和未標記的目標數據。其核心思想是利用測試時間優化目標，熵最小化，作為可學習模型的反饋機制，在測試時間內關閉循環。我們通過在線或離線的方式優化模型，以測量輸出熵的置信度。這種簡單有效的方法可以降低自然破壞和對抗性擾動圖像分類的泛化誤差。此外，語義分割模型的自適應特性可用于處理場景理解的動態尺度推理。通過對比學習和擴散模型，我們可以學習目標域特征并生成源風格的圖像，進一步提高動態環境下的識別性能。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-229.html
付費5元查看完整內容
相關內容
（University of California, Berkeley），是美國最負盛名且是最頂尖的一所公立研究型大學，位于舊金山東灣伯克利市的山丘上。創建于1868年，是加州大學十個分校中歷史最悠久的一所。加州大學伯克利分校在世界范圍內擁有崇高的學術聲譽，擁有豐富的教學資源，研究水平非常堅厚，與斯坦福大學、麻省理工學院等一同被譽為美國工程科技界的學術領袖。
在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。
//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。
付費5元查看完整內容
深度神經網絡在學習給定數據集上的表示方面取得了巨大的成功。然而，在許多情況下，學習到的表示是依賴于數據集的，不能轉移到具有不同分布的數據集，即使是對于相同的任務。如何處理域漂移是提高模型泛化能力的關鍵。域適應提供了一個潛在的解決方案，允許我們將具有豐富標簽的源域轉移到只有有限標簽或沒有標簽的目標域。
在本論文中，我將介紹在不同場景下學習可遷移表示的許多方法，包括1) 當源域只有有限的標簽，甚至每個類只有一個標簽時，2) 當有多個標記源域時，3) 當有多個未標記的目標域時。這些方法在不同的數據模態(如視覺和語言)中是通用的，并且可以很容易地組合起來解決其他類似的領域轉移設置(如從具有有限標簽的多個源適應)，使模型能夠泛化到源域之外。許多工作將知識從模擬數據轉移到真實數據，以減少對昂貴的手動注釋的需求。最后，介紹了我們在構建LiDAR 點云模擬器方面的開創性工作，進一步實現了LiDAR 點云分割的大量領域適配工作。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2022/EECS-2022-213.html
付費5元查看完整內容
這篇論文在機器學習領域做出了一些貢獻，特別是在圖推理任務。每篇文章都研究并改進了幾種圖推理應用中的泛化: 經典圖分類任務、組合視覺推理和神經網絡圖參數預測的新任務。
在第一篇文章中，我們研究了圖神經網絡中的注意力機制。雖然注意力在GNN中得到了廣泛的研究，但它對泛化到更大的噪聲圖的影響還沒有被深入分析。我們證明，在合成圖任務中，可以通過仔細初始化GNN的注意力模塊來提高泛化能力。我們還開發了一種方法，降低了注意力模塊對初始化的敏感性，提高了實際圖任務的泛化能力。
在第二篇文章中，我們討論了將問題泛化到視覺場景中罕見或不可見的物體組合和關系。以往的工作多以頻繁的視覺構圖為主，構圖泛化能力較差。為了緩解這一問題，我們發現將損失函數與場景圖的結構進行歸一化是很重要的，這樣可以更有效地利用訓練標簽。用我們的損失訓練的模型顯著提高了合成泛化。
在第三篇文章中，我們將進一步討論視覺合成泛化。我們考慮一種數據增強方法，即在訓練數據中添加罕見的和不可見的成分。我們開發了一個基于生成對抗網絡的模型，該模型根據我們通過擾動真實場景圖獲得的罕見或不可見的場景圖生成合成視覺特征。我們的方法不斷改進合成的泛化。
在第四篇文章中，我們研究了在不可見的深度神經結構中預測參數的新任務中的圖推理。我們的任務的動機是由于用于訓練神經網絡的迭代優化算法的局限性。為了解決我們的任務，我們開發了一個基于Graph HyperNetworks的模型，并在我們的神經架構圖數據集上訓練它。我們的模型可以在一次向前傳遞中預測不可見的深度網絡(如ResNet-50)的性能參數。該模型可用于神經結構搜索和遷移學習。
//atrium.lib.uoguelph.ca/xmlui/handle/10214/26824
我們的世界是一個復雜的組合系統，簡單的組件用來創建更復雜的組件，所有組件以一種非平凡的方式交互。其中一個組成部分就是人類，人類天生就有能力積累多樣化的多領域知識，并學習周圍世界的豐富組成結構。這種知識使人類能夠輕松地解決大量復雜的任務。例如，給定一個復雜動態3D場景的靜態2D圖像，人類能夠識別物體，它們的部分，它們之間的關系，并預測場景中的未來事件。人類甚至可以預測場景的地理和人口背景，并推斷場景的情感等抽象屬性(圖1.1,a)。工程旨在開發能夠替代人類執行此類任務的系統和算法，特別是重復性、費力或危險的任務。在一些實際場景中，如理解2D圖像，這些系統需要從傳感器記錄的輸入中恢復原始成分結構(圖1.1,a-c)。例如，機器人或自動駕駛汽車需要從原始像素或點云中檢測物體及其關系。在其他場景中，組合結構已經提供(例如，由另一個系統或人類提供)，算法需要對組合輸入進行推理，以做出復雜的高級決策(圖1.1,d-f)。例如:預測分子的性質，預測未來人與人之間的聯系，或預測生物或人工神經網絡的性質。
為了開發能夠從原始感官數據推斷組成結構的算法或預測結構屬性的算法，我們首先需要定義適合于這類任務的數據抽象。在數學和計算機科學中，有一種方便的抽象專門介紹了模型的組成和關系結構。這種抽象被稱為圖，其中節點對應結構的組件，而邊對應組件之間的交互。例如，分子通常表示為圖形，節點對應原子或更復雜的元素，邊對應化學鍵(圖1.1,d)。類似地，社會網絡是圖形，節點是人，邊是它們之間的不同類型的關系(圖1.1,e)。同樣地，生物或人工神經網絡是一個圖，其中節點可以是神經元，邊可以是它們之間的連接(圖1.1,f)。需要開發處理相關任務的算法。
本文探討了圖分類、場景圖合成視覺推理和神經網絡推理等圖推理任務中的泛化問題。使用從數據而不是工程特征中學習的模型來處理這些任務是事實上的標準。然而，這種模型的一個基本挑戰，尤其是神經網絡，是糟糕的泛化。出現這一問題的原因可能是模型依賴于偽相關(“捷徑”)，而這些偽相關在訓練數據中常常大量存在(Shen et al., 2021; Zhou et al., 2021; Sch?lkopf et al., 2021)。當在測試數據上評估NN時，這個問題尤其值得注意，這些測試數據來自于與訓練數據略有不同的分布。雖然人類經常對各種分布轉移表現出很強的泛化能力，但機器學習模型在這方面要弱得多。這篇論文對理解和提高泛化做出了一些貢獻。
付費5元查看完整內容
常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作
付費5元查看完整內容
強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。
在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。
在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html
付費5元查看完整內容
深度卷積網絡的出現推動了視覺識別領域的新一波進步。這些學習到的表示大大優于手工設計的特征，在視覺任務上獲得更高的性能，同時在數據集上有更好的泛化性。盡管這些模型看起來很普遍，但當它們所訓練的數據與所要求操作的數據之間存在不匹配時，它們仍然會受到影響。領域適應提供了一種潛在的解決方案，允許我們將網絡從源領域訓練到新的目標領域。在這些領域中，標記數據是稀疏的或完全缺失的。然而，在端到端可學習表示出現之前，視覺域適應技術很大程度上局限于在固定的、手工設計的視覺特征上訓練的分類器。在這篇論文中，我們展示了如何將視覺域適應與深度學習相結合，以直接學習能夠適應域移動的表示，從而使模型能夠泛化到源域之外。
在第2章中，我們將演示如何設計損失，以衡量兩個領域的不同程度。我們表明，通過優化表示來最小化這些損失，我們可以學習從源到目標更好地泛化的表示。在第3章和第4章中，我們展示了我們可以訓練模型來嘗試測量域差異，而不是手工設計這些域損失。由于這些模型本身是端到端可學習的，我們可以通過它們反向傳播來學習表示，從而最小化學習的差異。這在概念上與生成式對抗網絡類似，我們還探索了兩者之間的關系，以及我們如何在對抗環境中使用為GANs開發的技術。最后，在第5章和第6章中，我們證明了適應性不需要局限于深度網絡的中間特征。對抗適應技術也可以用于訓練模型，直接改變圖像的像素，將它們轉換成跨域的類似物。然后，這些轉換后的圖像可以用作標記的偽目標數據集，以學習更適合目標領域的監督模型。我們表明，這種技術是基于特征的適應性的補充，當兩者結合時產生更好的性能。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-69.html
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191