亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

來自馬薩諸塞州總醫院和哈佛醫學院等最新深度無監督域自適應綜述論文

深度學習已經成為解決不同領域的現實問題的首選方法，部分原因是它能夠從數據中學習，并在廣泛的應用中取得令人印象深刻的表現。然而，它的成功通常依賴于兩個假設: (i) 大量的標記數據集需要精確的模型擬合，(ii) 訓練和測試數據是獨立的和同分布的。因此，它在不可見的目標域上的性能不能得到保證，特別是在適應階段遇到非分布數據時。在部署深度神經網絡時，目標域數據的性能下降是一個關鍵問題，它成功地訓練了源域數據。針對這一問題，提出了無監督域適應(Unsupervised domain adaptation, UDA)，利用標記源域數據和未標記目標域數據在目標域中執行各種任務。UDA在自然圖像處理、視頻分析、自然語言處理、時間序列數據分析、醫學圖像分析等方面取得了良好的成果。在這篇綜述中，作為一個快速發展的主題，我們提供了一個系統的比較方法和應用。此外，還討論了UDA與其密切相關的任務，如域泛化和分布外檢測之間的聯系。此外，指出了目前方法的不足和可能的發展方向。

圖1 基于源或目標域中標記數據的可用性的遷移學習方法的分類。

深度學習是機器學習的一個子領域，旨在通過層次結構發現輸入數據的多層分布式表示(Goodfellow et al., 2016)。在過去的幾年里，基于深度學習的方法出現了爆炸式的發展，深度學習大大改善了最先進的方法，以解決各種機器學習問題和應用(LeCun et al., 2015)。特別是，深度學習已經將傳統的信號處理方法轉變為以端到端方式同時學習特征和預測模型(Bengio et al., 2013)。雖然監督深度學習是各種任務中最普遍和最成功的方法，但它的成功取決于**(i)大量的標記訓練數據和 (ii) 獨立和同分布(i.i.d.) 訓練和測試數據集的假設(Huo et al., 2022)**。由于對各種應用領域的海量數據集進行可靠的標記通常是昂貴和令人望而卻步的，對于目標領域中沒有足夠的標記數據集的任務，通過利用來自源領域的豐富標記數據，有強烈的需求來應用訓練好的模型(Xu and Yan, 2022)。然而，這種學習策略會受到數據分布變化的影響，即源域和目標域之間的域變化(Zhang et al., 2022)。因此，當遇到非分布(OOD)數據時，即源分布與目標分布不同(Che et al.， 2021)，訓練模型的性能可能會嚴重下降。例如，應用于目標域的種群與源域的種群不同的疾病診斷系統的性能不能得到保證。

為了應對這一問題，人們提出了無監督域適應(UDA)作為一種可行的解決方案，將從標記源域學到的知識遷移到不可見的、異構的、無標記的目標域(Liu et al., 2021i, 2022g)，如圖2所示。UDA旨在減輕源和目標域之間的域轉移(Kouw, 2018)。UDA的解決方案主要分為統計矩匹配(例如，最大均值差異(MMD) (Long et al., 2018))，域風格轉移(Sankaranarayanan et al., 2018)，自訓練(Zou et al., 2019; Liu et al., 2021e,l）和特征級對抗學習(Ganin et al., 2016; He et al., 2020a,b; Liu et al., 2018)。

已有多篇關于領域適應的綜述論文(Beijbom, 2012; Bungum and Gamb¨ack, 2011; Betlehem et al., 2015; Sun et al., 2015; Wang and Deng, 2018; Csurka, 2017; Zhao et al., 2018; Kouw, 2018; Kouw and Loog, 2019; Zhao et al., 2020b; Wilson and Cook, 2020; Ramponi and Plank, 2020)，以及更廣泛的遷移學習問題(Pan and Yang, 2009; Cook et al., 2013; Lazaric, 2012; Shao et al., 2014; Tan et al., 2018; Zhang et al., 2019b)。如圖1所示，域適應可以看作遷移學習的一種特殊情況，假設標記數據只在源域中可用(Pan and Yang, 2009)。在這篇綜述論文中，我們的目標是從理論和實踐的角度提供廣泛的模型和算法。這篇綜述還涉及了新興的方法，特別是那些最近開發的方法，提供了不同技術的全面比較，并討論了獨特的組件和方法與無監督的深度領域適應的聯系。在一般遷移學習綜述中，UDA的覆蓋范圍有限，尤其是基于深度學習的UDA。以前許多關于領域適應的綜述沒有納入深度學習方法;然而，基于深度學習的方法已經成為UDA的主流。此外，一些評論并沒有深入觸及域映射(Csurka, 2017;Kouw, 2018;Kouw and Loog, 2019)，基于歸一化統計的(Csurka, 2017; Kouw and Loog, 2019; Zhao et al., 2018, 2020b)，基于ensemble-based (Csurka, 2017; Wang and Deng, 2018; Kouw and Loog, 2019; Zhao et al., 2018)，或基于自訓練的方法(Wilson和Cook, 2020)。此外，他們中的一些只關注有限的應用領域，如視覺數據分析(Wang and Deng, 2018; Csurka, 2017; Oza et al., 2021)或自然語言處理(NLP) (Ramponi和Plank, 2020年)。本文綜述了該技術在自然圖像處理、視頻分析、自然語言處理、時間序列數據分析、醫學圖像分析、氣候和地球科學等領域的應用前景。表1總結了其他評論論文涉及的主題。

本文的其余部分組織如下。在第二章中，我們首先分析了UDA中可能的域移位。然后，在第3節中討論了各種最新的UDA方法，并對它們進行了比較。接下來，我們將在第4節展示如何將UDA應用于多個應用領域。在第5部分，我們強調了未來的發展方向。最后，我們在第6節對本文進行總結。

方法

在過去的幾年里，隨著神經網絡研究的快速增長，UDA方法也得到了廣泛應用。流行的方法包括統計發散和對抗訓練的域比對、生成域映射、歸一化統計比對、基于集成的方法和自訓練，如圖4所示。此外，這些方法可以結合起來進一步提高各種任務的性能。在本節中，我們將更詳細地討論每個類別以及它們的組合和聯系。

本文對目前主要的UDA方法進行了綜述

現實轉移假設

學習域不變特征表示是許多深度UDA方法中應用最廣泛的思想，其關鍵在于最小化潛在特征空間中的域差異。為了實現這一目標，選擇合適的散度指標是這些方法的核心。廣泛使用的測量方法包括MMD (Rozantsev et al., 2018)、相關對齊(CORAL) (Sun et al., 2016)、對比域差異(CDD) (Kang et al., 2019)、Wasserstein距離(Liu et al.，2020b)、圖匹配損失(Yan et al.，2016年)等。

對抗學習

最近的研究重點不是選擇散度度量，比如MMD，而是自適應地學習散度度量。隨著生成式對抗網絡(GAN)的發展，對抗訓練被廣泛應用于實現區域不變特征提取。

歸一化統計

在現代深度神經網絡中，由于對初始化不敏感(Santurkar et al.， 2018)，批處理歸一化(BN)層在實現更快的訓練(Ioffe and Szegedy, 2015)、更平滑的優化和更穩定的收斂(Santurkar et al., 2018)方面發揮了重要作用。在每個歸一層中，有兩個低階批量統計量，包括均值和方差，以及兩個可學習的高階批量統計量，包括尺度和偏差。

生成域映射

與其在潛在空間中對齊特征，還不如直接在數據級呈現目標域數據。分類器或分割網絡可以根據源域數據及其標簽生成的目標域數據進行訓練(Shrivastava et al., 2017)。此外，網絡可以與GANs同時訓練(Bousmalis et al., 2017; Hoffman et al., 2018)，如圖6(b)所示。

---

自訓練

與使用發散度來減少域差異的方法不同，自訓練被提出作為一種替代訓練方案，利用未標記的目標域數據來實現域適應(Zou等，2019)。自訓練是基于一種以輪為基礎的替代訓練計劃，該計劃最初是為半監督訓練而發展的，最近被調整用于UDA。基于UDA的深度自訓練包括兩個步驟:(1)在目標域內創建一組偽標簽，(2)使用目標域數據生成的偽標簽對網絡進行再訓練。

自監督

UDA的另一個解決方案是將輔助自監督任務納入網絡訓練。自監督學習只依賴于未標記的數據來規定前置學習任務，如上下文預測或圖像旋轉，其目標目標可以在沒有監督的情況下計算(科列斯尼科夫等人，2019)。這組工作假設可以通過對源域分類和目標域數據進行重構(Ghifary et al.， 2016)或源和目標域數據同時進行(Bousmalis et al.， 2016)來實現對齊。在Ghifary et al.(2016)中，一個深度重構-分類網絡以一對平方重構損失進行優化。特別是在Bousmalis等(2016)中引入尺度不變均方誤差重構損失來訓練其域分離網絡。

應用

UDA已成功應用于各種應用領域，包括圖像感知和理解、視頻分析、NLP、時間序列數據分析、醫學圖像分析以及氣候和地球科學。雖然一些工作是基于UDA的一般原則，其他工作是針對解決具體的應用考慮，通過利用訓練和測試數據集的特點。在這一部分，我們不打算提供一個全面的綜述，而是選擇突出UDA在各個應用的趨勢的例子，考慮到大量的工作和許多優秀的以前的綜述。

摘要

深度強化學習 (RL) 中的泛化研究旨在產生 RL 算法，其策略可以很好地泛化到部署時新的未知情況，避免過度擬合其訓練環境。如果要在現實世界的場景中部署強化學習算法，解決這個問題至關重要，在現實世界中，環境將是多樣的、動態的和不可預測的。本綜述是對這一新興領域的概述，在已有研究的基礎上，通過提供了一個統一的格式和術語來討論不同的泛化問題。繼續對現有的泛化基準以及解決泛化問題的方法進行分類。最后，對該領域的現狀進行了批判性討論，包括對未來研究的建議。本文認為對基準設計采用純程序性內容生成方法不利于推廣，其建議快速在線適應和解決RL特定問題，并在未充分探索的問題環境中建立基準，如離線RL概括和獎勵函數變化。

引言

強化學習(RL)可以用于一系列應用，如自動駕駛汽車[1]和機器人[2]，但為了實現這一潛力，我們需要可以在現實世界中使用的RL算法。現實是動態的、開放的、總是在變化的，RL算法需要對其環境的變化具有健壯性，并在部署過程中具有遷移和適應不可見(但類似)環境的能力。

然而，目前許多RL研究工作都是在諸如Atari[3]和MuJoCo[4,5]等基準測試上進行的，這些基準測試不具備上述屬性:它們在訓練策略時所處的環境中評估策略，這與現實場景不匹配(圖1左列)。這與監督學習的標準假設形成了鮮明的對比，在監督學習中，訓練集和測試集是不相交的，很可能導致強評估過擬合[6]。這導致策略即使在稍微調整的環境實例(環境中的特定關卡或任務)上表現也很糟糕，并且經常在用于隨機初始化上失敗[7,8,9,10]。

許多研究人員已經認真對待這些批評，現在專注于提高RL的泛化(從這項綜述的內容可以看出)。本研究的重點是生成策略具有預期魯棒性、遷移和自適應特性的算法，挑戰訓練和測試將是相同的基本假設(圖1中右列)。雖然這項研究是有價值的，但目前它經常缺乏清晰或連貫的論文。我們認為，這部分是因為泛化(尤其是在RL中)是一類問題，而不是一個特定的問題。改進“泛化”，但不明確需要哪種泛化，這是不明確的;我們不太可能從總體上改進泛化，因為這類問題太廣泛了，以至于適用于一些類似于No Free Lunch定理[11]的類比:在某些情況下改進泛化可能會損害在其他情況下的泛化。圖1中右兩欄顯示了兩大類泛化問題。

我們將泛化概念作為一個單一的問題來解決。我們提出了一種理解這類問題的形式化(建立在以前的工作[12,13,14,15,16])，以及在指定一個泛化問題時有哪些選擇。這是基于特定基準所做出的選擇，以及為驗證特定方法而做出的假設，我們將在下面討論這些。最后，我們在泛化中提出了一些尚未被探索的設置，但對于RL的各種現實應用仍然至關重要，以及未來在解決不同泛化問題的方法上的許多途徑。我們的目標是使該領域的研究人員和實踐者在該領域內外更容易理解，并使討論新的研究方向更容易。這種新的清晰性可以改善該領域，并使更通用的RL方法取得穩健的進展。

綜述結構。綜述的結構如下。我們首先在第2節中簡要描述相關工作，如其他概述。在第3節中，我們介紹了RL中泛化的形式化和術語，包括相關的背景。然后，在第4節中，我們繼續使用這種形式化來描述用于RL泛化的當前基準，討論環境(第4.1節)和評估協議(第4.2節)。我們將在第5節中對處理泛化的工作產生方法進行分類和描述。最后，我們將在第6節中對當前領域進行批判性的討論，包括在方法和基準方面對未來工作的建議，并在第7節中總結綜述的關鍵結論。

• 我們提出了關于泛化的一種形式主義和術語，這是建立在以往多部工作[12,13,14,15,16]中提出的形式主義和術語基礎上的。我們在這里的貢獻是將這些先前的工作統一為RL中被稱為泛化的一類問題的清晰的正式描述。

• 我們提出了一個現有基準的分類，可以用來進行泛化測試，將討論分為分類環境和評估協議。我們的形式主義讓我們能夠清楚地描述純粹的PCG方法在泛化基準和環境設計方面的弱點:擁有一個完全的PCG環境限制了在該環境下進行研究的精確度。我們建議未來的環境應結合PCG和可控變異因素。

• 我們提出現有的分類方法來解決各種泛化問題,出于希望使它容易對從業人員選擇的方法給出一個具體的問題。我們指出了許多有待進一步研究的途徑，包括快速在線適應、解決RL特定的一般化問題、新穎的架構、基于模型的RL和環境生成。

• 我們批判性地討論了RL研究的泛化現狀，并提出了未來的研究方向。特別地，我們指出，構建基準將使離線的RL一般化和獎勵功能變化取得進展，這兩者都是重要的設置。此外，我們指出了幾個值得探索的不同設置和評估指標:調查上下文效率和在連續的RL設置中工作都是未來工作的必要領域。

深度學習的研究在許多機器學習任務上產生了最先進的結果。大多數的進步都是由直覺和通過試驗和錯誤進行的大規模探索推動的。因此，目前理論落后于實踐。ML社區并不完全理解為什么最好的方法是有效的。來自UIUC Matus Telgarsky教授撰寫了關于深度學習理論筆記，值得關注。

地址： //mjt.cs.illinois.edu/dlt/

這些筆記的哲學。兩個關鍵的觀點決定了到目前為止所包含的內容。 我的目標是對文獻中出現的東西提供簡化的證明，理想情況下，把困難的東西簡化成適合一節課的東西。 我主要關注通過標準(通常是ReLU)前饋網絡實現IID數據的二進制分類的低測試誤差的經典觀點。

內容組織：

• 近似 (從第1節開始): 給定一個分類問題，存在一個深度網絡，在分布上實現低誤差。

• 優化 (從第9節開始): 對于一個分類問題，給定一個有限的訓練集，存在尋找低訓練誤差和低復雜度的預測器的算法。

• 泛化 (從第16節開始): 對于低復雜度的網絡，訓練和測試誤差之間的差距很小。