亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目 Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings

摘要：

本文提出了一種新的基于流形的幾何學習方法來學習源語言和目標語言之間的無監督詞嵌入對齊。該方法將對列學習問題歸結為雙隨機矩陣流形上的域適應問題。這一觀點的提出是為了對齊兩個語言空間的二階信息。利用雙隨機流形的豐富幾何性質，提出了一種高效的黎曼流形的共軛梯度算法。從經驗上看，該方法在跨語言對的雙語詞匯歸納任務中表現優于基于最優遷移的方法。遠程語言對性能的提高更為顯著。

【導讀】現有的機器學習方法在很多場景下需要依賴大量的訓練樣本。但機器學習方法是否可以模仿人類，基于先驗知識等，只基于少量的樣本就可以進行學習。本文介紹34頁小樣本學習綜述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》，包含166篇參考文獻，來自第四范式和香港科技大學習的研究學者。

小樣本學習綜述 Few-shot Learning: A Survey

【摘要】機器學習在數據密集型應用中非常成功，但當數據集很小時，它常常受到阻礙。為了解決這一問題，近年來提出了小樣本學習(FSL)。利用先驗知識，FSL可以快速地泛化到只包含少量有監督信息的樣本的新任務中。在這篇論文中，我們進行了一個徹底的調研，以充分了解FSL。從FSL的正式定義出發，我們將FSL與幾個相關的機器學習問題區分開來。然后指出了FSL的核心問題是經驗風險最小化是不可靠的。基于先驗知識如何處理這一核心問題，我們從三個角度對FSL方法進行了分類: (i) 數據，它使用先驗知識來增加監督經驗;(二) 利用先驗知識縮小假設空間大小的模型;(iii)算法，利用先驗知識在給定的假設空間中改變對最佳假設的搜索。有了這種分類法，我們就可以回顧和討論每個類別的優缺點。在FSL問題的設置、技術、應用和理論方面也提出了有前景的方向，為未來的研究提供了見解。

• 我們給出了FSL的形式化定義。它可以自然地鏈接到以往文獻中提出的經典機器學習定義。這個定義不僅足夠概括，包括所有現有的FSL -shot Learning: A Survey problems，而且足夠具體，明確了什么是FSL的目標，以及我們如何解決它。這一定義有助于確定未來FSL領域的研究目標。

• 指出了基于誤差分解的FSL在機器學習中的核心問題。我們發現，正是不可靠的經驗風險最小化使得FSL難以學習。這可以通過滿足或降低學習的樣本復雜度來緩解。理解核心問題有助于根據解決核心問題的方式將不同的工作分類為數據、模型和算法。更重要的是，這為更有組織和系統地改進FSL方法提供了見解。

• 我們對從FSL誕生到最近發表的文獻進行了廣泛的回顧，并將它們進行了統一的分類。對不同類別的優缺點進行了深入的討論。我們還對每個類別下的見解進行了總結。這對于初學者和有經驗的研究人員都是一個很好的指導方針。

• 我們在問題設置、技術、應用和理論方面展望了FSL未來的四個發展方向。這些見解都是基于當前FSL發展的不足之處，并有可能在未來進行探索。我們希望這部分能夠提供一些見解，為解決FSL問題做出貢獻，為真正的AI而努力。

• 與已有的關于小樣本概念學習和經驗學習的FSL相關調相比，我們給出了什么是FSL，為什么FSL很難，以及FSL如何將小樣本監督信息與先驗知識結合起來使學習成為可能的正式定義。我們進行了廣泛的文獻審查的基礎上提出的分類法與詳細討論的利弊，總結和見解。我們還討論了FSL與半監督學習、不平衡學習、遷移學習和元學習等相關話題之間的聯系和區別

元學習利用相關的源任務來學習初始化，可以通過有限的標記示例將初始化快速調整到目標任務。然而，許多流行的元學習算法，如模型無關元學習(MAML)，都只假設可以訪問目標樣本進行微調。在這項工作中，我們提供了一個通用的元學習框架，該框架基于對不同源任務的損失進行加權，其中的權重允許依賴于目標樣本。在這個一般的設置中，我們提供了基于積分概率度量(IPM)和Rademacher復雜性的源任務加權經驗風險和預期目標風險之間距離的上限，該上限適用于包括MAML和加權MAML變體在內的許多元學習設置。然后開發一個基于最小化誤差學習算法對實證IPM,包括α-MAML加權MAML算法。最后，我們實證地證明了我們的加權元學習算法能夠比單加權元學習算法(如MAML)找到更好的初始化。

【導讀】計算機視覺頂會CVPR 2020在不久前公布了論文接收列表。本屆CVPR共收到了6656篇有效投稿，接收1470篇，其接受率在逐年下降，今年接受率僅為22%。近期，一些Paper放出來，Domain Adaptation（域自適應）相關研究非常火熱，特別是基于Domain Adaptation的視覺應用在今年的CVPR中有不少，專知小編整理了CVPR 2020 域自適應（DA）相關的比較有意思的值得閱讀的六篇論文，供大家參考—行為分割、語義分割、目標檢測、行為識別、域自適應檢索。

1. Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation

作者：Min-Hung Chen, Baopu Li, Yingze Bao, Ghassan AlRegib, Zsolt Kira

摘要：盡管最近在全監督行為分割（action segmentation）技術方面取得了一些進展，但性能仍然不盡如人意。一個主要挑戰是時空變化問題(例如，不同的人可能以不同的方式進行相同的活動)。因此，我們利用無標簽視頻將行為分割任務重新表述為一個具有時空變化引起的域差異的跨域問題來解決上述時空變化問題。為了減少這種域差異，我們提出了自監督時域自適應(SSTDA)，它包含兩個自監督輔助任務(二進制和序列域預測)來聯合對齊嵌入局部和全局時間動態的跨域特征空間，取得了比其他域自適應(DA)方法更好的性能。在三個具有挑戰性的基準數據集(GTEA、50Salads和Breakfast)上，SSTDA的表現遠遠超過當前最先進的方法(在Breakfas上F1@25得分從59.6%到69.1%，在50Salads上F1@25得分從73.4%到81.5%，在GTEA上F1@25得分從83.6%到89.1%)，并且只需要65%的標記訓練數據來就實現了該性能，這表明了SSTDA在各種變化中適應未標記目標視頻的有效性。

網址：

代碼鏈接：

2. Differential Treatment for Stuff and Things:A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

作者：Zhonghao Wang, Mo Yu, Yunchao Wei, Rogerior Feris, Jinjun Xiong, Wen-mei Hwu, Thomas S. Huang, Honghui Shi

摘要：本文通過緩解源域(合成數據)和目標域(真實數據)之間的域轉換（domain shift），研究語義分割中的無監督域自適應問題。之前的方法證明，執行語義級對齊有助于解決域轉換問題。我們觀察到事物類別通常在不同域的圖像之間具有相似的外觀，而事物（即目標實例）具有更大的差異，我們提出使用針對填充（stuff）區域和事物的不同策略來改進語義級別的對齊方式：1）對于填充類別，我們為每一類生成特征表示，并進行從目標域到源域的對齊操作；2）對于事物（thing）類別，我們為每個單獨的實例生成特征表示，并鼓勵目標域中的實例與源域中最相似的實例對齊。以這種方式，事物類別內的個體差異也將被考慮，以減輕過度校準。除了我們提出的方法之外，我們還進一步揭示了當前對抗損失在最小化分布差異方面經常不穩定的原因，并表明我們的方法可以通過最小化源域和目標域之間最相似的內容和實例特征來幫助緩解這個問題。

網址：

3. Exploring Categorical Regularization for Domain Adaptive Object Detection

作者：Chang-Dong Xu, Xing-Ran Zhao, Xin Jin, Xiu-Shen Wei

摘要：在本文中，我們解決了域自適應目標檢測問題，其中的主要挑戰在于源域和目標域之間存在明顯的域差距。以前的工作試圖明確地對齊圖像級和實例級的移位，以最小化域差異。然而，它們仍然忽略了去匹配關鍵圖像區域和重要的跨域實例，這將嚴重影響域偏移緩解。在這項工作中，我們提出了一個簡單有效的分類正則化框架來緩解這個問題。它可以作為一個即插即用（plug-and-play）組件應用于一系列域自適應Faster R-CNN方法，這些方法在處理域自適應檢測方面表現突出。具體地說，由于分類方式的定位能力較弱，通過在檢測主干上集成圖像級多標簽分類器，可以獲得與分類信息相對應的稀疏但關鍵的圖像區域。同時，在實例級，我們利用圖像級預測(分類器)和實例級預測(檢測頭)之間的分類一致性作為正則化因子，自動尋找目標域的硬對齊實例。各種域轉移場景的大量實驗表明，與原有的域自適應Faster R-CNN檢測器相比，我們的方法獲得了顯著的性能提升。此外，定性的可視化和分析可以證明我們的方法能夠關注針對領域適配的關鍵區域/實例。

網址：

代碼鏈接：

4. Multi-Modal Domain Adaptation for Fine-Grained Action Recognition

作者：Jonathan Munro, Dima Damen

摘要：細粒度行為識別數據集存在出環境偏差，多個視頻序列是從有限數量的環境中捕獲的。在一個環境中訓練模型并在另一個環境中部署會由于不可避免的域轉換而導致性能下降。無監督域適應(UDA)方法經常利用源域和目標域之間進行對抗性訓練。然而，這些方法并沒有探索視頻在每個域中的多模式特性。在這項工作中，除了對抗性校準之外，我們還利用模態之間的對應關系作為UDA的一種自監督校準方法。

我們在大規模數據集EPIC-Kitchens中的三個kitchens上使用行為識別的兩種模式：RGB和光學流（Optical Flow）測試了我們的方法。結果顯示，僅多模態自監督比僅進行源訓練的性能平均提高了2.4％。然后，我們將對抗訓練與多模態自監督相結合，表明我們的方法比其他UDA方法要好3％。

網址：

5. Learning Texture Invariant Representation for Domain Adaptation of Semantic Segmentation

作者：Myeongjin Kim, Hyeran Byun

摘要：由于用于語義分割的像素級標簽標注很費力，因此利用合成數據是一種更好的解決方案。然而，由于合成域和實域之間存在領域鴻溝，用合成數據訓練的模型很難推廣到真實數據。本文將這兩個領域之間的根本差異作為紋理，提出了一種自適應目標域紋理的方法。首先，我們使用樣式轉移算法使合成圖像的紋理多樣化。合成圖像的各種紋理防止分割模型過擬合到一個特定(合成)紋理。然后，通過自訓練對模型進行微調，得到對目標紋理的直接監督。我們的結果達到了最先進的性能，并通過大量的實驗分析了在多樣化數據集上訓練的模型的性質。

網址：

6. Probability Weighted Compact Feature for Domain Adaptive Retrieval

作者：Fuxiang Huang, Lei Zhang, Yang Yang, Xichuan Zhou

摘要：域自適應圖像檢索包括單域檢索和跨域檢索。現有的圖像檢索方法大多只關注單個域的檢索，假設檢索數據庫和查詢的分布是相似的。然而，在實際應用中，通常在理想光照/姿態/背景/攝像機條件下獲取的檢索數據庫與在非受控條件下獲得的查詢之間的差異很大。本文從實際應用的角度出發，重點研究跨域檢索的挑戰性問題。針對這一問題，我們提出了一種有效的概率加權緊湊特征學習(PWCF)方法，它提供域間相關性指導以提高跨域檢索的精度，并學習一系列緊湊二進制碼（compact binary codes）來提高檢索速度。首先，我們通過最大后驗估計(MAP)推導出我們的損失函數：貝葉斯(BP)誘發的focal-triplet損失、BP誘發的quantization損失和BP誘發的分類損失。其次，我們提出了一個通用的域間復合結構來探索域間的潛在相關性。考慮到原始特征表示因域間差異而存在偏差，復合結構難以構造。因此，我們從樣本統計的角度提出了一種新的特征—鄰域直方圖特征(HFON)。在不同的基準數據庫上進行了大量的實驗，驗證了我們的方法在領域自適應圖像檢索中的性能優于許多最先進的圖像檢索方法。

網址：

代碼鏈接：

主題： Exploring Categorical Regularization for Domain Adaptive Object Detection

摘要： 在本文中，我們解決了域自適應對象檢測問題，其中主要挑戰在于源域和目標域之間的顯著域間隙。先前的工作試圖使圖像級別和實例級別的轉換明確對齊，以最終將域差異最小化。但是，它們仍然忽略了跨域匹配關鍵圖像區域和重要實例，這將嚴重影響域偏移緩解。在這項工作中，我們提出了一個簡單但有效的分類正則化框架來緩解此問題。它可以作為即插即用組件應用于一系列領域自適應快速R-CNN方法，這些方法在處理領域自適應檢測方面非常重要。具體地，通過將??圖像級多標簽分類器集成到檢測主干上，由于分類方式的定位能力較弱，我們可以獲得與分類信息相對應的稀疏但至關重要的圖像區域。同時，在實例級別，我們利用圖像級別預測（通過分類器）和實例級別預測（通過檢測頭）之間的分類一致性作為規則化因子，以自動尋找目標域的硬對齊實例。各種域移位方案的大量實驗表明，與原始的域自適應快速R-CNN檢測器相比，我們的方法獲得了顯著的性能提升。此外，定性的可視化和分析可以證明我們的方法參加針對領域適應的關鍵區域/實例的能力。

時間序列數據的GANs通常使用滑動窗口或自我注意力來捕獲底層的時間依賴關系。雖然這些技術沒有明確的理論依據，但它們成功地大幅減小了判別器的尺寸，加快了訓練過程，提高了生成質量。本文給出了時間序列數據等由貝葉斯網絡捕獲的具有條件獨立結構的高維分布的廣義統計分析的理論基礎和實踐框架。我們證明了幾個概率發散滿足關于貝葉斯網絡圖鄰域的次可加性性質，給出了兩個貝葉斯網絡之間距離的一個上界，這個上界是圖上每個鄰域上它們的邊緣距離之和。這就引出了我們提出的次加性GAN框架，該框架在Bayes-net的鄰近區域使用一組簡單的判別器，而不是在整個網絡上使用一個巨大的鑒別器，從而提供了顯著的統計和計算優勢。我們證明了包括Jensen-Shannon, Total Variation, 和Wasserstein在內的幾個概率距離具有次加性或廣義次加性。此外，我們還證明了積分概率矩陣(IPMs)在某些溫和條件下也具有次可加性。此外，我們證明了幾乎所有的f-發散都滿足局部次加性，當分布相對接近時，局部次加性保持不變。我們在合成數據集和真實數據集上的實驗驗證了所提出的理論和次加性GANs的優點。

本文研究了無監督多類域適應的形式化，它是近年來一些學習目標僅由經驗驅動的算法的基礎。多類評分分歧(MCSD)是通過聚合多類分類中的絕對間隔偏離;所提出的MCSD能夠充分刻畫任意一對多類評分假設之間的關系。通過使用MCSD作為域距離的度量，我們為多類UDA開發了一個新的域適配邊界，以及它的依賴于數據的(可能是近似正確的)邊界，這自然地提出了對抗性的學習目標來對齊源域和目標域的條件特征分布。因此，一個多類領域對抗學習網絡(McDalNets)的算法框架被開發出來，它通過代理學習目標的不同實例與最近流行的一些方法相一致或相似，從而(部分地)強調了它們的實際有效性。在多類UDA理論的基礎上，提出了一種新的域對稱網絡(SymmNets)算法。symmnet提供了簡單的擴展，這些擴展在封閉集、部分集或開放集UDA的問題設置下都可以很好地工作。我們進行了仔細的實證研究，以比較不同的算法的McDalNets和我們的新推出的SymmNets。實驗結果驗證了理論分析的正確性和有效性。我們公開了我們的實現代碼。

題目： Optimization for deep learning: theory and algorithms

摘要：

什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸、消失問題，然后討論了實際的解決方案，包括初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法以及這些算法的理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、無限寬度分析。

作者：

Ruoyu Sun是伊利諾伊大學厄本那香檳分校 (UIUC)電子與計算機工程系的助理教授，研究優化和機器學習，尤其是深度學習。最近，一直在研究深度學習中的最優化，例如神經網絡，GANs和Adam。

摘要

什么時候以及為什么能夠成功地訓練神經網絡?本文概述了神經網絡的優化算法和訓練理論。首先，我們討論了梯度爆炸/消失問題和更一般的不期望譜問題，然后討論了實際的解決方案，包括仔細的初始化和歸一化方法。其次，我們回顧了用于訓練神經網絡的一般優化方法，如SGD、自適應梯度方法和分布式方法，以及這些算法的現有理論結果。第三，我們回顧了現有的關于神經網絡訓練的全局問題的研究，包括局部極值的結果、模式連接、彩票假設和無限寬度分析。

1. 概述

本文的一個主要主題是了解成功訓練神經網絡的實際組成部分，以及可能導致訓練失敗的因素。假設你在1980年試圖用神經網絡解決一個圖像分類問題。如果你想從頭開始訓練一個神經網絡，很可能你最初的幾次嘗試都沒有得到合理的結果。什么本質的變化使算法能有效進行?在高層次上，你需要三樣東西(除了強大的硬件): 合適的神經網絡、合適的訓練算法和合適的訓練技巧。

合適的神經網絡。這包括神經結構和激活功能。對于神經結構，您可能想要用一個至少有5層和足夠神經元的卷積網絡來替換一個完全連接的網絡。為了獲得更好的性能，您可能希望將深度增加到20甚至100，并添加跳躍skip連接。對于激活函數，一個好的起點是ReLU激活，但是使用tanh或swish激活也是合理的。

訓練算法。一個大的選擇是使用隨機版本的梯度下降(SGD)并堅持它。良好調整的步長足夠好，而動量和自適應步長可以提供額外的好處。

訓練技巧。適當的初始化對于算法的訓練是非常重要的。要訓練一個超過10層的網絡，通常需要兩個額外的技巧:添加規范化層和添加跳過連接。

哪些設計選擇是必要的?目前我們已經了解了一些設計選擇，包括初始化策略、規范化方法、跳過連接、參數化(大寬度)和SGD，如圖1所示。我們將優化優勢大致分為三部分: 控制Lipschitz常數、更快的收斂速度和更好的landscape。還有許多其他的設計選擇是很難理解的，尤其是神經架構。無論如何，似乎不可能理解這個復雜系統的每個部分，目前的理解已經可以提供一些有用的見解。

圖1: 成功訓練具有理論理解的神經網絡的幾個主要設計選擇。它們對算法收斂的三個方面有影響:使收斂成為可能、更快的收斂和更好的全局解。這三個方面有一定的聯系，只是一個粗略的分類。請注意，還有其他一些重要的設計選擇，特別是神經體系結構，它們在理論上還沒有被理解，因此在該圖中被省略了。還有其他好處，比如泛化，也被忽略了。

為了使綜述調查簡單，我們將重點研究前饋神經網絡的監督學習問題。我們將不討論更復雜的公式，如GANs(生成對抗網絡)和深度強化學習，也不討論更復雜的體系結構，如RNN(遞歸神經網絡)、attention和Capsule。在更廣泛的背景下，監督學習理論至少包含表示、優化和泛化(參見1.1節)，我們不詳細討論表示和泛化。一個主要的目標是理解神經網絡結構(由許多變量連接的參數化)如何影響優化算法的設計和分析，這可能會超越監督學習。

這篇文章是為那些對神經網絡優化的理論理解感興趣的研究人員寫的。關于優化方法和基礎理論的先驗知識將非常有幫助(參見，[24,200,29]的準備)。現有的關于深度學習優化的調查主要針對一般的機器學習受眾，如Goodfellow等[76]的第8章。這些綜述通常不深入討論優化的理論方面。相反，在這篇文章中，我們更多地強調理論結果，同時努力使它對非理論讀者具有可訪問性。如果可能的話，我們將提供一些簡單的例子來說明這種直覺，我們將不解釋定理的細節。

1.1 大景觀：分解理論

分解是發展理論的一個有用且流行的元方法。首先簡要回顧了優化在機器學習中的作用，然后討論了如何分解深度學習的優化理論。

表示、優化和泛化。監督學習的目標是根據觀察到的樣本找到一個近似底層函數的函數。第一步是找到一個豐富的函數家族(如神經網絡)，可以代表理想的函數。第二步是通過最小化某個損失函數來識別函數的參數。第三步是使用第二步中找到的函數對不可見的測試數據進行預測，產生的錯誤稱為測試錯誤。測試誤差可以分解為表示誤差、優化誤差和泛化誤差，分別對應這三個步驟引起的誤差。

在機器學習中，表示、優化和泛化這三個學科經常被分開研究。例如，在研究一類函數的表示能力時，我們往往不關心優化問題能否很好地解決。在研究泛化誤差時，我們通常假設已經找到了全局最優值(概化調查見[95])。類似地，在研究優化屬性時，我們通常不明確地考慮泛化誤差(但有時我們假定表示誤差為零)。

優化問題的分解。深度學習的優化問題比較復雜，需要進一步分解。優化的發展可以分為三個步驟。第一步是使算法開始運行，并收斂到一個合理的解，如一個固定點。第二步是使算法盡快收斂。第三步是確保算法收斂到一個低目標值的解(如全局極小值)。要獲得良好的測試精度，還有一個額外的步驟，但是這超出了優化的范圍。簡而言之，我們將優化問題分為三個部分: 收斂性、收斂速度和全局質量。

大部分工作的回顧分為三個部分: 第四部分，第五部分和第六部分。大致說來，每個部分主要是由優化理論的三個部分之一。然而，這種劃分并不精確，因為這三個部分之間的邊界是模糊的。例如，第4節中討論的一些技術也可以提高收斂速度，第6節中的一些結果解決了收斂問題和全局問題。劃分的另一個原因是它們代表了神經網絡優化的三個相當獨立的子領域，并且在一定程度上是獨立發展的。

1.2 文章結構

這篇文章的結構如下。在第二節中，我們提出了一個典型的監督學習神經網絡優化問題。在第三節中，我們提出了反向傳播(BP)，并分析了將經典收斂分析應用于神經網絡梯度下降的困難。在第四節中，我們將討論訓練神經網絡的神經網絡特定技巧，以及一些基本理論。這些是神經網絡相關的方法，打開了神經網絡的黑盒子。特別地，我們討論了一個主要的挑戰，稱為梯度爆炸/消失和一個更普遍的挑戰，控制頻譜，并回顧了主要的解決方案，如仔細的初始化和歸一化方法。在第五節中，我們討論了將神經網絡視為一般非凸優化問題的泛型算法設計。特別地，我們回顧了SGD的各種學習速率調度、自適應梯度方法、大規模分布式訓練、二階方法以及現有的收斂和迭代復雜度結果。在第六節中，我們回顧了神經網絡的全局優化研究，包括全局景觀、模式連接、彩票假設和無限寬度分析(如神經正切核)。

?

更多請下載論文查看

便捷下載，請關注專知公眾號（點擊上方藍色專知關注）

后臺回復“

主題： Model-Based Reinforcement Learning:Theory and Practice

摘要： 強化學習系統可以通過兩種方式之一做出決策。在基于模型的方法中，系統使用世界的預測模型來提問“如果我做x會發生什么？”？“選擇最好的x1。在另一種無模型方法中，建模步驟被完全忽略，有利于直接學習控制策略。盡管在實踐中，這兩種技術之間的界限可能變得模糊，但作為一種粗略的指導，它對于劃分算法可能性的空間是有用的。

嘉賓簡介： Michael Janner，伯克利人工智能研究實驗室的一名博士生。