亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Adaptive Methods for Real-World Domain Generalization

不變方法在解決領域泛化問題方面已經取得了顯著的成功，該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中，我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域，我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外，我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC，該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本，比之前的工作大了幾個數量級。我們表明，現有的方法要么不能擴展到這個數據集，要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下，我們的方法獲得了顯著的1%的改進。

//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b

論文：Adaptive Consistency Regularization for Semi-Supervised Transfer Learning 鏈接： //www.zhuanzhi.ai/paper/43d085f2c66d68b77584edcb0ee36ba0 代碼：

盡管最近半監督學習的研究在利用標記和未標記數據方面有顯著進步，但大多數假設模型的基本設置是隨機初始化的。

因此本文將半監督學習和遷移學習相結合提出了一種半監督的轉移學習框架，該方法不僅能利用目標域（目標任務數據集）中的標記/未標記數據，還能利用源域（具有不同語義的通用數據集，如：ImageNet）中的預訓練模型。為了更好地利用預訓練權重和未標記目標數據，我們引入了自適應一致性正則化，它由兩個互補組件組成：源模型和目標模型之間的示例上的自適應知識一致性（AKC），以及自適應表示一致性（ARC） ），在目標模型上標記和未標記的示例之間，根據它們對目標任務的潛在貢獻，自適應地選擇一致性正則化中涉及的示例。

通過微調ImageNet預訓練的ResNet-50模型，我們在幾個流行的基準上進行了廣泛的實驗，包括CUB-200-2011，MIT Indoor-67，MURA。結果表明，我們提出的自適應一致性正則化性能優于最新的半監督學習技術，例如Pseudo Label，Mean Teacher和MixMatch。此外，我們的算法能與現有方法共同使用，因此能夠在MixMatch和FixMatch之上獲得其他改進。

本文的主要貢獻包含以下三點：

1、第一個提出用于深度神經網絡的半監督轉移學習框架 2、利用半監督學習和轉移學習的特性引入自適應一致性正則化來改善半監督轉移學習 3、實驗結果表明所提出的自適應一致性正則化性能優于最新的半監督學習技術

以往的人臉圖像質量評估研究大多以樣本層面不確定性或配對相似度作為質量評分標準，而且只考慮部分類內信息。這些方法忽略了來自類間有價值的信息。在本研究中，對于人臉識別系統，我們認為一個高質量的人臉圖像應該與其類內樣本相似，而與其類間樣本不相似，如圖1所示。為此，我們提出了一種基于類內-類間相似度分布距離的無監督人臉質量評估方法(SDD-FIQA)。

//www.zhuanzhi.ai/paper/b51b03b10fb5b413e14282835e0e8a6a

該方法從人臉識別的性能影響因子出發，從理論上推導出人臉樣本類間相似度分布與人臉圖像質量高度相關，利用類內相似度分布和類間相似度分布之間的Wasserstein距離生成人臉圖像質量偽標簽。然后，利用這些質量偽標簽進行無監督訓練一個人臉質量回歸網絡，從而獲得一個質量評估模型。大量實驗表明，在各大人臉識別的基準數據集上，提出的SDD-FIQA方法在不同的人臉識別系統下，精度和泛化能力都達到國際最先進水平。

主要創新點：1）發現了人臉樣本類間相似度分布與人臉圖像質量高度相關；2）提出了類內-類間相似度分布距離的概念；3）從理論上導出了人臉圖像質量與類內-類間相似度分布距離直接相關；4）提出了利用Wasserstein準則度量類內-類間相似度分布距離，并用于人臉圖像質量評分；5）實現了一種完全無監督的人臉圖像質量評估算法，性能最優。

自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。

在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。

//www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

我們提出了自監督幾何感知(SGP)，這是第一個學習特征描述符進行對應匹配的通用框架，不需要任何真實的幾何模型標簽(例如，相機姿態，剛性轉換)。我們的第一個貢獻是將幾何感知形式化為一個優化問題，在給定大量視覺測量數據(如圖像、點云)的基礎上，聯合優化特征描述符和幾何模型。在這個優化公式下，我們展示了視覺領域的兩個重要的研究流，即魯棒模型擬合和深度特征學習，對應著優化未知變量的一個塊，同時固定另一個塊。這種分析自然引出了我們的第二個貢獻——SGP算法，它執行交替最小化來解決聯合優化。SGP迭代地執行兩個元算法:一個教師對已知的學習特征進行魯棒模型擬合以生成幾何偽標簽，一個學生在偽標簽的嘈雜監督下進行深度特征學習。作為第三個貢獻，我們將SGP應用于大規模真實數據集上的兩個感知問題，即MegaDepth上的相對相機姿態估計和3DMatch上的點云配準。我們證明，SGP達到了最先進的性能，與使用真實標簽訓練的受監督的模型相當。

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。

基于卷積神經網絡的方法在語義分割方面取得了顯著的進展。然而，這些方法嚴重依賴于注釋數據，這是勞動密集型的。為了解決這一限制，使用從圖引擎生成的自動注釋數據來訓練分割模型。然而，從合成數據訓練出來的模型很難轉換成真實的圖像。為了解決這個問題，以前的工作已經考慮直接將模型從源數據調整到未標記的目標數據(以減少域間的差距)。盡管如此，這些技術并沒有考慮到目標數據本身之間的巨大分布差異(域內差異)。在這項工作中，我們提出了一種兩步自監督域適應方法來減少域間和域內的差距。首先，對模型進行域間自適應;在此基礎上，我們使用基于熵的排序函數將目標域分成簡單和困難的兩部分。最后，為了減小域內間隙，我們提出了一種自監督自適應技術。在大量基準數據集上的實驗結果突出了我們的方法相對于現有的最先進方法的有效性。

深度和大型的預訓練語言模型是各種自然語言處理任務的最新技術。然而，這些模型的巨大尺寸可能會阻礙在實踐中使用它們。最近的一些并行工作使用知識蒸餾來將這些龐大的模型壓縮成小型模型。在這項工作中，我們以多語言命名實體識別(NER)為重點來研究知識蒸餾。特別地，我們研究了幾種提煉策略，并提出了一種利用教師內部表征的階段性優化方案，該方案不考慮教師體系結構，并證明其優于以往工作中所采用的策略。此外，我們還研究了幾個因素的作用，比如未標記數據的數量、注釋資源、模型架構和推理延遲等等。我們證明，我們的方法可以將類mbert教師模型的參數壓縮高達35倍，批量推理的延遲壓縮51倍，而NER超過41種語言的95%的f1分都保留下來。

無監督域自適應(UDA)是在給定源域上有標記數據的情況下，對目標域上的無標記數據進行預測。主流的UDA方法學習這兩個域之間的對齊特征，這樣一個訓練在源特征上的分類器可以很容易地應用到目標特征上。但是，這種轉移策略有可能破壞目標數據的內在辨別能力。為了緩解這種風險，我們基于結構域相似度的假設，提出通過對目標數據進行判別聚類，直接發現目標的內在歧視。我們利用基于結構域相似性的結構源正則化約束聚類解。在技術上，我們使用了一個靈活的基于判別聚類的深度網絡框架，使網絡的預測標簽分布與引入的輔助標簽分布之間的KL分歧最小化;用源數據的基真標簽形成的輔助分布代替輔助分布，通過簡單的聯合網絡訓練策略實現了結構源的正則化。我們將提出的方法稱為結構正則化深度聚類(SRDC)，其中我們還使用中間網絡特征的聚類來增強目標識別，并使用較少發散的源實例的軟選擇來增強結構正則化。仔細的消融研究顯示了我們提出的SRDC的療效。值得注意的是，在沒有顯式域對齊的情況下，SRDC在三個UDA基準上的性能優于所有現有方法。