亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在這篇論文中，我們提出了用于學習和應用多源知識圖譜（KG）嵌入的“聯合預訓練和局部重訓”框架。我們的動機是，不同的KG包含可以改進KG嵌入和下游任務的互補信息。我們在鏈接的多源KG上預訓練一個大型的教師KG嵌入模型，并將知識蒸餾到針對特定任務的KG的學生模型中。為了實現不同KG之間的知識轉移，我們使用實體對齊來構建一個連接預訓練KG和目標KG的鏈接子圖。這個鏈接子圖被重新訓練，進行從教師到學生的三級知識蒸餾，即特征知識蒸餾，網絡知識蒸餾和預測知識蒸餾，以生成更有表現力的嵌入。教師模型可以被重復用于不同的目標KG和任務，無需從頭開始訓練。我們進行了大量的實驗來展示我們的框架的有效性和效率。

//www.zhuanzhi.ai/paper/7c51aae482b4dfe47e2d387915dbcf24

由于大規模模型的端到端訓練，視覺和語言預訓練的成本變得越來越令人望而卻步。本文提出BLIP-2，一種通用而有效的預訓練策略，從現成的凍結預訓練圖像編碼器和凍結的大型語言模型中引導視覺-語言預訓練。BLIP-2通過一個輕量級的查詢Transformer彌合了模式差距，該Transformer分兩個階段進行預訓練。第一階段從凍結的圖像編碼器中引導視覺-語言表示學習。第二階段從一個凍結的語言模型中引導視覺到語言的生成學習。BLIP-2在各種視覺語言任務上取得了最先進的性能，盡管可訓練參數比現有方法少得多。例如，所提出模型在零樣本VQAv2上的表現比Flamingo80B高出8.7%，可訓練參數減少了54倍。還展示了該模型的零樣本圖像到文本生成的新興能力，可以遵循自然語言指令。

//www.zhuanzhi.ai/paper/07f6ce13e18cd1dc714cf3d3f88d1e56

最近，自監督預訓練范式在利用大規模無標記數據來提高下游任務性能方面顯示出了巨大的潛力。然而，在現實場景中增加無標記預訓練數據的規模，需要驚人的計算成本，并面臨著未經策劃的樣本的挑戰。為解決這些問題，本文從數據選擇的角度構建了一個特定于任務的自監督預訓練框架，基于一個簡單的假設，對與目標任務分布相似的未標記樣本進行預訓練，可以帶來實質性的性能提升。在該假設的支持下，通過引入數據選擇的檢索管道，提出了第一個可擴展和高效的視覺預訓練(SEPT)的新框架。首先利用自監督預訓練模型提取整個未標記數據集的特征，用于檢索管道初始化;然后，針對特定的目標任務，基于每個目標實例的特征相似度，從無標記數據集中檢索最相似的樣本進行預訓練;最后，使用選取的無標簽樣本對目標模型進行自監督預訓練，實現目標數據微調。通過解耦預訓練規模和目標任務的可用上游數據，SEPT實現了上游數據集的高可擴展性和預訓練的高效性，從而實現了高模型架構靈活性。在各種下游任務上的結果表明，與ImageNet預訓練相比，SEPT可以實現具有競爭力甚至更好的性能，同時將訓練樣本的大小減少一個量級，而不需要借助任何額外的注釋。

Transformer在學習視覺和語言表示方面取得了巨大的成功，這在各種下游任務中都是通用的。在視覺控制中，學習可在不同控制任務間遷移的可遷移狀態表示對于減少訓練樣本的大小具有重要意義。然而，將Transformer移植到采樣高效的視覺控制仍然是一個具有挑戰性和未解決的問題。為此，我們提出了一種新穎的控制Transformer(CtrlFormer)，它具有許多現有技術所沒有的吸引人的優點。首先，CtrlFormer在不同控制任務之間聯合學習視覺令牌和策略令牌之間的自注意力機制，可以在不發生災難性遺忘的情況下學習和遷移多任務表示。其次，我們精心設計了一個對比強化學習范式來訓練CtrlFormer，使其能夠達到較高的樣本效率，這在控制問題中是非常重要的。例如，在DMControl基準測試中，不像最近的先進方法在使用100k樣本遷移學習后在“Cartpole”任務中產生零分而失敗，CtrlFormer可以在僅使用100k樣本的情況下獲得769±34的最先進的分數，同時保持之前任務的性能。代碼和模型發布在我們的項目主頁上。

//www.zhuanzhi.ai/paper/9692ae63f6623f9fc8ad4d18583f4002

現有的視覺和語言學習方法通常需要為每個任務設計特定于任務的架構和目標。例如，用于視覺問答的多標簽答案分類器、用于參考表達式理解的區域評分器和用于圖像字幕的語言解碼器等。為了減輕這些麻煩，在這項工作中，我們提出了一個統一的框架，在同一個語言建模目標的單一體系結構中學習不同的任務，即多模態條件文本生成，我們的模型學習在基于視覺和文本輸入的文本中生成標簽。在7個流行的視覺和語言基準測試中，包括視覺問答，參考表達理解，視覺常識推理，其中大多數之前被建模為判別性任務，我們的生成方法(具有單一統一的體系結構)達到了與最近特定任務的最先進的視覺和語言模型相當的性能。此外，我們的生成方法顯示出更好的泛化能力的問題，有稀有的答案。此外，我們還表明，我們的框架允許在單一體系結構中使用單一參數集進行多任務學習，實現了與單獨優化的單任務模型相似的性能。我們的代碼在//github.com/j-min/VL-T5上公開。

自監督學習已被廣泛應用于從未標記圖像中獲取可轉移的表示。特別是，最近的對比學習方法在下游圖像分類任務中表現出了令人印象深刻的性能。這些對比方法主要集中在語義保留變換下的圖像級上生成不變的全局表示，容易忽略局部表示的空間一致性，因此在目標檢測和實例分割等本地化任務的預處理中存在一定的局限性。此外，在現有的對比方法中使用的積極裁剪視圖可以最小化單個圖像中語義不同區域之間的表示距離。

在本文中，我們提出了一種用于多目標和特定位置任務的空間一致表示學習算法(SCRL)。特別地，我們設計了一個新的自監督目標，試圖根據幾何平移和縮放操作產生隨機裁剪局部區域的連貫空間表示。在使用基準數據集的各種下游定位任務上，提出的SCRL顯示了相對于圖像級監督前訓練和最先進的自監督學習方法的顯著性能改進。代碼將會被發布。

//www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

Adaptive Consistency Regularization for Semi-Supervised Transfer Learning Abulikemu Abuduweili1,2*, Xingjian Li1,3? , Humphrey Shi2? , Cheng-Zhong Xu3 , Dejing Dou1?

雖然最近關于半監督學習的研究在利用標記和未標記數據方面取得了顯著進展，但大多數研究都假定模型的基本設置是隨機初始化的。在這項工作中，我們將半監督學習和遷移學習結合起來，從而形成一個更實用和更具競爭力的范式，該范式可以利用來自源領域的強大的預訓練模型以及目標領域的標記/未標記數據。更好地利用pre-trained權重和標記的價值目標的例子,我們引入自適應一致性互補正規化,由兩部分組成:自適應知識一致性(AKC)在源和目標之間的示例模型和自適應表示一致性(AKC)標記和未標記示例之間的目標模型。一致性正則化所涉及的實例是根據它們對目標任務的潛在貢獻自適應選擇的。通過微調ImageNet預先訓練的ResNet-50模型，我們對流行基準進行了廣泛的實驗，包括CIFAR-10、CUB-200、Indoor67和MURA。結果表明，我們提出的自適應一致性正則化優于最先進的半監督學習技術，如偽標簽、Mean Teacher和MixMatch。此外，我們的算法與現有的方法是正交的，因此能夠在MixMatch和FixMatch之上獲得額外的改進。我們的代碼可以在//github.com/SHI-Labs/SemiSupervised-Transfer-Learning上找到。