亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在源領域的帶標簽數據集上訓練的模型向無標簽目標領域的遷移通過無監督領域自適應（UDA）實現。然而，在處理復雜的時間序列模型時，由于不同領域間存在動態時間結構差異，導致特征偏移和時間頻率表示的空缺，使得遷移能力變得具有挑戰性。此外，源領域和目標領域的任務可能具有截然不同的標簽分布，這使得 UDA 很難緩解標簽偏移和識別僅存在于目標領域的標簽。我們提出了 RAINCOAT，這是第一個用于復雜時間序列的封閉集和通用 DA 的模型。RAINCOAT 通過考慮時間和頻率特征，跨領域對齊它們，并糾正不對齊來解決特征和標簽偏移問題，從而有助于檢測私有標簽。此外，RAINCOAT 通過識別目標領域的標簽偏移來提高遷移能力。我們在5個數據集和13個最先進的 UDA 方法上的實驗表明，RAINCOAT 可以實現最高達 16.33% 的性能改進，并且可以有效處理封閉集和通用自適應。

//www.zhuanzhi.ai/paper/5a24ce01774105793faf536c6b26090c

什么對對比學習很重要？我們認為對比學習在很大程度上依賴于有信息量的特征，或“困難的”（正例或負例）特征。早期的方法通過應用復雜的數據增強和大批量或內存庫來包含更多有信息量的特征，最近的工作設計了精細的采樣方法來探索有信息量的特征。探索這些特征的關鍵挑戰是源多視圖數據是通過應用隨機數據增強生成的，這使得始終在增強數據中添加有用信息是不可行的。因此，從這種增強數據中學習到的特征的信息量是有限的。**在本文中，我們提出直接增強潛在空間中的特征，從而在沒有大量輸入數據的情況下學習判別表示。**我們執行元學習技術來構建增強生成器，通過考慮編碼器的性能來更新其網絡參數。然而，輸入數據不足可能會導致編碼器學習坍塌的特征，從而導致增強生成器出現退化的情況。我們在目標函數中進一步添加了一個新的邊緣注入正則化，以避免編碼器學習退化映射。為了在一個梯度反向傳播步驟中對比所有特征，我們采用了優化驅動的統一對比損失，而不是傳統的對比損失。根據實驗驗證，我們的方法在幾個基準數據集上獲得了最先進的結果。

//www.zhuanzhi.ai/paper/31925f8729fad66bf497d7f85ba17dd6

首篇跨域少樣本圖分類

我們通過引入三個新的跨域基準來研究具有非等效特征空間的跨域少樣本圖分類問題。我們還提出了一種基于注意力的圖編碼器，該編碼器使用三個一致的圖形視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息的表示，以便進行知識遷移。我們進行了詳盡的實驗來評估對比學習策略和元學習策略的表現。我們發現，當與基于度量的元學習框架相結合時，所提出的編碼器在所有基準測試中都獲得了最佳的元測試平均分類精度。源代碼和數據將在這里發布://github.com/kavehhassani/metagrl

在“少樣本學習”中，一個模型從幾個被標記的樣本中學習適應新的類別。常見的做法，如使用增強、正則化和預訓練可能有助于緩解數據匱乏，但不能解決這個問題。受人類學習(Lake, Salakhutdinov, and Tenenbaum 2015)的啟發，元學習(Hospedales, et al. 2020)利用類似任務的分布(Satorras, and Estrach 2018)來積累可遷移的經驗知識，這些經驗可以作為快速適應下游任務的強烈歸納偏差(Sung, et al. 2018)。在元學習中，快速學習發生在任務內，而關于任務結構變化的知識是在任務間逐步學習的(Huang and Zitnik 2020)。這種學習知識的例子是嵌入函數(Vinyals et al. 2016; Snell, Swersky, and Zemel 2017; Satorras and Estrach 2018; Sung et al. 2018)，初始參數(Finn, Abbeel, and Levine 2017; Raghu et al. 2020)、優化策略(Li et al. 2017)，或可以直接將訓練樣本映射到網絡權重的模型(Garnelo et al. 2018; Mishra et al. 2018)。

元學習的一個基本假設是，元訓練和元測試階段的任務是從相同的分布中采樣的，即任務是iid。然而，在許多現實世界的應用程序中，從相同的分布中收集任務是不可行的。相反，有來自相同模態但不同領域的數據集。在遷移學習中，源域和目標域之間的特征/標簽空間是不等效的，通常是不重疊的，這被稱為異構遷移學習(Day和Khoshgoftaar 2017)。據觀察，當源域和目標域之間有很大的轉移時，元學習算法被預訓練/微調方法所超越(Chen et al. 2019b)。

計算機視覺方面的一些工作通過歸一化層的元學習統計來解決跨領域的少樣本學習(Tseng et al. 2020; Du et al. 2021)。這些方法局限于仍然包含高度視覺相似性的自然圖像(Guo et al. 2020)。跨域學習對于尺寸變化順序不變的圖結構數據更為重要。與其他常見模態相比，圖形標注更具挑戰性，因為它們通常表示特定領域的概念，如生物學，在這些領域中，通過wet-lab實驗進行標注是資源密集型(Hu et al. 2020b)，而使用領域知識進行程序性標注的成本較高(Sun et al. 2020)。此外，除了在邊際/條件概率分布上的偏移外，非等價和非重疊特征空間在圖數據集上是常見的。例如，可以訪問小分子數據集，其中每個數據集使用不同的特征集來表示分子(Day和Khoshgoftaar 2017)。

據我們所知，這是關于圖的跨域少樣本學習的第一項工作。為了解決這個問題，我們設計了一個以任務為條件的編碼器，它可以學習處理任務的不同表示。我們的貢獻如下:

• 我們引入了跨域少樣本圖分類的三個基準，并進行了詳盡的實驗來評估監督、對比和元學習策略的性能。

• 我們提出了一種圖編碼器，可以學習圖的三個一致視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息，以便進行知識遷移。

• 我們表明，當與基于指標的元測試框架相結合時，所提出的編碼器在所有三個基準上都實現了最佳的平均元測試分類準確度。

方法

圖結構數據可以從兩個一致的視圖進行分析: 上下文視圖和拓撲視圖。上下文視圖基于初始節點或邊緣特征(為了簡單和不失一般性，我們只考慮節點特征)，并攜帶特定于任務的信息。另一方面，拓撲視圖表示圖的拓撲屬性，這些拓撲屬性是任務無關的，因此可以作為錨點來對齊來自特征空間中不同領域的圖。我們利用這種對偶表示，并通過為每個視圖設計專用編碼器來明確地解開它們，這些視圖反過來施加了所需的歸納偏見，以學習特定于任務的域不變特征。在異構的少樣本環境中，拓撲特征有助于跨任務的知識遷移，而上下文特征有助于快速適應。我們還使用了一種注意力機制，該機制隱含地限制了任務，并學習從兩種視圖中聚合學習到的特征。我們采用元學習策略，通過共同學習編碼器參數和注意機制來模擬泛化過程。如圖1所示，我們的方法由以下組件組成:

增強機制，將一個采樣圖轉換為一個上下文視圖和兩個拓撲視圖。對初始節點特征和圖結構進行增強處理。

編碼器包括兩個專用的GNN，即圖形編碼器，和一個MLP，分別用于上下文和拓撲視圖，以及一個注意力機制來聚合學習的特征。

元學習機制，基于查詢集的錯誤信號，聯合學習專用編碼器和注意力模型的參數。

實驗結果

我們詳盡地進行了實證評估，以回答以下問題:(1)基準的元測試集分類精度的實證上限是多少?(2)跨元域是否存在知識遷移?如果沒有，是否會發生負遷移?(3)基于對比的預訓練效果如何?(4)基于度量的元學習方法與基于優化的元學習方法相比表現如何?(5)使用提出的編碼器有什么效果?

結果表明: (1)在這三個基準上，都存在可遷移的潛在知識。實驗結果證實通過觀察元學習和對比方法都優于單純分類器。(2) 對比方法與元學習方法相比具有更強的性能。例如，在20-shot生物信息學基準測試中，MVGRL的絕對準確度比最佳的元學習方法高出1.57%。(3) 將基于度量的元學習方法與我們提出的編碼器相結合，顯著提高了性能。例如，在單次測試的情況下，最佳元學習方法結合我們的編碼器，在分子、生物信息學和社交網絡基準上的絕對精度分別比常規元學習方法的最佳結果高出3.28%、4.29%和5.17%。(4)與我們的編碼器相結合，僅用20個例子訓練的RelationNet模型，與全監督模型在所有可用的分子數據、生物信息學和社會網絡基準上訓練的模型相比，準確率分別只有4.46%、6.96%和2.68%。注意，其中一些數據集有成千上萬個訓練樣本。(5) 當我們將知識從分子元訓練遷移到社會網絡元測試時，我們得到了最大的改進。這是因為社會網絡任務不包含任何初始節點特征，因此對它們進行分類完全依賴于任務不可知的幾何特征。這表明我們的編碼器能夠在一個領域學習表達幾何表示并泛化到另一個領域。

域泛化(DG)的目的是訓練一個模型，從多個觀測源域，以更好地執行不可見的目標域。為了獲得泛化能力，以往的DG方法都側重于跨源提取領域不變信息來泛化目標領域，而通常忽略與單個領域標簽密切相關的有用領域特定信息和對目標領域的泛化。在本文中，我們提出了元領域特定的領域不變式(mDSDI)——一個新的理論上合理的框架，它擴展了不變性視圖，進一步捕獲領域特定信息的有用性。我們的關鍵觀點是在一個統一的框架中共同學習領域不變和領域特定特征的同時，解開潛在空間中的特征。通過元學習框架優化了特定領域的表示，以適應源領域，針對未見領域的魯棒泛化。我們的經驗表明，mDSDI在DG提供了具有競爭力的結果與最先進的技術。使用我們生成的數據集(Background-Colored-MNIST)進行的進一步消融研究，證實了領域特異性至關重要的假設，與僅使用領域不變量相比，可以獲得更好的結果。

//arxiv.org/abs/2110.09410

預測視頻的未來幀是一項具有挑戰性的任務，部分原因在于潛在的隨機現實現象。解決這個任務的先驗方法通常估計一個潛在的先驗特征，但是不能解釋(深度學習)模型的預測不確定性。這種方法往往從生成的幀與真實值之間的均方誤差(MSE)獲得訓練信號，這可能導致次優訓練，尤其是在預測不確定性高的情況下。為此，我們引入神經不確定性量詞(NUQ)——對模型的預測不確定性進行隨機量化，并用它來衡量MSE損失。我們提出了一個分層的、變分的框架，以一種有原則的方式，使用一個深度的貝葉斯圖模型來派生NUQ。我們在四個基準隨機視頻預測數據集上的實驗表明，我們提出的框架比最先進的模型訓練更有效(特別是當訓練集很小的時候)，同時顯示出更好的視頻生成質量和多樣性。

//arxiv.org/abs/2110.03446

圖匹配深度學習由于其優于傳統方法的性能和為解決其他圖上的組合問題提供的見解而成為一個重要的研究課題。雖然最近的通用深度方法廣泛研究了有效的節點/邊緣特征學習或給出這些學習特征的下游通用求解器，但很少有現有工作質疑固定連通性/拓撲是否通常使用啟發式構建(例如，從學習的角度來看，我們認為固定的拓撲可能會限制模型的容量，從而潛在地阻礙性能。為了解決這個問題，我們提出學習潛在拓撲的分布，這樣可以更好地支持下游GM任務。我們設計了兩種潛在圖生成程序，一個是確定性的，一個是生成的。特別地，生成過程強調跨圖的一致性，因此可以看作是一個匹配引導的共生成模型。我們的方法在公共基準上的表現優于以往的先進水平，因此支持了我們的假設。

//proceedings.mlr.press/v139/yu21d.html

現有的視覺和語言學習方法通常需要為每個任務設計特定于任務的架構和目標。例如，用于視覺問答的多標簽答案分類器、用于參考表達式理解的區域評分器和用于圖像字幕的語言解碼器等。為了減輕這些麻煩，在這項工作中，我們提出了一個統一的框架，在同一個語言建模目標的單一體系結構中學習不同的任務，即多模態條件文本生成，我們的模型學習在基于視覺和文本輸入的文本中生成標簽。在7個流行的視覺和語言基準測試中，包括視覺問答，參考表達理解，視覺常識推理，其中大多數之前被建模為判別性任務，我們的生成方法(具有單一統一的體系結構)達到了與最近特定任務的最先進的視覺和語言模型相當的性能。此外，我們的生成方法顯示出更好的泛化能力的問題，有稀有的答案。此外，我們還表明，我們的框架允許在單一體系結構中使用單一參數集進行多任務學習，實現了與單獨優化的單任務模型相似的性能。我們的代碼在//github.com/j-min/VL-T5上公開。

本文介紹了核持續學習，這是一種簡單但有效的持續學習變體，利用核方法的非參數特性來處理災難性遺忘。我們使用情景記憶單元來存儲每個任務的樣本子集，以學習基于核嶺回歸的任務分類器。這并不需要記憶重放，并且系統地避免了分類器中的任務干擾。我們進一步引入變分隨機特征來學習每個任務的數據驅動內核。為此，我們將核持續學習表述為一個變分推理問題，其中隨機傅里葉基被合并為潛在變量。從每個任務的核心推斷出隨機傅立葉基上的后驗分布。通過這種方式，我們能夠針對每個任務生成更多的信息內核，更重要的是，coreset的大小可以減少，以實現更緊湊的記憶，從而在情景記憶的基礎上實現更有效的持續學習。對四個基準的廣泛評估證明了內核對持續學習的有效性和前景。

//arxiv.org/abs/2107.05757

主動學習是通過對最有代表性的樣本進行抽樣，設計標簽有效的算法。在本文中，我們提出了一種狀態重新標記對抗主動學習模型(SRAAL)，該模型利用標注和標記/未標記的狀態信息來獲得信息量最大的未標記樣本。SRAAL由一個表示生成器和一個狀態鑒別器組成。該生成器利用補充標注信息與傳統重建信息生成樣本的統一表示，將語義嵌入到整個數據表示中。然后，我們在鑒別器中設計了一個在線不確定度指標，使未標記樣本具有不同的重要性。因此，我們可以根據鑒別器的預測狀態來選擇信息最豐富的樣本。我們還設計了一個算法來初始化標記池，這使得后續的采樣更加有效。在各種數據集上進行的實驗表明，我們的模型優于現有的主動學習方法，并且我們的初始采樣算法具有更好的性能。