亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

遷移學習是指將知識或信息從相關的源領域轉移到目標領域。然而，現有的大多數遷移學習理論和算法都集中在IID任務上，其中源/目標樣本假設是獨立的和同分布的。對于非IID任務的知識可遷移性的理論研究很少，例如跨網絡挖掘。為了彌合差距，在本文中，我們提出了嚴格的泛化邊界和算法，用于從源圖到目標圖的跨網絡遷移學習。其關鍵思想是從Weisfeiler-Lehman圖同構檢驗的角度表征跨網絡知識可轉移性。為此，我們提出了一種新的圖子樹差異來測量源圖和目標圖之間的圖分布移位。然后，可以根據源知識和跨域的圖子樹差異推導出跨網絡遷移學習的泛化誤差邊界，包括跨網絡節點分類和鏈路預測任務。因此，這促使我們提出了一個通用圖自適應網絡(GRADE)，以最小化跨網絡遷移學習源圖和目標圖之間的分布偏移。實驗結果驗證了GRADE框架在跨網絡節點分類和跨域推薦任務上的有效性和效率。

論文題目：Temporal Alignment Prediction for Supervised Representation Learning and Few-Shot Sequence Classification

作者：蘇冰，文繼榮；通訊作者：文繼榮

論文概述：序列距離通過時間對齊處理具有不同長度和局部方差的序列。大多數序列對齊方法通過在預定義的可行對齊約束下解決優化問題來推斷最優對齊，這不僅耗時，而且使端到端序列學習變得難以處理。在本文中，我們提出了一種可學習的序列距離，稱為時序對齊預測 (TAP)。TAP 采用輕量級卷積神經網絡直接預測兩個序列之間的最優對齊方式，因此只需要前向計算，推理過程中不涉及優化。TAP 可以應用于不同的基于距離的機器學習任務。對于有監督的序列表示學習，我們展示了用各種度量學習損失訓練的 TAP 以更快的推理速度實現了具有競爭力的性能。對于小樣本動作分類，我們將 TAP 作為基于度量學習的episode訓練范式中的距離度量。這種簡單的策略取得了與最先進的小樣本動作識別方法接近的結果。

//openreview.net/forum?id=p3DKPQ7uaAi

首篇跨域少樣本圖分類

我們通過引入三個新的跨域基準來研究具有非等效特征空間的跨域少樣本圖分類問題。我們還提出了一種基于注意力的圖編碼器，該編碼器使用三個一致的圖形視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息的表示，以便進行知識遷移。我們進行了詳盡的實驗來評估對比學習策略和元學習策略的表現。我們發現，當與基于度量的元學習框架相結合時，所提出的編碼器在所有基準測試中都獲得了最佳的元測試平均分類精度。源代碼和數據將在這里發布://github.com/kavehhassani/metagrl

在“少樣本學習”中，一個模型從幾個被標記的樣本中學習適應新的類別。常見的做法，如使用增強、正則化和預訓練可能有助于緩解數據匱乏，但不能解決這個問題。受人類學習(Lake, Salakhutdinov, and Tenenbaum 2015)的啟發，元學習(Hospedales, et al. 2020)利用類似任務的分布(Satorras, and Estrach 2018)來積累可遷移的經驗知識，這些經驗可以作為快速適應下游任務的強烈歸納偏差(Sung, et al. 2018)。在元學習中，快速學習發生在任務內，而關于任務結構變化的知識是在任務間逐步學習的(Huang and Zitnik 2020)。這種學習知識的例子是嵌入函數(Vinyals et al. 2016; Snell, Swersky, and Zemel 2017; Satorras and Estrach 2018; Sung et al. 2018)，初始參數(Finn, Abbeel, and Levine 2017; Raghu et al. 2020)、優化策略(Li et al. 2017)，或可以直接將訓練樣本映射到網絡權重的模型(Garnelo et al. 2018; Mishra et al. 2018)。

元學習的一個基本假設是，元訓練和元測試階段的任務是從相同的分布中采樣的，即任務是iid。然而，在許多現實世界的應用程序中，從相同的分布中收集任務是不可行的。相反，有來自相同模態但不同領域的數據集。在遷移學習中，源域和目標域之間的特征/標簽空間是不等效的，通常是不重疊的，這被稱為異構遷移學習(Day和Khoshgoftaar 2017)。據觀察，當源域和目標域之間有很大的轉移時，元學習算法被預訓練/微調方法所超越(Chen et al. 2019b)。

計算機視覺方面的一些工作通過歸一化層的元學習統計來解決跨領域的少樣本學習(Tseng et al. 2020; Du et al. 2021)。這些方法局限于仍然包含高度視覺相似性的自然圖像(Guo et al. 2020)。跨域學習對于尺寸變化順序不變的圖結構數據更為重要。與其他常見模態相比，圖形標注更具挑戰性，因為它們通常表示特定領域的概念，如生物學，在這些領域中，通過wet-lab實驗進行標注是資源密集型(Hu et al. 2020b)，而使用領域知識進行程序性標注的成本較高(Sun et al. 2020)。此外，除了在邊際/條件概率分布上的偏移外，非等價和非重疊特征空間在圖數據集上是常見的。例如，可以訪問小分子數據集，其中每個數據集使用不同的特征集來表示分子(Day和Khoshgoftaar 2017)。

據我們所知，這是關于圖的跨域少樣本學習的第一項工作。為了解決這個問題，我們設計了一個以任務為條件的編碼器，它可以學習處理任務的不同表示。我們的貢獻如下:

• 我們引入了跨域少樣本圖分類的三個基準，并進行了詳盡的實驗來評估監督、對比和元學習策略的性能。

• 我們提出了一種圖編碼器，可以學習圖的三個一致視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息，以便進行知識遷移。

• 我們表明，當與基于指標的元測試框架相結合時，所提出的編碼器在所有三個基準上都實現了最佳的平均元測試分類準確度。

方法

圖結構數據可以從兩個一致的視圖進行分析: 上下文視圖和拓撲視圖。上下文視圖基于初始節點或邊緣特征(為了簡單和不失一般性，我們只考慮節點特征)，并攜帶特定于任務的信息。另一方面，拓撲視圖表示圖的拓撲屬性，這些拓撲屬性是任務無關的，因此可以作為錨點來對齊來自特征空間中不同領域的圖。我們利用這種對偶表示，并通過為每個視圖設計專用編碼器來明確地解開它們，這些視圖反過來施加了所需的歸納偏見，以學習特定于任務的域不變特征。在異構的少樣本環境中，拓撲特征有助于跨任務的知識遷移，而上下文特征有助于快速適應。我們還使用了一種注意力機制，該機制隱含地限制了任務，并學習從兩種視圖中聚合學習到的特征。我們采用元學習策略，通過共同學習編碼器參數和注意機制來模擬泛化過程。如圖1所示，我們的方法由以下組件組成:

增強機制，將一個采樣圖轉換為一個上下文視圖和兩個拓撲視圖。對初始節點特征和圖結構進行增強處理。

編碼器包括兩個專用的GNN，即圖形編碼器，和一個MLP，分別用于上下文和拓撲視圖，以及一個注意力機制來聚合學習的特征。

元學習機制，基于查詢集的錯誤信號，聯合學習專用編碼器和注意力模型的參數。

實驗結果

我們詳盡地進行了實證評估，以回答以下問題:(1)基準的元測試集分類精度的實證上限是多少?(2)跨元域是否存在知識遷移?如果沒有，是否會發生負遷移?(3)基于對比的預訓練效果如何?(4)基于度量的元學習方法與基于優化的元學習方法相比表現如何?(5)使用提出的編碼器有什么效果?

結果表明: (1)在這三個基準上，都存在可遷移的潛在知識。實驗結果證實通過觀察元學習和對比方法都優于單純分類器。(2) 對比方法與元學習方法相比具有更強的性能。例如，在20-shot生物信息學基準測試中，MVGRL的絕對準確度比最佳的元學習方法高出1.57%。(3) 將基于度量的元學習方法與我們提出的編碼器相結合，顯著提高了性能。例如，在單次測試的情況下，最佳元學習方法結合我們的編碼器，在分子、生物信息學和社交網絡基準上的絕對精度分別比常規元學習方法的最佳結果高出3.28%、4.29%和5.17%。(4)與我們的編碼器相結合，僅用20個例子訓練的RelationNet模型，與全監督模型在所有可用的分子數據、生物信息學和社會網絡基準上訓練的模型相比，準確率分別只有4.46%、6.96%和2.68%。注意，其中一些數據集有成千上萬個訓練樣本。(5) 當我們將知識從分子元訓練遷移到社會網絡元測試時，我們得到了最大的改進。這是因為社會網絡任務不包含任何初始節點特征，因此對它們進行分類完全依賴于任務不可知的幾何特征。這表明我們的編碼器能夠在一個領域學習表達幾何表示并泛化到另一個領域。

遷移對抗性攻擊是一種非常難的黑箱對抗性攻擊，其目標是對代理模型制造對抗性擾動，然后將這種擾動應用于受害者模型。然而，現有方法的擾動的可遷移性仍然有限，因為對抗性擾動很容易與單一代理模型和特定的數據模式過擬合。在本文中，我們提出了一種學會學習可遷移攻擊(LLTA)方法，通過從數據和模型增強中學習，使對抗攝動更加一般化。對于數據增強，我們采用簡單的隨機大小和填充。在模型增強方面，我們隨機改變正向傳播而不是反向傳播，以消除對模型預測的影響。通過將特定數據和修正模型的攻擊作為一項任務來處理，我們期望對抗攝動采用足夠的任務來泛化。為此，在擾動生成迭代過程中進一步引入元學習算法。在廣泛應用的數據集上進行的實驗結果表明，該攻擊方法的傳輸攻擊成功率比現有方法提高了12.85%。我們還在現實世界的在線系統，即谷歌云視覺API上對我們的方法進行了評估，以進一步展示我們的方法的實用潛力。

//arxiv.org/abs/2112.06658

無監督域自適應是一種將深度神經網絡泛化到新目標域的有效范式。然而，要達到完全監督的性能，仍有巨大的潛力有待挖掘。在本文中，我們提出了一種新的主動學習策略來輔助目標領域中的知識遷移，稱為主動領域自適應。我們從一個觀察開始，當訓練(源)和測試(目標)數據來自不同的分布時，基于能量的模型表現出自由能量偏差。受這一內在機制的啟發，我們從經驗上揭示了一個簡單而有效的基于能量的采樣策略，它比現有的需要特定架構或計算距離的方法更能幫助我們選擇最有價值的目標樣本。我們的算法，基于能量的主動域自適應(EADA)，在每一輪的選擇中查詢集域特征和實例不確定性的目標數據組。同時，通過正則化項將目標數據壓縮的自由能對準源域，可以隱式地減小域間隙。通過大量的實驗，我們證明了EADA在眾所周知的具有挑戰性的基準測試中取得了重大改進，超越了最先進的方法，使其成為開放世界中一個有用的選項。代碼可以在//github.com/BIT-DA/EADA上找到。

分子表示學習有助于多種下游任務，如分子性質預測和藥物設計。為了正確地表示分子，圖對比學習是一個很有前途的范式，因為它利用了自監督信號，而且不需要人類注釋。然而，以往的研究沒有將基本的領域知識納入圖語義學中，從而忽略了具有共同屬性但沒有鍵直接連接的原子之間的關聯。為了解決這些問題，我們構建了一個化學元素知識圖譜(KG)來概括元素之間的微觀關聯，并提出了一種新的知識增強對比學習(KCL)框架來進行分子表示學習。KCL框架由三個模塊組成。第一個模塊是知識引導的圖增強模塊，對原有的基于化學元素KG的分子圖進行擴充。第二個模塊是知識感知圖表示，對原始分子圖使用通用圖編碼器提取分子表示，并使用知識感知消息傳遞神經網絡(knowledge-aware Message Passing Neural Network, KMPNN)對增強分子圖中的復雜信息進行編碼。最后一個模塊是一個對比目標，在這里我們最大化了分子圖的這兩種視圖之間的一致性。大量實驗表明，KCL在8個分子數據集上取得了優于先進基線的性能。可視化實驗正確地解釋了KCL從增廣分子圖中的原子和屬性中學到的東西。我們的代碼和數據有補充資料。

//www.zhuanzhi.ai/paper/f5dde3a2bd3952b03c85b3a32edbd7d2

Adaptive Methods for Real-World Domain Generalization

不變方法在解決領域泛化問題方面已經取得了顯著的成功，該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中，我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域，我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外，我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC，該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本，比之前的工作大了幾個數量級。我們表明，現有的方法要么不能擴展到這個數據集，要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下，我們的方法獲得了顯著的1%的改進。

//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

盡管健壯的深度學習中的現有工作都集中在基于像素級別的小型規范擾動，但這可能無法解決在多個實際設置中遇到的擾動。在許多此類情況下，盡管可能無法獲得測試數據，但可能知道有關擾動類型（例如未知的旋轉度）的廣泛規范。我們考慮一種在看不見的測試域中預期具有魯棒性的設置。但偏離了訓練領域。雖然可能無法確切知道此偏差，但根據屬性先驗地指定了其廣泛的特征。我們提出了一種對抗訓練方法，該方法學習如何生成新樣本，從而最大程度地將分類器暴露于屬性空間，而無需訪問來自測試域的數據。我們的對抗訓練解決了最小-最大優化問題，通過優化內部最大化產生的對抗性擾動的損失，使內部最大化產生對抗性擾動，而外部最小化找到模型參數。我們證明了我們的方法在三種類型的自然擾動上的適用性-與對象相關的移動，幾何變換和常見的圖像破壞。我們的方法使深度神經網絡能夠抵抗各種自然擾動。我們通過展示在MNIST，CIFAR-10和CLEVR數據集的新變體上進行對抗訓練而獲得的深度神經網絡的魯棒性收益，從而證明了所提出方法的有效性。

//www.zhuanzhi.ai/paper/636acb141a5e0aea86f5cb8e864aca56

簡介：小樣本學習（Few-shot Learning）近年來吸引了大量的關注，但是針對多標簽問題（Multi-label）的研究還相對較少。在本文中，我們以用戶意圖檢測任務為切入口，研究了的小樣本多標簽分類問題。對于多標簽分類的SOTA方法往往會先估計標簽-樣本相關性得分，然后使用閾值來選擇多個關聯的標簽。 為了在只有幾個樣本的Few-shot場景下確定合適的閾值，我們首先在數據豐富的多個領域上學習通用閾值設置經驗，然后采用一種基于非參數學習的校準（Calibration）將閾值適配到Few-shot的領域上。 為了更好地計算標簽-樣本相關性得分，我們將標簽名稱嵌入作為表示（Embedding）空間中的錨點，以優化不同類別的表示，使它們在表示空間中更好的彼此分離。 在兩個數據集上進行的實驗表明，所提出的模型在1-shot和5-shot實驗均明顯優于最強的基線模型（baseline）。

//www.zhuanzhi.ai/paper/caf3b2b72106ee93d00ddbe2416c4e1a