亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

首篇跨域少樣本圖分類

我們通過引入三個新的跨域基準來研究具有非等效特征空間的跨域少樣本圖分類問題。我們還提出了一種基于注意力的圖編碼器，該編碼器使用三個一致的圖形視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息的表示，以便進行知識遷移。我們進行了詳盡的實驗來評估對比學習策略和元學習策略的表現。我們發現，當與基于度量的元學習框架相結合時，所提出的編碼器在所有基準測試中都獲得了最佳的元測試平均分類精度。源代碼和數據將在這里發布://github.com/kavehhassani/metagrl

在“少樣本學習”中，一個模型從幾個被標記的樣本中學習適應新的類別。常見的做法，如使用增強、正則化和預訓練可能有助于緩解數據匱乏，但不能解決這個問題。受人類學習(Lake, Salakhutdinov, and Tenenbaum 2015)的啟發，元學習(Hospedales, et al. 2020)利用類似任務的分布(Satorras, and Estrach 2018)來積累可遷移的經驗知識，這些經驗可以作為快速適應下游任務的強烈歸納偏差(Sung, et al. 2018)。在元學習中，快速學習發生在任務內，而關于任務結構變化的知識是在任務間逐步學習的(Huang and Zitnik 2020)。這種學習知識的例子是嵌入函數(Vinyals et al. 2016; Snell, Swersky, and Zemel 2017; Satorras and Estrach 2018; Sung et al. 2018)，初始參數(Finn, Abbeel, and Levine 2017; Raghu et al. 2020)、優化策略(Li et al. 2017)，或可以直接將訓練樣本映射到網絡權重的模型(Garnelo et al. 2018; Mishra et al. 2018)。

元學習的一個基本假設是，元訓練和元測試階段的任務是從相同的分布中采樣的，即任務是iid。然而，在許多現實世界的應用程序中，從相同的分布中收集任務是不可行的。相反，有來自相同模態但不同領域的數據集。在遷移學習中，源域和目標域之間的特征/標簽空間是不等效的，通常是不重疊的，這被稱為異構遷移學習(Day和Khoshgoftaar 2017)。據觀察，當源域和目標域之間有很大的轉移時，元學習算法被預訓練/微調方法所超越(Chen et al. 2019b)。

計算機視覺方面的一些工作通過歸一化層的元學習統計來解決跨領域的少樣本學習(Tseng et al. 2020; Du et al. 2021)。這些方法局限于仍然包含高度視覺相似性的自然圖像(Guo et al. 2020)。跨域學習對于尺寸變化順序不變的圖結構數據更為重要。與其他常見模態相比，圖形標注更具挑戰性，因為它們通常表示特定領域的概念，如生物學，在這些領域中，通過wet-lab實驗進行標注是資源密集型(Hu et al. 2020b)，而使用領域知識進行程序性標注的成本較高(Sun et al. 2020)。此外，除了在邊際/條件概率分布上的偏移外，非等價和非重疊特征空間在圖數據集上是常見的。例如，可以訪問小分子數據集，其中每個數據集使用不同的特征集來表示分子(Day和Khoshgoftaar 2017)。

據我們所知，這是關于圖的跨域少樣本學習的第一項工作。為了解決這個問題，我們設計了一個以任務為條件的編碼器，它可以學習處理任務的不同表示。我們的貢獻如下:

• 我們引入了跨域少樣本圖分類的三個基準，并進行了詳盡的實驗來評估監督、對比和元學習策略的性能。

• 我們提出了一種圖編碼器，可以學習圖的三個一致視圖、一個上下文視圖和兩個拓撲視圖，學習任務特定信息的表示，以便快速適應，以及任務無關信息，以便進行知識遷移。

• 我們表明，當與基于指標的元測試框架相結合時，所提出的編碼器在所有三個基準上都實現了最佳的平均元測試分類準確度。

方法

圖結構數據可以從兩個一致的視圖進行分析: 上下文視圖和拓撲視圖。上下文視圖基于初始節點或邊緣特征(為了簡單和不失一般性，我們只考慮節點特征)，并攜帶特定于任務的信息。另一方面，拓撲視圖表示圖的拓撲屬性，這些拓撲屬性是任務無關的，因此可以作為錨點來對齊來自特征空間中不同領域的圖。我們利用這種對偶表示，并通過為每個視圖設計專用編碼器來明確地解開它們，這些視圖反過來施加了所需的歸納偏見，以學習特定于任務的域不變特征。在異構的少樣本環境中，拓撲特征有助于跨任務的知識遷移，而上下文特征有助于快速適應。我們還使用了一種注意力機制，該機制隱含地限制了任務，并學習從兩種視圖中聚合學習到的特征。我們采用元學習策略，通過共同學習編碼器參數和注意機制來模擬泛化過程。如圖1所示，我們的方法由以下組件組成:

增強機制，將一個采樣圖轉換為一個上下文視圖和兩個拓撲視圖。對初始節點特征和圖結構進行增強處理。

編碼器包括兩個專用的GNN，即圖形編碼器，和一個MLP，分別用于上下文和拓撲視圖，以及一個注意力機制來聚合學習的特征。

元學習機制，基于查詢集的錯誤信號，聯合學習專用編碼器和注意力模型的參數。

實驗結果

我們詳盡地進行了實證評估，以回答以下問題:(1)基準的元測試集分類精度的實證上限是多少?(2)跨元域是否存在知識遷移?如果沒有，是否會發生負遷移?(3)基于對比的預訓練效果如何?(4)基于度量的元學習方法與基于優化的元學習方法相比表現如何?(5)使用提出的編碼器有什么效果?

結果表明: (1)在這三個基準上，都存在可遷移的潛在知識。實驗結果證實通過觀察元學習和對比方法都優于單純分類器。(2) 對比方法與元學習方法相比具有更強的性能。例如，在20-shot生物信息學基準測試中，MVGRL的絕對準確度比最佳的元學習方法高出1.57%。(3) 將基于度量的元學習方法與我們提出的編碼器相結合，顯著提高了性能。例如，在單次測試的情況下，最佳元學習方法結合我們的編碼器，在分子、生物信息學和社交網絡基準上的絕對精度分別比常規元學習方法的最佳結果高出3.28%、4.29%和5.17%。(4)與我們的編碼器相結合，僅用20個例子訓練的RelationNet模型，與全監督模型在所有可用的分子數據、生物信息學和社會網絡基準上訓練的模型相比，準確率分別只有4.46%、6.96%和2.68%。注意，其中一些數據集有成千上萬個訓練樣本。(5) 當我們將知識從分子元訓練遷移到社會網絡元測試時，我們得到了最大的改進。這是因為社會網絡任務不包含任何初始節點特征，因此對它們進行分類完全依賴于任務不可知的幾何特征。這表明我們的編碼器能夠在一個領域學習表達幾何表示并泛化到另一個領域。

事件參數抽取(EAE)是信息抽取時發現特定事件角色參數的重要任務。在本研究中，我們將EAE轉換為一個基于問題的完形填空任務，并對固定離散標記模板性能進行實證分析。由于生成人工注釋的問題模板通常是耗時且耗費勞動，我們進一步提出了一種名為“Learning to Ask”的新方法，該方法可以在無需人工注釋的情況下學習EAE的優化問題模板。我們使用ACE-2005數據集進行實驗，結果表明我們基于優化提問的方法在fewshot和全監督設定中都取得了最先進的性能。

論文題目：Data Poisoning Attack against Recommender System Using Incomplete and Perturbed Data

作者：Hengtong Zhang, 田長鑫, Yaliang Li, Lu Su, Jing Gao, Nan Yang, 趙鑫

論文概述：最近的研究表明，推薦系統由于其開放性，它們很容易受到數據投毒攻擊。在數據投毒攻擊中，攻擊者通常會通過一組受控制的用戶將精心設計的用戶-項目交互數據注入推薦模型的訓練集，以便根據需要修改模型參數。因此，現有的攻擊方法通常需要完全訪問訓練數據，從而推斷物品的特征，并為受控制的用戶制造虛假交互。但是，由于攻擊者數據收集能力的有限和推薦服務方隱私保護機制的干擾，攻擊者無法實現對訓練數據的完全訪問，這導致這種攻擊方法在實踐中可能并不可行。在本文中，我們提出了兩種新的對抗攻擊方法來處理訓練數據的不完整性和擾動。首先，我們提出了一個雙層優化框架，結合概率生成模型來尋找訓練數據中未被顯著干擾的用戶-物品交互，并利用這些交互數據來制造虛假的用戶-物品交互。此外，我們逆轉了推薦模型的學習過程，并在此基礎上開發了一種簡單而有效的方法，該方法可以結合上下文特定的啟發式規則來處理數據的不完整性和擾動。我們在兩個數據集上對三種典型推薦模型進行了大量實驗，實驗結果表明，所提出的方法比現有方法具有更好的攻擊性能。

//dl.acm.org/doi/pdf/10.1145/3447548.3467233

傳統的無監督多源域適應（Domain Adaptation）方法假設所有源域都可以直接訪問。然而，該假設忽略了隱私保護政策，即所有數據和計算都必須在本地進行。在隱私保護要求下進行域適應存在三個挑戰：首先，最小化域間距離需獲取源域和目標域的數據并進行成對計算，而源域數據本地存儲，不可訪問。其次，通信成本和隱私安全限制了現有域適應方法的應用，例如域對抗訓練。最后，由于無法鑒別源域數據質量，更易出現不相關或惡意的源域，從而導致負遷移。為解決上述問題，我們提出一種滿足隱私保護要求的去中心化無監督域適應范式，稱為基于知識蒸餾的去中心化域適應（KD3A），通過對來自多個源域的模型進行知識蒸餾來進行知識遷移。大量實驗表明，KD3A顯著優于其他前沿域適應方法。此外，與其他去中心化的域適應方法相比，KD3A 對負遷移具有魯棒性，并可將通信成本降低100倍。

//www.zhuanzhi.ai/paper/beaaa5a9921f38b2a06d5

當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。

//www.zhuanzhi.ai/paper/beffdb76305bfa324433d64e6975ec76

本文研究了任務自適應預訓練模型的選擇問題，這是一個有待探討的問題，即如何評估預訓練模型，以便在不進行微調的情況下從模型族中選擇適合任務的模型。一項試點工作(Nguyen等人，2020年)解決了將有監督的預訓練模型轉移到分類任務中的問題，但它不能處理新興的無監督的預訓練模型或回歸任務。

為了尋求一種實用的評估方法，我們提出了估計標簽的最大證據(邊緣似然)，在給定預先訓練模型提取的特征。與似然值相比，最大證據值不容易出現過擬合，而且通過我們精心設計的算法可以大大減少昂貴的計算量。最大證據對數(LogME)可以用來評估遷移學習的預訓練模型:LogME高的預訓練模型可能具有良好的遷移性能。LogME具有快速、準確、通用的特點，是第一個實用的遷移學習評估方法。相對于蠻力微調，LogME在時間上帶來了超過3000倍的加速。它在設置上比以前的方法有很大的優勢，并且適用于以前的方法不能處理的新設置。它對于不同的預訓練模型(有監督的預訓練和無監督的預訓練)、下游任務(分類和回歸)和模式(視覺和語言)來說是足夠普遍的。

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

?強化學習具有在復雜環境下自動獲取行為的潛力，但為了成功地部署它，必須解決許多實際的挑戰。首先，在實際設置中，當代理嘗試某個任務并失敗時，環境必須以某種方式“重置”，以便代理能夠再次嘗試該任務。雖然在模擬中很容易，但在現實世界中可能需要相當多的人力，特別是在試驗數量非常大的情況下。第二，現實世界的學習通常涉及復雜的、時間上延伸的行為，這種行為通常很難通過隨機探索獲得。雖然這兩個問題乍一看似乎是不相關的，但在本研究中，我們將展示一個單一的方法如何允許代理在最小的監督下獲得技能，同時消除重置的需要。我們這樣做是通過利用這樣的洞察力:為學習任務將代理“重置”為一組廣泛的初始狀態的需要，提供了一種學習多種“重置技能”的自然設置。我們提出了一個平衡重置目標和學習技能的通用和博弈公式，并證明了這種方法提高了無重置任務的性能，另外，我們獲得的技能可以用來顯著加速下游學習。

//arxiv.org/abs/2011.05286

在本文中，我們提出了一種端到端的圖學習框架，即迭代深度圖學習(IDGL)，用于共同迭代地學習圖結構和圖嵌入。IDGL的關鍵原理是學習基于更好的節點嵌入的更好的圖結構，反之亦然(即基于更好的圖結構的更好的節點嵌入)。我們的迭代方法動態停止時，學習圖接近足夠優化的圖預測任務。此外，我們將圖學習問題轉換為一個相似度量學習問題，并利用自適應圖正則化來控制學習圖的質量。最后，結合基于錨點的近似技術，我們進一步提出了一個可擴展的IDGL版本，即IDGL- anch，在不影響性能的前提下，顯著降低了IDGL的時間和空間復雜度。我們在9個基準上進行的廣泛實驗表明，我們提出的IDGL模型始終能夠優于或匹配最先進的基線。此外，IDGL還能更魯棒地處理對抗圖，并能同時處理傳導學習和歸納學習。

//arxiv.org/abs/2006.13009