亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

元學習算法能夠利用先前學習的知識來學習新任務，但它們通常需要大量的元訓練任務，而這些任務可能并不容易獲得。為了解決這個問題，我們提出了一種用更少任務進行小樣本學習的方法，我們稱之為 MetaModulation（元調制）。關鍵的想法是通過在元訓練期間調節批量歸一化參數，使用神經網絡增加元訓練任務的密度。此外，我們在各種網絡層面，而非僅在單一層面，修改參數以增加任務多樣性。為了解決由于訓練任務有限而導致的不確定性，我們提出了一種變分元調制方法，其中調制參數被視為隱變量。我們還引入了通過變分元調制學習的變分特征層次結構，這種調制可以調節所有層面的特征，并能考慮任務不確定性，生成更多樣化的任務。消融研究顯示了在不同層面利用可學習的任務調制的優點，并證明了在少任務元學習中加入概率變體的好處。我們的元調制及其變分變體在四個少任務元學習基準測試中均一致優于當前最先進的替代方案。

//www.zhuanzhi.ai/paper/6bad681ebd0c520eacc14067e18627dc

在不斷增長的分析服務領域上運行的生產系統通常需要為具有有限數據的新任務生成熱啟動解決方案模型。解決這一暖啟動挑戰的一個潛在方法是采用元學習來生成一個基礎模型，該模型可以通過最小的微調來解決看不見的任務。然而，這需要同步現有任務的以前解決方案模型的訓練過程。如果這些模型在不同實體擁有的私有數據上分別進行預訓練，并且不能同步地重新訓練，那么就不可能做到這一點。為了適應這種情況，我們開發了一種新的個性化學習框架，通過融合相關任務的獨立預訓練模型，為未見任務綜合定制模型。我們建立了該框架的性能保證，并在合成和真實數據集上證明了其有效性。

//proceedings.mlr.press/v139/lam21a.html

深度域自適應(DDA)方法在復雜域(如圖像、結構數據和順序數據)上具有更好的建模能力，其性能優于淺層模型。其基本思想是在一個潛在空間上學習領域不變表示，它可以在源域和目標域之間架起橋梁。一些理論研究建立了深刻的理解和學習領域不變特征的好處; 然而，它們通常僅限于沒有標簽遷移的情況，因此阻礙了它的適用性。在本文中，我們提出并研究了一種新的挑戰性設置，該設置允許我們使用Wasserstein距離(WS)不僅量化數據偏移，而且直接定義標簽偏移。我們進一步發展理論表明,減少數據的WS轉變導致關閉之間的差距的源和目標數據分布的空間(例如,中間的一層深網),同時仍然能夠量化的標簽對這個潛在的空間轉移。有趣的是，我們的理論可以解釋學習領域不變特征在潛在空間上的某些缺陷。最后，基于已有理論的結果和指導，我們提出了標簽匹配深度域自適應(LAMDA)方法，該方法在實際數據集上優于基準方法。

元學習理論的一個關鍵問題是如何理解任務分布對遷移風險的影響，即從未知任務分布中得出的元學習器對新任務的預期錯誤。本文針對高斯噪聲和高斯任務(或參數)分布的固定設計線性回歸問題，給出了任意算法的分布相關的遷移風險下界，同時給出了一種新的，所謂的偏置正則化回歸方法的加權版本能夠將這些下界匹配到一個固定的常數因子。值得注意的是，權重是由高斯任務分布的協方差得到的。總之，我們的結果提供了在這種高斯設置下元學習的困難的精確表征。雖然這個問題設置可能看起來很簡單，但我們證明它足夠豐富，可以統一元學習的“參數共享”和“表示學習”流; 特別地，表示學習是作為任務分布的協方差矩陣未知的特殊情況得到的。在這種情況下，我們提出采用EM方法，這在我們的情況下顯示了有效的更新。本文通過對EM的實證研究完成，實驗結果表明，EM算法可以隨著任務數量的增加而達到下界，同時在表示學習環境中，該算法也能成功地與其他算法相媲美。

//icml.cc/Conferences/2021/Schedule?showEvent=10047

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

本文將多源概念引入UDA行人Re-ID任務中，并提出RDSBN歸一化新模塊，并提出基于GCN的多源信息融合模塊，表現SOTA！性能優于MMT、DG-Net++網絡。

用于行為重識別（re-ID）的無監督域自適應（UDA）方法旨在將re-ID知識從已標記的源數據傳輸到未標記的目標數據。盡管取得了巨大的成功，但大多數人僅使用來自單一來源域的有限數據進行模型預訓練，從而使得無法充分利用豐富的標記數據。為了充分利用有價值的標記數據，我們將多源概念引入到UDA行人re-ID中，其中在訓練過程中使用了多個源數據集。但是，由于域的空白，僅組合不同的數據集只會帶來有限的改進。在本文中，我們嘗試從兩個角度（即特定于域的視圖和域融合視圖）解決此問題。提出了兩個建設性的模塊，它們彼此兼容。首先，探索一種整流領域特定的批處理歸一化（RDSBN）模塊，以同時減少領域特定的特征并增加人員特征的獨特性。其次，開發了基于圖卷積網絡（GCN）的多域信息融合（MDIF）模塊，該模塊通過融合不同域的特征來最小化域距離。所提出的方法在很大程度上優于最新的UDA人員re-ID方法，甚至在沒有任何后處理技術的情況下，甚至可以達到與監督方法相當的性能。

//www.zhuanzhi.ai/paper/d36ea50a4c9b40a4919e7d52b9550dbe

Neural Architecture Search with Random Labels 現有的主流NAS算法通過子網絡在驗證集上的預測性能來進行模型搜索，但是在參數共享機制下，驗證集上的預測性能和模型真實性能存在較大的差異。我們首次打破了這種基于預測性能進行模型評估的范式，從模型收斂速度的角度來進行子網絡評估并假設：模型收斂速度越快，其對應的預測性能越高。

基于模型收斂性框架，我們發現模型收斂性與圖像真實標簽無關，便進一步提出使用隨機標簽進行超網絡訓練的新NAS范式-RLNAS。RLNAS在多個數據集（NAS-Bench-201，ImageNet）以及多個搜索空間（DARTS，MobileNet-like）進行了驗證，實驗結果表明RLNAS僅使用隨機標簽搜索出來的結構便能達到現有的NAS SOTA的水平。RLNAS初聽比較反直覺，但其出乎意料的好結果為NAS社區提出了一組更強的基線，同時也進一步啟發了對NAS本質的思考。 //www.zhuanzhi.ai/paper/73ff2aa2c413ba1035d0c205173ca72a

論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。

論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng