現代神經網絡體系結構可以利用大量的數據來很好地泛化訓練分布。然而，對于從看不見的但相關的分布中提取的數據，它們的系統泛化能力較差，這需要組合推理和知識重用。在這項工作中，我們提出了神經解釋器，這是一種將自注意網絡中的推理分解為一個模塊系統的架構，我們稱之為函數。模型的輸入以端到端學習的方式通過一系列函數進行路由。該體系結構可以靈活地沿寬度和深度組合計算，易于訓練后的能力擴展。為了證明神經解釋器的通用性，我們在兩個不同的環境中評估它: 圖像分類和視覺抽象推理。在前者中，我們證明了神經解釋器在使用更少參數的情況下，與視覺transformer 的表現相當，同時可以以樣本有效的方式轉移到新任務中。在后者中，我們發現神經解釋器在系統概括方面與最先進的技術相比具有競爭力。
付費5元查看完整內容
相關內容
Curriculum Learning for Vision-and-Language Navigation 視覺語言導航的課程學習
作者：Jiwen Zhang, Zhongyu Wei, Jianqing Fan, Jiajie Peng
類型：NeurIPS 2021，Poster Paper
視覺和語言導航 (VLN) 是指智能體在人類語言的指導下進行室內導航的一項任務。我們發現以前的工作忽略了數據集中樣本難度的分布。我們認為這潛在降低了那些智能體的性能。為此，我們為 VLN 任務提出了一種新的基于課程學習的訓練范式。該訓練范式可以平衡人類先驗知識和智能體對訓練樣本的學習進度。我們制定了課程設計原則，并重新排列了基準 Room-to-Room (R2R) 數據集，使其適合課程培訓。實驗表明，我們的方法與模型無關，并且可以在不增加模型復雜度的情況下顯著提高當前最先進導航代理的性能、通用性和訓練效率。
付費5元查看完整內容
本文提出了一種基于無監督學習的視頻目標分割方法。與之前的工作不同，我們的公式允許在完全卷積的情況下直接學習密集特征表示。我們依靠統一的網格采樣來提取一組錨點，并訓練我們的模型來在視頻間和視頻內消除它們之間的歧義。然而，訓練這樣一個模型的樸素方案會得到一個退化解。我們提出了一種簡單的正則化方案來防止這種情況，該方案適應了分割任務對相似變換的等方差特性。我們的訓練目標實現高效，并表現出快速的訓練趨同。在已建立的VOS基準上，我們的方法超過了以前工作的分割精度，盡管使用的訓練數據和計算能力明顯更少。
付費5元查看完整內容
深度學習已經成功地實現了機器學習流程中特征設計的自動化。然而，優化神經網絡參數的算法在很大程度上仍然是手工設計的，計算效率低。我們研究是否可以利用深度學習直接預測這些參數，利用以往訓練其他網絡的知識。我們介紹了一個大型的神經結構計算圖數據集——DeepNets-1M——并利用它來探索CIFAR-10和ImageNet的參數預測。通過利用圖神經網絡的進步，我們提出了一種超網絡，它可以在單次向前傳遞中預測性能參數，即使在CPU上也只需要幾分之一秒。提出的模型在不同的網絡中取得了令人驚訝的良好性能。例如，它能夠預測ResNet-50的所有2400萬個參數，在CIFAR-10上的準確率為60%。在ImageNet上，我們的一些網絡前五名的準確率接近50%。我們的任務以及模型和結果可能會導致一種新的、計算效率更高的訓練網絡范式。我們的模型還學習了神經結構的優異表示，使其分析成為可能。
付費5元查看完整內容
本文提出了一種高效的多尺度視覺轉換器，稱為ResT，可作為圖像識別的通用骨干。現有的Transformer方法使用標準Transformer塊來處理具有固定分辨率的原始圖像，與之不同的是，我們的ResT有幾個優點:(1)構建高效記憶的多頭自注意，通過簡單的深度卷積壓縮記憶，在保持多頭多樣性的同時，在注意-多頭維度上投射相互作用;(2)將位置編碼構造為空間注意，更加靈活，可以處理任意尺寸的輸入圖像，無需插值或微調;(3)我們沒有在每個階段開始時直接進行標記化，而是將patch嵌入設計為在標記映射上進行跨步重疊卷積操作的堆棧。我們在圖像分類和下游任務上全面驗證了ResT。實驗結果表明，提出的ResT可以在很大程度上超過最新的骨干技術，這表明ResT作為強大骨干的潛力。代碼和模型將在//github.com/wofmanaf/ResT上公開。
付費5元查看完整內容
無監督多對象表示學習依賴于歸納偏差來指導發現以對象為中心的表示。然而，我們觀察到，學習這些表征的方法要么是不切實際的，因為長時間的訓練和大量的記憶消耗，要么是放棄了關鍵的歸納偏見。在這項工作中，我們引入了EfficientMORL，一個有效的無監督學習框架的對象中心表示。我們證明了同時要求對稱性和解纏性所帶來的優化挑戰實際上可以通過高成本的迭代攤銷推理來解決，通過設計框架來最小化對它的依賴。我們采用兩階段的方法進行推理:首先，分層變分自編碼器通過自底向上的推理提取對稱的解纏表示，其次，輕量級網絡使用自頂向下的反饋來改進表示。在訓練過程中所采取的細化步驟的數量根據課程減少，因此在測試時零步驟的模型達到了99.1%的細化分解性能。我們在標準多目標基準上演示了強大的對象分解和解纏，同時實現了比以前最先進的模型快一個數量級的訓練和測試時間推斷。
付費5元查看完整內容
Code：//github.com/Shen-Lab/GraphCL Paper:
對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。
付費5元查看完整內容
以圖結構為目標的擾動已被證明在降低圖神經網絡(GNNs)性能方面非常有效，而傳統的防御手段如對抗性訓練似乎不能提高魯棒性。這項工作的動機是觀察到，反向注入的邊緣有效地可以視為一個節點的鄰域聚集函數的額外樣本，這導致扭曲的聚集在層上累積。傳統的GNN聚合函數，如總和或平均值，可以被一個單獨的離群值任意扭曲。在魯棒統計領域的啟發下，我們提出了一個魯棒聚合函數。我們的方法顯示了0.5的最大可能分解點，這意味著只要節點的對抗邊的比例小于50%，聚合的偏差就有界。我們的新聚合函數，軟Medoid，是Medoid的一個完全可微的泛化，因此很適合端到端深度學習。在Cora ML上配置聚合的GNN，可將結構擾動的魯棒性提高3倍(Citeseer上提高5.5倍)，對于低度節點，可提高8倍。
付費5元查看完整內容
持續學習和適應新任務的能力，同時又不失去對已經獲得的知識的掌握，是生物學習系統的一個特征，這是目前的深度學習系統所欠缺的。在這項工作中，我們提出了一種新的持續學習方法，稱為MERLIN:持續學習的元鞏固。
我們假設一個用于解決任務t的神經網絡的權值是來自于一個元分布p(lenian| t)。這種元分布是逐步學習和鞏固的。我們在具有挑戰性的在線持續學習設置中操作，其中一個數據點只被模型看到一次。
我們對MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet數據集的持續學習基準進行的實驗顯示，在五個基線上，包括最近的最先進水平，都證明了MERLIN的前景。
付費5元查看完整內容
圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。
//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191