亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

目前流行的圖學習方法需要豐富的標簽和邊信息進行學習。「當新任務的數據稀缺時，元學習允許我們從以前的經驗中學習」，并形成急需的歸納偏見，以便快速適應新任務。

此文介紹了「G-META，一種新的圖的元學習方法：」

G-META 使用局部子圖傳遞特定于子圖的信息，并通過元梯度使模型更快地學習基本知識。 G-META 學習如何僅使用新任務中的少數節點或邊來快速適應新任務，并通過學習其他圖或相關圖(盡管是不相交的標簽集)中的數據點來做到這一點。 G-META 在理論上是合理的，因為「特定預測的證據可以在目標節點或邊周圍的局部子圖中找到。」

現有方法是專門為特定的圖元學習問題和特定的任務設計的專門技術。雖然這些方法為 GNN 中的元學習提供了一種很有前途的方法，但它們的特定策略沒有很好的伸縮性，也不能擴展到其他圖的元學習問題（圖1）。

只包含加法操作的加法神經網絡 (ANN)為開發低能耗的深層神經網絡提供了一種新的途徑。但是，當用加法濾波器替換原始的卷積濾波器時會帶來精度下降。其主要原因是采用L1-范數進行神經網絡優化比較困難。在這種情況下，反向傳播的梯度通常會估計不準確。本文提出一種在不增加可訓練參數的前提下，通過基于核的漸進式知識蒸餾（PKKD）方法進一步提高ANN的性能。我們將與ANN具有相同結構的卷積神經網絡（CNN）進行隨機初始化并作為教師網絡，將ANN和CNN的特征和權重通過核變換映射到一個新的空間，減少了分布之間的差異，從而消除了精度下降問題。最后，ANN通過漸進的方法同時學習標簽和教師網絡的知識。該方法在幾個標準數據集上得到了很好的驗證，從而有效地學習了具有較高性能的ANN。例如，使用所提出的PKKD方法訓練的ANN-50在ImageNet數據集上獲得76.8%的精度，比相同結構的ResNet-50高0.6%。

//www.zhuanzhi.ai/paper/3cb74130e9cf983a7247e0d4a0d6bbce

盡管在訓練過程中缺乏顯式的復雜性控制，如顯式正則化項，但參數化過度的深層網絡預測效果良好。對于指數型損失函數，我們通過在與分類相關的歸一化權值方面展示梯度下降的有效正則化效果來解決這個難題。