亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

只包含加法操作的加法神經網絡 (ANN)為開發低能耗的深層神經網絡提供了一種新的途徑。但是，當用加法濾波器替換原始的卷積濾波器時會帶來精度下降。其主要原因是采用L1-范數進行神經網絡優化比較困難。在這種情況下，反向傳播的梯度通常會估計不準確。本文提出一種在不增加可訓練參數的前提下，通過基于核的漸進式知識蒸餾（PKKD）方法進一步提高ANN的性能。我們將與ANN具有相同結構的卷積神經網絡（CNN）進行隨機初始化并作為教師網絡，將ANN和CNN的特征和權重通過核變換映射到一個新的空間，減少了分布之間的差異，從而消除了精度下降問題。最后，ANN通過漸進的方法同時學習標簽和教師網絡的知識。該方法在幾個標準數據集上得到了很好的驗證，從而有效地學習了具有較高性能的ANN。例如，使用所提出的PKKD方法訓練的ANN-50在ImageNet數據集上獲得76.8%的精度，比相同結構的ResNet-50高0.6%。

//www.zhuanzhi.ai/paper/3cb74130e9cf983a7247e0d4a0d6bbce

本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。

無監督復述是自然語言處理中的重要研究課題。我們提出了一種利用模擬退火實現無監督復述的新方法，我們將復述建模為一個離散優化問題，并提出了一個精心設計的目標函數，包括語義相似性、表達多樣性和釋義的語言流暢性等衡量指標。通過執行一系列的局部編輯，在整個句子空間中搜索滿足該目標函數的句子。因為我們的方法是無監督的，不需要平行語料庫進行訓練，因此可以方便地應用于不同領域的復述生成任務。我們在各種基準數據集上（Quora、Wikianswers、MSCOCO和Twitter）評估了本方法，結果表明，與以往的無監督方法相比，我們的方法在自動評估和人工評估方面都具備明顯的優越性。此外，我們無監督方法優于大多數現有的領域自適應監督模型。