本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。
付費5元查看完整內容
相關內容
題目： Graph Structure of Neural Networks
摘要：
神經網絡通常表示為神經元之間的連接圖。但是，盡管已被廣泛使用，但目前對神經網絡的圖結構與其預測性能之間的關系知之甚少。本文系統地研究了神經網絡的圖結構如何影響其預測性能。為此，開發了一種新的基于圖的神經網絡表示，稱為關系圖，其中神經網絡的計算層對應于圖結構每輪進行的消息交換。使用這種表示，我們表明：
（1）關系圖的“最佳點”導致神經網絡的預測性能大大提高；
（2）神經網絡的性能大約是其關系圖的聚類系數和平均路徑長度的平滑函數；
（3）文中發現在許多不同的任務和數據集上是一致的；
（4）可以有效地識別最佳點；
（5）表現最佳的神經網絡具有令人驚訝的類似于真實生物神經網絡的圖結構。
該方法為神經體系結構的設計和對神經網絡的一般理解開辟了新的方向。
付費5元查看完整內容
題目：
Con?dence-Aware Learning for Deep Neural Networks
簡介：
盡管深度神經網絡可以執行多種任務，但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題，但是大多數工作需要在訓練和/或推理階段增加計算成本，或者需要定制的體系結構來分別輸出置信估計。在本文中，我們提出了一種使用新的損失函數訓練深度神經網絡的方法，稱為正確排名損失，該方法將類別概率顯式規范化，以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現，并且無需進行任何修改即可應用于現有體系結構。而且，它的訓練計算成本幾乎與傳統的深度分類器相同，并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明，所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明，它對于與置信估計，分布外檢測和主動學習密切相關的任務十分有效。
付費5元查看完整內容
圖卷積網絡(GCN)在許多應用中越來越受歡迎，但在大型圖數據集上的訓練仍然是出了名的困難。它們需要從它們的鄰居遞歸地計算節點表示。當前的GCN訓練算法要么計算成本高，隨層數呈指數增長，要么加載整個圖和節點嵌入時占用大量內存。提出了一種高效的GCN (L-GCN)分層訓練框架，將訓練過程中的特征集合和特征轉換分離出來，大大降低了訓練的時間復雜度和記憶復雜度。我們在圖同構框架下對L-GCN進行了理論分析，結果表明，在較溫和的條件下，L-GCN與代價較高的傳統訓練算法具有同樣強大的GCNs性能。我們進一步提出了L^2-GCN，它為每一層學習一個控制器，可以自動調整L-GCN中每一層的訓練時間。實驗表明，L-GCN至少比目前的水平快一個數量級，內存使用的一致性不依賴于數據集的大小，同時保持了可比較的預測性能。通過學習控制器，L^2-GCN可以進一步減少一半的訓練時間。我們的代碼在這個https URL中可用。
付費5元查看完整內容
題目
Ranking architectures using meta-learning
簡介
神經架構搜索（Neural architecture search）最近吸引了大量的研究工作，因為它有望實現神經網絡手動設計的自動化。然而，它需要大量的計算資源，為了緩解這一問題，最近提出了一種性能預測網絡，它可以通過預測候選體系結構的性能來實現高效的體系結構搜索，而不依賴于實際的模型訓練。性能預測器是任務感知的，不僅作為候選體系結構的輸入，而且作為任務元特性的輸入，它被設計為從多個任務中共同學習。在這項工作中，我們引入了一個成對排序損失，用于訓練一個網絡，該網絡能夠根據其任務元特征，為一個新的不可見任務條件排列候選架構。我們給出了實驗結果，表明該排序網絡比先前提出的性能預測器在架構搜索方面更有效。
作者
Alina Dubatovka，Efi Kokiopoulou，Luciano Sbaiz，Andrea Gesmundo，Gábor Bartók，Jesse Berent來自于Google AI團隊
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191