亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//www.zhuanzhi.ai/paper/d5394f35aef16fb3a4dca59d68fb1882

一個有效的神經網絡結構性能評估方案是神經網絡結構搜索(NAS)成功的關鍵。現有NAS算法通常在訓練時間有限的小型數據集上訓練和評估神經結構。但這樣一種粗糙的評估方式很難對神經網絡結構進行準確評估。本文提出一種新的神經網絡結構評價方案，旨在確定哪個神經網絡結構的性能更好，而不是精確地預測性能絕對值。因此，我們提出了一個結構相對性能預測NAS (ReNAS)。我們將神經結構編碼為特征張量，并利用預測器進一步細化表示。本方法可用于離散搜索，無需額外評估。在NASBench101數據集上抽樣424個(搜索空間的0.1%)神經架構及其標簽已經足夠學習一個準確的架構性能預測器。在NAS-Bench-101和NAS-Bench-201數據集上，我們搜索的神經結構的準確性高于最新的方法，顯示了本方法的優先性。

Neural Architecture Search with Random Labels 現有的主流NAS算法通過子網絡在驗證集上的預測性能來進行模型搜索，但是在參數共享機制下，驗證集上的預測性能和模型真實性能存在較大的差異。我們首次打破了這種基于預測性能進行模型評估的范式，從模型收斂速度的角度來進行子網絡評估并假設：模型收斂速度越快，其對應的預測性能越高。

基于模型收斂性框架，我們發現模型收斂性與圖像真實標簽無關，便進一步提出使用隨機標簽進行超網絡訓練的新NAS范式-RLNAS。RLNAS在多個數據集（NAS-Bench-201，ImageNet）以及多個搜索空間（DARTS，MobileNet-like）進行了驗證，實驗結果表明RLNAS僅使用隨機標簽搜索出來的結構便能達到現有的NAS SOTA的水平。RLNAS初聽比較反直覺，但其出乎意料的好結果為NAS社區提出了一組更強的基線，同時也進一步啟發了對NAS本質的思考。 //www.zhuanzhi.ai/paper/73ff2aa2c413ba1035d0c205173ca72a

圖卷積網絡（GCN）因為具備出色的捕捉站點或區域之間非歐式空間依賴性的能力，已廣泛應用于交通需求預測。然而在大多數現有研究中，圖卷積是在基于先驗知識生成的鄰接矩陣上實現的，這樣的鄰接矩陣既不能準確反映站點的實際空間關系，也不能自適應地捕捉需求的多層級空間依賴性。為解決上述問題，這篇論文提出了一種新穎的圖卷積網絡進行交通需求預測。首先，文章中提出了一種新的圖卷積架構，該圖卷積架構在不同的層具有不同的鄰接矩陣，并且所有的鄰接矩陣在訓練過程中都是可以自學習的。其次，文中提出了一種分層耦合機制，該機制將上層鄰接矩陣與下層鄰接矩陣關聯起來。它還減少了模型中參數的規模。最后，構建了一個端到端的網絡，通過將隱藏的空間狀態與門控循環單元集成在一起，給出最終的預測結果，該單元可以同時捕獲多級空間相關性和時間動態。論文提出的模型在兩個真實世界的數據集NYC Citi Bike和NYC Taxi上進行了實驗，結果證明了該模型的優越性能。

//www.zhuanzhi.ai/paper/3996bc72f87617093a55530269f6fdd8

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經，現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試，這意味著gnn無法預測節點聚類系數和最短路徑距離，無法區分不同的d-正則圖。在這里，我們提出了一類傳遞消息的GNN，稱為身份感知圖神經網絡(ID- GNNs)，具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點，IDGNN首先提取以該節點為中心的自我網絡，然后進行輪次異構消息傳遞，中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本，它將節點標識信息作為增強節點特征注入。總之，ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展，其中實驗表明，在具有挑戰性的節點、邊緣和圖屬性預測任務中，將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外，與其他特定于任務的圖網絡相比，ID- GNN表現出了更好的或相當的性能。

論文鏈接：//yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

該方法的關鍵點是 L2P-GNN 試圖學習在預訓練過程中以可遷移先驗知識的形式進行微調。為了將局部信息和全局信息都編碼為先驗信息，研究者進一步為 L2P-GNN 設計了在節點和圖級別雙重適應（dual adaptation）的機制。最后研究者使用蛋白質圖公開集合和書目圖的新匯編進行預訓練，對各種 GNN 模型的預訓練進行了系統的實證研究。實驗結果表明，L2P-GNN 能夠學習有效且可遷移的先驗知識，從而為下游任務提供強大的表示。

總體來說，這篇論文的貢獻如下：

首次探索學習預訓練 GNN，緩解了預訓練與微調目標之間的差異，并且為預訓練 GNN 提供了新視角。

針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。

針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢，交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而，具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外，現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯，或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性，本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先，提出一種數據驅動的“時序圖”生成方法，以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作，對不同的時間段進行并行處理，可以有效地學習隱藏的時空依賴關系。同時，該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中，SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明，我們的方法達到了最先進的性能比其他基準一致。

//arxiv.org/pdf/2012.09641.pdf

論文鏈接：//www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

簡介：數據增強已被廣泛用于提高機器學習模型的通用性。但是，相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下，我們的工作研究了圖神經網絡（GNN）的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機，考慮因素和策略。我們的工作表明，神經邊緣預測器可以有效地編碼類同質結構，以在給定的圖結構中促進類內邊緣和降級類間邊緣，并且我們的主要貢獻是引入了GAug圖數據擴充框架，該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明，通過GAug進行的增強可提高GNN架構和數據集的性能。

本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。