亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖卷積網絡（GCN）因為具備出色的捕捉站點或區域之間非歐式空間依賴性的能力，已廣泛應用于交通需求預測。然而在大多數現有研究中，圖卷積是在基于先驗知識生成的鄰接矩陣上實現的，這樣的鄰接矩陣既不能準確反映站點的實際空間關系，也不能自適應地捕捉需求的多層級空間依賴性。為解決上述問題，這篇論文提出了一種新穎的圖卷積網絡進行交通需求預測。首先，文章中提出了一種新的圖卷積架構，該圖卷積架構在不同的層具有不同的鄰接矩陣，并且所有的鄰接矩陣在訓練過程中都是可以自學習的。其次，文中提出了一種分層耦合機制，該機制將上層鄰接矩陣與下層鄰接矩陣關聯起來。它還減少了模型中參數的規模。最后，構建了一個端到端的網絡，通過將隱藏的空間狀態與門控循環單元集成在一起，給出最終的預測結果，該單元可以同時捕獲多級空間相關性和時間動態。論文提出的模型在兩個真實世界的數據集NYC Citi Bike和NYC Taxi上進行了實驗，結果證明了該模型的優越性能。

//www.zhuanzhi.ai/paper/3996bc72f87617093a55530269f6fdd8

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經，現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試，這意味著gnn無法預測節點聚類系數和最短路徑距離，無法區分不同的d-正則圖。在這里，我們提出了一類傳遞消息的GNN，稱為身份感知圖神經網絡(ID- GNNs)，具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點，IDGNN首先提取以該節點為中心的自我網絡，然后進行輪次異構消息傳遞，中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本，它將節點標識信息作為增強節點特征注入。總之，ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展，其中實驗表明，在具有挑戰性的節點、邊緣和圖屬性預測任務中，將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外，與其他特定于任務的圖網絡相比，ID- GNN表現出了更好的或相當的性能。

有的有監督解耦方法，比如把中間表征解耦成種類相關的表征和種類無關的表征，大多基于交換生成的經驗性框架，缺乏理論指導，無法保證種類相關表征中不包含種類無關的信息。本工作嘗試建立信息瓶頸（Information Bottleneck, IB）和有監督解耦之間的聯系，為有監督解耦提供理論指導。信息瓶頸是一種從源數據中提取出與任務目標有關信息的方法，一般通過優化權衡壓縮項和預測項的IB Lagrangian來實現。現有文獻已經指出IB Lagrangian存在的一些問題，比如期望的壓縮水平與控制權衡的Lagrangian乘子之間沒有因果關聯，因此對于IB Lagrangian來說需要多次嘗試優化來實現期望目標；其次，我們具體分析了IB Lagrangian中存在的權衡問題，表明了隨著壓縮程度增大，預測性能是嚴格減小的。為了克服這些問題，我們一方面期望在不損傷預測性能前提下能夠實現最大化壓縮，簡稱為“最大化壓縮”；另一方面期望無需多次嘗試優化，即模型能夠一致地實現最大化壓縮。為此，我們首先考察了最大化壓縮實現時對應的量化條件，之后對優化目標給出了最大化壓縮一致性的性質定義，即只要優化目標滿足該性質就能夠一致地實現最大化壓縮。在此基礎上，我們給出我們的方案設計。與現有的IB Lagrangian不同，我們從有監督解耦的角度來實現信息壓縮，這是因為我們認為信息壓縮與有監督解耦本質上是同一回事：在有監督解耦任務中，需要將源數據中與給定標簽有關的信息和其它信息分開，如給定圖像的類別標簽，將圖像信息解耦為類別有關的和類別無關的信息；而類似地，在信息壓縮任務中，要將源數據中與給定標簽無關的信息丟棄從而實現壓縮，同樣需要區分出與給定標簽有關的信息和與給定標簽無關的信息。基于此，我們將有監督解耦與信息壓縮相聯系，提出了基于解耦的信息瓶頸算法。我們給出了一些結論，同時在多個數據集上驗證了這些結論，并驗證了所提方法在包括信息壓縮等多個評估指標上的性能。

論文概述：視頻中的時序關系建模對于行為動作理解（如動作識別和動作分割）至關重要。盡管圖卷積網絡（GCN）在許多任務的關系推理中顯示出令人鼓舞的優勢，但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題，本文引入了一個有效的GCN模塊，即膨脹時序圖推理模塊（DTGRM），該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模，尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外，為了增強所提出模型的時序推理能力，本文提出了一種輔助的自監督任務，以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。

//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢，交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而，具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外，現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯，或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性，本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先，提出一種數據驅動的“時序圖”生成方法，以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作，對不同的時間段進行并行處理，可以有效地學習隱藏的時空依賴關系。同時，該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中，SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明，我們的方法達到了最先進的性能比其他基準一致。

//arxiv.org/pdf/2012.09641.pdf

論文鏈接：//www.zhuanzhi.ai/paper/5e4dd4fd6b06fc88a7d86e4dc50687c6

簡介：數據增強已被廣泛用于提高機器學習模型的通用性。但是，相對較少的工作研究圖形的數據擴充。這在很大程度上是由于圖的復雜非歐幾里得結構限制了可能的操縱操作。視覺和語言中常用的增強操作沒有圖形類似物。在改進半監督節點分類的背景下，我們的工作研究了圖神經網絡（GNN）的圖數據擴充。我們討論了圖數據擴充的實踐和理論動機，考慮因素和策略。我們的工作表明，神經邊緣預測器可以有效地編碼類同質結構，以在給定的圖結構中促進類內邊緣和降級類間邊緣，并且我們的主要貢獻是引入了GAug圖數據擴充框架，該框架利用這些見解來提高性能通過邊緣預測的基于GNN的節點分類在多個基準上進行的廣泛實驗表明，通過GAug進行的增強可提高GNN架構和數據集的性能。

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf