亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

摘要：文本序列中各單詞的重要程度以及其之間的依賴關系對于識別文本類別有重要影響.膠囊網絡不能選擇性關注文本中重要單詞,并且由于不能編碼遠距離依賴關系,在識別具有語義轉折的文本時有很大局限性.為解決上述問題,該文提出了一種基于多頭注意力的膠囊網絡模型,該模型能編碼單詞間的依賴關系、捕獲文本中重要單詞,并對文本語義編碼,從而有效提高文本分類任務的效果.結果表明:該文模型在文本分類任務中效果明顯優于卷積神經網絡和膠囊網絡,在多標簽文本分類任務上效果更優,能更好地從注意力中獲益。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

題目： Graph Neural Networks:A Review of Methods and Applications

簡介： 許多學習任務需要處理圖形數據，該圖形數據包含元素之間的關系信息。對物理系統進行建模，學習分子指紋，預測蛋白質界面以及對疾病進行分類，都需要從圖輸入中學習模型。在諸如從文本和圖像之類的非結構數據中學習的其他領域中，對提取結構的推理，例如句子的依存關系樹和圖像的場景圖，是一個重要的研究課題，它也需要圖推理模型。圖神經網絡（GNN）是連接器模型，可通過在圖的節點之間傳遞消息來捕獲圖的依賴性。與標準神經網絡不同，圖神經網絡保留一種狀態，該狀態可以表示來自其鄰域的任意深度的信息。盡管已經發現難以訓練原始圖神經網絡來固定點，但是網絡體系結構，優化技術和并行計算的最新進展已使他們能夠成功學習。近年來，基于圖卷積網絡（GCN）和門控圖神經網絡（GGNN）的系統已經在上述許多任務上展示了突破性的性能。在本綜述中，我們對現有的圖神經網絡模型進行了詳細的回顧，對應用程序進行了系統分類，并提出了四個未解決的問題，供以后研究。

作者簡介： 周杰，教授,清華大學自動化系黨委書記，教授，博士生導師。

【導讀】自然語言處理國際頂級會議EMNLP 2019于11月3日至11月7日在中國香港舉行。為了帶大家領略高質量論文，專知小編特意整理了六篇EMNLP 2019GNN相關論文，并附上論文鏈接供參考——命名實體識別、情感分類、對話圖卷積網絡、數據生成文本、短文本分類、Aspect-level情感分類等。

1、A Lexicon-Based Graph Neural Network for Chinese NER

作者：Tao Gui, Yicheng Zou, Qi Zhang;

摘要：遞歸神經網絡（RNN）用于中文命名實體識別（NER）中，能夠對文字信息進行順序跟蹤，取得了很大的成功。然而，由于鏈式結構的特點和缺乏全局語義，基于RNN的模型容易產生歧義。本文試圖通過引入一種全局語義的基于詞典的圖神經網絡來解決這一問題，該網絡利用詞典知識連接字符來捕獲局部成分，而全局中繼節點則可以捕獲全局句子語義和長距離依賴。基于字符、潛在單詞和整個句子語義之間的多重交互，可以有效地解決單詞歧義。在4個NER數據集的實驗表明，該模型與其他基線模型相比有顯著的改進。

網址：

//qizhang.info/paper/emnlp-2019.ner.pdf

2、Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

作者：Chen Zhang, Qiuchi Li, Dawei Song;

摘要：注意機制和卷積神經網絡（CNNs）由于其固有的方面和上下文詞的語義對齊能力，被廣泛應用于基于方面的情感分類。然而，這些模型缺乏一種機制來解釋相關的句法約束和長距離的詞語依賴，因此可能會錯誤地將句法無關的上下文詞作為判斷方面情緒的線索。為了解決這個問題，我們提出在句子的依存樹上建立一個圖卷積網絡（GCN），以利用句法信息和詞的依存關系。在此基礎上，提出了一種新的面向方面的情感分類框架。在三個基準集合上的實驗表明，我們所提出的模型比一系列最先進的模型更具有相當的有效性，并且進一步證明了圖卷積結構能夠恰當地捕獲語法信息和長距離字的依賴關系。

網址：

3、DialogueGCN A Graph Convolutional Neural Network for Emotion Recognition in Conversation

作者：Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, Alexander Gelbukh;

摘要：會話情感識別（ECC）由于其在醫療、教育、人力資源等多個領域的廣泛應用，近年來受到了研究者的廣泛關注。在本文中，我們提出了對話圖卷積網絡（DialogueGCN），基于圖神經網絡的ERC方法。我們利用對話者的自言和對話人之間的依賴關系來為情緒識別建立會話環境模型。DialogueGCN通過圖形網絡解決了當前基于RNN的方法中存在的上下文傳播問題。我們經驗表明，這種方法緩解了這樣的問題，同時在一些基準的情緒分類數據集上超過了目前的狀態。

網址：

4、Enhancing AMR-to-Text Generation with Dual Graph Representations

作者：Leonardo F. R. Ribeiro, Claire Gardent, Iryna Gurevych;

摘要：基于圖的數據生成文本，如抽象意義表示（AMR），是一個具有挑戰性的任務，因為如何正確地對具有標記邊的圖的結構進行編碼存在固有的困難。為了解決這一難題，我們提出了一種新的圖-序列模型，該模型對AMR圖中包含的結構信息的不同但互補的透視圖進行編碼。該模型學習節點的自頂向下和自下而上的并行表示，以捕獲圖的對比視圖。我們還研究了不同節點消息傳遞策略的使用，使用不同的最先進的圖形編碼器來計算基于傳入和傳出透視圖的節點表示。在我們的實驗中，我們證明了對偶圖表示法可以改進AMR到文本的生成，從而在兩個AMR數據集上取得了最先進的效果。

網址：

5、Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification

作者：Linmei Hu, Tianchi Yang, Chuan Shi, Houye Ji, Xiaoli Li ;

摘要：短文本分類在新聞和推特標記中得到了豐富而重要的應用，以幫助用戶查找相關信息。由于在許多實際用例中缺乏標記的訓練數據，因此迫切需要研究半監督短文本分類。現有的研究大多集中在長文本上，由于標記數據的稀疏性和局限性，在短文本上的表現不盡人意。本文提出了一種新的基于異構圖神經網絡的半監督短文本分類方法，該方法充分利用了標記數據少和未標記數據大的優點，實現了信息在圖上的傳播。特別是，我們提出了一種靈活的HIN（異構信息網絡）框架，用于建模短文本，它可以集成任何類型的附加信息，并捕獲它們之間的關系來解決語義稀疏性。然后，我們提出了基于節點級和類型級注意的雙重注意機制的異構圖注意網絡(HGAT)嵌入HIN進行短文本分類。注意機制可以學習不同相鄰節點的重要性，以及不同節點(信息)類型對當前節點的重要性。大量的實驗結果表明，我們提出的模型在6個基準數據集上的性能顯著優于最先進的方法。

網址：

6、Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

作者：Binxuan Huang, Kathleen M. Carley ;

摘要：Aspect-level情感分類旨在識別向上下文語句給出的aspect表達的情緒。以往的基于神經網絡的方法在很大程度上忽略了句子的句法結構。在本文中，我們提出了一種新的目標依賴圖注意力網絡(TD-GAT)來進行方面層次的情感分類，該網絡明確利用了詞語之間的依賴關系。使用依賴圖，它直接從一個方面目標的語法上下文傳播情感特征。在我們的實驗中，我們證明了我們的方法優于使用GloVe嵌入的多個基線。我們還證明了使用BERT表示可以進一步顯著地提高性能。

網址：