亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

實體交互預測在許多重要的應用如化學、生物、材料科學和醫學中是必不可少的。當每個實體由一個復雜的結構(即結構化實體)表示時，這個問題就變得非常具有挑戰性，因為涉及到兩種類型的圖:用于結構化實體的局部圖和用于捕獲結構化實體之間交互的全局圖。我們注意到，現有的結構化實體交互預測工作不能很好地利用圖的唯一圖模型。在本文中，我們提出了一個圖的神經網絡圖，即GoGNN，它以分層的方式提取了結構化實體圖和實體交互圖中的特征。我們還提出了雙重注意力機制，使模型在圖的兩個層次上都能保持相鄰的重要性。在真實數據集上的大量實驗表明，GoGNN在兩個有代表性的結構化實體交互作用預測任務上的表現優于最先進的方法:化學-化學交互作用預測和藥物-藥物交互作用預測。我們的代碼可以在Github上找到。

題目： Natural Language Processing and Query Expansion

簡介：

大量知識資源的可用性刺激了開發和增強信息檢索技術的大量工作。用戶的信息需求以自然語言表達，成功的檢索很大程度上取決于預期目的的有效溝通。自然語言查詢包含多種語言功能，這些語言功能代表了預期的搜索目標。導致語義歧義和對查詢的誤解以及其他因素（例如，對搜索環境缺乏了解）的語言特征會影響用戶準確表示其信息需求的能力，這是由概念意圖差距造成的。后者直接影響返回的搜索結果的相關性，而這可能不會使用戶滿意，因此是影響信息檢索系統有效性的主要問題。我們討論的核心是通過手動或自動捕獲有意義的術語，短語甚至潛在的表示形式來識別表征查詢意圖及其豐富特征的重要組成部分，以手動或自動捕獲它們的預期含義。具體而言，我們討論了實現豐富化的技術，尤其是那些利用從文檔語料庫中的術語相關性的統計處理或從諸如本體之類的外部知識源中收集的信息的技術。我們提出了基于通用語言的查詢擴展框架的結構，并提出了基于模塊的分解，涵蓋了來自查詢處理，信息檢索，計算語言學和本體工程的主題問題。對于每個模塊，我們都會根據所使用的技術回顧分類和分析的文獻中的最新解決方案。

介紹

圖(graphs)與我們的日常生活緊密相關，從我們的社交網絡到最近十分流行的知識圖譜（KG）都充斥著圖的身影。圖是最富表現力的數據結構之一，已被用于建模各種問題。事實上，知識圖譜（KG）就是圖的結構化表示，其中節點表示實體，邊表示實體之間的關系。然而，卷積神經網絡(CNN)和遞歸神經網絡(RNN)這些傳統的神經網絡只適合處理歐幾里得數據。面對這種困境，圖卷積網絡(GCN)順勢而生，被用來解決上面提到的問題并且已經成功的應用到了一些問題上。

作者對GCN的研究

(1)NeuralDater模型，一種基于圖卷積網絡(GCN)的文獻年代測定方法。這是GCN和基于深度神經網絡的方法首次應用于文檔年代測定問題。

(2)SynGCN模型，該方法是一種靈活的基于圖卷積的詞嵌入學習方法，該方法利用詞對上下文的依賴性而不是線性上下文來學習更加有意義的詞嵌入表示。

目前GCN方法的局限性

(1)當前標準的鄰域聚合方法對節點數量沒有限制，但是過多的節點數量會影響目標節點的表示，這使得幾跳（few hops）之后，hub-nodes的詞表示就會覆蓋幾乎覆蓋整張圖，進而導致hub-nodes的詞表示包含了大量的噪聲。為解決這個問題，作者相應的提出了ConfGCN模型。

(2)目前大多數的GCN方法都只能夠處理無向圖。然而，現實生活中更為普遍的一種圖是關系圖，其中每條邊都有一個與之關聯的標簽和方向。目前處理這些圖的方法都飽受過量參數的困擾，而且這些方法僅限于學習節點的表示。為了解決這個問題，作者提出了CompGCN 方法。

題目： Tensor Graph Convolutional Networks for Text Classification

摘要： 文本分類是自然語言處理中一個重要而經典的問題。已有許多研究將卷積神經網絡（如規則網格上的卷積，序列）應用于分類。然而，只有有限數量的研究已經探索了更靈活的圖卷積神經網絡（卷積在非網格上，例如，任意圖）的任務。在這項工作中，我們建議使用圖卷積網絡進行文本分類。基于詞的共現關系和文檔詞之間的關系，我們為一個語料庫建立一個文本圖，然后學習一個文本圖卷積網絡（text GCN）。我們的文本GCN使用word和document的一個熱表示進行初始化，然后在已知文檔類標簽的監督下，共同學習word和document的嵌入。我們在多個基準數據集上的實驗結果表明，沒有任何外部單詞嵌入或知識的普通文本GCN優于最新的文本分類方法。另一方面，文本GCN還學習預測詞和文檔嵌入。此外，實驗結果表明，隨著訓練數據百分比的降低，文本GCN相對于現有比較方法的改進變得更加突出，這表明文本GCN對文本分類中較少的訓練數據具有魯棒性。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。 但是，大量的網絡數據為有效分析帶來了巨大的挑戰。 因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。 圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。
• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。
• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。
• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。 傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、 Deep variational network embedding in wasserstein space

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、 Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普??拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。 DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。 DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。

題目： Representation Learning on Graphs: Methods and Applications

摘要：

圖機器學習是一項重要且普遍存在的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型能夠輕松地利用它。傳統上，機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如，度統計或內核函數)。然而，近年來，使用基于深度學習和非線性降維的技術，自動學習將圖結構編碼為低維嵌入的方法激增。在這里，我們提供了一個概念上的回顧，在這一領域的關鍵進展，圖表示學習，包括基于矩陣分解的方法，隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中，我們開發了一個統一的框架來描述這些最近的方法，并強調了一些重要的應用程序和未來工作的方向。

作者簡介：

William L. Hamilton是麥吉爾大學計算機科學的助理教授，也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前的重點是快速發展的圖表示學習和圖神經網絡。

Rex Ying是斯坦福大學計算機科學二年級的博士生，研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡，應用于推薦系統、異常檢測和生物學。

題目： A Survey on Network Embedding

摘要： 網絡嵌入將網絡中的節點分配給低維表示，有效地保持了網絡結構。近年來，這一新興的網絡分析范式取得了很大的進展。本文首先對網絡嵌入方法進行了分類，然后回顧了網絡嵌入方法的發展現狀，并指出了其未來的研究方向。我們首先總結了網絡嵌入的動機。討論了經典的圖嵌入算法及其與網絡嵌入的關系。隨后，我們對大量的網絡嵌入方法進行了系統的綜述，包括結構和屬性保持的網絡嵌入方法、帶邊信息的網絡嵌入方法和先進的信息保持的網絡嵌入方法。此外，還綜述了幾種網絡嵌入的評價方法和一些有用的在線資源，包括網絡數據集和軟件。最后，我們討論了利用這些網絡嵌入方法構建有效系統的框架，并指出了一些潛在的未來方向。

作者簡介： Peng Cui，清華大學計算機科學與技術系媒體與網絡實驗室副教授。

Jian Pei，現任加拿大大數據科學研究主席（Tier 1）和西蒙弗雷澤大學（Simon Fraser University）計算科學學院教授。他還是統計與精算科學系、科學院和健康科學院的副院士。他是數據科學、大數據、數據挖掘和數據庫系統等領域的知名首席研究員。他的專長是為新的數據密集型應用開發高效的數據分析技術。他被公認為計算機械協會（ACM）的研究員，他為數據挖掘的基礎、方法和應用做出貢獻，并作為電氣與電子工程師協會（IEEE）的研究員，為他的數據挖掘和知識發現做出貢獻。

題目： Graph Neural Networks: A Review of Methods and Applications

摘要： 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域，對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題，同時也需要建立圖形推理模型。圖神經網絡（GNNs）是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同，圖神經網絡保留了一種狀態，這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點，但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來，基于圖形卷積網絡（GCN）、圖形注意網絡（GAT）、門控圖形神經網絡（GGNN）等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中，我們提供了一個詳細的檢討現有的圖形神經網絡模型，系統分類的應用，并提出了四個開放的問題，為今后的研究。

作者簡介： Jie Zhou，CS的研究生，從事系統研究，主要研究計算機安全。他畢業于廈門大學，在羅切斯特大學獲得碩士學位及博士學位。

Zhiyuan Liu，清華大學計算機系NLP實驗室副教授。