亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著網絡信息的爆炸式增長，推薦系統在緩解信息過載方面發揮了重要作用。由于推薦系統具有重要的應用價值，這一領域的研究一直在不斷涌現。近年來，圖神經網絡(GNN)技術得到了廣泛的關注，它能將節點信息和拓撲結構自然地結合起來。由于GNN在圖形數據學習方面的優越性能，GNN方法在許多領域得到了廣泛的應用。在推薦系統中，主要的挑戰是從用戶/項目的交互和可用的邊信息中學習有效的嵌入用戶/項目。由于大多數信息本質上具有圖結構，而網絡神經網絡在表示學習方面具有優勢，因此將圖神經網絡應用于推薦系統的研究十分活躍。本文旨在對基于圖神經網絡的推薦系統的最新研究成果進行全面的綜述。具體地說，我們提供了基于圖神經網絡的推薦模型的分類，并闡述了與該領域發展相關的新觀點。

摘要：

隨著電子商務和社交媒體平臺的快速發展，推薦系統已經成為許多企業不可缺少的工具[78]。用戶依靠推薦系統過濾掉大量的非信息，促進決策。一個高效的推薦系統應該準確地捕捉用戶的偏好，并提出用戶潛在感興趣的內容，從而提高用戶對平臺的滿意度和用戶留存率。

推薦系統根據用戶的興趣和物品屬性來評估他們對物品的偏好。用戶興趣和項目屬性都用壓縮向量表示。因此，如何通過歷史交互以及社會關系、知識圖譜[49]等側面信息來了解用戶/項目嵌入是該領域面臨的主要挑戰。在推薦系統中，大多數信息都具有圖結構。例如，用戶之間的社會關系和與項目相關的知識圖譜，自然就是圖形數據。此外，用戶與項目之間的交互可以看作是二部圖，項目在序列中的轉換也可以構建為圖。因此，圖形學習方法被用來獲得用戶/項目嵌入。在圖學習方法中，圖神經網絡(graph neural network, GNN)目前受到了極大的追捧。

在過去的幾年里，圖神經網絡在關系提取和蛋白質界面預測等許多應用領域取得了巨大的成功[82]。最近的研究表明，推薦器在以圖[41]的形式引入用戶/項目和邊信息的交互時，性能有了很大的提升，并利用圖神經網絡技術得到了更好的用戶/項目表示。圖神經網絡通過迭代傳播能夠捕捉用戶-項目關系中的高階交互。此外，如果社會關系或知識圖譜的信息是可用的，則可以有效地將這些邊信息集成到網絡結構中。

本文旨在全面回顧基于圖神經網絡的推薦系統的研究進展。對推薦系統感興趣的研究者和實踐者可以大致了解基于圖神經網絡的推薦領域的最新發展，以及如何利用圖神經網絡解決推薦任務。本調查的主要貢獻總結如下:

• 新的分類法：我們提出了一個系統的分類模式來組織現有的基于圖神經網絡的推薦模型。我們可以很容易地進入這個領域，并對不同的模型進行區分。

• 對每個類別的全面回顧，我們展示了要處理的主要問題，并總結了模型的總體框架。此外，我們還簡要介紹了代表性模型，并說明它們是如何解決這些問題的。

• 我們討論了當前方法的局限性，并在效率、多圖集成、可擴展性和序列圖構造方面提出了四個潛在的未來方向。

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

圖神經網絡(GNNs)是廣泛使用的深度學習模型，從圖結構數據學習有意義的表示。由于底層循環結構的有限性質，當前的GNN方法可能難以捕獲底層圖中的長期依賴關系。為了克服這個困難，我們提出了一個圖學習框架，稱為隱式圖神經網絡(IGNN)，其中的預測是基于一個涉及隱式定義的“狀態”向量的不動點平衡方程的解。利用Perron-Frobenius理論推導了保證框架良好性的充分條件。利用隱式微分，我們推出了一個易于處理的投影梯度下降方法來訓練框架。對一系列任務進行的實驗表明，IGNNs始終能夠捕獲長期依賴關系，并優于最先進的GNN模型。

//arxiv.org/abs/2009.06211

摘要：

圖神經網絡(GNNs)最近變得越來越受歡迎，因為它們能夠學習復雜的關系系統，這些關系產生于從生物學和粒子物理學到社會網絡和推薦系統的廣泛問題。盡管在圖上進行深度學習的不同模型太多了，但迄今為止，很少有人提出方法來處理呈現某種動態性質的圖(例如，隨著時間的推移而進化的特征或連通性)。在本文中，作者提出了時序圖網絡(TGNs)，一個通用的，有效的框架，用于深度學習動態圖表示為時間事件序列。在內存模塊和基于圖的操作符中，TGNs能夠顯著優于以前的方法，同時計算效率也更高。作者進一步表明，以前的幾個學習動態圖的模型可以轉換為TGN框架的具體實例。他們對TGN框架的不同組件進行了詳細的消融研究，并設計了最佳配置，在動態圖的幾個轉導和歸納預測任務上實現了最先進的性能。

討論的問題：

• 理解動態圖的需要和目前靜態GNN方法的局限
• TGN內存模塊和時間依賴嵌入模塊
• TGN先進的訓練策略

結論

• 時序圖網絡是動態時間圖的廣義GNN形式
• 內存模塊為每個節點介紹，并用于存儲內存的數據動態
• 圖嵌入可以基于內存狀態和下游時間的任務進行計算
• 節點內存也可以更新測試時間
• 作者介紹了計算內存的一般框架，但每個內存函數(消息、聚合和更新)可以根據手頭的問題進行修改

地址： //ai.science/e/tgn-temporal-graph-networks-for-deep-learning-on-dynamic-graphs--eqAnR859q8wk2jfcGnbx

1、DeepGCNs：Can GCNs Go as Deep as CNNs

作者：Guohao Li , Matthias Müller , Ali Thabet Bernard Ghanem;

摘要：卷積神經網絡（CNNs）在廣泛的領域中取得了令人印象深刻的性能。他們的成功得益于一個巨大的推動，當非常深入的CNN模型能夠可靠的訓練。盡管CNNs有其優點，但它不能很好地解決非歐幾里德數據的問題。為了克服這一挑戰，圖形卷積網絡（GCNS）構建圖形來表示非歐幾里德數據，借用CNNs的概念，并將它們應用于訓練。GCNs顯示出有希望的結果，但由于消失梯度問題，它們通常僅限于非常淺的模型（見圖1）。因此，最先進的GCN模型不超過3層或4層。在這項工作中，我們提出了新的方法來成功地訓練非常深的GCNs。我們通過借鑒CNNs的概念來做到這一點，特別是剩余/密集連接和擴展卷積，并將它們應用到GCN架構中。大量的實驗證明了這些深度GCN框架的積極作用。最后，我們使用這些新的概念來構建一個非常深的56層GCN，并展示了它如何在點云語義分割任務中顯著提升性能（+ 3.7% Miou-Unice狀態）。我們相信公眾可以從這項工作中受益，因為它為推進基于GCN的研究提供了許多機會。

網站： //www.zhuanzhi.ai/paper/c1e02bdee9efe20fd0a53d23883901c3

2、Dynamic Graph Attention for Referring Expression Comprehension

作者：Sibei Yang, Guanbin Li, Yizhou Yu;

摘要：引用表達式理解的目的是在圖像中定位由自然語言描述的對象實例。這項任務是合成的，本質上需要在圖像中對象之間關系的基礎上進行視覺推理。同時，視覺推理過程是由指稱表達式的語言結構來指導的。然而，現有的方法孤立地對待對象，或者只探索對象之間的一階關系，而不與表達式的潛在復雜性對齊。因此，他們很難適應復雜的參考表達的基礎。本文從語言驅動的視覺推理的角度，探討了表達理解的問題，并提出了一種動態圖形注意力網絡，通過對圖像中的對象之間的關系和表達的語言結構進行建模來進行多步推理。特別地，我們構造了具有對應于對象和它們的關系的節點和邊緣的圖像，提出了一種差分分析器來預測語言制導的視覺推理過程，并在圖的頂部執行逐步推理，以更新每個節點上的復合對象表示。實驗結果表明，所提出的方法在三個共同的基準數據集不僅可以顯著超越所有現有的最先進的算法，而且還能產生可解釋的視覺證據，以逐步定位復雜的語言描述的對象。

網址：

3、Understanding Human Gaze Communication by Spatio-Temporal Graph Reasoning

作者：Lifeng Fan, Wenguan Wang, Siyuan Huang, Xinyu Tang, Song-Chun Zhu;

摘要：本文從原子層次和事件層次兩個方面探討了社會視頻中人的注釋交流這一新問題，對研究人類的社會互動具有重要意義。為了解決這一新穎而具有挑戰性的問題，我們貢獻了一個大規模的視頻數據集，VACATION，涵蓋不同的日常社會場景和注釋交流行為，并在原子級和事件級對物體和人臉、人類注意力、交流結構和標簽進行了完整的注釋。結合VACATION，我們提出了一個時空圖神經網絡，明確地表示社會場景中不同的注釋交互，并通過消息傳遞來推斷原子級的注視交流。在此基礎上，進一步提出了一種基于編碼-解碼器結構的事件網絡來預測事件級注視通信。我們的實驗表明，該模型在預測原子級和事件級注釋通信時顯著地改進了各種基線。

網址：

4、SceneGraphNet Neural Message Passing for 3D Indoor Scene Augmentation

作者：Yang Zhou, Zachary While, Evangelos Kalogerakis;

摘要：在本文中，我們提出了一種神經消息傳遞方法，以增加輸入三維室內場景中與周圍環境匹配的新對象。給定一個輸入，可能是不完整的，三維場景和一個查詢位置（圖1），我們的方法預測在該位置上適合的對象類型上的概率分布。我們的分布是通過在稠密圖中傳遞學習信息來預測的，其節點表示輸入場景中的對象，并且邊緣表示空間和結構關系。通過一個注意力機制對消息進行加權，我們的方法學會將注意力集中在最相關的周圍場景上下文，從而預測新的場景對象。基于我們在SUNCG數據集中的實驗，我們發現我們的方法在正確預測場景中丟失的對象方面明顯優于最先進的方法。我們還演示了我們的方法的其他應用，包括基于上下文的3D對象識別和迭代場景生成。

網址：

5、Language-Conditioned Graph Networks for Relational Reasoning

作者：Ronghang Hu, Anna Rohrbach, Trevor Darrell, Kate Saenko ;

摘要：解決基于語言任務通常需要對給定任務上下文中對象之間的關系進行推理。例如，要回答盤子上的杯子是什么顏色?？我們必須檢查特定杯子的顏色，以滿足盤子上的關系。最近的工作提出了各種復雜關系推理的方法。然而，它們的能力大多在推理結構上，而場景則用簡單的局部外觀特征來表示。在本文中，我們采取另一種方法，建立一個視覺場景中的對象的上下文化表示，以支持關系推理。我們提出了一個通用的語言條件圖網絡（LCGN）框架，其中每個節點代表一個對象，并通過文本輸入的迭代消息傳遞來描述相關對象的感知表示。例如，調節與plate的on關系，對象mug收集來自對象plate的消息，以將其表示更新為mug on the plate，這可以很容易地被簡單分類器用于答案預測。我們的實驗表明，我們的LCGN方法有效地支持關系推理，并在多個任務和數據集上提高了性能。我們的代碼可以在

網址：