亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

隨著網絡信息的爆炸式增長，推薦系統在緩解信息過載方面發揮了重要作用。由于推薦系統具有重要的應用價值，這一領域的研究一直在不斷涌現。近年來，圖神經網絡(GNN)技術得到了廣泛的關注，它能將節點信息和拓撲結構自然地結合起來。由于GNN在圖形數據學習方面的優越性能，GNN方法在許多領域得到了廣泛的應用。在推薦系統中，主要的挑戰是從用戶/項目的交互和可用的邊信息中學習有效的嵌入用戶/項目。由于大多數信息本質上具有圖結構，而網絡神經網絡在表示學習方面具有優勢，因此將圖神經網絡應用于推薦系統的研究十分活躍。本文旨在對基于圖神經網絡的推薦系統的最新研究成果進行全面的綜述。具體地說，我們提供了基于圖神經網絡的推薦模型的分類，并闡述了與該領域發展相關的新觀點。

摘要：

隨著電子商務和社交媒體平臺的快速發展，推薦系統已經成為許多企業不可缺少的工具[78]。用戶依靠推薦系統過濾掉大量的非信息，促進決策。一個高效的推薦系統應該準確地捕捉用戶的偏好，并提出用戶潛在感興趣的內容，從而提高用戶對平臺的滿意度和用戶留存率。

推薦系統根據用戶的興趣和物品屬性來評估他們對物品的偏好。用戶興趣和項目屬性都用壓縮向量表示。因此，如何通過歷史交互以及社會關系、知識圖譜[49]等側面信息來了解用戶/項目嵌入是該領域面臨的主要挑戰。在推薦系統中，大多數信息都具有圖結構。例如，用戶之間的社會關系和與項目相關的知識圖譜，自然就是圖形數據。此外，用戶與項目之間的交互可以看作是二部圖，項目在序列中的轉換也可以構建為圖。因此，圖形學習方法被用來獲得用戶/項目嵌入。在圖學習方法中，圖神經網絡(graph neural network, GNN)目前受到了極大的追捧。

在過去的幾年里，圖神經網絡在關系提取和蛋白質界面預測等許多應用領域取得了巨大的成功[82]。最近的研究表明，推薦器在以圖[41]的形式引入用戶/項目和邊信息的交互時，性能有了很大的提升，并利用圖神經網絡技術得到了更好的用戶/項目表示。圖神經網絡通過迭代傳播能夠捕捉用戶-項目關系中的高階交互。此外，如果社會關系或知識圖譜的信息是可用的，則可以有效地將這些邊信息集成到網絡結構中。

本文旨在全面回顧基于圖神經網絡的推薦系統的研究進展。對推薦系統感興趣的研究者和實踐者可以大致了解基于圖神經網絡的推薦領域的最新發展，以及如何利用圖神經網絡解決推薦任務。本調查的主要貢獻總結如下:

• 新的分類法：我們提出了一個系統的分類模式來組織現有的基于圖神經網絡的推薦模型。我們可以很容易地進入這個領域，并對不同的模型進行區分。

• 對每個類別的全面回顧，我們展示了要處理的主要問題，并總結了模型的總體框架。此外，我們還簡要介紹了代表性模型，并說明它們是如何解決這些問題的。

• 我們討論了當前方法的局限性，并在效率、多圖集成、可擴展性和序列圖構造方面提出了四個潛在的未來方向。

圖神經網絡(GNNs)最近變得越來越受歡迎，因為它們能夠學習復雜的關系系統或相互作用，這些關系或作用來源于生物學和粒子物理學到社會網絡和推薦系統等廣泛問題。盡管在圖上進行深度學習的不同模型太多了，但迄今為止，很少有人提出方法來處理呈現某種動態性質的圖(例如，隨著時間的推移而進化的特征或連通性)。在本文中，我們提出了時序圖網絡(TGNs)，一個通用的，有效的框架，用于深度學習動態圖表示為時間事件序列。由于內存模塊和基于圖的運算符的新組合，TGNs能夠顯著優于以前的方法，同時在計算效率上也更高。此外，我們還展示了之前幾個用于學習動態圖的模型可以轉換為我們框架的具體實例。我們對框架的不同組件進行了詳細的消歧研究，并設計了最佳配置，在動態圖的幾個轉導和歸納預測任務中實現了最先進的性能。

//github.com/twitter-research/tgn

雖然BERT等大規模的預訓練語言模型在各種自然語言理解任務上取得了巨大的成功，但如何高效、有效地將它們合并到序列到序列模型和相應的文本生成任務中仍然是一個不容忽視的問題。為了解決這個問題，我們提出采用兩種不同的BERT模型分別作為編碼器和解碼器，并通過引入簡單的和輕量級的適配器模塊對它們進行微調，這些適配器模塊插入到BERT層之間，并針對特定的任務數據集進行調優。這樣，我們得到了一個靈活高效的模型，它能夠聯合利用源端和目標端BERT模型中包含的信息，同時繞過了災難性遺忘問題。框架中的每個組件都可以看作是一個插件單元，使得框架靈活且任務不相關。該框架基于并行序列譯碼算法掩模預測，考慮了BERT算法的雙向和條件獨立性，易于適應傳統的自回歸譯碼。我們在神經機器翻譯任務上進行了廣泛的實驗，在實驗中，所提出的方法始終優于自回歸基線，同時將推理延遲減少了一半，并且在IWSLT14德語-英語/WMT14德語-英語翻譯中達到36.49/33.57的BLEU分數。當采用自回歸譯碼時，該方法在WMT14英-德/英-法翻譯中的BLEU得分達到30.60/43.56，與最先進的基線模型相當。

//arxiv.org/abs/2010.06138

盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。

//arxiv.org/abs/2009.11692

Minimal Variance Sampling with Provable Guarantees for Fast Training of Graph Neural Networks

抽樣方法(如節點抽樣、分層抽樣或子圖抽樣)已成為加速大規模圖神經網絡(GNNs)訓練不可缺少的策略。然而，現有的抽樣方法大多基于圖的結構信息，忽略了最優化的動態性，導致隨機梯度估計的方差較大。高方差問題在非常大的圖中可能非常明顯，它會導致收斂速度慢和泛化能力差。本文從理論上分析了抽樣方法的方差，指出由于經驗風險的復合結構，任何抽樣方法的方差都可以分解為前向階段的嵌入近似方差和后向階段的隨機梯度方差，這兩種方差都必須減小，才能獲得較快的收斂速度。本文提出了一種解耦的方差減小策略，利用(近似)梯度信息自適應地對方差最小的節點進行采樣，并顯式地減小了嵌入近似引入的方差。理論和實驗表明，與現有方法相比，該方法即使在小批量情況下也具有更快的收斂速度和更好的泛化能力。

在最大化源與目標之間的互信息方面的最新進展已經證明了它在文本生成方面的有效性。然而，以往的工作對MI(即MI)的后向網絡建模關注較少。這對于變分信息最大化下界的緊密性至關重要。在本文中，我們提出了一個對抗互信息(AMI):一個文本生成框架，它是一個新的鞍點(min-max)優化，旨在識別源與目標之間的聯合交互。在這個框架中，通過比較真實和合成的數據分布，前向網絡和后向網絡能夠迭代地提升或降級彼此生成的實例。我們還開發了一個潛在噪聲采樣策略，利用高級語義空間的隨機變化來增強生成過程中的長期依賴性。基于不同文本生成任務的大量實驗表明，所提出的AMI框架能夠顯著優于多個強基線，我們還表明，AMI有可能為變分信息最大化問題帶來更緊密的互信息上限。

//www.zhuanzhi.ai/paper/ccd8403755c153d155bec032656f8c49

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。