亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Adaptive Graph Encoder for Attributed Graph Embedding

簡介： 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來，基于圖卷積網絡（GCN）的方法在此任務上取得了很大的進步。但是，現有的基于GCN的方法具有三個主要缺點。首先，我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次，我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例，但它們并未保留最佳的低通特性。最后，現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣，為了解決這些問題，我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder（AGE）。 AGE由兩個模塊組成：（1）為了更好地減輕節點特征中的高頻噪聲，AGE首先應用了精心設計的拉普拉斯平滑濾波器。 （2）AGE采用了自適應編碼器，該編碼器迭代地增強了濾波后的特征，以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗，以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明，AGE在這些任務上始終優于最新的圖形嵌入方法。

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

主題： Understanding Negative Sampling in Graph Representation Learning

摘要： 在最近的幾年中，研究人員對圖形表示學習進行了廣泛的研究。盡管它具有為各種網絡生成連續嵌入的潛力，但推斷向大型節點集表示高質量表示的有效性和效率仍然具有挑戰性。采樣是實現性能目標的關鍵點。現有技術通常集中于對正節點對進行采樣，而對負采樣的策略還沒有得到足夠的研究。為了彌合差距，我們從客觀和風險兩個角度系統地分析了負樣本的作用，從理論上證明了負樣本在確定優化目標和結果方差方面與正樣本同等重要。據我們所知，我們是第一個推導該理論并量化負采樣分布應與其正采樣分布呈正相關但與子線性相關的方法。在該理論的指導下，我們提出了MCNS，用Metropolis-Hastings用自對比度逼近來近似正分布，并加速Metropolis-Hastings進行負采樣。我們在5個數據集上評估了我們的方法，這些數據集涵蓋了19個實驗設置，涵蓋了廣泛的下游圖形學習任務，包括鏈接預測，節點分類和個性化推薦。這些相對全面的實驗結果證明了其魯棒性和優越性。

正確處理丟失的數據是推薦中的一個基本挑戰。目前的工作大多是對未觀測數據進行負采樣，為推薦模型的訓練提供負信號。然而，現有的負采樣策略，無論是靜態的還是自適應的，都不足以產生高質量的負采樣——既能提供模型訓練的信息，又能反映用戶的真實需求。在這項工作中，我們假設項目知識圖譜(KG)，它提供了豐富的項目和KG實體之間的關系，可以用來推斷信息和事實的陰性樣本。為此，我們提出了一種新的負采樣模型——知識圖譜策略網絡(KGPolicy)，它作為一種強化學習代理來探索高質量的負樣本。具體來說，通過我們設計的探索操作，它從目標的正交互中導航，自適應地接收到知識感知的負信號，最終產生一個潛在的負項來訓練推薦器。我們在一個配備了KGPolicy的矩陣分解(MF)模型上進行了測試，它在最先進的采樣方法(如DNS和IRGAN)和kg增強的推薦模型(如KGAT)上都取得了顯著的改進。進一步從不同的角度進行分析，為知識感知抽樣提供了思路。我們通過這個https URL發布代碼和數據集。

圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。

題目：GNEG:Graph-Based Negative Sampling for word2vec

論文摘要; 負抽樣是分布式詞表示學習的一個重要組成部分。我們假設，考慮全局的語料庫級信息，為每個目標詞生成不同的噪聲分布，比原始的基于頻率的分布更能滿足每個訓練詞的反例要求。為此，我們從語料庫中預先計算單詞的共現統計量，并將其應用于隨機游走等it網絡算法中。我們通過一系列實驗驗證了這一假設，實驗結果表明，我們的方法將單詞類比任務提高了約5%，并將單詞相似性任務的性能提高了約1%。

論文題目： Efficient Heterogeneous Collaborative Filtering without Negative Sampling for Recommendation

論文摘要：

最近關于推薦的研究主要集中在探索最先進的神經網絡，以提高模型的表達能力，同時通常采用負抽樣(NS)策略來提高學習效率。盡管有效，現有方法中有兩個重要問題沒有得到充分考慮:1) NS波動劇烈，基于抽樣的方法在實際應用中難以獲得最優的排序性能;2)盡管異構反饋(如查看、單擊和購買)在許多在線系統中廣泛存在，但大多數現有方法僅利用一種主要類型的用戶反饋，如購買。在這項工作中，我們提出了一種新的非抽樣轉移學習解決方案，命名為高效異構協同過濾(EHCF)，用于Top-N推薦。它不僅可以對細粒度的用戶-項目關系進行建模，而且可以從整個異構數據(包括所有未標記的數據)中高效地學習模型參數，并且具有較低的時間復雜度。對三個真實數據集的大量實驗表明，EHCF在傳統(單一行為)和異構場景中都顯著優于最先進的推薦方法。此外，EHCF在培訓效率方面有顯著的改進，使其更適用于真實世界的大型系統。我們的實現已經發布，以促進更有效的基于全數據的神經方法的進一步發展。

論文作者：

張敏博士是清華大學計算機科學與技術系的終身副教授，專門從事網絡搜索和推薦以及用戶建模。她是計算機系智能技術與系統實驗室副主任，清華-MSRA媒體與搜索實驗室執行主任。她還擔任ACM信息系統事務(TOIS)的副編輯，SIGIR 2019教程主席，SIGIR 2018短論文主席，WSDM 2017項目主席等。發表論文100余篇，被引用次3500余次，H指數32分。2016年獲北京市科技獎(一等獎)，2018年獲全國高校計算機科學優秀教師獎等。她還擁有12項專利，并與國內外企業進行了大量的合作。

馬少平是清華大學智能技術與系統國家重點實驗室計算機科學與技術系教授，研究領域為智能信息處理, 信息檢索。主要研究興趣是智能信息處理，主要集中在信息檢索與Web信息挖掘等方面，尤其研究基于網絡用戶行為分析的語義挖掘，以改進搜索引擎的性能。