亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。

具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。

我們提出了一個嚴格的方法，使用一組任意相關的弱監督源，以解決多類分類任務時，只有一個非常小的標記數據集可用。我們的學習算法可證明收斂于一個模型，該模型對于一組未標記數據的可行標記的對抗性選擇具有最小的經驗風險，其中標記的可行性是通過對弱監督源的嚴格估計統計量定義的約束來計算的。我們為這種依賴于弱監督來源提供的信息的方法提供了理論保障。值得注意的是，該方法不要求弱監督源具有與多類分類任務相同的標注空間。我們通過實驗證明了我們的方法在各種圖像分類任務中的有效性。

在統一魯棒半監督變分自編碼器(URSVAE)中，通過同時處理噪聲標簽和異常值，提出了一種新的噪聲魯棒半監督深度生成模型。輸入數據的不確定性通常是將不確定性優先于概率密度分布的參數，以確保變分編碼器對異常值的魯棒性。隨后，我們將噪聲轉換模型自然地集成到我們的模型中，以減輕噪聲標簽的有害影響。此外，為了進一步增強魯棒性，采用魯棒散度測度，推導并優化了新的變分下界來推斷網絡參數。通過證明對所提證據下界的影響函數是有界的，證明了所提模型在存在復合噪聲的情況下在分類方面的巨大潛力。通過對圖像分類任務的評價和與現有方法的比較，實驗結果表明了該框架的優越性。

//proceedings.mlr.press/v139/chen21a.html

在圖數據挖掘任務中，對于特定任務，有標簽的數據通常十分稀少，然而現實中存在著大量無標簽的數據。

因此，如何通過預訓練從這些標簽數據中獲取有用的先驗知識，從而提升下游任務的表現成為了一個有價值的問題。我們本篇工作提出了一種在大規模異質圖上進行高效預訓練的框架。

近年來，圖神經網絡作為圖結構數據學習的重要方法，可以通過遞歸的從鄰居聚合消息（特征和節點表示）來學習到有效的圖表示。但是圖神經網絡通常需要大量的有標簽數據來取得令人滿意的表現。為了解決標簽稀疏的問題，一些工作提出了基于自監督的方法來從無標簽的數據中提取先驗知識。然而，現有的預訓練框架都是基于同質圖的，但現實生活中的交互系統通常都是有多種類型節點和邊的大規模的異質圖。因此，在我們設計預訓練模型的時候遇到了如下兩個挑戰。

如何捕捉異質圖的語義和結構性質 相比同質圖，異質圖具有更豐富的語義和結構信息。不同類型的節點通常有不同的圖結構性質（例如會議節點的度要普遍高于其他類型的節點）。不同類型的連邊通常有不同的語義關系。因此為了有效的預訓練，我們需要捕捉這些信息。

如何在大規模異質圖上高效預訓練一個 GNN

現實生活中的異質圖可以擁有數十億的節點和邊。為了可以在這樣這樣大規模的圖上進行預訓練，我們需要設計一種加速策略來保證我們在大規模異質圖上的預訓練效率。

為了解決上述的兩個問題，我們提出了 PTHGNN 來進行大規模異質圖上的預訓練。對于第一個挑戰，基于對比學習，我們提出了節點級別和網絡模式級別的預訓練任務來捕捉異質圖的語義和結構信息。對于第二個挑戰，我們提出了基于 personalized pagerank 的邊稀疏化方法，從而來提高我們進行大規模預訓練的效率。

題目：Adversarial Label-Flipping Attack and Defense for Graph Neural Networks 會議： ICDM 2020 論文代碼： //github.com/MengmeiZ/LafAK

隨著GNN的廣泛應用，其對于對抗攻擊的魯棒性越來越受到人們的關注。然而，現有的工作忽略了對抗標簽翻轉攻擊，其中攻擊者可以通過操縱少量的訓練標簽毒害模型訓練。探索GNN對標簽翻轉攻擊的魯棒性是非常關鍵的，特別是當標簽從外部來源收集并且容易注入錯誤標簽時(例如推薦系統)。在這項工作中我們介紹了第一個對抗標簽翻轉攻擊GNN的研究，并提出了一種有效的攻擊模型LafAK，LafAK利用GCN的近似閉合解和不可微目標的連續代理，通過基于梯度的優化器高效地產生攻擊。此外，我們還指出了GNNs易受標簽翻轉攻擊的一個關鍵原因是對翻轉節點的過擬合。基于此，我們提出了一個防御框架，該框架引入了一個基于社區分類的自監督任務作為正則化來避免過擬合。我們在四個真實的數據集上展示了我們提出的攻擊模型和防御模型的有效性。

屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性，要么通過編碼-解碼器框架學習節點表示。然而，基于傳播的方法傾向于選擇網絡結構而不是節點屬性，而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制，同時得到這兩個方面的優點，我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說，我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性，然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道，使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。

//cs.nju.edu.cn/yuanyao/static/wsdm2021.pdf

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

自回歸文本生成模型通常側重于局部的流暢性，在長文本生成過程中可能導致語義不一致。此外，自動生成具有相似語義的單詞是具有挑戰性的，而且手工編寫的語言規則很難應用。我們考慮了一個文本規劃方案，并提出了一個基于模型的模仿學習方法來緩解上述問題。具體來說，我們提出了一種新的引導網絡來關注更長的生成過程，它可以幫助下一個單詞的預測，并為生成器的優化提供中間獎勵。大量的實驗表明，該方法具有較好的性能。

雖然生成對抗網絡在圖像合成任務中取得了巨大的成功，但眾所周知，它們很難適應不同的數據集，部分原因是訓練過程中的不穩定性和對超參數的敏感性。這種不穩定性的一個普遍接受的原因是，當真實和虛假分布的支持沒有足夠的重疊時，從鑒別器到發生器的梯度變得不具信息性。本文提出了多尺度梯度生成對抗網絡(MSG-GAN)，這是一種簡單而有效的技術，通過允許梯度流從鑒別器到發生器在多個尺度上流動來解決這個問題。該技術為高分辨率圖像合成提供了一種穩定的方法，并作為常用的漸進生長技術的替代。結果表明，MSG-GAN在不同大小、分辨率和域的多種圖像數據集上，以及不同類型的丟失函數和結構上都穩定收斂，且具有相同的固定超參數集。與最先進的GAN相比，在我們嘗試的大多數情況下，我們的方法都能與之媲美或超越其性能。

每天都有數以百萬計的新聞文章在網上發布，這對讀者來說是難以承受的。將報道同一事件的文章分組成新聞報道是幫助讀者進行新聞消費的一種常見方式。然而，如何高效、有效地為每一個故事生成一個有代表性的標題仍然是一個具有挑戰性的研究問題。文檔集自動摘要的研究已經有幾十年的歷史了，但是很少有研究關注于為一組文章生成具有代表性的標題。摘要的目的是用最少的冗余捕獲最多的信息，而標題的目的是短篇幅捕獲由story文章共同共享的信息，并排除對每一篇文章過于具體的信息。在這項工作中，我們研究的問題，產生具有代表性的新聞故事標題。我們開發了一種遠監督方法來訓練大規模的沒有任何人工標注的生成模型。這種方法集中在兩個技術組件上。首先，我們提出了一個多層次的預訓練框架，該框架融合了大量不同質量的未標記語料庫。我們證明，在這個框架內訓練的模型比那些使用純人類策展語料庫訓練的模型表現得更好。其次，我們提出了一種新的基于自投票的文章注意層來提取多篇文章共享的顯著信息。我們證明了該層模型對新聞中潛在的干擾具有較強的魯棒性，無論是否存在干擾，其性能都優于已有的基線。我們可以通過合并人類標簽來進一步增強我們的模型，我們展示了我們的遠監督方法，這大大減少了對標簽數據的需求。