MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge
Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou
近年來，利用圖神經網絡解決藥物相關問題在生物醫學領域得到了迅速發展。然而，就像任何其他深度架構一樣，GNN是數據需求型的。雖然在現實世界中要求標簽通常是昂貴的，但以一種無監督的方式對GNN進行預處理已經被積極地探索。其中，圖對比學習通過最大化成對圖增強之間的互信息，已被證明對各種下游任務是有效的。然而，目前的圖對比學習框架有兩個局限性。首先，增強是為一般圖設計的，因此對于某些領域可能不夠合適或不夠強大。第二，對比方案只學習對局部擾動不變的表示，因此不考慮數據集的全局結構，這也可能對下游任務有用。因此，本文研究生物醫學領域中存在分子圖的圖對比學習。我們提出了一個新的框架MoCL，利用領域知識在局部和全局水平上幫助表示學習。局部層次的領域知識指導擴展過程，這樣在不改變圖語義的情況下引入變體。全局層次的知識對整個數據集圖之間的相似性信息進行編碼，并幫助學習具有更豐富語義的表示。整個模型通過雙對比目標學習。我們評估了在線性和半監督設置下的多種分子數據集上的MoCL，結果表明MoCL達到了最先進的性能。
付費5元查看完整內容
相關內容
本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。
具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
1.論文名稱：Are we really making much progress? Revisiting, benchmarking, and refining heterogeneous graph neural networks 論文鏈接：//keg.cs.tsinghua.edu.cn/jietang/publications/KDD21-Lv-et-al-HeterGNN.pdf 近年來，異構圖神經網絡 (HGNN) 蓬勃發展，但每項工作使用的獨特數據處理和評估設置阻礙了對其進步的全面了解。在這項工作中，我們使用官方代碼、數據集、設置和超參數系統地再現了 12 個最近的 HGNN，揭示了有關 HGNN 進展的驚人發現。我們發現簡單的同構 GNN，例如 GCN 和 GAT，由于設置不當而在很大程度上被低估了。具有適當輸入的 GAT 通常可以在各種場景中匹配或優于所有現有的 HGNN。為了促進穩健和可重復的 HGNN 研究，我們構建了異構圖基準 (HGB)1，由 11 個不同的數據集和三個任務組成。HGB 標準化了異構圖數據拆分、特征處理和性能評估的過程。最后，我們引入了一個簡單但非常強大的基線 Simple-HGN——它在 HGB 上明顯優于之前的所有模型——以加速 HGNNs 在未來的進步。
付費5元查看完整內容
在圖數據挖掘任務中，對于特定任務，有標簽的數據通常十分稀少，然而現實中存在著大量無標簽的數據。
因此，如何通過預訓練從這些標簽數據中獲取有用的先驗知識，從而提升下游任務的表現成為了一個有價值的問題。我們本篇工作提出了一種在大規模異質圖上進行高效預訓練的框架。
近年來，圖神經網絡作為圖結構數據學習的重要方法，可以通過遞歸的從鄰居聚合消息（特征和節點表示）來學習到有效的圖表示。但是圖神經網絡通常需要大量的有標簽數據來取得令人滿意的表現。為了解決標簽稀疏的問題，一些工作提出了基于自監督的方法來從無標簽的數據中提取先驗知識。然而，現有的預訓練框架都是基于同質圖的，但現實生活中的交互系統通常都是有多種類型節點和邊的大規模的異質圖。因此，在我們設計預訓練模型的時候遇到了如下兩個挑戰。
如何捕捉異質圖的語義和結構性質 相比同質圖，異質圖具有更豐富的語義和結構信息。不同類型的節點通常有不同的圖結構性質（例如會議節點的度要普遍高于其他類型的節點）。不同類型的連邊通常有不同的語義關系。因此為了有效的預訓練，我們需要捕捉這些信息。
如何在大規模異質圖上高效預訓練一個 GNN
現實生活中的異質圖可以擁有數十億的節點和邊。為了可以在這樣這樣大規模的圖上進行預訓練，我們需要設計一種加速策略來保證我們在大規模異質圖上的預訓練效率。
為了解決上述的兩個問題，我們提出了 PTHGNN 來進行大規模異質圖上的預訓練。對于第一個挑戰，基于對比學習，我們提出了節點級別和網絡模式級別的預訓練任務來捕捉異質圖的語義和結構信息。對于第二個挑戰，我們提出了基于 personalized pagerank 的邊稀疏化方法，從而來提高我們進行大規模預訓練的效率。
付費5元查看完整內容
最近，異質圖神經網絡（HGNNs）在處理異質信息網絡（HIN）方面展現了優越的能力。大部分的HGNNs都遵循半監督學習的設定，然而實際應用中標簽信息往往很難獲得。而自監督學習由于能夠自發地從數據本身挖掘監督信號，已經成為無監督設定下很好的選擇。作為一種典型的自監督機制，對比學習（contrastive learning）通過從數據中抽取出正負樣本，同時最大化正例間的相似度以及最小化負例間相似度，能夠學到判別性的表示。盡管對比學習在CV和NLP領域得到了廣泛應用，如何將它和HIN結合卻尚未解決。
通過認真考慮HIN以及對比學習的特性，我們總結了三個需要解決的本質問題：
1）如何設計異質對比機制 HIN中包含復雜結構，例如元路徑（meta-path），需要利用跨視圖的對比學習機制來綜合刻畫。
2）如何在HIN中選擇合適的視圖 對于視圖的基本要求是，能夠刻畫網絡的局部結構和高階結構。網絡模式（network schema）反應了節點間的直接連接情況，捕捉局部結構；元路徑通常被用來抽取多跳關系。
3）如何設置困難的對比任務 簡單的正負關系很容易被捕獲，模型學到的信息有限。增加對比任務的難度，可通過增加兩個視圖間的差異，或者生成更高質量的負樣本來實現。
在本篇文章中，我們提出了一個新的基于協同對比學習的異質圖神經網絡框架，簡稱HeCo。HeCo采用跨視圖的對比機制，選擇網絡模式和元路徑作為兩個視圖，結合視圖掩蓋機制，分別學得兩個視圖下的節點表示。之后，利用跨視圖對比學習，使得兩個視圖協同監督。此外，我們還提出兩個HeCo擴展，通過生成更高質量的負例，提升最終效果。
付費5元查看完整內容
異構圖神經網絡(HGNN)作為一種新興的技術，在處理異構信息網絡(HIN)方面表現出優越的能力。然而，大多數HGNN遵循半監督學習方式，這明顯限制了它們在現實中的廣泛使用，因為標簽在實際應用中通常很少。近年來，對比學習，一種自監督的學習方法，成為最令人興奮的學習模式之一，在沒有標簽的情況下顯示出巨大的潛力。在本文中，我們研究了自監督HGNN的問題，并提出了一種新的HGNN的共同對比學習機制，名為HeCo。不同于傳統的對比學習只關注于對正樣本和負樣本的對比，HeCo采用了跨視角對比機制。具體來說，我們提出了HIN的兩種視圖(網絡模式視圖和元路徑視圖)來學習節點嵌入，從而同時捕獲局部和高階結構。在此基礎上，提出了一種跨視圖對比學習方法，并提出了一種視圖掩碼機制，能夠從兩個視圖中提取正面和負面的嵌入信息。這使得兩個視圖能夠相互協作監督，并最終學習高級節點嵌入。此外，設計了兩個擴展的HeCo，以產生高質量的硬負樣本，進一步提高了HeCo的性能。在各種真實網絡上進行的大量實驗表明，所提出的方法的性能優于最新的技術。
付費5元查看完整內容
預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。
基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。
//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4
該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。
兩種用于表征學習的對比學習范式的概念描述圖。
現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。
具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。
付費5元查看完整內容
圖神經網絡最近的成功極大地促進了分子性質的預測，促進了藥物發現等活動。現有的深度神經網絡方法通常對每個屬性都需要大量的訓練數據集，在實驗數據量有限的情況下(特別是新的分子屬性)會影響其性能，這在實際情況中是常見的。為此，我們提出了Meta-MGNN，一種新穎的預測少樣本分子性質的模型。Meta-MGNN應用分子圖神經網絡學習分子表示，建立元學習框架優化模型。為了挖掘未標記的分子信息，解決不同分子屬性的任務異質性，Meta-MGNN進一步將分子結構、基于屬性的自監督模塊和自關注任務權重整合到Meta-MGNN框架中，強化了整個學習模型。在兩個公共多屬性數據集上進行的大量實驗表明，Meta-MGNN優于各種最先進的方法。
付費5元查看完整內容
目前流行的圖學習方法需要豐富的標簽和邊信息進行學習。「當新任務的數據稀缺時，元學習允許我們從以前的經驗中學習」，并形成急需的歸納偏見，以便快速適應新任務。
此文介紹了「G-META，一種新的圖的元學習方法：」
G-META 使用局部子圖傳遞特定于子圖的信息，并通過元梯度使模型更快地學習基本知識。 G-META 學習如何僅使用新任務中的少數節點或邊來快速適應新任務，并通過學習其他圖或相關圖(盡管是不相交的標簽集)中的數據點來做到這一點。 G-META 在理論上是合理的，因為「特定預測的證據可以在目標節點或邊周圍的局部子圖中找到。」
現有方法是專門為特定的圖元學習問題和特定的任務設計的專門技術。雖然這些方法為 GNN 中的元學習提供了一種很有前途的方法，但它們的特定策略沒有很好的伸縮性，也不能擴展到其他圖的元學習問題（圖1）。
付費5元查看完整內容
Hierarchical Inter-Message Passing for Learning on Molecular Graphs
我們提出了一個在分子圖上學習的遞階神經信息傳遞架構。我們的模型采用了兩種互補的圖表示:原始的分子圖表示和相關的結樹，其中節點表示原始圖中有意義的簇，如環或橋接化合物。然后，我們通過在每個圖中傳遞消息來學習分子的表示，并使用粗到細和細到粗的信息流在兩種表示之間交換消息。我們的方法能夠克服經典GNN的一些限制，如檢測周期，同時仍然非常有效的訓練。我們在ZINC數據集和MoleculeNet基準收集數據集上驗證了它的性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191