作為圖結構數據的基本元素，節點被認為是圖表示學習的主要研究對象。單個節點直觀上具有整個圖的多個以節點為中心的子圖(例如，社交網絡中的一個人根據其不同的關系具有多個社交圈)。在圖對比學習框架下研究了這種直覺，提出了一種多節點為中心的子圖對比表示學習方法，以自監督的方式學習圖上的節點表示。具體而言，我們仔細設計了一系列以中心節點為中心的區域子圖。然后，通過對比損失最大化同一節點的不同子圖之間的互信息。在各種真實數據集和不同下游任務上的實驗表明，我們的模型取得了最先進的結果。
圖表示學習最近受到越來越多的關注[5]，其目的是將高維圖結構化數據轉換為低維稠密的向量表示。作為圖結構化數據的基本元素，節點表示已成為圖表示學習的主要對象。一個全面的節點表示可以很好地用于各種下游任務，如節點分類[14]和鏈接預測[3]。一種廣泛使用的圖表示學習方法是圖神經網絡(GNN)的應用[4, 14, 29, 32, 40]。但大多數此類方法都側重于監督學習，依賴于圖中的監督信號。對于現實世界的網絡，這些監督信號的獲取往往繁瑣而昂貴。自監督學習[11]是近年來的一個熱門研究領域，它為無標簽數據設計代理任務，以挖掘數據本身的表征性質作為監督信息。
圖互信息(GMI)[23]不使用損壞函數，而是最大化節點隱藏表示與其原始局部結構之間的MI。另一方面，圖信息簇(GIC)[19]在DGI的基礎上最大化節點表示與其對應的簇表示之間的MI。雖然這些方法取得了許多進展，但它們都專注于節點嵌入與僅一個相關圖結構之間的MI，如圖1所示。在現實中，我們可以從多個角度看待一個特定的事情。對于圖數據，我們可以從多個角度觀察圖中的單個節點，但很少有文獻關注這一點。直觀地講，對于社交網絡中的個人來說，可能有一個基于血緣關系的親戚社交圈，一個基于工作關系的同事社交圈，以及其他具有許多不同興趣的朋友社交圈。如果我們從這些不同的社交圈中分析這個個人，實際上相當于從多個角度對該網絡中的節點進行學習。基于此直覺，提出了多節點中心子圖對比表示學習(MNCSCL).MNCSCL以網絡中的每個節點為中心，在不同的語義下對其節點中心的區域子圖進行采樣，從而形成對應節點的幾個不同視角，如圖1所示.具體而言，首先通過corrupt函數生成一個負例，然后通過視圖生成器生成原始圖的一系列節點中心子圖，并在負例上對對應子圖進行采樣.然后，將這些子圖輸入到圖神經網絡編碼器中，在池化后獲得中心節點及其子圖的表示.最后，通過對比學習目標函數在潛空間中最大化同一節點的不同子圖之間的互信息.在各種數據集上的實驗結果表明，該設計具有優異的性能.論文的主要貢獻如下：
? 提出了一種通過多個節點中心子圖學習節點表示的新框架，從多個角度觀察單個節點，是當前工作中的一個新思路。 ? 我們仔細設計了五個節點中心子圖，并通過大量實驗分析了不同子圖對節點表示學習質量的影響，具有參考意義。 ? 我們在五個標準數據集和兩個下游任務上評估了MNCSCL，以驗證所提方法的有效性。我們的實驗表明，多個子圖的對比學習在結果上優于上述單個子圖的對比學習。
付費5元查看完整內容
相關內容
圖結構學習是一個成熟的問題，旨在優化適應特定圖數據集的圖結構，以幫助消息傳遞神經網絡（即GNN）產生有效且魯棒的節點嵌入。然而，現有模型的普遍限制在于基本的封閉世界假設：測試圖與訓練圖相同。這個前提要求對每個圖數據集獨立從頭開始訓練結構學習模型，導致計算成本過高，并可能出現嚴重的過擬合風險。為了緩解這些問題，本文探索了一個新的方向，即學習一個通用的結構學習模型，可以在開放世界中推廣到各種圖數據集。我們首先介紹這個新穎問題設置的數學定義，并從概率數據生成的角度描述模型的構建。然后，我們設計了一個通用框架，協調一個圖共享的結構學習器和多個圖特定的GNN，以捕捉跨數據集的可推廣的最佳消息傳遞拓撲模式。經過良好訓練的結構學習器可以直接為未見過的目標圖生成適應性結構，而無需任何微調。在不同的數據集和各種具有挑戰性的跨圖泛化協議中，我們的實驗證明，即使在目標圖上沒有進行訓練，所提出的模型：i）顯著優于在輸入（非優化）拓撲上訓練的表達能力強大的GNN；ii）令人驚訝地與獨立優化特定目標圖的最先進模型表現相當，并且在目標圖上訓練的速度明顯加快了幾個數量級。 //arxiv.org/abs/2306.11264
付費5元查看完整內容
理解強化學習(RL)智能體的新出現行為可能是困難的，因為此類智能體通常在復雜環境中使用高度復雜的決策程序進行訓練。這導致了強化學習中各種可解釋性方法的產生，這些方法旨在協調智能體的行為和觀察者預期的行為之間可能出現的差異。最近的大多數方法都依賴于領域知識(這可能并不總是可用的)，依賴于對智能體策略的分析，或者依賴于對底層環境的特定元素的分析(通常建模為馬爾可夫決策過程(Markov Decision Process, MDP))。我們的關鍵主張是，即使底層的MDP不是完全已知的(例如，轉移概率沒有被準確地學習)或不是由智能體維護的(即，轉移概率不是由智能體維護的)。，當使用無模型方法時)，它仍然可以被利用來自動生成解釋。出于這個目的，我們建議使用正式的MDP抽象和轉換(以前在文獻中用于加速搜索最優策略)來自動生成解釋。由于這種轉換通常基于環境的符號表示，它們可以表示預期和實際智能體行為之間差距的有意義的解釋。我們正式地定義了這個問題，提出了一類可以用來解釋突發行為的變換，并提出了能夠有效地尋找解釋的方法。我們將在一組標準基準上演示該方法。
付費5元查看完整內容
我們研究離線元強化學習，這是一種實用的強化學習范式，從離線數據中學習以適應新的任務。離線數據的分布由行為策略和任務共同決定。現有的離線元強化學習算法無法區分這些因素，導致任務表示對行為策略的變化不穩定。為了解決這個問題，我們提出了一個任務表示的對比學習框架，該框架對訓練和測試中的行為策略分布不匹配具有魯棒性。我們設計了一個雙層編碼器結構，使用互信息最大化來形式化任務表示學習，導出了一個對比學習目標，并引入了幾種方法來近似負對的真實分布。在各種離線元強化學習基準上的實驗表明，我們的方法比以前的方法更有優勢，特別是在泛化到非分布行為策略上。代碼可以在//github.com/PKU-AI-Edge/CORRO上找到。
付費5元查看完整內容
知識圖譜表示學習模型通過學習知識圖譜中實體和關系的表示，用于預測實體之間缺失的鏈接（關系），而這些模型的性能很大程度上受模型推斷不同關系模式能力的影響。目前常見的關系模式有對稱、非對稱、互逆、組合和傳遞等。盡管現有模型已經能夠對這些關系模式中的大部分進行建模，但當前模型還未能支持建模傳遞關系性這一常見的關系模式。
在本文中，我們首先從理論上證明了傳遞關系可以用一種通用的投影變換進行建模。然后我們提出了一種能夠將投影變換和關系的旋轉結合在一起的知識表示模型，Rot-Pro。我們證明了 Rot-Pro 可以推斷出上述所有關系模式。實驗結果表明，Rot-Pro 模型能夠有效地學習傳遞模式，并在包含傳遞關系的數據集中展現了良好的鏈接預測結果。
論文標題：
Rot-Pro: Modeling Transitivity by Projection in Knowledge Graph Embedding
論文鏈接：
付費5元查看完整內容
類不平衡問題作為學習節點表示的一個重要問題，越來越受到社會的關注。盡管現有研究中所考慮的不平衡源于不同類別中標記示例的數量不等(數量不平衡)，但我們認為，圖數據暴露了不平衡的唯一來源，即標記節點的不對稱拓撲屬性，即:標記節點在圖中的結構角色不平等(拓撲不平衡)。在本工作中，我們首先探討了之前未知的拓撲不平衡問題，包括其特征、原因和對半監督節點分類學習的威脅。然后通過標簽傳播算法考慮節點影響轉移現象，提供了一個統一的視角來共同分析數量不平衡和拓撲不平衡問題。根據我們的分析，我們設計了一種基于影響沖突檢測——基于度量的Totoro來測量圖拓撲不平衡的程度，并提出了一種模型無關的ReNode方法來解決拓撲不平衡問題，方法是根據標記節點相對于類邊界的相對位置對其影響進行自適應加權。系統實驗證明了該方法在緩解拓撲不平衡問題和促進半監督節點分類方面的有效性和可泛化性。進一步的分析揭示了不同的圖神經網絡對拓撲不平衡的敏感性不同，為評價圖神經網絡體系結構提供了新的視角。
付費5元查看完整內容
圖神經網絡被廣泛應用于對圖數據的許多下游任務的節點表示的學習。現有的模型是為單個圖上的節點設計的，因此無法利用跨多個圖的信息。現實世界中確實存在多個圖，其中的節點通常是部分對齊的。例如，盡管知識圖譜可能具有不同的關系模式，但它們共享許多命名實體;出版物和獲獎項目的協作網絡共享一些分別是作者和研究者的研究節點;人們使用多種網絡服務，購物，推特，電影評級，有些人可能在不同平臺注冊相同的電子郵件帳戶。在本文中，我提出了部分對齊的圖卷積網絡來學習跨模型的節點表示。我研究了多種方法(包括模型共享、正則化和對齊重建)以及理論分析，以在(小)組部分對齊的節點上積極轉移知識。在真實知識圖譜和協作網絡上的大量實驗表明，我們提出的方法在關系分類和鏈接預測方面具有優越的性能。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
本文研究了卷積神經網絡（CNN）和視覺語言預訓練Transformer（VLPT）的聯合學習，旨在從數百萬個圖像-文本對中學習跨模態對齊。當前大多數文章都是先抽取出圖像中的顯著性區域，再將其與文字一一對齊。由于基于區域的視覺特征通常代表圖像的一部分，因此現有的視覺語言模型要充分理解配對自然語言的語義是一項挑戰。由于基于區域的視覺特征通常代表圖像的一部分，現有的視覺語言模型很難完全理解成對自然語言的語義。本文提出SOHO“開箱即看”的概念，將完整的圖像為輸入，以一種端到端的方式學習視覺語言表達。SOHO不需要邊界框標注，這使得推理速度比基于區域的方法快10倍。特別地，SOHO學會了通過視覺詞典（VD）來提取全面而緊湊的圖像特征，這有助于跨模態理解。大量的實驗結果也驗證了本文SOHO的有效性。
//www.zhuanzhi.ai/paper/a8c52c4b641c0a5bc840a955b6258b39
付費5元查看完整內容
場景圖以結構化、符號化的方式將圖像的高層內容進行了概括，兩幅圖像的場景圖之間的相似性反映了其內容的相關性。基于這一思想，我們提出了一種利用圖神經網絡測量場景圖相似度的圖像到圖像檢索新方法。在我們的方法中，圖神經網絡被訓練來預測代理圖像的關聯度量，使用預先訓練的句子相似度模型從人工標注的標題計算。我們收集并發布由人類標注員測量的圖像相關性數據集，以評估檢索算法。收集到的數據集表明，我們的方法比其他基準方法更符合人類對圖像相似性的感知。
付費5元查看完整內容
大多數基于圖網絡的元學習方法都對實例級關系進行了建模。我們進一步擴展了這個思想，以1-vs-N的方式顯式地將一個示例的分布級關系建模為所有其他示例的分布級關系。提出了一種新的分布傳播圖網絡(DPGN)學習算法。在每一個小樣本學習任務中，它都傳達了分布層次關系和實例層次關系。為了結合所有實例的分布級關系和實例級關系，我們構造了一個由點圖和分布圖組成的對偶完全圖網絡，其中每個節點都代表一個實例。DPGN具有雙重圖結構，可以在幾個更新代中將標簽信息從帶標簽的示例傳播到未帶標簽的示例。在對小樣本學習基準的大量實驗中，DPGN在監督設置下的5% ~ 12%和在半監督設置下的7% ~ 13%的范圍內都比最新的結果好得多。代碼可以在//github.com/megviiresearch/DPGN找到。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191