亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**在機器學習技術不斷加速發展的今天，數據在構建智能模型、模擬現象、預測值、做出決策等方面起著至關重要的作用。**在越來越多的應用中，數據以網絡的形式出現。網絡數據固有的圖結構推動了圖表示學習領域的發展。它的作用范圍包括為圖及其組件(即節點和邊)生成有意義的表示。隨著消息傳遞框架在圖上的成功應用，即圖神經網絡，加速了圖表示學習的研究。學習圖上的信息和表達性表示在廣泛的現實世界應用中發揮著關鍵作用，從電信和社會網絡、城市設計、化學和生物學。本文研究了圖神經網絡更具表現力的各個方面，提出了新的方法來提高它們在標準圖學習任務中的性能。本論文的主要分支包括:圖表示的普適性，圖神經網絡感受野的增加，穩定的更深層次圖學習模型的設計，以及標準消息傳遞框架的替代方案。進行了理論和實驗研究，展示了所提出的方法如何成為設計更強大的圖學習模型的有價值和有效的工具。 **在論文的第一部分中，我們研究了圖表示質量作為辨別能力的函數，即，我們如何容易地區分非同構的圖。**首先，我們證明了標準的消息傳遞方案是不通用的，因為簡單的聚合器無法分離具有歧義的節點(相似的屬性向量和鄰域結構)。基于發現的局限性，我們提出了一個簡單的著色方案，可以提供普遍的表示，理論保證和實驗驗證的性能優勢。其次，超越了標準的消息傳遞范式，我們提出了一種將圖語料庫作為一個整體來處理的方法，而不是檢查圖對。為此，我們學習了每個圖的軟排列矩陣，并將所有圖投影到公共向量空間中，在圖分類任務中實現了穩定的性能。

//hal.inria.fr/tel-03666690/ **在論文的第二部分中，我們主要關注的是圖神經網絡的感受野，即一個節點有多少信息來更新其表示。**首先，研究了編碼鄰接信息的標準算子的譜特性，即圖移位算子。本文提出一種新的參數算子族，可以在整個訓練過程中自適應，并為依賴數據的鄰域表示提供一個靈活的框架。這種方法的合并對節點分類和圖分類任務都有很大的影響。研究了如何在節點表示中考慮k跳鄰域信息以輸出更強大的圖神經網絡模型。結果證明，該模型能夠識別結構特性，如連通性和無三角形性。在論文的第三部分，我們解決了長程交互的問題，即位于圖中較遠部分的節點可以相互影響。在這樣的問題中，我們要么需要設計更深層次的模型，要么需要重新表述圖中如何定義鄰近度。首先，研究了更深層次的注意力模型設計，以圖注意力為重點;通過引入一種新的歸一化來校準模型的梯度流，該歸一化可實現Lipschitz連續性。其次，提出一種基于局部熵測度的數據增強方法，利用包含結構信息的信息來豐富節點屬性;

在過去的十年中，我們目睹了人們對機器學習(ML)的興趣急劇上升。深度神經網絡已經在從圖像分類到游戲玩的各種任務上實現或超過了人類水平。在這些應用中，我們通常觀察到模型的輸入具有某種形式的規則結構:例如，圖像是一個2D網格。最近，人們有興趣將ML革命的成功擴展到沒有統一結構的數據，如圖。圖由一組節點和一組定義節點之間關系的邊組成，為建模提供了極大的靈活性。這些模型應用于從代碼分析到推薦系統再到藥物發現的各種問題，實現了最先進的性能并為ML打開了新的應用。

由于圖神經網絡(gnn)已被證明的潛力和可能應用的巨大空間，當我們打算將這些模型部署到研究背景之外時，自然會將注意力轉向出現的實際問題。一個主要的問題是效率:我們如何設計消耗更少資源(如時間和內存)的GNN，以將我們的訓練擴展到更大的模型和數據集，并將我們的模型部署到更資源受限的設備?此外，一旦我們將這些模型發布到野外，我們如何確保它們能夠抵御來自潛在對手的攻擊?這些是激勵本文工作的問題:哪些新技術是必要的，以解決這些效率和安全問題? 本文中反復出現的一個主題是，正則結構的丟失給GNNs帶來了幾個獨特的挑戰:適用于其他常見神經網絡架構的技術不一定適用于GNNs。本文首先嚴格評估了在其他神經網絡架構中流行的兩種軟硬件協同設計技術:量化，在推理時使用低精度的算法，以及剪枝，從網絡中刪除權重。研究了高效的架構設計，首先是通用gnn的架構設計，其次是專門為處理點云數據而設計的模型。最后，本文描述了與這些模型相關的一種新型安全漏洞，并討論了可能的緩解措施。

在許多現代應用中取得顯著成功的最主要的技術之一是深度學習。對圖像識別、語音處理和文本理解中的海量數據分析的癡迷，促使深度神經網絡在不同研究領域的不同學習任務中取得了顯著進展。深度學習技術聯盟產生了強大的卷積神經網絡和新興的圖神經網絡。圖神經網絡(Graph neural networks)，簡稱GNNs，是一種輸入包含內部結構關系的深度神經網絡。圖神經網絡(GNNs)的主流找到了圖的充分數值表示，這對統計或機器學習模型的預測性能至關重要。圖表示學習在現實世界中有許多應用，如藥物再利用、蛋白質分類、流行病傳播控制和社會網絡分析等。在過去五年中，GNN的快速發展過程中，發現了一些設計缺陷，如過度平滑、易受擾動、缺乏表現力和缺乏可解釋性。同時，對該研究領域的持續熱情為解決更復雜的問題積累了經驗，如大小可變圖壓縮和時變圖動態捕獲。

//ses.library.usyd.edu.au/handle/2123/28617

**這篇論文的目標是闡明一些關于數學的概述問題。**其中，圖壓縮的置換不變設計支持流形學習，魯棒的圖平滑依賴于凸優化原理，高效的動態圖表示學習借鑒了信號處理和矩陣分解的隨機冪方法。作者認為，深度學習技術的有效性不應該僅僅取決于在特定數據集上的性能，對黑盒模型的修改應該在皮膚層之下進行，并比超參數調整付出更多的努力。深度神經網絡的可靠性期待著在嚴格的數學支持下設計模型，以便有一天“計算機科學”成為真正的科學。

大量理論和經驗證據表明，較平坦的局部最小值傾向于提高泛化能力。對抗權重擾動(Adversarial Weight Perturbation，AWP)是一種快速有效地尋找這種最小值的新興技術。在AWP中，我們最小化損失w.r.t。模型參數的有界最壞情況擾動，從而有利于在其周圍鄰域內具有小損失的局部最小值。AWP的好處，以及平坦度和泛化之間的聯系，已經被廣泛研究了i.i.d.數據，如圖像。本文針對圖數據廣泛研究了這一現象。在此過程中，我們首先推導出非i.i.d的泛化界。節點分類任務。用所有現有的AWP公式確定一個消失梯度問題，并提出一種新的加權截斷AWP (WTAWP)來緩解這個問題。用WT-AWP正則化圖神經網絡，持續提高了許多不同圖學習任務和模型的自然和魯棒泛化能力。

屬性圖是對現實系統建模的有力工具，它存在于社會科學、生物學、電子商務等許多領域。這些系統的行為大多由它們對應的網絡結構定義或依賴于它們。由于這些系統迅速融入到人類生活的各個方面，以及它們對人類行為的深刻影響，圖分析已經成為一個重要的研究方向。圖結構數據包含了來自網絡連通性和節點補充輸入特征的豐富信息。機器學習算法或傳統的網絡科學工具在同時利用網絡拓撲和節點特征方面存在局限性。圖神經網絡(GNNs)提供了一個有效的框架，將兩種信息源結合起來，為包括節點分類、鏈接預測等在內的廣泛任務產生精確的預測。

圖數據集的指數增長推動了復雜GNN模型的發展，引起了對處理時間和結果可解釋性的關注。另一個問題來自于收集大量帶注釋的數據來訓練深度學習GNN模型的成本和局限性。除了采樣問題外，數據中異常實體的存在可能會降低擬合模型的質量。在本文中，我們提出了新的技術和策略來克服上述挑戰。首先，我們提出了一種適用于簡單圖卷積(SGC)的靈活正則化方案。該框架在呈現稀疏擬合參數向量集的同時，繼承了SGC快速高效的特性，有利于識別重要的輸入特征。其次，我們研究收集訓練樣本的有效程序，并制定指示性措施及量化指引，以協助從業員選擇最佳抽樣策略以獲取數據。然后對現有的GNN模型進行改進，以完成異常檢測任務。該框架具有較好的準確性和可靠性。最后，我們嘗試將靈活的正則化機制應用于鏈接預測任務。

//stars.library.ucf.edu/etd2020/1068/

推理在人類歷史的各個時期都被采用，至少從兩千年前就開始研究，可以追溯到著名的古希臘哲學家亞里士多德，他展示了形式邏輯推理的原理[1]。人工智能（AI）的長期目標之一是建立能夠對其周圍環境進行推理的系統。從傳統的專家系統到現代機器學習和深度學習驅動的系統，研究人員在為各種任務建立智能系統方面做出了不懈的努力和巨大的進展。

在這篇論文中，我們對知識推理感興趣，它要求智能系統根據輸入或現有的知識來推斷新的知識[2]。知識推理是從現有的事實和規則中得出結論的過程[3]，這需要一系列的能力，包括但不限于理解概念，應用邏輯，以及基于現有知識的校準或驗證架構[4]。隨著通信技術和移動設備的爆炸性增長，今天人類的大部分集體知識都駐留在互聯網上，以非結構化和半結構化的形式存在，如文本、表格、圖像、視頻等。如果沒有搜索引擎和問題回答系統等智能系統的幫助，人類要想瀏覽巨大的互聯網知識是非常困難的。為了滿足各種信息需求，在本論文中，我們開發了對結構化和非結構化數據進行知識推理的方法。

對于結構化數據，由于現有的大規模知識庫將百科知識存儲在圖結構中，如Freebase[5]、NELL[6]和Wikidata[7]，我們可以通過查詢知識庫有效地查詢感興趣的知識。

在這篇論文中，我們研究了如何用圖嵌入技術對知識圖進行多跳推理。我們還研究了如何在一個一致的概率框架內進行符號推理，這可以應用于知識完成任務，根據知圖譜中的現有事實推斷出新的知識。

盡管做出了最大的努力，現有的知識庫只能覆蓋人類知識的一小部分。人類的許多知識在本質上很難用任何允許的知識庫模式進行編碼，如常識和程序性知識[8]。事實上，絕大多數的人類知識只能存儲在非結構化文本中。為了對非結構化文本進行知識推理，在本論文中，我們利用大規模預訓練語言模型（如BERT[9]，RoBERTa[10]，ALBERT[11]等）的最新進展來產生高質量的上下文文本編碼，同時利用圖神經網絡在多個文檔中傳播信息。在圖神經網絡的幫助下，我們還開發了一種用于數字問題回答任務的方法，這是一個具有挑戰性的開放問題，需要對文本段落進行數字推理。

在這篇論文中，我們研究了一個假設，即圖神經網絡可以幫助提高各種知識推理任務的性能，包括知識圖譜的完成、知識感知問題的回答、開放域問題的回答等等。更具體地說，本論文試圖回答以下研究問題：

1.如何在知識圖譜上進行多跳推理？我們應該如何利用圖神經網絡來有效地學習圖感知的表示？以及，如何系統地處理人類問題中的噪音？

2.如何在一個一致的概率框架中結合深度學習和符號推理？如何使推理對大規模的知識圖譜高效且可擴展？我們能否在表示能力和模型的簡單性之間取得平衡？

3.圖形神經網絡對于知識感知的QA任務的推理模式是什么？那些精心設計的GNN模塊真的能完成復雜的推理過程嗎？它們是不夠復雜還是過于復雜？我們能不能設計一個更簡單但有效的模型來達到類似的性能？

4.如何建立一個能夠對多個檢索到的文檔進行推理的開放域問題回答系統？如何有效地對檢索到的文檔進行排序和過濾，以減少下游的答案預測模塊的噪音？如何在多個檢索到的文檔中傳播和匯集信息？

5.如何回答那些需要對文本段落進行數字推理的問題？如何使預先訓練好的語言模型能夠進行數字推理？

在接下來的章節中，我們對上述研究問題進行了探討，發現圖神經網絡可以作為一個強大的工具，用于結構化和非結構化知識源的各種知識推理任務。在基于結構化圖形的知識源上，我們在圖結構的基礎上建立圖神經網絡，為下游推理任務捕獲拓撲信息。在基于非結構化文本的知識源上，我們首先識別圖結構信息，如實體共現和實體編號綁定，然后采用圖神經網絡對構建的圖進行推理，與預訓練的語言模型一起處理知識源的非結構化部分。

如上所述，知識圖譜并不總是可以用于各種領域的知識推理任務。即使我們能夠獲得現有的知識圖譜作為知識源，它們也可能來自于自動知識提取（如Wikidata[7]和ConceptNet[12]），并有可能引入大量的噪音。因此，在本論文中，我們從建立能夠處理噪音的強大推理框架開始。我們建立了一個端到端的可訓練的QA框架，以避免級聯錯誤；我們還設計了一個概率邏輯推理框架，利用一階邏輯規則來調節知識圖譜中的噪音。由于知識圖譜的低覆蓋率問題，我們在本論文的后半部分繼續探索基于文本的知識推理。我們建立了開放領域的質量保證框架，只需要大規模的文本語料庫，如維基百科作為知識源。此外，我們還研究了如何從文本段落中提取數字知識圖譜，然后在構建的圖之上進行數字推理。

1.1 貢獻

本論文的主要貢獻如下。

知識圖譜上的多跳問題回答（第三章）。對于復雜的信息需求，許多人的問題需要在知識圖譜上進行多跳知識推理。同時，當人們提出問題時，他們的表達通常是有噪聲的（例如，文本中的錯別字，或發音的變化），這對問題回答（QA）系統來說，在知識圖譜中匹配那些提到的實體是非難事。為了應對這些挑戰，我們提出了一個端到端的變異學習框架，它可以處理問題中的噪音，并同時學習進行多跳推理。我們還得出了一系列新的基準數據集，包括多跳推理的問題，由神經翻譯模型解析的問題，以及人聲中的問題。本章內容出現在AAAI 2018的論文集中[13]。

知識圖譜的概率邏輯推理（第四章）。作為一個優雅而強大的工具，馬爾科夫邏輯網絡（MLN）成功地結合了邏輯規則和概率圖模型，可以解決許多知識圖的推理問題。然而，MLN推理的計算量很大，使得MLN的工業規模應用非常困難。近年來，圖神經網絡（GNNs）已經成為解決大規模圖問題的高效工具。然而，GNN并沒有明確地將先驗邏輯規則納入模型，而且可能需要許多標記的例子來完成目標任務。我們探索了MLN和GNN的結合，并將圖神經網絡用于MLN的變異推理。本章的內容出現在ICLR 2020的論文集中[14]。

圖神經網絡的知識推理模式（第五章）。為了接近人類復雜的推理過程，最先進的質量保證系統通常使用精心設計的基于圖神經網絡（GNNs）的模塊來進行知識圖譜（KGs）的推理。然而，關于這些基于GNN的模塊的推理功能，許多問題仍然沒有解決。這些基于GNN的模塊真的能進行復雜的推理過程嗎？對于質量保證來說，它們是不夠復雜還是過于復雜？為了打開GNN的黑匣子并研究這些問題，我們剖析了最先進的用于質量保證的GNN模塊并分析了它們的推理能力。我們發現，即使是一個非常簡單的圖形神經計數器也能在流行的QA基準數據集上勝過所有現有的GNN模塊。我們的工作揭示了現有的知識感知型GNN模塊可能只進行一些簡單的推理，如計數。為知識驅動的質量保證建立全面的推理模塊仍然是一個具有挑戰性的開放問題。本章內容已提交給ICLR 2022，目前正在審核中。

多文檔的開放域問題回答（第6章）。作為一個實際的應用，開放域的質量保證需要檢索多個支持性文件。文檔檢索過程中往往會產生更多的相關但不支持的文檔，這就抑制了下游的噪聲敏感的答案預測模塊。為了應對這一挑戰，我們開發了一種方法來迭代檢索、重新排序和過濾文檔，并自適應地確定何時停止檢索過程。重排文檔是一個關鍵步驟，但由于問題和每個檢索到的文檔都是串聯的，所以非常耗時。因此，我們提出了一個解耦的上下文編碼框架，它有雙重的BERT模型：一個在線BERT，只對問題進行一次編碼；一個離線BERT，對所有的文檔進行預編碼并緩存其編碼。本章內容出現在SIGIR 2020[15]和SIGIR 2021[16]的論文集中。

文本段落上的數字問題回答（第7章）。對文本段落的數字推理，如加法、減法、分類和計數，是一項具有挑戰性的機器閱讀理解任務，因為它需要自然語言理解和算術計算。我們試圖使預先訓練好的語言模型，如BERT，在圖神經網絡的幫助下進行數字推理。更具體地說，我們為這種推理所需的段落和問題的上下文提出了一個異質圖表示，并設計了一個問題定向圖注意網絡來驅動所構建的異質圖上的多步驟數字推理。本章內容出現在EMNLP 2020的論文集中[17]。

1.2 論文大綱

我們首先在第二章中對相關工作進行了概述，作為本論文的背景。接下來的5章（三-七章）分為兩部分。第一部分探討了結構化數據的知識推理，包括多跳問題回答（第三章）和概率邏輯推理（第四章），這兩部分都是在現有的知識圖上工作。然后，我們研究圖神經網絡如何為知識意識的問題回答任務進行推理（第五章）。第二部分將重點轉向非結構化數據的知識推理，包括開放領域的問題回答（第六章）和數字問題回答（第七章），兩者都是在非結構化文本上工作。我們在第八章中總結了論文并討論了未來的研究方向。

//doi.org/10.1145/3459637.3482485

由多種類型的節點和鏈接組成的異質圖 (HG) 可以表征各種現實世界中的復雜系統。最近，異質圖神經網絡（HGNNs）作為一種強大的圖表示方法來聚合異質結構和屬性信息，贏得了很多關注。盡管 HGNNs 捕獲豐富語義的能力可以揭示節點不同方面，但它們仍然停留在簡單地利用結構特征的粗粒度級別。事實上，節點豐富的非結構化文本內容也承載著由多方面主題感知因素所產生的潛在但更細粒度的語義，這從根本上體現了不同類型的節點會進行鏈接并形成特定的異質結構的原因。然而，很少有人致力于對它們進行區分。 在本文中，我們提出了一個用于鏈接預測的主題感知異質圖神經網絡，命名為 THGNN，來層次性地挖掘主題感知語義并用于學習 HGs 中鏈接預測的多方面節點表示。具體來說，我們的模型主要應用了一種交替的兩步聚合機制，包括元路徑內分解和元路徑間合并，可以根據所推斷的主題感知因素有區分性地聚合豐富的異質信息，從而保留層次性語義。此外，還設計了一個主題先驗指導模塊，從而依靠來自 HGs 中非結構化文本內容的全局知識來保持多方面主題感知表示的質量，這有助于同時提高性能和可解釋性。在三個真實世界的 HGs上的實驗結果表明，我們提出的模型在鏈接預測任務中可以有效地優于最先進的方法，并展示了學習的多方面主題感知表示的潛在可解釋性。

摘要

在過去十年左右的時間里，我們見證了深度學習讓機器學習領域重新煥發活力。它以最先進的性能解決了計算機視覺、語音識別、自然語言處理等領域的許多問題。這些領域的數據一般用歐幾里得空間表示。其他許多領域都符合非歐幾里得空間，圖是其中的理想表示。圖適用于表示各種實體之間的依賴關系和相互關系。傳統上，手工制作的圖特性無法從復雜的數據表示中為各種任務提供必要的推斷。最近，出現了利用深度學習的各種進展來繪制基于數據的任務。本文提供了圖神經網絡(GNN)在每種學習設置中的全面綜述: 監督學習、無監督學習、半監督學習和自監督學習。每個基于圖的學習設置的分類提供了屬于給定學習設置的方法的邏輯劃分。從理論和實證兩方面分析了每個學習任務的方法。此外，我們還提供了構建GNN的一般架構指導方針。還提供了各種應用程序和基準數據集，以及仍然困擾著GNN的普遍適用性的開放挑戰。

//www.zhuanzhi.ai/paper/4014c909fcaa7d7c7c7d292b6a7febbb

引言

圖是定義一組節點及其關系的數據結構。從社交網絡[141]到物理互動[209]，我們無處不在地觀察它們。圖表還可以用來表示不可思議的結構，如原子、分子、生態系統、生物、行星系統[42]等等。所以，圖形結構存在于我們的周圍環境和對世界的感知中。它包括實體和相互關系，以建立概念，如推理、溝通、關系、營銷等。

隨著當今技術的進步，互聯網(一個巨大的圖表)的使用正在迅速增長。如今，在社交網絡、搜索引擎的知識數據庫、街道地圖、甚至分子、高能物理、生物和化學化合物中也可以找到大量的圖表。圖結構表示在這些環境中很常見; 因此，需要有效和新穎的技術來解決基于圖的任務。許多傳統的機器學習技術都是在使用各種預定義的過程從原始數據表單中提取特征的基礎上提出的。提取的特征可以是圖像數據中的像素統計，也可以是自然語言數據中的單詞出現統計。在過去的十年中，深度學習(DL)技術獲得了巨大的普及，有效地解決了學習問題，從原始數據學習表示，并使用學習的表示同時預測。通常，這是通過探索許多不同的非線性轉換(由層執行)和使用基于梯度下降的學習方法對這些模型進行端到端訓練來實現的。盡管DL最近在計算機視覺、自然語言處理、生物醫學成像、生物信息學等領域取得了進展，但它仍然缺乏關系和因果推理、智力抽象和其他各種人類能力。以圖的形式構造深度神經網絡(DNN)中的計算和表示是解決這些問題的方法之一，這種方法被稱為圖神經網絡(GNN)。

GNN在具有許多學習設置的不同領域的圖結構數據集上都是成功的: 有監督、半監督、自監督和無監督。大多數基于圖的方法屬于無監督學習，通常基于自動編碼器、對比學習或隨機行走概念。圖自編碼器的最新研究成果有:Cao等人[22]在高光譜分類中的特征提取; Yang等人的防止消息傳遞過平滑[188];Park等人使用消息傳遞自動編碼器進行雙曲表示學習[134];用于解決Wu等人[182]提出的當前鏈路預測方法的局限性。最近，基于對比學習的方法也很成功，這在許多研究人員的工作中得到了證明。Okuda等[122]是最近出現的一種無監督圖表示學習方法，用于發現圖像中常見的目標和一組特定目標的定位方法。學習后的表示可以用于下游的學習任務，如Du等人[41]和Perozzi等人[138]所示。Adhikari等人[2]中的擴展隨機游動以及Dong等人[40]中的異構圖中的頂點表示也可以捕獲子圖的嵌入。

本文根據圖半監督學習方法的嵌入特征，將其分類為淺圖嵌入和深圖嵌入。將淺圖嵌入分為因子分解、隨機游走，將深圖嵌入分為自編碼器嵌入和GNN嵌入。本文還提供了對每種方法的進一步解釋，以及GNN的類別。基于圖的自監督學習方法根據任務和訓練策略進行分類。現有關于GNN的綜述論文大多側重于單一學習設置或一般GNN，如表1所示。這些綜述并沒有分別解釋每種學習環境。Zhou等人[205]最近完成了一項研究，重點研究了圖上的各種機器學習算法。

在本文中，我們探討了每個基于圖的學習設置，并將其分為幾個類別。本文的主要貢獻概述如下:

• 定義了圖的基本術語和變體，以及各種基于圖的任務。
• 對GNN進行了全面的綜述。我們的工作集中在所有的學習設置，而不同的調查集中在一個單一的學習設置。
• 進一步，每個基于圖的學習設置都被探索并劃分為所需的類別。
• 給出了GNN體系結構設計的一般指導原則。
• 我們提供許多GNN資源，包括SOTA模型、流行的基于圖的數據集和各種應用程序。
• 我們分析了GNN的理論和經驗方面，評估了當前技術的挑戰，并從模型深度、可擴展性、高階和復雜結構以及技術的穩健性方面提出了未來可能的研究路線。

論文組織: 第2節分別介紹GNN的基本術語和概念，然后介紹2.1節和2.2節中基于圖結構數據的圖的變體和任務。第3節解釋了每個學習設置的基于GNN的方法，并進一步將方法和學習設置分解為邏輯劃分。3.1節簡要介紹了現有的圖監督學習方法。基于圖的無監督學習方法在第3.2節中進行了解釋，并對現有的學習方法進行了細分。然后我們在第3.3節給出了圖半監督學習方法，并通過嵌入方法對這些方法進行了細分。第3.4節介紹了圖的自監督學習方法，并根據任務和訓練策略對每種方法進行了劃分。GNN的一般step-wise結構在第4節中給出。第6節從理論和實證兩個方面對GNN方法進行了分析。在第5節中，我們介紹了幾個在GNN研究中常用的數據集，然后是第7節，介紹了GNN的一些流行應用。第8節總結了在基于GNN的圖任務解決方案中仍然存在的尚未解決的問題。最后，在第9部分，我們總結了這項工作。

圖神經網絡（GNNs）在各種圖分析任務中得到了廣泛的關注，設計良好的消息傳播機制是GNNs中最基本的組成部分，并且被證明是十分有效的。雖然傳播機制多種多樣，但基本上都是以沿網絡拓撲傳播聚合節點特征的方式來利用拓撲與特征這兩種信息的。鑒于此，一個問題自然會被提出：盡管不同圖神經網絡有不同的傳播策略，是否存在統一的數學準則，能夠從本質上指導著不同的傳播機制？如果有的話，是什么？對這個問題較為完善的回答，可以幫助我們從宏觀的角度考察不同圖神經網絡之間的關系與差異。這樣的數學準則一旦被發現，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發更多新的圖神經網絡被設計出來。

本文中，我們首先分析了幾個具有代表性的圖神經網絡（例如GCN，SGC，PPNP）的傳播過程，并抽象出他們的共性。我們發現它們均可以歸結到一個統一的優化目標框架下，該優化目標由一個帶有靈活圖卷積核的特征擬合約束項和一個圖拉普拉斯正則項組成。特征擬合約束項旨在建立節點表示與原始節點特征之間的關系，而圖拉普拉斯正則項則起到拓撲平滑特征的作用。而對應圖神經網絡傳播后的節點表示則可以隱式地看做這個統一優化目標的最優解。

同時，基于該統一優化目標框架也較容易發現現有圖神經網絡傳播策略的不足之處，為設計新的圖神經網絡也提供了機會。通常來說，設計新的圖神經網絡往往側重于設計特定的譜圖濾波器或者空域聚合策略，而該統一框架為實現這一目標提供了另一種新的途徑，即通過設計傳播過程對應的優化目標函數來得到新的GNNs。這樣，我們就能夠清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。

本文的主要貢獻總結如下：

提出了一個包含特征擬合項與圖正則化項的統一優化目標框架，并從理論上證明了該框架能夠解釋多個圖神經網絡的傳播策略，為理解圖神經網絡提供了一個較宏觀的視角，也為設計新的圖神經網絡帶來新思路。 基于該統一優化框架，我們設計了兩種具有靈活圖卷積核擬合項的圖神經網絡傳播目標，并給出相應的網絡模型。同時對他們的收斂性，表達能力等進行了理論分析。 我們在六個數據集上驗證了提出兩種圖神經網絡模型的效果，實驗也表明他們具有較好的緩解過平滑的能力。這進一步驗證了基于該統一框架設計新圖神經網絡的可行性。

近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.

//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.

圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.

目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.

本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.