亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避,從而產生可解釋的領域。近年來,深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域,圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而,對GNN解釋方法并沒有統一的處理方法,也沒有一個標準的評價基準和試驗平臺。在這個綜述中,我們提供了一個統一的分類的視角,目前的GNN解釋方法。我們對這一問題的統一和分類處理,闡明了現有方法的共性和差異,并為進一步的方法論發展奠定了基礎。為了方便評估,我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之,這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

引言

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法,用于在跨學科領域的實際應用,如金融、生物學和農業[7]、[8]、[9]。然而,由于大多數深度模型是在沒有可解釋性的情況下開發的,所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理,深度模型就無法得到完全信任,這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型,有必要提供準確的預測和人類可理解的解釋,特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋,例如研究輸入特征的重要分數,或對深度模型的一般行為有較高的理解。例如,通過研究梯度或權重[10],[11],[18],我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12],[13],[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外,通過遮擋不同的輸入特征,我們可以觀察和監測預測的變化,以識別重要的特征[14],[15]。與此同時,一些[10]、[16]研究側重于提供獨立于輸入的解釋,例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義,理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而,這些研究只關注圖像和文本域的解釋方法,忽略了深度圖模型的可解釋性。

近年來,圖神經網絡(Graph Neural network, GNN)越來越受歡迎,因為許多真實世界的數據都以圖形的形式表示,如社交網絡、化學分子和金融數據。其中,節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外,許多高級的GNN操作被提出來提高性能,包括圖卷積[5],[34],[35],圖注意力[36],[37],圖池化[38],[39],[40]。然而,與圖像和文本領域相比,圖模型的可解釋性研究較少,這是理解深度圖神經網絡的關鍵。近年來,人們提出了幾種解釋GNN預測的方法,如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的,提供了不同層次的解釋。此外,它仍然缺乏標準的數據集和度量來評估解釋結果。因此,需要對GNN解釋技術的方法和評價進行系統的綜述。

為此,本研究提供了對不同GNN解釋技術的系統研究。我們的目的是提供對不同方法的直觀理解和高層次的洞察,讓研究者選擇合適的探索方向。這項工作的貢獻總結如下:

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知,這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想,并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法,包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性,并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表,我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放,并可直接用于GNN解釋任務。

GNN解釋性分類法

近年來,人們提出了幾種解釋深圖模型預測的方法。這些方法關注于圖模型的不同方面,并提供不同的視圖來理解這些模型。他們通常會回答幾個問題;其中一些是,哪個輸入邊更重要?哪個輸入節點更重要?哪個節點特性更重要?什么樣的圖形模式將最大化某個類的預測?為了更好地理解這些方法,我們為GNN提供了不同解釋技術的分類。我們分類法的結構如圖1所示。根據提供的解釋類型,不同的技術分為兩大類:實例級方法和模型級方法。

首先,實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖,這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數,我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1,[50],基于微擾的方法[42],[53]0,[53]3,[52],[53],分解方法[53]2,[50],[54],[55],以及代理方法[56],[57],[58]。具體來說,基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外,基于擾動的方法監測預測的變化與不同的輸入擾動,以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數,直到輸入空間,并使用這些分解后的分數作為重要分數。與此同時,對于給定的輸入示例,基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來,這些方法擬合一個簡單的和可解釋的模型,如決策樹,以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二,模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的,解釋一般行為。與instance level方法相比,這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率,并使用這些圖形模式來解釋該類。

總之,這兩類方法從不同的角度解釋了深度圖模型。實例級方法提供了特定于示例的解釋,而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型,需要人工監督檢查解釋。對于實例級方法,需要更多的人工監督,因為專家需要探索不同輸入圖的解釋。對于模型級方法,由于解釋是高層次的,因此涉及的人力監督較少。此外,實例級方法的解釋基于真實的輸入實例,因此它們很容易理解。然而,對模型級方法的解釋可能不是人類能夠理解的,因為獲得的圖形模式甚至可能不存在于現實世界中。總之,這兩種方法可以結合起來更好地理解深度圖模型,因此有必要對兩者進行研究。

付費5元查看完整內容

相關內容

摘要:

域泛化(DG),即分布外泛化,近年來引起了越來越多的關注。領域泛化處理一個具有挑戰性的設置,其中給出了一個或幾個不同但相關的領域,目標是學習一個可以泛化到看不見的測試領域的模型。近年來,取得了很大的進展。本文首次綜述了領域泛化的最新進展。首先,我們給出了領域泛化的形式化定義,并討論了幾個相關的領域。接下來,我們對領域泛化的相關理論進行了全面的回顧,并對泛化背后的理論進行了仔細的分析。然后,我們將最近出現的算法分為三類,分別是數據操作、表示學習和學習策略,每一類都包含了一些流行的算法。第三,介紹了常用的數據集及其應用。最后,對已有文獻進行了總結,并提出了未來的研究方向。

//www.zhuanzhi.ai/paper/5b8b8958327cabc8b6694d7fc5c7ac75

引言

機器學習(ML)在計算機視覺、自然語言處理和醫療保健等各個領域都取得了顯著的成功。ML的目標是設計一個可以從訓練數據中學習通用和預測性知識的模型,然后將該模型應用于新的(測試)數據。

傳統的ML模型訓練基于i.i.d.假設,訓練數據和測試數據是相同的,獨立分布的。然而,這種假設在現實中并不總是成立的。當訓練數據和測試數據的概率分布不同時,由于域分布的差異,ML模型的性能往往會下降。收集所有可能領域的數據來訓練ML模型是昂貴的,甚至是不可能的。因此,提高ML模型的泛化能力具有重要的工業和學術意義。

與廣義相關的研究課題有很多,如領域適應、元學習、遷移學習、協變量轉移等。近年來,領域泛化(DG)受到了廣泛的關注。如圖1所示,領域泛化的目標是從一個或幾個不同但相關的領域(即不同的訓練數據集)學習模型,這些領域將在看不見的測試領域上很好地泛化。

圖片

近年來,領域泛化在計算機視覺、自然語言處理等領域取得了長足的進展。除此之外,目前還沒有一項關于該領域的調查能夠全面介紹和總結其主要思想、學習算法等相關問題,為未來的研究提供見解。

本文首先介紹了領域泛化的研究概況,重點介紹了領域泛化的公式、理論、算法、數據集、應用以及未來的研究方向。希望本研究能為相關研究者提供一個全面的回顧,并對相關領域的研究有所啟發。

本文的結構組織如下。我們將在第2節中闡述領域概括并討論其與現有研究領域的關系。第3節介紹了領域泛化的相關理論。在第4節中,我們詳細描述了有代表性的DG方法。第5節介紹了應用程序,第6節介紹了DG的基準數據集。我們在第7節中總結了現有工作的見解,并提出了一些可能的未來方向。最后,在第8節對本文進行總結。

方法體系

領域泛化方法是我們的核心。本文將已有的領域泛化方法按照數據操作、表示學習、學習策略分為三大方面,如下圖所示。

數據操作,指的是通過對數據的增強和變化使訓練數據得到增強。這一類包括數據增強和數據生成兩大部分。

表示學習,指的是學習領域不變特征(Domain-invariant representation learning)以使得模型對不同領域都能進行很好地適配。領域不變特征學習方面主要包括四大部分:核方法、顯式特征對齊、領域對抗訓練、以及不變風險最小化(Invariant Risk Minimiation, IRM)。特征解耦與領域不變特征學習的目標一致、但學習方法不一致,我們將其單獨作為一大類進行介紹。 學習策略,指的是將機器學習中成熟的學習模式引入多領域訓練中使得模型泛化性更強。這一部分主要包括基于集成學習和元學習的方法。同時,我們還會介紹其他方法,例如自監督方法在領域泛化中的應用。

付費5元查看完整內容

在監督模式下訓練的深度模型在各種任務上都取得了顯著的成功。在標記樣本有限的情況下,自監督學習(self-supervised learning, SSL)成為利用大量未標記樣本的新范式。SSL在自然語言和圖像學習任務中已經取得了很好的效果。最近,利用圖神經網絡(GNNs)將這種成功擴展到圖數據的趨勢。

在本綜述論文中,我們提供了使用SSL訓練GNN的不同方法的統一回顧。具體來說,我們將SSL方法分為對比模型和預測模型。

在這兩類中,我們都為方法提供了一個統一的框架,以及這些方法在框架下的每個組件中的不同之處。我們對GNNs SSL方法的統一處理揭示了各種方法的異同,為開發新的方法和算法奠定了基礎。我們還總結了不同的SSL設置和每個設置中使用的相應數據集。為了促進方法開發和實證比較,我們為GNNs中的SSL開發了一個標準化測試床,包括通用基線方法、數據集和評估指標的實現。

//www.zhuanzhi.ai/paper/794d1d27363c4987efd37c67ec710a18

引言

深度模型以一些數據作為輸入,并訓練輸出期望的預測。訓練深度模型的一種常用方法是使用有監督的模式,在這種模式中有足夠的輸入數據和標簽對。

然而,由于需要大量的標簽,監督訓練在許多現實場景中變得不適用,標簽是昂貴的,有限的,甚至是不可用的。

在這種情況下,自監督學習(SSL)支持在未標記數據上訓練深度模型,消除了對過多注釋標簽的需要。當沒有標記數據可用時,SSL可以作為一種從未標記數據本身學習表示的方法。當可用的標記數據數量有限時,來自未標記數據的SSL可以用作預訓練過程,在此過程之后,標記數據被用來為下游任務微調預訓練的深度模型,或者作為輔助訓練任務,有助于任務的執行。

最近,SSL在數據恢復任務中表現出了良好的性能,如圖像超分辨率[1]、圖像去噪[2,3,4]和單細胞分析[5]。它在語言序列[6,7,8]、圖像[9,10,11,12]、帶有序列模型的圖[13,14]等不同數據類型的表示學習方面也取得了顯著進展。這些方法的核心思想是定義前置訓練任務,以捕獲和利用輸入數據的不同維度之間的依賴關系,如空間維度、時間維度或通道維度,具有魯棒性和平滑性。Doersch等人以圖像域為例,Noroozi和Favaro[16],以及[17]等人設計了不同的前置任務來訓練卷積神經網絡(CNNs)從一幅圖像中捕捉不同作物之間的關系。Chen等人的[10]和Grill等人的[18]訓練CNN捕捉圖像的不同增強之間的依賴關系。

根據訓練任務的設計,SSL方法可以分為兩類;即對比模型和預測模型。這兩個類別之間的主要區別是對比模型需要數據-數據對來進行訓練,而預測模型需要數據-標簽對,其中標簽是自生成的,如圖1所示。對比模型通常利用自監督來學習數據表示或對下游任務進行預訓練。有了這些數據-數據對,對比模型就能區分出正面對和負面對。另一方面,預測模型是在監督的方式下訓練的,其中標簽是根據輸入數據的某些屬性或選擇數據的某些部分生成的。預測模型通常由一個編碼器和一個或多個預測頭組成。當應用于表示學習或預訓練方法時,預測模型的預測頭在下游任務中被刪除。

在圖數據分析中,SSL可能非常重要,它可以利用大量未標記的圖,如分子圖[19,20]。隨著圖神經網絡的快速發展[21,22,23,24,25,26,27],圖神經網絡的基本組成[28,29,30,31,32,33]等相關領域[34,35]得到了深入的研究,并取得了長足的進展。相比之下,在GNNs上應用SSL仍然是一個新興領域。由于數據結構的相似性,很多GNN的SSL方法都受到了圖像領域方法的啟發,如DGI[36]和圖自動編碼器[37]。然而,由于圖結構數據的唯一性,在GNN上應用SSL時存在幾個關鍵的挑戰。為了獲得良好的圖表示并進行有效的預訓練,自監督模型可以從圖的節點屬性和結構拓撲中獲取必要的信息。對于對比模型來說,由于自監督學習的GPU內存問題并不是圖形的主要關注點,關鍵的挑戰在于如何獲得良好的圖形視圖以及針對不同模型和數據集的圖形編碼器的選擇。對于預測模型,至關重要的是應該生成什么標簽,以便了解非平凡的表示,以捕獲節點屬性和圖結構中的信息。

為了促進方法論的發展和促進實證比較,我們回顧GNN的SSL方法,并為對比和預測方法提供了統一的觀點。我們對這一問題的統一處理,可以揭示現有方法的異同,啟發新的方法。我們還提供了一個標準化的測試,作為一個方便和靈活的開源平臺,用于進行實證比較。我們將本次綜述論文總結如下:

  • 我們提供關于圖神經網絡SSL方法的徹底和最新的回顧。據我們所知,我們的綜述查首次回顧了關于圖數據的SSL。

  • 我們將GNN現有的對比學習方法與一般框架統一起來。具體來說,我們從互信息的角度統一對比目標。從這個新的觀點來看,不同的對比學習方式可以看作是進行三種轉換來獲得觀點。我們回顧了理論和實證研究,并提供見解來指導框架中每個組成部分的選擇。

  • 我們將SSL方法與自生成標簽進行分類和統一,作為預測學習方法,并通過不同的標簽獲取方式來闡明它們之間的聯系和區別。

  • 我們總結了常用的SSL任務設置以及不同設置下常用的各類數據集,為未來方法的發展奠定了基礎。

  • 我們開發了一個用于在GNN上應用SSL的標準化測試平臺,包括通用基準方法和基準的實現,為未來的方法提供了方便和靈活的定制。

付費5元查看完整內容

隨著網絡信息的爆炸式增長,推薦系統在緩解信息過載方面發揮了重要作用。由于推薦系統具有重要的應用價值,這一領域的研究一直在不斷涌現。近年來,圖神經網絡(GNN)技術得到了廣泛的關注,它能將節點信息和拓撲結構自然地結合起來。由于GNN在圖形數據學習方面的優越性能,GNN方法在許多領域得到了廣泛的應用。在推薦系統中,主要的挑戰是從用戶/項目的交互和可用的邊信息中學習有效的嵌入用戶/項目。由于大多數信息本質上具有圖結構,而網絡神經網絡在表示學習方面具有優勢,因此將圖神經網絡應用于推薦系統的研究十分活躍。本文旨在對基于圖神經網絡的推薦系統的最新研究成果進行全面的綜述。具體地說,我們提供了基于圖神經網絡的推薦模型的分類,并闡述了與該領域發展相關的新觀點。

摘要:

隨著電子商務和社交媒體平臺的快速發展,推薦系統已經成為許多企業不可缺少的工具[78]。用戶依靠推薦系統過濾掉大量的非信息,促進決策。一個高效的推薦系統應該準確地捕捉用戶的偏好,并提出用戶潛在感興趣的內容,從而提高用戶對平臺的滿意度和用戶留存率。

推薦系統根據用戶的興趣和物品屬性來評估他們對物品的偏好。用戶興趣和項目屬性都用壓縮向量表示。因此,如何通過歷史交互以及社會關系、知識圖譜[49]等側面信息來了解用戶/項目嵌入是該領域面臨的主要挑戰。在推薦系統中,大多數信息都具有圖結構。例如,用戶之間的社會關系和與項目相關的知識圖譜,自然就是圖形數據。此外,用戶與項目之間的交互可以看作是二部圖,項目在序列中的轉換也可以構建為圖。因此,圖形學習方法被用來獲得用戶/項目嵌入。在圖學習方法中,圖神經網絡(graph neural network, GNN)目前受到了極大的追捧。

在過去的幾年里,圖神經網絡在關系提取和蛋白質界面預測等許多應用領域取得了巨大的成功[82]。最近的研究表明,推薦器在以圖[41]的形式引入用戶/項目和邊信息的交互時,性能有了很大的提升,并利用圖神經網絡技術得到了更好的用戶/項目表示。圖神經網絡通過迭代傳播能夠捕捉用戶-項目關系中的高階交互。此外,如果社會關系或知識圖譜的信息是可用的,則可以有效地將這些邊信息集成到網絡結構中。

本文旨在全面回顧基于圖神經網絡的推薦系統的研究進展。對推薦系統感興趣的研究者和實踐者可以大致了解基于圖神經網絡的推薦領域的最新發展,以及如何利用圖神經網絡解決推薦任務。本調查的主要貢獻總結如下:

  • 新的分類法:我們提出了一個系統的分類模式來組織現有的基于圖神經網絡的推薦模型。我們可以很容易地進入這個領域,并對不同的模型進行區分。

  • 對每個類別的全面回顧,我們展示了要處理的主要問題,并總結了模型的總體框架。此外,我們還簡要介紹了代表性模型,并說明它們是如何解決這些問題的。

  • 我們討論了當前方法的局限性,并在效率、多圖集成、可擴展性和序列圖構造方面提出了四個潛在的未來方向。

付費5元查看完整內容

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 (Explaining Deep Neural Networks)》,系統性介紹了深度神經網絡可解釋性方面的工作,值得關注。

作者介紹:

Oana-Maria Camburu,來自羅馬尼亞,目前是牛津大學的博士生,主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功,因此越來越受歡迎。然而,這些模型的決策過程通常是無法向用戶解釋的。在各種領域,如醫療保健、金融或法律,了解人工智能系統所做決策背后的原因至關重要。因此,最近研究了幾個解釋神經模型的方向。

在這篇論文中,我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成,也就是說,這些方法旨在解釋一個已經訓練過的固定模型(事后解釋),并提供輸入特征方面的解釋,例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成,也就是說,模型有一個內置模塊,為模型的預測生成解釋。在這些方面的貢獻如下:

  • 首先,我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明,盡管有明顯的隱含假設,即解釋方法應該尋找一種特定的基于真實值特征的解釋,但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法,它們針對的是不同類型的事實基礎解釋,但沒有明確地提及它。此外,我還指出,有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

  • 其次,我還介紹了一個框架,用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用,這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性,并介紹了減輕這些局限性的方法。引入的驗證框架是通用的,可以在不同的任務和域上實例化,以提供現成的完整性測試,這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架,并提供了完備性測試s1,在此基礎上我展示了三種流行的解釋方法的性能。

  • 第三,為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向,我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集,數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力,以及在訓練時提供自然語言解釋的好處。

  • 第四,我指出,目前那些為自己的預測生成自然語言解釋的自解釋模型,可能會產生不一致的解釋,比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程,要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架,用于在生成不一致的自然語言解釋時檢查模型的完整性。此外,作為框架的一部分,我解決了使用精確目標序列的對抗性攻擊的問題,這是一個以前在序列到序列攻擊中沒有解決的場景,它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上,并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址: //arxiv.org/abs/2010.01496

付費5元查看完整內容

在本章中,我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式,它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是,我們想要生成實際上依賴于圖結構的節點的表示,以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是,我們通常的深度學習工具箱不適用。例如,卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好,而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡,我們需要定義一種新的深度學習架構。

付費5元查看完整內容

深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。

付費5元查看完整內容

近年來,人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性,圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器),它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡,它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡,目的是學習具有任意結構的離散拓撲上的可微函數。然而,盡管這些領域很受歡迎,但在統一這三種范式方面的工作卻少得驚人。在這里,我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類,旨在統一幾個不同的工作主體。具體來說,我們提出了一個圖編碼解碼器模型(GRAPHEDM),它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性,我們將30多個現有方法放入這個框架中。我們相信,這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎,也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中,針對特定類型的結構化數據開發了許多成功的模型,包括定義在離散歐幾里德域上的數據。例如,序列數據,如文本或視頻,可以通過遞歸神經網絡建模,它可以捕捉序列信息,產生高效的表示,如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs),它根據移位不變性等結構先驗參數化神經網絡,在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如,順序數據或遵循規則模式的數據)。

在許多設置中,數據幾乎不是規則的: 通常會出現復雜的關系結構,從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構,它可以表示復雜的關系數據(由節點和邊組成),并出現在多個領域,如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說,將CNNs泛化為圖并非易事,定義具有強結構先驗的網絡是一項挑戰,因為結構可以是任意的,并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是,像卷積這樣的操作不能直接應用于不規則的圖域。例如,在圖像中,每個像素具有相同的鄰域結構,允許在圖像中的多個位置應用相同的過濾器權重。然而,在圖中,我們不能定義節點的順序,因為每個節點可能具有不同的鄰域結構(圖1)。此外,歐幾里德卷積強烈依賴于幾何先驗(如移位不變性),這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展,旨在將深度學習技術應用于非歐幾里德數據。特別是,考慮到圖在現實世界應用中的廣泛流行,人們對將機器學習方法應用于圖結構數據的興趣激增。其中,圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示,也稱為嵌入。

廣義上講,GRL可以分為兩類學習問題,非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示,但為一個特定的下游預測任務,如節點或圖分類。與非監督設置不同,在非監督設置中輸入通常是圖結構,監督設置中的輸入通常由圖上定義的不同信號組成,通常稱為節點特征。此外,底層的離散圖域可以是固定的,這是直推學習設置(例如,預測一個大型社交網絡中的用戶屬性),但也可以在歸納性學習設置中發生變化(例如,預測分子屬性,其中每個分子都是一個圖)。最后,請注意,雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示,最近有興趣的非歐幾里德表示學習,其目的是學習非歐幾里德嵌入空間,如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間,它類似于它試圖嵌入的輸入數據的底層離散結構(例如,雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻,我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖,以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先,有一些研究覆蓋了淺層網絡嵌入和自動編碼技術,我們參考[18,24,46,51,122]這些方法的詳細概述。其次,Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三,最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法,包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域,而沒有在每個子領域之間建立聯系。

在這項工作中,我們擴展了Hamilton等人提出的編碼-解碼器框架,并介紹了一個通用的框架,圖編碼解碼器模型(GRAPHEDM),它允許我們將現有的工作分為四大類: (i)淺嵌入方法,(ii)自動編碼方法,(iii) 圖正則化方法,和(iv) 圖神經網絡(GNNs)。此外,我們還介紹了一個圖卷積框架(GCF),專門用于描述基于卷積的GNN,該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN,從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法,從而推斷出相似性、差異性,并指出潛在的擴展和限制。盡管如此,我們對前幾次綜述的貢獻有三個方面

  • 我們介紹了一個通用的框架,即GRAPHEDM,來描述一系列廣泛的有監督和無監督的方法,這些方法對圖形結構數據進行操作,即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

  • 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線,我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是,這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法,可以讓我們了解這些方法究竟有何不同。

  • 我們為GRL發布了一個開源庫,其中包括最先進的GRL方法和重要的圖形應用程序,包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

付費5元查看完整內容

【簡介】近些年來,可解釋的人工智能受到了越來越多的關注。隨著人工智能模型變得越來越復雜和不透明,可解釋性變得越來越重要。最近,研究人員一直在以用戶為中心研究和處理可解釋性,尋找可信任、可理解、明確的來源和上下文感知的可解釋性。在這篇論文中,我們通過調研人工智能和相關領域中有關可解釋性的文獻,并利用過去的相關研究生成了一系列的可解釋類型。我們定義每種類型,并提供一個示例問題,來闡述對這種解釋方式的需求。我們相信,這一系列的解釋類型將有助于未來的系統設計人員獲得可靠的需求和確定各種需求的優先級,并進一步幫助生成能夠更好地符合用戶和情景需求的解釋。

介紹

人工智能(AI)領域已經從單純的基于符號和邏輯的專家系統發展到使用統計和邏輯推理技術的混合系統。可解釋性人工智能的進展與人工智能方法的發展緊密相關,例如我們在早期的論文“可解釋的知識支持系統的基礎”中所涉及的類別,涵蓋了專家系統、語義web方法、認知助手和機器學習方法。我們注意到這些方法主要處理可解釋性的特定方面。例如,由專家系統產生的解釋主要用于提供推理所需的痕跡、來源和理由。這些由認知助理提供的模型能夠調整它們的形式以適應用戶的需求,并且在機器學習和專家系統領域,解釋為模型的功能提供了一種“直覺”。

付費5元查看完整內容
北京阿比特科技有限公司