亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文探討了

需要GNN的可解釋性 解釋GNN預測的挑戰 不同的GNN解釋方法 GNNExplainer的直觀解釋 使用GNNExplainer實現解釋節點分類和圖分類

如果你不解釋預測背后的原因，深度學習算法就像黑匣子，因此不能完全信任。不提供預測背后的原因，會阻止深度學習算法在涉及公平、隱私和跨領域安全的關鍵應用中使用。

深度學習模型的可解釋性有助于 增加對模型預測的信任 改進模型的透明度，用于與公平、隱私和其他安全挑戰相關的關鍵決策應用 在將模型部署之前，可以通過對網絡特征的理解來識別和糾正模型所犯的系統模式錯誤。

深度神經網絡的發展徹底改變了機器學習和人工智能領域。深度神經網絡在計算機視覺[1]、[2]、自然語言處理[3]、[4]、圖數據分析[5]、[6]等領域取得了良好的研究成果。這些事實促使我們開發深度學習方法，用于在跨學科領域的實際應用，如金融、生物學和農業[7]、[8]、[9]。然而，由于大多數深度模型是在沒有可解釋性的情況下開發的，所以它們被視為黑盒。如果沒有對預測背后的底層機制進行推理，深度模型就無法得到完全信任，這就阻止了它們在與公平性、隱私性和安全性有關的關鍵應用中使用。為了安全可靠地部署深度模型，有必要提供準確的預測和人類可理解的解釋，特別是為跨學科領域的用戶。這些事實要求發展解釋技術來解釋深度神經網絡。

深度模型的解釋技術通常研究深度模型預測背后的潛在關系機制。一些方法被提出來解釋圖像和文本數據的深度模型。這些方法可以提供與輸入相關的解釋，例如研究輸入特征的重要分數，或對深度模型的一般行為有較高的理解。例如，通過研究梯度或權重[10]，[11]，[18]，我們可以分析輸入特征和預測之間的靈敏度。現有的方法[12]，[13]，[19]映射隱藏特征圖到輸入空間和突出重要的輸入特征。此外，通過遮擋不同的輸入特征，我們可以觀察和監測預測的變化，以識別重要的特征[14]，[15]。與此同時，一些[10]、[16]研究側重于提供獨立于輸入的解釋，例如研究能夠最大化某類預測得分的輸入模式。進一步探究隱藏神經元的含義，理解[17]、[22]的整個預測過程。近年來對[23]、[24]、[25]、[26]等方法進行了較為系統的評價和分類。然而，這些研究只關注圖像和文本域的解釋方法，忽略了深度圖模型的可解釋性。

近年來，圖神經網絡(Graph Neural network, GNN)越來越受歡迎，因為許多真實世界的數據都以圖形的形式表示，如社交網絡、化學分子和金融數據。其中，節點分類[27]、[28]、[29]、圖分類[6]、[30]、鏈路預測[31]、[32]、[33]等與圖相關的任務得到了廣泛的研究。此外，許多高級的GNN操作被提出來提高性能，包括圖卷積[5]，[34]，[35]，圖注意力[36]，[37]，圖池化[38]，[39]，[40]。然而，與圖像和文本領域相比，圖模型的可解釋性研究較少，這是理解深度圖神經網絡的關鍵。近年來，人們提出了幾種解釋GNN預測的方法，如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。這些方法是從不同的角度發展起來的，提供了不同層次的解釋。此外，它仍然缺乏標準的數據集和度量來評估解釋結果。因此，需要對GNN解釋技術的方法和評價進行系統的綜述。

然而，將圖結構和特征信息結合在一起會導致復雜的模型;因此，解釋GNN的預測是具有挑戰性的。

• 圖數據不如圖像和文本直觀，這使得人類理解圖深度學習模型的解釋具有挑戰性。

• 圖像和文本使用類似網格的數據;然而，在一個圖、拓撲中，信息是用特征矩陣和鄰接矩陣表示的，每個節點有不同的鄰居。因此，圖像和文本的解釋方法不適合獲得高質量的圖的解釋。

• 圖節點和邊對GNN的最終預測有很大的貢獻;因此，GNN的可解釋性需要考慮這些交互作用。

• 節點分類任務通過從它的鄰居執行消息遍歷來預測節點的類。研究消息遍歷可以更好地理解為什么由GNN做出預測，但與圖像和文本相比具有挑戰性。

圖神經網絡可解釋性

圖的可解釋性需要回答諸如此類的問題

*哪些輸入邊對預測更關鍵，貢獻最大?哪個輸入節點更重要? *哪個Node特征更重要? *什么樣的圖模式能最大限度地預測某一類?

根據GNN提供的解釋類型，解釋GNN的方法可分為兩個分支。這些圖解釋方法集中在圖模型的不同方面，并提供了不同的視圖來理解GNN模型。

實例級方法: 給定一個輸入圖，實例級方法通過識別用于預測的重要輸入特征來解釋深度模型。

模型級方法 提供了一般的見解和高層次的理解來解釋深度圖模型。模型級方法專門研究哪些輸入圖模式可以通過GNN實現一定的預測。

首先，實例級方法為每個輸入圖提供依賴于輸入的解釋。給出一個輸入圖，這些方法通過識別用于預測的重要輸入特征來解釋深度模型。根據獲得的重要度分數，我們將方法分為4個不同的分支:基于梯度/特征的方法[53]1，[50]，基于微擾的方法[42]，[53]0，[53]3，[52]，[53]，分解方法[53]2，[50]，[54]，[55]，以及代理方法[56]，[57]，[58]。具體來說，基于梯度/特征的方法使用梯度或特征值來表示不同輸入特征的重要性。此外，基于擾動的方法監測預測的變化與不同的輸入擾動，以研究輸入的重要性得分。分解方法首先將預測得分(如預測概率)分解到最后一隱藏層的神經元中。然后逐層反向傳播這些分數，直到輸入空間，并使用這些分解后的分數作為重要分數。與此同時，對于給定的輸入示例，基于代理的方法首先從給定示例的鄰居中采樣數據集。接下來，這些方法擬合一個簡單的和可解釋的模型，如決策樹，以采樣數據集。然后使用代理模型的解釋來解釋最初的預測。第二，模型級方法不考慮任何特定的輸入實例來解釋圖神經網絡。獨立于輸入的解釋是高層次的，解釋一般行為。與instance level方法相比，這個方向的研究仍然較少。現有的模型級方法只有基于圖生成的XGNN[41]。它生成圖形模式來最大化某個類的預測概率，并使用這些圖模式來解釋該類。

總之，**這兩類方法從不同的角度解釋了深度圖模型。**實例級方法提供了特定于示例的解釋，而模型級方法提供了高層次的見解和對深度圖模型如何工作的一般理解。要驗證和信任深度圖模型，需要人工監督檢查解釋。對于實例級方法，需要更多的人工監督，因為專家需要探索不同輸入圖的解釋。對于模型級方法，由于解釋是高層次的，因此涉及的人力監督較少。此外，實例級方法的解釋基于真實的輸入實例，因此它們很容易理解。然而，對模型級方法的解釋可能不是人類能夠理解的，因為獲得的圖形模式甚至可能不存在于現實世界中。總之，這兩種方法可以結合起來更好地理解深度圖模型，因此有必要對兩者進行研究。

圖神經網絡可解釋性綜述

深度學習方法在許多人工智能任務中實現了不斷提高的性能。深度模型的一個主要限制是它們不具有可解釋性。這種限制可以通過開發事后技術來解釋預測來規避，從而產生可解釋的領域。近年來，深度模型在圖像和文本上的可解釋性研究取得了顯著進展。在圖數據領域，圖神經網絡(GNNs)及其可解釋性正經歷著快速的發展。然而，對GNN解釋方法并沒有統一的處理方法，也沒有一個標準的評價基準和試驗平臺。**在這個綜述中，我們提供了一個統一的分類的視角，目前的GNN解釋方法。**我們對這一問題的統一和分類處理，闡明了現有方法的共性和差異，并為進一步的方法論發展奠定了基礎。為了方便評估，我們為GNN的可解釋性生成了一組基準圖數據集。我們總結了當前的數據集和評價GNN可解釋性的指標。總之，這項工作為GNN的解釋提供了一個統一的方法處理和一個標準化的評價測試平臺。

地址：

//www.zhuanzhi.ai/paper/9a56925995fc3dfa1e88dbd945a2d358

本綜述提供了對深度圖模型的現有解釋技術的系統和全面的回顧。據我們所知，這是第一次也是唯一一次關于這一主題的綜述工作。

我們對現有的GNN解釋技術提出了一個新的分類方法。我們總結了每個類別的關鍵思想，并提供了深刻的分析。

我們詳細介紹了每種GNN解釋方法，包括其方法論、優缺點以及與其他方法的區別。

我們總結了常用的GNN解釋任務的數據集和評估指標。我們討論了它們的局限性，并推薦了幾個令人信服的度量標準。

通過將句子轉換為圖表，我們從文本領域構建了三個人類可理解的數據集。這些數據集不久將向公眾開放，并可直接用于GNN解釋任務。

參考文獻以及代碼：

摘要

分布外泛化(OOD)對人類來說是一種很自然的能力，但對機器來說是一個挑戰。這是因為大多數學習算法強烈地依賴于源/目標數據的i.i.d.假設，而在實踐中，由于域轉移，這經常違背IID。領域泛化(DG)的目標是僅使用源數據進行模型學習，實現OOD泛化。自2011年首次引入DG以來，DG研究取得了很大進展。特別是，對這一主題的深入研究已經導致了廣泛的方法論，例如，那些基于領域對齊、元學習、數據增強或集成學習的方法，這只是舉幾個例子;并涵蓋了各種視覺應用，如物體識別、分割、動作識別和人的再識別。本文首次對近十年來計算機視覺DG的研究進展進行了綜述。具體來說，我們首先通過正式定義DG，并將其與領域適應和遷移學習等其他研究領域聯系起來，來覆蓋背景。其次，我們對現有的方法進行了全面的回顧，并根據它們的方法和動機進行了分類。最后，我們總結了本次綜述，并對未來的研究方向進行了展望和討論。

//www.zhuanzhi.ai/paper/c8472ef62b32f2b955bd2b239009bfc1

引言

如果一個圖像分類器在照片圖像上訓練，它會在草圖圖像上工作嗎?如果用城市圖像訓練的汽車檢測器在農村環境中測試會怎樣?是否有可能部署在雨天或雪天條件下使用晴天圖像訓練的語義分割模型?使用一名患者的心電圖數據訓練的健康狀態分類器能否用于診斷另一名患者的健康狀態?所有這些問題的答案取決于機器學習模型如何處理一個常見問題，即域轉移問題。該問題是指一組訓練(源)數據與一組測試(目標)數據[1]，[2]，[3]，[4]之間的分布偏移。

大多數統計學習算法強烈依賴于過于簡化的假設，即源數據和目標數據是獨立的、同分布的(i.i.d)，而忽略了實踐中常見的分布外(OOD)場景。這意味著它們在設計時并沒有考慮到域遷移問題。因此，只使用源數據訓練的學習代理在OOD目標域中通常會遭受顯著的性能下降。領域轉移問題嚴重阻礙了機器學習模型的大規模部署。人們可能會好奇，最近在深度神經網絡[5]，[6]，即所謂的深度學習[7]方面的進展是否能夠緩解這個問題。[2]和[8]的研究表明，即使在數據生成過程中只有很小的變化，深度學習模型在OOD數據集上的性能也會顯著下降。這突出表明，到目前為止，深度學習取得的成功很大程度上是由監督學習驅動的，這些監督學習使用的是像ImageNet[9]這樣的大規模注釋數據集，同樣也依賴于i.i.d.假設。

關于如何處理域轉移的問題在文獻中已經進行了廣泛的研究。繞過OOD數據問題的一個簡單解決方案是從目標領域收集一些數據，以適應源領域訓練的模型。事實上，這一域適應(DA)問題最近受到了廣泛關注，包括[10]、[11]、[12]、[13]、[14]、[15]、[16]。然而，DA依賴于一個強大的假設，即目標數據可以用于模型調整，但在實踐中并不總是成立。在許多應用中，很難獲得目標數據，甚至在部署模型之前無法知道目標數據。例如，在生物醫學應用中，不同患者的數據之間發生域轉移，提前收集每個新患者的數據是不切實際的;在交通場景語義分割中，采集所有不同場景和所有可能天氣條件下的數據是不可行的。

為了克服域漂移問題以及目標數據缺乏的問題，引入了域泛化問題[19]。具體來說，DG的目標是使用來自單個或多個相關但不同的源域的數據來學習模型，以使模型能夠很好地泛化到任何OOD目標域。近年來，DG因其在實際應用中的重要性而日益受到學術界的重視。

自2011年Blanchard等人[19]首次引入以來，已經開發了許多方法來解決OOD泛化問題。這包括基于對源域分布的方法，用于域不變表示學習[27]，[28]，在訓練期間通過元學習[29]，[30]，或使用圖像合成[31]，[32]來增強數據，僅舉幾個例子。從應用的角度來看，現有的DG方法已經應用于手寫體數字識別[31]、[32]、物體識別[33]、[34]、語義分割[18]、[35]、人再識別[20]、[31]、人臉識別[36]、動作識別[27]、[37]等等。盡管作出了這些努力，但普遍承認DG仍然是一個公開的挑戰。事實上，在無法訪問目標領域數據的情況下，訓練一個可以在任何不可見的目標領域有效工作的一般化模型，可以說是機器學習中最困難的問題之一。

在這篇綜述論文中，我們旨在提供一個及時和全面的文獻綜述。綜述了近十年來所介紹的主要方法和應用，重點介紹了計算機視覺領域。并對未來的發展方向進行了討論。本文的其余部分組織如下。在§2中，我們介紹了背景知識，給出了問題的定義，并將DG與領域適應和遷移學習等幾個相關研究領域進行了比較。討論了對DG算法進行基準測試的常用數據集。在§3中，我們回顧了過去十年提出的現有DG方法，并提出了一個分類。在§4中，我們總結了這篇論文，并對未來工作的潛在研究方向進行了見解和討論。作為這一主題的第一份綜述論文，我們希望這一及時的綜述能夠為研究界提供清晰的思路和進一步發展的動力。

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

人工智能(AI)為改善私人和公共生活提供了很多機會，以自動化的方式在大型數據中發現模式和結構是數據科學的核心組件，目前驅動著計算生物學、法律和金融等不同領域的應用發展。然而，這種高度積極的影響也伴隨著重大的挑戰:我們如何理解這些系統所建議的決策，以便我們能夠信任它們?在這個報告中，我們特別關注數據驅動的方法——特別是機器學習(ML)和模式識別模型——以便調查和提取結果和文獻觀察。通過注意到ML模型越來越多地部署在廣泛的業務中，可以特別理解本報告的目的。然而，隨著方法的日益普及和復雜性，業務涉眾對模型的缺陷、特定數據的偏差等越來越關注。類似地，數據科學從業者通常不知道來自學術文獻的方法，或者可能很難理解不同方法之間的差異，所以最終使用行業標準，比如SHAP。在這里，我們進行了一項調查，以幫助行業從業者(以及更廣泛的數據科學家)更好地理解可解釋機器學習領域，并應用正確的工具。我們后面的章節將圍繞一位公認的數據科學家展開敘述，并討論她如何通過提出正確的問題來解釋模型。

//arxiv.org/abs/2009.11698

【簡介】近些年來，可解釋的人工智能受到了越來越多的關注。隨著人工智能模型變得越來越復雜和不透明，可解釋性變得越來越重要。最近，研究人員一直在以用戶為中心研究和處理可解釋性，尋找可信任、可理解、明確的來源和上下文感知的可解釋性。在這篇論文中，我們通過調研人工智能和相關領域中有關可解釋性的文獻，并利用過去的相關研究生成了一系列的可解釋類型。我們定義每種類型，并提供一個示例問題，來闡述對這種解釋方式的需求。我們相信，這一系列的解釋類型將有助于未來的系統設計人員獲得可靠的需求和確定各種需求的優先級，并進一步幫助生成能夠更好地符合用戶和情景需求的解釋。

介紹

人工智能(AI)領域已經從單純的基于符號和邏輯的專家系統發展到使用統計和邏輯推理技術的混合系統。可解釋性人工智能的進展與人工智能方法的發展緊密相關，例如我們在早期的論文“可解釋的知識支持系統的基礎”中所涉及的類別，涵蓋了專家系統、語義web方法、認知助手和機器學習方法。我們注意到這些方法主要處理可解釋性的特定方面。例如，由專家系統產生的解釋主要用于提供推理所需的痕跡、來源和理由。這些由認知助理提供的模型能夠調整它們的形式以適應用戶的需求，并且在機器學習和專家系統領域，解釋為模型的功能提供了一種“直覺”。

【導讀】人工智能領域的國際頂級會議 AAAI 2019 即將于 1 月 27 日至 2 月 1 日在美國夏威夷舉行。AAAI2019第一天的關于可解釋人工智能的Tutorial引起了人們極大的關注，這場Tutorial詳細闡述了解釋黑盒機器學習模型的術語概念以及相關方法，是構建可解釋模型的重要指南.

AI系統--我如何信任它們？

在現實生活中，每一個決策，無論是由機器還是低級員工又或是首席執行官做出的，為了達到提高整體的業務水平的目的，都要通過定期的審查，來解釋他們的決定。這就產生了人工智能的新興分支，稱為“可解釋的人工智能”(XAI)。

什么是可解釋的AI(XAI)?

XAI是人工智能的一個新興分支，用于解釋人工智能所做出的每一個決策背后的邏輯。下圖是對一個完整AI決策流程的簡單描述。

AAAI 2019 tutorial: 可解釋AI –從理論到動機，應用和局限性

一、本教程希望為以下問題提供答案:

1. 什么是可解釋的AI (XAI)?

   什么是可解釋的AI(簡稱XAI)，即人工智能社區的各種流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解釋是什么?解釋的度量標準是什么?
   

2. 我們為什么要在意?

   為什么可解釋的人工智能很重要?甚至在某些應用中至關重要?解釋人工智能系統的動機是什么?

3. 它在哪里至關重要？

   在現實世界中，哪些應用程序需要解釋如何大規模部署AI系統?
   

4. 它是如何工作的?

   在計算機視覺和自然語言處理中，最前沿的解釋技術是什么?對于哪種數據格式、用例、應用程序、行業，哪些方法效果好，哪些方法效果不好?

5. 我們學到了什么?

   部署現有可解釋AI系統的經驗教訓和局限性是什么?在向人類解釋的過程中學到了什么?
   

6. 接下來的發展是什么?

   可解釋AI未來的發展方向是什么?

二、概述

人工智能的未來在于使人們能夠與機器協作解決復雜的問題。與任何有效的協作一樣，這需要良好的溝通，信任，清晰和理解。 可解釋AI（XAI，eXplainable AI）旨在通過將符號人工智能與傳統機器學習的最佳結合來應對這些挑戰。多年來，人工智能的各個不同社區都在研究這一主題，它們有著不同的定義、評估指標、動機和結果。本教程簡要介紹了可解釋AI到目前為止的工作，并調研了人工智能社區在機器學習和符號人工智能相關方法方面所完成的工作。

在本教程的第一部分中，我們將介紹AI解釋的不同方面。然后我們將本教程的重點放在兩個具體的方法上：（i）使用機器學習的可解釋AI和（ii）使用基于圖（graph）的知識表示和機器學習結合的可解釋AI。對于這兩者，我們深入探討了該方法的具體細節，現有技術以及后續步驟的研究挑戰。本教程的最后一部分概述了可解釋AI的實際應用。

三、大綱

【介紹】

人工智能解釋的廣泛介紹。這將包括從理論和應用的角度描述和激發對可解釋AI技術的需求。在這一部分中，我們還總結了先決條件，并介紹了本教程其余部分所采用的不同視角。

【可解釋AI】

人工智能的各個領域（優化，知識表示和推理，機器學習，搜索和約束優化，規劃，自然語言處理，機器人和視覺）的解釋概述，使每個人對解釋的不同定義保持一致。本教程將涵蓋大多數定義，但只會深入以下領域:(i)可解釋的機器學習，(ii)具有知識圖和ML的可解釋AI。

【可解釋機器學習】

在本節中，我們將解決可解釋的機器學習pipeline的廣泛問題。我們描述了機器學習社區中可解釋性的概念，并通過描述一些流行的可解釋性模型來繼續。本節的核心是對不同類別的黑箱問題進行分析，從黑箱模型講解到黑箱結果講解，最后是黑箱檢查。

【用知識圖譜和ML解釋AI】

在本教程的這一部分中，我們將從兩個不同的角度闡述基于圖的知識庫的解釋力:

用語義網和邏輯解釋AI

我們展示了支持語義web的模式豐富的、基于圖的知識表示范式是如何實現有效解釋的。本節還將重點介紹從大型異構知識庫中表示和推斷有效解釋的邏輯和推理方法。

基于知識圖譜的機器學習

在本節中，我們將重點討論知識圖嵌入模型，即將知識圖中的概念編碼為連續低維向量的神經架構。這些模型已經被證明對許多機器學習任務有效，特別是知識庫的完成。我們解釋了這些模型的基本原理和架構，并從它們的不可預測性以及如何增強第三方模型的可解釋性的角度對它們進行了考察。

【應用】

我們展示了應用解釋技術的真實示例。我們關注一些使用案例：i)具有內置解釋功能的可解釋的航班延誤預測系統; ii)基于知識圖的語義推理，預測和解釋企業項目風險層次的大范圍合同管理系統;iii) 500多個城市的大型組織員工異常報銷的識別、解釋和預測的費用體系。

Tutorial的講者

PPT下載鏈接：//pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取碼：aq79

【導讀】分布式機器學習Distributed Machine Learning是學術界和工業界關注的焦點。最近來自荷蘭的幾位研究人員撰寫了關于分布式機器學習的綜述，共33頁pdf和172篇文獻，概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

?論文地址： //www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07 ?

摘要 在過去的十年里，對人工智能的需求顯著增長，而機器學習技術的進步和利用硬件加速的能力推動了這種增長。然而，為了提高預測的質量并使機器學習解決方案在更復雜的應用中可行，需要大量的訓練數據。雖然小的機器學習模型可以用少量的數據進行訓練，但訓練大模型(如神經網絡)的輸入隨著參數的數量呈指數增長。由于處理訓練數據的需求已經超過了計算機器計算能力的增長，因此需要將機器學習的工作負載分布到多臺機器上，并將集中式的學習任務轉換為分布式系統。這些分布式系統提出了新的挑戰，首先是訓練過程的有效并行化和一致模型的創建。本文概述了分布式機器學習相對于傳統(集中式)機器學習的挑戰和機遇，討論了用于分布式機器學習的技術，并對可用的系統進行了概述，從而全面概述了該領域的最新進展。

1. 引言

近年來，新技術的快速發展導致了數據采集的空前增長。機器學習(ML)算法正越來越多地用于分析數據集和構建決策系統，因為問題的復雜性，算法解決方案是不可行的。例如控制自動駕駛汽車[23]，識別語音[8]，或者預測消費者行為[82]。

在某些情況下，訓練模型的長時間運行會引導解決方案設計者使用分布式系統來增加并行性和I/O帶寬總量，因為復雜應用程序所需的訓練數據很容易達到tb級的[29]。在其他情況下，當數據本身就是分布式的，或者數據太大而不能存儲在一臺機器上時，集中式解決方案甚至都不是一個選項。例如，大型企業對存儲在不同位置的[19]的數據進行事務處理，或者對大到無法移動和集中的天文數據進行事務處理[125]。

為了使這些類型的數據集可作為機器學習問題的訓練數據，必須選擇和實現能夠并行計算、數據分布和故障恢復能力的算法。在這一領域進行了豐富多樣的研究生態系統，我們將在本文中對其進行分類和討論。與之前關于分布式機器學習([120][124])或相關領域的調查([153][87][122][171][144])相比，我們對該問題應用了一個整體的觀點，并從分布式系統的角度討論了最先進的機器學習的實踐方面。

第2節深入討論了機器學習的系統挑戰，以及如何采用高性能計算(HPC)的思想來加速和提高可擴展性。第3節描述了分布式機器學習的參考體系結構，涵蓋了從算法到網絡通信模式的整個堆棧，這些模式可用于在各個節點之間交換狀態。第4節介紹了最廣泛使用的系統和庫的生態系統及其底層設計。最后，第5節討論了分布式機器學習的主要挑戰

2. 機器學習——高性能計算的挑戰?

近年來，機器學習技術在越來越復雜的應用中得到了廣泛應用。雖然出現了各種相互競爭的方法和算法，但所使用的數據表示在結構上驚人地相似。機器學習工作負載中的大多數計算都是關于向量、矩陣或張量的基本轉換——這是線性代數中眾所周知的問題。優化這些操作的需求是高性能計算社區數十年來一個非常活躍的研究領域。因此，一些來自HPC社區的技術和庫(如BLAS[89]或MPI[62])已經被機器學習社區成功地采用并集成到系統中。與此同時，HPC社區已經發現機器學習是一種新興的高價值工作負載，并開始將HPC方法應用于它們。Coates等人，[38]能夠在短短三天內，在他們的商用現貨高性能計算(COTS HPC)系統上訓練出一個10億個參數網絡。You等人[166]在Intel的Knights Landing(一種為高性能計算應用而設計的芯片)上優化了神經網絡的訓練。Kurth等人[84]證明了像提取天氣模式這樣的深度學習問題如何在大型并行高性能計算系統上進行優化和快速擴展。Yan等人[163]利用借鑒于HPC的輕量級概要分析等技術對工作負載需求進行建模，解決了在云計算基礎設施上調度深度神經網絡應用程序的挑戰。Li等人[91]研究了深度神經網絡在加速器上運行時對硬件錯誤的彈性特性，加速器通常部署在主要的高性能計算系統中。

與其他大規模計算挑戰一樣，加速工作負載有兩種基本的、互補的方法:向單個機器添加更多資源(垂直擴展或向上擴展)和向系統添加更多節點(水平擴展或向外擴展)。

3. 一個分布式機器學習的參考架構

圖1 機器學習的概述。在訓練階段，利用訓練數據和調整超參數對ML模型進行優化。然后利用訓練后的模型對輸入系統的新數據進行預測。

圖2 分布式機器學習中的并行性。數據并行性在di上訓練同一個模型的多個實例!模型并行性將單個模型的并行路徑分布到多個節點。

機器學習算法

機器學習算法學習根據數據做出決策或預測。我們根據以下三個特征對當前的ML算法進行了分類:

反饋、在學習過程中給算法的反饋類型

目的、期望的算法最終結果

方法、給出反饋時模型演化的本質

反饋 訓練算法需要反饋，這樣才能逐步提高模型的質量。反饋有幾種不同類型[165]:

包括 監督學習、無監督學習、半監督學習與強化學習

目的 機器學習算法可用于各種各樣的目的，如對圖像進行分類或預測事件的概率。它們通常用于以下任務[85]: 異常檢測、分類、聚類、降維、表示學習、回歸

每一個有效的ML算法都需要一種方法來迫使算法根據新的輸入數據進行改進，從而提高其準確性。通過算法的學習方式，我們識別出了不同的ML方法組: 演化算法、隨機梯度下降、支持向量機、感知器、神經網絡、規則機器學習、主題模型、矩陣分解。

圖3所示：基于分布程度的分布式機器學習拓撲

4. 分布式機器學習生態系統

圖4所示。分布式機器學習生態系統。通用分布式框架和單機ML系統和庫都在向分布式機器學習靠攏。云是ML的一種新的交付模型。

5 結論和當前的挑戰

分布式機器學習是一個蓬勃發展的生態系統，它在體系結構、算法、性能和效率方面都有各種各樣的解決方案。為了使分布式機器學習在第一時間成為可行的，必須克服一些基本的挑戰，例如，建立一種機制，使數據處理并行化，同時將結果組合成一個單一的一致模型。現在有工業級系統,針對日益增長的欲望與機器學習解決更復雜的問題,分布式機器學習越來越普遍和單機解決方案例外,類似于數據處理一般發展在過去的十年。然而，對于分布式機器學習的長期成功來說，仍然存在許多挑戰：性能、容錯、隱私、可移植性等。