亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是由國際萬維網會議委員會發起主辦的國際頂級學術會議，創辦于1994年，每年舉辦一屆，是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告，講述了XAI概念、方法以及面臨的挑戰和經驗教訓。

人工智能在我們的日常生活中扮演著越來越重要的角色。此外，隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及，人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見，以及對模型透明性和可解釋性的需求。此外，模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。

因此，人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上，以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性，(ii) 為理解模型行為制定可解釋性任務，并為這些任務開發解決方案，最后 (iii)設計評估模型在可解釋性任務中的性能的措施。

在本教程中，我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后，我們將關注可解釋性技術在工業中的應用，在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針，以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究，涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后，根據我們在工業界的經驗，我們將確定數據挖掘/機器學習社區的開放問題和研究方向。

//sites.google.com/view/www20-explainable-ai-tutorial

【導讀】國際萬維網大會（The Web Conference，簡稱WWW會議）是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿，錄用217篇長文，錄用率為19.2%。這周會議已經虛擬召開。圖深度學習研討會(DL4G)展示結構化數據的嵌入和表示學習以及圖深度學習的最新進展。來自DeepMind的研究科學家Petar Veli?kovi?給了關于《圖表示學習算法推理》的報告，共46頁ppt，詳述了神經圖算法推理的前沿研究進展，涵蓋GNN基準、泛化、多任務學習和算法發現。

圖表示學習算法推理是個新的和令人興奮的方向，尋求理解和使用GNNs的表達能力建模經典算法。其潛在的影響是巨大的: 為元學習和搜索等任務提供可擴展的解決方案，幫助理論計算機科學中的新發現，以及嚴格地對GNNs進行基準測試。

Petar Veli?kovi? 是DeepMind研究科學家。他擁有劍橋大學博士學位。他目前的研究興趣廣泛地涉及設計操作復雜結構數據(如圖)的神經網絡架構，以及它們在算法推理和計算生物學中的應用。他在機器學習領域(ICLR、NeurIPS-W、ICML-W)和生物醫學領域和期刊(生物信息學、PLOS One、JCB、PervasiveHealth)發表了他的研究成果。特別是，他是Graph Attention Networks(一種流行的圖卷積層)和Deep Graph Infomax(一種用于圖形的可伸縮的本地/全局無監督學習管道)的第一作者。他的研究已經在ZDNet等媒體上發表。此外，他還在ICLR 2019年和NeurIPS 2019年聯合組織了關于圖形表示學習的研討會。

//petar-v.com/

【導讀】Graph Neural Network（GNN）由于具有分析圖結構數據的能力而受到了廣泛的關注。本文對Graph Neural Network進行了簡要介紹。它涵蓋了一些圖論，以便于理解圖和分析圖時遇到的問題。然后介紹了不同形式的Graph神經網絡及其原理。它還涵蓋了GNN可以做什么以及GNN的一些應用。

圖論

首先，我們需要知道什么是圖。圖是一種由兩個部分組成的數據結構：頂點和edge。它用作分析目標和實體之間成對關系的數學結構。通常，將圖定義為G =（V，E），其中V是一組節點，E是它們之間的邊。

圖通常由鄰接矩陣A表示。如果圖具有N個節點，則A的維數為（N x N）。人們有時會提供另一個特征矩陣來描述圖中的節點。如果每個節點都有F個特征，則特征矩陣X的維數為（N x F）。

為什么圖難以分析？

首先，在歐幾里得空間中不存在圖，這意味著它無法用我們熟悉的任何坐標系表示。與其他類型的數據（例如波，圖像或時間序列信號）相比，這使得圖數據的解釋更加困難（“文本”也可以視為時間序列），可以輕松地將其映射為2-D或3-D歐幾里德空間。

其次，圖沒有固定的形式。為什么？看下面的例子。圖（A）和圖（B）具有完全不同的結構和外觀。但是，當我們將其轉換為鄰接矩陣表示形式時，兩個圖具有相同的鄰接矩陣（如果不考慮邊的權重）。那么我們應該考慮這兩個圖是相同還是不同？

最后，一般來說，圖很難直觀地顯示出來以供人類解釋。我不是在談論像上面的例子這樣的小圖。我說的是涉及數百或數千個節點的巨型圖。它的維數很高，節點密集地分組在一起，甚至使人難以理解圖。因此，為該任務訓練機器是具有挑戰性的。以下示例顯示了對集成電路中邏輯門進行建模的圖。

Example of a giant graph: circuit netlist. Figure from J. Baehr et. al. “Machine Learning and Structural Characteristics of Reverse Engineering”

為什么要使用圖？

人們選擇使用圖的原因可以歸納為以下幾點：

1. 圖提供了一種更好的方式來處理諸如關系和交互之類的抽象概念。它們還提供了直觀的視覺方式來思考這些概念。圖也構成了在社會環境中分析關系的自然基礎。
2. 圖可以通過將問題簡化為更簡單的表示形式來解決更復雜的問題，或者從不同的角度將問題轉換為表示形式。
3. 圖論和概念用于研究和建模社交網絡，欺詐模式，功耗模式，病毒性以及在社交媒體中的影響力。社交網絡分析（SNA）可能是圖論在數據科學中最著名的應用。

傳統圖分析方法

傳統方法主要基于算法，例如：

1. 搜索算法，例如BFS，DFS
2. 最短路徑算法，例如Dijkstra算法，最近鄰居
3. 生成樹算法，例如Prim算法
4. 聚類方法，例如高度連接的組件，k均值 這種算法的局限性在于，在應用該算法之前，我們需要以一定的置信度獲得圖的先驗知識。換句話說，它對我們研究圖本身沒有任何意義。最重要的是，沒有辦法執行圖級別分類。

圖神經網絡

所謂的圖神經網絡是一種可以直接應用于圖的神經網絡。它為節點級別，邊緣級別和圖級別的預測任務提供了一種方便的方法。

文獻中主要有三種類型的圖神經網絡：

1. 遞歸圖神經網絡
2. 空間卷積網絡
3. 譜卷積網絡

GNN的直覺是，節點自然是由其鄰居和連接定義的。為了理解這一點，我們可以簡單地想象一下，如果刪除節點周圍的鄰居和連接，則該節點將丟失其所有信息。因此，節點的鄰居和與鄰居的連接定義了節點的概念。

考慮到這一點，我們然后給每個節點一個狀態（x）來表示其概念。我們可以使用節點狀態（x）產生輸出（o），即有關概念的決策。節點的最終狀態（x_n）通常稱為“節點嵌入”。所有GNN的任務是通過查看其相鄰節點上的信息來確定每個節點的“節點嵌入”。 我們將從圖神經網絡，循環圖神經網絡或RecGNN的經典版本開始。

遞歸圖神經網絡

正如原始GNN論文中介紹的那樣，RecGNN是基于Banach不動點定理的假設而構建的。Banach不動點定理指出：（X，d）是一個完整的度量空間，而（T：X→X）是一個壓縮映射。然后，T具有唯一的不動點（x ?），對于任何x∈X，n→∞的序列T_n（x）收斂到（x ?）。這意味著，如果我申請的映射T上X為?倍，X ^ K在幾乎等于x ^（K-1），即：

RecGNN定義了一個參數化函數f_w：

其中L_N，l_co，x_ne，l_ne 表示當前節點的特征[n]，節點的邊緣[n]，相鄰節點的狀態，與相鄰節點的功能。（在原始論文中，作者將節點特征稱為節點標簽。這可能會造成一些混亂。）

An illustration of node state update based on the information in its neighbors. Figure from “The Graph Neural Network Model” 最終，在經過k次迭代之后，最終的節點狀態將用于生成輸出，以決定每個節點。輸出函數定義為：

空間卷積網絡

空間卷積網絡的直覺類似于著名的CNN，后者主導著圖像分類和分割任務的文獻。要了解圖像上的CNN，您可以查看這篇文章，其中詳細說明了CNN。

簡而言之，在圖像上進行卷積的想法是對中心像素周圍的相鄰像素求和，該像素由參數化大小和可學習權重的濾波器指定。空間卷積網絡通過將相鄰節點的特征聚合到中心節點中采用了相同的思想。

Left: Convolution on a regular graph such as an image. Right: Convolution on the arbitrary graph structure. Figure from “A Comprehensive Survey on Graph Neural Networks”

譜卷積網絡

與其他類型的GNN相比，這種類型的圖卷積網絡具有非常強大的數學基礎。譜卷積網絡建立在圖信號處理理論的基礎上。并通過簡化和逼近圖卷積。 通過Chebyshev多項式逼近 （Hammond et al。2011），圖卷積可以簡化為以下形式：

進一步簡化后，GCN論文提出了一種2層神經網絡結構，可以用以下等式描述：

其中A_head是原始圖鄰接矩陣A的預處理拉普拉斯算子。（有關數學的詳細信息，請參見GCN論文。將需要大量的精力來進行充分說明。）

如果您有一些機器學習經驗，則此公式看起來非常熟悉。這不過是常用的兩個完全連接的層結構。但是在這種情況下，它確實可以用作圖卷積。我將在下面說明為什么它可以執行圖卷積。

Example of a graph with a feature assigned to each node. Figured by author

讓我們考慮一下，我們有一個包含4個節點的簡單圖。如上圖所示，為這些節點中的每個節點分配了一個特征矩陣。圖鄰接矩陣和特征矩陣很容易得出，如下所示：

Example of the adjacency matrix and feature matrix. Figure by author

注意，鄰接矩陣的對角線故意更改為“ 1”，以為每個節點添加一個自環。當我們執行特征聚合時，這將包括每個節點本身的特征。 然后，我們執行A x X（為簡單起見，我們先忽略A的拉普拉斯算子和權重矩陣W。）

Example of graph convolution by matrix multiplication. Figure by author

矩陣乘法的結果顯示在最右邊的矩陣中。讓我們以第一個節點的結果功能為例。不難發現結果是[節點1]的所有特征之和，包括[節點1]本身的特征，并且[節點4]中的特征不包括在內，因為它不是[節點1]的鄰居。。在數學上，僅當存在邊時，圖的鄰接矩陣才具有值“ 1”，否則具有“ 0”。這使得矩陣乘法成為連接到參考節點的節點的特征之和。 因此，頻譜卷積網絡和空間卷積網絡盡管是在不同的基礎上開始的，但是它們共享相同的傳播規則。 當前可用的所有卷積圖神經網絡共享相同的格式。他們都嘗試學習通過該消息傳遞過程傳遞節點信息并更新節點狀態的功能。 任何圖神經網絡可被表達為與消息傳遞神經網絡（J. Gilmer et al. , 2017）的消息傳遞功能，節點更新功能和讀出功能。

GNN可以做什么？

GNN解決的問題可以大致分為三類：

1. 節點分類
2. 鏈接預測
3. 圖分類 在節點分類中，任務是預測圖中每個節點的節點嵌入。通常以半監督的方式訓練此類問題，其中僅對部分圖進行標記。節點分類的典型應用包括引文網絡，Reddit帖子，Youtube視頻和Facebook朋友關系。 在鏈接預測中，任務是了解圖中實體之間的關系，并預測兩個實體之間是否存在連接。例如，推薦系統可被視為鏈接預測問題，其中模型被賦予一組用戶對不同產品的評論，任務是預測用戶的偏好并調整推薦系統以根據用戶推送更多相關感興趣的產品。 在圖分類中，任務是將整個圖分類為不同的類別。它類似于圖像分類，但是目標變為圖域。有許多工業問題可以應用圖分類，例如在化學，生物醫學，物理學中，模型被賦予分子結構并被要求將目標分類為有意義的類別。它加快了對原子，分子或任何其他結構化數據類型的分析。

一些實際的應用

在了解了GNN可以執行哪種類型的分析之后，您一定想知道我可以對圖進行哪些實際應用。好了，本節將為您提供有關GNN實際應用的更多見解。

自然語言處理中的GNN

GNN被廣泛使用在自然語言處理（NLP）中。實際上，這也是GNN最初開始的地方。如果您中的某些人具有NLP經驗，則必須考慮到文本應該是一種序列或時間數據，則可以由RNN或LTSM最好地描述。然而，GNN則從完全不同的角度解決了這個問題。GNN利用單詞或文檔的內部關系來預測類別。例如，引文網絡嘗試根據論文引文關系和其他論文中引用的詞來預測網絡中每篇論文的標簽。它也可以通過查看句子的不同部分而不是像RNN或LTSM中那樣的純粹序列來構建語法模型。

計算機視覺中的GNN

許多基于CNN的方法已經在圖像中的目標檢測中達到了最新的性能，但是我們還不知道目標之間的關系。GNN在CV中的一種成功應用是使用圖來建模基于CNN的檢測器檢測到的物體之間的關系。從圖像中檢測到目標后，將它們輸入到GNN推理中以進行關系預測。GNN推斷的結果是生成的圖，該圖對不同目標之間的關系進行建模。

Scene Graph Generation. Figure from D. Xu, Y. Zhu, C. B. Choy, and L. Fei-Fei, “Scene graph generation by iterative message passing,” in Proc. of CVPR, 2017

CV中另一個有趣的應用是根據圖描述生成圖像。這可以解釋為幾乎與上述應用相反。圖像生成的傳統方式是使用GAN或自動編碼器生成文本到圖像。從圖到圖像的生成不是使用文本來描述圖像，而是提供了有關圖像語義結構的更多信息。

Image generated from scene graphs. Figure from J. Johnson, A. Gupta, and L. Fei-Fei, “Image generation from scene graphs,” in Proc. of CVPR, 2018 我想分享的最有趣的應用是零樣本學習（ZSL）。您可以找到這篇文章，以全面了解ZSL。總之，ZSL是想學給定的一類分類NO（目標類別的）訓練樣本。這是非常具有挑戰性的，因為如果沒有給出訓練樣本，我們需要讓模型在邏輯上“思考”以識別目標。例如，如果給了我們三張圖像（如下圖所示），并告訴我們在其中找到“ okapi”。我們以前可能沒有看過“okapi”。但是，如果我們還得到信息，“okapi”是一種有四只腿，斑馬紋皮膚的鹿面動物，那么我們就不難確定哪個是“okapii”。典型的方法是通過將檢測到的特征轉換為文本來模擬這種“思考過程”。但是，文本編碼彼此獨立。很難對文本描述之間的關系進行建模。換句話說，圖表示很好地模擬了這些關系。

Figure from X. Wang, Y. Ye, and A. Gupta, “Zero-shot recognition via semantic embeddings and knowledge graphs,” in CVPR 2018

其他領域的GNN

GNN的更多實際應用包括人類行為檢測，交通控制，分子結構研究，推薦系統，程序驗證，邏輯推理，社會影響預測以及對抗攻擊。下面顯示了對社交網絡中人際關系建模的圖表。GNN可用于將人們分為不同的社區群體。

結論

我們在本文中介紹了一些圖論，并強調了分析圖的重要性。人們總是將機器學習算法視為“ 黑匣子 ”。大多數機器學習算法僅從訓練數據的特征中學習，但沒有實際的邏輯可以執行。使用形，我們也許能夠將一些“邏輯”傳遞給機器，并使其更自然地“思考”。

GNN仍然是一個相對較新的領域，值得更多的研究關注。它是分析圖數據的強大工具。但是，它不僅限于圖中的問題。它可以很容易地推廣到任何可以通過圖建模的研究中。圖建模是分析問題的自然方法。

參考鏈接：

//medium.com/datadriveninvestor/an-introduction-to-graph-neural-network-gnn-for-analysing-structured-data-afce79f4cfdc

作者：Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, Jiawei Han

摘要：本體結構（Taxonomies）由機器可解釋的語義組成，并為許多Web應用程序提供有價值的知識。例如，在線零售商(亞馬遜和eBay)使用本體結構進行產品推薦，而網絡搜索引擎(Google和Bing)利用本體結構來增強查詢理解。當前我們在人工或半自動地構建本體結構方面已經做出了巨大的努力。然而，隨著網絡內容數量的快速增長，現有的本體結構無法捕捉到新興的知識。因此，在許多應用程序中，十分需要對現有本體結構進行動態擴展。在本文中，我們研究了如何通過添加一組新的概念來擴展現有的本體結構。我們提出了一種新的自監督框架TaxoExpanTM，該框架從已有的本體結構中自動生成一組 ?query concept, anchor concept ? 對作為訓練數據。使用這樣的自監督數據，TaxoExpanTM學習一個模型來預測query concept是否是 anchor concept的直接下義詞。我們在TaxoExspan中提出了兩種創新技術：(1)位置增強型圖形神經網絡，它編碼現有本體結構中anchor concept的局部結構；2）噪聲魯棒性訓練目標，使學習的模型能夠對自監控數據中的標簽噪聲不敏感。在來自不同領域的三個大規模數據集上的廣泛實驗證明了TaxoExspan在分類系統擴展方面的有效性和高效性。

【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua，以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統，涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統，基于圖神經網絡的推薦系統等內容。

Tutorial摘要：

推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例，并基于“信息孤島”進行預測。但是，這些方法忽略了數據實例之間的關系，這可能導致性能不佳，特別是在稀疏場景中。此外，建立在單獨數據實例上的模型很難展示推薦背后的原因，這使得推薦過程難以理解。

在本教程中，我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖，例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來，為開發高階連接帶來了好處，這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功，基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧，重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域，我們希望觀眾能夠對空間有更深刻的理解和準確的洞察，激發更多的想法和討論，促進技術的發展。

Tutorial大綱：