網絡(或可互換的圖表)在全球范圍內以及科學和工程領域中已經無處不在:社會網絡、協作網絡、蛋白質-蛋白質相互作用網絡、基礎設施網絡等等。圖上的機器學習,特別是網絡表示學習,在與圖相關的任務中表現出了卓越的性能,如節點/圖分類、圖聚類和鏈接預測。這些任務與Web應用程序密切相關,尤其是社交網絡分析和推薦系統。例如,節點分類和圖聚類被廣泛應用于社區檢測的研究中,而鏈接預測在朋友或物品推薦中起著至關重要的作用。與性能一樣,理解機器學習模型的行為,并能夠解釋這些模型是如何做出某個決定的,對個人來說也是至關重要的。這種需求激發了許多關于機器學習可解釋性的研究。具體來說,對于社交網絡分析,我們可能需要知道為什么某些用戶(或群體)被機器學習模型分類或聚在一起,或者為什么一個朋友推薦系統認為一些用戶相似,從而推薦他們相互聯系。在這種情況下,一種可解釋的網絡表示是必要的,它應該把圖信息帶到人類可以理解的水平。
在本教程中,我們將 (1) 定義可解釋性,并在網絡研究的不同背景下回顧其定義; (2) 回顧總結各種可解釋網絡表征; (3) 討論與網絡嵌入、圖摘要和網絡可視化方法的聯系; (4) 討論圖神經網絡的可解釋性,因為這類技術通常被認為具有有限的可解釋性; (5) 指出有待解決的研究問題和未來的研究方向。本教程是為研究人員、研究生和從業人員設計的,這些領域包括圖挖掘、圖機器學習和機器學習可解釋性。
//shengminjin.github.io/tutorials/www2022
目錄內容:
引言 Introduction 網絡設置可解釋性 Interpretability in Network Settings Network Properties Spectral Properties Relationship Between a Network and its Subgraphs 可解釋網絡表示 Interpretable Network Representations Graph Summarization Methods Network Embedding Methods Network Visualization Demo 圖神經網絡及可解釋性 Graph Neural Network and its Explainability Q & A
第21屆智能體及多智能體系統國際會議(International Joint Conference on Autonomous Agents and Multi-Agent Systems, AAMAS-2020)近日在線舉行。智能體及多智能體系統國際會議(AAMAS) 是多智能體系統領域最具影響力的會議之一,由非營利組織IFAAMAS主辦。來自佐治亞理工大學Matthew Gombolay和Zheyuan Wang共同講述了圖神經網絡解決多機器人協調問題的能力,非常值得關注!
機器人隊越來越多地部署在生產設施和倉庫等環境中,以節省成本和提高生產率。為了有效地協調多機器人隊,快速、高質量的調度算法必須滿足動態任務規范、部件和機器人可用性在時間和空間上的約束。傳統的解決方案包括精確的方法,這對于大規模問題是棘手的,或者特定應用的啟發式,這需要專業的領域知識。迫切需要的是一種新的自動化方法,它可以自動學習輕量級的、特定于應用的協調策略,而不需要手工設計的特征。 本教程介紹了圖神經網絡,并展示了圖神經網絡解決多機器人協調問題的能力。本文綜述了近年來各種圖神經網絡的框架,重點討論了它們在多智能體系統建模中的應用。我們將介紹多機器人協調(MRC)問題,并回顧解決MRC問題最相關的方法。我們將討論圖神經網絡在MRC問題中的幾個成功應用,并以Python示例代碼的形式提供實踐教程。通過本教程,我們旨在提供使用圖神經網絡建模多機器人系統的經驗,從算法開發到代碼實現,從而為在更廣泛的多智能體研究中設計基于圖的學習算法打開未來的機會。
//core-robotics.gatech.edu/2022/01/18/aamas2022_tutorial_gnn_robot/
第一部分將討論以下內容: (a) 圖神經網絡是如何工作的——我們將全面概述以往文獻中提出的各種圖神經網絡,包括同質圖和異質圖以及注意力機制; (b) 如何用圖神經網絡為團隊協調問題建模——我們將討論哪些應用可以用圖神經網絡建模,重點是MRC問題;(c)如何為團隊協調問題優化圖神經網絡的參數-我們將討論哪些學習方法可以用于訓練基于圖神經網絡的求解器。我們以最常見的挑戰和開放問題來結束本部分。
第二部分將提供一個實際操作教程,介紹如何使用圖神經網絡來解決協調問題,并在Python Jupyter筆記本中編寫示例。特別地,我們將研究ScheduleNet架構[6],這是一個基于異構圖神經網絡的求解器,用于在時間和空間約束下解決MRC問題。Jupyter將工作通過模型實現,訓練和評估的ScheduleNet模型在合成數據集。
**講者介紹: **
Matthew Gombolay博士是佐治亞理工學院交互計算專業的助理教授。他于2011年獲得約翰霍普金斯大學(the Johns Hopkins University)機械工程學士學位,2013年獲得麻省理工學院(MIT)航空航天學碩士學位,2017年獲得麻省理工學院(MIT)自主系統博士學位。Gombolay的研究興趣涵蓋機器人、人工智能/ML、人機交互和運行學。在答辯論文和加入喬治亞理工學院之間,Gombolay博士曾在麻省理工學院林肯實驗室(MIT Lincoln Laboratory)擔任技術人員,并將他的研究工作轉化到美國海軍,為他贏得了R&D 100獎。他的發表記錄包括美國航空航天學會的最佳論文獎,美國控制會議的最佳學生論文決賽,以及機器人學習會議的最佳論文決賽。2018年,Gombolay博士被選為DARPA Riser ,獲得了國家消防研討會的早期職業獎第一名,并因提高太空科學自主性而獲得了NASA的早期職業獎學金。
Zheyuan Wang,佐治亞理工學院電氣與計算機工程學院博士研究生。他在上海交通大學(Shanghai Jiao Tong University)獲得電氣工程學士學位和碩士學位。他還獲得了佐治亞理工學院ECE的碩士學位。他目前是由Matthew Gombolay教授領導的認知優化和關系(CORE)機器人實驗室的研究生研究助理。他目前的研究方向是基于圖的策略學習,利用圖神經網絡進行表示學習和強化學習進行決策,應用于人-機器人團隊協作、多智能體強化學習和隨機資源優化。
內容概覽
參考文獻:
Ernesto Nunes, Marie Manner, Hakim Mitiche, and Maria Gini. 2017. A taxonomy for task allocation problems with temporal and ordering constraints. Robotics and Autonomous Systems 90 (2017), 55–70. 1. Petar Veli?kovi?, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Liò, and Yoshua Bengio. 2018. Graph attention networks. International Conference on Learning Representations (2018). 1. Xiao Wang, Houye Ji, Chuan Shi, Bai Wang, Yanfang Ye, Peng Cui, and Philip S Yu. 2019. Heterogeneous graph attention network. The World Wide Web Conference (2019), 2022–2032. 1. Jie Zhou, Ganqu Cui, Shengding Hu, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, and Maosong Sun. 2020. Graph neural networks: A review of methods and applications. AI Open 1 (2020), 57-81. 1. Zheyuan Wang and Matthew Gombolay. 2020. Learning scheduling policies for multi-robot coordination with graph attention networks. IEEE Robotics and Automation Letters 5, 3 (2020), 4509–4516. 1. Zheyuan Wang, Chen Liu, and Matthew Gombolay. 2021. Heterogeneous graph attention networks for scalable multi-robot scheduling with temporospatial constraints. Autonomous Robots (2021), 1–20.
//akashb94.wixsite.com/website
目錄內容:
給出一個大的圖,比如誰買什么,哪個節點是最重要的節點?我們如何找到社區?如果節點有屬性(比如,性別,或環保,或欺詐者),并且我們知道一些節點的利益值,我們如何猜測其余節點的屬性?圖表自然地表示了一系列過程,包括社交網絡或通信網絡上的人之間的交互、萬維網上網頁之間的鏈接、客戶和產品之間的交互、產品、公司和品牌之間的關系、惡意賬戶之間的關系,以及許多其他過程。在這些場景中,模擬真實網絡的圖通常是異構的、多模態的和多關系的。隨著越來越多相互關聯的結構化和半結構化數據的可用性,利用網絡的異構和多關系特性來有效挖掘和學習此類數據的重要性變得越來越明顯。在本教程中,我們將介紹經過時間考驗的圖挖掘算法(PageRank, HITS, Belief Propagation, METIS),以及它們與多關系學習方法的連接。我們既討論了傳統的純圖,也討論了異構的屬性圖。我們的重點是這些工具背后的直覺,只指向它們背后的定理。本教程將包括許多Web會議社區直接感興趣的設置示例(例如,社交網絡、推薦系統和知識圖譜)。
//graph-mining-tutorial.github.io/www2021/#slides
引言與動機 Introduction and Motivation.
純圖 Part 1: Plain Graphs - Traditional tools
復雜與異構圖 Part 2: Complex and Heterogeneous Graphs
Factorization Methods: Factorization Machines; PARAFAC, Survey on tensors, and applications
Heterogeneous Information Networks and Meta-path-based methods
Prediction and Recommender Systems, Entity Resolution and Knowledge Graph Identification
結論 Conclusions
能夠解釋機器學習模型的預測在醫療診斷或自主系統等關鍵應用中是很重要的。深度非線性ML模型的興起,在預測方面取得了巨大的進展。然而,我們不希望如此高的準確性以犧牲可解釋性為代價。結果,可解釋AI (XAI)領域出現了,并產生了一系列能夠解釋復雜和多樣化的ML模型的方法。
在本教程中,我們結構化地概述了在深度神經網絡(DNNs)的背景下為XAI提出的基本方法。特別地,我們提出了這些方法的動機,它們的優點/缺點和它們的理論基礎。我們還展示了如何擴展和應用它們,使它們在現實場景中發揮最大的作用。
本教程針對的是核心和應用的ML研究人員。核心機器學習研究人員可能會有興趣了解不同解釋方法之間的聯系,以及廣泛的開放問題集,特別是如何將XAI擴展到新的ML算法。應用ML研究人員可能會發現,理解標準驗證程序背后的強大假設是很有趣的,以及為什么可解釋性對進一步驗證他們的模型是有用的。他們可能還會發現新的工具來分析他們的數據并從中提取見解。參與者將受益于技術背景(計算機科學或工程)和基本的ML訓練。
目錄內容:
Part 1: Introduction to XAI (WS) 可解釋人工智能
Part 2: Methods for Explaining DNNs (GM) 可解釋深度神經網絡方法
Part 3: Implementation, Theory, Evaluation, Extensions (GM) 實現,理論、評價
Part 4: Applications (WS) 應用
在當今的信息和計算社會中,復雜系統常常被建模為與異質結構關系、非結構化屬性/內容、時間上下文或它們的組合相關聯的多模態網絡。多模態網絡中豐富的信息要求在進行特征工程時既要有一個領域的理解,又要有一個大的探索性搜索空間,以建立針對不同目的的定制化智能解決方案。因此,在多模態網絡中,通過表示學習自動發現特征已成為許多應用的必要。在本教程中,我們系統地回顧了多模態網絡表示學習的領域,包括一系列最近的方法和應用。這些方法將分別從無監督、半監督和監督學習的角度進行分類和介紹,并分別給出相應的實際應用。最后,我們總結了本教程并進行了公開討論。本教程的作者是這一領域活躍且富有成效的研究人員。
//chuxuzhang.github.io/KDD20_Tutorial.html
隨著機器學習模型越來越多地用于在醫療保健和刑事司法等高風險環境中幫助決策者,確保決策者(最終用戶)正確理解并信任這些模型的功能非常重要。我們將回顧了解模型的可解釋性和explainability的概念,詳細討論不同類型的可說明的模型(例如,基于原型方法,稀疏線性模型、基于規則的技術,廣義可加模型),事后解釋(黑箱解釋,包括反事實解釋和顯著性映射),并探索可解釋性與因果性、調試和公平性之間的聯系。可解釋機器學習這些應用可以極大地受益于模型的可解釋性,包括刑事司法和醫療保健。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告,總共305頁ppt,涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用,非常值得學習。
摘要
圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力,GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題,近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的,涵蓋了相關的和有趣的主題,包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。
目錄:
百度網盤直接下載: 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz
講者介紹
Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理,該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前,他在Eindhoven理工大學獲得碩士學位,在浙江大學獲得學士學位。
Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生,導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。
Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是雅虎研究院的一名研究科學家,2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習,以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者,包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果,獲得了成千上萬的引用和廣泛的媒體報道。
Lingfei Wu是IBM AI foundation Labs的研究人員,IBM T. J. Watson研究中心的推理小組。
Tengfei Ma現任美國紐約IBM沃森研究中心研究員。