主題:Deep Learning for Graphs: Models and Applications
摘要:圖提供了多種類型的數據的通用表示,而深度學習在表示學習方面顯示了巨大的能力。因此,用圖連接深度學習提供了機會,使各種現實世界問題的通用解決方案成為可能。然而,傳統的深度學習技術對常規網格數據(如圖像和序列)具有破壞性,因此不能直接應用于圖結構數據。因此,將這兩個領域結合起來面臨著巨大的挑戰。在本教程中,我將全面概述圖深度學習的最新進展,包括模型和應用。特別地,我將介紹一些基本概念,回顧最先進算法,并舉例說明各種重要的應用。最后,我將通過討論開放問題和挑戰來總結本教程。
嘉賓簡介:唐繼良(Jiang Tang)自2016年秋季@起擔任密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是Yahoo Research的研究科學家,并于2015年從亞利桑那州立大學獲得博士學位。他的研究興趣包括社交計算,數據挖掘和機器學習及其在教育中的應用。他曾獲得2019年NSF職業獎,2015年KDD最佳論文亞軍和6項最佳論文獎,包括WSDM2018和KDD2016。他是會議組織者(例如KDD,WSDM和SDM)和期刊編輯(例如TKDD)。他的研究成果發表在高排名的期刊和頂級會議論文集上,獲得了數千篇引文(Google學術搜索)和廣泛的媒體報道。
來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告,總共305頁ppt,涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用,非常值得學習。
摘要
圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現,具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據,為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力,GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題,近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的,涵蓋了相關的和有趣的主題,包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。
目錄:
百度網盤直接下載: 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz
講者介紹
Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理,該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前,他在Eindhoven理工大學獲得碩士學位,在浙江大學獲得學士學位。
Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生,導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。
Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是雅虎研究院的一名研究科學家,2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習,以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者,包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果,獲得了成千上萬的引用和廣泛的媒體報道。
Lingfei Wu是IBM AI foundation Labs的研究人員,IBM T. J. Watson研究中心的推理小組。
Tengfei Ma現任美國紐約IBM沃森研究中心研究員。
** 簡介:**
推薦方法構造了預測模型,以估計用戶與項目交互的可能性。先前的模型在很大程度上遵循一般的監督學習范式-將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,此類方法忽略了數據實例之間的關系,這可能導致性能欠佳,尤其是對于稀疏場景。此外,建立在單獨數據實例上的模型幾乎無法顯示出推薦背后的原因,從而使過程難以理解。
在本教程中,我們將從圖學習的角度重新審視推薦問題。可以將用于推薦的通用數據源組織成圖形,例如用戶-項目交互(二分圖),社交網絡,項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,從而為利用高階連通性帶來了好處,這些高階連通性對有意義的模式進行了編碼,以進行協作過濾,基于內容的過濾,社會影響力建模和知識感知推理。結合圖神經網絡(GNN)的最新成功,基于圖的模型已展現出成為下一代推薦系統技術的潛力。本教程對基于圖的學??習方法進行了回顧,以提出建議,特別關注GNN的最新發展和知識圖譜增強的建議。通過在本教程中介紹這個新興而有前途的領域,我們希望觀眾可以對空間有深入的了解和準確的見解,激發更多的想法和討論,并促進技術的發展。
目錄:
作者簡介:
王翔是新加坡國立大學(NUS)計算機學院的研究員。 他獲得了博士學位。 他于2019年獲得國大計算機科學博士學位。他的研究興趣包括推薦系統,信息檢索和數據挖掘。 在SIGIR,KDD,WWW和AAAI等頂級會議上,他擁有20多種出版物,包括TOIS和TKDE等期刊。 他曾擔任CCIS 2019的本地主席,包括SIGIR,CIKM和MM在內的頂級會議的PC成員以及TKDE和TOIS等著名期刊的定期審稿人。
書名: Deep Learning for Search
簡介:
深度學習搜索是一本實用的書,關于如何使用(深度)神經網絡來幫助建立有效的搜索引擎。這本書研究了一個搜索引擎的幾個組成部分,提供了關于它們如何工作的見解以及如何在每個環境中使用神經網絡的指導。重點介紹了基于實例的實用搜索和深度學習技術,其中大部分都有代碼。同時,在適當的地方提供相關研究論文的參考資料,以鼓勵閱讀更多的書籍,加深對特定主題的知識。
讀完這本書,將對搜索引擎的主要挑戰有所理解,它們是如何被普遍解決的以及深度學習可以做些什么來幫助。并且將對幾種不同的深度學習技術以及它們在搜索環境中的適用范圍有一個理解,將很好地了解Lucene和Deeplearning4j庫。
這本書主要分為3個部分:
第1部分介紹了搜索、機器學習和深度學習的基本概念。第一章介紹了應用深度學習技術來搜索問題的原理,涉及了信息檢索中最常見的方法。第2章給出了如何使用神經網絡模型從數據中生成同義詞來提高搜索引擎效率的第一個例子。
第2部分討論了可以通過深度神經網絡更好地解決的常見搜索引擎任務。第3章介紹了使用遞歸神經網絡來生成用戶輸入的查詢。第四章在深度神經網絡的幫助下,在用戶輸入查詢時提供更好的建議。第5章重點介紹了排序模型:尤其是如何使用詞嵌入提供更相關的搜索結果。第6章討論了文檔嵌入在排序函數和內容重新編碼上下文中的使用。
第3部分將介紹更復雜的場景,如深度學習機器翻譯和圖像搜索。第7章通過基于神經網絡的方法為你的搜索引擎提供多語言能力來指導你。第8章討論了基于內容的圖像集合的搜索,并使用了深度學習模型。第9章討論了與生產相關的主題,如微調深度學習模型和處理不斷輸入的數據流。
作者簡介:
Tommaso Teofili是一名軟件工程師,他對開源機器學習充滿熱情。作為Apache軟件基金會的成員,他為許多開放源碼項目做出了貢獻,從信息檢索到自然語言處理和機器翻譯等主題。他目前在Adobe工作,開發搜索和索引基礎結構組件,并研究自然語言處理、信息檢索和深度學習等領域。他曾在各種會議上發表過搜索和機器學習方面的演講,包括BerlinBuzzwords、計算科學國際會議、ApacheCon、EclipseCon等。
題目: Representation Learning on Graphs: Methods and Applications
摘要:
圖機器學習是一項重要且普遍存在的任務,其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法,以便機器學習模型能夠輕松地利用它。傳統上,機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如,度統計或內核函數)。然而,近年來,使用基于深度學習和非線性降維的技術,自動學習將圖結構編碼為低維嵌入的方法激增。在這里,我們提供了一個概念上的回顧,在這一領域的關鍵進展,圖表示學習,包括基于矩陣分解的方法,隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中,我們開發了一個統一的框架來描述這些最近的方法,并強調了一些重要的應用程序和未來工作的方向。
作者簡介:
William L. Hamilton是麥吉爾大學計算機科學的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域,目前的重點是快速發展的圖表示學習和圖神經網絡。
Rex Ying是斯坦福大學計算機科學二年級的博士生,研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡,應用于推薦系統、異常檢測和生物學。
簡介: 機器學習在處理結構化數據集(例如表格數據)方面歷來是成功的。 隨著最近的進步,特別是在深度學習方面的進步,現在還存在用于處理圖像,文本和語音數據的完善且強大的方法。 但是,許多現實世界的數據并不屬于這些類別。 這種數據重要的一種是網絡或圖形數據,可用于對諸如社交網絡,交易流,計算機網絡甚至分子相互作用之類的概念進行建模。 使用圖,我們可以輕松地表示和捕獲對象之間的復雜交互和依賴關系,但同時也提出了一個問題:我們如何將機器學習應用于結構化數據圖?
嘉賓介紹: Xavier Bresson,NTU計算機科學副教授。 他是圖深度學習領域的領先研究人員,圖深度學習是一個新的框架,該框架結合了圖和深度學習技術,可以處理多個領域的復雜數據。 演講的目的是介紹基于圖的卷積神經網絡體系結構,以及此類問題的應用。
大綱:
報告名稱: Deep Geometric Learning of Big Data and Applications
報告摘要: 深度學習技術在計算機視覺,自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據,并且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,并受益于GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾里德領域,而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用于分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓: Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。
Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。
報告部分大綱:
課程介紹: 最近,圖神經網絡 (GNN) 在各個領域越來越受到歡迎,包括社交網絡、知識圖譜、推薦系統,甚至生命科學。GNN 在對圖形中節點間的依賴關系進行建模方面能力強大,使得圖分析相關的研究領域取得了突破性進展。本次課程對比傳統的卷積神經網絡以及圖譜圖卷積與空間圖卷積,從理論知識入手,并結合相關論文進行詳細講解。
主講人: Xavier Bresson,人工智能/深度學習方面的頂級研究員,培訓師和顧問。在“圖深度學習”上的NeurIPS'17和CVPR'17(2019年頂級人工智能會議排名)上的演講者,在劍橋,加州大學洛杉磯分校,布朗,清華,龐加萊,海德堡等地進行了30多次國際演講。
課程大綱:
主題:From Data to Model Programming: Injecting Structured Priors for Knowledge Extraction
摘要:從序列標記到關系抽取,再到知識推理,深度神經網絡模型在知識抽取任務中取得了最先進的性能。然而,這些渴求數據的模型嚴重依賴于人工標記的訓練數據,并且經常作為黑箱組件運行,減慢了下游應用程序的開發。在這次演講中,我將介紹我們最近在將結構化先驗知識應用到深度神經網絡模型中進行知識抽取方面的進展,這兩個模型都是在輸入數據級別(即,以及在模型架構級別(即,對模型進行編程)。特別地,我將討論如何在命名實體識別中合并域字典,以及如何在關系提取中建立語義規則,作為輸入級結構化先驗知識的示例。對于模型編程,我將提出一個基于圖神經網絡的框架,用于在涉及常識推理的自然語言推理中捕獲多關系結構化先驗知識作為模型架構的一部分。這些解決方案共同構成了從數據到使用結構化先驗知識進行模型編程的路線圖。
嘉賓簡介:任翔,美國南加州大學計算機科學系助理教授,獲美國南加州大學ISI聘任。他也是智能和知識發現(INK)研究實驗室的主任,ACM SIGKDD和數據挖掘(SIGKDD)的信息主任,以及USC機器學習中心的成員。之前,他是斯坦福大學的研究學者,并在伊利諾伊大學香檳分校獲得了計算機科學博士學位。Ren博士的研究重點是開發標簽高效的計算方法,從自然語言數據中提取機器可操作的知識(例如,組合、圖形結構表示),并對知識結構進行神經推理。他的研究導致一本書和50多個出版物,覆蓋著超過會議教程(KDD、WWW NAACL),并獲得了獎項包括谷歌AI教師獎,摩根大通AI研究獎,亞馬遜研究獎,ACM SIGKDD論文獎(2018),WWW最佳海報亞軍(2018),大衛·j·Kuck優秀論文獎(2017),谷歌博士獎學金(2016),和Yelp數據集挑戰獎(2015)。他是福布斯亞洲30位30歲以下富豪之一。
主題: Building Useful Recommender Systems for Tourists
簡介: 推薦系統是信息搜索和過濾工具,應為要使用的項目提供建議。 最先進的推薦系統利用數據挖掘和信息檢索技術來預測商品在多大程度上適合用戶的需求和需求,但是通常它們最終會提出明顯而無趣的建議,尤其是在復雜領域(例如旅游業)。 在演講中,將介紹典推薦器系統的思想和技術。 我們將討論為游客建立有用的推薦系統所需的一些關鍵要素。 因此,我們將指出推薦系統研究的一些局限性和挑戰。 然后,我們將介紹一些新穎的技術,這些技術利用從觀察到的游客行為中收集的數據來生成更有用的個人和團體推薦。
嘉賓介紹: Francesco Ricci博士是Bozen-Bolzano自由大學(意大利)的正教授兼計算機科學學院院長。他與他人共同編輯了《推薦系統手冊》(Springer,2011年,2015年),并作為ACM推薦系統會議(2007年至2010年)指導委員會主席在社區中積極工作。他(2000年至2006年)曾是ITC-irst(意大利特倫托)的電子商務和旅游業研究實驗室(eCTRL)的高級研究員和技術總監。從1998年到2000年,他是Sodalia s.p.a.的研究和技術部門的系統架構師。
題目: Machine Learning Meets Big Spatial Data
簡介: 生成數據量的激增推動了可伸縮的機器學習解決方案的興起,從而可以有效地分析此類數據并從中提取有用的見解。同時,近年來,空間數據已經變得無處不在,例如GPS數據。大空間數據的應用涉及廣泛的領域,包括跟蹤傳染病,模擬氣候變化,吸毒成癮等等。因此,通過提供對現有機器學習解決方案的空間擴展或從頭開始構建新的解決方案,人們付出了巨大的努力來支持這些應用程序內部的有效分析和智能。在這個90分鐘的教程中,我們全面回顧了機器學習和大空間數據交匯處的最新技術。我們涵蓋了機器學習三個主要領域中的現有研究工作和挑戰,即數據分析,深度學習和統計推斷,以及兩個高級空間機器學習任務,即空間特征提取和空間采樣。我們還強調了該領域未來研究中存在的開放性問題和挑戰。
嘉賓介紹: Ibrahim Sabek是明尼蘇達大學計算機科學與工程系的博士候選人。 他獲得了理學碩士學位。 他于2017年在同一部門獲得博士學位。他的研究興趣在于大空間數據管理,空間計算和可伸縮機器學習系統之間的交叉領域。 易卜拉欣已獲得ACM SIGSPATIAL 2018最佳論文獎的提名,并獲得了ACM SIGMOD學生研究競賽(SRC)2017決賽階段的資格。在博士期間,他與NEC Labs America和Microsoft Research(MSR)合作 )。 易卜拉欣在ACM TSAS,IEEE ICDE,ACM SIGSPATIAL,IEEE TMC等頂級研究機構發表了許多論文,并在VLDB和ACM SIGMOD上展示了他的工作。
Mohamed F.Mokbel是卡塔爾計算研究所的首席科學家,也是明尼蘇達大學的教授。 他目前的研究興趣集中于大空間數據和應用程序的系統和機器學習技術。 他的研究工作已獲得VLDB十年最佳論文獎,四個會議最佳論文獎和NSF職業獎。 除了在其他社區的一線場所(包括IEEE ICDM和ACM CCS)的教程之外,穆罕默德還在VLDB / SIGMOD / ICDE / EDBT會議上提供了六篇教程。 這些教程都不會與本教程建議重疊。 穆罕默德(Mohamed)是ACM SIGPATIAL的當選主席,目前是分布式和并行數據庫期刊的主編,并且是ACM Books,ACM TODS,VLDB Journal,ACM TSAS和GoeInformatica期刊的編輯委員會成員。