主題: Differential Deep Learning on Graphs and its Applications
簡介: 本教程研究了將微分方程理論引入深度學習方法(稱為微分深度學習)的最新進展,并進一步拓寬了此類方法的視野,重點放在圖形上。我們將證明,圖的差分深度學習是在藥物發現中建立復雜系統的結構和動力學模型以及生成分子圖的有力工具。
嘉賓介紹: Chengxi Zang,博士后研究助理。2019年獲清華大學博士學位,獲清華大學優秀博士學位(前3%)。他自2019年2月加入康奈爾大學,在復雜社會和生物系統的數據驅動動力學建模方面做了大量工作。個人主頁://www.calvinzang.com/index.html
主題: Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
摘要:
神經符號計算已經成為學術和工業研究實驗室共同感興趣的課題。圖神經網絡(GNN)廣泛應用于關系和符號領域,在組合優化、約束滿足、關系推理等科學領域有著廣泛的應用。提高人工智能系統的可解釋性、可解釋性和可信任性的需求通常要求采用神經符號計算所提出的原則性方法。本文綜述了GNNs作為神經符號計算模型的研究現狀。這包括GNNs在幾個領域的應用,以及它與神經符號計算當前發展的關系。
** 簡介:**
推薦方法構造了預測模型,以估計用戶與項目交互的可能性。先前的模型在很大程度上遵循一般的監督學習范式-將每個交互視為一個單獨的數據實例,并基于“信息孤島”進行預測。但是,此類方法忽略了數據實例之間的關系,這可能導致性能欠佳,尤其是對于稀疏場景。此外,建立在單獨數據實例上的模型幾乎無法顯示出推薦背后的原因,從而使過程難以理解。
在本教程中,我們將從圖學習的角度重新審視推薦問題。可以將用于推薦的通用數據源組織成圖形,例如用戶-項目交互(二分圖),社交網絡,項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來,從而為利用高階連通性帶來了好處,這些高階連通性對有意義的模式進行了編碼,以進行協作過濾,基于內容的過濾,社會影響力建模和知識感知推理。結合圖神經網絡(GNN)的最新成功,基于圖的模型已展現出成為下一代推薦系統技術的潛力。本教程對基于圖的學??習方法進行了回顧,以提出建議,特別關注GNN的最新發展和知識圖譜增強的建議。通過在本教程中介紹這個新興而有前途的領域,我們希望觀眾可以對空間有深入的了解和準確的見解,激發更多的想法和討論,并促進技術的發展。
目錄:
作者簡介:
王翔是新加坡國立大學(NUS)計算機學院的研究員。 他獲得了博士學位。 他于2019年獲得國大計算機科學博士學位。他的研究興趣包括推薦系統,信息檢索和數據挖掘。 在SIGIR,KDD,WWW和AAAI等頂級會議上,他擁有20多種出版物,包括TOIS和TKDE等期刊。 他曾擔任CCIS 2019的本地主席,包括SIGIR,CIKM和MM在內的頂級會議的PC成員以及TKDE和TOIS等著名期刊的定期審稿人。
題目: Representation Learning on Graphs: Methods and Applications
摘要:
圖機器學習是一項重要且普遍存在的任務,其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法,以便機器學習模型能夠輕松地利用它。傳統上,機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如,度統計或內核函數)。然而,近年來,使用基于深度學習和非線性降維的技術,自動學習將圖結構編碼為低維嵌入的方法激增。在這里,我們提供了一個概念上的回顧,在這一領域的關鍵進展,圖表示學習,包括基于矩陣分解的方法,隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中,我們開發了一個統一的框架來描述這些最近的方法,并強調了一些重要的應用程序和未來工作的方向。
作者簡介:
William L. Hamilton是麥吉爾大學計算機科學的助理教授,也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域,目前的重點是快速發展的圖表示學習和圖神經網絡。
Rex Ying是斯坦福大學計算機科學二年級的博士生,研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡,應用于推薦系統、異常檢測和生物學。
簡介: 機器學習在處理結構化數據集(例如表格數據)方面歷來是成功的。 隨著最近的進步,特別是在深度學習方面的進步,現在還存在用于處理圖像,文本和語音數據的完善且強大的方法。 但是,許多現實世界的數據并不屬于這些類別。 這種數據重要的一種是網絡或圖形數據,可用于對諸如社交網絡,交易流,計算機網絡甚至分子相互作用之類的概念進行建模。 使用圖,我們可以輕松地表示和捕獲對象之間的復雜交互和依賴關系,但同時也提出了一個問題:我們如何將機器學習應用于結構化數據圖?
嘉賓介紹: Xavier Bresson,NTU計算機科學副教授。 他是圖深度學習領域的領先研究人員,圖深度學習是一個新的框架,該框架結合了圖和深度學習技術,可以處理多個領域的復雜數據。 演講的目的是介紹基于圖的卷積神經網絡體系結構,以及此類問題的應用。
大綱:
簡介: 強大的機器學習技術在數據豐富的領域成為可能。然而,數據稀缺的領域對這類方法具有挑戰性,因為高容量函數逼近器非常依賴大型數據集進行泛化。這可能對從監督醫學圖像處理到增強學習等領域構成重大挑戰,在這些領域中,真實世界的數據收集(例如機器人)構成了重大的后勤挑戰。元學習或小樣本學習為這一問題提供了一個潛在的解決方案:通過學習跨許多以前任務的數據學習,小樣本元學習算法可以發現任務之間的結構,從而使新任務的快速學習成為可能。
本教程的目的是提供一個統一的元學習視角:向讀者講授現代方法,描述圍繞這些技術的概念和理論原則,介紹這些方法以前在哪里被應用,并討論該領域內的基本開放問題和挑戰。我們希望本教程對其他領域的機器學習研究人員有用,同時也為元學習研究人員提供了一個新的視角。總而言之,我們的目標是讓觀眾能夠將元學習應用到他們自己的應用中,并開發新的元學習算法和理論分析,以應對當前的挑戰和現有工作的局限性。
視頻地址:
Part1 //www.facebook.com/icml.imls/videos/4006/
Part2
主講人介紹:
Chelsea Finn是Google Brain的研究科學家,也是加州大學伯克利分校的博士后。在2019年9月,她將加入斯坦福大學的計算機科學系擔任助理教授。 Finn的研究興趣在于使機器人和其他代理能夠通過學習和交互來發展廣泛的智能行為的能力。為此,芬恩開發了深度學習算法,用于同時學習機器人操縱技能中的視覺感知和控制,用于非線性獎勵函數的可伸縮獲取的逆強化方法以及可以在兩個視覺系統中實現快速,少拍適應的元學習算法感知和深度強化學習。 Finn在麻省理工學院獲得EECS的學士學位,并在加州大學伯克利分校獲得CS的博士學位。她的研究得到了NSF研究生獎學金,Facebook獎學金C.V.的認可。她獲得了Ramamoorthy杰出研究獎和《麻省理工學院技術評論35分35獎》,她的工作已被《紐約時報》,《連線》和彭博社等多家媒體報道。
Sergey Levine于2009年獲得斯坦福大學計算機科學學士學位和碩士學位,并獲得博士學位。 2014年獲得斯坦福大學計算機科學博士學位。他于2016年秋天加入加州大學伯克利分校電氣工程與計算機科學系。他的工作重點是決策和控制的機器學習,重點是深度學習和強化學習。他的工作應用包括自動駕駛機器人和車輛,以及計算機視覺和圖形。 他的研究包括開發將感知和控制相結合的深度神經網絡策略的端到端訓練算法,用于逆向強化學習的可擴展算法,深度強化學習算法等。 在許多受歡迎的媒體中,包括紐約時報,BBC,麻省理工學院技術評論和彭博社,他的作品都得到了報道。
報告名稱: Deep Geometric Learning of Big Data and Applications
報告摘要: 深度學習技術在計算機視覺,自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據,并且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,并受益于GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾里德領域,而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用于分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓: Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。
Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。
報告部分大綱:
主題:Deep Learning for Graphs: Models and Applications
摘要:圖提供了多種類型的數據的通用表示,而深度學習在表示學習方面顯示了巨大的能力。因此,用圖連接深度學習提供了機會,使各種現實世界問題的通用解決方案成為可能。然而,傳統的深度學習技術對常規網格數據(如圖像和序列)具有破壞性,因此不能直接應用于圖結構數據。因此,將這兩個領域結合起來面臨著巨大的挑戰。在本教程中,我將全面概述圖深度學習的最新進展,包括模型和應用。特別地,我將介紹一些基本概念,回顧最先進算法,并舉例說明各種重要的應用。最后,我將通過討論開放問題和挑戰來總結本教程。
嘉賓簡介:唐繼良(Jiang Tang)自2016年秋季@起擔任密歇根州立大學計算機科學與工程系的助理教授。在此之前,他是Yahoo Research的研究科學家,并于2015年從亞利桑那州立大學獲得博士學位。他的研究興趣包括社交計算,數據挖掘和機器學習及其在教育中的應用。他曾獲得2019年NSF職業獎,2015年KDD最佳論文亞軍和6項最佳論文獎,包括WSDM2018和KDD2016。他是會議組織者(例如KDD,WSDM和SDM)和期刊編輯(例如TKDD)。他的研究成果發表在高排名的期刊和頂級會議論文集上,獲得了數千篇引文(Google學術搜索)和廣泛的媒體報道。