報告名稱: Geometry and Learning from Data in 3D and Beyond - Shape Analysis
報告背景: 快速的采集技術和廣泛的三維數據可用性強調了對處理和分析三維形狀的高級工具的需求。與圖像和信號處理不同,圖像和信號處理使用成熟的處理和學習工具處理平面域上的函數,三維形狀由于其不規則和弱結構而呈現出獨特的挑戰。盡管在為這些任務開發工具方面取得了驚人的進展,但在自動分析、處理和理解三維幾何圖形方面仍存在許多挑戰。特別是,機器學習的最新進展顯示了在信號和圖像處理方面的進步,而對三維形狀的處理則相對落后。本次研討會旨在將傳統的三維形狀分析與最新的學習進展相結合,讓世界領先的數學和計算機科學研究人員學習、探索、合作,并開發新的思路和研究方向。
報告大綱:
報告嘉賓:
Pierre Alliez(自動信息學研究所(INRIA)) Omri Azencot(加利福尼亞大學,洛杉磯大學(UCLA)) Mirela Ben Chen(技術-以色列理工學院) Alex Bronstein(技術-以色列理工學院) 邁克爾·布朗斯坦(倫敦帝國大學,盧加諾大學) Daniel Cremers(慕尼黑工業大學) Stanley Durrleman(AramisLab-ICM腦與脊柱研究所– INRIA – ICM神經信息學中心) 托馬斯·馮克豪斯(Google和普林斯頓大學) 顧憲峰(石溪大學) Leonidas Guibas(斯坦福大學,計算機科學) Shantanu Joshi(加利福尼亞大學,洛杉磯大學(UCLA)) Vova Kim(Adobe系統公司) Leif Kobbelt(亞琛工業大學) 賴榮杰(倫斯勒工業學院) Niloy Mitra(倫敦大學學院) Maks Ovsjanikov(高等理工學院) 赫爾穆特·波特曼(阿卜杜拉國王科技大學(KAUST)) Dan Raviv(特拉維夫大學) Emanuele Rodola(羅馬的薩皮恩扎大學) 馬丁·倫普(Martin Rumpf)(萊茵大學弗里德里希·威廉姆斯大學) Stefano Soatto(加利福尼亞大學洛杉磯分校(UCLA)) 賈斯汀·所羅門(麻省理工學院) 阿蘭·特勞夫(écoleNormaleSupérieurede Cachan)
【導讀】三維深度學習對于處理真實場景數據具有重要的意義,3D理解對于很多應用程序都是至關重要的,比如自動駕駛汽車、自動機器人、虛擬現實和增強現實。來自UC San Diego的蘇昊老師一直以來研究3D深度學習,他的一份3D Deep Learning教程,共有156頁ppt,是學習了解三維深度學習的重要資料。
地址:
//cseweb.ucsd.edu/~haosu/talks.html#_3d_deep_learning
視頻地址:
深度學習最近很流行,在處理文本、聲音或圖像等任務時都表現出色。由于其出色的性能,已經有人努力將其應用于更具挑戰性的場景,例如,3D數據處理。在這次的演講中,我將結合自己的工作,對三維深度學習的進展進行一個概述,涉及的領域非常廣泛,包括三維識別、單幅圖像的三維重建、新視角合成、三維形狀空間學習、三維形狀補全等。在對目前進展的概述的基礎上,我還將提出幾個可能的方向來推動該領域的發展,把它放在通用AI的角度。
3D理解對于很多應用都是至關重要的,比如自動駕駛汽車、自動機器人、虛擬現實和增強現實。與以常規像素陣列為主的二維圖像不同,三維數據可以由激光雷達傳感器等不規則的三維點云來表示。這對深入的架構設計提出了挑戰。
本教程將介紹用于3D理解的3D數據分析的深度學習算法,如3D語義分割、3D對象檢測和跟蹤。盡管取得了這些進展,但在靜態和動態環境中,諸如活動識別、行為預測和推斷三維場景中物體的空間關系等問題仍然存在根本性的挑戰。此外,由于我們的世界本質上是3D的,因此3D深度學習對于表示學習對輸入擾動具有魯棒性,并推廣到具有高樣本效率的真實世界變化(例如,轉換不變性)是至關重要的。本教程提供了一個及時的機會,讓計算機視覺社區參與到3D深度學習的獨特挑戰和機會中來。
蘇昊(University of California, San Diego),2017年起在UCSD計算機工程學院擔任助理教授,主要研究方向為人工智能領域的結構理解、形狀理解、場景理解,研究成果主要集中在機器學習、計算機圖像等方面,應用領域包括自動駕駛及VR/AR等方面。
目錄內容:
Part I: 3D Data, by Hao Su
Part II: Classification, by Hao Su
Part II: Segmentation & Detection, by Jiayuan Gu
Part III: 3D Data Synthesis, by Minghua Liu
隨著機器學習、圖形處理技術和醫學成像數據的迅速發展,機器學習模型在醫學領域的使用也迅速增加。基于卷積神經網絡(CNN)架構的快速發展加劇了這一問題,醫學成像社區采用這種架構來幫助臨床醫生進行疾病診斷。自2012年AlexNet取得巨大成功以來,CNNs越來越多地被用于醫學圖像分析,以提高臨床醫生的工作效率。近年來,三維(3D) CNNs已被用于醫學圖像分析。在這篇文章中,我們追溯了3D CNN的發展歷史,從它的機器學習的根源,簡單的數學描述3D CNN和醫學圖像在輸入到3D CNNs之前的預處理步驟。我們回顧了在不同醫學領域,如分類、分割、檢測和定位,使用三維CNNs(及其變體)進行三維醫學成像分析的重要研究。最后,我們討論了在醫學成像領域使用3D CNNs的挑戰(以及使用深度學習模型)和該領域可能的未來趨勢。
書名: Multiple View Geometry in Computer Vision
主要內容:
該書分為六個部分,并有七個簡短的附錄。每個部分都引入了一個新的幾何關系:背景的單應性,單視點的相機矩陣,兩視點的基本矩陣,三視點的三焦張量,四視點的四焦張量。在每種情況下,都有一章描述這種關系、它的性質和應用,并有相應的一章描述從圖像測量中進行估計的算法。所述的估計算法范圍從廉價、簡單的方法到目前被認為是最佳可用的最優算法。
第0部分:背景 這一部分比其他部分更像是教程。介紹了2-空間和3-空間射影幾何的中心思想(如理想點和絕對二次曲線);幾何圖形如何表示、處理和估計;以及幾何圖形如何與計算機視覺中的各種目標相聯系,如校正平面圖像以消除透視畸變。
第1部分:單視圖幾何 在這里,各種各樣的相機模型的透視投影從3-空間到一個圖像的定義和他們的解剖探索。介紹了利用傳統的標定對象技術進行標定的方法,以及從消失點和消失線進行攝像機標定的方法。
第2部分:雙視圖幾何 介紹了雙攝像機的極外幾何結構、圖像點對應的射影重建、射影模糊的解決方法、最佳三角剖分、通過平面實現視圖之間的轉換。
第3部分:三視圖幾何 這里描述了三個相機的三焦幾何結構,包括點對應從兩個視圖到第三個視圖的轉換,以及線對應的類似轉換;計算幾何從點和線對應,檢索相機矩陣。
第4部分:多視角 這部分有兩個目的。首先,它將三視圖幾何擴展到四個視圖(一個較小的擴展),并描述了適用于n視圖的估計方法,例如Tomasi和Kanade的因式分解算法,用于同時從多個圖像計算結構和運動。其次,它涵蓋了在前幾章中提到過的主題,但通過強調它們的共性,可以更全面、更一致地理解這些主題。示例包括推導對應關系的多線性視圖約束、自動校準和模糊解決方案。
附錄: 這些描述了進一步的背景資料張量,統計,參數估計,線性和矩陣代數,迭代估計,稀疏矩陣系統的解,和特殊的投影變換。
題目: A Survey on Deep Geometry Learning: From a Representation Perspective
摘 要:
目前,研究人員已經在利用深度學習處理二維圖像方面取得了很大的成功。近年來,三維計算機視覺和幾何深度學習越來越受到人們的重視。針對不同的應用,提出了許多先進的三維造型技術。與二維圖像可以由像素的規則網格統一表示不同,三維圖形具有多種表示,如深度和多視圖圖像、基于體素的表示、基于點的表示、基于網格的表示、隱式的表面表示等。然而,不同應用程序的性能在很大程度上取決于所使用的表示,并且沒有一種惟一的表示可以適用于所有應用程序。因此,在本次調查中,我們從表象的角度回顧了三維幾何深度學習的最新發展,總結了不同表象在不同應用中的優缺點。我們也提出現有的數據集在這些表示和進一步討論未來的研究方向。
題目: Machine learning and the physical sciences
摘要:
機器學習(ML)包含廣泛的算法和建模工具,用于大量的數據處理任務,這些任務近年來已經進入大多數科學學科。本文有選擇地回顧了機器學習與物理科學接口的最新研究進展。這包括由物理洞察力驅動的ML的概念發展,機器學習技術在物理中的幾個領域的應用以及這兩個領域之間的交叉。在介紹了機器學習方法和原理的基本概念之后,舉例說明了如何用統計物理來理解ML中的方法,然后介紹了ML方法在粒子物理和宇宙學、量子多體物理、量子計算、化學和材料物理中的應用。此外,還強調了針對加速ML的新型計算體系結構的研究和開發。每個部分都描述了最近的成功以及特定領域的方法和挑戰。
作者簡介:
Giuseppe Carleo于2018年加入了位于美國計算量子物理中心的Flatiron研究所。2007年,他在羅馬大學獲得物理學學士學位;2011年,他在意大利國際高等研究學院獲得凝聚態理論博士學位。他在法國光學研究所和瑞士蘇黎世聯邦理工學院獲得博士后。他也是蘇黎世聯邦理工學院計算量子物理學的講師。Carleo的主要研究方向是發展先進的數值算法來研究強相互作用量子系統的挑戰性問題。他的研究應用范圍包括凝聚態物質、超冷原子和量子計算。他對量子蒙特卡羅方法的發展做出了貢獻,包括平衡和動態特性,包括時變蒙特卡羅和神經網絡量子態。在CCQ,他正在開發和推廣基于人工智能的新技術來解決量子問題。他是開源項目NetKet的創始人和開發負責人。
Graphical causal inference as pioneered by Judea Pearl arose from research on artificial intelligence (AI), and for a long time had little connection to the field of machine learning. This article discusses where links have been and should be established, introducing key concepts along the way. It argues that the hard open problems of machine learning and AI are intrinsically related to causality, and explains how the field is beginning to understand them.
報告名稱: Deep Geometric Learning of Big Data and Applications
報告摘要: 深度學習技術在計算機視覺,自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據,并且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,并受益于GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾里德領域,而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用于分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓: Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。
Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。
報告部分大綱:
課程介紹:
深度學習正在改變人工智能領域,但缺乏扎實的理論基礎。這種事務狀態極大地阻礙了進一步的發展,例如耗時的超參數優化或對抗性機器學習中遇到的非凡困難。我們為期三天的研討會基于我們確定為當前的主要瓶頸:了解深度神經網絡的幾何結構。這個問題是數學,計算機科學和實用機器學習的融合。我們邀請這些領域的領導者加強新的合作,并為深度學習的奧秘尋找新的攻擊角度。
主講人:
Peter Bartlett,加州大學伯克利分校教授,工作于計算機科學和統計部門、伯克利人工智能研究實驗室、西蒙斯計算理論研究所。
Leon Bottou,一名研究科學家,對機器學習和人工智能有著廣泛的興趣。近年來,在大規模學習和隨機梯度算法方面的工作受到了廣泛的關注。他也以DjVu文件壓縮系統而聞名,于2015年3月加入Facebook人工智能研究。
Anna Gilbert,在芝加哥大學獲得理學學士學位,在普林斯頓大學獲得數學博士學位;1997年,是耶魯大學和at&T實驗室研究所的博士后研究員。1998年至2004年,她是新澤西州弗洛勒姆公園at&T實驗室研究部的技術人員。從那以后,她一直在密歇根大學數學系工作,現在是那里的一名教授。
Piotr Indyk,電氣工程和計算機科學系的托馬斯D.和弗吉尼亞W.卡伯特教授。計算機科學與人工智能實驗室,無線麻省理工學院,大數據學院和MIFODS計算組的成員。興趣方向:高維計算幾何(包括近似最近鄰搜索)、數據流算法、稀疏恢復、壓縮感知、機器學習。
S. T. Yau,中國科學院數學科學研究所所長,哈佛大學數學系教授。感興趣的領域:微分幾何,微分方程和數學物理。
報告主題:Holistic 3D Reconstruction: Learning to Reconstruct Holistic 3D Structures from Sensorial Data
報告摘要:整體場景結構的感知,即場景中的有序,規則,對稱或重復的模式和關系,在人類視覺中起著至關重要的作用。在辦公樓等人造環境中行走時,人們可以立即識別平行線,矩形,長方體,旋轉對稱性,重復性圖案以及許多其他類型的結構,并利用它們進行準確而強大的3D定位,定向和導航。在計算機視覺中,從各種傳感器(例如單眼和雙目視覺,LiDAR和RGB-D傳感器)獲取的數據中,使用此類整體結構元素對物理環境(尤其是人造環境)進行3D建模已有很長的歷史。 。這些方法在創建高保真3D模型,提高3D視覺系統的準確性,魯棒性和可靠性,以及為現代3D應用程序提供高級,緊湊且語義豐富的場景表示方面顯示出巨大的成功和潛力。
在這種情況下,此次報告旨在匯集當前的研究進展,并討論結構化場景的3D建模及其應用中的最新方法。報告將回顧3D結構的多視圖幾何學的基本理論;分析利用整體3D結構的傳統和最新幾何方法;當前概述了基于學習的方法和基于幾何的方法的融合。最后,我們討論了在人造環境的3D建模中結合重構和識別的未來可能的方向。
邀請嘉賓:馬毅, 1995年獲得中國清華大學自動化與應用數學博士學位,并獲得碩士學位。 1997年獲得EECS學位,2000年獲得數學碩士學位。 于2000年從UC Berkeley獲得EECS學位。 從2000年至2011年,他在伊利諾伊大學厄本那香檳分校的ECE系任教。從2009年至2013年,他是視覺計算小組的經理和微軟研究院在亞洲的首席研究員。 2014年至2017年擔任上海科技大學信息科學與技術學院教授和執行院長。他于2018年加入加州大學伯克利分校EECS系。
Zihan Zhou 是賓夕法尼亞州立大學信息科學與技術學院的教職員工。 在加入賓夕法尼亞州立大學之前,在伊利諾伊大學厄本那-香檳分校獲得了電氣和計算機工程博士學位。 分別于2007年和2007年從中國清華大學獲得自動化學士學位,并于2010年從UIUC獲得了ECE碩士學位。 其研究興趣在于計算機視覺,機器學習,信號處理和應用數據科學的廣泛領域。 特別關注3D Vision, 具體來說,曾開發了新穎的計算工具來對來自大型視覺數據的3D環境進行建模和分析,并將其應用于解決VR/AR,基于視覺的導航,建筑設計和工程,社交媒體等方面的現實世界難題。
Yasutaka Furukawa,西蒙弗雷澤大學計算機科學系的副教授, 曾是圣路易斯華盛頓大學的助理教授,Google的軟件工程師。 在加入Google之前,是華盛頓大學的博士后研究員。 曾與華盛頓大學的Seitz教授和Curless教授以及Facebook的Rick Szeliski一起(曾在Microsoft Research工作)。
題目: Machine Learning Meets Big Spatial Data
簡介: 生成數據量的激增推動了可伸縮的機器學習解決方案的興起,從而可以有效地分析此類數據并從中提取有用的見解。同時,近年來,空間數據已經變得無處不在,例如GPS數據。大空間數據的應用涉及廣泛的領域,包括跟蹤傳染病,模擬氣候變化,吸毒成癮等等。因此,通過提供對現有機器學習解決方案的空間擴展或從頭開始構建新的解決方案,人們付出了巨大的努力來支持這些應用程序內部的有效分析和智能。在這個90分鐘的教程中,我們全面回顧了機器學習和大空間數據交匯處的最新技術。我們涵蓋了機器學習三個主要領域中的現有研究工作和挑戰,即數據分析,深度學習和統計推斷,以及兩個高級空間機器學習任務,即空間特征提取和空間采樣。我們還強調了該領域未來研究中存在的開放性問題和挑戰。
嘉賓介紹: Ibrahim Sabek是明尼蘇達大學計算機科學與工程系的博士候選人。 他獲得了理學碩士學位。 他于2017年在同一部門獲得博士學位。他的研究興趣在于大空間數據管理,空間計算和可伸縮機器學習系統之間的交叉領域。 易卜拉欣已獲得ACM SIGSPATIAL 2018最佳論文獎的提名,并獲得了ACM SIGMOD學生研究競賽(SRC)2017決賽階段的資格。在博士期間,他與NEC Labs America和Microsoft Research(MSR)合作 )。 易卜拉欣在ACM TSAS,IEEE ICDE,ACM SIGSPATIAL,IEEE TMC等頂級研究機構發表了許多論文,并在VLDB和ACM SIGMOD上展示了他的工作。
Mohamed F.Mokbel是卡塔爾計算研究所的首席科學家,也是明尼蘇達大學的教授。 他目前的研究興趣集中于大空間數據和應用程序的系統和機器學習技術。 他的研究工作已獲得VLDB十年最佳論文獎,四個會議最佳論文獎和NSF職業獎。 除了在其他社區的一線場所(包括IEEE ICDM和ACM CCS)的教程之外,穆罕默德還在VLDB / SIGMOD / ICDE / EDBT會議上提供了六篇教程。 這些教程都不會與本教程建議重疊。 穆罕默德(Mohamed)是ACM SIGPATIAL的當選主席,目前是分布式和并行數據庫期刊的主編,并且是ACM Books,ACM TODS,VLDB Journal,ACM TSAS和GoeInformatica期刊的編輯委員會成員。