講座題目
Recent Progress in Zeroth Order Optimization and Its Applications to Adversarial Robustness in Data Mining and Machine Learning
講座簡介
當梯度的顯式表達式很難或不可能獲得時,零階(ZO)優化越來越被用來解決大數據和機器學習問題。它通過有效梯度估計近似全梯度實現無梯度優化。最近的一些重要應用包括:a)產生對深度神經網絡的預測規避、黑箱對抗攻擊;b)計算能力有限的在線網絡管理;c)黑箱/復雜系統的參數推斷;d)根據損失函數部分反饋的bandit優化她的對手所揭示的價值觀。 本教程旨在全面介紹ZO優化方法在理論和應用方面的最新進展。在理論方面,我們將討論ZO算法的收斂速度和迭代復雜性分析,并與它們的一階對應進行比較。在應用方面,我們將重點介紹ZO優化在研究深層神經網絡魯棒性方面的一個很有吸引力的應用-從黑箱機器學習模型生成對抗性示例的實用有效的對抗性攻擊。我們還將總結有關ZO優化、大數據挑戰和一些開放式數據挖掘和機器學習問題的潛在研究方向。
講座嘉賓
Pin-Yu Chen 是麻省理工學院-IBM人工智能實驗室,IBM Thomas J.Watson研究中心,可信人工智能小組和PI的研究人員。最近的研究重點是對抗性機器學習和神經網絡的魯棒性,更廣泛地說,使機器學習值得信賴。我的研究興趣還包括圖形學習、網絡數據分析及其在數據挖掘、機器學習、信號處理和網絡安全中的應用。
題目: An Overview of Privacy in Machine Learning
序言: 在過去幾年中,谷歌、微軟和亞馬遜等供應商已經開始為客戶提供軟件接口,使他們能夠輕松地將機器學習任務嵌入到他們的應用程序中。總的來說,機構現在可以使用機器學習作為服務(MLaaS)引擎來外包復雜的任務,例如訓練分類器、執行預測、聚類等等。他們還可以讓其他人根據他們的數據查詢模型。當然,這種方法也可以在其他情況下使用(并且經常提倡使用),包括政府協作、公民科學項目和企業對企業的伙伴關系。然而,如果惡意用戶能夠恢復用于訓練這些模型的數據,那么由此導致的信息泄漏將會產生嚴重的問題。同樣,如果模型的內部參數被認為是專有信息,那么對模型的訪問不應該允許對手了解這些參數。在本文中,我們對這一領域的隱私挑戰進行了回顧,系統回顧了相關的研究文獻,并探討了可能的對策。具體地說,我們提供了大量關于機器學習和隱私相關概念的背景信息。然后,我們討論了可能的對抗模型和設置,涵蓋了與隱私和/或敏感信息泄漏有關的廣泛攻擊,并回顧了最近試圖防御此類攻擊的結果。最后,我們總結出一系列需要更多工作的開放問題,包括需要更好的評估、更有針對性的防御,以及研究與政策和數據保護工作的關系。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
題目: Quantum Adversarial Machine Learning
摘要: 對抗性機器學習是一個新興的研究領域,主要研究機器學習方法在對抗性環境中的脆弱性,并開發相應的技術,使學習對對抗性操作具有魯棒性。它在各種機器學習應用中起著至關重要的作用,近年來引起了不同社區的極大關注。本文探討了量子機器學習中不同的對抗情境。我們發現,與基于經典神經網絡的傳統分類器類似,量子學習系統同樣容易受到精心設計的對抗性示例的攻擊,而與輸入數據是經典的還是量子的無關。特別是,我們發現,通過對原始合法樣本添加不可察覺的擾動而獲得的對抗性示例,可以最終欺騙達到接近最新精度的量子分類器。這在不同場景下的量子對抗學習中得到了明確的證明,包括對現實生活中的圖像(如數據集MNIST中的手寫數字圖像)進行分類,對物質的學習階段(如鐵磁/順磁有序和對稱保護拓撲相)進行分類,以及對量子數據進行分類。此外,我們還指出,根據手頭的對抗性例子的信息,可以設計出實用的防御策略來對抗多種不同的攻擊。我們的研究結果揭示了量子機器學習系統對各種擾動的顯著脆弱性,這不僅從理論上揭示了機器學習與量子物理學之間的聯系,而且為基于近期和未來量子技術的量子分類器的實際應用提供了有價值的指導。
論文題目
機器學習在固體材料科學中的最新進展和應用,Recent advances and applications of machine learning in solidstate materials science
論文簡介
近年來進入材料科學工具箱的最令人興奮的工具之一是機器學習。這些統計方法已經證明能夠大大加快基礎和應用研究的速度。目前,我們正在見證一個爆炸性的工作,開發和應用機器學習的固態系統。我們對本課題的最新研究進行了全面的綜述和分析。作為起點,我們介紹了材料科學中的機器學習原理、算法、描述符和數據庫。我們繼續描述不同的機器學習方法,以發現穩定的材料并預測其晶體結構。然后我們討論了大量的定量結構-性質關系的研究,以及用機器學習代替第一性原理方法的各種方法。我們回顧了如何應用主動學習和基于代理的優化來改進rational設計過程和相關的應用實例。兩個主要的問題總是機器學習模型的可解釋性和從中獲得的物理理解。因此,我們考慮可解釋性的不同方面及其在材料科學中的重要性。最后,針對計算材料科學面臨的各種挑戰,提出了解決方案和未來的研究路徑。
論文作者
Jonathan Schmidt,Mário R. G. Marques,來自馬丁路德大學 物理研究所
講座題目
深層貝葉斯挖掘、學習與理解:Deep Bayesian Mining, Learning and Understanding
講座簡介
本教程介紹了自然語言的深度貝葉斯學習的進展,其應用廣泛,從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統,問答和機器翻譯,舉幾個例子。傳統上,“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理,重點介紹了一系列先進的貝葉斯模型和深層模型,包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶,序列到序列模型,變分自動編碼器,生成對抗網絡,注意機制,記憶增強神經網絡,跳躍神經網絡,隨機神經網絡,預測狀態神經網絡,策略神經網絡。我們將介紹這些模型是如何連接的,以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題,提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究,以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后,我們將指出未來研究的一些方向和展望。
講座嘉賓
Jen-Tzung Chien,詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年,他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。
講座題目
藥物發現與開發的數據挖掘方法:Data Mining Methods for Drug Discovery and Development
講座簡介
醫學中的硅模型是指直接使用計算方法來支持藥物的發現和開發。機器學習和數據挖掘方法已經成為硅模型的一個組成部分,并且在藥物發現和開發過程的各個階段都顯示出了良好的性能。在本教程中,我們將介紹數據分析方法在藥物研發中的應用。上半年,我們將概述相關數據和分析任務,然后介紹這些任務的啟用數據分析方法。下半部分,我們將描述這些任務的具體應用。本教程將以開放式問題和問答環節結束。
講座嘉賓
Cao (Danica) Xiao 是IQVIA卓越分析中心的機器學習主任。她正帶領IQVIA的北美機器學習團隊推動下一代醫療人工智能。她的團隊致力于各種疾病建模和硅化藥物建模項目(例如,藥物不良反應檢測、藥物重新定位和從頭設計)。她的研究重點是使用機器學習和數據挖掘方法來解決各種現實世界的醫療挑戰。特別是,她對電子健康記錄上的表型、硅化藥物建模中的數據挖掘、生物標記物發現和神經退行性疾病的患者分割感興趣。她的研究成果發表在主要的人工智能會議上,包括KDD、NIPS、ICLR、AAAI、IJCAI、SDM、ICDM、WWW和頂級健康信息學期刊,如《自然科學報告》和JAMIA。在加入IQVIA之前,她曾于2017年至2019年在IBM research擔任AI for Healthcare團隊的研究人員,并于2018年至2019年擔任IBM全球技術展望委員會成員。她于2016年在西雅圖華盛頓大學獲得博士學位。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
講座題目
深強化學習及其在交通運輸中的應用:Deep Reinforcement Learning with Applications in Transportation
講座簡介
交通領域,特別是移動共享領域,有許多傳統上具有挑戰性的動態決策問題,這些問題有很長的研究文獻,很容易從人工智能(AI)中受益匪淺。一些核心例子包括在線乘車命令調度,它將可用的駕駛員與在共享平臺上請求乘客的行程實時匹配;路線規劃,它規劃行程的起點和終點之間的最佳路線;交通信號控制,它動態和自適應地調整實現低延遲的區域。所有這些問題都有一個共同的特點,即當我們關注某一特定時間范圍內的一些累積目標時,需要做出一系列的決定。強化學習(RL)是一種機器學習范式,它通過與環境的交互和獲取反饋信號,訓練agent學會在環境中采取最佳行動(以獲得的總累積回報衡量)。因此,它是一類求解序列決策問題的優化方法。
講座嘉賓
Jen-Tzung Chien在臺灣新竹國立清華大學取得電機工程博士學位。現任職于臺灣新竹國立交通大學電子及電腦工程學系及電腦科學系講座教授。2010年,他擔任IBM沃森研究中心的客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。在2011年獲得了IEEE自動語音識別和理解研討會的最佳論文獎,并在2018年獲得了AAPM Farrington Daniels獎。2015年,劍橋大學出版社出版《貝葉斯語音與語言處理》;2018年,學術出版社出版《源分離與機器學習》。他目前是IEEE信號處理技術委員會機器學習的當選成員。
題目: Machine Learning Advanced Techniques and Emerging Applications
簡介:
跨不同的工業部門、業務單位和科研社區生成、存儲和通信的數據量正在迅速擴大。移動通信和分布式/并行計算技術的最新發展使跨不同部分的生成數據的實時收集和處理成為可能。一方面,移動通信行業所支持的物聯網(IoT)連接了能夠收集異構數據的各種類型的傳感器。另一方面,計算能力的最新進展,例如圖形處理單元(gpu)中的并行處理和云計算集群上的分布式處理,使處理大量數據成為可能。有必要從大量數據(所謂的大數據)中發現重要的模式并推斷出趨勢,以增強數據驅動的決策過程。機器學習中已經開發了工具和技術,以結構化和自動化的方式從可用數據中得出有洞察力的結論。機器學習算法基于多個領域開發的概念和工具,包括統計、人工智能、信息論、認知科學和控制理論。機器學習的最新進展在不同的科學領域有廣泛的應用。這本書涵蓋了機器學習技術在智能城市、自動化工業和新興企業的廣泛應用領域的最新進展。
章節:
作者簡介:
Hamed Farhadi是瑞典斯德哥爾摩愛立信研究所的研究員。2014年在瑞典斯德哥爾摩KTH皇家理工學院獲得博士學位。2016年,他是美國馬薩諸塞州劍橋市哈佛大學的博士后研究員,2015年,他是瑞典哥德堡查爾默斯理工大學的博士后研究員。他的研究興趣主要集中在統計信號處理和機器學習等廣泛的應用領域,包括無線醫療系統、微型機器人手術、臨床數據分析和無線信息網絡。他曾獲得多項學術獎項,包括ICASSP 2014最佳學生論文獎。Farhadi博士是2015年IEEE醫學信息與通信技術國際研討會(ISMICT)的聯合主席。
論文題目: Definitions, methods, and applications in interpretable machine learning
論文摘要:
機器學習模型在學習復雜模式方面取得了巨大的成功,這些模式使機器能夠對未觀察到的數據做出預測。除了使用模型進行預測外,解釋模型所學內容的能力正受到越來越多的關注。然而,這種關注的增加導致了對可解釋性概念的相當大的混淆。特別是,目前還不清楚所提出的各種解釋方法是如何相互聯系的,以及可以用什么共同的概念來評價這些方法。我們的目標是通過定義機器學習環境中的可解釋性,并引入預測、描述和相關(PDR)框架來討論解釋性,從而解決這些問題。PDR框架為評估提供了3個主要的需求:預測準確性、描述準確性和相關性,以及相對于人類受眾判斷的相關性。此外,為了幫助管理大量的解釋方法,我們將現有的技術分為基于模型的和特定的類別,包括稀疏性、模塊化性和可模擬性。為了證明從業者如何使用PDR框架來評估和理解解釋,我們提供了大量的實際例子。這些例子突出了人類觀眾在討論可解釋性時常常被低估的作用。最后,基于我們的框架工作,我們討論了現有方法的局限性和未來工作的方向。我們希望這項工作將提供一個共同的詞匯,使從業者和研究人員更容易地討論和選擇全面的解釋方法。
論文作者:
W. James Murdoch是加州大學伯克利分校研究生,研究興趣為可解釋性,機器學習,自然語言處理和因果推理。
Chandan Singh在伯克利攻讀博士學位,研究計算系統,研究范圍是機器學習、可解釋性、計算神經科學。