題目: Adversarial Machine Learning
報告簡介: 近年來,機器學習在廣泛的行業和應用中獲得了驚人的普及。機器學習技術的許多應用本質上都是對抗性的。的確,對抗性使用遠遠超出了簡單的分類示例:對惡意軟件的分析將群集,異常檢測甚至自動駕駛車輛的視覺系統結合在一起,都可能受到攻擊。針對這些擔憂,出現了有關對抗性機器學習的新興文獻,既涵蓋了機器學習算法中的漏洞分析,又包括產生更強大學習的算法技術。本教程將調查來自網絡安全和機器學習研究領域的各種問題和技術。特別是,我們考慮了對抗性分類器和訓練數據本身已損壞的問題。我們首先討論分類器,然后討論其他學習范例,以及相關的防御技術,然后,我們考慮用于攻擊和防御神經網絡的專用技術。
嘉賓介紹: Bo Li是伊利諾伊大學香檳分校計算機科學系的助理教授。 她的研究興趣在于對抗性深度學習,安全性,隱私和博弈論。 她已經開發并分析了可擴展的健壯學習框架,用于在對抗環境中學習算法以應對逃避攻擊。 她還分析了物理世界中針對學習算法的對抗行為。
Yevgeniy Vorobeychik是圣路易斯華盛頓大學計算機科學與工程學院的副教授。此前,他是桑迪亞國家實驗室的首席研究科學家。2008年至2010年,他是賓夕法尼亞大學計算機與信息科學系的博士后研究員。他獲得了密歇根大學的計算機科學與工程博士學位(2008)和碩士學位(2004),以及西北大學的計算機工程學士學位。他的工作重點是安全與隱私的博弈論建模,對抗機器學習,算法和行為博弈論和激勵設計,優化,基于代理的建模,復雜系統,網絡科學,流行病控制。Vorobeychik博士在2017年獲得了美國國家科學基金會職業成就獎,并受邀發表了ijcai16早期職業聚焦演講。他被提名為2008年ACM博士學位論文獎,并獲得了2008年IFAAMAS杰出論文獎的榮譽獎。
主題: 11-785 Introduction to Deep Learning
簡介: 以深度神經網絡為代表的“深度學習”系統正日益接管所有人工智能任務,從語言理解、語音和圖像識別,到機器翻譯、規劃,甚至是游戲和自動駕駛。因此,在許多先進的學術環境中,深度學習的專業知識正迅速從一個深奧的理想轉變為一個強制性的先決條件,并在工業就業市場上占有很大優勢。在本課程中,我們將學習深層神經網絡的基礎知識,以及它們在各種人工智能任務中的應用。課程結束時,學生將對本課程有相當的了解,并能將深度學習應用到各種任務中。他們還將通過進一步的研究來了解關于這一主題的許多現有文獻并擴展他們的知識。
主講人簡介: Bhiksha Raj,卡內基梅隆大學計算機學院教授,IEEE研究員。個人主頁://mlsp.cs.cmu.edu/people/bhiksha/index.php
主題: 《COMS W4995 Applied Machine Learning Spring 2020》
課程描述: 這門課提供了機器學習和數據科學的實踐方法。本課程討論機器學習方法如SVMs、隨機森林、梯度提升和神經網絡在真實世界數據集上的應用,包括數據準備、模型選擇和評估。這個類補充了COMS W4721,因為它完全依賴于scikit-learn和tensor flow中所有實現的可用開源實現。除了應用模型外,我們還將討論與產生離子化機器學習模型相關的軟件開發工具和實踐。
主講人簡介: Andreas C. Müller,哥倫比亞大學數據科學研究所的副研究員,也是O'Reilly《用Python進行機器學習簡介》一書的作者。他是scikit學習機學習庫的核心開發人員之一,我已經合作維護了幾年。他曾在紐約大學數據科學中心從事開源和開放科學研究,并在亞馬遜擔任機器學習科學家。個人主頁://amueller.github.io/
題目: Quantum Adversarial Machine Learning
摘要: 對抗性機器學習是一個新興的研究領域,主要研究機器學習方法在對抗性環境中的脆弱性,并開發相應的技術,使學習對對抗性操作具有魯棒性。它在各種機器學習應用中起著至關重要的作用,近年來引起了不同社區的極大關注。本文探討了量子機器學習中不同的對抗情境。我們發現,與基于經典神經網絡的傳統分類器類似,量子學習系統同樣容易受到精心設計的對抗性示例的攻擊,而與輸入數據是經典的還是量子的無關。特別是,我們發現,通過對原始合法樣本添加不可察覺的擾動而獲得的對抗性示例,可以最終欺騙達到接近最新精度的量子分類器。這在不同場景下的量子對抗學習中得到了明確的證明,包括對現實生活中的圖像(如數據集MNIST中的手寫數字圖像)進行分類,對物質的學習階段(如鐵磁/順磁有序和對稱保護拓撲相)進行分類,以及對量子數據進行分類。此外,我們還指出,根據手頭的對抗性例子的信息,可以設計出實用的防御策略來對抗多種不同的攻擊。我們的研究結果揭示了量子機器學習系統對各種擾動的顯著脆弱性,這不僅從理論上揭示了機器學習與量子物理學之間的聯系,而且為基于近期和未來量子技術的量子分類器的實際應用提供了有價值的指導。
教程題目:Adversarial Machine Learning
教程簡介:
近年來,機器學習在廣泛的行業和應用領域得到了顯著的普及。機器學習技術的許多應用本質上是對抗性的,因為其目標是將“壞的”實例與“好的”實例區分開來。事實上,對抗性的使用遠遠超出了這個簡單的分類示例:對惡意軟件的法醫分析,包括集群、異常檢測,甚至自動駕駛汽車上的視覺系統,都可能受到攻擊。針對這些問題,出現了一個關于對抗性機器學習的新興文獻,它涵蓋了對機器學習算法漏洞的分析,以及產生更健壯學習的算法技術。
本教程將從網絡安全和機器學習研究領域中廣泛調查這些問題和技術。特別考慮了對抗性分類器規避(攻擊者改變行為以避免被檢測到)和訓練數據本身已損壞的問題。還討論了逃避攻擊和中毒攻擊,首先討論了分類器,然后討論了其他學習范例和相關的防御技術。然后,我們考慮用于攻擊和防御神經網絡的專門技術,特別是專注于深度學習技術及其對逆向構建實例的脆弱性。
組織者:
Bo Li是伊利諾伊大學香檳分校計算機科學系的助理教授。她的研究興趣在于對抗性的深度學習、安全性、隱私和博弈論。她開發并分析了可伸縮的健壯學習框架,用于在對抗規避攻擊的環境中學習算法。她還分析了物理世界中對抗學習算法的行為。她是賽門鐵克研究實驗室研究生獎學金的獲得者。她于2016年獲得范德比爾特大學博士學位。
Dawn Song是加州大學伯克利分校電氣工程和計算機科學系的教授。她的研究興趣在于深度學習和安全性。她研究了計算機系統和網絡中的各種安全和隱私問題,包括從軟件安全、網絡安全、數據庫安全、分布式系統安全、應用密碼學到機器學習和安全的交叉領域。她是獲得各種獎項,包括麥克阿瑟獎學金,古根海姆獎學金,NSF事業獎,斯隆研究獎學金,麻省理工學院技術評論TR-35獎,喬治Tallman Ladd研究獎,小川基金會研究獎,李嘉誠基金會女性在科學卓越系列講座獎,教師從IBM研究獎,谷歌和其他主要科技公司,從上會議最佳論文獎。她在加州大學伯克利分校獲得了博士學位。在加入加州大學伯克利分校之前,她曾于2002年至2007年在卡內基梅隆大學(Carnegie Mellon University)擔任助理教授。
Yevgeniy Vorobeychik是圣路易斯華盛頓大學計算機科學與工程學院的副教授。此前,他是桑迪亞國家實驗室的首席研究科學家。2008年至2010年,他是賓夕法尼亞大學計算機與信息科學系的博士后研究員。他獲得了密歇根大學的計算機科學與工程博士學位(2008)和碩士學位(2004),以及西北大學的計算機工程學士學位。他的工作重點是安全與隱私的博弈論建模,對抗機器學習,算法和行為博弈論和激勵設計,優化,基于代理的建模,復雜系統,網絡科學,流行病控制。Vorobeychik博士在2017年獲得了美國國家科學基金會職業成就獎,并受邀發表了ijcai16早期職業聚焦演講。他被提名為2008年ACM博士學位論文獎,并獲得了2008年IFAAMAS杰出論文獎的榮譽獎。
教程ppt下載鏈接: 鏈接://pan.baidu.com/s/1YDWJ2lFhiLRtNDpH4YyZLg 提取碼:ccra
報告摘要: 構建統計機器學習方法進行圖上預測是很多應用的基礎問題,例如知識圖譜的半監督節點分類和鏈接預測。傳統的統計關聯學習方法和近年來發展起來的圖神經網絡都對這類問題進行了廣泛的研究。在這次演講中,將介紹結合這兩個領域的優勢來進行圖預測和推理所做的努力。以及結合條件隨機域和semi-supervised節點的神經網絡分類(圖馬爾可夫神經網絡,ICML 19)和最近的研究在結合馬爾可夫邏輯網絡和知識圖譜嵌入(概率邏輯神經網絡)的推理。
在這次報告中,作者將介紹今年的ICML2019論文(GMNN: Graph Markov Neural Networks)。研究了關系數據中的半監督對象分類問題,這是關系數據建模中的一個基本問題。這個問題在統計相關學習(如關聯馬爾科夫網絡)和圖神經網絡(如圖卷積網絡)的文獻中得到了廣泛的研究。統計相關學習方法可以通過條件隨機域對對象標簽的依賴關系進行有效的建模,實現集體分類,而圖神經網絡則通過端到端訓練來學習有效的對象表示,實現分類。在這篇論文中,他們提出了結合這兩個領域的優勢的圖馬爾可夫神經網絡(GMNN)。GMNN利用條件隨機場對目標標簽的聯合分布進行建模,利用變分EM算法對其進行有效訓練。 在E-step中,一個圖神經網絡學習有效的對象表示來近似對象標簽的后驗分布。 在M -步驟中,使用另一個圖神經網絡對局部標簽依賴關系進行建模 。在目標分類、鏈路分類和無監督節點表示學習等方面的實驗表明,該算法取得了較好的效果。
嘉賓介紹: 唐建博士自2017年12月起擔任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度圖表示學習,在知識圖譜、藥物發現和推薦系統等領域有著廣泛的應用。他是密歇根大學和卡內基梅隆大學的研究員。他在北京大學獲得博士學位,并在密歇根大學做了兩年的訪問學者。他在微軟亞洲研究院做了兩年的研究員。他在圖表示學習(如LINE、LargeVis和RotatE)方面的工作得到了廣泛的認可。他獲得了ICML ' 14的最佳論文獎和WWW ' 16的最佳論文提名。個人主頁
報告部分綱要:
報告名稱: Deep Geometric Learning of Big Data and Applications
報告摘要: 深度學習技術在計算機視覺,自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據,并且針對這些域的數學工具(例如卷積,下采樣,多尺度和局部性)已得到明確定義,并受益于GPU等快速計算硬件。但是,許多基本數據和任務都涉及非歐幾里德領域,而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀,大腦結構連接網絡中的功能性MRI信號,基因組學中基因調控網絡的DNA,量子化學中的藥物設計,高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域,例如圖形和流形。卷積,粗化,多分辨率,因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。
該研討會的目標是:1)召集數學家,機器學習科學家和領域專家,以建立這些新興技術的現狀; 2)討論用于分析這些新的深度學習技術的框架; 3)確立新的研究方向以及這些技術在神經科學,社會科學,計算機視覺,自然語言處理,物理學,化學中的應用,以及4)討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。
邀請嘉賓: Jure Leskovec,斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模,它們的演化,信息的傳播以及對它們的影響。 調查的問題是由大規模數據,網絡和在線媒體引起的。
Stanley Osher,加州大學洛杉磯分校 IPAM 數學與計算機科學教授,電氣工程與化學和生物分子工程教授。
報告部分大綱:
題目: 對抗機器學習與對抗視覺
報告人: 韓亞洪 教授 天津大學
摘要: 隨著深度學習方法的廣泛應用,深度神經網絡的脆弱性和抗攻擊能力、以及由此帶來的模型魯棒性和安全性開始引起關注。對抗機器學習通過構建對抗樣本來探測機器學習方法的脆弱性,即機器學習模型是否真正學習到了正確性概念,以及該模型在何種情況下失效。本報告介紹對抗機器學習的基本理論、方法和分類、對抗機器學習與人工智能安全、深度神經網絡黑盒對抗攻擊的最新模型和方法,并對其在對抗視覺上的應用進行討論。
題目: Safe Machine Learning
簡介:
隨著我們將ML應用到越來越多的現實任務中,我們正在走向一個ML將在未來社會中扮演越來越重要角色。因此,解決安全問題正成為一個日益緊迫的問題。一般來說,我們可以將當前的安全研究分為三個領域:規范、健壯性和保證。規范關注于調查和開發技術,以減輕由于目標僅僅是期望的替代者而可能出現的系統不期望的行為。這種情況可能會發生,例如,當對包含歷史偏差的數據集進行訓練時,或者在真實環境中嘗試度量增強學習智能體的進度時魯棒性處理在推斷新數據和響應敵對輸入時處理系統故障。
Assurance涉及到開發方法,使我們能夠理解本質上不透明和黑箱的系統,并在操作期間控制它們。本教程將概述這三個領域,特別關注規范,更具體地說,關注增強學習智能體的公平性和一致性。其目的是激發從事不同安全領域的研究人員之間的討論。
邀請嘉賓:
Silvia Chiappa是DeepMind機器學習方面的研究科學家。她擁有數學文憑和機器學習博士學位。在加入DeepMind之前,Silvia Chiappa曾在馬克斯-普朗克智能系統研究所的經驗推理部門、微軟劍橋研究院的機器智能與感知小組以及劍橋大學的統計實驗室工作。她的研究興趣是基于貝葉斯和因果推理,圖形模型,變分推理,時間序列模型,ML公平性和偏差。
Jan Leike是DeepMind的高級研究科學家,他在那里研究智能體對齊問題。他擁有澳大利亞國立大學的計算機科學博士學位,在那里他致力于理論強化學習。在加入DeepMind之前,他是牛津大學的博士后研究員。Jan的研究興趣是人工智能安全、強化學習和技術人工智能治理。