題目: Safe Machine Learning
簡介:
隨著我們將ML應用到越來越多的現實任務中,我們正在走向一個ML將在未來社會中扮演越來越重要角色。因此,解決安全問題正成為一個日益緊迫的問題。一般來說,我們可以將當前的安全研究分為三個領域:規范、健壯性和保證。規范關注于調查和開發技術,以減輕由于目標僅僅是期望的替代者而可能出現的系統不期望的行為。這種情況可能會發生,例如,當對包含歷史偏差的數據集進行訓練時,或者在真實環境中嘗試度量增強學習智能體的進度時魯棒性處理在推斷新數據和響應敵對輸入時處理系統故障。
Assurance涉及到開發方法,使我們能夠理解本質上不透明和黑箱的系統,并在操作期間控制它們。本教程將概述這三個領域,特別關注規范,更具體地說,關注增強學習智能體的公平性和一致性。其目的是激發從事不同安全領域的研究人員之間的討論。
邀請嘉賓:
Silvia Chiappa是DeepMind機器學習方面的研究科學家。她擁有數學文憑和機器學習博士學位。在加入DeepMind之前,Silvia Chiappa曾在馬克斯-普朗克智能系統研究所的經驗推理部門、微軟劍橋研究院的機器智能與感知小組以及劍橋大學的統計實驗室工作。她的研究興趣是基于貝葉斯和因果推理,圖形模型,變分推理,時間序列模型,ML公平性和偏差。
Jan Leike是DeepMind的高級研究科學家,他在那里研究智能體對齊問題。他擁有澳大利亞國立大學的計算機科學博士學位,在那里他致力于理論強化學習。在加入DeepMind之前,他是牛津大學的博士后研究員。Jan的研究興趣是人工智能安全、強化學習和技術人工智能治理。
題目: An Overview of Privacy in Machine Learning
序言: 在過去幾年中,谷歌、微軟和亞馬遜等供應商已經開始為客戶提供軟件接口,使他們能夠輕松地將機器學習任務嵌入到他們的應用程序中。總的來說,機構現在可以使用機器學習作為服務(MLaaS)引擎來外包復雜的任務,例如訓練分類器、執行預測、聚類等等。他們還可以讓其他人根據他們的數據查詢模型。當然,這種方法也可以在其他情況下使用(并且經常提倡使用),包括政府協作、公民科學項目和企業對企業的伙伴關系。然而,如果惡意用戶能夠恢復用于訓練這些模型的數據,那么由此導致的信息泄漏將會產生嚴重的問題。同樣,如果模型的內部參數被認為是專有信息,那么對模型的訪問不應該允許對手了解這些參數。在本文中,我們對這一領域的隱私挑戰進行了回顧,系統回顧了相關的研究文獻,并探討了可能的對策。具體地說,我們提供了大量關于機器學習和隱私相關概念的背景信息。然后,我們討論了可能的對抗模型和設置,涵蓋了與隱私和/或敏感信息泄漏有關的廣泛攻擊,并回顧了最近試圖防御此類攻擊的結果。最后,我們總結出一系列需要更多工作的開放問題,包括需要更好的評估、更有針對性的防御,以及研究與政策和數據保護工作的關系。
隨著深度學習在視覺、推薦系統、自然語言處理等諸多領域的不斷發展,深度神經網絡(DNNs)在生產系統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的,可能包含敏感信息。這造成了嚴重的隱私問題,因為這些數據可能被濫用或通過各種漏洞泄露。即使云提供商和通信鏈路是可信的,仍然存在推理攻擊的威脅,攻擊者可以推測用于訓練的數據的屬性,或者找到底層的模型架構和參數。在這次調查中,我們回顧了深度學習帶來的隱私問題,以及為解決這些問題而引入的緩解技術。我們還指出,在測試時間推斷隱私方面的文獻存在空白,并提出未來可能的研究方向。
主題: Machine Learning Interviews
目錄:
嘉賓介紹: Chip Huyen,一位來自越南的作家和計算機科學家,總部位于硅谷。畢業于斯坦福大學(Stanford University),獲得計算機科學學士和碩士學位。在那里,創建并教授了用于深入學習研究的TensorFlow課程。長期從事人工智能研究,是機器學習領域專家級人物,在研究過程中,主張機器學習要面向實踐,面向實際,立志解決當前問題,AI必須要有商業驅動,方能足夠長遠的發展。//huyenchip.com/
講座題目
公平意識機器學習:現實挑戰與經驗教訓:Fairness-Aware Machine Learning: Practical Challenges and Lessons Learned
講座簡介
來自不同學科的研究人員和從業人員強調了使用機器學習模型和數據驅動系統所帶來的倫理和法律挑戰,以及由于算法決策系統的偏見,這些系統可能歧視某些群體。本教程概述了過去幾年觀察到的算法偏差/歧視問題,以及在機器學習系統中為實現公平性而吸取的經驗教訓、關鍵法規和法律,以及技術的發展。在為不同的消費者和企業應用開發基于機器學習的模型和系統時,我們將鼓勵采用“按設計公平”的方法(而不是將算法偏差/公平考慮視為事后考慮)。然后,我們將通過展示來自不同技術公司的非專利案例研究,重點關注公平感知機器學習技術在實踐中的應用。最后,根據我們在Facebook、Google、LinkedIn和Microsoft等公司致力于機器學習公平性的經驗,我們將為數據挖掘/機器學習社區提出開放的問題和研究方向。
講座嘉賓
莎拉?伯德(Sarah Bird)領導著人工智能研究與Facebook產品交叉點的戰略項目。她目前的工作集中在人工智能倫理和發展規模負責任人工智能。她還一直致力于開放人工智能系統,是ONNX的共同創造者之一,ONNX是一個用于深度學習模型的開放標準,也是Pythorc1.0項目的領導者。在加入Facebook之前,她曾是微軟紐約研究中心的人工智能系統研究員和微軟數據集團的技術顧問。她是微軟決策服務(Decision Service)背后的研究人員之一,該服務是第一個公開發布的通用強化學習型云系統。她還與人共同創立了微軟人工智能倫理命運研究小組。她擁有加州大學伯克利分校(UC Berkeley)計算機科學博士學位,由戴夫·帕特森(Dave Patterson)、克里斯特·阿薩諾維奇(Krste Asanovic)和伯頓·史密斯(Burton Smith)擔任顧問。Sarah共同組織了多個相關主題的研討會(人工智能、NIPS 2018中的道德、社會和治理問題研討會;NIPS 2018中的機器學習系統研討會;NIPS 2017中的機器學習系統研討會;SOSP 2017中的人工智能系統研討會;NIPS 2016中的機器學習系統研討會),并在2018年伯克利隱私法論壇(Berkeley Privacy Law Forum)上發表了受邀的主題演講(“人工智能與機器學習:Facebook視角”)。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
報告主題: On Statistical Thinking in Deep Learning
報告簡介:
在過去的二十年形成了一系列成功的機器學習方法,影響了許多這個領域研究人員的思維,而深度學習的興起徹底改變了這個領域。在這次演講中,將探討深度學習中的統計思維,統計思維如何幫助我們理解深度學習方法或者引導我們開發出有趣的新方法,或者深度學習技術如何幫助我們開發先進的統計方法。
嘉賓介紹:
Yee Whye Teh是牛津大學統計學教授,他于2003年獲得多倫多大學計算機博士學位,師從Geroffery Hinton。獲得多倫多大學的博士學位,鄭懷宇在美國加州大學伯克利分校和新加坡國立大學從事博士后工作,研究方向是機器學習和計算統計學,特別是圖形模型、貝葉斯非參數和表征學習。他還多次擔任NIPS、ICML和AISTATS的領域主席(area chair)。
教程題目:Adversarial Machine Learning
教程簡介:
近年來,機器學習在廣泛的行業和應用領域得到了顯著的普及。機器學習技術的許多應用本質上是對抗性的,因為其目標是將“壞的”實例與“好的”實例區分開來。事實上,對抗性的使用遠遠超出了這個簡單的分類示例:對惡意軟件的法醫分析,包括集群、異常檢測,甚至自動駕駛汽車上的視覺系統,都可能受到攻擊。針對這些問題,出現了一個關于對抗性機器學習的新興文獻,它涵蓋了對機器學習算法漏洞的分析,以及產生更健壯學習的算法技術。
本教程將從網絡安全和機器學習研究領域中廣泛調查這些問題和技術。特別考慮了對抗性分類器規避(攻擊者改變行為以避免被檢測到)和訓練數據本身已損壞的問題。還討論了逃避攻擊和中毒攻擊,首先討論了分類器,然后討論了其他學習范例和相關的防御技術。然后,我們考慮用于攻擊和防御神經網絡的專門技術,特別是專注于深度學習技術及其對逆向構建實例的脆弱性。
組織者:
Bo Li是伊利諾伊大學香檳分校計算機科學系的助理教授。她的研究興趣在于對抗性的深度學習、安全性、隱私和博弈論。她開發并分析了可伸縮的健壯學習框架,用于在對抗規避攻擊的環境中學習算法。她還分析了物理世界中對抗學習算法的行為。她是賽門鐵克研究實驗室研究生獎學金的獲得者。她于2016年獲得范德比爾特大學博士學位。
Dawn Song是加州大學伯克利分校電氣工程和計算機科學系的教授。她的研究興趣在于深度學習和安全性。她研究了計算機系統和網絡中的各種安全和隱私問題,包括從軟件安全、網絡安全、數據庫安全、分布式系統安全、應用密碼學到機器學習和安全的交叉領域。她是獲得各種獎項,包括麥克阿瑟獎學金,古根海姆獎學金,NSF事業獎,斯隆研究獎學金,麻省理工學院技術評論TR-35獎,喬治Tallman Ladd研究獎,小川基金會研究獎,李嘉誠基金會女性在科學卓越系列講座獎,教師從IBM研究獎,谷歌和其他主要科技公司,從上會議最佳論文獎。她在加州大學伯克利分校獲得了博士學位。在加入加州大學伯克利分校之前,她曾于2002年至2007年在卡內基梅隆大學(Carnegie Mellon University)擔任助理教授。
Yevgeniy Vorobeychik是圣路易斯華盛頓大學計算機科學與工程學院的副教授。此前,他是桑迪亞國家實驗室的首席研究科學家。2008年至2010年,他是賓夕法尼亞大學計算機與信息科學系的博士后研究員。他獲得了密歇根大學的計算機科學與工程博士學位(2008)和碩士學位(2004),以及西北大學的計算機工程學士學位。他的工作重點是安全與隱私的博弈論建模,對抗機器學習,算法和行為博弈論和激勵設計,優化,基于代理的建模,復雜系統,網絡科學,流行病控制。Vorobeychik博士在2017年獲得了美國國家科學基金會職業成就獎,并受邀發表了ijcai16早期職業聚焦演講。他被提名為2008年ACM博士學位論文獎,并獲得了2008年IFAAMAS杰出論文獎的榮譽獎。
教程ppt下載鏈接: 鏈接://pan.baidu.com/s/1YDWJ2lFhiLRtNDpH4YyZLg 提取碼:ccra
主題: Safe and Fair Machine Learning
簡介:
在這個演講將討論一些我們的未來的工作在一個新的框架設計的機器學習算法,內容包括:1)使得算法的用戶更容易定義他們認為是不受歡迎的行為(例如,他們認為是不公平的,不安全,或者成本);2)提供了一個高信任度保證它不會產生一個解決方案,展示了用戶定義的不受歡迎的行為。
作者簡介:
Philip Thomas是馬薩諸塞大學安姆斯特分校信息與計算機科學學院助理教授,自主學習實驗室聯合主任。之前是卡內基·梅隆大學(CMU)的博士后,2015年,在馬薩諸塞州立大學阿默斯特分校(UMass Amherst)獲得了計算機科學博士學位。主要研究如何確保人工智能(AI)系統的安全性,重點是確保機器學習(ML)算法的安全性和公平性以及創建安全和實用的強化學習(RL)算法。
題目主題: Dual Learning for Machine Learning
簡介:
許多AI任務以雙重形式出現,例如英語法語翻譯與法語英語翻譯,語音識別與語音合成,問題解答與問題生成,圖像分類與圖像生成。雖然結構對偶性在AI中很常見,但大多數學習算法并未在學習/推理中利用它。雙重學習是一種新的學習框架,它利用AI任務的原始-雙重結構來獲取有效的反饋或正則化信號,從而增強學習/推理過程。雙重學習已在不同的學習環境中進行了研究,并應用于不同的應用程序。 在本教程中,我們將對雙重學習進行介紹,它由三部分組成。在第一部分中,我們將介紹雙重半監督學習,并展示如何有效地一起利用標記和未標記的數據。我們將從神經機器翻譯開始,然后轉移到其他應用程序。在第二部分中,我們介紹了雙重無監督學習,其中的培訓是完全無監督的。我們介紹了無監督機器翻譯和無監督圖像翻譯。最后,我們介紹了雙重監督學習及其以外的內容,其中包括雙重監督學習,雙重推理和雙重對抗性學習。在本教程的最后,我們提出了雙重學習的幾個未來方向。
作者介紹:
Tao Qin博士是Microsoft Research Asia機器學習小組的高級首席研究經理。 他的研究興趣包括機器學習(側重于深度學習和強化學習),人工智能(對語言理解和計算機視覺的應用),游戲理論和多主體系統(對云計算,在線和移動廣告的應用, 電子商務),信息檢索和計算廣告。 他擁有清華大學的博士學位和學士學位。 他是ACM和IEEE的高級會員,也是中國科學技術大學的兼職教授(博士生導師)。
大綱:
題目: Adversarial Machine Learning
報告簡介: 近年來,機器學習在廣泛的行業和應用中獲得了驚人的普及。機器學習技術的許多應用本質上都是對抗性的。的確,對抗性使用遠遠超出了簡單的分類示例:對惡意軟件的分析將群集,異常檢測甚至自動駕駛車輛的視覺系統結合在一起,都可能受到攻擊。針對這些擔憂,出現了有關對抗性機器學習的新興文獻,既涵蓋了機器學習算法中的漏洞分析,又包括產生更強大學習的算法技術。本教程將調查來自網絡安全和機器學習研究領域的各種問題和技術。特別是,我們考慮了對抗性分類器和訓練數據本身已損壞的問題。我們首先討論分類器,然后討論其他學習范例,以及相關的防御技術,然后,我們考慮用于攻擊和防御神經網絡的專用技術。
嘉賓介紹: Bo Li是伊利諾伊大學香檳分校計算機科學系的助理教授。 她的研究興趣在于對抗性深度學習,安全性,隱私和博弈論。 她已經開發并分析了可擴展的健壯學習框架,用于在對抗環境中學習算法以應對逃避攻擊。 她還分析了物理世界中針對學習算法的對抗行為。
Yevgeniy Vorobeychik是圣路易斯華盛頓大學計算機科學與工程學院的副教授。此前,他是桑迪亞國家實驗室的首席研究科學家。2008年至2010年,他是賓夕法尼亞大學計算機與信息科學系的博士后研究員。他獲得了密歇根大學的計算機科學與工程博士學位(2008)和碩士學位(2004),以及西北大學的計算機工程學士學位。他的工作重點是安全與隱私的博弈論建模,對抗機器學習,算法和行為博弈論和激勵設計,優化,基于代理的建模,復雜系統,網絡科學,流行病控制。Vorobeychik博士在2017年獲得了美國國家科學基金會職業成就獎,并受邀發表了ijcai16早期職業聚焦演講。他被提名為2008年ACM博士學位論文獎,并獲得了2008年IFAAMAS杰出論文獎的榮譽獎。