機器學習的最新進展提高了源代碼的理解和生成,從而在各種軟件工程任務中取得了更好的性能。在大規模代碼庫上進行預訓練的編程語言模型(Programming language model, PLM)在代碼摘要、代碼翻譯和程序合成等任務中顯示出良好的效果。然而,目前的方法主要依賴于直接從文本生成文獻中借鑒的有監督的微調目標,而忽略了代碼特定的功能,如語法和功能正確性。在本次演講中,我將介紹保留生成代碼的語法和數據流的各種機制,然后描述我們的新框架PPOCoder,它將預訓練代碼PLM與深度強化學習相結合,并將執行反饋作為模型優化過程的外部知識來源。我將通過討論CodeAttack框架來結束這次演講,這是一個簡單但有效的黑盒攻擊模型,用于生成對抗代碼樣本,可以檢測code PLM中的漏洞。
講者:Chandan Reddy是弗吉尼亞理工大學計算機科學系的教授,他擁有康奈爾大學的博士學位和密歇根州立大學的碩士學位。他的主要研究興趣是機器學習和自然語言處理及其在醫療保健、軟件、交通和電子商務中的應用。他的研究得到了NSF、NIH、DOE、DOT和各種行業的資助。他在領先的會議和期刊上發表了160多篇同行評議的文章。他的研究工作獲得了多個獎項,包括2010年ACM SIGKDD會議的最佳應用論文獎,2014年IEEE VAST會議的最佳海報獎,2016年IEEE ICDM會議的最佳學生論文獎,并在2011年INFORMS Franz Edelman Award競賽中入圍。他是ACM TKDD、ACM TIST和IEEE大數據期刊的編輯委員會成員。他是IEEE的高級成員和ACM的杰出成員。
人工智能(AI)技術,特別是那些基于深度學習(DL)的技術,已經在各種各樣的任務上變得非常有效,有時甚至表現得比人類專家更好。然而,它們也有一些問題:它們通常以不透明和/或棘手的方式運行,它們的非常好的性能僅是統計上的,即使在明顯的情況下也可能失敗,它們可能做出有偏見的決定,它們很容易通過對抗性攻擊進行操作,舉幾個例子。這些限制阻礙了它們在具有重大經濟或社會利益的應用中被采用,特別是在關鍵或明智的應用中,如自動駕駛、醫療診斷或貸款批準。
考慮到這一點,為了增加基于深度學習的人工智能系統的可信性,通過為這些系統所做的決策提供人類用戶可以理解的解釋,進行了大量的研究。本書的目的是為專家或外行人用戶介紹可解釋深度學習領域的主要方法的最新和原始貢獻。提出了兩種主要類型的方法:“事后”或“模型不可知”的方法,其中對一個已經可用的“黑盒”系統的操作進行建模和解釋,以及內在的方法,其中系統被專門設計為具有可解釋的操作模式的“白盒”。本書是我們在ICPR’2020 IAPR和IEEE會議上組織的一個非常成功的研討會“Explainable Deep Learning-AI”的后續工作,該研討會對該領域正在進行的研究進行了大規模的參觀。可解釋性的問題在許多媒體領域都得到了解決,包括圖像、文本、時間序列和表格數據。兩章具體論述了解釋方法評價的難點和重要問題。最后,在結語部分提出了仍然存在的挑戰。
//www.elsevier.com/books/explainable-deep-learning-ai/benois-pineau/978-0-323-96098-4
深度神經網絡在計算機視覺、自然語言處理和機器人技術等領域取得了卓越的成就。然而,這些模型在理解我們周圍世界的能力,以及概括和適應新任務或環境的能力方面仍然是蒼白的。這個問題的一個可能的解決方案是理解因果關系的模型,因為這樣的模型可以推斷因果變量之間的聯系和干預對它們的影響。然而,現有的因果算法通常不能擴展,也不能適用于高度非線性的設置,它們也假設因果變量是有意義的和給定的。最近,為了解決上述挑戰,人們對因果關系和深度學習的交集產生了越來越多的興趣和研究活動,它們使用深度學習來受益于因果算法,反之亦然。本教程旨在為兩種受眾介紹因果關系和深度學習的基本概念,提供近期工作的概述,以及目前在這兩個領域研究的協同作用、挑戰和機會。
因果關系的深度學習
建模功能的關系 學習圖上的分布 表征是學習特征的豐富組成 潛在的因果變量
深度學習的因果關系
為什么DL有因果關系 DL中因果學習的基準 DL中因果學習的目標和架構 利用因果關系的概念來幫助DL
講者:
Nan Rosemary Ke是Deepmind的一名研究科學家,她的研究興趣是建立模型,通過理解因果關系來概括變化的任務和環境。在加入Deepmind之前,她是Mila的博士生,由Yoshua Bengio和Chris Pal擔任導師。她還獲得了Facebook獎學金,并在2020年被評為機器學習領域的一顆后起之星。Rosemary的研究興趣結合了深度學習和因果關系的見解;她一直致力于建立能夠充分理解因果關系的模型,以推斷因果變量之間的聯系以及干預對它們的影響。她的研究成果已在各大會議(NeurIPS, ICML, ICLR)上發表。
Stefan Bauer是斯德哥爾摩KTH的助理教授和CIFAR Azrieli全球學者。通過使用和開發因果關系、深度學習和真實機器人系統的工具,他的研究聚焦于人工智能的長期目標,即設計能夠跨環境和任務推斷經驗的機器。他在蘇黎世聯邦理工學院獲得計算機科學博士學位,并因杰出博士論文被授予蘇黎世聯邦理工學院獎章。在此之前,他畢業于蘇黎世聯邦理工學院(ETH Zurich),獲得數學學士學位和理學碩士學位,以及倫敦大學(LSE)的經濟學和金融學學士學位。在學習期間,他獲得了瑞士和德國國家功績基金會的獎學金。2019年,他獲得了機器學習國際會議(ICML)的最佳論文獎,2020年,他是云端機器人挑戰real-robot-challenge.com的主要組織者。
參考文獻:
Michael Ahn et al. "Do as i can, not as i say: Grounding language in robotic affordances." arXiv preprint arXiv:2204.01691 (2022).
Kartik Ahuja, Jason Hartford, and Yoshua Bengio. "Properties from mechanisms: an equivariance perspective on identifiable representation learning." NeurIPS (2021).
Martin Arjovsky et al. "Invariant risk minimization." arXiv preprint arXiv:1907.02893 (2019).
Ossama Ahmed, Frederik Tr?uble, Anirudh Goyal, Alexander Neitz, Yoshua Bengio, Bernhard Sch?lkopf, Manuel Wüthrich, and Stefan Bauer. Causalworld: A robotic manipulation benchmark for causal structure and transfer learning, ICLR, 2021.
Sara Beery, Grant Van Horn, and Pietro Perona. "Recognition in terra incognita." ECCV. 2018.
Matthew Botvinick et al. Reinforcement learning, fast and slow. Trends in cognitive sciences 2019.
Robert Geirhos, et al. "Shortcut learning in deep neural networks." Nature Machine Intelligence (2020).
Title:常識知識的獲取與推理
Abstract:理解人類語言需要復雜的世界知識。近年來,常識知識的獲取和推理越來越受到研究界的關注。本報告將簡要介紹我們如何獲得常識知識并形成知識庫或知識圖譜,以及最近的基準數據集和在常識問答上的表現 。
Bio:宋陽秋,現任香港科技大學助理教授,清華大學學士、博士。曾在多家工業界研究機構(Google、IBM、微軟、華為)以及學校(香港科技大學、伊利諾伊香檳分校、西弗吉尼亞大學)從事研究工作。在數據挖掘、人工智能、自然語言處理領域發表多篇文章,曾獲KDD2017 Data Science Track最佳論文、IUI2015最佳論文提名、KDD2014優選發表TKDD論文(九篇之一)及PAKDD2007最佳論文提名。擔任JAIR編委、IJCAI2019 Local Chair等職位。
在2017年谷歌設計了Transformer,并在NLP社區顯示出了效果之后,有大量的工作專注于將其應用到計算機視覺社區。本文首先簡要介紹了計算機視覺中的Transformer。然后,介紹了Transformer模型在低/高級視覺任務、模型壓縮和主干設計方面的一些代表性工作。
曹越,現任微軟亞洲研究院視覺計算組主管研究員,分別于2014年和2019年在清華大學軟件學院獲得本科和博士學位,曾于2017年獲微軟學者獎學金、2018年獲清華大學特等獎學金。至今在CVPR、ICCV、ICLR、ICML、NeurIPS等國際會議和期刊中發表論文20余篇,其中有三篇入圍PaperDigest Most Influential Papers榜單,谷歌引用五千余次。目前主要的研究興趣是自監督學習、多模態學習以及自注意力建模。
主題: Deep Learning for Community Detection: Progress, Challenges and Opportunities
摘要: 由于社區代表著相似的觀點,相似的功能,相似的目的等,因此社區檢測在科學查詢和數據分析中都是重要且極其有用的工具。 但是,隨著深度學習技術展示出以令人印象深刻的性能處理高維圖數據的能力日益增強,諸如頻譜聚類和統計推斷之類的經典社區檢測方法正在逐漸被淘汰。 因此,對通過深度學習進行社區發現的當前進展進行調查是及時的。 本文分為三個領域,分別是深度神經網絡,深度圖嵌入和圖神經網絡,本文總結了各個框架中各種框架,模型和算法的貢獻以及當前尚未解決的挑戰以及 未來的研究機會有待探索。
當前自然語言處理的一個問題是處理低資源的語言,這些語言缺乏有用的訓練屬性,如受監督的數據、母語使用者或專家的數量等。這篇綜述論文簡明地總結了過去在解決這一問題上取得的突破性成就,并分析了未來研究方向的整體背景下的潛在改進。
【導讀】國際萬維網大會(The Web Conference,簡稱WWW會議)是由國際萬維網會議委員會發起主辦的國際頂級學術會議,創辦于1994年,每年舉辦一屆,是CCF-A類會議。WWW 2020將于2020年4月20日至4月24日在中國臺灣臺北舉行。本屆會議共收到了1129篇長文投稿,錄用217篇長文,錄用率為19.2%。這周會議已經召開。來自美國Linkedin、AWS等幾位學者共同給了關于在工業界中可解釋人工智能的報告,講述了XAI概念、方法以及面臨的挑戰和經驗教訓。
人工智能在我們的日常生活中扮演著越來越重要的角色。此外,隨著基于人工智能的解決方案在招聘、貸款、刑事司法、醫療和教育等領域的普及,人工智能對個人和職業的影響將是深遠的。人工智能模型在這些領域所起的主導作用已經導致人們越來越關注這些模型中的潛在偏見,以及對模型透明性和可解釋性的需求。此外,模型可解釋性是在需要可靠性和安全性的高風險領域(如醫療和自動化交通)以及具有重大經濟意義的關鍵工業應用(如預測維護、自然資源勘探和氣候變化建模)中建立信任和采用人工智能系統的先決條件。
因此,人工智能的研究人員和實踐者將他們的注意力集中在可解釋的人工智能上,以幫助他們更好地信任和理解大規模的模型。研究界面臨的挑戰包括 (i) 定義模型可解釋性,(ii) 為理解模型行為制定可解釋性任務,并為這些任務開發解決方案,最后 (iii)設計評估模型在可解釋性任務中的性能的措施。
在本教程中,我們將概述AI中的模型解譯性和可解釋性、關鍵規則/法律以及作為AI/ML系統的一部分提供可解釋性的技術/工具。然后,我們將關注可解釋性技術在工業中的應用,在此我們提出了有效使用可解釋性技術的實踐挑戰/指導方針,以及在幾個網絡規模的機器學習和數據挖掘應用中部署可解釋模型的經驗教訓。我們將介紹不同公司的案例研究,涉及的應用領域包括搜索和推薦系統、銷售、貸款和欺詐檢測。最后,根據我們在工業界的經驗,我們將確定數據挖掘/機器學習社區的開放問題和研究方向。
題目: Causal Inference and Stable Learning
簡介:
在一個常見的機器學習問題中,使用一個根據訓練數據集估計的模型,根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時,許多學習算法被提出并證明是成功的。然而,對于給定的訓練數據分布,性能最好的模型通常利用特征之間微妙的統計關系,這使得它們在應用于測試數據時更容易出現預測錯誤,因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說,如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具,用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件,對某一因果關系做出結論的過程。在本教程中,我們將重點討論因果推理和穩定學習,旨在從觀察數據中探索因果知識,以提高機器學習算法的可解釋性和穩定性。首先,我們將介紹因果推理,并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據,特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距,我們首先給出了學習算法的穩定性和魯棒性的定義,然后介紹了一些最近出現的穩定學習算法,以提高預測的穩定性和可解釋性。最后,我們將討論穩定學習的應用和未來方向,并為穩定學習提供基準。
邀請嘉賓:
張潼,香港科技大學計算機科學與數學教授。此前,他是羅格斯大學(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員,曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位,在斯坦福大學獲得計算機科學博士學位。
崔鵬,清華大學計算機系長聘副教授,博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇,曾5次獲得頂級國際會議或期刊論文獎,并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才,并當選中國科協全國委員會委員。
題目: The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches
簡介:
近年來,深度學習在各個應用領域都取得了巨大的成功。這一新的機器學習領域發展迅速,已經應用到大多數傳統的應用領域,以及一些提供更多機會的新領域。基于不同的學習類別,提出了不同的學習方法,包括監督學習、半監督學習和非監督學習。當與傳統的機器學習方法在圖像理、計算機視覺、語音識別、機器翻譯、藝術、醫學成像、醫療信息處理、機器人控制、生物信息學、自然語言處理(NLP),網絡安全等相比,實驗結果表明了使用深度學習最先進的性能。
本報告從深度神經網絡(DNN)開始,簡要介紹了DL領域的研究進展。調查涵蓋了卷積神經網絡(CNN)、遞歸神經網絡(RNN),包括長短時記憶(LSTM)和門控遞歸單元(GRU)、自動編碼器(AE)、深度信念網絡(DBN)、生成對抗網絡(GAN)和深度強化學習(DRL)。此外,我們還介紹了最新的發展,例如基于這些DL方法的高級DL變體技術。本研究考慮了2012年以后發表的關于深度學習歷史開始的大部分論文。此外,在不同的應用領域中探索和評估過的DL方法也包括在本次調查中。我們還包括最近開發的用于實現和評估深度學習方法的框架、sdk和基準數據集。有一些關于使用神經網絡進行深度學習的調查和關于RL的調查已經發表。然而,這些論文并沒有討論用于訓練大規模深度學習模型的個別先進技術和最近發展起來的生成模型方法。
作者簡介:
Md Zahangir Alom博士是美國俄亥俄州代頓大學的研究工程師。他分別于2008年和2012年獲得了孟加拉國拉杰沙伊大學(University of Rajshahi)和韓國全北國立大學(Chonbuk National University)的計算機工程學士和碩士學位。2018年,他獲得了戴頓大學電子和計算機工程博士學位。他的研究興趣包括機器學習、深度學習、醫學成像和計算病理學。他是IEEE學生會員,國際神經網絡協會(INNS)會員,美國數字病理學協會(DPA)會員。
Tarek M. Taha博士是代頓大學(University of Dayton)電子和計算機工程教授。他的研究興趣是神經形態計算和高性能計算。Tarek M. Taha博士是美國國家科學基金會職業獎的獲得者。