在 ISCAS 2021 (IEEE電路與系統國際研討會)上麻省理工學院Vivienne Sze教授做了關于《人工智能和機器人的高效計算:從硬件加速器到算法設計》的主題報告。
由于要處理的數據量快速增長,人工智能和機器人技術的計算需求持續上升,需要越來越復雜的算法,以及對能源效率和實時性能的高要求,以獲得更高質量的結果。
在本次演講中,將討論高效硬件加速器的設計以及算法和硬件的協同設計,以降低能耗,同時為深度神經網絡和自主導航等應用提供實時和穩健的性能。我們還將強調可以促進有效設計過程的重要設計原則和工具。
作者簡介:
Vivienne Sze (//sze.mit.edu/) 是麻省理工學院電氣工程和計算機科學系的副教授,負責電子學節能多媒體系統研究小組的研究實驗室。她的團隊致力于計算系統,這些系統能夠為包括自主導航、數字健康和物聯網在內的廣泛應用提供節能機器學習、計算機視覺和視頻壓縮/處理。她因其在這些領域的領先工作而獲得廣泛認可,并獲得了許多獎項,包括 Google、Facebook 和 Qualcomm 的教師獎、VLSI 電路研討會最佳學生論文獎、IEEE 定制集成電路會議杰出邀請論文獎和IEEE 微型精選獎。作為視頻編碼聯合協作團隊的成員,她因開發高效視頻編碼視頻壓縮標準而獲得黃金時段工程艾美獎。她是《深度神經網絡的高效處理》一書的合著者。
低能耗自主工具將支持廣泛的下一代應用,包括有助于搜索和救援的昆蟲大小的撲翼機器人、可以探索附近恒星的芯片大小的衛星,以及可以停留在空中的飛艇持久在偏遠地區提供通信服務。這些工具的自主能力將通過從頭開始構建計算機,通過共同設計自主和導航的算法和硬件來解決。本次演講將介紹各種方法、算法和計算硬件,這些方法可以顯著改善能耗和處理速度,例如視覺慣性導航、深度估計、運動規劃、基于互信息的探索和用于機器人感知的深度神經網絡。
作者簡介:
Vivienne Sze (//sze.mit.edu/) 是麻省理工學院電氣工程和計算機科學系的副教授,負責電子學節能多媒體系統研究小組的研究實驗室。她的團隊致力于計算系統,這些系統能夠為包括自主導航、數字健康和物聯網在內的廣泛應用提供節能機器學習、計算機視覺和視頻壓縮/處理。作為視頻編碼聯合協作團隊的成員,她因開發高效視頻編碼視頻壓縮標準而獲得黃金時段工程艾美獎。她是《深度神經網絡的高效處理》一書的合著者。
來自CBIO Chloé-Agathe Azencott講述的機器學習簡明教程,30分鐘內容快速了解機器學習。
幾十年來,不斷增長的計算能力一直是許多技術革命背后的推動力,包括最近在人工智能方面的進步。然而,由于集成電路進程規模的放緩,對于系統架構師來說,要繼續滿足當今應用不斷增長的計算需求,他們現在必須采用具有專門加速器的異構系統。
然而,建構這些加速器系統是極其昂貴和耗時的。首先,硬件的開發周期是出了名的長,這使得它很難跟上算法的快速發展。同時,現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標,因此,在設計高效硬件方面提出了額外的挑戰。
本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具,縮短硬件開發周期; 適應機器學習和其他優化技術,以改進加速器的設計和編譯流程; 以及協同設計算法和加速器,以開發更多的優化機會。
本文的目標應用領域是深度學習,它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及,可以預見,深度學習將成為我們日常生活中的主要計算需求。因此,本文旨在通過硬件加速進行端到端系統優化,釋放前沿深度學習算法的普遍采用,改變生活的各個方面。
//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html
香港中文大學Bei Yu開設的深度學習課程,重點對神經網絡加速高效計算進行講解。
【導讀】本課程探討現代人工智能基礎上的概念和算法,深入探討游戲引擎、手寫識別和機器翻譯等技術的思想。通過實踐項目,學生在將圖形搜索算法、分類、優化、強化學習以及其他人工智能和機器學習的主題融入到他們自己的Python程序中,從而獲得圖形搜索算法、分類、優化和強化學習背后的理論知識。課程結束時,學生將獲得機器學習庫的經驗,以及人工智能原理的知識,使他們能夠設計自己的智能系統。
目錄
講師簡介
David J. Malan是Gordon McKay工程與應用科學學院的計算機科學實踐教授,也是哈佛大學教育研究生院的教員。他于1999年、2004年和2007年分別獲得哈佛大學計算機科學學士學位、碩士學位和博士學位。他教授計算機科學50課程,也被稱為CS50,這是哈佛大學最大的課程,耶魯大學最大的課程之一,也是edX最大的MOOC課程,注冊人數超過150萬。他還在哈佛商學院、哈佛法學院、哈佛延伸學院和哈佛暑期學院任教。他所有的課程都是免費開放課程。
我是布賴恩,哈佛大學繼續教育學院的資深導師。我于2019年從哈佛大學畢業,獲得了計算機科學和語言學學位。我目前在哈佛大學計算機科學導論課程CS50的團隊中工作,在那里我專注于教學、課程開發、拓展和軟件工具。我也是通過edX、哈佛擴展學院和哈佛暑期學院提供的Python人工智能入門和Python和JavaScript Web編程的講師。 我曾與許多其他計算機科學課程合作過,包括CS51,哈佛計算機抽象與設計課程,CS124,哈佛算法導論,以及CS100,哈佛數字人文領域的軟件工程課程。除了計算機科學教育,我還在Palantir做過軟件工程實習生,在哈佛深紅報做過新聞主管和數字戰略家,我還在 3P Speech和全國演講與辯論協會工作過。我對計算、語言和教育感興趣。
個人鏈接:
部分PPT:
工程領域大數據和人工智能原則
—推動工程領域負責任的大數據和人工智能創新和應用
近年來,大數據和人工智能技術快速發展,其應用廣泛落地,已經為我們的生產和生活帶來顯著的貢獻,在輔助個人能力提升,改善人民生活 品質,促進經濟和社會發展,應對全球重大挑戰(如:氣候變化,糧食短 缺等)及促進落實聯合國可持續發展目標等方面帶來巨大機遇。特別是在工程領域,作為第四次工業革命的主要驅動力之一,大數據和人工智能正 在推動研發、規劃、設計、制造、測試、操作和維護等方面的革新,并可 提高生產力及工程項目的質量、安全和效率,同時減少碳排放,降低物耗、能耗和成本。此外,它們還有助于打擊腐敗、維護工程操守。
在帶來前所未有的機遇的同時,大數據和人工智能也帶來了許多技術和倫理挑戰。我們必須全面分析、認真應對,以釋放其造福人類的潛能。技術上,盡管近年來取得了相當大的進展,但仍有許多難題亟待解決:數 據可用性仍需提升;數據采集、存儲、檢索、傳輸、分析和可視化技術仍需改進甚至革新。同樣,人工智能遠不完美,例如:機器學習需要大量的 人力來標記監督學習所需的訓練數據。此外,我們正面臨隱私侵犯、決策 不透明、偏見歧視、技術濫用、數字鴻溝等倫理挑戰。這些問題正引起越來越多的公眾關注,并引發了社會上的一些憂慮。
工程師群體,作為大數據和人工智能創新和應用的主要實踐者,有責 任和義務以造福人類為目推動大數據和人工智能的創新和應用。為了推動負責任的大數據和人工智能創新和應用,在工程實踐中,工程師和工程界 應將有利于人類和地球的可持續發展作為首要標準,并遵循以下原則:
有益于人與環境
必須致力于尊重、維護人的尊嚴和自主,保障人權;遵循文化、社會和 法律規范;維護文化延續性與生態多樣性,為全球社會和環境謀福利;促 進大數據和人工智能有益于人的運用,以增強人的感知、認知和解決問題的能力,實現可持續發展。
包容、公平、公眾意識和公眾賦能
注重包容性,使人類社會的全體成員參與其中并共享數據和人工智能帶來的社會和經濟利益,關注兒童、殘疾人等弱勢群體;消減數據源的偏 見,并尋求開發檢測和糾正已有和潛在歧視的方法;積極參與到提高公眾 對大數據和人工智能的發展和影響的認識中;賦能公眾,以使每個人從大數據和人工智能的創新和應用中獲益,并能應對潛在問題,如失業問題。
尊重隱私和數據完整性的開放和共享
及時地、全面地、負責任地公開和共享數據、元數據、數據產品和信息,以充分發揮和利用數據的價值;尊重人對數據的訪問權、分享權及受 益權;在數據收集、披露和使用過程中,保護用戶的隱私;輔助提升人們 對數據的訪問、分享、使用及控制能力,尤其是維護其身份數據的能力;以知情同意為原則使用私人數據;積極采集、存儲和保護第一手工程數據, 確保數據完整性和質量,同時避免數據被盜,濫用和損壞。
透明性
從數據生成到使用結束,最大限度地提高數據的可追溯性;關注人工智能系統的輸入/輸出的可驗證性以及其的判斷和決策的可解釋性;努力為 所有利益相關方提供可理解的解釋和信息,宣傳人工智能產品和服務可能產生的影響;了解并提供開發和部署中的人工智能系統的能力和局限。
問責制
遵守法律法規和技術標準;明確在開發、部署和使用大數據和人工智能應用的過程中的責任,確保全生命周期里的責任可追溯;踐行責任,以 獲得全社會對大數據和人工智能的信任。
維護和平、安全性
牢記維護世界和平的使命;設法發現和解決潛在風險,其中包括對生命、財產安全的危害;確保應用的安全可靠;充分考慮人工智能系統全運 營周期中的風險,確保其使用周期中的安全可靠和可驗證;在現實場景下 進行充分前期測試,以確保其符合目標規格;與所有利益相關者密切合作以保證并進一步提升應用的質量、安全性和可靠性。
協同合作
理解可持續發展目標間的關聯性,以及協同合作在實現可持續發展目標中的重要作用;促進所有利益相關方跨學科、跨部門合作和國際合作, 通過負責任的大數據和人工智能創新和應用,加快可持續發展目標的實現。
演講主講人是 Vivienne Sze,來自 MIT 的高效能多媒體系統組(Energy-Efficient Multimedia Systems Group)。她曾就讀于多倫多大學,在 MIT 完成 PhD 學業并獲得電氣工程博士學位,目前在 MIT 任教。Sze 教授的主要研究興趣是高效能算法和移動多媒體設備應用架構,她最近在MIT公開課給了《Efficient Computing for Deep Learning, AI and Robotics》報告。
本次演講的主題是 DNN 在硬件設備中的高效計算處理方法。隨著深度學習算法效率逐漸提高,計算速度、延遲程度、耗能和硬件成本成為制約算法性能的瓶頸問題。如果能夠解決這些問題,包括自動駕駛、無人機導航、智能手機、可穿戴設備和物聯網設備就都能夠受益于算法性能的提升。
在演講中,Sze 教授首先會介紹 DNN 算法,以及它們在各類硬件上部署時可能帶來的性能損失。更重要的是,演講會提到基準測試和評價標準對設計高效 DNN 算法帶來的影響。之后,Sze 教授會從算法角度硬件架構兩個角度介紹減少耗能的方法。同時,演講也會涵蓋將這些方法應用于計算機視覺等領域。Sze 教授因多項成果獲得過谷歌和 Facebook 的 faculty 獎等多個獎項。
本次演講的主要目標如下:
讓硬件高效處理 DNN 的方法(非常多);
關注包括設計 DNN 硬件處理器和 DNN 模型的評估方法;
設計 DNN 硬件處理器和 DNN 模型的方法;
研究過程中,你應當問什么樣的關鍵問題;
真正需要評價和對比的評估指標體系;
達成這些指標的挑戰;
了解設計中需要考慮到的問題,以及可能平衡在算法性能和耗能中遇到的問題;
在講解的過程中,Sze 教授會穿插大量的圖解和案例,讓介紹更加充實有趣。
百度研究院大數據實驗室竇德景博士等人給了關于自動深度學習的教程包括AutoDL的理論、算法、平臺和應用,共132PPT,涵蓋神經架構搜索、遷移學習和元學習,以及深度學習模型壓縮。該教程將包括對最先進的算法和系統的全面調研。是了解工業界學術界的最好自動深度資料。  神經結構搜索
(2) 深度學習模型遷移和元學習
(3) 深度學習模型壓縮
(4) AutoML平臺
(5) 百度EasyDL和Jarvis的現場演示(支持百度AutoDL)
講者介紹
Dejing Dou博士是俄勒岡大學計算機和信息科學系的教授,領導著高級集成與挖掘(AIM)實驗室。他也是美國國家科學基金會IUCRC大學習中心(CBL)的主任。1996年獲清華大學學士學位,2004年獲耶魯大學博士學位。
研究領域包括人工智能、數據挖掘、數據集成、信息提取和健康信息學。Dr. Dejing Dou發表研究論文100余篇,其中部分論文發表在AAAI、IJCAI、KDD、ICDM、ACL、EMNLP、CIKM、ISWC、JIIS、JoDS等知名會議和期刊上。他的DEXA'15論文獲得了最佳論文獎。他的KDD'07論文被提名為最佳研究論文獎。他是《數據語義期刊》、《智能信息系統期刊》和PLOS ONE的編委會成員。他曾擔任各種國際會議的項目委員會成員,并擔任其中四次會議的項目聯合主席。竇博士已經從國家科學基金會和國家衛生研究院獲得了超過500萬美元的PI研究資助。
其他講者包括:Dr. Jun Huan,Dr. Siyu Huang,Dr. Di Hu,Mr. Xingjian Li,Dr. Haoyi Xiong,Dr. Boyang Li
合并下載:鏈接: 提取碼: m871
主題: Efficient Processing of Deep Neural Networks: from Algorithms to Hardware Architectures
簡介: 本教程介紹了用于高效處理深度神經網絡(DNN)的方法,這些方法已在許多AI應用程序中使用,包括計算機視覺,語音識別,機器人等。DNN以高計算復雜度為代價,提供了一流的準確性和結果質量。因此,為深度神經網絡設計有效的算法和硬件架構是朝著在人工智能系統(例如,自動駕駛汽車,無人機,機器人,智能手機,可穿戴設備,物聯網等)中廣泛部署DNN邁出的重要一步。在速度,延遲,功耗/能耗和成本方面有嚴格的限制。 在本教程中,我們將簡要概述DNN,討論支持DNN的各種硬件平臺的權衡,包括CPU,GPU,FPGA和ASIC,并重點介紹基準測試/比較指標和評估DNN效率的設計注意事項。然后,我們將從硬件體系結構和網絡算法的角度描述降低DNN計算成本的最新技術。最后,我們還將討論如何將這些技術應用于各種圖像處理和計算機視覺任務。
嘉賓介紹: Vivienne Sze是麻省理工學院電氣工程和計算機科學系的副教授。她的研究興趣包括能量感知信號處理算法,便攜式多媒體應用的低功耗電路和系統設計,包括計算機視覺,深度學習,自主導航和視頻編碼。在加入MIT之前,她是TI研發中心的技術人員,在那里她設計了用于視頻編碼的低功耗算法和體系結構。在高效視頻編碼(HEVC)的開發過程中,她還代表TI參加了ITU-T和ISO / IEC標準機構的JCT-VC委員會,該委員會獲得了黃金時段工程艾美獎。她是《高效視頻編碼(HEVC):算法和體系結構》(Springer,2014年)的合編者,也是即將出版的《深度神經網絡的高效處理》(Morgan&Claypool)的合著者。她是2020年機器學習和系統會議(MLSys)的計劃共同主席,并教授MIT設計高效深度學習系統的專業教育課程。