邢波（卡內基梅隆大學機器學習系副主任）的這場talk是一場非常insightful的報告，這場報告的主要點是圍繞我們能不能像當年麥克斯韋統一電磁學一樣來只用幾個方程式就能統一現在眾多的ML/AI算法。最后給出了展望：進入這個ML/AI領域的人不必是專家，或者對這方面有豐富知識的人，他們可以從一個最簡單的equation開始，然后不斷的向上加東西，就像玩樂高一樣，然后創造出非常好的，有用的結果。
摘要： 在處理從數據實例、知識、約束、獎勵、對手到不斷增長的任務范圍內的終身相互作用的廣泛經驗中，當代ML/AI研究已經產生了數以千計的模型、學習范例、優化算法，更不用說無數的逼近啟發式、調優技巧、黑箱神諭，以及以上所有這些的組合。這些成果在推動該領域快速發展的同時，也使得對現有ML技術的全面掌握變得越來越困難，使ML/AI產品的標準化、可重復使用、可重復、可靠和可解釋的實踐以及進一步開發的成本變得非常高，如果可能的話。在這篇演講中，我們從損失、優化求解器和模型架構等方面，給出了一個簡單而系統的ML藍圖，為學習提供了一個統一的數學公式與所有的經驗和任務。該藍圖提供了對各種ML算法的整體理解，指導使用ML以可組合和機械的方式創建問題解決方案，以及用于理論分析的統一框架。
付費5元查看完整內容
相關內容
徐宗本院士在SIGIR2020的演講，突破機器學習前提的瓶頸，非常硬核，值得學習
徐宗本
西安交通大學教授、陳嘉庚獎獲得者、中國科學院院士
徐宗本教授發表了280余篇關于非線性功能分析，優化，機器學習和大數據研究的學術論文，其中大部分在國際期刊上。他目前的研究興趣包括用于大數據分析，機器學習和數據科學的數學理論和基本算法。徐教授獲得了許多學術獎項，例如，國家自然科學獎（2007年），國家科學技術進步獎（2011年），CSIAM Su Buchin應用數學獎（2008年）和Tan Kah Kee科學獎（信息技術科學，2018年）。應大會委員會的邀請，他在國際數學家大會（ICM 2010）上發表了45分鐘的演講。2011年當選為中國科學院院士。徐宗本院士在7月27日即主會議的首日下午，圍繞“關于機器學習的前提：一個元理論”帶來主題演講。
關于機器學習的前提：一個元理論
機器學習(ML)運行和應用的前提是一系列的前提，這些前提既是AI的巨大成功，也是ML進一步發展的瓶頸。這些前提包括: (一)數據集上損失函數的獨立性假設(假設i); (二)假設空間上的大容量假設，包括解(假設二); (三) 訓練數據高質量的完備性假設(假設三);歐幾里得關于分析框架和方法的假設(假設四)。
在這次演講中，我們報告了我的團隊在如何突破ML的這些預設并推動ML的發展方面所做的努力和取得的進展。對于假設I，我們引入噪聲建模原理，根據數據樣本的分布自適應地設計ML的損失函數，從而為實現ML的健壯性提供了一種通用的方法。對于假設二，我們提出了模型驅動的深度學習方法來定義深度神經網絡(DNN)的最小假設空間，這不僅產生了非常高效的深度學習，而且為DNN的設計、解釋和與傳統的基于優化的方法聯系提供了一種新的方法。對于假設三，我們開發了公理課程學習框架，從一個不完整的數據集，由易到難，一步一步地學習模式，從而為處理非常復雜的不完整數據集提供了可行的方法。最后，對于假設IV，我們引入一般的巴拿赫空間幾何，特別是徐羅奇定理，作為對ML問題進行非歐幾里得分析的可能有用的工具。在每個案例中，我們都提出了其思想、原理、應用實例和文獻。
付費5元查看完整內容
交互式信息檢索:模型、算法和評估
由于信息檢索(IR)通常是一個交互過程，因此研究交互式信息檢索(IIR)是很重要的，在IIR中，我們將嘗試建模和優化整個交互式檢索過程(而不是單個查詢)，同時考慮用戶可能與搜索引擎交互的許多不同方式。本教程系統地回顧了IIR的研究進展，重點介紹了IIR的模型、算法和評估策略的最新進展。首先對IIR的研究進行了廣泛的概述，然后介紹了使用合作博弈框架進行IIR的形式化模型，并涵蓋了決策理論模型，如接口卡模型和IIR的概率排序原理。接下來,它提供了一個審查一些代表特定的信息檢索的技術和算法,如各種形式的反饋技術和多樣化的搜索結果,然后討論了應該如何評價一個信息檢索系統和多種策略提出最近使用模擬的用戶評價信息檢索。本教程最后簡要討論了IIR中的主要開放挑戰和一些最有前途的未來研究方向。
視頻地址：
付費5元查看完整內容
這本書全面介紹優化工程系統設計的實用算法。這本書從工程的角度進行優化，其目標是設計一個系統來優化受約束的一組指標。讀者將學習一系列挑戰的計算方法，包括高維搜索空間，處理有多個競爭目標的問題，以及適應指標中的不確定性。圖表、例子和練習傳達了數學方法背后的直覺。文本提供了Julia編程語言的具體實現。
//mitpress.mit.edu/books/algorithms-optimization
許多學科的核心都涉及到優化。在物理學中，系統被驅動到他們的最低能量狀態服從物理定律。在商業上，公司的目標是股東價值最大化。在生物學中，越健康的生物體越有可能生存下來。這本書將從工程的角度關注優化，目標是設計一個系統來優化受約束的一組指標。這個系統可以是一個復雜的物理系統，比如飛機，也可以是一個簡單的結構，比如自行車車架。這個系統甚至可能不是物理的;例如，我們可能會有興趣為自動化車輛設計一個控制系統，或設計一個計算機視覺系統來檢測腫瘤活檢的圖像是否為癌。我們希望這些系統能運行得盡可能好。根據應用程序的不同，相關的度量可能包括效率、安全性和準確性。對設計的限制可能包括成本、重量和結構堅固性。
這本書是關于優化的算法，或計算過程。給定系統設計的一些表示，如編碼機翼幾何的一組數字，這些算法將告訴我們如何搜索空間的可能設計，以找到最好的一個。根據應用程序的不同，這種搜索可能涉及運行物理實驗，比如風洞測試，也可能涉及計算解析表達式或運行計算機模擬。我們將討論解決各種挑戰的計算方法，例如如何搜索高維空間，處理有多個競爭目標的問題，以及適應指標中的不確定性。
付費5元查看完整內容
【導讀】機器學習和系統芯片互相促進發展，近年來機器學習算法深刻改變了計算硬件資源的發展。最近谷歌發布了強化學習用于芯片布局的論文。在加州理工的《數據驅動算法設計》課程上，GOOGLE兩位研究人員Azalia Mirhoseini & Anna Goldie做了《機器學習在系統和芯片設計》的報告，講述了機器學習芯片設計技術，值得關注。Jeff Dean在Twitter做了推薦。
在過去的十年中，系統和硬件已經改變了機器學習。現在是機器學習改變系統和硬件的時候了。在芯片設計過程中，芯片布局（chip placement）可以說是其中最復雜和耗時的步驟了。芯片設計周期的縮短有助于硬件設備適應機器學習領域的快速發展，那么，機器學習能否助力芯片設計呢？最近，谷歌提出了一種基于強化學習的芯片布局方法。本報告內容包括：
- 學習優化器件放置
- 學習配分圖
- 學習優化芯片布局
概述
計算機芯片通常分為數十個模塊，每個模塊都是一個單獨的模組，例如內存的子系統、計算單元以及控制邏輯的系統。這些模塊可以通過網表以及宏（內存組件）和標準單元（邏輯門，例如 NAND、NOR 和 XOR）等電路組件圖來描述，而所有這些組件均通過網格連接。
確定芯片如何布局（通常稱為芯片的布局規劃過程）是芯片設計過程中最復雜、最耗時的階段之一，它涉及到將網表放置在芯片的畫布（2D 網格）上，盡可能使得功率、性能和面積（PPA）降至最低，同時還要注意密度和布線擁塞方面的限制。
盡管對此方向進行了數十年的研究，但是行業內專家仍然需要迭代數周的時間才能完成一個滿足多方面設計標準的解決方案。簡單來說，其復雜性來自于幾個主要層面：網表圖的大小（數百萬至數十億個節點）、網表圖放置的網格粒度，以及計算真實目標所產生的過高成本，如果使用行業標準的電子設計自動化工具這個計算過程可能要花費數小時（有時甚至超過一天）。
谷歌研究者將芯片布局看作一個強化學習問題，然后訓練智能體將芯片網表（netlist）的節點放置在芯片畫布（canvas）上。為了使強化學習策略泛化至新的芯片 block，研究者將表征學習置于預測芯片布局質量的監督任務中。通過設計能夠在大量網表及其布局上準確預測獎勵的神經架構，該研究生成輸入網表的豐富特征嵌入。然后利用該架構作為策略和價值網絡的編碼器，實現遷移學習。
該研究旨在最小化芯片設計的 PPA（功耗、性能和面積）。研究者稱，該方法能夠在 6 小時內完成芯片布局設計，布局質量超過或匹配人類設計，而現有的基線方法需要人類專家參與，且往往需要數周時間才能完成。此外，谷歌還表示，該方法可以為谷歌加速器芯片（TPU）生成更優化的芯片放置方案，還適用于任意類型的芯片（ASIC）。 Chip Placement with Deep Reinforcement Learning
博客鏈接：//ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html
作者：Azalia Mirhoseini、Anna Goldie、Jeff Dean 等 論文鏈接：
摘要：在芯片設計過程中，芯片布局（chip placement）可以說是其中最復雜和耗時的步驟了。芯片設計周期的縮短有助于硬件設備適應機器學習領域的快速發展，那么，機器學習能否助力芯片設計呢？最近，谷歌提出了一種基于強化學習的芯片布局方法。
研究者將芯片布局看作一個強化學習問題，然后訓練智能體將芯片網表（netlist）的節點放置在芯片畫布（canvas）上。為了使強化學習策略泛化至新的芯片 block，研究者將表征學習置于預測芯片布局質量的監督任務中。通過設計能夠在大量網表及其布局上準確預測獎勵的神經架構，該研究生成輸入網表的豐富特征嵌入。然后利用該架構作為策略和價值網絡的編碼器，實現遷移學習。
該研究旨在最小化芯片設計的 PPA（功耗、性能和面積）。研究者稱，該方法能夠在 6 小時內完成芯片布局設計，布局質量超過或匹配人類設計，而現有的基線方法需要人類專家參與，且往往需要數周時間才能完成。
付費5元查看完整內容
林軒田機器學習基石這門課有一個配套教材：《Learning From Data》，林軒田也是編者之一。這本書的主頁為：Learning From Data，豆瓣上關于這本書的評分高達9.4，還是很不錯的，值得推薦！可以配套視頻一起學習。
機器學習允許計算系統根據從觀測數據中積累的經驗自適應地改進性能。其技術廣泛應用于工程、科學、金融、商業等領域。這本書是為機器學習的短期課程設計的。這是一門短期課程，不是倉促的課程。經過十多年的教材教學，我們提煉出了我們認為每個學生都應該知道的核心主題。我們選擇了“從數據中學習”這個標題，它忠實地描述了這個主題是關于什么的，并且以一種類似故事的方式覆蓋了這些主題。我們希望讀者能通過從頭到尾閱讀這本書來學習這門學科的所有基礎知識。
-
數據學習具有明顯的理論和實踐軌跡。在這本書中，我們平衡了理論和實踐，數學和啟發式。我們的納入標準是相關性。包括建立學習概念框架的理論，以及影響實際學習系統性能的啟發法。
-
從數據中學習是一個動態的領域。一些熱門的技術和理論有時只是一時的流行，而另一些獲得了牽引，成為該領域的一部分。我們在本書中強調的是必要的基礎知識，這些基礎知識使任何從數據中學習的學生有了堅實的基礎，并使他們能夠冒險去探索更多的技術和理論，或者貢獻自己的知識。
-
作者是加州理工學院(Caltech)、倫斯勒理工學院(RPI)和國立臺灣大學(NTU)的教授，這本書是他們廣受歡迎的機器學習課程的主要教材。作者還廣泛咨詢了金融和商業公司關于機器學習的應用，并在機器學習競賽中帶領獲勝團隊。
付費5元查看完整內容
【導讀】這本書對自動化機器學習（AutoML）的一般化方法進行了全面的闡述，并且收集了以這些方法為基礎的系統的描述和一系列關于自動化機器學習系統領域的挑戰。最近，機器學習在商業領域取得的成就和該領域的快速增長對機器學習產生了大量的需求，尤其是可以很容易地使用，并且不需要專家知識的機器學習方法。然而，當前許多表現優異的機器學習方法的大多都依賴人類專家去手動選擇適當的機器學習架構以及模型的超參數（深度學習架構或者更加傳統的機器學習方法）。為了克服這個問題，AutoML基于優化原理和機器學習本身去逐步實現機器學習的自動化。這本書可以為為研究人員和高年級學生提供一個進入這個快速發展的領域的切入點，同時也為打算在工作中使用AutoML的從業者提供參考。
第一部分 自動機器學習方法
每個機器學習系統都有超參數，而自動化機器學習最基本的任務就是自動設置這些超參數來優化性能。尤其是最近的深度神經網絡嚴重依賴對于神經網絡的結構、正則化和優化等超參數的選擇。自動優化超參數(HPO)有幾個重要的用例：?
- 減少機器學習應用過程中所需的人力。這在自動化機器學習（AutoML）的上下文中尤其重要。
- 提高機器學習算法的性能(根據實際問題調整算法);這已經在一些研究中對重要的機器學習基準方法產生了效果。
- 提高科學研究的再現性和公平性。自動化的HPO顯然比手工搜索更具可重復性。它使得不同的方法可以公平的比較，因為不同的方法只有在它們在相同級別的問題上調優時才能公平地進行比較。
第二部分 自動化機器學習系統
越來越多的非領域專家開始學習使用機器學習工具，他們需要非獨立的解決方案。機器學習社區通過開源代碼為這些用戶提供了大量復雜的學習算法和特征選擇方法，比如WEKA和mlr。這些開源包需要使用者做出兩種選擇：選擇一種學習算法，并通過設置超參數對其進行定制。然而想要一次性做出正確的選擇是非常具有挑戰性的，這使得許多用戶不得不通過算法的聲譽或直覺來進行選擇，并將超參數設置為默認值。當然，采用這種方法所獲得的性能要比最佳方法進行超參數設置差得多。
第三部分 自動化機器學習面臨的挑戰
直到十年之前，機器學習還是一門鮮為人知的學科。對于機器學習領域的科學家們來說，這是一個“賣方市場”:他們研究產出了大量的算法，并不斷地尋找新的有趣的數據集。大的互聯網公司積累了大量的數據，如谷歌，Facebook，微軟和亞馬遜已經上線了基于機器學習的應用，數據科學競賽也吸引了新一代的年輕科學家。如今，隨著開放性數據的增加，政府和企業不斷發掘機器學習的新的應用領域。然而，不幸的是機器學習并不是全自動的：依舊很難確定哪個算法一定適用于哪種問題和如何選擇超參數。完全自動化是一個無界的問題，因為總是有一些從未遇到過的新設置。AutoML面臨的挑戰包括但不限于：
- 監督學習問題（分類和回歸）
- 特征向量表示問題
- 數據集特征分布問題（訓練集，驗證集和測試集分布相同）
- 小于200兆字節的中型數據集
- 有限的計算資源
付費5元查看完整內容
機器學習速成課程 是 Google 在 google.cn 推出的一些了機器學習課程，針對初學者，只要有一些基礎的數學以及 python 知識，就可以開始快速入門。
這套教程可以幫你解決以下問題：
機器學習與傳統編程有何不同？
什么是損失，如何衡量損失？
梯度下降法的運作方式是怎樣的？
如何確定我的模型是否有效？
怎樣為機器學習提供我的數據？
如何構建深度神經網絡？
付費5元查看完整內容
課程介紹
在人工智能、統計學、計算機系統、計算機視覺、自然語言處理和計算生物學等許多領域中的問題，都可以被視為從局部信息中尋找一致的全局結論。概率圖模型框架為這些普遍問題提供了統一的視角解決方案，支持在具有大量屬性和龐大數據集的問題中進行有效的推理、決策和學習。本研究生課程將為您運用圖模型到復雜的問題和解決圖模型的核心研究課題提供堅實的基礎。
課程大綱
- 模塊1 - 簡介，表示形式和精確推斷
- 模塊2 - 近似推斷
- 模塊3 - 深度學習和生成模型
- 模塊4 - 通過GM中的推理進行強化學習和控制
- 模塊5 - 非參數方法
- 模塊6 - 模塊化和可擴展的算法和系統
講師：邢波
講師簡介
邢波，卡耐基梅隆大學教授，曾于2014年擔任國際機器學習大會（ICML）主席。主要研究興趣集中在機器學習和統計學習方法論及理論的發展，和大規模計算系統和架構的開發。他創辦了Petuum 公司，這是一家專注于人工智能和機器學習的解決方案研發的公司，騰訊曾投資了這家公司。
個人主頁：
付費5元查看完整內容
主題： Introduction to Machine Learning
課程簡介： 機器學習是指通過經驗自動提高性能的計算機程序（例如，學習識別人臉、推薦音樂和電影以及驅動自主機器人的程序）。本課程從不同的角度介紹機器學習的理論和實用算法。主題包括貝葉斯網絡、決策樹學習、支持向量機、統計學習方法、無監督學習和強化學習。本課程涵蓋理論概念，例如歸納偏差、PAC學習框架、貝葉斯學習方法、基于邊際的學習和Occam的剃刀。編程作業包括各種學習算法的實際操作實驗。這門課程的目的是讓一個研究生在方法論，技術，數學和算法方面有一個徹底的基礎，目前需要的人誰做的機器學習的研究。
邀請嘉賓： Hal Daumé III，紐約市微軟研究院的研究員，是機器學習小組的一員；他也是馬里蘭大學的副教授。他主要從事自然語言處理和機器學習。
Matt Gormley，卡內基梅隆大學計算機科學學院機器學習部（ML）助教。
Roni Rosenfeld，卡內基梅隆大學計算機學院機器學習系教授兼主任，個人主頁：//www.cs.cmu.edu/~roni/。等
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191