【導讀】Imitation Learning（模仿學習）機器學習新的研究熱點之一，因其能很好的解決強化學習中的多步決策（sequential decision）問題，近段時間得到了廣泛關注。那么模仿學習近期的前沿進展如何呢，來自加州理工大學的Yisong Yue在DAI'20 Workshop，做了名為《Towards Real-World Imitation Learning: Animation, Sports Analytics, Robotics, and More講座。新鮮出爐的PPT，一起來看看吧。
簡介：
隨著時空跟蹤和傳感數據的不斷增長，現在人們可以在大范圍內分析和建模細粒度行為。例如，收集每一場NBA籃球比賽的跟蹤數據，包括球員、裁判和以25hz頻率跟蹤的球，以及帶注釋的比賽事件，如傳球、投籃和犯規。其他設置包括實驗室動物、公共空間中的人、手術室等設置中的專業人員、演員的演講和表演、虛擬環境中的數字化身、自然現象(如空氣動力學)，甚至其他計算系統的行為。
在這次演講中，我將描述正在進行的研究，即開發結構化模仿學習方法來開發細粒度行為的預測模型。模仿學習是機器學習的一個分支，研究模仿動態演示行為。結構化模仿學習涉及到使用數學上嚴格的領域知識，這些知識可以(有時是可以證明的)加速學習，還可以提供附加的好處(如Lyapunov穩定性或策略行為的可解釋性)。我將提供基本問題設置的高級概述，以及在動物建模、專業運動、語音動畫等項目。
付費5元查看完整內容
相關內容
模仿學習是學習嘗試模仿專家行為從而獲取最佳性能的一系列任務。目前主流方法包括監督式模仿學習、隨機混合迭代學習和數據聚合模擬學習等方法。模仿學習（Imitation Learning）背后的原理是是通過隱含地給學習器關于這個世界的先驗信息，比如執行、學習人類行為。在模仿學習任務中，智能體（agent）為了學習到策略從而盡可能像人類專家那樣執行一種行為，它會尋找一種最佳的方式來使用由該專家示范的訓練集（輸入-輸出對）。當智能體學習人類行為時，雖然我們也需要使用模仿學習，但實時的行為模擬成本會非常高。與之相反，吳恩達提出的學徒學習（Apprenticeship learning）執行的是存粹的貪婪/利用（exploitative）策略，并使用強化學習方法遍歷所有的（狀態和行為）軌跡（trajectories）來學習近優化策略。它需要極難的計略（maneuvers），而且幾乎不可能從未觀察到的狀態還原。模仿學習能夠處理這些未探索到的狀態，所以可為自動駕駛這樣的許多任務提供更可靠的通用框架。
實驗設計幾乎是所有研究學科的標志。在許多場景中，一個重要的挑戰是如何在大型行動/設計空間中自動設計實驗。此外，這種程序的適應性也很重要，即適應之前實驗的結果。在這次演講中，我將描述在自適應實驗設計中使用數據驅動算法技術的最新進展，也被稱為主動學習和機器學習社區中的貝葉斯優化。基于高斯過程(GP)框架，我將描述個性化臨床治療和納米光子結構設計中的案例研究。在這些應用的驅動下，我將展示如何將現實世界的考慮因素，如安全、偏好啟發和多逼真度實驗設計納入GP框架，并使用新的算法、理論保證和經驗驗證。如果時間允許，我還將簡要概述一些其他案例研究。
付費5元查看完整內容
因果學習
因果推理在許多領域都很重要，包括科學、決策制定和公共政策。確定因果關系的金標準方法使用隨機控制擾動實驗。然而，在許多情況下，這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇，也就是說，從通過觀察感興趣系統獲得的數據中獲得而不使其受到干預。在這次演講中，我將討論從觀察數據中進行因果學習的方法，特別關注因果結構學習和變量選擇的結合，目的是估計因果效果。我們將用例子來說明這些概念。
付費5元查看完整內容
傳感器和移動設備的最新進展使城市軌道數據的可用性和收集量空前增加，從而增加了對更有效地管理和分析正在產生的數據的方法的需求。在本次綜述中，我們全面回顧了軌跡數據管理的最新研究趨勢，包括軌跡預處理、軌跡存儲、常用的軌跡分析工具，如查詢空間和空間文本的軌跡數據，以及軌跡聚類。我們還探討了四種密切相關的分析任務，它們通常用于交互式或實時處理的軌跡數據。并首次回顧了深度軌跡學習。最后，我們概述了軌道管理系統應具備的基本質量，以最大限度地提高靈活性。
付費5元查看完整內容
主題： Causal Confusion in Imitation Learning
簡介： 行為克隆通過訓練判別模型來預測觀察到的專家行為，從而將策略學習轉換為監督學習，這樣的判別模型不是因果關系，因為訓練過程并不了解專家與環境之間相互作用的因果結構。我們認為，由于模仿學習中的分布變化，忽略因果關系尤其有害。特別是，這會導致違反直覺的“因果識別錯誤”現象：訪問更多信息可能會導致性能下降。我們調查了此問題的產生方式，并提出了一種解決方案，可通過有針對性的干預措施（環境互動或專家查詢）來解決，以確定正確的因果模型。
嘉賓介紹： Dinesh Jayaraman，賓夕法尼亞大學的新任助理教授，還是Facebook AI Research的客座研究員，致力于視覺和機器人技術的交叉問題，在此之前，曾是加州大學伯克利分校伯克利人工智能研究實驗室的博士后。
Pim de Haan，高通 AI的助理研究員，研究方向機器學習和數學幾何的交叉。
付費5元查看完整內容
報告主題： 模仿學習前沿進展
報告摘要： 時空跟蹤和傳感數據的不斷發展，現在使得在廣泛的領域中對細粒度的行為進行分析和建模成為可能。例如，現在正在收集每場NBA籃球比賽的跟蹤數據，其中包括球員，裁判和以25 Hz跟蹤的球，以及帶有注釋的比賽事件，如傳球，射門和犯規。其他設置包括實驗動物，公共場所的人員，設置諸如手術室，演員講話和表演的演員，虛擬環境中的數字化身，自然現象（如空氣動力學）以及其他計算系統的行為等專業人員。 在本演講中，我將描述正在進行的研究，這些研究正在開發結構化模仿學習方法，以開發細粒度行為的預測模型。模仿學習是機器學習的一個分支，它處理模仿模仿的動態行為的學習。結構化模仿學習涉及施加嚴格的數學領域知識，這些知識可以（有時被證明）可以加速學習，并且還可以帶來附帶利益（例如Lyapunov穩定性或政策行為的可解釋性）。我將提供基本問題設置的高級概述，以及對實驗動物，專業運動，語音動畫和昂貴的計算神諭進行建模的特定項目。
嘉賓介紹： Yisong Yue，博士，是加州理工學院計算與數學科學系的助理教授。他以前是迪斯尼研究院的研究科學家。在此之前，他是卡耐基梅隆大學機器學習系和iLab的博士后研究員。 Yisong的研究興趣主要在于統計機器學習的理論和應用。他對開發用于交互式機器學習和結構化機器學習的新穎方法特別感興趣。過去，他的研究已應用于信息檢索，推薦系統，文本分類，從豐富的用戶界面中學習，分析隱式人類反饋，臨床治療，輔導系統，數據驅動的動畫，行為分析，運動分析，實驗設計科學，優化學習，機器人技術政策學習以及自適應計劃和分配問題。
付費5元查看完整內容
編寫機器人程序仍然是出了名的困難。讓機器人具備學習的能力，就可以繞過那些通常需要耗費大量時間來完成特定任務的編程工作。這個演講將描述最近在深度強化學習(機器人通過自己的嘗試和錯誤學習)、學徒學習(機器人通過觀察人學習)和元學習(機器人學習學習)方面的進展。這項工作使機器人在操作、移動和飛行方面有了新的能力，這些領域的進步都是基于相同的方法。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191