計算機視覺在深度學習時代取得了快速的進步。這在很大程度上歸功于大規模標記數據的可用性,加上GPU計算。然而,計算機視覺模型在一個領域上訓練,比如白天的圖像,通常不能泛化到新的領域,比如晚上獲得的圖像。為所有可能的場景標記數據是昂貴的,但是未標記的數據更容易獲得。在本課程中,我們將學習無監督領域適應的概念,并應用于各種計算機視覺問題,如圖像分類、語義分割、目標檢測、人臉識別和三維重建。
本課程將涵蓋領域適應的各種主題,包括:
這些方法將應用于計算機視覺中的幾個問題,如:
【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習計算機視覺。
繼上一講之后,DeepMind研究科學家Viorica Patraucean介紹了圖像分類之外的經典計算機視覺任務(目標檢測、語義分割、光流估計),并描述了每種任務的最新模型以及標準基準。她討論了視頻處理任務的類似模型,如動作識別、跟蹤和相關挑戰。她特別提到了最近提高視頻處理效率的工作,包括使用強化學習的元素。接下來,她介紹了單模態和多模態(vision+audio, visio+language)自監督學習的各種設置,在這些設置中,大規模學習是有益的。最后,Viorica討論了視覺中的開放問題,以及計算機視覺研究在構建智能代理這一更廣泛目標中的作用。
【導讀】來自加州大學圣地亞哥分校《計算機視覺中的領域自適應》中生成式對抗網絡GAN介紹
借助現代的高容量模型,大數據已經推動了機器學習的許多領域的革命,但標準方法——從標簽中進行監督學習,或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富,獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的,結構化輸出(場景解釋、交互、演示)要糟糕得多,尤其是當數據分布是非平穩的時候。
自監督學習是一個很有前途的替代方法,其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習,這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。
自監督學習(self-supervised learning, SSL)領域正在迅速發展,這些方法的性能逐漸接近完全監督方法。
計算機科學正在發展,以利用新的硬件,如GPU、TPUs、CPU和大型商品集群。許多子領域,如機器學習和優化,已經調整了它們的算法來處理這樣的集群。
課程主題包括分布式和并行算法: 優化、數值線性代數、機器學習、圖分析、流式算法,以及其他在商用集群中難以擴展的問題。該類將重點分析程序,并使用Apache Spark和TensorFlow實現一些程序。
本課程將分為兩部分: 首先,介紹并行算法的基礎知識和在單多核機器上的運行時分析。其次,我們將介紹在集群機器上運行的分布式算法。
地址: //stanford.edu/~rezab/dao/
主講:
Reza Zadeh是斯坦福大學計算與數學工程學院的客座教授,同時也是Matroid公司的CEO。他的主要工作集中于機器學習理論與應用,分布式計算,以及離散數學。
課程目錄:
【簡介】知識圖譜是一種組織知識并提供智能應用有效的方式。常識知識圖譜如何在計算機視覺中發揮作用,從識別跨越到認知?華盛頓大學Yejin Choi博士一直研究視覺常識推理的研究,讓我們來學習如何用常識圖譜在CV建模提升認知。
地址鏈接:
//mosaic.allenai.org/projects/commonsense-knowledge-graphs
Yejin Choi是華盛頓大學Paul G. Allen計算機科學與工程學院副教授,語言學系副教授,統計與社會科學中心副研究員。她也是艾倫人工智能研究所的高級研究經理。她是2013年ICCV的Marr獎(最佳論文獎)的共同接受者,2018年Borg Early Career award (BECA)的接受者,并被提名為2016年IEEE AI的10大看點之一。她在康奈爾大學獲得了計算機科學博士學位(導師:Claire Cardie教授),并在韓國首爾國立大學獲得了計算機科學與工程學士學位。
什么是常識?
我們能從識別過渡到認知嗎?
ATOMIC: An Atlas of Machine Commonsense for If-Then Reasoning
知識圖譜為常識性概念的表示提供了一種半結構化的方法。這種結構所提供的視角不同于其他知識來源,比如大規模的文本語料庫;然而,要表示何種類型的知識和如何更好的把他們融合到現有的神經網絡模型中依舊是一個有待研究的課題。ATOMIC主要關注由if-then這種類型的關系所組成的變量之間的知識推理。作者提出了九種if-then形式的關系類型來區分原因VS結果,代理VS主題,自愿事件VS非自愿事件,行為VS精神狀態。基于ATOMIC所描述的豐富的知識推理所生成的訓練集,作者證明了神經網絡模型可以擁有基本的常識,并對以前未見過的事件進行推理。
通過對給定的事件進行觀察,人們可以很容易的預測或者推斷一些未觀察到的事件的發生原因和結果:之前什么時候發生的?接下來的結果會是什么?不同的事件是如何通過因果聯系在一起的?如上圖,如果我們觀察到事件“”X擊退了Y的攻擊“,我們可以立刻推斷出圍繞這件事情的各種可信的事實。
上面的例子說明了日常生活中常識推理是如何通過一系列緊密相連的推理知識所實現的。通過這些推理知識,我們可以看一部兩個小時的電影,理解一個跨越幾個月的故事,也就是說我們只觀察到了其中的一小部分,就對大量的事件、原因和結果進行推理。然而,這種能力雖然對人類來說很普通,但現在的人工智能系統卻遠遠沒有達到這種程度。這在一定程度上是因為絕大多數人工智能系統都是針對特定任務的數據集和目標進行訓練,從而導致模型能夠有效地找到特定任務之間的相關性,但這種推理缺乏可解釋性。因此,作者提出了ATOMIC: 一種機器推理的圖譜,用來處理豐富的知識推理,這對于自動進行常識推理至關重要。
COMeT: Commonsense Transformers for Automatic Knowledge Graph Construction