亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多模態信息抽取，Multi-modal Information Extraction from Text, Semi-structured, and Tabular Data on the Web

Organizers: Xin Luna Dong, Hannaneh Hajishirzi, Colin Lockard and Prashant Shiralkar

萬維網以多種形式包含大量的文本信息:非結構化文本、基于模板的半結構化網頁(以鍵-值對和列表的形式呈現數據)和表格。從這些資源中提取信息并將其轉換為結構化形式的方法一直是自然語言處理(NLP)、數據挖掘和數據庫社區研究的目標。雖然這些研究人員已經很大程度上根據數據的模態將web數據的提取分離到不同的問題中，但他們也面臨著類似的問題，比如使用有限的標記數據進行學習，定義(或避免定義)本體，利用先驗知識，以及針對web規模的縮放解決方案。在本教程中，我們將從整體的角度來看待信息抽取，探索挑戰中的共性，以及為解決這些不同形式的文本而開發的解決方案。

地址：

//sites.google.com/view/acl-2020-multi-modal-ie

【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習計算機視覺。

繼上一講之后，DeepMind研究科學家Viorica Patraucean介紹了圖像分類之外的經典計算機視覺任務(目標檢測、語義分割、光流估計)，并描述了每種任務的最新模型以及標準基準。她討論了視頻處理任務的類似模型，如動作識別、跟蹤和相關挑戰。她特別提到了最近提高視頻處理效率的工作，包括使用強化學習的元素。接下來，她介紹了單模態和多模態(vision+audio, visio+language)自監督學習的各種設置，在這些設置中，大規模學習是有益的。最后，Viorica討論了視覺中的開放問題，以及計算機視覺研究在構建智能代理這一更廣泛目標中的作用。

【導讀】機器學習暑期學校(MLSS)系列開始于2002年，致力于傳播統計機器學習和推理的現代方法。今年因新冠疫情在線舉行，從6月28號到7月10號講述了眾多機器學習主題。本文推薦來自米蘭大學Nicoló Cesa-Bianchi教授講述《統計學習理論》，非常干貨，包括：

• 統計學習的簡介
• 從統計學習到序列決策
• 專家意見和多武裝強盜的預測
• 在線凸優化
• 上下文老虎機算法

【導讀】來自加州大學圣地亞哥分校《計算機視覺中的領域自適應》中生成式對抗網絡GAN介紹

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題