亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文針對圖上的異常檢測代表性論文做了講解。

【導讀】ACL-IJCNLP 2021是CCF A類會議，是人工智能領域自然語言處理（ Natural Language Processing，NLP）方向最權威的國際會議。ACL2021計劃于今年8月1日-8月6日以線上會議形式召開. 最近字節跳動AI實驗室總監李磊重返學術界，進入加州大學圣巴巴拉分校擔任助理教授。他和王明軒給了關于預訓練時代機器翻譯的教程，非常值得關注！

預訓練是自然語言處理(NLP)[28,8,20]、計算機視覺(CV)[12,34]和自動語音識別(ASR)[3,6,24]的主導范式。通常，首先對模型進行大量未標記數據的預訓練，以捕獲豐富的輸入表示，然后通過提供上下文感知的輸入表示，或初始化下游模型的參數進行微調，將模型應用于下游任務。最近，自監督的預訓練和任務特定的微調范式終于完全達到了神經機器翻譯(NMT)[37,35,5]。

盡管取得了成功，但在NMT中引入一個通用的預訓練模型并非易事，而且不一定會產生有希望的結果，特別是對于資源豐富的環境。在幾個方面仍然存在獨特的挑戰。首先，大多數預訓練方法的目標不同于下游的NMT任務。例如，BERT[8]是一種流行的預訓練模型，其設計目的是僅使用一個轉換器編碼器進行語言理解，而NMT模型通常由一個編碼器和一個解碼器組成，以執行跨語言生成。這一差距使得運用NMT[30]的預訓練不夠可行。此外，機器翻譯本身就是一個多語言問題，但一般的NLP預訓練方法主要集中在英語語料庫上，如BERT和GPT。鑒于遷移學習在多語言機器翻譯中的成功，對NMT[7]進行多語言預訓練是非常有吸引力的。最后，語音翻譯近年來受到了廣泛的關注，而大多數的預訓練方法都側重于文本表示。如何利用預訓練的方法來提高口語翻譯水平成為一個新的挑戰。

本教程提供了一個充分利用神經機器翻譯的預訓練的全面指導。首先，我們將簡要介紹NMT的背景、預訓練的方法，并指出將預訓練應用于NMT的主要挑戰。在此基礎上，我們將著重分析預訓練在提高非語言教學績效中的作用，如何設計更好的預訓練模式來執行特定的非語言教學任務，以及如何更好地將預訓練模式整合到非語言教學系統中。在每一部分中，我們將提供例子，討論訓練技巧，并分析在應用預訓練時轉移了什么。

第一個主題是NMT的單語預訓練，這是研究最深入的領域之一。ELMo、GPT、MASS和BERT等單語文本表征具有優勢，顯著提高了各種自然語言處理任務的性能[25,8,28,30]。然而，NMT有幾個明顯的特點，如大的訓練數據(1000萬或更多)的可用性和基線NMT模型的高容量，這需要仔細設計預訓練。在這一部分，我們將介紹不同的預訓練方法，并分析它們在不同的機器翻譯場景(如無監督的NMT、低資源的NMT和富資源的NMT)中應用的最佳實踐[37,35]。我們將介紹使用各種策略對預訓練的模型進行微調的技術，如知識蒸餾和適配器[4,16]。

下一個話題是NMT的多語言預訓練。在此背景下，我們旨在緩解英語為中心的偏見，并建議可以建立不同語言的普遍表示，以改善大量多語言的NMT。在這部分中，我們將討論不同語言的一般表示，并分析知識如何跨語言遷移。這將有助于更好地設計多語言預訓練，特別是零樣本遷移到非英語語言對[15,27,7,26,13,17,19,23,18]。

本教程的最后一個技術部分是關于NMT的預訓練。特別地，我們關注于利用弱監督或無監督訓練數據來改進語音翻譯。在這一部分中，我們將討論在言語和文本中建立一個一般表示的可能性。并展示了文本或音頻預處理訓練如何引導NMT的文本生成[33,21,32,14,22,10,9,11,36]。

在本教程的最后，我們指出了在應用NMT預訓練時的最佳實踐。這些主題涵蓋了針對不同的NMT情景的各種預訓練方法。在本教程之后，觀眾將理解為什么NMT預訓練不同于其他任務，以及如何充分利用NMT預訓練。重要的是，我們將深入分析預訓練如何以及為什么在NMT中起作用，這將為未來設計特定的NMT預訓練范式提供啟發。

//sites.cs.ucsb.edu/~lilei/TALKS/2021-ACL/

報告嘉賓：

李磊，加州大學圣巴巴拉分校擔任助理教授，曾任字節跳動人工智能實驗室總監。本科博士分別畢業于上海交通大學和卡耐基梅隆大學計算機系。曾任加州大學伯克利分校作博士后研究員和百度美國深度學習實驗室少帥科學家。曾獲2012年美國計算機學會SIGKDD最佳博士論文第二名、2017年吳文俊人工智能技術發明二等獎、2017年CCF杰出演講者、2019年CCF青竹獎。在機器學習、數據挖掘和自然語言處理領域于國際頂級學術會議發表論文100余篇，擁有二十余項技術發明專利。擔任CCF自然語言處理專委委員和EMNLP, NeurIPS, AAAI, IJCAI, KDD等多個會議組委成員和領域主席。

王明軒，字節跳動人工智能實驗室資深研究員，博士畢業于中國科學院計算技術研究所，主要研究方向為機器翻譯。主導研發了火山翻譯系統，服務全球過億用戶，并多次帶領團隊在 WMT 機器翻譯評測中拿到過冠軍。在 ACL、EMNLP、NAACL 等相關領域發表論文 30 多篇。擔任CCF自然語言處理專委委員和國內外多個會議組委成員。

本教程將是關于無監督學習和強化學習的交叉。隨著自然語言處理中基于語言模型的預訓練和計算機視覺中的對比學習的出現，無監督學習(UL)在過去幾年中真正得到了發展。在這些領域中，無監督預訓練的一些主要優勢是在下游有監督學習任務中出現的數據效率。在如何將這些技術應用于強化學習和機器人方面，社區中有很多人感興趣。考慮到問題的連續決策性質，RL和機器人技術比被動地從互聯網上的圖像和文本中學習面臨更大的挑戰，它可能不會那么簡單。本教程將涵蓋如何在強化學習中應用和使用無監督學習的基本模塊，希望人們可以帶回最新的最先進的技術和實踐的知識，以及在這個具有挑戰性和有趣的交叉領域的廣泛的未來可能性和研究方向。

//icml.cc/Conferences/2021/Schedule

本教程針對的是對幫助機器理解自然語言文本的人工智能技術感興趣的研究人員和從業者，特別是文本中描述的真實世界事件。這些方法包括提取關于一個事件的主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將為讀者提供一個系統的介紹 (i) 事件的知識表示，(ii) 自動提取、概念化和預測事件及其關系的各種方法，(iii) 事件過程和屬性的歸納，和(iv) 廣泛的NLU和常識性理解任務。我們將通過概述這一領域中出現的研究問題來結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202108/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘述預測得益于學習事件的因果關系，從而預測故事接下來會發生什么;機器理解文檔可能包括理解影響股市的事件、描述自然現象或識別疾病表型。事實上，事件理解在諸如開放領域問答、意圖預測、時間軸構建和文本摘要等任務中也有廣泛的重要應用。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件的關系，它描述了事件的隸屬關系、共參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及到它的參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中關于以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了引入用于事件抽取的部分標簽和無監督學習方法外，我們還將討論最近用于從文本中抽取多面事件-事件關系的約束學習和結構化推理方法。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠距離監督方法如何幫助解決時間和因果常識對事件的理解，以及如何運用它們來構建大規模的事件知識庫。參與者將了解這個主題的最新趨勢和新出現的挑戰，代表性工具和學習資源，以獲得即用模型，以及相關模型和技術如何使最終使用NLU應用程序受益。

目錄內容：

• 引言
• 事件信息提取
• 事件過程預測
• 事件知識獲取
• 事件摘要
• 事件研究問題

對話人工智能系統通過完成用戶請求或進行簡單的聊天與人類用戶進行交互。這些系統的應用范圍從個人幫助、健康幫助到客戶服務等等。在這個由三部分組成的教程中，我們將首先概述最先進的模塊化對話AI方法，這些方法通常被面向任務的對話系統所采用。然后，我們將概述當前基于序列到序列、生成的對話AI方法。我們將討論普通的基于生成的模型的挑戰和缺點，如缺乏知識、一致性、同理心、可控性、多功能性等。然后我們將強調當前的工作，以解決這些挑戰，并在改進深度生成為基礎的ConvAI。在本教程的最后一部分，我們將指出對話AI的挑戰和未來研究的可能方向，包括如何減輕不適當的回復和終身學習。我們還將概述模塊化和基于生成的對話AI的共享任務和公開可用資源。

//nips.cc/Conferences/2020/Schedule?showEvent=16657

來自UIUC的Transformers最新教程。

Transformer 架構 architecture Attention models Implementation details Transformer-based 語言模型 language models BERT GPT Other models

Transformer 視覺 Applications of Transformers in vision

注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們定義了用于自然語言處理的注意力體系結構的統一模型，重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面，注意力機制的可能用途，并描述了該領域的主要研究工作和公開挑戰。

//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述，特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法，如何有效地使用這些模式來做出更好的決策，以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式，以及在設計未來的MBRL系統時，從人類認知中可以得到什么啟示。

//sites.google.com/view/mbrl-tutorial

近年來，強化學習領域取得了令人印象深刻的成果，但主要集中在無模型方法上。然而，社區認識到純無模型方法的局限性，從高樣本復雜性、需要對不安全的結果進行抽樣，到穩定性和再現性問題。相比之下，盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力，但在機器學習社區中，這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰，以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用，如AlphaGo，我們認為對這一主題的全面理解是非常及時的需求。在教程結束時，觀眾應該獲得:

• 數學背景，閱讀并跟進相關文獻。
• 對所涉及的算法有直觀的理解(并能夠訪問他們可以使用和試驗的輕量級示例代碼)。
• 在應用基于模型的方法時所涉及到的權衡和挑戰。
• 對可以應用基于模型的推理的問題的多樣性的認識。
• 理解這些方法如何適應更廣泛的強化學習和決策理論，以及與無模型方法的關系。

【導讀】小樣本學習是一類重要的機器學習方法，旨在解決數據缺少的情況下如何訓練模型的問題。在CVPR2020的Tutorial，來自valeo.ai的學者給了Spyros Gidaris關于小樣本學習的最新教程報告。

在過去的幾年里，基于深度學習的方法在圖像理解問題上取得了令人印象深刻的效果，如圖像分類、目標檢測或語義分割。然而，真實字計算機視覺應用程序通常需要模型能夠(a)通過很少的注釋例子學習，(b)不斷適應新的數據而不忘記之前的知識。不幸的是，經典的監督深度學習方法在設計時并沒有考慮到這些需求。因此，計算機視覺的下一個重大挑戰是開發能夠解決這方面現有方法的重要缺陷的學習方法。本教程將介紹實現這一目標的可能方法。小樣本學習(FSL)利用先驗知識，可以快速地泛化到只包含少量有監督信息的樣本的新任務中。

//annotation-efficient-learning.github.io/

目錄內容：

• 概述
• 小樣本學習種類
• 度量學習
• 帶記憶模塊的元學習
• 基于優化的元學習
• 學習預測模型參數
• 無遺忘小樣本學習
• 結論

Deep Reinforcement Learning via Policy Optimization