亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度強化學習(RL)在各個領域取得了顯著的成功，包括在圍棋和國際象棋等游戲中的使用。最近，深度多智能體強化學習(MARL)引起了廣泛關注，因為大量現實世界的問題可以自然地在MARL環境中表示。例如，自主車輛與無人機或機器人編隊的協調控制需要多個智能體根據局部觀察采取行動并協調其行為。然而，單智能體深度強化學習和多智能體深度強化學習都面臨著一個共同的挑戰:數據效率低和訓練時間長。本文向解決該問題邁出了一步:如何使(多智能體)深度強化學習更有效，即如何使用更少的數據和減少訓練時間?本文從五個方面解決深度強化學習的訓練時間長和數據效率低的問題:(1)并行高通量訓練;(2)更好的表示學習;(3)遷移學習;(4)高效探索;(5)訓練智能體以利用外部知識。對于1)，為了實現更高的強化學習訓練吞吐量，我們提出了一個快速強化學習訓練框架，該框架并行收集數據，而不犧牲強化學習算法的數據效率。對于2)，研究了圖卷積網絡的使用，以捕獲MARL中常用的集中式批評器的排列不變性質。我們發現這可以導致更有效的學習。研究了一種以物體為中心的表示，將多智能體RL算法擴展到復雜的視覺環境。3)為了讓強化學習智能體利用經過訓練的智能體的"知識"，本文提出了一個遷移學習框架，該框架允許學生模型利用多個教師模型的"知識"。我們發現這種遷移可以導致更快的學習。對于4)，研究了協調的多智能體探索，這允許智能體協調它們的探索努力，并更快地學習。最后，對于5)，本文提出了"知識詢問" (AFK)，一個學習生成語言命令以查詢有意義的知識的智能體，以更有效地解決給定的任務。綜上所述，本文研究了提高深度強化學習數據效率和訓練時間的方法。我們相信，通過更短的訓練時間和更好的數據效率，(多智能體)深度強化學習可以應用于各種現實世界的問題，本文提出的方法使我們更接近這一目標。

現代強化學習(RL)方法在各種應用中取得了巨大的成功。然而，由于過度的樣本復雜性負擔，具有大狀態空間和長規劃時界的強化學習問題仍然具有挑戰性，而我們目前對這類問題的理解相當有限。此外，RL中還有一些經典框架無法解決的重要問題。本文研究了上述問題，以建立對現代RL方法的更好理解。本文主要分為以下三個部分:

**第一部分:具有長期規劃時界的RL。**學習為長期時界做計劃是強化學習的一個核心挑戰，而一個基本問題是了解強化學習的難度如何隨著時界的增加而增加。在本文的第一部分中，我們證明了表格式強化學習是可能的，其樣本復雜度完全獨立于規劃周期，因此，長周期強化學習并不比短周期強化學習更難，至少在極大極小意義上是這樣。

**第二部分:具有大狀態空間的RL。**在現代RL方法中，函數逼近方案被部署來處理大型狀態空間。根據經驗，將RL算法與神經網絡相結合進行特征提取，在各種任務上取得了巨大的成功。然而，這些方法通常需要大量的樣本來學習一個好的策略，并且不清楚此類方法是否有基本的統計限制。在本文的第二部分，通過理論分析和實驗，研究了允許樣本有效強化學習的特征表示能力的充要條件。

**第三部分:其他環境下的強化學習。**經典的強化學習范式旨在最大化智能體獲得獎勵值時的累積獎勵。盡管能夠形式化一個龐大的序列決策問題族，但仍有一些重要的應用無法歸入經典框架。在本文的第三部分，我們研究了兩種新的設置，即無獎勵探索設置和具有一般目標函數的規劃，它們泛化了經典的框架。

神經架構搜索(NAS)是最近提出的一種自動設計網絡架構的方法。NAS不是手動設計網絡架構，而是以數據驅動的方式自動找到最佳架構。盡管NAS取得了令人印象深刻的進展，但在實踐中仍遠未被廣泛采用為架構設計的通用范式。本文旨在開發有原則的NAS方法，可以自動化神經網絡的設計，并盡可能減少人工在架構調優方面的工作。為了實現這一目標，我們專注于開發更好的搜索算法和搜索空間，這兩者對NAS的性能都很重要。

在搜索算法方面，首先提出了一種基于貝葉斯優化(BO)的高效NAS框架;本文提出一種方法來學習網絡體系結構域上的嵌入空間，使得為體系結構域定義一個核函數成為可能，這是將BO應用于NAS的必要組件。提出了一種鄰域感知的NAS公式，以提高NAS發現的體系結構的泛化性。所提出的公式具有足夠的通用性，適用于各種搜索算法，包括基于采樣的算法和基于梯度的算法。

對于搜索空間，本文首先將NAS擴展到發現卷積細胞以外的注意力細胞。本文提出一種時空注意力單元的搜索空間，以注意力操作為主要構建塊。所發現的注意力單元不僅優于人工設計的注意力單元，而且在不同模態、骨干或數據集上表現出很強的泛化能力。基于committee的模型(集合或級聯)是高效模型的一個被忽視的設計空間。從現成的預訓練模型中簡單地構建committee，可以匹配或超過最先進模型的精度，同時大大提高了效率。最后，通過對不同基于激光雷達的三維目標檢測算法的比較，指出了成本控制的重要性。其次，如果允許使用類似的延遲，一個通常被認為已經顯著超過的簡單基線在Waymo開放數據集上的性能幾乎可以與最先進方法的性能相匹配。

//www.ri.cmu.edu/publications/search-algorithms-and-search-spaces-for-neural-architecture-search/

自主決策系統正變得越來越普遍，我們越來越依賴這些系統為我們執行行動。以前，我們主要使用算法來完成簡單的預測任務。目前，我們遇到它們在順序決策場景中導航，在這些場景中，它們被精心設計來選擇導致理想狀態下最大預期性能的行動序列。隨著數據的廣泛可用性、計算能力的提高和學習算法的進步，機器學習正在成為傳統專家精心設計的解決方案的可行替代方案。機器能夠從數據中學習，并建立世界的表示來指導它們的行動。近年來，人工神經網絡已成為非常流行的函數逼近方法。從自動語言翻譯到自動駕駛汽車，計算機智能的許多驚人成就都是基于神經網絡的。特別是，它們與強化學習(RL)的結合使機器能夠學習復雜順序問題的解決方案。 與傳統軟件不同的是，人類幾乎不可能理解神經網絡實現的邏輯，這使得它們成為不透明的模型，并可能阻止它們在安全或關鍵任務應用中使用。在很多情況下，僅僅運行模擬還不足以讓人們對它們建立信心，因為一個故障就可能導致災難性的后果。本文的工作解決了在具有神經網絡組件的機器學習系統中建立信任的挑戰。我們首先介紹神經網絡驗證，這是一種驗證網絡是否具有所需屬性的過程。我們介紹了神經網絡驗證的最新進展，包括我們自己的貢獻，并表明，盡管取得了進展，驗證仍然是一個非常具有挑戰性的問題，目前的算法難以擴展到大型網絡。然后，我們提出了一種可選的方法，該方法將驗證需求合并到模型的設計中。更簡單的模型更容易驗證，我們證明了一些問題可以用二值化神經網絡(BNNs)解決，明顯更簡單的模型，參數可以用1位表示，具有與全精度模型相似的性能。我們提出并演示了一種簡單的混合整數規劃方法來驗證它們，并表明該方法具有良好的可擴展性。最后，我們提出了一種深度強化學習算法，類似于使用BNN作為函數逼近器的深度Q學習算法。我們再次表明，這種方法能夠犧牲少量性能，并獲得可擴展的驗證。

構建高性能的端到端機器學習系統主要包括開發機器學習模型和為感興趣的應用程序收集高質量的訓練數據(假設一個人可以訪問正確的硬件)。盡管在過去幾年里，隨著開源平臺的興起，機器學習模型變得越來越商品化，但管理高質量的標記訓練數據集對許多現實世界的應用來說仍然是昂貴的或不可行的。因此，我們在本文中主要關注數據，特別是如何** (1)通過注入領域特定的先驗知識或利用已為不同任務創建的現有軟件系統和數據集，使用數據高效的機器學習方法減少對標記數據的依賴，(2)有效管理訓練數據并構建相關工具，以最大化數據的效用，(3)通過將數據的結構與嵌入空間的幾何形狀進行匹配，提高嵌入所實現的數據表示的質量**。

我們首先描述了我們在構建數據高效的機器學習方法方面的工作，通過物理驅動的一致性訓練增強、尺度等變展開神經網絡和使用未經訓練的神經網絡弱監督來加速磁共振成像(MRI)重建。然后，我們描述了我們在構建用于自然語言理解的數據高效機器學習方法方面的工作。特別地，我們討論了一種監督對比學習方法用于預訓練的語言模型微調和一種大規模數據增強方法來檢索領域數據。與有效管理訓練數據相關，我們討論了我們提出的用于類表單文檔gather的信息提取系統，并重點討論了訓練數據管理和相關工具中經常被忽略的方面。我們強調了有效管理訓練數據的重要性，表明它至少與機器學習模型在真實數據集的下游提取性能方面的進展一樣關鍵。最后，為了改進各種類型數據的嵌入表示，我們研究了具有異質曲率的空間。我們展示了混合曲率表示為圖和詞嵌入提供了更高質量的表示。此外，我們還研究了如何將Wikidata知識圖譜中的實體嵌入到一個抽象的文本摘要模型中，以增強其真實性。

如何對不同設置下的序列數據建模是一個跨許多領域的重要機器學習問題，包括對時間序列數據、自然語言文本和事件流的預測。不同字段中的順序數據通常具有不同的特征。例如，自然語言文本可以被視為一個離散變量的序列，而傳感器網絡信號可以被視為一個連續向量空間中的多變量序列。為了在各種各樣的現實世界領域中開發成功的神經網絡模型，我們需要根據數據和問題的性質定制架構和算法。本文設計了新穎高效的神經網絡解決方案，用于序列建模和應用。具體來說，這些貢獻可以分為四部分。

第一部分重點研究了多變量序列數據中變量之間的相關性，如多傳感器的時間序列，并提出了新的算法，即深度可分圖卷積網絡(DSGC)(第二章)[60]和分解遞歸神經網絡(FRNN)(第三章)[63]，以利用相關模式，提高預測精度。

第二部分側重于將人類先驗知識用于時序數據依賴模式的時間建模。具體地說，我們提出了一種新的方法，命名為長期和短期時間序列網絡(LSTNet)(第4章)[59]，它被證明是特別有效的捕獲各種周期模式在不同的應用。

第三部分著重于序列分類任務中Transformers 的高效算法。具體來說，通過識別常用的Transformer架構中的計算冗余，并提出一種新的替代方案，即漏斗Transformers (第5章)[27]，我們實現了更好的計算與精度之間的權衡。

第四部分側重于事件之間時間關系的建模/預測，其中的主要挑戰是從稀疏標記的數據中有效學習。我們通過結合高級數據增強、半監督學習和人類先驗知識的引入來應對這一挑戰(第6章)。因此，我們大大提高了這項任務的最先進性能。

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

AutoML: A Survey of the State-of-the-Art

深度學習已經滲透到我們生活的方方面面，給我們帶來了極大的便利。然而，針對某一特定任務構建高質量的深度學習系統的過程不僅耗時，而且需要大量的資源和人力，阻礙了深度學習在產業界和學術界的發展。為了緩解這一問題，越來越多的研究項目關注于自動化機器學習(AutoML)。在本文中，我們提供了一個全面的和最新的研究，在最先進的汽車。首先，根據機器學習的特點，詳細介紹了自動化技術。在此基礎上，總結了神經結構搜索(NAS)的研究現狀，這是目前自動化領域研究的熱點之一。我們還將NAS算法生成的模型與人工設計的模型進行了比較。最后，提出了有待進一步研究的幾個問題。