亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本教程的目標讀者是對幫助機器理解自然語言文本(特別是文本中描述的真實事件)的人工智能技術感興趣的研究人員和實踐者。這些方法包括提取一個事件關于其主角、參與者和屬性的內部結構，以及關于多個事件的成員關系、時間和因果關系的外部結構。本教程將向讀者系統地介紹(i)事件的知識表示，(ii)自動提取、概念化和預測事件及其關系的各種方法，(iii)事件過程和屬性的歸納，以及(iv)大量受益于上述技術的NLU和常識理解任務。我們將概述這一領域中出現的研究問題，以此結束本教程。

//cogcomp.seas.upenn.edu/page/tutorial.202102/

人類語言總是涉及對現實世界事件的描述。因此，對事件的理解在自然語言理解中起著至關重要的作用。例如，敘事預測可以通過學習事件的因果關系來預測故事接下來會發生什么;機器理解文件可能包括理解影響股票市場的事件，描述自然現象或識別疾病表型。事實上，事件理解在諸如開放域問題回答、意圖預測、時間軸構建和文本摘要等任務中也廣泛地發現了它的重要用例。由于事件不只是簡單的、獨立的謂詞，對事件理解的前沿研究通常面臨兩個關鍵挑戰。一個挑戰是精確地歸納事件之間的關系，這些關系描述了事件的成員關系、共同參照、時間順序和因果關系。另一種是理解事件的內在結構和屬性，涉及其參與者、粒度、位置和時間。

在本教程中，我們將全面回顧文獻中以事件為中心的知識表示的現有范式，并關注它們對NLU任務的貢獻。除了介紹事件提取的部分標簽和無監督學習方法外，我們還將討論最近的約束學習和結構化推理方法，用于從文本中提取多方面的事件-事件關系。我們還將回顧最近用于事件預測任務的數據驅動方法，包括事件過程歸納和概念化，以及以事件為中心的語言模型如何有利于敘事預測。此外，我們將說明遠程監督的方法如何幫助解決對事件的時間和因果常識的理解，以及如何應用它們來構建大規模的可能性知識庫。與會者將了解該主題的最新趨勢和新出現的挑戰，獲得現成模型的代表性工具和學習資源，以及相關模型和技術如何有利于最終使用的NLU應用。

元學習可以讓機器學習新的算法。這是一個新興且快速發展的機器學習研究領域，對所有人工智能研究都有影響。最近的成功案例包括自動模型發現、少槍學習、多任務學習、元強化學習，以及教機器閱讀、學習和推理。正如人類不會從頭開始學習新任務，而是利用之前所學的知識一樣，元學習是高效和穩健學習的關鍵。本教程將介紹該領域及其應用的重要數學基礎，包括這個領域中當前技術水平的關鍵方法，該領域對眾多AAAI參與者來說越來越重要。

//sites.google.com/mit.edu/aaai2021metalearningtutorial

內容目錄：

• 元學習導論
• 多任務學習
• 元學習
• 自動機器學習
• 應用

大多數大型在線推薦系統，如新聞推送排名、人員推薦、工作推薦等，通常都有多個實用工具或指標需要同時優化。經過訓練以優化單一效用的機器學習模型通過參數組合在一起，生成最終的排名函數。這些組合參數驅動業務指標。找到正確的參數選擇通常是通過在線A/B實驗，這是非常復雜和耗時的，特別是考慮到這些參數對指標的非線性影響。

在本教程中，我們將討論如何應用貝葉斯優化技術為這樣復雜的在線系統獲取參數，以平衡競爭性指標。首先，我們將深入介紹貝葉斯優化，包括一些基礎知識以及該領域的最新進展。其次，我們將討論如何將一個真實世界的推薦系統問題制定為一個可以通過貝葉斯優化解決的黑盒優化問題。我們將專注于一些關鍵問題，如新聞推送排名、人員推薦、工作推薦等。第三，我們將討論解決方案的架構，以及我們如何能夠為大規模系統部署它。最后，我們將討論該領域的擴展和一些未來的發展方向。

//sites.google.com/view/ijcai2020-linkedin-bayesopt/home

深度學習在語音識別、計算機視覺等許多領域得到了廣泛的應用和突破。其中涉及的深度神經網絡結構和計算問題已經在機器學習中得到了很好的研究。但對于理解深度學習模型在網絡架構中的建模、逼近或泛化能力，缺乏理論基礎。在這里，我們對具有卷積結構的深度卷積神經網絡(CNNs)很感興趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本質的區別，而30年前發展起來的關于fully connected networks的經典理論并不適用。本講座介紹了深度神經網絡的數學理論與整流線性單元(ReLU)激活函數。特別是，我們首次證明了深度CNN的普遍性，即當神經網絡的深度足夠大時，深度CNN可以用來逼近任意的連續函數，達到任意的精度。我們還給出了顯式的逼近率，并表明對于一般函數，深度神經網絡的逼近能力至少與全連接多層神經網絡一樣好，對于徑向函數更好。我們的定量估計嚴格按照待計算的自由參數的數量給出，驗證了深度網絡神經網絡處理大數據的效率。

人工智能的一項基本任務是學習。深度神經網絡已經被證明可以完美地應對所有的學習模式，比如監督學習、非監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施，不能很好地擴展到計算資源低的自主代理。即使在云計算中，它們也會受到計算和內存的限制，無法用于為假定網絡中有數十億神經元的代理恰當地建立大型物理世界的模型。在過去幾年里，可擴展深度學習這一新興課題解決了這些問題，該課題在訓練前和訓練過程中利用了神經網絡中的靜態和自適應稀疏連通性。本教程分兩部分涵蓋了這些研究方向，重點關注理論進步、實際應用和實踐經驗。

本教程的第一部分側重于理論。我們首先簡要討論了復雜網絡和系統背景下的基礎科學范式，并修正了目前有多少代理使用深度神經網絡。然后介紹神經網絡的基本概念，并從函數和拓撲的角度對人工神經網絡和生物神經網絡進行了比較。我們繼續介紹90年代早期關于高效神經網絡的第一批論文，這些論文利用稀疏性強制懲罰或基于各種顯著性準則對全連接網絡進行權值修剪。然后，我們回顧了一些最近的工作，從全連通網絡開始，利用剪枝-再訓練循環壓縮深度神經網絡，使其在推理階段更有效。然后我們討論另一種方法，即神經進化的擴充拓撲(NEAT)及其后續，使用進化計算以增長有效的深度神經網絡。

進一步，我們引入了深度強化學習，并為可擴展的深度強化學習鋪平了道路。我們描述了在深度強化學習領域的一些最近的進展。

//sites.google.com/view/ecai2020-one-billion-neurons

許多ML任務與信號處理有共同的實際目標和理論基礎(例如，光譜和核方法、微分方程系統、順序采樣技術和控制理論)。信號處理方法是ML許多子領域中不可分割的一部分，例如，強化學習，哈密頓蒙特卡洛，高斯過程(GP)模型，貝葉斯優化，神經ODEs /SDEs。

本教程旨在涵蓋與離散時間和連續時間信號處理方法相聯系的機器學習方面。重點介紹了隨機微分方程(SDEs)、狀態空間模型和高斯過程模型的遞推估計(貝葉斯濾波和平滑)。目標是介紹基本原則之間的直接聯系信號處理和機器學習, (2) 提供一個直觀的實踐理解隨機微分方程都是關于什么, (3) 展示了這些方法在加速學習的真正好處,提高推理,模型建立,演示和實際應用例子。這將展示ML如何利用現有理論來改進和加速研究，并為從事這些方法交叉工作的ICML社區成員提供統一的概述。

本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述，特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法，如何有效地使用這些模式來做出更好的決策，以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式，以及在設計未來的MBRL系統時，從人類認知中可以得到什么啟示。

//sites.google.com/view/mbrl-tutorial

近年來，強化學習領域取得了令人印象深刻的成果，但主要集中在無模型方法上。然而，社區認識到純無模型方法的局限性，從高樣本復雜性、需要對不安全的結果進行抽樣，到穩定性和再現性問題。相比之下，盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力，但在機器學習社區中，這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰，以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用，如AlphaGo，我們認為對這一主題的全面理解是非常及時的需求。在教程結束時，觀眾應該獲得:

• 數學背景，閱讀并跟進相關文獻。
• 對所涉及的算法有直觀的理解(并能夠訪問他們可以使用和試驗的輕量級示例代碼)。
• 在應用基于模型的方法時所涉及到的權衡和挑戰。
• 對可以應用基于模型的推理的問題的多樣性的認識。
• 理解這些方法如何適應更廣泛的強化學習和決策理論，以及與無模型方法的關系。

由于硬件資源有限，深度學習模型的訓練目標通常是在訓練和推理的時間和內存限制下最大化準確性。在這種情況下，我們研究了模型大小的影響，關注于計算受限的NLP任務的Transformer模型:自監督的預訓練和高資源機器翻譯。我們首先展示了，盡管較小的Transformer模型在每次迭代中執行得更快，但更廣、更深入的模型在顯著更少的步驟中收斂。此外，這種收斂速度通常超過了使用更大模型的額外計算開銷。因此，計算效率最高的訓練策略是反直覺地訓練非常大的模型，但在少量迭代后停止。

這導致了大型Transformer 模型的訓練效率和小型Transformer 模型的推理效率之間的明顯權衡。然而，我們表明大模型比小模型在壓縮技術(如量化和剪枝)方面更健壯。因此，一個人可以得到最好的兩個好處: 重壓縮，大模型比輕壓縮，小模型獲得更高的準確度。

//www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

概述：

在當前的深度學習范式中，使用更多的計算(例如，增加模型大小、數據集大小或訓練步驟)通常會導致更高的模型準確度(brock2018large;raffel2019exploring)。最近自監督預訓練的成功進一步論證了這種趨勢經模型。因此，計算資源日益成為提高模型準確度的關鍵制約因素。這個約束導致模型訓練的(通常是隱含的)目標是最大化計算效率:如何在固定的硬件和訓練時間下達到最高的模型準確度。

最大化計算效率需要重新考慮關于模型訓練的常見假設。特別是，有一個典型的隱式假設，即模型必須經過訓練直到收斂，這使得較大的模型在有限的計算預算下顯得不太可行。我們通過展示以收斂為代價來增加模型大小的機會來挑戰這一假設。具體地說，我們表明，訓練Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小，但很早停止訓練。

在我們的實驗中，我們改變了Transformer模型的寬度和深度，并在自監督的預訓練(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上訓練)和機器翻譯(WMT14英語→法語)上評估了它們的訓練時間和準確性。對于這些任務，我們首先展示了更大的模型比更小的模型在更少的梯度更新中收斂到更低的驗證錯誤(第3節)。此外，這種收斂速度的增加超過了使用更大模型所帶來的額外計算開銷——計算效率最高的模型是非常大的，并且遠遠不能收斂(例如，圖2，左)。我們還表明，收斂的加速主要是參數計數的函數，只有模型寬度、深度和批大小的微弱影響。

雖然較大的模型訓練速度更快，但它們也增加了推理的計算和內存需求。這種增加的成本在現實應用中尤其成問題，推理成本占訓練成本的主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而，對于RoBERTa來說，這種明顯的權衡可以與壓縮相協調:與小型模型相比，大型模型在壓縮方面更加健壯(第4節)。因此，使用可比較的推理成本，大型重壓縮的模型優于小型輕壓縮的模型(例如，圖2，右)。

最近，人們對在非歐幾里得空間中表示數據的方法(例如雙曲或球面)越來越感興趣，這些方法提供了對某些真實世界數據屬性(例如無尺度、分層或循環)有用的特定歸納偏差。然而，流行的圖神經網絡目前僅限于通過歐幾里得幾何和相關的向量空間操作來建模數據。在這里，我們通過提出將圖卷積網絡(GCN)在數學基礎上推廣為常曲率空間的(乘積)來彌補這一差距。我們通過i)引入一種統一的形式，可以在所有常曲率幾何之間平滑地插入，ii)利用陀螺質心坐標，推廣了經典的歐幾里德質心概念。當曲率從任何一邊變為零時，我們這類模型平滑地恢復它們的歐幾里得對應模型。根據其離散曲率，我們在非歐幾里得行為的符號數據上的節點分類和失真最小化的任務表現優于歐幾里得GCNs。

//arxiv.org/abs/1911.05076

概述

圖卷積網絡 針對圖像數據的卷積網絡和深度學習的成功啟發了對于共享參數與圖形幾何形狀一致的圖推廣。Bruna等人(2014);Henaff等人(2015)是利用圖上的局部譜濾波器在圖傅里葉空間中開發頻譜圖卷積神經網絡的先驅。然而，為了減少對拉普拉斯特征模式的圖依賴，Defferrard等人(2016)利用Hammond等人(2011)的結果使用Chebyshev多項式近似卷積濾波器。所得到的方法(在附錄A中討論)在計算效率和精度和復雜性方面是優越的。此外，Kipf和Welling(2017)通過考慮一階近似來簡化這種方法，從而獲得高可伸縮性。提出的圖卷積網絡(GCN)是通過對稱歸一化鄰接矩陣來插值節點嵌入，而這種權值共享可以理解為一種有效的擴散式正則化器。最近的工作擴展了GCNs，實現了鏈接預測(Zhang & Chen, 2018)、圖分類(Hamilton等，2017;和節點分類(Klicpera et al.， 2019;Velickoviˇc et al .′, 2018)。

ML中的歐幾里得幾何。在機器學習(ML)中，由于各種原因，數據通常在歐幾里得空間中表示。首先，有些數據本質上是歐幾里得的，比如經典力學中三維空間中的位置。其次，直覺在這樣的空間中更容易，因為它們擁有一個吸引人的矢量結構，允許基本的算術和豐富的線性代數理論。最后，許多感興趣的量，如距離和內積在封閉公式中是已知的，可以在現有的硬件上非常有效地計算。這些操作是當今大多數流行的機器學習模型的基本構建模塊。因此，歐幾里得幾何強大的簡單性和效率已經導致許多方法實現了最先進的任務，如機器翻譯(Bahdanau等，2015;wani et al.， 2017)，語音識別(Graves et al.， 2013)，圖像分類(He et al.， 2016)或推薦系統(He et al.， 2017)。

黎曼ML 盡管取得了成功，但某些類型的數據(例如分層數據、無標度數據或球形數據)被證明可以更好地用非歐幾里德幾何表示(Defferrard et al.， 2019;Bronstein等，2017;Nickel & Kiela, 2017;Gu et al.， 2019)，尤其帶來了豐富的流形學習理論(Roweis & Saul, 2000;和信息幾何(Amari & Nagaoka, 2007)。在活力操縱非歐幾里得幾何的數學框架被稱為黎曼幾何(Spivak, 1979)。雖然它的理論導致了許多強而優雅的結果，但它的一些基本量，如距離函數d(·，·)，通常不能以封閉的形式提供，這對許多計算方法都是禁止的。

常曲率幾何的代表性優勢。在一般黎曼流形和歐幾里得空間之間的一個有趣的權衡是由常截面曲率流形給出的。他們一起定義了所謂的雙曲(負曲率)，橢圓(正曲率)和歐幾里得(零曲率)幾何。正如下面和附錄B中所討論的，歐幾里得空間在嵌入某些類型的數據(如樹)時具有局限性，并且會產生很大的失真。在這些情況下，雙曲空間和球面空間具有代表性的優勢，為各自的數據提供了更好的歸納偏差。

雙曲空間可以直觀地理解為一棵連續樹:球的體積隨半徑呈指數增長，類似于二叉樹的節點數隨深度呈指數增長(圖1)。它的樹狀性質已經被數學研究了很長時間(Gromov, 1987;哈曼,2017;與歐幾里得幾何結構相比，它被證明能夠更好地嵌入復雜網絡(Krioukov et al., 2010)、無標度圖和分層數據(Cho et al., 2019; Sala et al., 2018; Ganea et al., 2018b; Gu et al., 2019; Nickel & Kiela, 2018; 2017; Tifrea et al., 2019)。一些重要的工具或方法找到了它們的雙曲線對應物，例如變分自編碼器(Mathieu et al.， 2019;、注意力機制(Gulcehre等，2018)、矩陣乘法、遞歸單位和多項logistic回歸(Ganea等，2018)。

常曲率空間中的GCNs。在這項工作中，我們引入了一個擴展的圖形卷積網絡，它允許學習存在于具有任何曲率符號的常曲率空間(乘積)中的表示。我們通過將導出的統一陀螺框架與GCNs的有效性相結合來實現這一點(Kipf & Welling, 2017)。與我們的工作同時，Chami等人(2019年);Liu等人(2019)考慮了通過切線空間聚合在雙曲空間中學習嵌入的圖神經網絡。他們的方法將在第3.4節中作更詳細的分析。我們的模型更一般化，因為它在一個包含雙曲空間的嚴格超集中產生表示。

深度神經網絡最近展示了其解決復雜任務的驚人能力。如今的模型使用功能強大的GPU卡在數百萬個示例上進行訓練，能夠可靠地對圖像進行注釋、翻譯文本、理解口語或玩國際象棋或圍棋等戰略性游戲。此外，深度學習也將成為未來許多技術的組成部分，例如自動駕駛、物聯網(IoT)或5G網絡。特別是隨著物聯網的出現，智能設備的數量在過去幾年里迅速增長。這些設備中有許多都配備了傳感器，使它們能夠以前所未有的規模收集和處理數據。這為深度學習方法提供了獨特的機會。

然而，這些新的應用程序帶有許多附加的約束和要求，這些約束和要求限制了當前模型的開箱即用。

1. 嵌入式設備、物聯網設備和智能手機的內存和存儲容量有限，能源資源有限. 像VGG-16這樣的深度神經網絡需要超過500 MB的內存來存儲參數，執行單次向前傳遞需要15 gb的操作。很明顯，這些模型的當前(未壓縮的)形式不能在設備上使用。

2. 訓練數據通常分布在設備上，由于隱私問題或有限的資源(帶寬)，無法簡單地在中央服務器上收集. 由于只有少量數據點的模型的局部訓練通常不太有希望，因此需要新的協作訓練方案來將深度學習的能力引入這些分布式應用程序。

本教程將討論最近提出的解決這兩個問題的技術。我們將首先簡要介紹深度學習，它的當前使用和今天的模型在計算和內存復雜性、能源效率和分布式環境方面的局限性。我們將強調解決這些問題的實際需要，并討論實現這一目標的最新進展，包括ITU ML5G和MPEG AHG CNNMCD正在開展的標準化活動。

然后我們將進入神經網絡壓縮的話題。我們將首先簡要介紹源編碼和信息論的基本概念，包括速率失真理論、量化、熵編碼和最小描述長度原則。這些概念需要形式化的神經網絡壓縮問題。然后我們將繼續討論壓縮DNNs的具體技術。為此，我們將區分壓縮過程的不同步驟，即剪枝和稀疏化、量化和熵編碼。前兩步是有損的，而最后一步是無損的。由于縮小尺寸并不是神經網絡壓縮的唯一目標(例如，快速推理、能源效率是其他目標)，我們還將討論有效推理的方法，包括最近提出的神經網絡格式。最后，我們將介紹一個用例，即設備上的語音識別，演示如何在實際應用中使用壓縮方法。

最后我們將介紹分布式學習的最新發展。我們提出了不同的分布式訓練場景，并根據它們的通信特性進行了比較。接下來，我們將重點討論聯邦學習。我們列舉了聯邦學習中存在的挑戰——通信效率、數據異構性、隱私、個性化、健壯性——并提出了解決這些挑戰的方法。我們特別關注為減少分布式學習中的通信開銷而提出的技術，并討論集群化FL，這是一種與模型無關的分布式多任務優化的新方法。這里我們將強調本教程第一部分中介紹的概念的相似性，即稀疏化、量化和編碼。

目錄：

1. 介紹

• 目前使用的深度學習
• 現有模型和新應用的實際局限性
• 研究、工業和標準化方面的最新發展

2. 神經網絡壓縮

• 背景:資料編碼、信息論
• 修剪和稀疏化方法
• 量化和定點推理
• 神經網絡格式
• 用例研究:設備上的語音識別

3.問題 4. 休息時間 5. 分布式學習

• 背景:SGD，學習理論
• 聯邦和分布式學習的基本概念
• 減少通信開銷和連接到NN壓縮
• 聯邦學習和差異隱私
• 集群聯合學習

7. 問題