亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，深度學習取得了顯著成功，但訓練神經網絡通常涉及一定的猜測和超參數調優。優化方法的一個關鍵方面是“隱性偏差”，即優化設置中的細微變化（在收斂時不影響小訓練損失）可能顯著改變模型收斂的解，從而影響測試性能。本論文提供了一系列數學結果，系統地刻畫了不同訓練方式中的這種隱性偏差。 本論文的第一部分探討了梯度下降，即使沒有顯式正則化，也可能收斂到最大化邊界的解。先前的研究已經為同類神經網絡的邊界一階最優性提供了理論依據，但由于其非凸性，邊界的全局最優性并無保障。本論文在數據具有簡單結構時提供了深入的理論分析：對于線性可分的數據，我們展示了關于是否可以達到邊界全局最優性的正反結論。此外，我們展示了如何利用基于邊界的視角來解釋神經網絡訓練中的一些有趣的泛化現象，無論是否存在顯式正則化，包括簡約偏差（simplicity bias）和頓悟現象（grokking phenomena）。

論文的第二部分提出了兩個結果，揭示了有限學習率引發的隱性偏差。許多現有分析，包括第一部分中的基于邊界的分析，描述了即使在學習率無限小的情況下也成立的隱性偏差。然而，實踐中通常使用有限學習率，并且觀察到它有助于泛化。我們分析了有限學習率下的全批次梯度下降（GD），結合歸一化層和權重衰減等關鍵訓練組件，如何產生向平坦極小值的偏差，而平坦極小值與更好的泛化正相關。此外，我們研究了隨機優化中的隱性偏差，并通過隨機微分方程（SDE）為自適應梯度方法（如 Adam 和 RMSprop）推導了嚴謹的動態近似，以捕捉有限學習率的影響。在此基礎上，我們還推導出平方根縮放規則，作為在更改批次大小時調整自適應梯度方法的優化超參數的實用指南。

機器學習領域見證了對從未整理數據中學習的日益濃厚的興趣，這涉及從未經精心整理或標記的數據中訓練模型。然而，這種類型的數據通常嘈雜、不完整，并充斥著錯誤，使得機器學習算法難以有效學習。本論文關注于開發能夠有效利用未整理數據同時對數據中固有的噪聲和錯誤具有韌性的強健學習方法。具體來說，我們調查了對比學習的韌性，這是一種通過比較語義上相似和不同的樣本對的自監督表示學習的突出技術。 首先，我們深入探討了從未標記數據中學習所固有的基本挑戰。我們發現，消除假陰性和鼓勵困難的負面案例顯著提高了下游性能和訓練效率。隨后，我們將焦點轉移到數據集內無處不在的噪聲。我們特別關注于假陽性對的出現，這是多模態對比學習環境中特別普遍的現象。

在我們研究的最后部分，我們思考了從大規模模型中有效地消除偏見。觀察到，當模型在有偏見的未整理數據上進行預訓練時，它們通常會繼承許多不適當的偏見，從而導致傾斜的預測。為了糾正這一點，我們設計了一種獨立于任何數據或訓練要求的去偏算法。

貫穿整篇論文的共同線索是對未標記、嘈雜和有偏見數據分別所關聯的獨特錯誤類型的韌性和全面的緩解方法，為機器學習研究領域提供了實質性的貢獻。

近年來，機器學習取得了顯著進展，尤其是在使用標記數據訓練模型的監督學習領域。然而，獲取大量標記數據可能是一個成本高昂且耗時的過程，這促使越來越多的人對從未整理數據中學習產生了興趣。 未整理數據指的是那些未經仔細整理或標記的數據，這些數據通常包含噪音，不完整且包含錯誤。從這類數據中學習對機器學習算法來說是一個重大挑戰，因為它們必須能夠有效利用可用信息，同時對固有的噪聲和錯誤具有韌性。本論文關注于以下基本目標：能夠從未整理數據中學習的強健學習算法。 為了實現這一目標，我分析了對比學習，這是一種通過比較語義上相似和不同的樣本對來進行自監督表示學習的突出技術[24, 81, 147]。傳統上，監督學習一直是人工智能（AI）進步的基石，依賴大量的標記數據來訓練模型。然而，收集和標記如此大量的數據可能既昂貴又耗時。此外，在現實世界的應用中，標記數據往往稀缺甚至無法獲得。為了克服這些障礙，研究人員轉向使用無標記數據的無監督和自監督學習技術來訓練模型。然而，這些技術在性能上通常落后于監督方法，主要是因為定義引導模型走向有用表示的目標很困難。 對比學習就在這里發揮了作用。通過設定目標，將語義上相似（正面）和不同（負面）的數據點對在學習到的特征空間中拉近或推遠，對比學習提供了一種從無標記數據構建有用且富有信息的表示的方法。對比學習在包括計算機視覺、自然語言處理、圖表示學習和強化學習等多個領域的能力已被證明，實現了許多基準測試中的最先進性能。

本論文解決了上述瓶頸問題，分為三個部分：第一部分：從未標記數據中學習，第二部分：從嘈雜數據中學習，第三部分：從有偏見的數據中學習。

在第一部分，我解決了負樣本的兩個關鍵問題：假負樣本和困難負樣本。我們首先在第2章提供問題形式化和對比學習的背景。在第3章中，基于Chuang等人的研究[36]，我用一種新的對比損失解決了假負樣本的問題。然后在第4章，基于Robinson等人的研究[163]，我們通過重要性采樣估計擴展了提出的損失，包括困難負樣本采樣。

在第二部分，我將揭示假陽性樣本的問題，特別是在多模態環境中，并開發針對它的強健損失函數。在第5章中，基于Chuang等人的研究[39]，我將對比學習與二元分類聯系起來，并為對比損失開發強健的損失函數。第6章提供了所提出損失的理論基礎，即Wasserstein互信息的變分下界。

在第三部分，我將討論如何消除大規模基礎模型中的偏見，基于Chuang等人的研究[40]。第7章概述了基礎模型的興起，并提出了一種去偏算法，以高效地消除視覺-語言基礎模型的偏見。 第8章建立了表示學習與泛化理論之間的聯系，使用邊界界限，從而為對比學習提供了理論驗證。作為結語，第9章總結了本論文，并進行了一些討論。

人工智能（AI）和機器學習（ML）領域近年來有了顯著的發展，成功應用的范圍也日益廣泛。本書為任何對數學與AI/ML交叉點感興趣的人提供了關鍵參考，概述了當前的研究方向。《工程數學與人工智能：基礎、方法和應用》討論了機器學習的理論，并展示了數學如何應用于AI。本書闡述了如何使用高級數學改進現有算法，并提供了前沿的AI技術。本書繼續討論了機器學習如何支持數學建模，以及如何使用人工神經網絡模擬數據。書中還強調了機器學習與復雜數學技術在未來的整合。本書適合研究人員、實踐者、工程師和AI顧問閱讀。//www.routledge.com/Engineering-Mathematics-and-Artificial-Intelligence-Foundations-Methods/Kunze-Torre-Riccoboni-Galan/p/book/9781032255675

從零開始的強化學習通常需要大量樣本來學習復雜任務，但是許多真實世界的應用場景卻只需要從少量樣本中進行學習。例如，一個有效的新聞推薦系統必須能夠在僅觀察到少量推薦結果后，適應新用戶的口味。為了滿足那些需要快速學習或適應新任務的應用的需求，本論文專注于元強化學習（meta-RL）。具體來說，我們考慮的場景是，智能體會反復接觸到一些來自相同任務族的新任務。智能體必須在極少的嘗試中學會每個新任務，這被形式化為與任務交互的幾個階段。智能體如何利用這些少量嘗試至關重要，因為這決定了它是否能夠隨后解決任務，但學習如何有效使用這些嘗試是具有挑戰性的，因為這里沒有直接的監督。

在本論文中，我們主張有效地利用這些少量的嘗試——因此，快速解決新任務需要仔細地將學習如何利用少量嘗試與學習解決任務相分離。具體來說，我們證明了現有的元強化學習算法如果不分離這兩個問題，就會因為雞和蛋的問題而無法學習到復雜的策略來有效地利用這些少量的嘗試。雞和蛋的問題是指，有效地利用這些少量嘗試的學習依賴于已經學會解決任務，反之亦然。我們用一個新的稱為Dream的算法來解決這個問題，它將這兩個問題分開。此外，我們還研究了如何在這個場景中利用預先收集的離線數據。我們證明了流行的從離線數據中提取技能以快速學習新任務的方法使用了一個具有退化解決方案的欠規定目標，并通過輔助目標來解決這個問題，使優化問題明確規定。我們的算法使得元強化學習中以前未探索的應用成為可能。具體來說，我們表明：(1) Dream通過在解決并不一定需要語言的任務的過程中學習語言，為無需大型文本數據集的語言學習開啟了新的范式。例如，在我們的實驗中，Dream在學習如何在各種建筑中導航到特定辦公室的過程中，學會了閱讀帶有語言描述的建筑平面圖；(2) Dream可以幫助自動評估通常需要大量手動評級的交互式計算機科學作業。我們在斯坦福大學的入門計算機科學課程中部署了Dream來協助評估Breakout作業，并發現它在不犧牲準確性的情況下將評估速度提高了28%，相當于節省了大約10小時的時間。

雖然在強化學習（RL）中從零開始（tabula rasa）的訓練已經取得了巨大的成功，但這需要大量的數據。例如，從零開始訓練以在圍棋（Silver等人，2017年）、Dota 2（Berner等人，2019年）和星際爭霸 II（Vinyals等人，2019年）中取得專家級的成績，都需要數百天的TPU或GPU訓練時間，相當于從常規云服務提供商那里花費數萬或數十萬美元。在許多應用領域，對單一任務進行如此長時間的訓練，或者僅僅是獲取這樣的訓練數據都是不切實際的——想象一下等待一百天讓新聞推薦系統開始推薦好的建議，或者等待新購買的家庭機器人廚師開始烹飪。因此，這篇論文探討了一種利用以前的經驗快速學習新任務的替代范式，稱為元強化學習（meta-RL）。在其核心，元強化學習試圖解決與標準的從零開始的RL不同的問題。元強化學習的目標不是嘗試學習一個全新的任務，而是構建可以快速適應新的，但與之前遇到的任務相關的任務的智能體，例如一個可以在新的家庭廚房中快速開始烹飪的機器人廚師，這得益于它以前的經驗（例如，在許多工廠廚房中的訓練）。我們主要關注典型的元強化學習環境，即智能體面臨一個新任務，并首先允許有少數嘗試（即，幾個階段）與任務交互，然后再被要求解決任務。例如，當被放置在一個新廚房中時，機器人廚師可能首先簡要探索以尋找食材和烹飪用具，然后利用這些信息來烹制美味的飯菜。最初的幾個階段構成了智能體的“快速學習”過程，因為預計智能體在這幾個階段過后能夠解決任務。

元強化學習中最初幾個階段的存在在標準的從零開始的RL中是沒有的挑戰，這就是如何最好地利用最初的階段以便之后能解決任務。直觀來說，學習如何有效地利用這些階段可能面臨兩個主要的挑戰：首先，有效地利用這些階段可能與解決任務大不相同，所以智能體可能需要學習兩種復雜的行為模式。例如，通過尋找食材來適應新廚房在質量上與烹飪一頓飯是不同的。其次，對于學習如何有效利用最初的階段沒有直接的監督——智能體在最初階段收集的信息（例如，食材的位置）可能在智能體學習如何實際使用這些信息之前并不明顯有用。因此，現有的元強化學習算法可能會遇到困難，尤其是在需要復雜且不同的行為來利用最初階段和解決任務的任務家族中。

為了應對這些挑戰，本文借鑒了一系列關于元強化學習的研究，始于Schmidhuber的開創性工作（Schmidhuber，1987年）。在深度RL時代的一些早期元強化學習方法（Finn等人，2017年；Houthooft等人，2018年）通過完全不針對最初的幾個階段進行優化，而是專注于構建能夠在給定適當數據的情況下有效適應新任務的智能體，來避開了這些挑戰。其他早期方法（Duan等人，2016年；Wang等人，2016a年）針對最初的幾個階段進行了優化，但是只是間接地從一個旨在最大化最終回報的端到端目標進行優化，對于最初的幾個階段并沒有特別的關注。后來，Stadie等人（2018年）提出了一個觀點，即最初的幾個階段最好用于收集信息或探索以找到高回報的區域，從而引領了一系列關于如何最好地進行這種探索的工作（Rakelly等人，2019年；Humplik等人，2019年；Zintgraf等人，2019年；Kamienny等人，2020年）。本文借鑒了Stadie等人（2018年）提出的信息收集觀點，并認為在最初的幾個階段有效地進行探索并因此快速適應新任務，需要仔細地將學習探索和學習實際解決任務分離開來。具體來說，在第三章中，我們展示了將這兩者結合在一起的算法遇到了一個雞和蛋的問題，即學習探索依賴于已經學會解決任務，反之亦然。然后，我們提出了一種算法，Dream，它將這兩者分離，從而在實際應用（第5章和第6章）上取得了更好的性能。

此外，我們還研究了如何在這種少樣本元強化學習環境中有效地利用預先收集的離線數據。具體來說，我們考慮了智能體在訓練期間可以訪問到其他策略在各種任務上預先收集的離線數據，而智能體的目標仍然是在僅經過幾個階段后在測試時解決新的相關任務。這些離線數據可以通過幾種方式來利用，包括學習動態模型（Finn等人，2016年），學習行為先驗（Singh等人，2021年），或提取有意義的技能或選項（Sutton等人，1999年；Kipf等人，2019年；Ajay等人，2020年）。我們選擇了最后這種方法，即從離線數據中提取常見的行為作為可以代替標準低級行為空間的高級技能，這使得學習新任務變得更容易。提取這種技能的常見方法是學習一個潛在變量模型來重建離線數據，其中潛在變量代表了提取出的技能。然而，我們發現這種方法是欠指定的，因為許多解決方案都可以等同地最大化似然性，包括退化的解決方案。然后，我們使用一個輔助目標來解決這種欠指定，這個目標最小化了提取技能的描述長度，這在直觀上鼓勵最大限度地提取常見的結構。我們的目標在實踐中結果在語義上有意義的技能，可以加速學習新任務。

在本論文的剩余部分，我們首先在第2章中正式定義我們的少樣本學習場景。然后，我們在兩個主要部分中討論快速學習新任務：在第一部分，我們討論了快速學習新任務的算法，并克服了上述挑戰，這些算法基于在智能體的少數嘗試中有效地探索以揭示解決任務所需的信息（第3章），以及從離線數據中提取可復用技能（第4章）。在第二部分，我們討論了由第一部分引入的算法所支持的兩個應用，具體來說，一種新的機器語言學習范式（第5章）和自動提供初級計算機科學作業的反饋（第6章）。最后，在第7章，我們通過討論(a)有效利用本論文中提出的元強化學習算法；以及(b)選擇適合元強化學習工具箱的應用來結束。盡管元強化學習仍是一個活躍發展的領域，并且其實用性在很大程度上取決于應用的選擇，但本論文的目標是為元強化學習實踐者提供適用于今天實際部署的工具。

自從深度學習和深度強化學習出現以來，已經有大量的經驗成功地利用某種人工神經網絡來解決給定的優化問題。然而，許多公司的內部運作方式只被人們模糊地了解，并隱藏在成功的故事中。通過揭示各種含義，這篇論文試圖建立一個理解為什么某些神經網絡架構設計工作，以及關鍵的是為什么其他的不能工作。本文不關注實證結果，而是從研究反向傳播在架構設計和訓練中的簡單數學含義開始。然后，提出一種稀疏的全連接層替代方案，以避免信號傳播中的瓶頸。它進一步展示了如何設計單調神經網絡，以及如何使用這些網絡在連續動作空間控制設置中為智能體提供更靈活的策略表示。這本書進一步討論了將神經網絡分成多個模塊的權衡和設計。特別是，模塊化的需求在目標相互沖突的多任務設置中得到了體現。最后，討論了最近提出的注意力架構及其隱含含義。貫穿整篇論文的結果強調了超參數之間的關聯效應和定制架構設計的必要性。本文適合有技術背景的讀者。它被寫得讓剛開始接觸神經網絡的人也能理解。然而，即使是該領域的資深研究人員也可能對所呈現的獨特觀點感興趣。

//www.research-collection.ethz.ch/handle/20.500.11850/541752

作為一個由經驗結果驅動的領域，深度學習是眾多神經結構設計方案的發源地。幾乎每天都有新的論文發表，建議對某些架構組件進行輕微修改，以提高性能。然而，由于大量的混雜因素，通常不清楚性能的提高實際上是由于架構的變化，還是由于超參數的差異，數據預處理的變化，表示能力的增加，或者只是初始化參數的幸運抽獎。本文著眼于深度強化學習的應用前景，旨在更好地理解神經網絡的基本內部工作原理及其設計。

特別地，本文首先強調了反向傳播的隱式內存需求、常用激活函數的工作范圍以及體系結構組件對梯度傳播的影響。展示了架構瓶頸和門控機制如何導致梯度消失，并討論了殘差連接對梯度動態的影響。它還強調了通過體系結構提供算法結構的必要性，以及結構和有利的訓練動態之間的內在權衡。在第一個實際示例中，本文提出了一種全連接層的稀疏替代方案，可以減少參數計數，而不會引入不必要的瓶頸。在強化學習方面，本文提出了一種在連續動作空間環境中控制的新方法。該方法基于分位數回歸和神經網絡的單調性約束。這種組合允許在網絡參數中隱式地表示策略，從而提供了表示復雜動作分布的靈活性。這種策略的必要性在競爭游戲和約束內存設置中得到了證明。此外，該方法還提高了經典控制問題的學習性能。本文進一步探討了多任務學習的局限性，并針對干擾任務目標的問題提出了兩種解決方案——一種是基于注意力架構先驗的解決方案，另一種是基于與無監督任務聚類配對的神經網絡解決方案。這兩種方法都有效地緩解了這個問題，從而提高了性能，并在不同的環境中具有更廣泛的適用性。 本文最后深入研究了注意力架構和transformer對超參數的敏感性。它強調了將注意力權重約束到概率單形的含義，以及這些如何反映訓練表現。它進一步展示了內部softmax激活如何像sigmoid一樣容易飽和，以及transformer在初始化時如何不是序列長度獨立的。在對抽象任務的大規模實證研究中，將Transformer與可選架構設計進行比較。結果突出了超參數選擇的相關效應，不同架構對數據偏差的魯棒性，以及算法對齊對底層任務的重要性。

這本書提出和調研歸一化技術與深度分析訓練深度神經網絡。此外，作者還提供了針對特定任務設計新的規范化方法和網絡體系結構的技術細節。歸一化方法可以提高深度神經網絡(DNNs)的訓練穩定性、優化效率和泛化能力，已成為大多數先進DNN體系結構的基本組成部分。作者為闡述、理解和應用規范化方法提供了指導方針。這本書是理想的讀者致力于發展新的深度學習算法和/或其應用程序，以解決計算機視覺和機器學習任務中的實際問題。這本書也作為資源的研究人員，工程師，和學生誰是新的領域和需要了解和訓練DNN。

//link.springer.com/book/10.1007/978-3-031-14595-7

盡管近年來深度學習取得了巨大進展，但訓練神經網絡所帶來的爆炸式經濟和環境成本正變得不可持續。為了解決這個問題，已經有大量關于算法高效深度學習的研究，這些研究旨在通過改變訓練程序的語義，而不是在硬件或實現級別上降低訓練成本。本文對該領域的研究進行了系統、全面的綜述。首先，我們將算法加速問題形式化，然后我們使用算法高效訓練的基本構建塊來開發分類。我們的分類強調了看似不同的方法的共性，并揭示了當前的研究差距。接下來，我們將介紹評估最佳實踐，以實現對加速技術的全面、公平和可靠的比較。為進一步幫助研究和應用，討論了訓練管道中的常見瓶頸(通過實驗說明)，并為它們提供分類緩解策略。最后，我們強調了一些尚未解決的研究挑戰，并提出了有希望的未來方向。 //arxiv.org/abs/2210.06640

在過去的幾年里，深度學習(DL)在廣泛的應用領域取得了顯著的進展，如蛋白質結構預測(AlphaFold [Jumper et al。2021])、文本到圖像合成(DL - e [Ramesh et al。2021])、文本生成(GPT-3 [Brown等人。2020a])等。實現這些性能提升的關鍵策略是將DL模型擴展到非常大的規模，并對它們進行大量數據的訓練。對于大多數應用程序，可訓練參數的數量至少每18至24個月翻一番——語言模型以4至8個月的翻倍時間領先(Sevilla and Villalobos 2021)。大規模人工智能模型的著名例子包括:用于視覺應用的Swin Transformer-V2 [Liu等人2022a]，用于語言建模的PaLM [Chowdhery等人2022]，用于內容推薦的波斯[Lian等人2021]，具有100萬億參數。

盡管擴大DL模型正在實現前所未有的進步，但訓練大型模型已經變得極其昂貴。例如，GPT-3訓練成本估計為165萬美元，使用谷歌v3 TPU[Lohn和Musser 2022]，且transformer 模型的低效/幼稚開發將產生相當于5輛汽車終生碳足跡的二氧化碳(CO2) [Strubell等人，2019]。值得關注的是，DL仍然沒有達到許多應用所要求的性能水平:例如，在現實世界中部署全自動駕駛汽車需要人類水平的性能，但還沒有達到。不斷增長的模型和數據規模以達到所需的性能將使當前的訓練策略在金融、環境和其他方面不可持續。事實上，根據目前的趨勢推斷，2026年最大的人工智能模型的訓練成本將超過美國的GDP總量(Lohn and Musser 2022)。此外，DL對計算的高度依賴引發了人們對財務資源有限的用戶(如學者、學生和研究人員(特別是來自新興經濟體的人)的邊緣化的擔憂[Ahmed and Wahed 2020]。我們將在附錄A中更詳細地討論這些關鍵問題。考慮到其計算負擔的不可持續增長，DL的進步需要更多的計算效率訓練方法。一個自然的方向是消除學習過程中的算法效率低下，以減少DL訓練的時間、成本、能量和碳足跡。這種算法高效的深度學習方法可以通過多種方式改變訓練過程，包括:改變數據或樣本呈現給模型的順序;調整模型的結構;改變優化算法。這些算法改進對于實現有效深度學習訓練所需計算負擔的估計下界至關重要，目前的做法導致的負擔大大超過了該下界[Thompson等人，2020]。

此外，這些算法增益與軟件和硬件加速技術相結合[Hernandez和Brown 2020]。因此，我們相信算法高效的邏輯學習提供了一個巨大的機會來增加邏輯學習的收益并降低其成本。雖然最近涌現的算法效率論文支持了這一觀點，但這些論文也表明，算法效率方法的研究和應用受到碎片化的阻礙。不同的指標被用來量化效率，這產生了不一致的加速方法的排名。評估是在狹窄或特征不佳的環境中執行的，這將導致不正確或過于寬泛的結論。在討論算法效率方法時，缺乏反映它們的廣度和關系的分類法，這使得人們很難理解如何遍歷加速環境，將不同的方法結合起來并開發新的方法。因此，本文的核心貢獻是組織算法效率文獻(通過受[Von Rueden等人2019]啟發的分類法和調研)，以及對影響報告和實現加速的實際問題的技術描述(通過評估和實踐指南)。我們的討論始終強調這兩個重點的關鍵交集:例如，算法效率方法是否會導致實際的加速確實取決于方法(通過我們的分類法可以理解)和計算平臺(通過我們的從業者指南可以理解)之間的交互。

我們的貢獻總結如下:

• 形式化加速:我們回顧DNN效率指標，然后形式化算法加速問題。
• 分類和調研:我們通過適用于3個培訓管道組成部分的5個加速行動(5Rs)對200多篇論文進行分類(見表1和表3)。分類有助于為從業者選擇方法，為讀者消化文獻，并為研究人員識別機會。
• 最佳評估實踐:我們識別了文獻中常見的評估陷阱，并相應地提出最佳評估實踐，以實現對各種加速技術的全面、公平和可靠的比較。
• 從業者指南:我們討論了影響加速方法有效性的計算平臺瓶頸。根據訓練管道中瓶頸的位置，提出適當的方法和緩解措施。

有了這些貢獻，我們希望改進算法效率的研究和應用，這是計算效率深度學習的關鍵部分，需要克服現有研究面臨的經濟、環境和包容相關的障礙。本文主要分為四個部分:第2節概述了DNN訓練和效率度量以及算法加速問題的形式化。第3節使用廣泛適用的加速方法的構建塊以及它們影響的訓練管道組件來開發我們的分類法。第4節根據我們的分類法對加速文獻進行了全面的分類，并討論了研究機會和挑戰。第5節和第6節分別討論了比較不同方法的最佳評估實踐和選擇合適的加速方法的實際建議。最后，第7節總結并提出了算法效率領域的開放問題。

從社交網絡到分子，許多真實數據都是以非網格對象的形式出現的，比如圖。最近，從網格數據(例如圖像)到圖深度學習受到了機器學習和數據挖掘領域前所未有的關注，這導致了一個新的跨領域研究——深度圖學習(DGL)。DGL的目標不是繁瑣的特征工程，而是以端到端方式學習圖的信息性表示。它在節點/圖分類、鏈接預測等任務中都取得了顯著的成功。

在本教程中，我們的目的是提供一個深入的圖學習的全面介紹。首先介紹了深度圖學習的理論基礎，重點描述了各種圖神經網絡模型(GNNs)。然后介紹DGL近年來的主要成就。具體來說，我們討論了四個主題:1)深度GNN的訓練; 2) GNNs的魯棒性; 3) GNN的可擴展性; 4) GNN的自監督和無監督學習。最后，我們將介紹DGL在各個領域的應用，包括但不限于藥物發現、計算機視覺、醫學圖像分析、社會網絡分析、自然語言處理和推薦。

//ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目錄： 01:00 pm – 01:30 pm: Brief History of Graph Neural Networks 圖神經網絡簡介 01:30 pm – 02:00 pm: Expressivity of GNNs GNNs表達性 02:00 pm – 02:45 pm: Training Deep GNNs 深度GNNs訓練 02:45 pm – 03:10 pm: Break 03:15 pm – 03:45 pm: Scalability of GNNs GNNs可擴展性 03:45 pm – 04:15 pm: Self/Un-Supervised Learning of GNNs GNNs自(無)監督學習 04:15 pm – 04:35 pm: GNN in Social Networks 社交網絡GNN 04:35 pm – 04:55 pm: GNN in Medical Imaging & Future Directions GNNs圖像處理與未來方向 04:55 pm – 05:00 pm: Q&A

深度學習方法對各種醫學診斷任務都非常有效，甚至在其中一些任務上擊敗了人類專家。然而，算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發，討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。

在過去的幾年里，自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后，篩選了大量最近的研究論文，并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外，還包括幾個核心的語言處理問題。然后討論了目前的技術水平，并對該領域今后的研究提出了建議。