亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習在語音識別、計算機視覺等許多領域得到了廣泛的應用和突破。其中涉及的深度神經網絡結構和計算問題已經在機器學習中得到了很好的研究。但對于理解深度學習模型在網絡架構中的建模、逼近或泛化能力，缺乏理論基礎。在這里，我們對具有卷積結構的深度卷積神經網絡(CNNs)很感興趣。convolutional architecture使得deep CNNs和fully connected deep neural networks有本質的區別，而30年前發展起來的關于fully connected networks的經典理論并不適用。本講座介紹了深度神經網絡的數學理論與整流線性單元(ReLU)激活函數。特別是，我們首次證明了深度CNN的普遍性，即當神經網絡的深度足夠大時，深度CNN可以用來逼近任意的連續函數，達到任意的精度。我們還給出了顯式的逼近率，并表明對于一般函數，深度神經網絡的逼近能力至少與全連接多層神經網絡一樣好，對于徑向函數更好。我們的定量估計嚴格按照待計算的自由參數的數量給出，驗證了深度網絡神經網絡處理大數據的效率。

注意力是一種在廣泛的神經結構中使用的越來越流行的機制。由于這一領域的快速發展，仍然缺乏對注意力的系統概述。在本文中，我們定義了用于自然語言處理的注意力體系結構的統一模型，重點介紹了用于文本數據的向量表示的體系結構。我們討論了以往工作的不同方面，注意力機制的可能用途，并描述了該領域的主要研究工作和公開挑戰。

//web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

使用正式的查詢語言指定用戶的興趣通常是一項具有挑戰性的任務，這在多模型數據管理上下文中變得更加困難，因為我們必須處理數據多樣性。它通常缺乏統一的模式來幫助用戶發出查詢，或者由于數據來自不同的來源，所以模式不完整。多模型數據庫(mmdb)已經成為處理此任務的一種有前途的方法，因為它們能夠在單個系統中容納和查詢多模型數據。本教程旨在全面介紹多種mmdb查詢語言，并從多個角度比較它們的屬性。我們將討論跨模型查詢處理的本質，并對研究挑戰和未來工作的方向提供見解。本教程還將向參與者提供應用mmdb來發出多模型數據查詢的實際經驗。

//www.helsinki.fi/en/node/93817

可解釋的機器學習模型和算法是越來越受到研究、應用和管理人員關注的重要課題。許多先進的深度神經網絡(DNNs)經常被認為是黑盒。研究人員希望能夠解釋DNN已經學到的東西，以便識別偏差和失敗模型，并改進模型。在本教程中，我們將全面介紹分析深度神經網絡的方法，并深入了解這些XAI方法如何幫助我們理解時間序列數據。

//xai.kaist.ac.kr/Tutorial/2020/

ACM SIGKDD（ACM SIGKDD Conference on Knowledge Discovery and Data Mining，國際數據挖掘與知識發現大會，簡稱 KDD）是數據挖掘領域國際頂級學術會議,今年的KDD大會將于8月23日至27日在線上召開。賓夕法尼亞州立大學ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了關于小數據學習《Learning with Small Data》教程，116頁ppt涵蓋遷移學習與元學習等最新課題，是非常好的學習材料！

摘要：

在大數據時代，數據驅動的方法在圖像識別、交通信號控制、假新聞檢測等各種應用中越來越受歡迎。這些數據驅動方法的優越性能依賴于大規模的標記訓練數據，而實際應用中可能無法獲得這些數據，即“小(標記)數據”挑戰。例如，預測一個城市的突發事件，發現新出現的假新聞，以及預測罕見疾病的病情發展。在大多數情況下，人們最關心的是這些小數據案例，因此提高帶有小標記數據的機器學習算法的學習效率一直是一個熱門的研究課題。在本教程中，我們將回顧使用小數據進行學習的最新的機器學習技術。這些技術被組織從兩個方面: (1) 提供一個全面的回顧最近的研究關于知識的泛化，遷移，和共享，其中遷移學習，多任務學習，元學習被討論。特別是元學習，提高了模型的泛化能力，近年來已被證明是一種有效的方法; (2) 引入前沿技術，著重于將領域知識融入機器學習模型中。與基于模型的知識遷移技術不同，在現實應用中，領域知識(如物理定律)為我們提供了一個處理小數據挑戰的新角度。具體地說，領域知識可以用來優化學習策略和/或指導模型設計。在數據挖掘領域，我們認為小數據學習是一個具有重要社會影響的熱門話題，將吸引學術界和產業界的研究者和從業者。

目錄：

地址：

//sites.psu.edu/kdd20tutorial/

本教程對基于模型的強化學習(MBRL)領域進行了廣泛的概述，特別強調了深度方法。MBRL方法利用環境模型來進行決策——而不是將環境視為一個黑箱——并且提供了超越無模型RL的獨特機會和挑戰。我們將討論學習過渡和獎勵模式的方法，如何有效地使用這些模式來做出更好的決策，以及規劃和學習之間的關系。我們還強調了在典型的RL設置之外利用世界模型的方式，以及在設計未來的MBRL系統時，從人類認知中可以得到什么啟示。

//sites.google.com/view/mbrl-tutorial

近年來，強化學習領域取得了令人印象深刻的成果，但主要集中在無模型方法上。然而，社區認識到純無模型方法的局限性，從高樣本復雜性、需要對不安全的結果進行抽樣，到穩定性和再現性問題。相比之下，盡管基于模型的方法在機器人、工程、認知和神經科學等領域具有很大的影響力，但在機器學習社區中，這些方法的開發還不夠充分(但發展迅速)。它們提供了一系列獨特的優勢和挑戰，以及互補的數學工具。本教程的目的是使基于模型的方法更被機器學習社區所認可和接受。鑒于最近基于模型的規劃的成功應用，如AlphaGo，我們認為對這一主題的全面理解是非常及時的需求。在教程結束時，觀眾應該獲得:

• 數學背景，閱讀并跟進相關文獻。
• 對所涉及的算法有直觀的理解(并能夠訪問他們可以使用和試驗的輕量級示例代碼)。
• 在應用基于模型的方法時所涉及到的權衡和挑戰。
• 對可以應用基于模型的推理的問題的多樣性的認識。
• 理解這些方法如何適應更廣泛的強化學習和決策理論，以及與無模型方法的關系。

【導讀】新加坡國立大學的Xiang Wang、Tat-Seng Chua，以及來自中國科學技術大學的Xiangnan He在WSDM 2020會議上通過教程《Learning and Reasoning on Graph for Recommendation》介紹了基于圖學習和推理的推薦系統，涵蓋了基于隨機游走的推薦系統、基于網絡嵌入的推薦系統，基于圖神經網絡的推薦系統等內容。

Tutorial摘要：

推薦方法構建預測模型來估計用戶-項目交互的可能性。之前的模型在很大程度上遵循了一種通用的監督學習范式——將每個交互視為一個單獨的數據實例，并基于“信息孤島”進行預測。但是，這些方法忽略了數據實例之間的關系，這可能導致性能不佳，特別是在稀疏場景中。此外，建立在單獨數據實例上的模型很難展示推薦背后的原因，這使得推薦過程難以理解。

在本教程中，我們將從圖學習的角度重新討論推薦問題。用于推薦的公共數據源可以組織成圖，例如用戶-項目交互(二部圖)、社交網絡、項目知識圖(異構圖)等。這種基于圖的組織將孤立的數據實例連接起來，為開發高階連接帶來了好處，這些連接為協作過濾、基于內容的過濾、社會影響建模和知識感知推理編碼有意義的模式。隨著最近圖形神經網絡(GNNs)的成功，基于圖形的模型顯示了成為下一代推薦系統技術的潛力。本教程對基于圖的推薦學習方法進行了回顧，重點介紹了GNNs的最新發展和先進的推薦知識。通過在教程中介紹這一新興而有前景的領域，我們希望觀眾能夠對空間有更深刻的理解和準確的洞察，激發更多的想法和討論，促進技術的發展。

Tutorial大綱：

介紹

圖(graphs)與我們的日常生活緊密相關，從我們的社交網絡到最近十分流行的知識圖譜（KG）都充斥著圖的身影。圖是最富表現力的數據結構之一，已被用于建模各種問題。事實上，知識圖譜（KG）就是圖的結構化表示，其中節點表示實體，邊表示實體之間的關系。然而，卷積神經網絡(CNN)和遞歸神經網絡(RNN)這些傳統的神經網絡只適合處理歐幾里得數據。面對這種困境，圖卷積網絡(GCN)順勢而生，被用來解決上面提到的問題并且已經成功的應用到了一些問題上。

作者對GCN的研究

(1)NeuralDater模型，一種基于圖卷積網絡(GCN)的文獻年代測定方法。這是GCN和基于深度神經網絡的方法首次應用于文檔年代測定問題。

(2)SynGCN模型，該方法是一種靈活的基于圖卷積的詞嵌入學習方法，該方法利用詞對上下文的依賴性而不是線性上下文來學習更加有意義的詞嵌入表示。

目前GCN方法的局限性

(1)當前標準的鄰域聚合方法對節點數量沒有限制，但是過多的節點數量會影響目標節點的表示，這使得幾跳（few hops）之后，hub-nodes的詞表示就會覆蓋幾乎覆蓋整張圖，進而導致hub-nodes的詞表示包含了大量的噪聲。為解決這個問題，作者相應的提出了ConfGCN模型。

(2)目前大多數的GCN方法都只能夠處理無向圖。然而，現實生活中更為普遍的一種圖是關系圖，其中每條邊都有一個與之關聯的標簽和方向。目前處理這些圖的方法都飽受過量參數的困擾，而且這些方法僅限于學習節點的表示。為了解決這個問題，作者提出了CompGCN 方法。