亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

題目： Time Series Data Augmentation for Deep Learning: A Survey

摘要：

近年來，深度學習在許多時間序列分析任務中表現優異。深度神經網絡的優越性能很大程度上依賴于大量的訓練數據來避免過擬合。然而，許多實際時間序列應用的標記數據可能會受到限制，如醫學時間序列的分類和AIOps中的異常檢測。數據擴充是提高訓練數據規模和質量的有效途徑，是深度學習模型在時間序列數據上成功應用的關鍵。本文系統地綜述了時間序列的各種數據擴充方法。我們為這些方法提出了一個分類，然后通過強調它們的優點和局限性為這些方法提供了一個結構化的審查。并對時間序列異常檢測、分類和預測等不同任務的數據擴充方法進行了實證比較。最后，我們討論并強調未來的研究方向，包括時頻域的數據擴充、擴充組合、不平衡類的數據擴充與加權。

題目： Evaluating Scalable Bayesian Deep LearningMethods for Robust Computer Vision

摘要： 雖然深度神經網絡（DNNs）已經成為計算機視覺領域的熱門研究方向，但這些模型中的絕大多數都未能正確地捕捉到預測中的不確定性。估計這種預測的不確定性是至關重要的，例如不真實的應用。在貝葉斯深度學習中，預測不確定性通常被分解為任意和認知不確定性的不同類型。前者可以通過讓DNN輸出一定概率分布的參數來估計。認知不確定性估計是一個非常具有挑戰性的問題，雖然最近出現了不同的可擴展方法，但在現實環境中并沒有進行廣泛的比較。因此，我們接受了這一任務，并提出了一個可擴展的認知不確定性估計方法的綜合評估框架。我們提出的框架是專門為測試真實世界中計算機視覺應用所需的不確定性而設計的。我們還應用這一框架來提供兩種當前最先進的可伸縮方法：ensembling和MC-dropout的第一個適當的結論性比較。我們的比較表明，集合一致地提供了更可靠和實際有用的不確定性估計。

作者簡介： Fredrik K. Gustafsson，烏普薩拉大學博士，研究集中在自主駕駛和醫學影像的不確定性感知深度學習。個人主頁：//www.fregu856.com/

題目： A simple baseline for bayesian uncertainty in deep learning

摘要：

本文提出了一種簡單、可擴展、通用的面向深度學習的不確定性表示和標定方法SWA-Gaussian (SWAG)。隨機加權平均(SWA)是一種計算隨機梯度下降(SGD)的第一次迭代的改進學習速率調度方法，最近被證明可以提高深度學習的泛化能力。在SWAG中，我們以SWA解作為第一個矩來擬合高斯分布，并從SGD迭代中得到一個低秩加對角協方差，形成了一個近似的后驗分布;然后我們從這個高斯分布中取樣，進行貝葉斯模型平均。根據SGD迭代的平穩分布結果，我們發現SWAG近似真實后驗的形狀。此外，我們證明了SWAG在各種計算機視覺任務上表現良好，包括樣本外檢測、校準和遷移學習，與許多流行的替代方案相比，包括MC dropout、KFAC拉普拉斯和溫度標度。

作者：

Wesley Maddox是紐約大學數據科學專業的博士生，研究方向是統計機器學習、貝葉斯深度學習、高斯過程和生成模型。正在研究在機器學習模型(如神經網絡)中加入和利用不確定性的方法。

Pavel Izmailov是紐約大學計算機科學的博士生，研究方向主要包括深度學習中的損失面分析、優化和正則化，對深度半監督學習、貝葉斯深度學習、生成模型、高斯過程等課題也很感興趣。

講座題目

深層貝葉斯挖掘、學習與理解：Deep Bayesian Mining, Learning and Understanding

講座簡介

本教程介紹了自然語言的深度貝葉斯學習的進展，其應用廣泛，從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統，問答和機器翻譯，舉幾個例子。傳統上，“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理，重點介紹了一系列先進的貝葉斯模型和深層模型，包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶，序列到序列模型，變分自動編碼器，生成對抗網絡，注意機制，記憶增強神經網絡，跳躍神經網絡，隨機神經網絡，預測狀態神經網絡，策略神經網絡。我們將介紹這些模型是如何連接的，以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題，提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究，以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后，我們將指出未來研究的一些方向和展望。

講座嘉賓

Jen-Tzung Chien，詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年，他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。

題目： Causal Inference and Stable Learning

簡介：

在一個常見的機器學習問題中，使用一個根據訓練數據集估計的模型，根據觀察到的特征來預測未來的結果值。當測試數據和訓練數據來自相同的分布時，許多學習算法被提出并證明是成功的。然而，對于給定的訓練數據分布，性能最好的模型通常利用特征之間微妙的統計關系，這使得它們在應用于測試數據時更容易出現預測錯誤，因為測試數據的分布與訓練數據的分布不同。對于學術研究和實際應用來說，如何建立穩定、可靠的學習模型是至關重要的。因果推理是一種強大的統計建模工具，用于解釋和穩定的學習。因果推理是指基于某一效應發生的條件，對某一因果關系做出結論的過程。在本教程中，我們將重點討論因果推理和穩定學習，旨在從觀察數據中探索因果知識，以提高機器學習算法的可解釋性和穩定性。首先，我們將介紹因果推理，并介紹一些最近的數據驅動的方法來估計因果效應的觀測數據，特別是在高維設置。摘要為了彌補因果推理與機器學習在穩定學習上的差距，我們首先給出了學習算法的穩定性和魯棒性的定義，然后介紹了一些最近出現的穩定學習算法，以提高預測的穩定性和可解釋性。最后，我們將討論穩定學習的應用和未來方向，并為穩定學習提供基準。

邀請嘉賓：

張潼，香港科技大學計算機科學與數學教授。此前，他是羅格斯大學(Rutgers university)教授，曾在IBM、雅虎(Yahoo)、百度和騰訊(Tencent)工作。張潼的研究興趣包括機器學習算法和理論、大數據統計方法及其應用。他是ASA和IMS的研究員，曾在主要機器學習期刊的編委會和頂級機器學習會議的項目委員會任職。張潼在康奈爾大學獲得數學和計算機科學學士學位，在斯坦福大學獲得計算機科學博士學位。

崔鵬，清華大學計算機系長聘副教授，博士生導師。2010年于清華大學計算機系獲得博士學位。研究興趣包括社會動力學建模、大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域高水平會議和期刊發表論文60余篇，曾5次獲得頂級國際會議或期刊論文獎，并先后兩次入選數據挖掘領域頂級國際會議KDD最佳論文專刊。目前擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔尖人才，并當選中國科協全國委員會委員。

報告題目： Bayesian Deep Learning

報告摘要： 深度神經網絡是連接主義系統，通過它通過學習例子來完成任務，而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點，并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習（如何對DNNs進行貝葉斯推理？如何學習分層結構的貝葉斯模型？），本篇報告給出一定解釋。

嘉賓介紹： 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年，入選IEEE Intelligent Systems的“人工智能10大新星”（AI’s 10 to Watch）。他主要從事機器學習研究，在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。

論文主題： Deep Learning for Image Super-resolution: A Survey

論文摘要： 圖像超分辨率（SR）是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來，基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中，我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說，我們可以粗略地將現有的SR技術研究分為三大類：監督SR、非監督SR和領域特定SR。此外，我們還討論了一些其他重要問題，如公開可用的基準數據集和性能評估指標。最后，我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.

報告主題： 模仿學習前沿進展

報告摘要： 時空跟蹤和傳感數據的不斷發展，現在使得在廣泛的領域中對細粒度的行為進行分析和建模成為可能。例如，現在正在收集每場NBA籃球比賽的跟蹤數據，其中包括球員，裁判和以25 Hz跟蹤的球，以及帶有注釋的比賽事件，如傳球，射門和犯規。其他設置包括實驗動物，公共場所的人員，設置諸如手術室，演員講話和表演的演員，虛擬環境中的數字化身，自然現象（如空氣動力學）以及其他計算系統的行為等專業人員。 在本演講中，我將描述正在進行的研究，這些研究正在開發結構化模仿學習方法，以開發細粒度行為的預測模型。模仿學習是機器學習的一個分支，它處理模仿模仿的動態行為的學習。結構化模仿學習涉及施加嚴格的數學領域知識，這些知識可以（有時被證明）可以加速學習，并且還可以帶來附帶利益（例如Lyapunov穩定性或政策行為的可解釋性）。我將提供基本問題設置的高級概述，以及對實驗動物，專業運動，語音動畫和昂貴的計算神諭進行建模的特定項目。

嘉賓介紹： Yisong Yue，博士，是加州理工學院計算與數學科學系的助理教授。他以前是迪斯尼研究院的研究科學家。在此之前，他是卡耐基梅隆大學機器學習系和iLab的博士后研究員。 Yisong的研究興趣主要在于統計機器學習的理論和應用。他對開發用于交互式機器學習和結構化機器學習的新穎方法特別感興趣。過去，他的研究已應用于信息檢索，推薦系統，文本分類，從豐富的用戶界面中學習，分析隱式人類反饋，臨床治療，輔導系統，數據驅動的動畫，行為分析，運動分析，實驗設計科學，優化學習，機器人技術政策學習以及自適應計劃和分配問題。

異常檢測是一個在各個研究領域和應用領域內得到廣泛研究的重要問題。本研究的目的有兩個方面：首先，我們對基于深度學習的異常檢測的研究方法進行了系統全面的綜述。此外，我們還回顧了這些方法對不同應用領域異常的應用，并評估了它們的有效性。我們根據所采用的基本假設和方法，將最先進的研究技術分為不同的類別。在每一類中，我們概述了基本的異常檢測技術，以及它的變體，并給出了關鍵的假設，以區分正常行為和異常行為。對于我們介紹的每一類技術，我們還介紹了它們的優點和局限性，并討論了這些技術在實際應用領域中的計算復雜性。最后，我們概述了研究中的未決問題和采用這些技術時所面臨的挑戰。