亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

【導讀】終身學習是機器學習中的熱門研究話題之一。如何實現持續學習？來自東京RIKEN研究中心的Emtiyaz Khan給了關于從深度神經網絡到高斯過程的教程《DNN2GP: From Deep Networks to Gaussian Processes》，共有45頁ppt，以及撰寫了最新的論文，通過提出一種新的函數正則化方法來解決這個問題，該方法利用了一些過去的難忘樣例，這些樣例對于避免遺忘至關重要。通過使用深度網絡的高斯過程公式，能夠在權重空間中進行訓練，同時識別難忘的過去樣例和功能性樣例。非常具有啟發性，值得查看！

** 持續深度學習**

不斷學習新技能對智能系統來說很重要，但大多數深度學習方法都存在嚴重的遺忘問題。最近的研究用權重調整來解決這個問題。函數正則化雖然在計算上很昂貴，但人們期望它能表現得更好，但在實踐中卻很少這樣做。在本文中，我們通過提出一種新的函數正則化方法來解決這個問題，該方法利用了一些過去的難忘的例子，這些例子對于避免遺忘至關重要。通過使用深度網絡的高斯過程公式，我們的方法能夠在權重空間中進行訓練，同時識別難忘的過去樣例和功能性樣例。我們的方法在標準基準上實現了最先進的性能，并為終身學習開辟了一個新的方向，使正則化和基于記憶的方法自然地結合在一起。

DNN2GP: 從深度神經網絡到高斯過程

Deep Reinforcement Learning via Policy Optimization

簡介：

深度學習被認為是一種無模型，端到端和黑盒子的方法。它需要大量數據樣本，而不是目標領域的專家知識。因此，它沒有指定決策的機制和原因。這方面被認為是深度學習的關鍵限制。本文介紹了另一種觀點，即貝葉斯深度學習。深度學習可以應用在任何框架中，例如貝葉斯網絡和強化學習。隨后，專家可以將知識實現為圖結構，加快學習速度，并獲得目標域上的新知識。該框架被稱為深度生成模型。相反，我們可以將貝葉斯建模方法直接引入深度學習。隨后，有可能通過不確定性量化輸出來探究關于其決策確定性的深度學習，并檢測錯誤的決策或異常輸入。使用上述方法，可以調整深度學習的“brightness”。

【導讀】今年 8 月份，畢業于斯坦福、現就職于英偉達人工智能應用團隊的 Chip Huyen 撰寫了一篇博客，講述她對NeurlPS2019的觀感，講述了研究熱點與發展趨勢，感興趣的三個方向是: 貝葉斯學習、圖神經網絡和凸優化，來看下。

地址： //huyenchip.com/2019/12/18/key-trends-neurips-2019.html

1. 深度學習與貝葉斯原理

正如Emtiyaz Khan在他的《深度學習與貝葉斯原則》演講中所強調的那樣，貝葉斯學習和深度學習是非常不同的。根據Khan的說法，深度學習使用“試錯”的方法——讓我們看看實驗會把我們帶向何方——而貝葉斯原則迫使你事先思考一個假設(先驗)。

與常規的深度學習相比，貝葉斯深度學習主要有兩個優點:不確定性估計和對小數據集的更好的泛化。在實際應用中，僅僅系統做出預測是不夠的。知道每個預測的確定性是很重要的。例如，預測癌癥有50.1%的確定性需要不同的治療，同樣的預測有99.9%的確定性。在貝葉斯學習中，不確定性估計是一個內置特性。

傳統的神經網絡給出單點估計——它們使用一組權值在數據點上輸出預測。另一方面，Bayesian神經網絡使用網絡權值上的概率分布，并輸出該分布中所有權值集的平均預測，其效果與許多神經網絡上的平均預測相同。因此，貝葉斯神經網絡是自然的集合體，它的作用類似于正則化，可以防止過度擬合。

擁有數百萬參數的貝葉斯神經網絡的訓練在計算上仍然很昂貴。收斂到一個后驗值可能需要數周時間，因此諸如變分推論之類的近似方法已經變得流行起來。概率方法-變分貝葉斯推理會議上發表了10篇關于這種變分貝葉斯方法的論文。

我喜歡讀一些關于貝葉斯深度學習的NeurIPS論文:

• Importance Weighted Hierarchical Variational Inference，
• A Simple Baseline for Bayesian Uncertainty in Deep Learning，
• Practical Deep Learning with Bayesian Principles，

2. 圖神經網絡(GNNs)

多年來，我一直在談論圖論是機器學習中最被低估的話題之一。我很高興看到圖機器學習在今年的NeurIPS上非常流行。

對于許多類型的數據，例如社交網絡、知識庫和游戲狀態，圖形是美麗而自然的表示。用于推薦系統的用戶項數據可以表示為一個二部圖，其中一個不相交集由用戶組成，另一個由物品組成。

圖也可以表示神經網絡的輸出。正如 Yoshua Bengio在他的特邀演講中提醒我們的那樣，任何聯合分布都可以表示為一個因子圖。

這使得graph neural network對于組合優化(例如旅行推銷員、日程安排)、身份匹配(這個Twitter用戶和這個Facebook用戶一樣嗎?)、推薦系統等任務來說是完美的。

最流行的圖神經網絡是圖卷積神經網絡(GCNN)，這是預期的，因為它們都對本地信息進行編碼。卷積傾向于尋找輸入相鄰部分之間的關系。圖通過邊編碼與輸入最相關的部分。

• Exact Combinatorial Optimization with Graph Convolutional Neural Networks，
• Yes, there’s a paper that fuses two hottest trends this year: Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels，
• My favorite poster presentation at NeurIPS: (Nearly) Efficient Algorithms for the Graph Matching Problem on Correlated Random Graphs，

推薦閱讀：

• Thomas N. Kipf’s Graph Convolutional Networks blog post，
• Kung-Hsiang, Huang’s A Gentle Introduction to Graph Neural Networks (Basics, DeepWalk, and GraphSage)，

3. 凸優化

我很欣賞Stephen Boyd關于凸優化的工作，所以很高興看到它在NeurIPS上越來越受歡迎——有32篇論文與這個主題相關(1,2)。Stephen Boyd和J. Zico Kolter的實驗室也發表了他們的論文《可微凸優化層》，展示了如何通過凸優化問題的解決方案進行區分，使其有可能嵌入可微程序(如神經網絡)并從數據中學習它們。

凸優化問題是有吸引力的，因為它們可以準確地解決(1e-10的誤差容忍度是可以實現的)和快速。它們也不會產生奇怪的/意料之外的輸出，而這對于真實的應用程序是至關重要的。盡管在開放環境遇到的許多問題都是非凸的，但將它們分解成一系列凸問題是可行的。

利用凸優化算法訓練神經網絡。然而，雖然神經網絡的重點是從頭開始學習，但在端到端的方式中，凸優化問題的應用明確地強調建模系統，使用領域特定的知識。當可以以凸的方式顯式地對系統建模時，通常需要的數據要少得多。可微凸優化層的工作是混合端到端學習和顯式建模的優點的一種方法。

當你想控制一個系統的輸出時，凸優化特別有用。例如，SpaceX使用凸優化來讓火箭著陸，貝萊德(BlackRock)將其用于交易算法。在深度學習中使用凸優化真的很酷，就像現在的貝葉斯學習。

Akshay Agrawal推薦的關于凸優化的NeurIPS論文。

• Acceleration via Symplectic Discretization of High-Resolution Differential Equations，
• Hamiltonian descent for composite objectives，

NeurlPS 2019 研究內容分析

• 強化學習甚至在機器人學之外也越來越流行。有顯著正性變化的關鍵詞有bandit、feedback、regret、control。
• 生成模型仍然很流行。GAN仍然吸引著我們的想象力，但遠沒有那么夸張。
• 遞歸神經網絡和卷積神經網絡在去年確實如此。
• 硬件關鍵字也在上升，信號更多的硬件感知算法。這是對硬件是機器學習瓶頸這一擔憂的回答。
• 我很難過數據在下降。
• Meta learning預計，今年這一比例的增幅最高。
• 盡管貝葉斯定理下降了，不確定性卻上升了。去年，有很多論文使用了貝葉斯原理，但沒有針對深度學習。

參考鏈接：

報告題目： Bayesian Deep Learning

報告摘要： 深度神經網絡是連接主義系統，通過它通過學習例子來完成任務，而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點，并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習（如何對DNNs進行貝葉斯推理？如何學習分層結構的貝葉斯模型？），本篇報告給出一定解釋。

嘉賓介紹： 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年，入選IEEE Intelligent Systems的“人工智能10大新星”（AI’s 10 to Watch）。他主要從事機器學習研究，在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。

課程名稱： Deep Learning and Bayesian Methods

課程介紹： 在Deep|Bayes暑期學校，我們將討論如何將Bayes方法與Deep Learning相結合，并在機器學習應用程序中帶來更好的結果。 最近的研究證明，貝葉斯方法的使用可以通過各種方式帶來好處。 學校參與者將學習對理解當前機器學習研究至關重要的方法和技術。 他們還將具有使用概率模型來構建神經生成和判別模型的動手經驗，學習神經網絡的現代隨機優化方法和正則化技術，并掌握推理神經網絡及其權重不確定性的方法，預測。

部分邀請嘉賓： Maurizio Filippone，AXA計算統計主席，EURECOM副教授

Novi Quadrianto，薩塞克斯大學助理教授

課程大綱：

• 貝葉斯方法介紹
• 貝葉斯推理
• EM算法
• 隨機變分推理與變分自編碼器
• GAN
• 高斯分布與貝葉斯優化
• 貝葉斯神經網絡