亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

機器學習方法以有限的資源快速地從大量的數據中提取價值。它們是在廣泛的工業應用中建立起來的工具，包括搜索引擎、DNA測序、股票市場分析和機器人移動，它們的使用正在迅速蔓延。了解這些方法的人可以選擇有回報的工作。這個動手實踐書冊為計算機科學學生打開這些機會。它是專為具有有限的線性代數和微積分背景的大四本科生和碩士生設計的。它在圖模型的框架內開發了從基本推理到高級技術的所有內容。學生們學到的不僅僅是一系列的技巧，他們還會發展分析和解決問題的技巧，這些技巧使他們能夠適應真實的世界。許多例子和練習，以計算機為基礎和理論，包括在每一章。為學生和教師的資源，包括一個MATLAB工具箱，可在網上獲得。

題目： Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs

摘要： 近年來隨著知識圖譜(KGs)的大量涌現，加上實體間缺失關系(鏈接)的不完全或部分信息，催生了大量關于知識庫補全(也稱為關系預測)的研究。最近的一些研究表明，基于卷積神經網絡(CNN)的模型能夠生成更豐富、更有表現力的特征嵌入，因此在關系預測方面也有很好的表現。然而，我們觀察到這些KG嵌入獨立地處理三元組，因此不能捕獲到三元組周圍的復雜和隱藏的信息。為此，本文提出了一種新的基于注意的特征嵌入方法，該方法能同時捕獲任意給定實體鄰域內的實體特征和關系特征。此外，我們還在模型中封裝了關系集群和多跳關系。我們的實驗研究為我們基于注意力的模型的有效性提供了深入的見解，并且與所有數據集上的最先進的方法相比，有顯著的性能提升。

題目：

Transfer Learning in Visual and Relational Reasoning

簡介：

遷移學習已成為計算機視覺和自然語言處理中的事實上的標準，尤其是在缺少標簽數據的地方。通過使用預先訓練的模型和微調，可以顯著提高準確性。在視覺推理任務（例如圖像問答）中，傳遞學習更加復雜。除了遷移識別視覺特征的功能外，我們還希望遷移系統的推理能力。而且，對于視頻數據，時間推理增加了另一個維度。在這項工作中，我們將遷移學習的這些獨特方面形式化，并提出了一種視覺推理的理論框架，以完善的CLEVR和COGdatasets為例。此外，我們引入了一種新的，端到端的微分遞歸模型（SAMNet），該模型在兩個數據集上的傳輸學習中均顯示了最新的準確性和更好的性能。改進的SAMNet性能源于其將抽象的多步推理與序列的長度解耦的能力及其選擇性的關注能力，使其僅能存儲與問題相關的信息外部存儲器中的對象。

目錄：

題目

知識圖譜的生成式對抗零樣本關系學習:Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

簡介

大規模知識圖譜（KGs）在當前的信息系統中顯得越來越重要。為了擴大知識圖的覆蓋范圍，以往的知識圖完成研究需要為新增加的關系收集足夠的訓練實例。本文考慮一種新的形式，即零樣本學習，以擺脫這種繁瑣的處理，對于新增加的關系，我們試圖從文本描述中學習它們的語義特征，從而在不見實例的情況下識別出看不見的關系。為此，我們利用生成性對抗網絡（GANs）來建立文本與知識邊緣圖域之間的聯系：生成器學習僅用有噪聲的文本描述生成合理的關系嵌入。在這種背景下，零樣本學習自然轉化為傳統的監督分類任務。從經驗上講，我們的方法是模型不可知的，可以應用于任何版本的KG嵌入，并在NELL和Wikidataset上產生性能改進。

作者 Pengda Qin,Xin Wang,Wenhu Chen,Chunyun Zhang,Weiran Xu1William Yang Wang

題目： Probabilistic Logic Neural Networks for Reasoning

摘要：

知識圖譜推理的目的是通過對觀測到的事實進行推理來預測缺失的事實，它在許多應用中起著至關重要的作用。傳統的基于邏輯規則的方法和近年來的知識圖譜嵌入方法都對這一問題進行了廣泛的探討。馬爾可夫邏輯網絡(MLN)是一種有原則的基于規則的邏輯方法，它能夠利用一階邏輯的領域知識，同時處理不確定性。然而，由于其復雜的圖形結構，MLNs的推理通常是非常困難的。與MLNs不同的是，知識圖的嵌入方法(如TransE、DistMult)學習有效的實體嵌入和關系嵌入進行推理，這樣更有效、更高效。然而，他們無法利用領域知識。在本文中，我們提出了概率邏輯神經網絡(pLogicNet)，它結合了兩種方法的優點。pLogicNet使用一階邏輯的馬爾可夫邏輯網絡定義所有可能的三聯體的聯合分布，該網絡可以通過變分EM算法進行有效優化。采用知識圖譜嵌入模型推斷缺失的三聯體，根據觀測到的三聯體和預測到的三聯體更新邏輯規則權值。在多個知識圖譜的實驗證明了pLogicNet在許多競爭基線上的有效性。

作者：

瞿錳是蒙特利爾學習算法研究所的一年級博士生，之前，在伊利諾伊大學香檳分校獲得了碩士學位，此外，在北京大學獲得了學士學位。主要研究方向為機器學習、貝葉斯深度學習、數據挖掘和自然語言處理。

題目： Embedding Symbolic Knowledge into Deep Networks

摘要：

在這項工作中，我們的目標是利用先前的符號知識來提高深層模型的性能。提出了一種利用增廣圖卷積網絡(GCN)將命題公式(和賦值)投影到流形上的圖嵌入網絡。為了生成語義上可靠的嵌入，我們開發了識別節點異構性的技術和將結構約束合并到嵌入中的語義正則化。實驗結果表明，該方法提高了訓練后的模型的性能，使其能更好地進行蘊涵檢測和視覺關聯預測。有趣的是，我們觀察到命題理論表達的可追蹤性和嵌入的容易程度之間的聯系。對這一聯系的進一步探索可以闡明知識編輯與向量表示學習之間的關系。

作者：

Ziwei Xu是新加坡國立大學博士研究生。之前是中國科學技術大學的一名本科生，對計算機視覺感興趣，尤其對搭建自然語言、人類知識和視覺世界之間的橋梁感興趣。

講座題目

深層貝葉斯挖掘、學習與理解：Deep Bayesian Mining, Learning and Understanding

講座簡介

本教程介紹了自然語言的深度貝葉斯學習的進展，其應用廣泛，從語音識別到文檔摘要、文本分類、文本分割、信息提取、圖像字幕生成、句子生成、對話控制、情感分類、推薦系統，問答和機器翻譯，舉幾個例子。傳統上，“深度學習”被認為是一種基于實值確定性模型進行推理或優化的學習過程。從大量詞匯中提取的單詞、句子、實體、動作和文檔中的“語義結構”在數學邏輯或計算機程序中可能沒有得到很好的表達或正確的優化。自然語言離散或連續潛變量模型中的“分布函數”可能無法正確分解或估計。本教程介紹了統計模型和神經網絡的基本原理，重點介紹了一系列先進的貝葉斯模型和深層模型，包括分層Dirichlet過程、中餐館過程、分層Pitman-Yor過程、印度自助餐過程、遞歸神經網絡、長時短期記憶，序列到序列模型，變分自動編碼器，生成對抗網絡，注意機制，記憶增強神經網絡，跳躍神經網絡，隨機神經網絡，預測狀態神經網絡，策略神經網絡。我們將介紹這些模型是如何連接的，以及它們為什么在自然語言中的符號和復雜模式的各種應用中起作用。為了解決復雜模型的優化問題，提出了變分推理和抽樣方法。詞和句子的嵌入、聚類和共聚類與語言和語義約束相結合。本文提出了一系列的案例研究，以解決深度貝葉斯挖掘、學習和理解中的不同問題。最后，我們將指出未來研究的一些方向和展望。

講座嘉賓

Jen-Tzung Chien，詹增建于一九九七年獲中華民國新竹國立清華大學電機工程博士學位。現任臺灣新竹國立交通大學電機與電腦工程系及電腦科學系主任教授。2010年，他在紐約約克敦高地IBM T.J.沃森研究中心擔任客座教授。他的研究興趣包括機器學習、深度學習、自然語言處理和計算機視覺。

課程名稱： Deep Learning and Bayesian Methods

課程介紹： 在Deep|Bayes暑期學校，我們將討論如何將Bayes方法與Deep Learning相結合，并在機器學習應用程序中帶來更好的結果。 最近的研究證明，貝葉斯方法的使用可以通過各種方式帶來好處。 學校參與者將學習對理解當前機器學習研究至關重要的方法和技術。 他們還將具有使用概率模型來構建神經生成和判別模型的動手經驗，學習神經網絡的現代隨機優化方法和正則化技術，并掌握推理神經網絡及其權重不確定性的方法，預測。

部分邀請嘉賓： Maurizio Filippone，AXA計算統計主席，EURECOM副教授

Novi Quadrianto，薩塞克斯大學助理教授

課程大綱：

• 貝葉斯方法介紹
• 貝葉斯推理
• EM算法
• 隨機變分推理與變分自編碼器
• GAN
• 高斯分布與貝葉斯優化
• 貝葉斯神經網絡