亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

題目： An Overview of Privacy in Machine Learning

序言： 在過去幾年中，谷歌、微軟和亞馬遜等供應商已經開始為客戶提供軟件接口，使他們能夠輕松地將機器學習任務嵌入到他們的應用程序中。總的來說，機構現在可以使用機器學習作為服務(MLaaS)引擎來外包復雜的任務，例如訓練分類器、執行預測、聚類等等。他們還可以讓其他人根據他們的數據查詢模型。當然，這種方法也可以在其他情況下使用(并且經常提倡使用)，包括政府協作、公民科學項目和企業對企業的伙伴關系。然而，如果惡意用戶能夠恢復用于訓練這些模型的數據，那么由此導致的信息泄漏將會產生嚴重的問題。同樣，如果模型的內部參數被認為是專有信息，那么對模型的訪問不應該允許對手了解這些參數。在本文中，我們對這一領域的隱私挑戰進行了回顧，系統回顧了相關的研究文獻，并探討了可能的對策。具體地說，我們提供了大量關于機器學習和隱私相關概念的背景信息。然后，我們討論了可能的對抗模型和設置，涵蓋了與隱私和/或敏感信息泄漏有關的廣泛攻擊，并回顧了最近試圖防御此類攻擊的結果。最后，我們總結出一系列需要更多工作的開放問題，包括需要更好的評估、更有針對性的防御，以及研究與政策和數據保護工作的關系。

隨著深度學習在視覺、推薦系統、自然語言處理等諸多領域的不斷發展，深度神經網絡(DNNs)在生產系統中得到了廣泛的應用。大數據集的可用性和高計算能力是這些進步的主要因素。這些數據集通常是眾包的，可能包含敏感信息。這造成了嚴重的隱私問題，因為這些數據可能被濫用或通過各種漏洞泄露。即使云提供商和通信鏈路是可信的，仍然存在推理攻擊的威脅，攻擊者可以推測用于訓練的數據的屬性，或者找到底層的模型架構和參數。在這次調查中，我們回顧了深度學習帶來的隱私問題，以及為解決這些問題而引入的緩解技術。我們還指出，在測試時間推斷隱私方面的文獻存在空白，并提出未來可能的研究方向。

題目： A Survey on Edge Intelligence

簡介：

邊緣智能是指一組連接的系統和設備，用于在靠近基于人工智能捕獲數據的位置進行數據收集，緩存，處理和分析。邊緣智能的目的是提高數據處理的質量和速度，并保護數據的隱私和安全性。盡管最近出現，從2011年到現在，這個研究領域在過去五年中顯示出爆炸性增長。在本文中，我們對有關邊緣智能的文獻進行了全面的調查。我們首先根據與擬議和部署的系統有關的理論和實踐結果，確定邊緣智能的四個基本組成部分，即邊緣緩存，邊緣訓練，邊緣推理和邊緣卸載。然后，我們通過檢查四個組成部分每個的研究結果和觀察結果，來對解決方案的狀態進行系統的分類，并提出一種分類法，其中包括實際問題，采用的技術和應用目標。對于每個類別，我們從采用的技術，目標，性能，優點和缺點等方面詳細闡述，比較和分析文獻。本調查文章全面介紹了邊緣智能及其應用領域。此外，我們總結了新興研究領域的發展和當前的最新技術，并討論了重要的開放性問題以及可能的理論和技術解決方案。

題目： Natural Language Processing Advancements By Deep Learning: A Survey

摘要： 自然語言處理(NLP)幫助智能機器更好地理解人類語言，實現基于語言的人機交流。算力的最新發展和語言大數據的出現，增加了使用數據驅動方法自動進行語義分析的需求。由于深度學習方法在計算機視覺、自動語音識別，特別是NLP等領域的應用取得了顯著的進步，數據驅動策略的應用已經非常普遍。本綜述對得益于深度學習的NLP的不同方面和應用進行了分類和討論。它涵蓋了核心的NLP任務和應用，并描述了深度學習方法和模型如何推進這些領域。我們并進一步分析和比較不同的方法和最先進的模型。

題目： Convergence of Edge Computing and Deep Learning: A Comprehensive Survey

簡介： 來自工廠和社區的傳感器和智能設備正在生成大量數據，而不斷增長的計算能力正在將計算和服務的核心從云端驅動到網絡邊緣。作為廣泛改變人們生活的重要推動力，從人臉識別到智能工廠和城市，基于人工智能（尤其是深度學習，DL）的應用程序和服務的發展正在蓬勃發展。但是，由于效率和延遲問題，當前的云計算服務體系結構阻礙了“為每個地方的每個人和每個組織提供人工智能”的愿景。因此，使用在數據源附近的網絡邊緣的資源來釋放DL服務已經成為一種理想的解決方案。因此，旨在通過邊緣計算促進DL服務部署的邊緣智能已引起了廣泛關注。此外，作為人工智能的代表技術的DL可以集成到邊緣計算框架中，以構建用于動態，自適應邊緣維護和管理的智能邊緣。關于互惠互利的邊緣智能和智能邊緣，本文介紹和討論：1）兩者的應用場景； 2）實際的實現方法和使能技術，即定制邊緣計算框架中的DL訓練； 3）現有挑戰以及更普遍，更精細的智能化趨勢。通過整合散布在通信，網絡和DL領域的信息，可以幫助讀者理解支持技術之間的聯系，同時促進對邊緣智能與智能邊緣融合的進一步討論。

題目： A Survey on Distributed Machine Learning

簡介： 在過去十年中，對人工智能的需求已顯著增長，并且這種增長得益于機器學習技術的進步以及利用硬件加速的能力，但是，為了提高預測質量并在復雜的應用程序中提供可行的機器學習解決方案，需要大量的訓練數據。盡管小型機器學習模型可以使用一定數量的數據進行訓練，但用于訓練較大模型（例如神經網絡）的輸入與參數數量成指數增長。由于處理訓練數據的需求已經超過了計算機器的計算能力的增長，因此急需在多個機器之間分配機器學習工作量，并將集中式的精力分配到分配的系統上。這些分布式系統提出了新的挑戰，最重要的是訓練過程的科學并行化和相關模型的創建。本文通過概述傳統的（集中的）機器學習方法，探討了分布式機器學習的挑戰和機遇，從而對當前的最新技術進行了廣泛的概述，并對現有的技術進行研究。

題目： Machine Learning Advanced Techniques and Emerging Applications

簡介：

跨不同的工業部門、業務單位和科研社區生成、存儲和通信的數據量正在迅速擴大。移動通信和分布式/并行計算技術的最新發展使跨不同部分的生成數據的實時收集和處理成為可能。一方面，移動通信行業所支持的物聯網(IoT)連接了能夠收集異構數據的各種類型的傳感器。另一方面，計算能力的最新進展，例如圖形處理單元(gpu)中的并行處理和云計算集群上的分布式處理，使處理大量數據成為可能。有必要從大量數據(所謂的大數據)中發現重要的模式并推斷出趨勢，以增強數據驅動的決策過程。機器學習中已經開發了工具和技術，以結構化和自動化的方式從可用數據中得出有洞察力的結論。機器學習算法基于多個領域開發的概念和工具，包括統計、人工智能、信息論、認知科學和控制理論。機器學習的最新進展在不同的科學領域有廣泛的應用。這本書涵蓋了機器學習技術在智能城市、自動化工業和新興企業的廣泛應用領域的最新進展。

章節：

• 第一章：機器學習的硬件加速器設計
• 第二章：利用可負擔的數據收集建立預測空氣污染的回歸模型
• 第三章：基于多個內核的多媒體融合用于從Tweets中自動檢測事件
• 第四章：使用情緒分析和機器學習算法來確定市民的看法
• 第五章：從高級機器學習到深度學習的曲折之路
• 第六章：認知無線電網絡中頻譜管理的機器學習方法
• 第七章：Osamah Ali Abdullah和Ikhlas Abdel-Qader提出的用于無線室內定位的機器學習算法
• 第八章：利用深度卷積神經網絡對感染瘧疾的細胞進行分類
• 第九章：Ibtehal Talal Nafea的《教育技術中的機器學習》
• 第十章：改進產品推薦的基于情感的語義規則學習
• 第十一章：一種應用于最大可滿足性問題的多級進化算法

作者簡介：

Hamed Farhadi是瑞典斯德哥爾摩愛立信研究所的研究員。2014年在瑞典斯德哥爾摩KTH皇家理工學院獲得博士學位。2016年，他是美國馬薩諸塞州劍橋市哈佛大學的博士后研究員，2015年，他是瑞典哥德堡查爾默斯理工大學的博士后研究員。他的研究興趣主要集中在統計信號處理和機器學習等廣泛的應用領域，包括無線醫療系統、微型機器人手術、臨床數據分析和無線信息網絡。他曾獲得多項學術獎項，包括ICASSP 2014最佳學生論文獎。Farhadi博士是2015年IEEE醫學信息與通信技術國際研討會(ISMICT)的聯合主席。