亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘 要 圖像自動標注技術是減少圖像數據與內容之間“語義鴻溝”的其中一種最有效途徑，對于幫助人類理解圖像內容，從海量圖像數據中檢索感興趣的信息具有重要現實意義.通過研究近20年公開發表的圖像標注文獻，總結了圖像標注模型的一般性框架；并通過該框架結合各種具體工作，分析出在圖像標注研究過程中需要解決的一般性問題；將各種圖像標注模型所采用的主要方法歸為9種類型，分別為相關模型、隱Markov模型、主題模型、矩陣分解模型、近鄰模型、基于支持向量機的模型、圖模型、典型相關分析模型以及深度學習模型，并對每種類型的圖像標注模型，按照“基本原理介紹—具體模型差異—模型總結”3個層面進行了研究與分析.此外，總結了圖像標注模型常用的一些數據集、評測指標，對一些比較著名的標注模型的性能進行了比較，并據此對各種類型的標注模型做了優缺點分析.最后，提出了圖像標注領域一些開放式問題和研究方向.

在優化和決策過程中，不確定性量化(UQ)在減少不確定性方面起著至關重要的作用。它可以應用于解決科學和工程中的各種實際應用。貝葉斯逼近和集成學習技術是目前文獻中使用最廣泛的兩種UQ方法。在這方面，研究者們提出了不同的UQ方法，并在計算機視覺(如自動駕駛汽車和目標檢測)、圖像處理(如圖像恢復)、醫學圖像分析(如醫學圖像分類和分割)、自然語言處理(如文本分類、社交媒體文本和再犯風險評分)、生物信息學得到廣泛應用。本研究綜述了UQ方法在深度學習中的最新進展。此外，我們還研究了這些方法在強化學習(RL)中的應用。然后，我們概述了UQ方法的幾個重要應用。最后，我們簡要地強調了UQ方法面臨的基本研究挑戰，并討論了該領域的未來研究方向。

//arxiv.org/abs/2011.06225

摘要:

在日常情景中，我們處理很多領域的不確定性，從投資機會和醫療診斷到體育比賽和天氣預報，目的是根據收集的觀察和不確定的領域知識進行決策。現在，我們可以依靠使用機器和深度學習技術開發的模型來量化不確定性來完成統計推斷[1]。在人工智能(AI)系統使用[2]之前，對其效能進行評估是非常重要的。這種模型的預測具有不確定性，除了存在不確定性的歸納假設外，還容易出現噪聲和錯誤的模型推斷。因此，在任何基于人工智能的系統中，以一種值得信賴的方式表示不確定性是非常可取的。通過有效地處理不確定性，這樣的自動化系統應該能夠準確地執行。不確定性因素在人工智能中扮演著重要的角色

不確定性的來源是當測試和訓練數據不匹配，由于類重疊或由于數據[6]中存在噪聲而產生的不確定性。估計知識的不確定性要比數據的不確定性困難得多，數據的不確定性自然是通過極大似然訓練來度量的。預測中的不確定性來源對于解決不確定性估計問題[7]至關重要。不確定性有兩個主要來源，在概念上稱為aleatoric和epistemic不確定性8。

數據中的不可約不確定性導致預測中的不確定性是一種可選不確定性(也稱為數據不確定性)。這種類型的不確定性不是模型的屬性，而是數據分布的固有屬性;因此它是不可約的。不確定性的另一種類型是認知不確定性(也稱為知識不確定性)，它是由于知識和數據的不足而產生的。人們可以定義模型來回答基于模型預測中的不同人類問題。在數據豐富的情況下，有大量的數據收集，但它可能是信息差的[10]。在這種情況下，可以使用基于人工智能的方法定義有效的模型，表征數據特征。通常這些數據是不完整的，有噪聲的，不一致的和多模態的[1]。

不確定性量化(UQ)是當今許多關鍵決策的基礎。沒有UQ的預測通常是不可靠和不準確的。為了理解深度學習(DL)[11]，[12]過程生命周期，我們需要理解UQ在DL中的作用。DL模型首先收集可用于決策過程的最全面和潛在相關的數據集。DL場景的設計是為了滿足某些性能目標，以便在使用標記數據訓練模型之后選擇最合適的DL架構。迭代訓練過程優化不同的學習參數，這些參數將被“調整”，直到網絡提供令人滿意的性能水平。

在涉及的步驟中，有幾個不確定因素需要加以量化。很明顯的不確定性這些步驟如下:(i)選擇和訓練數據的集合,(ii)訓練數據的完整性和準確性,(3)理解DL(或傳統機器學習)模型與性能范圍及其局限性,和(iv)不確定性對應基于操作數據的性能模型[13]。數據驅動的方法，如與UQ相關的DL提出了至少四組重疊的挑戰:(1)缺乏理論，(2)缺乏臨時模型，(3)對不完美數據的敏感性，以及(4)計算費用。為了緩解這些挑戰，有時會采用模型變異性研究和敏感性分析等特殊解決方案。不確定性估計和量化在數字學習和傳統機器學習中得到了廣泛的研究。在下面，我們提供一些最近的研究的簡要總結，這些研究檢驗了處理不確定性的各種方法的有效性。

圖2給出了三種不同不確定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意圖比較。此外，不確定性感知模型(BNN)與OoD分類器的兩種圖形表示如圖3所示。

在大數據時代，ML和DL，智能使用不同的原始數據有巨大的潛力，造福于廣泛的領域。然而，UQ在不同的ML和DL方法可以顯著提高其結果的可靠性。Ning等人總結并分類了不確定性下數據驅動優化范式的主要貢獻。可以看出，本文只回顧了數據驅動的優化。在另一項研究中，Kabir等人[16]回顧了基于神經網絡的UQ。作者關注概率預測和預測區間(pi)，因為它們是UQ文獻中最廣泛使用的技術之一。

我們注意到，從2010年到2020年(6月底)，在各個領域(如計算機視覺、圖像處理、醫學圖像分析、信號處理、自然語言處理等)發表了超過2500篇關于AI中UQ的論文。與以往UQ領域的文獻綜述不同，本研究回顧了最近發表的使用不同方法定量AI (ML和DL)不確定性的文章。另外，我們很想知道UQ如何影響真實案例，解決AI中的不確定性有助于獲得可靠的結果。與此同時，在現有的研究方法中尋找重要的談話是一種很好的方式，為未來的研究指明方向。在這方面，本文將為ML和DL中UQ的未來研究人員提供更多的建議。我們調查了UQ領域應用于ML和DL方法的最新研究。因此，我們總結了ML和DL中UQ的一些現有研究。值得一提的是，本研究的主要目的并不是比較提出的不同UQ方法的性能，因為這些方法是針對不同的數據和特定的任務引入的。由于這個原因，我們認為比較所有方法的性能超出了本研究的范圍。因此，本研究主要關注DL、ML和強化學習(RL)等重要領域。因此，本研究的主要貢獻如下:

• 據我們所知，這是第一篇關于ML和DL方法中使用的UQ方法的全面綜述論文，值得該領域的研究人員使用。
• 對新提出的UQ方法進行了全面調研。
• 此外，UQ方法的重要應用的主要類別也進行了介紹
• 指出了UQ方法的主要研究空白。
• 最后，討論了很少確定的未來發展方向。

摘要

一個綜合的人工智能系統不僅需要用不同的感官(如視覺和聽覺)感知環境，還需要推斷世界的條件(甚至因果)關系和相應的不確定性。在過去的十年里，我們看到了許多感知任務的重大進展，比如視覺對象識別和使用深度學習模型的語音識別。然而，對于更高層次的推理，具有貝葉斯特性的概率圖模型仍然更加強大和靈活。近年來，貝葉斯深度學習作為一種將深度學習與貝葉斯模型緊密結合的統一的概率框架出現了。在這個總體框架中，利用深度學習對文本或圖像的感知可以提高更高層次推理的性能，推理過程的反饋也可以增強文本或圖像的感知。本文對貝葉斯深度學習進行了全面的介紹，并對其在推薦系統、主題模型、控制等方面的最新應用進行了綜述。此外，我們還討論了貝葉斯深度學習與其他相關課題如神經網絡的貝葉斯處理之間的關系和區別。

介紹

在過去的十年中，深度學習在許多流行的感知任務中取得了顯著的成功，包括視覺對象識別、文本理解和語音識別。這些任務對應于人工智能(AI)系統的看、讀、聽能力，它們無疑是人工智能有效感知環境所必不可少的。然而，要建立一個實用的、全面的人工智能系統，僅僅有感知能力是遠遠不夠的。首先，它應該具備思維能力。

一個典型的例子是醫學診斷，它遠遠超出了簡單的感知:除了看到可見的癥狀(或CT上的醫學圖像)和聽到患者的描述，醫生還必須尋找所有癥狀之間的關系，最好推斷出它們的病因。只有在那之后，醫生才能給病人提供醫療建議。在這個例子中，雖然視覺和聽覺的能力讓醫生能夠從病人那里獲得信息，但醫生的思維能力才是關鍵。具體來說，這里的思維能力包括識別條件依賴、因果推理、邏輯演繹、處理不確定性等，顯然超出了傳統深度學習方法的能力。幸運的是，另一種機器學習范式，概率圖形模型(PGM)，在概率或因果推理和處理不確定性方面表現出色。問題在于，PGM在感知任務上不如深度學習模型好，而感知任務通常涉及大規模和高維信號(如圖像和視頻)。為了解決這個問題，將深度學習和PGM統一到一個有原則的概率框架中是一個自然的選擇，在本文中我們稱之為貝葉斯深度學習(BDL)。 在上面的例子中，感知任務包括感知病人的癥狀(例如，通過看到醫學圖像)，而推理任務包括處理條件依賴性、因果推理、邏輯推理和不確定性。通過貝葉斯深度學習中有原則的整合，將感知任務和推理任務視為一個整體，可以相互借鑒。具體來說，能夠看到醫學圖像有助于醫生的診斷和推斷。另一方面，診斷和推斷反過來有助于理解醫學圖像。假設醫生可能不確定醫學圖像中的黑點是什么，但如果她能夠推斷出癥狀和疾病的病因，就可以幫助她更好地判斷黑點是不是腫瘤。 再以推薦系統為例。一個高精度的推薦系統需要(1)深入了解條目內容(如文檔和電影中的內容)，(2)仔細分析用戶檔案/偏好，(3)正確評價用戶之間的相似度。深度學習的能力有效地處理密集的高維數據,如電影內容擅長第一子任務,而PGM專攻建模條件用戶之間的依賴關系,項目和評分(參見圖7為例,u, v,和R是用戶潛在的向量,項目潛在的向量,和評級,分別)擅長其他兩個。因此，將兩者統一在一個統一的概率原則框架中，可以使我們在兩個世界中都得到最好的結果。這種集成還帶來了額外的好處，可以優雅地處理推薦過程中的不確定性。更重要的是，我們還可以推導出具體模型的貝葉斯處理方法，從而得到更具有魯棒性的預測。

作為第三個例子，考慮根據從攝像機接收到的實時視頻流來控制一個復雜的動態系統。該問題可以轉化為迭代執行兩項任務:對原始圖像的感知和基于動態模型的控制。處理原始圖像的感知任務可以通過深度學習來處理，而控制任務通常需要更復雜的模型，如隱馬爾科夫模型和卡爾曼濾波器。由控制模型選擇的動作可以依次影響接收的視頻流，從而完成反饋回路。為了在感知任務和控制任務之間實現有效的迭代過程，我們需要信息在它們之間來回流動。感知組件將是控制組件估計其狀態的基礎，而帶有動態模型的控制組件將能夠預測未來的軌跡(圖像)。因此，貝葉斯深度學習是解決這一問題的合適選擇。值得注意的是，與推薦系統的例子類似，來自原始圖像的噪聲和控制過程中的不確定性都可以在這樣的概率框架下自然地處理。 以上例子說明了BDL作為一種統一深度學習和PGM的原則方式的主要優勢:感知任務與推理任務之間的信息交換、對高維數據的條件依賴以及對不確定性的有效建模。關于不確定性，值得注意的是，當BDL應用于復雜任務時，需要考慮三種參數不確定性：

1. 神經網絡參數的不確定性。
2. 指定任務參數的不確定性。
3. 感知組件和指定任務組件之間信息交換的不確定性。

通過使用分布代替點估計來表示未知參數，BDL提供了一個很有前途的框架，以統一的方式處理這三種不確定性。值得注意的是，第三種不確定性只能在BDL這樣的統一框架下處理;分別訓練感知部分和任務特定部分相當于假設它們之間交換信息時沒有不確定性。注意，神經網絡通常是過參數化的，因此在有效處理如此大的參數空間中的不確定性時提出了額外的挑戰。另一方面，圖形模型往往更簡潔，參數空間更小，提供了更好的可解釋性。

除了上述優點之外，BDL內建的隱式正則化還帶來了另一個好處。通過在隱藏單元、定義神經網絡的參數或指定條件依賴性的模型參數上施加先驗，BDL可以在一定程度上避免過擬合，尤其是在數據不足的情況下。通常，BDL模型由兩個組件組成，一個是感知組件，它是某種類型神經網絡的貝葉斯公式，另一個是任務特定組件，使用PGM描述不同隱藏或觀察變量之間的關系。正則化對它們都很重要。神經網絡通常過度參數化，因此需要適當地正則化。正則化技術如權值衰減和丟失被證明是有效地改善神經網絡的性能，他們都有貝葉斯解釋。在任務特定組件方面，專家知識或先驗信息作為一種正規化，可以在數據缺乏時通過施加先驗來指導模型。 在將BDL應用于實際任務時，也存在一些挑戰。(1)首先，設計一個具有合理時間復雜度的高效的神經網絡貝葉斯公式并非易事。這一行是由[42,72,80]開創的，但是由于缺乏可伸縮性，它沒有被廣泛采用。幸運的是，這個方向的一些最新進展似乎為貝葉斯神經網絡的實際應用提供了一些啟示。(2)第二個挑戰是如何確保感知組件和任務特定組件之間有效的信息交換。理想情況下，一階和二階信息(例如，平均值和方差)應該能夠在兩個組件之間來回流動。一種自然的方法是將感知組件表示為PGM，并將其與特定任務的PGM無縫連接，如[24,118,121]中所做的那樣。 本綜述提供了對BDL的全面概述，以及各種應用程序的具體模型。綜述的其余部分組織如下:在第2節中，我們將回顧一些基本的深度學習模型。第3節介紹PGM的主要概念和技術。這兩部分作為BDL的基礎，下一節第4節將演示統一BDL框架的基本原理，并詳細說明實現其感知組件和特定于任務的組件的各種選擇。第5節回顧了應用于不同領域的BDL模型，如推薦系統、主題模型和控制，分別展示了BDL在監督學習、非監督學習和一般表示學習中的工作方式。第6部分討論了未來的研究問題，并對全文進行了總結。

結論和未來工作

BDL致力于將PGM和NN的優點有機地整合在一個原則概率框架中。在這項綜述中，我們確定了這種趨勢，并回顧了最近的工作。BDL模型由感知組件和任務特定組件組成；因此，我們分別描述了過去幾年開發的兩個組件的不同實例，并詳細討論了不同的變體。為了學習BDL中的參數，人們提出了從塊坐標下降、貝葉斯條件密度濾波、隨機梯度恒溫器到隨機梯度變分貝葉斯等多種類型的算法。 BDL從PGM的成功和最近在深度學習方面有前景的進展中獲得了靈感和人氣。由于許多現實世界的任務既涉及高維信號(如圖像和視頻)的有效感知，又涉及隨機變量的概率推理，因此BDL成為利用神經網絡的感知能力和PGM的(條件和因果)推理能力的自然選擇。在過去的幾年中，BDL在推薦系統、主題模型、隨機最優控制、計算機視覺、自然語言處理、醫療保健等各個領域都有成功的應用。在未來，我們不僅可以對現有的應用進行更深入的研究，還可以對更復雜的任務進行探索。此外，最近在高效BNN (BDL的感知組件)方面的進展也為進一步提高BDL的可擴展性奠定了基礎。

這本書全面介紹優化工程系統設計的實用算法。這本書從工程的角度進行優化，其目標是設計一個系統來優化受約束的一組指標。讀者將學習一系列挑戰的計算方法，包括高維搜索空間，處理有多個競爭目標的問題，以及適應指標中的不確定性。圖表、例子和練習傳達了數學方法背后的直覺。文本提供了Julia編程語言的具體實現。

//mitpress.mit.edu/books/algorithms-optimization

許多學科的核心都涉及到優化。在物理學中，系統被驅動到他們的最低能量狀態服從物理定律。在商業上，公司的目標是股東價值最大化。在生物學中，越健康的生物體越有可能生存下來。這本書將從工程的角度關注優化，目標是設計一個系統來優化受約束的一組指標。這個系統可以是一個復雜的物理系統，比如飛機，也可以是一個簡單的結構，比如自行車車架。這個系統甚至可能不是物理的;例如，我們可能會有興趣為自動化車輛設計一個控制系統，或設計一個計算機視覺系統來檢測腫瘤活檢的圖像是否為癌。我們希望這些系統能運行得盡可能好。根據應用程序的不同，相關的度量可能包括效率、安全性和準確性。對設計的限制可能包括成本、重量和結構堅固性。

這本書是關于優化的算法，或計算過程。給定系統設計的一些表示，如編碼機翼幾何的一組數字，這些算法將告訴我們如何搜索空間的可能設計，以找到最好的一個。根據應用程序的不同，這種搜索可能涉及運行物理實驗，比如風洞測試，也可能涉及計算解析表達式或運行計算機模擬。我們將討論解決各種挑戰的計算方法，例如如何搜索高維空間，處理有多個競爭目標的問題，以及適應指標中的不確定性。

近年來，人們對學習圖結構數據表示的興趣大增。基于標記數據的可用性，圖表示學習方法一般分為三大類。第一種是網絡嵌入(如淺層圖嵌入或圖自動編碼器)，它側重于學習關系結構的無監督表示。第二種是圖正則化神經網絡，它利用圖來增加半監督學習的正則化目標的神經網絡損失。第三種是圖神經網絡，目的是學習具有任意結構的離散拓撲上的可微函數。然而，盡管這些領域很受歡迎，但在統一這三種范式方面的工作卻少得驚人。在這里，我們的目標是彌合圖神經網絡、網絡嵌入和圖正則化模型之間的差距。我們提出了圖結構數據表示學習方法的一個綜合分類，旨在統一幾個不同的工作主體。具體來說，我們提出了一個圖編碼解碼器模型(GRAPHEDM)，它將目前流行的圖半監督學習算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和圖表示的非監督學習(如DeepWalk、node2vec等)歸納為一個統一的方法。為了說明這種方法的一般性，我們將30多個現有方法放入這個框架中。我們相信，這種統一的觀點既為理解這些方法背后的直覺提供了堅實的基礎，也使該領域的未來研究成為可能。

概述

學習復雜結構化數據的表示是一項具有挑戰性的任務。在過去的十年中，針對特定類型的結構化數據開發了許多成功的模型，包括定義在離散歐幾里德域上的數據。例如，序列數據，如文本或視頻，可以通過遞歸神經網絡建模，它可以捕捉序列信息，產生高效的表示，如機器翻譯和語音識別任務。還有卷積神經網絡(convolutional neural networks, CNNs)，它根據移位不變性等結構先驗參數化神經網絡，在圖像分類或語音識別等模式識別任務中取得了前所未有的表現。這些主要的成功僅限于具有簡單關系結構的特定類型的數據(例如，順序數據或遵循規則模式的數據)。

在許多設置中，數據幾乎不是規則的: 通常會出現復雜的關系結構，從該結構中提取信息是理解對象之間如何交互的關鍵。圖是一種通用的數據結構，它可以表示復雜的關系數據(由節點和邊組成)，并出現在多個領域，如社交網絡、計算化學[41]、生物學[105]、推薦系統[64]、半監督學習[39]等。對于圖結構的數據來說，將CNNs泛化為圖并非易事，定義具有強結構先驗的網絡是一項挑戰，因為結構可以是任意的，并且可以在不同的圖甚至同一圖中的不同節點之間發生顯著變化。特別是，像卷積這樣的操作不能直接應用于不規則的圖域。例如，在圖像中，每個像素具有相同的鄰域結構，允許在圖像中的多個位置應用相同的過濾器權重。然而，在圖中，我們不能定義節點的順序，因為每個節點可能具有不同的鄰域結構(圖1)。此外，歐幾里德卷積強烈依賴于幾何先驗(如移位不變性)，這些先驗不能推廣到非歐幾里德域(如平移可能甚至不能在非歐幾里德域上定義)。

這些挑戰導致了幾何深度學習(GDL)研究的發展，旨在將深度學習技術應用于非歐幾里德數據。特別是，考慮到圖在現實世界應用中的廣泛流行，人們對將機器學習方法應用于圖結構數據的興趣激增。其中，圖表示學習(GRL)方法旨在學習圖結構數據的低維連續向量表示，也稱為嵌入。

廣義上講，GRL可以分為兩類學習問題，非監督GRL和監督(或半監督)GRL。第一個系列的目標是學習保持輸入圖結構的低維歐幾里德表示。第二系列也學習低維歐幾里德表示，但為一個特定的下游預測任務，如節點或圖分類。與非監督設置不同，在非監督設置中輸入通常是圖結構，監督設置中的輸入通常由圖上定義的不同信號組成，通常稱為節點特征。此外，底層的離散圖域可以是固定的，這是直推學習設置(例如，預測一個大型社交網絡中的用戶屬性)，但也可以在歸納性學習設置中發生變化(例如，預測分子屬性，其中每個分子都是一個圖)。最后，請注意，雖然大多數有監督和無監督的方法學習歐幾里德向量空間中的表示，最近有興趣的非歐幾里德表示學習，其目的是學習非歐幾里德嵌入空間，如雙曲空間或球面空間。這項工作的主要動機是使用一個連續的嵌入空間，它類似于它試圖嵌入的輸入數據的底層離散結構(例如，雙曲空間是樹的連續版本[99])。

鑒于圖表示學習領域的發展速度令人印象深刻，我們認為在一個統一的、可理解的框架中總結和描述所有方法是很重要的。本次綜述的目的是為圖結構數據的表示學習方法提供一個統一的視圖，以便更好地理解在深度學習模型中利用圖結構的不同方法。

目前已有大量的圖表示學習綜述。首先，有一些研究覆蓋了淺層網絡嵌入和自動編碼技術，我們參考[18,24,46,51,122]這些方法的詳細概述。其次，Bronstein等人的[15]也給出了非歐幾里德數據(如圖或流形)的深度學習模型的廣泛概述。第三，最近的一些研究[8,116,124,126]涵蓋了將深度學習應用到圖數據的方法，包括圖數據神經網絡。這些調查大多集中在圖形表示學習的一個特定子領域，而沒有在每個子領域之間建立聯系。

在這項工作中，我們擴展了Hamilton等人提出的編碼-解碼器框架，并介紹了一個通用的框架，圖編碼解碼器模型(GRAPHEDM)，它允許我們將現有的工作分為四大類: (i)淺嵌入方法，(ii)自動編碼方法，(iii) 圖正則化方法，和(iv) 圖神經網絡(GNNs)。此外，我們還介紹了一個圖卷積框架(GCF)，專門用于描述基于卷積的GNN，該框架在廣泛的應用中實現了最先進的性能。這使我們能夠分析和比較各種GNN，從在Graph Fourier域中操作的方法到將self-attention作為鄰域聚合函數的方法[111]。我們希望這種近期工作的統一形式將幫助讀者深入了解圖的各種學習方法，從而推斷出相似性、差異性，并指出潛在的擴展和限制。盡管如此，我們對前幾次綜述的貢獻有三個方面

• 我們介紹了一個通用的框架，即GRAPHEDM，來描述一系列廣泛的有監督和無監督的方法，這些方法對圖形結構數據進行操作，即淺層嵌入方法、圖形正則化方法、圖形自動編碼方法和圖形神經網絡。

• 我們的綜述是第一次嘗試從同一角度統一和查看這些不同的工作線，我們提供了一個通用分類(圖3)來理解這些方法之間的差異和相似之處。特別是，這種分類封裝了30多個現有的GRL方法。在一個全面的分類中描述這些方法，可以讓我們了解這些方法究竟有何不同。

• 我們為GRL發布了一個開源庫，其中包括最先進的GRL方法和重要的圖形應用程序，包括節點分類和鏈接預測。我們的實現可以在//github.com/google/gcnn-survey-paper上找到。

題目： Sum-product networks: A survey

摘要: 和積網絡是一種基于有根無環有向圖的概率模型，其中終端節點表示單變量概率分布，非終端節點表示概率函數的凸組合(加權和)和乘積。它們與概率圖形模型密切相關，特別是與具有多種上下文特定獨立性的貝葉斯網絡。它們的主要優點是可以根據數據建立可處理的模型，即，該模型可以根據圖中鏈接的數量及時地執行多個推理任務。它們有點類似于神經網絡，可以解決類似的問題，如圖像處理和自然語言理解。本文綜述了SPN的定義、數據推理和學習的主要算法、主要應用、軟件庫的簡要介紹，并與相關模型進行了比較。

【導讀】紐約大學的Andrew Gordon Wilson和Pavel Izmailov在論文中從概率角度的泛化性對貝葉斯深度學習進行了探討。貝葉斯方法的關鍵區別在于它是基于邊緣化，而不是基于最優化的，這為它帶來了許多優勢。

貝葉斯方法的關鍵區別是邊緣化，而不是使用單一的權重設置。貝葉斯邊緣化可以特別提高現代深度神經網絡的準確性和校準，這是典型的不由數據完全確定，可以代表許多令人信服的但不同的解決方案。我們證明了深度集成為近似貝葉斯邊緣化提供了一種有效的機制，并提出了一種相關的方法，通過在沒有顯著開銷的情況下，在吸引域邊緣化來進一步改進預測分布。我們還研究了神經網絡權值的模糊分布所隱含的先驗函數，從概率的角度解釋了這些模型的泛化性質。從這個角度出發，我們解釋了那些對于神經網絡泛化來說神秘而獨特的結果，比如用隨機標簽來擬合圖像的能力，并證明了這些結果可以用高斯過程來重現。最后，我們提供了校正預測分布的貝葉斯觀點。

主題： DeepHealth: Deep Learning for Health Informatics

簡介： 機器學習和深度學習已成為一種新趨勢，開啟了一個全新的研究時代。事實上，深度學習也已經被運用到了各個領域，在健康衛生學領域對于人工智能的需求正快速增加，并且在醫療健康領域人工智能應用的潛在好處也已經被證明。 深度學習在衛生信息學領域有許多優點，它可以在沒有先驗的情況下進行訓練，這有利于克服缺乏標記數據而導致的訓練問題，并可以緩解臨床醫生的負擔。例如，將深度學習用于醫學圖像，可以處理數據復雜性，檢測重疊的目標點和3維或4維醫學圖像。 出于對深度學習在醫療健康領域的信心和期望，最近這一領域的論文數量增加的非常迅速，至少采用了一套基礎的EHR系統的醫院的數量也在井噴式的增加。然而，將深度學習應用于衛生信息學仍舊有一些挑戰急待解決（如數據的信息性，缺乏標記數據，數據的可信度和完整性，模型的可解釋性和可靠性等）。