給定目標分布中的觀察樣本x，生成模型的目標是學習為其真實的數據分布p(x)建模。一旦學習，我們可以從我們的近似模型任意生成新的樣本。此外，在一些公式下，我們能夠使用學習的模型來評估觀察或抽樣數據的可能性。在目前的文獻中有幾個著名的方向，我們將只在較高的水平上簡要介紹。生成對抗網絡(GANs)模擬了一個復雜分布的抽樣過程，它是通過對抗的方式學習的。另一類生成模型被稱為“基于似然的”，它試圖學習一個模型，該模型為觀察到的數據樣本分配高可能性。這包括自回歸模型、標準化流和變分自動編碼器(VAEs)。另一種類似的方法是基于能量的建模，在這種方法中，分布被學習為任意靈活的能量函數，然后被歸一化。基于評分的生成模型是高度相關的; 他們不是學習建立能量函數本身的模型，而是將基于能量的模型的評分作為神經網絡來學習。在這項工作中，我們探索和回顧了擴散模型，正如我們將展示的，有基于似然和基于評分的解釋。我們以令人痛苦的細節展示了這些模型背后的數學，目的是讓任何人都可以跟隨并理解擴散模型是什么以及它們如何工作。
ELBO, VAE, 和 Hierarchical VAE
對于許多模態，我們可以認為我們觀察到的數據是由一個相關的看不見的潛在變量表示或產生的，我們可以用隨機變量z表示。表達這一想法的最佳直覺是通過柏拉圖的洞穴寓言。在這個寓言中，一群人一生都被鎖在一個洞穴里，只能看到投射在他們面前墻上的二維陰影，這些陰影是由在火前經過的看不見的三維物體產生的。對這些人來說，他們所觀察到的一切實際上都是由他們永遠無法看到的高維抽象概念所決定的。
類似地，我們在現實世界中遇到的對象也可能是一些更高層次表征的函數;例如，這樣的表示可以封裝諸如顏色、大小、形狀等抽象屬性。那么，我們所觀察到的就可以被解釋為三維投影或這些抽象概念的實例化，就像穴居人所觀察到的其實是三維物體的二維投影一樣。雖然穴居人永遠看不到(甚至完全理解)隱藏的物體，但他們仍然可以對它們進行推理和推斷;以類似的方式，我們可以近似描述我們觀察到的數據的潛在表示。
柏拉圖的寓言闡述了潛在變量背后的想法，作為潛在的不可觀察的表征來決定觀察，這個類比的一個警告是，在生成建模中，我們通常尋求學習低維的潛在表征，而不是高維的。這是因為如果沒有強大的先驗，試圖學習比觀察更高維度的表示是徒勞的。另一方面，學習低維潛勢也可以被視為一種壓縮形式，并可能揭示描述觀察結果的語義有意義的結構。
在默認的變分自動編碼器(VAE)[1]的公式中，我們直接最大化了ELBO。這種方法是變分的，因為我們在一個由φ參數化的潛在后驗分布家族中優化最佳的qφ(z|x)。它之所以被稱為自動編碼器，是因為它讓人想起了傳統的自動編碼器模型，在傳統的自動編碼器模型中，輸入數據經過中間瓶頸表示步驟后被訓練成預測自己。為了明確這種聯系，讓我們進一步分析ELBO術語:
分層變分自動編碼器(HVAE)[2,3]是擴展到潛變量的多重層次的一種推廣。在這個公式下，潛在變量本身被解釋為由其他更高級、更抽象的潛在變量生成。直觀地說，就像我們把三維被觀察的物體看成是由更高層次的抽象潛伏體產生的一樣，柏拉圖洞穴里的人把三維物體看成是產生二維觀測的潛伏體。因此，從柏拉圖的洞穴居民的角度來看，他們的觀察可以被視為一個深度2(或更多)的潛在層次模型。
變分擴散模型 Variational Diffusion Models
最簡單的方法是把變分擴散模型(VDM)[4,5,6]簡單地看作是一個馬爾可夫層次變分自編碼器，有三個關鍵的限制條件: * 潛在維度與數據維度完全相等 * 不學習每個時步的潛在編碼器的結構;它被預先定義為線性高斯模型。換句話說，它是一個以前一個時間步長的輸出為中心的高斯分布 * 潛在編碼器的高斯參數隨時間變化，在最終時間步T的分布是標準高斯
結論
請允許我們總結一下我們在探索過程中的發現。首先，我們推導了變分擴散模型作為馬爾可夫層次變分自動編碼器的特殊情況，其中三個關鍵假設使ELBO的可跟蹤計算和可擴展優化成為可能。然后，我們證明優化VDM可以歸結為學習一個神經網絡來預測以下三個潛在目標之一:來自任意噪聲化的原始源圖像，來自任意噪聲化圖像的原始源噪聲，或在任意噪聲水平上的噪聲化圖像的評分函數。然后，我們深入研究評分函數的含義，并明確地將其與基于評分的生成模型的視角聯系起來。最后，我們將介紹如何使用擴散模型學習條件分布。
-
總之，擴散模型表現出了生成模型不可思議的能力;事實上，它們為目前最先進的基于文本條件的圖像生成模型(如Imagen和DALL-E 2)提供了動力。此外，建立這些模型的數學運算非常優雅**。但是，仍然有一些缺點需要考慮:
-
這不太可能是我們作為人類自然建模和生成數據的方式;我們不生成樣本作為我們迭代去噪的隨機噪聲。
-
VDM不會產生可解釋的潛量。VAE算法希望通過編碼器的優化來獲得一個結構化的潛在空間，而在VDM中，編碼器在每個時間步長的位置都是線性高斯模型，不能靈活地優化。因此，中間潛伏被限制為原始輸入的噪聲版本。
-
潛勢被限制在與原始輸入相同的維度，進一步阻礙了學習有意義的壓縮潛勢結構的努力。
-
采樣是一個昂貴的過程，因為在兩種配方下必須運行多個去噪步驟。回想一下，其中一個限制是選擇足夠多的時間步T，以確保最終潛伏是完全高斯噪聲;在采樣期間，我們必須遍歷所有這些時間步來生成一個樣本。
最后，擴散模型的成功凸顯了層次式VAE模型作為生成模型的力量。我們已經證明，當我們推廣到無限潛在層次時，即使編碼器是微不足道的，潛在維是固定的，并且假設馬爾可夫躍遷，我們仍然能夠學習強大的數據模型。這表明，在一般的深度HVAEs情況下，可以獲得進一步的性能提高，其中復雜的編碼器和語義有意義的潛在空間可以學習。
付費5元查看完整內容
相關內容
麻省理工學院研究人員創建了一個數學框架來評估機器學習模型的解釋并量化人們對它們的理解程度。
背景
現代機器學習模型，例如神經網絡，通常被稱為“黑盒”，因為它們非常復雜，以至于即使是設計它們的研究人員也無法完全理解它們是如何做出預測的。
為了提供一些見解，研究人員使用試圖描述單個模型決策的解釋方法。例如，他們可能會在電影評論中突出顯示影響模型決定評論是正面的單詞。
但是，如果人類不能輕易理解，甚至誤解它們，這些解釋方法就沒有任何用處。因此，麻省理工學院的研究人員創建了一個數學框架來量化和評估機器學習模型解釋的可理解性。如果研究人員僅評估少數個別解釋以嘗試理解整個模型，這可以幫助查明有關模型行為的見解。
"有了這個框架，我們不僅可以從這些局部解釋中非常清楚地知道我們對模型的了解，更重要的是我們對模型的不了解，"計算機科學和人工智能實驗室（CSAIL）的電氣工程和計算機科學研究生Yilun Zhou說，他是本論文的主要作者。
Zhou的合著者包括微軟研究院高級研究員 Marco Tulio Ribeiro 和高級作者、航空航天學教授、CSAIL 交互式機器人組主任 Julie Shah。該研究將在計算語言學協會北美分會（NAACL2022）上發表。
了解局部解釋
理解機器學習模型的一種方法是找到另一個模仿其預測但使用透明推理模式的模型。然而，最近的神經網絡模型非常復雜，以至于這種技術通常會失敗。相反，研究人員求助于使用關注個體輸入的局部解釋。通常，這些解釋會突出顯示文本中的單詞，以表明它們對模型做出的一個預測的重要性。
然后，人們隱含地將這些局部解釋推廣到整體模型行為。有人可能會看到，當模型確定電影評論具有積極情緒時，局部解釋方法突出顯示積極詞（如“難忘”、“完美無瑕”或“迷人”）是最有影響力的。然后他們可能會假設所有積極的詞都會對模型的預測做出積極的貢獻，但情況可能并非總是如此，Zhou說。
研究人員開發了一個框架，稱為 ExSum（解釋摘要的縮寫），將這些類型的聲明形式化為可以使用可量化指標進行測試的規則。ExSum 評估整個數據集上的規則，而不僅僅是為其構造的單個實例。
使用圖形用戶界面，寫下規則，然后可以進行調整和評估。例如，當研究一個將電影評論分類為正面或負面的模型時，人們可能會寫一條規則說“否定詞具有負面顯著性”，這意味著諸如“不”和“無”之類的詞對電影評論的情緒產生負面影響。
使用 ExSum，用戶可以使用三個特定指標查看該規則是否成立：覆蓋率、有效性和清晰度。覆蓋率衡量規則在整個數據集中的適用范圍。有效性突出顯示符合規則的單個示例的百分比。清晰度描述了規則的精確程度；一個高度有效的規則可能非常通用，以至于對理解模型沒有用處。
擴展框架
在未來，Zhou希望通過將可理解性的概念擴展到其他標準和解釋形式，如反事實解釋（表明如何修改輸入以改變模型預測）來建立這項工作。目前，他們專注于特征歸因方法，這些方法描述了模型用于做出決策的各個特征（如電影評論中的文字）。
此外，他希望進一步增強框架和用戶交互，以便人們可以更快地創建規則。編寫規則可能需要數小時的人工參與——一定程度的人工參與至關重要，因為人類最終必須能夠掌握解釋——但人工智能的幫助可以簡化這一過程。
在思考 ExSum 的未來時，Zhou希望他們的工作強調需要改變研究人員對機器學習模型解釋的看法。
“在這項工作之前，如果你有一個正確的本地解釋，你就完成了。你已經完成了解釋你的模型。我們提出了這個額外的維度，以確保這些解釋是可以理解的。可理解性需要成為評估我們解釋的另一個指標，”Zhou說。
這項研究得到了美國國家科學基金會的部分支持。
論文
開發可解釋性方法以了解黑盒模型的工作機制，這對其負責任的部署至關重要。實現這一目標既需要這些方法產生的解釋是正確的，又需要人們可以輕松可靠地理解它們。雖然前者已在之前的工作中得到解決，但后者經常被忽視，導致從少數當地解釋得出的非正式模型理解。在本文中，我們介紹了解釋摘要（EXSUM），一個用于量化模型理解的數學框架，并提出了用于其質量評估的指標。在兩個領域，EXSUM 突出了當前實踐中的各種限制，幫助開發準確的模型理解，并揭示模型容易被忽視的屬性。我們還將可理解性與解釋的其他屬性聯系起來，例如人類對齊、魯棒性以及反事實的最小化和合理性
付費5元查看完整內容
因果學習
因果推理在許多領域都很重要，包括科學、決策制定和公共政策。確定因果關系的金標準方法使用隨機控制擾動實驗。然而，在許多情況下，這樣的實驗是昂貴的、耗時的或不可能的。從觀察數據中獲得因果信息是可替代的一種選擇，也就是說，從通過觀察感興趣系統獲得的數據中獲得而不使其受到干預。在這次演講中，我將討論從觀察數據中進行因果學習的方法，特別關注因果結構學習和變量選擇的結合，目的是估計因果效果。我們將用例子來說明這些概念。
付費5元查看完整內容
題目：* Variational Autoencoders and Nonlinear ICA: A Unifying Framework
摘要：
變分自編碼器的框架使我們能夠有效地學習深層潛在變量模型，從而使模型的邊際分布對觀測變量的適應數據。通常，我們想要更進一步，想要在觀察到的和潛在的變量上近似真實的聯合分布，包括在潛在變量上真實的前后分布。由于模型的不可識別性，這通常是不可能的。我們解決這個問題的方法是證明，對于一個廣泛的深層潛在變量模型，通過觀察到的和潛在的變量來識別真正的聯合分布實際上是可能的，直到非常簡單的轉換。我們的結果需要對潛在變量進行因式的先驗分布，這些潛在變量取決于另外觀察到的變量，如類標簽或幾乎任何其他觀察結果。我們以非線性獨立分量分析的最新發展為基礎，將其擴展到有噪聲的、不完全的或離散的觀測，并集成在極大似然框架中。作為一個特例，結果也包含了可識別的基于流的生成模型。
作者簡介：
Ilyes Khemakhem是UCL Gatsby計算神經科學學院三年級的博士生，導在讀博士之前，在Ecole polytechnique完成了工程學位，主要研究應用數學，還獲得了計算機視覺和機器學習(MVA)碩士學位。研究主要集中在無監督學習，即非線性獨立分量分析、密度估計。還對因果關系、神經科學(特別是在神經成像數據上應用機器學習模型)、統計物理和微分幾何感興趣。個人主頁：
Durk Kingma是機器學習領域的研究科學家，在谷歌大腦工作，擁有阿姆斯特丹大學的博士學位。研究過生成模型、變分(貝葉斯)推理、隨機優化、可識別性等課題。個人主頁：
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191