亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

新型機器學習方法是科學和工程變革的核心。概率模型已成為知識發現的基礎學習模型。作為替代模型，它們允許在有限的預算下進行高效的黑箱優化或積極學習復雜系統的行為。另一個重要的用例是使用概率模型作為生成模型，生成具有所需屬性的新設計，或從物理系統的平衡分布中生成樣本。但是，為了充分發揮概率模型在知識發現中的潛力，必須開發既能應對不斷增長的數據大小和復雜性，又能讓領域專家容易解讀的模型。

在這篇論文中，我從開發一種新方法開始，該方法解決了貝葉斯優化中的概率替代模型的稀疏解識別問題。稀疏解的發現不僅增強了解決方案對人類的可解釋性，以便理解系統行為，還便于使用較少的參數更輕松地部署和維護。

接下來，我介紹了一種利用深度學習增強高斯過程推斷可擴展性的新方法。高斯過程被廣泛用作知識發現中的概率替代模型，但由于在GP回歸中識別核超參數的高成本，其實際使用受到限制，涉及到昂貴的邊緣可能性。我展示了如何通過使用“攤銷”超參數推斷來繞過昂貴的邊緣可能性的需求。這是通過訓練一個單一的神經網絡實現的，該網絡消耗一組數據并產生一個估計的核函數，用于不同的任務。

最后，我介紹了邊緣化模型，這是一種新的高維離散數據生成模型，在科學發現中無處不在。通過使用神經網絡對所有誘導的邊緣分布進行明確的建模，邊緣化模型提供了可擴展和靈活的生成建模與合理的可能性。直接建模邊緣使得邊緣推斷效率高，能夠對給定的（非規范化）概率函數進行任意階的生成模型的可擴展訓練，克服了以前具有精確可能性的方法的主要限制。

概率模型作為建模數據分布的原則機器學習方法，最近開始在促進科學探索和發現中起到重要作用。替代模型在科學、工程、機器人學和許多其他領域都是寶貴的工具，其中它們模擬復雜的系統行為。利用概率代理模型提供的不確定性量化，可以設計自動算法通過與系統主動交互來有效地完成給定用例的目標。一個主要的用例是優化，例如通過實驗測試確定電池正極的最佳材料組成。在這種情況下，使用概率模型進行貝葉斯優化(Shahriari等，2015b)，根據實驗結果了解和迭代微調組成和性能之間的關系。同時，基于替代模型的不確定性量化，策略性地選擇下一個實驗條件，平衡對新組成的探索與對已知性能良好的組成的利用，從而加速最佳組成的發現。

主動學習提供了另一個主要的用例，例如在訓練替代模型準確模擬分子動力學(Vandermause等，2020)。該過程從基于有限數據的初始概率模型開始，然后通過主動查詢系統獲取額外的標記數據來系統地加強。選擇最具信息性的樣本進行標記是由替代模型的固有不確定性估計指導的，從而得到一個準確的模型，標記工作量最小。

除替代模型外，概率生成模型在跨多個領域建模復雜數據分布方面也取得了顯著進展，包括自然語言建模(Brown等，2020)、圖像生成(Song和Ermon，2019; Ho等，2020)、音頻合成(Huang等，2018)和科學發現應用(Wang等，2022; Schneuing等，2022)。在訓練科學發現的生成模型時，有兩個主要設置。第一個設置是最大似然訓練，目標是訓練生成模型以最大化訓練數據的似然。這種設置通常用于圖像生成、自然語言建模和藥物設計等任務，目標是生成與訓練數據分布非常相似的數據。第二個設置是分布匹配，目標是將生成分布與目標密度對齊。這種設置在圖像和語言方面研究較少，但在如采樣晶格模型和估計分子或材料的平衡性質等應用中經常使用，其中需要從物理系統的熱力學平衡分布中生成樣本。

在這篇論文中，我提出了新方法來解決知識發現背景下概率模型的解釋性和可擴展性挑戰。在深入研究所提議的方法的細節之前，我為替代模型和生成模型的現有文獻提供了簡短的概述。 本章的其余部分組織如下：第1.1.1節首先簡要介紹了高斯過程，這是一種在科學發現中使用的流行的概率替代模型。然后在第1.1.2節中，我回顧了貝葉斯優化的基本方法論方面。第1.2節簡要概述了關于生成模型的現有文獻，重點關注科學發現中的應用。最后，在第1.3節中，我總結了整個論文的大綱。

在本論文中，我們考慮了從隨機分析和代數到統計和機器學習的工具的應用。其中大多數工具是已知為簽名方法的不同形式。在過去的70年里，簽名在數學的幾個不同領域被發現和重新發現。簡而言之，它將一個在向量空間中演變的路徑映射到包裹同一空間的一個群體。它對統計如此有用的原因有兩個：一是它的不變性集在許多應用中都非常受歡迎；二是其圖像群體結構嚴密，非常適合使用代數工具進行數學研究。這里的主要目標是研究如何使用簽名來表示給定路徑的統計屬性，以及如何將這些屬性應用于機器學習。這個目標表現為 - 除其他事項外： ? 一種用于簽名的新型累積量，具有獨特的組合屬性，可用于表征路徑的獨立性， ? 在再生核希爾伯特空間上的累積量，與簽名累積量有關，盡管沒有明確使用簽名， ? 將簽名推廣到其他類型的特征映射到非交換代數， ? 具有初始拓撲的特征映射，捕捉隨機過程濾波的屬性， ? 以及一系列得分規則與相關的散度、熵和路徑的相互信息，這些都尊重它們的群體結構。 這些被劃分為單獨的、自成體系的章節，可以互相獨立閱讀。

這篇博士論文支持一個更廣泛的論點，即范疇語義是研究和設計編程語言的有力工具。它專注于在簡單類型函數設置中可微分編程的基礎方面。盡管使用的大部分范疇理論可以歸結為更基礎的描述，但其影響對于獲得本論文中的結果確實至關重要。某些證明的簡潔性和某些定義與洞見的緊湊性得益于我的范疇理論背景得以簡化。

反向傳播是允許神經網絡快速學習的關鍵算法。它使得機器學習最近的一些令人印象深刻的進步成為可能。隨著模型的復雜性增加，同樣需要復雜的數據結構，這要求我們能夠超越標準的可微分性。這種新興的概括被稱為可微分編程。其思想是允許用戶編寫代表（可微分函數的一般化）的富有表現力的程序，其梯度計算可以通過自動微分進行自動化。在這篇論文中，我為可微分編程奠定了一些基礎。這是通過三種方式完成的。

首先，我提出了一個簡單的高階函數語言，并定義自動微分為保留結構的程序轉換。這種語言采用了微分空間的表示語義，并證明了轉換是正確的，即AD生成的程序確實計算原始程序的梯度，使用邏輯關系論證。

其次，我擴展了前一章描述的語言，引入了如條件和遞歸等新的有表現力的程序結構。在這樣的設置中，即使是一階程序也可能代表不必是可微分的函數。我為這樣的語言引入了更適合的表示語義，并展示了如何將AD擴展到這樣的設置中，以及現在關于AD的哪些保證仍然成立。這種擴展的語言模擬了文獻中可以找到的對表現力的更現實的需求，例如在現代的概率性編程語言中。

第三，我呈現了已開發理論的詳細應用。我首先展示了如何將AD擴展到非常規的新類型和新原語的一般方法。然后，我展示了關于AD的保證對于在某些應用中的使用是足夠的，例如隨機梯度下降的變量變換公式，但在簡單的梯度下降中可能不足夠。最后，探索了概率編程的特定背景中的更多應用。首先，給出了概率程序的跟蹤語義在幾乎所有地方都是可微分的表示證明。其次，得到了在歐幾里得空間中的概率程序的后驗分布的特征：它們相對于某個在可數的光滑流形的并集上的Hausdorff度量的和具有密度。

總的來說，這些貢獻為我們提供了更深入的對可微分編程的理解。它們為研究現實復雜程序的類似可微分性的屬性提供了一個基礎設置，超越了像可微分性或凸性這樣的常規設置。它們提供了證明這些程序的某些屬性，并將自動微分模塊化擴展到帶有新類型和原語的更豐富的背景的一般方法。

連續數據和離散數據之間的差異是計算機科學、數學以及認知科學等相關領域的一個基本問題。歷史上，大部分計算都是在離散領域進行的，但連接主義提供了一種使用連續向量表示數據的替代技術，這種替代技術在過去十年深度學習的崛起中愈發突出。本論文探索了將連續的高維數據（像深度學習那樣成功地處理）轉換為離散的緊湊表示（如傳統計算所用）的技術。五個主要章節每一個都介紹了一個新的技術，這些技術都有助于實現這個目標，但也可以作為一個獨立的研究項目來閱讀。這些技術主要涉及深度學習和聚類，并且，與一般的表示學習一致，主要（但不完全）處于無監督的環境中。有些章節分別關注深度學習或聚類，以形成連續數據的離散表示。其他章節則探討如何在一個單一的端到端學習系統中結合深度學習和聚類。這樣的組合本身就涉及到連續和離散之間的交界，因為深度學習操作的是前者，而聚類操作的是后者。能夠在連續和離散的世界之間搭建橋梁，也符合人工智能模擬人類智能的原始目標，因為人類認知的重要部分就是在連續和離散的世界之間的運動。我們的感官輸入主要是連續的，但我們使用的自然語言和推理裝置大都是離散的。有朝一日能夠像人類一樣思考和行動的機器也必須學會做同樣的事。

近十幾年來，序列數據的粗糙路徑理論與機器學習的融合一直是人們關注的熱點。這兩個主題領域的統一是自然的:粗糙路徑理論為我們提供了描述由多維(和潛在的高度不規則)信號驅動的微分方程的解決方案的語言，而機器學習提供了從數據中學習此類解決方案的工具。粗糙路徑理論的核心目標是提供一個通用的數學框架，以回答關于數據流對系統可能產生的影響的問題。此類數據的一個常見例子是時間序列，廣泛存在于生活的各個領域(這也是我們在本文中最常考慮的流類型);因此，用粗糙路徑語言框架問題為我們提供了在現實世界中具有真正效用的模型。本文的目的是介紹粗糙路徑理論在機器學習中的應用，然后介紹最近的有效貢獻，進一步將這兩個領域聯系起來。本文涉及的主題包括:神經控制微分方程(neural CDEs)——神經常微分方程的擴展，可以納入外部數據處理的變化;神經粗糙微分方程(neural RDEs)——對神經CDEs的粗糙路徑擴展，可為長或高頻時間序列帶來好處;廣義簽名法——一種多元時間序列特征提取方法最后給出簽名方法在膿毒癥和壓力檢測中的實際應用。

盡管數據規模在增長，但我們希望將學習算法的許多應用都受到數據數量和質量的限制。生成模型提出了一個框架，可以自然地將先驗信念與現實世界的數據結合起來。生成式方法的核心是概率推理的挑戰，或估計給定觀測的潛變量。這一挑戰催生了涵蓋多種統計技術的豐富研究領域。最近，深度學習方法被用來解決推理查詢，被恰當地命名為深度推理。在我的論文中，我將探索深度推理的擴展，以應對現實世界的稀疏性和效率的挑戰。我將介紹實際應用的案例研究，其中深度推理在以前的工作上取得了相當大的改進。

本文主要圍繞三個部分展開。我們介紹了生成模型和深度推理的背景，重點是現代變分方法。第一部分將提出新的泛化推理算法，以對不同的稀疏性概念(如多模態數據、缺失數據或計算約束)具有魯棒性。其次，我們研究了元平攤推理，或“推斷如何推斷”。一種雙平攤推理算法將能夠廉價地解決一個新的生成模型的推理查詢。我們將展示一種新的算法來重新利用掩碼語言建模來實現這一點。

第三，我們提出了深度推理在教育中的兩個現實應用:(a)在項目反應理論和相關心理測量模型下估計學生的能力，(b)為學生學習解決編程問題推理教育反饋。總之，這些貢獻展示了深度推理在教育中的豐富性和實用性，以及在現實世界中更廣泛的應用。

從數據中發現隱藏的偏微分方程(PDEs)和算子是機器學習和數值分析之間的一個重要前沿課題。介紹了線性偏微分方程格林函數學習的理論結果和深度學習算法，并對偏微分方程格林函數學習技術進行了嚴格論證。導出了一個理論上嚴格的算法來獲得學習率，它表征了近似學習與橢圓偏微分方程相關的格林函數所需的訓練數據量。該結構通過將隨機奇異值分解擴展到非標準高斯向量和Hilbert-Schmidt算子，利用層次矩陣利用格林函數的低秩層次結構，連接了PDE學習和數值線性代數領域。引入有理神經網絡，由具有可訓練有理激活函數的神經網絡組成。這些網絡的高組成結構，結合有理逼近理論，意味著有理函數比標準激活函數具有更高的逼近冪。此外，有理神經網絡可能具有極點并具有任意大的值，這非常適合逼近具有奇點的函數，如格林函數。最后，結合格林函數和有理神經網絡的理論成果，設計了一種從數據中發現格林函數的人類可理解的深度學習方法。這種方法補充了最先進的PDE學習技術，因為可以從學習到的格林函數中獲得廣泛的物理知識，如主導模、對稱和奇點位置。本文旨在通過將標準數學領域(如數值線性代數、概率和偏微分方程分析)與現代深度學習技術相結合，了解是否可以從數據中發現偏微分方程(PDEs)。我們著重學習與線性偏微分方程相關的格林函數從一對強迫函數和解。推導了挖掘問題規律性的理論邊界，提出了一種實用的深度學習算法。

在這篇論文中，我們考慮了多模態在機器學習決策和協調問題中的作用。我們提出使用一系列多模態概率方法，使用(有限)混合模型的擴展來解決時間序列預測的挑戰，神經網絡中的高效不確定性量化，對抗模型和多智能體協調。在論文的第一部分中，我們關注多模態不確定性估計在時間序列預測中的應用，表明這種方法提供了易于操作的、有益的替代點估計方法，點估計仍然是預測的普遍選擇方法。我們討論了多模態不確定性的意義，并展示了更熟練的方法估計后驗目標分布的必要性。我們提出了一系列計算高效，但有能力的方法來估計豐富的多模態后驗分布。我們將我們的模型與用點測量或單峰分布估計不確定性的技術進行了比較，并在生成對抗網絡的啟發下，對所開發的方法進行了擴展，以此結束本部分。我們表明，該方法對加性噪聲提供了最先進的魯棒性，使其特別適用于包含大量未知隨機的數據集。

在本工作的第二部分，我們研究了協作多智能體系統(CMASs)的多模態模型的重要性，并將我們的工作擴展到采用概率方法。到目前為止，這一領域的大多數研究都局限于考慮自玩范式，即使這些方法解決了各種具有挑戰性的問題。雖然這些進步是重要的，但在自玩中使用任意約定會導致當智能體在此設置之外玩時的協調問題。我們考慮了特殊的CMAS設置，遠離了自玩框架。這是機器學習中一個特別具有挑戰性的領域，也是近年來備受關注的一個領域，為AI智能體在現實世界中能夠與人類(和其他智能體)有效交互提供了希望。我們通過在其他主體的策略上建立后驗信念來解決特別協調問題。這是通過吉布斯抽樣的擴展來實現的，以獲得接近最優的即席性能。我們在具有挑戰性的游戲Hanabi上測試了我們的算法，Hanabi是合作多智能體強化學習中最著名的測試平臺之一，近年來已成為一個具有發展勢頭的基準。我們表明，我們的方法可以實現強大的交叉游戲，即使與看不到的合作伙伴，實現成功的臨時協調，無需預先了解合作伙伴的戰略。

這篇計算統計學的博士論文利用蒙特卡羅方法(近似貝葉斯計算和順序蒙特卡羅)和機器學習方法(深度學習和歸一化流)來開發隱式貝葉斯模型推理的新算法。隱式模型是指那些計算似然函數非常困難(通常是不可能的)，但模型模擬是可行的。本文開發的推理方法是基于模擬的推理方法，因為它們利用了從隱式模型模擬數據的可能性。本文考慮了幾種方法: 論文II和Iv重點研究經典方法(基于順序蒙特卡羅的方法)，而論文I和III重點研究最新的機器學習方法(分別是深度學習和歸一化流)。

第一篇論文構建了一種新的深度學習方法，用于學習摘要統計量，實現近似貝葉斯計算(ABC)。為了實現本文，我介紹了部分可交換網絡(PEN)，這是一種專為馬爾可夫數據(即部分可交換數據)設計的深度學習體系結構。第二篇論文研究了隨機微分方程混合效應模型(SDEMEM)中的貝葉斯推理。由于SDEMEMs的似然函數難以處理，因此對SDEMEMs的貝葉斯推理具有挑戰性。論文II通過結合相關的偽邊際方法設計一種新穎的Gibbs-blocking策略來解決這個問題。本文還討論了自定義粒子濾波器如何適應推理過程。

第三篇論文介紹了一種新的推理方法——序列神經后驗似然逼近(SNPLA)。SNPLA是一種基于仿真的推理算法，利用歸一化流程通過序列方案學習隱式模型的后驗分布和似然函數。通過學習似然和后向，并利用反向Kullback Leibler (KL)發散，SNPLA避免了特別校正步驟和馬爾可夫鏈蒙特卡羅(MCMC)采樣。第四篇論文介紹了加速延遲接受(ADA)算法。ADA可以看作是延遲接受(DA) MCMC算法的擴展，該算法利用DA的兩個似然比之間的聯系，進一步加速MCMC從感興趣的后驗分布采樣，盡管我們的方法引入了一個近似。論文的主要案例研究是蛋白質折疊數據(反應坐標數據)的雙井勢隨機微分方程(DWP-SDE)模型。

互聯多模態信息源的日益可用性推動了推薦系統的新概率模型的開發，該模型利用關系數據中的上下文。因此，我們尋求整合上下文信息，以預測用戶的信息需求。在這篇論文中，我們關注一組將上下文信息建模到因子化模型的技術，特別是使用隱式反饋(如事件計數)的模型。此外，我們提出了這些模型的分析工具，提高了我們尋找合適超參數的能力。為了將計數(例如，頁面中的點擊次數)建模為隱式用戶反饋，我們選擇使用泊松分解作為構建塊。然后，我們開發了兩個泊松分解模型，其中包括社會網絡、項目文本內容和作為上下文信息的周期時間事件，并將其合并到一個聯合矩陣和張量分解模型中(第3章和第4章)。我們開發了一個聯合層次遞歸神經網絡和一個時間點過程模型來解決多會話推薦的問題，我們觀察項目的序列分組到會話序列中，并創建了一個能夠提供itens推薦和下一次會話時間預測的模型(第5章)。我們利用并開發了一種基于先驗預測分布的方法，該方法允許我們設置泊松因子分解模型的超參數，而不需要將模型與數據擬合，(第6章)這里的一個相關結果是泊松因子分解模型中潛在空間維度的一個封閉形式方程。一般來說，我們將這項工作定位為在推薦系統的背景下利用多關系和計數數據作為上下文信息的信號的概率建模的貢獻，貢獻范圍包括模型設計、分析和超參數選擇。