亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習和離散優化是計算機科學的兩大支柱，也是廣泛用于商業、科學和技術領域的分析、預測和決策的工具。然而，機器學習和離散優化方法發展的前提在根本上有所不同。學習依賴于數據，并且通常很少或根本不需要人工設計。其優點在于普適性和幾乎全面的適用性，但許多模型無法有效地整合領域知識或特定約束，缺乏可解釋性，且其預測存在不確定性，這在實踐中阻礙了其應用。相反，離散優化的算法通常針對特定應用進行定制，如組合問題。他們精確的形式化提供了洞察和分析，而且他們的輸出通常帶有性能保證。然而，與機器學習不同，離散優化的方法在實例之間不能泛化，這在實際應用中是一個不足。

//www.research-collection.ethz.ch/handle/20.500.11850/629004 鑒于機器學習和離散優化的互補優缺點，很自然地會問到這兩個領域的方法在多大程度上可以有益地結合起來。這是我們在這篇論文中提出的問題，并通過展示用于和用于離散優化的學習方法來肯定地回答這個問題。

在用于離散優化的學習中，我們關注的是涉及離散變量的非監督學習模型的梯度估計。這些模型廣泛存在，并在正則化、可解釋性、模型設計和算法集成方面提供了好處。我們依賴離散優化的高效方法來通過松弛設計這些模型的新梯度估計器，并通過實驗證明它們使學習更加高效、有用和高效。

在用于學習的離散優化中，我們專注于使用機器學習提高整數規劃的分支和界求解器的性能。我們用針對特定應用的學習模型替換這些求解器中用于切割平面選擇和潛水的現有子程序。我們的方法借鑒了模仿學習和生成建模的思想，具有可擴展性和有效性。在一系列實驗中，我們的模型超過了現有的啟發式方法以及競爭的機器學習方法，以促進求解器性能的整體改進。

稀疏深度神經網絡 (DNNs) 在許多數據和計算密集型應用中是一個重要的計算核心（例如，圖像分類、語音識別和語言處理）。這些核心中的稀疏性激發了許多稀疏DNN加速器的發展。然而，盡管已經有大量的提議，但還沒有一個系統的方法來理解、建模和開發各種稀疏DNN加速器。為了解決這些限制，這篇論文首先提出了一個稀疏性相關加速特性的分類法，以系統地理解稀疏DNN加速器的設計空間。基于這個分類法，它提出了Sparseloop，這是第一個用于稀疏DNN加速器的快速、準確和靈活評估的分析建模工具，使得在早期階段可以探索龐大和多樣的稀疏DNN加速器設計空間。在代表性的加速器設計和工作負載中，Sparseloop比周期級模擬實現了超過2000倍的建模速度，保持了相對的性能趨勢，并達到了≤ 8%的平均建模誤差。利用Sparseloop，這篇論文研究了設計空間，并提出了HighLight，一個高效且靈活的稀疏DNN加速器。具體來說，HighLight通過一個新的稀疏模式，稱為分層結構稀疏性，來加速DNNs，關鍵的洞見是我們可以通過分層地組合簡單的稀疏模式來高效地加速各種程度的稀疏性（包括密集型）。與現有的工作相比，HighLight在具有不同稀疏度的工作負載中實現了高達6.4倍的能量延遲乘積 (EDP) 改進，并且始終位于代表性DNNs的EDP-準確性帕累托前沿。

機器學習（ML）和人工智能（AI）在廣泛的領域實現了非凡的、超乎人類的性能：包括計算機視覺、自然語言處理、蛋白質折疊等等。直到最近，大多數的進步都是采取模型中心化的方法，主要關注于改善神經網絡架構（如卷積神經網絡、殘差網絡、變換器等）和訓練這些模型的優化程序（如批量標準化、dropout、神經結構搜索等）。相對來說，我們對用來訓練這些模型的數據的關注度較低，盡管眾所周知，機器學習對高質量數據的依賴可以用"垃圾進,垃圾出"這句話來精辟地概括。隨著對越來越大且更復雜的模型（如Nvidia和Microsoft的5300億參數的MT-NLG）的回報逐漸減小，研究人員開始認識到采取數據中心化方法的重要性，并開發了原理性的方法來研究這些模型的燃料：數據本身。數據中心視角不僅可以提高任務性能，還可以讓我們考慮到一些社會關鍵考慮因素，如數據隱私。在本論文中，我們將對機器學習數據管道中的幾個點進行深入分析：在模型訓練前、訓練中和訓練后。在模型訓練前，我們將探索數據選擇的問題：應該用哪些數據來訓練模型，我們應該期望我們的模型在何種類型的數據上工作？當我們進入模型訓練時，我們將把注意力轉向由我們的ML系統與其部署環境的交互可能導致的兩個問題。第一個問題是數據隱私：我們如何防止我們的模型泄露有關其訓練數據的敏感信息？第二個問題涉及一些被模型化的群體的動態性。特別是當我們的模型被用于做出具有社會影響力的決策（如自動貸款批準或推薦系統）時，模型本身可能會影響數據的分布，導致性能降低。最后，盡管我們在模型訓練前和訓練中遵循最佳實踐，但可能在訓練后我們希望對模型進行后處理，以移除某些訓練后的數據的影響。如何以計算效率高的方式實現這一點呢？本論文將涵蓋每一個先前問題的新穎解決方案，強調的是每一個提議的算法都有可證明的保證。通過將數學嚴謹性應用于具有挑戰性的現實問題，我們可以開發出既有效又可信賴的算法。

在過去的十年中，機器學習（ML）和人工智能（AI）研究已經取得了飛速的進步。到目前為止，大部分的研究都采用了模型中心化的方法：也就是說，數據集被視為已給定，研究人員不斷迭代應用于這些數據集以提取有用信息的模型。這種模式下有一套標準的假設。例如，數據通常假設是從固定概率分布中獨立同分布（i.i.d.）抽取的，此外還假設數據是固定的和給定的。通常還假設測試數據與訓練數據來自同一分布，即不存在分布漂移。而且，通常唯一衡量成功的指標是模型的性能（如預測任務的準確率）。盡管這種范式已經帶來了大量令人印象深刻的進步，但往往與數據科學家在實踐中面臨的情況相去甚遠。例如，收集和策劃一份高質量的訓練集通常比使用更復雜的模型架構帶來更大的收益。關于獨立同分布的假設，在現實中，數據分布可能由于各種因素而不斷變化，包括時間變化（如消費者偏好的季節性影響）和空間變化（如不同地理位置的醫院患者分布不同）。在某些情況下，我們的模型本身可能導致數據分布的變化，特別是如果該模型被用于做出具有社會影響力的決策。最后，最近的立法，如加利福尼亞消費者隱私法案和歐盟的通用數據保護法規，要求在設計AI模型過程中也要考慮消費者隱私。也就是說，隱私以及模型性能，都是必須考慮的關鍵指標。 所有這些重要的實踐問題都有一個共同的主題：它們更多地關聯到數據本身，而不是訓練在其上的模型。在這篇論文中，我們遵循這種數據中心的觀點，并為數據通過典型的ML管道可能出現的問題提出新穎的算法。我們特別強調可以為每個提出的算法提供的可證明的保證。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

機器學習算法廣泛應用于具有社會高風險的決策環境中，如兒童福利、刑事司法、醫療保健、招聘和消費者貸款。近期的歷史已經揭示出許多這些算法證明不可靠或不公平的例子。本論文提出了一種遵循原則的方法，用于在社會高風險環境中使用機器學習，該方法由三大支柱引導：有效性、公平性和監管。我們借鑒了包括統計學、機器學習和社會科學在內的各個領域的方法，開發出處理數據挑戰和復雜偏見的新方法，這些偏見嵌入在社會技術系統中。我們通過開發考慮到選擇偏差、混淆和bandit反饋的算法風險評估方法，解決了挑戰算法決策支持系統有效性的數據問題。我們對整個系統中使用算法進行決策的偏見進行了因果審計。在整個過程中，我們提出了使用雙重穩健技術進行偏差修正的新方法。我們使用來自阿利根尼縣人力服務部、澳大利亞聯邦銀行和斯坦福公開警察項目的數據，展示了在兒童福利、消費者信貸和刑事司法環境中的實證結果。 機器學習越來越多地被用于做出高風險決策，例如兒童福利、刑事司法、消費者貸款、教育和醫療保健（Saxena等人，2020；Vaithianathan等人，2017；Raghavan等人，2020a；Chouldechova，2017；Cattell等人，2021）。這些決策影響未來的健康和經濟機會，總的來說，它們塑造了我們的社會結構。通常，這類任務可用的數據豐富，但往往噪音大，存在偏見或不完整。如果不能妥善處理這些數據問題，可能會對弱勢和歷史上邊緣化的群體造成不成比例的傷害（Barocas和Selbst，2016b；Obermeyer等人，2019a；Coston等人，2020b, 2021a）。在這篇論文中，我們開發了統計方法和一個審議框架，用來識別并解決挑戰機器學習在重要環境中負責任使用的數據問題。當機器學習被用于高風險決策時，一個常見的方法是應用標準的監督學習范式。在這種方法下，人們識別出一個感興趣的結果（通常是實際感興趣的結果的代理），然后使用其他變量作為預測因子，構建一個對這個結果的預測模型。當數據集并不代表機器學習工具將要部署的目標人群，且預測結果與決策任務相關的結果可能大相徑庭時，這種標準方法通常并不適合，這在現實世界的應用中是常見的（Mullainathan和Obermeyer，2021；Coston等人，2020b；Fogliato等人，2021；Wang等人，2022）。此外，計算在保留的集合上的測試指標的標準性能評估方法，往往不能對目標人口的性能提供有效的評估（Kallus和Zhou，2018b；Coston等人，2021b）。

這篇論文的一個核心原則是，我們必須確保我們打算測量的內容（例如，我們希望機器學習工具預測的內容，或者我們希望評估衡量的內容）與方法實際測量的內容保持一致。這種屬性被稱為有效性（Coston等人，2023）。未處理的數據問題，如選擇偏見或缺失數據，可能導致不一致，使機器學習工具無效。我們討論了在兒童福利、刑事司法和消費者貸款環境中這些問題的例子，并提出了解決方法。我們展示了有效性和我們的第二個原則，公平性，之間的關系，公平性要求機器學習工具不無理由地使某些人口群體比其他群體獲得優勢。我們表明，通常是弱勢或歷史上處于劣勢的人群最有可能在可用數據中被忽視或被誤解。我們提出了可靠評估算法中人口偏見的方法，以及在算法工具部署的更廣泛環境中審查有效性和公平性的方法。在實踐中有效地分析有效性和公平性需要治理工具，提供保護和結構化流程，以謹慎設計和評估機器學習工具。我們開發了一個框架，指導圍繞威脅預測算法的有效性和合法性的常見問題進行審議。本文提出的方法構成了對于重大決策的標準機器學習范式的一種替代方法。我們的原則性方法明確了目標人口和目標結果，調整了數據樣本和目標人口之間的任何差異，做出了合理的假設以確定目標結果和評估指標。我們開發了高效的方法，使用來自因果推斷的影響函數技術來估計這些量，這是一種適用于決策可以改變下游結果的決策環境的學科。我們為我們的方法提供了理論分析，說明如何適當地量化不確定性。本論文提出的方法套件組成了一套用于模型構建、評估和公平性評估的負責任使用的工具包。

我們在§ 0.1中描述了問題設定和符號。接下來的三個部分考慮在缺失數據的性質不同假設下如何獲得有效的預測、評估和公平性評估。§ 1描述了當我們已經測量了所有共同影響決策和感興趣結果的混淆因素時的方法。在許多決策支持環境中，混淆因素可能難以在運行時測量并輸入到預測模型中，但在離線數據集中可能仍然可用于訓練和評估。§ 2為這種“運行時混淆”設置提供了方法。§ 3通過拉舍蒙效應的視角深入研究公平和公正的問題，拉舍蒙效應是一種實證現象，即多種模型在總體上達到可比較的好的表現，但在個別預測上卻明顯不同。§ 4描述了一個框架，用于在算法設計中審查有效性，并最終決定是否在高風險環境中部署一個工具。擴大我們的范圍到算法被訓練和使用的更廣泛的背景中，§ 5提出了一個對刑事司法系統中人類決策的種族偏見進行回顧性統計審計的方法。我們在本節提出的方法也展示了如何在對社會有重大影響的領域使用機器學習來評估這些系統以及在其中行使權力的行動者。我們將本論文中提出的工作與我們的三個指導原則：有效性、公平性和治理，聯系起來。

隨著機器學習模型在各種應用中的部署越來越頻繁，我們越來越需要更好地理解、交互和調節它們的行為。解釋性機器學習是一個致力于這一需求的研究領域，其主要焦點最初在滿足有利于揭示有關模型預測的可能有用信息的算法屬性的方法論發展。然而，批評也強調了需要更為嚴謹地評估這些方法在不同用戶的具體任務中的應用。在這篇論文中，我們對該領域的方法論和應用方面做出了我們個人的貢獻。在方法論上，我們提出了一種有效的算法，通過影響力大的訓練數據點提供關于模型行為的重要信息。然后，我們提出了一種理論框架，以理解模型在性能和公平性指標上的權衡。接下來，從應用驅動的角度，我們討論了一個評估框架，測試現有的圖像顯著性方法是否適用于實際的假相關檢測任務。最后，受到學術同行評審中實際問題的啟發，我們展示了我們對新的和現有的方法在幫助人類用戶進行文檔匹配任務方面的效用的發現。

在計算機視覺和自然語言處理等實踐領域表現出色的復雜機器學習模型，越來越多地被用來協助人類進行高風險的決策，如醫療、金融、法律和社會應用。這種加速的采用使得人類用戶越來越需要更好地理解、調節和與這些模型交互。解釋性機器學習是一個致力于這一需求的廣泛研究領域。許多文獻中的工作側重于方法論的發展：開發新的滿足各種技術目標的方法，可以有效地從一個黑盒機器學習模型中引出重要和有用的信息。然而，這些方法使用的各種技術目標與引出的信息的實際“重要性”或“有用性”沒有明確的聯系，這本質上依賴于用戶使用信息進行某些下游任務。因此，基于具體應用對開發的方法進行評估，對于完全閉環開發具有實用價值的新方法至關重要。在這篇論文中，我們提出了對這個領域的方法論和應用重點方面的個人貢獻。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

半導體制造在很大程度上依賴于其個別工藝的精度和準確性，以滿足器件的要求。如果不加檢查，這些過程的變化會導致最終產品的性能和產量下降。雖然對這些變化的分析和控制已經使用了幾十年，但機器學習最近的發展引入了各種各樣的新方法，這些方法可能被用于更好地建模、監控和控制這些過程。這些方法提供了比傳統過程控制方法更強大、可擴展和準確的可能性。雖然許多機器學習方法很有前途，但半導體制造的獨特方面給許多機器學習方法帶來了挑戰。特別是，半導體制造的高成本往往導致數據有限的場景，因為收集大量數據可能是不可行的昂貴。由于這一局限性，我們研究了在各種半導體制造設置中概率方法的使用。與其他機器學習方法相比，這些方法通常不太容易過擬合，但仍然足夠靈活，可以為復雜系統建模。具體地說，我們在四個不同的案例研究中研究了概率機器學習方法的應用。

//dspace.mit.edu/handle/1721.1/143184

首先，我們研究虛擬計量系統，有兩個目標。我們的第一個目標是定義一個虛擬計量框架，使我們能夠更好地理解這些系統中常見的誤差來源。該框架涉及配方、腔室、傳感器和晶圓片變量，并納入兩種常見的誤差來源:可觀測誤差和概念漂移。我們的第二個目標是使用這個框架來開發我們自己的建模方法，這種方法非常適合于存在這些錯誤的建模系統。我們的解決方案是一個貝葉斯方法，類似于傳統的卡爾曼濾波器;然而，它模擬了兩個變量之間的關系，而不是一個未知的系統狀態。然后，我們研究了優化離子注入系統劑量均勻性的概率方法。改善劑量均勻性的常用方法是通過調整晶圓上的注入時間來補償光束的變化。在這里，我們學習這些變化，然后解出一組補償時間。我們的方法由兩個組件組成，一個建模組件和一個優化組件。該建模組件類似于我們用于建模虛擬計量系統的概率方法，但也結合了針對離子注入設置的先驗信念。然后，優化組件使用我們的正向模型，在給定工具和工藝的物理約束條件下改善劑量均勻性。我們將此方法與之前的現有行業調優方法進行比較，可以看到在調優時間、流程吞吐量和調優成功方面的顯著改進。

接下來，我們研究了概率異常檢測方法，我們使用它來檢測發生的過程故障。這些方法使用過程傳感器信息來確定當前過程是否正常運行。我們采用核密度估計方法估計正常工作條件下傳感器信號的概率分布;然后使用這些分布來確定一個過程在名義上運行的可能性。結果表明，該方法優于許多傳統的過程控制方法，包括統計過程控制、一類支持向量機以及基于變分自動編碼器的異常檢測方法。最后，我們研究了使用貝葉斯優化和高斯過程模型來改善濺射沉積過程的厚度均勻性。本文中，我們使用高斯過程來模擬濺射沉積過程中的厚度均勻性作為腔體配置和配方參數的函數。該模型采用迭代的方式來尋找滿足期望均勻性要求的參數。我們的建模技術優于許多標準回歸方法，包括多項式模型、多元樣條、梯度增強回歸樹和許多不同的深度學習架構。

雖然這四個案例研究都考慮了半導體制造中概率方法的獨特應用，兩個關鍵主題貫穿始終。首先，我們發現，與許多替代方法相比，這些概率方法在數據有限的情況下更不容易過擬合。先驗和觀測噪聲估計所提供的固有正則化是這些方法成功的關鍵。第二，整合過程或領域特定知識對于用有限的數據進行訓練至關重要。理解底層系統，相應地構造方法，并進行小的逼近，將復雜的原始問題簡化為更簡單的形式，從而能夠有效地應用概率機器學習方法。

傳統的機器學習范式在單個任務上訓練特定任務模型，已經在許多領域(如計算機視覺和自然語言處理)取得了最先進的性能。為了使機器學習模型具有更廣泛的適用性，遷移學習旨在適應從源任務中學習到的知識，以提高在其他目標任務中的表現。然而，現有的遷移學習范式還有待進一步研究，因此我們對其潛在的局限性、潛在的機制以及實現更智能遷移的解決方案的認識有限。特別是，當知識從一個不太相關的來源轉移時，可能會對目標性能造成負面影響，這種現象稱為負轉移。然而，負遷移的原因尚不明確，負遷移如何影響模型的泛化和樣本效率也不清楚。在這篇論文中，我們的目標是徹底描述和解決機器學習模型中的負遷移，我們仔細研究了流行的視覺和自然語言處理設置中的負遷移，收集了其原因的見解，并提出了提高泛化和樣本效率的解決方案。本文由三個部分組成。第一部分對當前遷移學習模型中的負遷移現象進行了系統的分析。我們在領域適應和多語言自然語言處理模型中正式描述了其條件，并證明任務沖突是負遷移的一個關鍵因素。在第二部分，我們提出了各種對齊方法，通過更好的對齊表示和梯度解決上述任務沖突，增強可轉移模型的泛化。最后，在第三部分，我們探索了有效樣本遷移學習算法，使用較少的訓練和/或校準數據來緩解負遷移。本文的主要貢獻包括對遷移學習中的負遷移問題提出了新的見解，提出了一系列實用的方法和算法，提高了模型的泛化和效率。

//www.lti.cs.cmu.edu/sites/default/files/wang%2C%20zirui%20-%20final%20thesis.pdf

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269