亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

遷移學習對于提高深度學習模型在序列決策任務中的數據效率和適用性至關重要。然而，確定哪些知識可以遷移以及如何有效利用它仍然是一個尚未解決的難題。近年來在表示學習方面的突破，尤其是在語言和視覺領域，展示了從大規模數據集遷移知識的強大能力。同時，仿真平臺和環境設計的進步也為收集多樣化、逼真的訓練數據開辟了新的可能性。在此背景下，本論文包含的四項研究工作探討了序列決策任務中不同方面的遷移技術。 首先，我們對先前在序列決策中整合自然語言數據和表示的研究進行了全面綜述。我們的綜述揭示了尚未解決的挑戰，并規劃了有前景的研究方向，主張更廣泛地利用大型語言模型，并開發語義復雜性更高的環境。其次，我們提出并研究了一種用于多模態多任務設置的模塊化架構設計，以實現組合泛化。受控實驗表明，該設計在觀察、動作和指令空間的未見組合上實現了零樣本遷移，并有效整合了新的觀測模態。第三，我們提出了一種方法，通過遷移源任務中與價值相關的狀態特征知識，來引導無監督技能發現，以生成更有用的行為。在連續控制領域的實驗表明，我們的方法在狀態空間的相關維度上實現了更優的覆蓋，并提升了下游任務的表現。最后，我們對非平穩環境中元梯度的分析表明，將優化器作為上下文特征的函數進行學習，可以實現更快的適應速度和更高的整體表現。 總的來說，本論文為在序列決策任務中實現有效知識遷移提供了新穎的見解和策略。研究工作展示了整合語言、針對性歸納偏差、適度監督以及元學習自適應帶來的優勢。

受到人工智能（AI）在高成本和安全關鍵應用中的潛力，以及最近人工智能在我們日常生活中日益普及的影響，可信賴的人工智能作為一個廣泛的研究領域日益受到重視，涵蓋了可解釋性、魯棒性、可驗證安全、公平性、隱私、問責等主題。這在簡單、透明的模型與復雜、黑箱模型之間造成了一種緊張關系，前者具有固有的信任相關好處，而后者在許多任務上的表現則無與倫比。為了彌補這一差距，我們提出并研究了一種對數值數據的不確定解釋，并將其應用于基于樹的模型，形成了一種新型模糊決策樹，稱為核密度決策樹（KDDTs），它具有更好的性能、增強的可信特性和更廣泛的實用性，使得這些樹可以應用于更廣泛的領域。我們將本論文的貢獻分為三大支柱。

第一支柱是魯棒性和驗證。不確定解釋通過考慮數據中的不確定性，并更一般地作為對模型表示的函數的一種正則化，可以改善模型在各種魯棒性概念方面的表現。我們展示了它在應對噪聲特征和噪聲標簽方面的魯棒性，這在現實世界數據中很常見。接下來，我們展示了如何通過隨機平滑理論有效地實現可驗證的對抗魯棒性。最后，我們討論了相關主題的驗證，并提出了第一個模糊決策樹的驗證算法。

第二支柱是可解釋性。雖然決策樹普遍被認為是可解釋的，但基于樹的模型的良好性能通常僅限于表格數據，并且需要特征工程，這增加了設計工作量，同時集成方法則大大降低了相較于單棵樹模型的可解釋性。通過利用KDDTs的高效擬合和可微性，我們提出了一種學習參數化特征變換的系統。通過選擇可解釋的特征類并應用稀疏正則化，我們可以獲得具有競爭性能的緊湊單樹模型。我們展示了其在表格數據、時間序列和簡單圖像數據上的應用。

第三支柱是務實的進展。半監督學習（SSL）是由標簽成本的高昂而驅動的，從混合的標記和未標記數據中學習。樹的半監督學習通常僅限于黑箱包裝方法，而這并不適合樹。我們提出了一種基于我們對數據的不確定解釋的新穎內在SSL方法。聯邦學習（FL）是由數據共享限制驅動的，通過通信模型從分布式數據中學習。我們引入了一種基于函數空間正則化的新FL算法，它借用了我們不確定解釋形式中的概念和方法。與先前的FL方法不同，它支持非參數模型，并在溫和的假設下具有收斂保證。最后，我們展示了我們的FL算法還提供了一種簡單的集成合并實用工具。

隨著深度學習逐漸滲透到計算機視覺和自然語言處理等領域，并越來越多地與對人類有影響的大型關鍵系統相集成，解決人工智能的安全性問題已成為該領域的核心挑戰之一。在這些重要系統中，目標不僅僅是構建最準確的AI模型，而是要構建那些同時具備高準確性和可證明安全性的AI模型。本論文探討了人工智能安全性的兩個重要方面：魯棒性和公平性。魯棒性要求模型在輸入分布與訓練期間遇到的分布不同時也能良好表現。公平性是一種安全屬性，要求模型預測在不同個體和群體間保持公平。

在論文的第一部分，我們聚焦于魯棒性。我們首先提出了一種新穎的認證方法，可以保證模型對輸入變換具有魯棒性。在第二章中，我們將此方法擴展到訓練模型，使其能夠證明魯棒性。這些貢獻基于諸如通過優化和采樣進行認證的創新技術，以及通過在凸松弛中尋找對抗樣本來進行訓練的方法。 論文的第二部分則探討了公平性，我們開發了新的方法，用于學習滿足個體或群體公平性要求的公平表示。我們還將個體公平性與魯棒性聯系起來，使得我們能夠利用論文第一部分中的技術來同時解決公平性問題。 本論文中提出的方法具有廣泛的應用前景，例如魯棒性方法可以應用于更復雜的輸入變換，而群體公平性表示學習也可以用于將輸入編碼為更隱私的表示。我們相信，本論文提出的方法能夠豐富我們在AI安全性方面的工具庫，并在未來應用于更多的系統中。 深度學習在過去十年中取得了顯著成功。基于深度學習的模型現已廣泛應用于各個領域，如推薦系統【16】、計算機視覺【17, 18, 19】和涵蓋自然語言的一般任務【20】。然而，隨著深度學習模型能力的提升，人們也對其安全性產生了極大的關注。因為這些模型并非孤立使用，而是作為更大系統的一部分，而其預測結果可能會對人類產生下游影響。例如，計算機視覺模型可以用在自動駕駛車輛中，幫助其檢測街道標志，其預測結果直接影響乘客和其他交通參與者的安全。一個預測學生GPA的模型可以用于大學錄取過程中，這意味著其預測質量可能會影響一個人的教育路徑。這強調了研究人工智能安全性的重要性，特別是這些系統在最壞情況下的表現，以確保其在盡可能多的情況下能夠正確運作。

安全人工智能：魯棒性與公平性

在本論文中，我們專注于安全人工智能的兩個方面：魯棒性與公平性。當機器學習模型在輸入發生變化時仍能正確運行，則稱其具有魯棒性。輸入的變化可以是由對抗者造成的（例如，有人故意向圖像中添加噪聲），也可以是在推理過程中自然發生的（例如，攝像頭拍攝的圖像發生位移）。解決這一問題對于開發能夠在環境變化時依然有效的機器學習系統至關重要。公平性是人工智能安全的另一重要話題，隨著機器學習模型通常基于偏差數據進行訓練，模型本身也可能會開始表現出類似的偏差行為。盡管公平性有多種定義，本論文關注個體公平性（要求相似個體獲得相似結果）和群體公平性（要求不同群體間的平均預測相似）。隨著機器學習越來越多地被用于重要的社會決策中，充分解決公平性問題變得越來越重要。

目標

本論文的主要目標是推進能夠保證機器學習模型魯棒性和公平性的方法。為此，我們結合使用了形式方法（例如，抽象解釋和凸松弛）和統計方法（例如，有限樣本邊界）。具體而言，在第三章中，我們引入了一種基于優化和采樣相結合的方法，以認證機器學習模型對幾何變換的魯棒性。接下來在第四章中，我們不僅對模型進行認證，還提出通過潛在對抗樣本進行訓練的創新概念，使模型在訓練時即具備可證明的魯棒性。第五章首次探討了輸入數據的預處理問題，從而使數據消費者能夠證明個體公平性。最后，第六章提出了一種新的預處理方法，使得轉換后的輸入數據無法用于推斷敏感屬性，從而保證在其之上的任何下游分類器的群體公平性。 在表1.1中，我們總結了本論文的貢獻，每一行對應一個章節：章節中涉及的安全屬性，以及用于安全性檢查的關鍵方法。接下來，我們將對本論文的貢獻進行分章節概述。

最近在生成式人工智能領域的進展見證了模型大小和數據維度的急劇膨脹。然而，這些大型模型隨之而來的是增加的計算需求，這禁止了許多傳統概率推理算法的使用。迫切需要新的推理算法，這些算法足夠高效，能夠在大型模型和現代架構上運行，同時也足夠強大，能夠處理高維度和大數據集。 在這篇論文中，我們通過設計與模型規模兼容的算法成分來應對這一挑戰，如并行化、攤銷推理和神經函數逼近。我們提出了多種技術來改進采樣和推理，從而實現更快的樣本速度、樣本查詢的更好靈活性，以及對推理目標的更準確估計。我們的方法適用于各種架構的大型模型，如擴散模型、自回歸模型和掩蔽自編碼器模型。我們在圖像和文本生成、游戲玩耍和機器人領域的應用中展示了這些發現。這些洞見導致了大規模生成模型高效部署的實際改進和新視角。

近年來，大規模生成模型的成功極大地改變了機器學習領域。得益于訓練數據量、計算力和架構規模的顯著增加，大型生成模型的改進拓寬了跨模態可能性的范圍，如文本[BMR+20b]、圖像[RBL+22]、視頻[PX23]、游戲玩耍[FBB+22]，并開啟了如推理[WWS+22]和上下文中學習[WTB+22]等新能力。 然而，規模的增長帶來了計算效率和算法設計的新挑戰。較大的模型和更高的數據維度自然更加昂貴，需要更長的訓練時間和更慢的推理時間。因此，優化大型模型的效率需求更為迫切。這些挑戰導致了圍繞高效訓練和推理的發展，例如在多個節點上的大規模訓練[SPP+19]和基于注意力架構的快速推理[DFE+22]。 在這篇論文中，我們主要關注流水線的推理階段，包括模型的采樣和推理。由于當前模型的大規模設定了計算可行性的更嚴格邊界，因此迫切需要在算法設計上取得進展。例如，需要多個連續前向傳遞的采樣算法變得不便地慢。隨維度增長而表現不佳的傳統概率推理方法變得日益禁止。在采樣過程中需要訪問訓練數據的框架變得過時。這種模型規模增長的趨勢要求概率推理方法的進步，以跟上大型模型的資源限制。 因此，我們的目標是開發足夠高效以在大型模型和現代架構上運行，且強大到能處理高維數據和大數據集的推理算法。我們如何設計算法，以推進大型模型的采樣和推理的前沿呢？

為新一代大型模型設計采樣和推理算法時，我們可以回顧傳統機器學習系統中的推理算法。相對而言，在小型模型規模和低數據維度的情況下，采樣和推理算法有廣泛的設計選擇是可行的。采樣算法可以大量依賴馬爾科夫鏈蒙特卡洛（MCMC）技術，甚至是簡單方法如拒絕采樣。許多隨維度增長而表現不佳的算法仍然變得流行，如維度增長表現不佳的信念傳播，或數據點數量增加表現不佳的高斯過程。那些前向傳遞線性依賴數據維度的方法，如祖先采樣，極為高效。

然而，在大型模型和大數據維度的新格局下，大多數傳統的采樣和推理算法已不再實用。維數災難使得MCMC技術過于不可靠，圖形模型算法的運行時間復雜度增長得太差。大量的數據點使得如高斯過程這樣的非參數模型不切實際。即使是大多數算法看似基本要求的線性數量的前向傳遞，在處理具有數十億參數的模型時也變得不便地慢！

顯然，當處理大型模型時，實用的推理算法范圍受限，因為微小的低效率被放大成巨大的障礙。鑒于這種格局，當只有預算進行幾次模型的前向傳遞時，哪些方法仍然可行？為了取得進展，我們專注于一些與模型規模兼容的關鍵成分：并行化、攤銷推理和神經函數逼近。使用這些可擴展的成分，我們提出了多種技術來改進大型模型的采樣和推理，包括不同架構如擴散模型、自回歸模型和掩蔽自編碼器模型。在我們的論文過程中，我們提出了包括并行化看似順序的計算圖、使用攤銷推理馴服難以處理的問題以及利用神經函數逼近進行精確近似推理的洞見。

我們將論文組織為兩部分，共享同一個總體目標：1) 大型模型的采樣，以及2) 大型模型的可行推理。在第一部分，我們研究了預訓練模型的采樣，特別是改進了從擴散和自回歸模型的底層概率分布中抽取樣本的技術。在第二部分，我們將注意力轉向可行的推理，這涉及估計生成模型的不同量（如期望值、條件似然）的問題。我們展示了改進的架構和算法，以提高任意順序自回歸模型（AO-ARMs）和各種圖形模型上的可行推理效果。

時間序列數據是從不同應用的各種源頭隨時間收集的順序測量數據，例如，醫療保健和制造業。隨著這些應用產生的時間序列數據量的增加，對它們的分析變得越來越重要以獲得洞見。深度學習已經展現出在從大量數據中自動學習的潛力和能力，通過直接從數據中識別復雜模式和表示。然而，當前基于深度學習的模型存在顯著的局限性。首先，它們缺乏在利用并行處理的同時有效學習時間序列的時間關系的能力。其次，這些模型需要大量的標簽數據進行訓練，這在面對復雜的時間序列數據時可能難以獲得。第三，這些模型的泛化能力有限，當從一個有標簽的源域轉移到一個分布外的無標簽目標域時，它們的性能會下降。在這篇論文中，我們解決了這些問題，并為時間序列數據的深度學習模型的現實世界部署提供了解決方案。我們首先提出了一個名為AttnSleep的新穎的基于注意力的深度學習架構，用以分類基于EEG的睡眠階段，這是常見的時間序列醫療保健數據類型之一。具體來說，我們提出了一個強大的特征提取器，它能夠學習EEG信號中不同頻帶的信息。我們還提出了一個時間上下文編碼模塊，使用因果多頭注意力機制學習提取特征之間的時間依賴性。最后，我們開發了一個針對睡眠數據類別不平衡問題的類別感知損失函數，而不增加任何額外的計算成本。接下來，我們提出了兩個框架來解決不同設置中的標簽稀缺問題。第一個框架，TS-TCC，是一種自監督學習方法，它從無標簽數據中學習有用的表示。TS-TCC利用特定于時間序列的增強來為每個樣本生成兩個視圖。然后我們通過一個新穎的跨視圖時間預測任務學習時間表示。此外，我們提出了一個上下文對比模塊，進一步學習判別性表示。第二個框架，CA-TCC，在半監督設置中改進了TS-TCC學到的表示，通過四個階段訓練模型。首先，我們使用TS-TCC進行自監督訓練。然后，我們用少量標簽樣本微調預訓練模型。接著，我們使用微調后的模型為無標簽集分配偽標簽。最后，我們利用這些偽標簽實現一個類別感知對比損失，用于半監督訓練。這兩個框架與傳統的監督訓練相比，在有少量標簽樣本的情況下顯示出顯著的性能提升。最后，我們解決了領域偏移問題，并提出了兩個新穎的框架來解決這一問題。在第一個框架中，我們引入了一個名為ADAST的對抗性域適應技術，該技術解決了兩個挑戰，即在特征提取過程中丟失領域特定信息以及在域對齊過程中忽略目標域中的類別信息。為了克服這些挑戰，我們結合了一個非共享注意力機制和一個帶有雙重不同分類器的迭代自訓練策略。在第二個框架中，我們嘗試克服對抗性訓練的復雜性，并提出了一種名為CoTMix的新穎方法，使用一種簡單而有效的對比學習策略來解決領域偏移問題。具體來說，我們提出了一種跨域時間混合策略，以創建源域主導和目標域主導的域。這些域作為源域和目標域在對比學習中的增強視圖。與以往的工作不同，CoTMix將源域和目標域映射到一個中間域。這些框架展示了深度學習模型在時間序列數據上的改進魯棒性。

在過去的十年里，深度學習展示了卓越的能力，展現了對大規模數據的強烈依賴。這一時期見證了大型語言模型、擴散模型和分割模型的規模化法則生效，通過利用大規模真實世界數據集，實現了接近人類水平的性能。然而，當涉及到具身人工智能時，生成真實世界數據變得具有挑戰性且成本高昂，原因在于機器人的脆弱性和有限的速度。相比之下，合成數據和模擬環境提供了一種高效且成本效益高的方法，用于訓練機器人代理并生成精確的監督。因此，合成數據作為可擴展和高質量訓練數據的有希望的解決方案，為具身人工智能代理的出現提供了支持。鑒于使代理能夠泛化到真實世界場景的最終目標，圍繞合成數據的主要挑戰在于準確捕捉真實世界分布，通過彌合模擬與現實差距（Sim2Real gap）。解決這一挑戰涉及兩個關鍵方面：生成合成數據和有效利用它。在這篇論文中，我提出了兩條研究工作線，分別對這兩個方面做出貢獻。第一條研究工作線解決合成數據的生成。我介紹了兩種旨在生成與真實世界分布一致的合成數據的方法。首先，我提出了iGibson，一個模擬環境，用于在大規模真實場景中開發交互式任務的機器人解決方案。iGibson構建了與3D掃描的真實世界家庭互動復制的模擬場景，使對象、布局和互動性的分布與真實世界一致。為了進一步促進更健壯的具身代理的訓練，iGibson為材料（包括視覺外觀和動力學特性）和物體形狀提供了領域隨機化程序，同時尊重物體放置的分布并保持互動性。其次，我提出了GINA-3D，一種生成模型，使用來自相機和激光雷達傳感器的真實世界駕駛數據來創建多樣化車輛和行人的逼真3D隱式神經資產。與iGibson相比，后者涉及在構建模擬環境方面的顯著人力努力，GINA-3D利用了直接學習生成與真實世界觀測匹配的合成資產的生成模型。我提出的證據表明，GINA-3D在生成的視覺和幾何質量方面實現了最先進的性能和多樣性。第二條研究工作線集中于有效利用合成數據。通過設計健壯的學習算法和模型，我們可以創建更好地泛化到真實世界場景的模型。首先，我介紹了Taskonomy，它利用合成數據構建了一個計算任務分類和任務空間地圖。通過利用任務關系，我展示了證據表明，我們可以使用比完全監督方法少至少一個數量級的數據，而且模型可以很好地泛化到真實世界數據集。然后，我介紹了情境融合，它訓練代理融合一大組對應于多樣化視覺感知能力的視覺表征。這種方法在新環境中的表現顯著優于真實世界預訓練的基線和其他融合方法。最后，我介紹了ACID，用于可變形物體操縱的動作條件隱式視覺動力學。通過利用大規模合成數據和幾何與動力學的獨特監督，我可以將模擬訓練的ACID模型直接應用于真實世界物體，并在將它們操縱到目標配置方面取得成功。總結來說，這篇論文研究了合成數據和模擬環境作為具身人工智能的有希望解決方案。所呈現作品的關鍵在于合成數據的仔細生成和有效利用。通過模擬環境、生成模型、任務遷移學習、視覺運動策略訓練和視覺動力學建模等策略，我們可以彌合模擬訓練和真實世界應用之間的差距，為更有能力和多功能的具身人工智能代理鋪平道路。

深度生成模型已經徹底改變了人工智能領域，從根本上改變了我們如何生成模仿或從訓練數據推廣出的新穎對象，以及我們訪問和消費各類信息（如文本、圖像、語音和計算機程序）的方式。它們有潛力徹底改變其他科學領域，從數學問題解決到支持高能物理中快速而準確的模擬，或是使快速天氣預報成為可能。在計算生物學中，生成模型對于改進我們對復雜生物過程的理解、設計新藥物和治療方法、以及預測大流行期間病毒的進化等方面，都擁有巨大的潛力，而這只是眾多應用中的一部分。然而，由于生物對象的固有復雜性，它們帶來了獨特的挑戰，包括龐大的空間、多種補充數據模式，以及高度結構化和相對非結構化組件之間的獨特相互作用。

在這篇論文中，我們開發了幾種由計算生物學中關鍵問題所驅動的深度生成建模框架。鑒于這一努力的跨學科性質，我們首先提供了關于生成建模、不確定性量化、順序決策制定，以及生物學和化學中重要概念的全面背景，以便徹底理解我們的工作。接著，我們深入探討我們貢獻的核心，圍繞三個章節進行構建。第一章介紹了學習生物序列表示的方法，為后續分析打下了基礎。第二章展示了如何利用這些表示來預測生物分子的復雜屬性，重點關注三個具體應用：蛋白質適應性預測、遺傳變異對人類疾病風險的影響，以及病毒免疫逃逸。最后，第三章致力于設計新型生物分子的方法，包括藥物靶點識別、從頭分子優化和蛋白質工程。

這篇論文還對更廣泛的機器學習挑戰，如高維空間中的不確定性量化或高效的變換器架構，作出了幾個方法論貢獻，這些貢獻在其他應用領域也具有潛在價值。我們最后通過總結我們的主要發現，強調當前方法的不足，提出未來研究的可能途徑，并討論該領域內的新興趨勢來結束這篇論文。

機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡，由連續表示層組成，其參數通過梯度下降在大規模數據集上進行優化。

深度神經網絡在許多任務上取得了卓越的性能，如物體識別、語言理解和自動駕駛。然而，他們仍然在推理任務中掙扎，這些任務通常需要操作符號并將多個步驟組合起來，例如，求解數學方程或編寫計算機程序。在這篇論文中，我們的目標是彌合這一差距，并教機器以精確、系統、可解釋和魯棒的方式進行推理，以應對現實環境中的模糊性。**本文采用神經符號方法，結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下，主要的機器學習方法很靈活，但眾所周知難以解釋，需要大量數據，并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言，本文從兩個角度研究了神經符號推理。首先，將機器學習應用于與符號推理相關的任務，如自動定理證明(第2章)。其次，將符號推理啟發的歸納偏差引入機器學習模型，以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構，(2)在適當的抽象水平上進行推理，以及(3)明確的、推理的組合表示，如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958

自深度學習革命以來，機器學習文獻中的一個總體趨勢是大型深度模型將持續優于小型淺模型。然而，這種趨勢也帶來了計算需求不斷增加的缺點，最近許多最先進的成果所需的資源遠遠超出了頂級行業實驗室的范圍。這些問題引發了關于機器學習研究民主化的非常現實的擔憂，如果不加以解決，最終可能會導致更多的權力和財富集中在今天能夠向其人工智能研究項目投資巨額資金的機構中。

遷移學習技術是這些問題的潛在解決方案，它允許大型的、通用的模型經過一次訓練，然后在各種情況下重用，只需要最少的計算來適應它們。本文探索了遷移學習的新算法和應用，包括分層強化學習、生成式建模和計算社會科學等領域。在分層強化學習領域內，本文提出一種算法，允許在選項之間遷移(即在不同的選項之間遷移)。例如，時間上抽象的動作)，用于獨立但相似的任務。在生成建模領域，我們提出了一種算法，可以在新的數據上重用現有的可逆生成模型，而不產生任何額外的訓練成本。最后，在計算社會科學領域，本文表明，可以從人類設計的模型中遷移知識，以檢測針對排名算法的惡意活動。

在這篇論文中提出的所有算法之間的共同線索是它們本質上是貝葉斯的。我們認為，貝葉斯范式自然適合于遷移學習應用，因為貝葉斯先驗可以作為適應性強的通用模型，通過推理過程可以轉換為特定任務的后驗。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269