亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能領域最近見證了顯著的增長，導致開發了在各種領域表現出色的復雜深度學習模型。然而，這些發展帶來了關鍵問題。深度學習模型容易繼承并可能加劇其訓練數據中存在的偏見。此外，這些模型的復雜性導致缺乏透明度，這可能導致偏見未被發現。這最終可能阻礙這些模型的采用，因為缺乏信任。因此，培養本質上透明、可信和公平的人工智能系統至關重要。本論文通過探索深度學習的可解釋性和自解釋模型，為這一研究領域做出了貢獻。這些模型代表了向更透明系統的轉變，提供了與模型架構密切相關的解釋，揭示了它們的決策過程。因此，這種固有的透明性增強了我們的理解，從而提供了解決無意中學習偏見的機制。為了推進自解釋模型的發展，本論文進行了對當前方法的全面分析。它引入了一個旨在提高某個最先進模型解釋質量的新算法。此外，這項工作還提出了一種新的自解釋模型，通過學習的解碼器生成解釋，促進端到端訓練，并解決了解釋性和性能之間普遍存在的權衡問題。此外，為了增強這些模型的可及性和可持續性，本論文還介紹了一種通用方法，無需重新訓練即可將任何預訓練的黑盒模型轉化為自解釋模型。通過所提出的方法，這項研究識別并抵制了從數據中學習的人為因素—虛假相關性，進一步強調了透明模型的需求。此外，本論文的范圍還擴展到了大型語言模型的公平性維度，展示了這些模型加強社會偏見的傾向。這項研究的結果凸顯了所提方法的有效性，從而為創建不僅準確而且透明、公平和可靠的人工智能系統鋪平了道路，以促進人工智能技術的廣泛采用和信任。

深度神經網絡已經展示了其在處理各種類型數據為包含關鍵信息的緊湊表征方面的卓越能力，這些信息對于理解數據至關重要。隨著強大計算設備的可用性，模型大小和用于訓練模型的數據量持續增長。因此，基礎模型的概念最近已經浮現。由于大型模型和用于訓練的廣泛數據范圍，人們認為基礎模型有強大的潛力，能為人工智能研究帶來重大變革。在這篇論文中，我們專注于視頻基礎模型。具體來說，我們希望探索從視頻中學習深度表征的方法，這是與視頻基礎模型相關的最重要的主題之一。我們確定了三個潛在阻礙視頻理解范式中基礎模型進步的挑戰：（一）當前用于處理視頻的模型結構在從視頻中提取特征方面效率不高。（二）從未標注數據中學習視頻表征的框架大多繼承自圖像，它們未能利用幀之間的運動，對于從未裁剪視頻中學習表征來說是次優的。（三）預訓練視頻模型的適應性僅限于時空理解任務，而許多空間理解任務可以通過結合連續幀之間的時間上下文而受益。針對上述挑戰，我們提供了解決方案的探索。在模型結構方面，我們首先介紹了TAdaConv，它在不增加太多計算開銷的情況下為圖像模型賦予了時間建模能力。然后，我們進一步優化了基于Transformer的模型的效率，通過掩蓋輸入視頻的相當比例，減輕了對視頻冗余部分的計算負擔。在從未標注數據中學習視頻表征方面，我們探索了從圖像生成的偽運動中學習，以增強模型對視頻中像素運動的理解。對于基于對比學習的框架，我們提出了一種參數化裁剪策略，用于在訓練期間自適應控制增強強度。為了從未裁剪視頻中學習，我們在標準對比學習框架的基礎上進一步引入了主題一致性學習，這被證明在利用網絡上未篩選的視頻數據方面是有效的。在泛化到空間理解任務方面，我們將TAdaConv擴展到視覺對象跟蹤的應用。

我們對世界的觀察由無數的、無休止的視覺刺激組成。因此，對機器來說，理解我們的世界的關鍵能力之一是理解視頻。自從幾十年前進入深度學習時代[160]以來，視頻理解領域已經取得了巨大的進展。處理視頻的最大模型已從1000萬參數[322]增長到超過10億[319]，用于訓練視頻模型的數據也從幾千[282, 162]擴展到超過50萬[32]，如果考慮到未標注數據，這個數字進一步擴大到超過1000萬[8]。為了更全面地理解視頻，涌現出了各種任務，如動作識別[149, 150]、動作檢測[24, 105]、視頻檢索[361, 267]、異常檢測[285]和對象跟蹤[85, 348, 228]等。

在早期，各種任務的方法是獨立開發的。盡管處理視頻的操作相似，但不同任務中的視頻模型結構是為每個任務專門設計的，而且視頻模型都是從隨機初始化開始訓練的。隨著發現在預訓練期間學習的特征表示可以將有用信息轉移到下游任務[102]，動作識別的視頻模型開始利用預訓練的圖像模型（例如，在ImageNet[69]上預訓練的ResNet[119]）作為初始化[33]，其他下游任務[196, 397, 245]的解決方案開始利用在Kinetics-400[150]等大規模標注數據集上預訓練的視頻模型的特征表示。這導致了各種視頻應用框架的融合，遵循一般的預訓練和微調范式。通常，視頻模型首先通過監督或自監著學習進行預訓練。借助預訓練的表示，下游任務中的應用可以通過向視頻骨架添加特定于任務的模塊來完成，這實際上是對視頻模型的表示進行后處理。該過程如圖1.1所示。因此，在這樣的框架中，視頻表征的質量在下游任務的性能中起著關鍵作用。 盡管預訓練的視頻模型顯著加速了訓練并提高了下游視頻應用的性能，如動作識別[134, 255, 259]、動作定位[196, 403]、視頻定位[74, 75, 397]等，但預訓練模型仍然存在幾個缺點。在各種下游任務中，我們看到要獲得像樣的性能需要新的架構[75, 135]或訓練技術[74]。這顯著阻礙了視頻模型在各種現實世界應用中的使用。

最近，基礎模型的出現[20]為這個問題提供了一個有希望的解決方案。基礎模型的概念起源于自然語言處理(NLP)，本質上指的是具有大量參數并在大量數據上訓練的模型。例如，著名的NLP模型GPT-3[21]擁有1750億參數，并使用3000億語言標記進行訓練。盡管基礎模型的技術并不是全新的，但其規模和由此產生的高度容量和泛化能力已經為各種現實世界應用打開了新的可能性。在大量未標注數據上預訓練如此大的模型之后，該模型能夠解決各種任務，而無需專門針對這些任務進行訓練。因此，有了視頻基礎模型，我們可以處理各種視頻應用，而無需針對不同的下游任務重新設計模型架構和訓練技術。

然而，與NLP相比，視覺基礎模型仍處于早期階段[20]。大多數現有的用于視覺應用的基礎模型仍然專注于傳統的計算機視覺任務[262, 68, 332]，如圖像分類[69]和語義分割[200, 51]，而更廣泛的能力，如常識推理，尚待開發。在視頻基礎模型方面，它們通常遵循基于圖像的模型的管道[319, 368]，將二維操作擴展到三維操作以處理時空信息，并使用類似的替代任務進行模型的預訓練。 由于基礎模型范式是可擴展模型結構、無監督表征學習策略和各種任務統一的發展結果，我們在進一步挖掘視頻基礎模型潛力之前，仍面臨著以下挑戰：

（一）模型架構本質上決定了如何從輸入數據生成表征。從這個角度看，基礎模型的最新發展主要是由Transformer架構[307]的發明推動的，該架構有效地利用了GPU的并行性，并且對輸入內容具有很高的適應性。自2017年誕生以來，已經充分驗證了Transformer架構是處理一維文本輸入[307, 151, 263]的最合適方式之一。其在2020年擴展到視覺應用[79]也促進了對這種結構在理解復雜空間語義方面適用性的全面調查和評估。然而，它在視頻理解方面的適用性，特別是在理解復雜運動方面，尚待進一步探索。就數據結構而言，由于視頻通常由每秒24到60張圖像組成，每個視頻需要處理的像素數量大大增加，這本身就帶來了巨大的挑戰，因為計算量與幀數成線性增長。此外，正如我們自己的視覺系統所示[70, 92, 136, 211]，時間信息的處理方式與空間信號本質上不同，而大多數現有方法通過對待空間維度和時間維度對稱地來融入理解時間動態的能力[3, 208, 13]。 （二）預訓練的替代任務定義了在一堆未標注數據上對預定義模型架構的學習過程。根據預訓練階段使用的數據，替代任務可以分為單模態[41, 118, 37, 263, 21]，僅依賴于視覺信息，和多模態[262, 379, 334, 174]，利用視覺數據和其他模態，如文本或音頻。盡管多模態預訓練模型已經展示了強大的泛化能力和執行各種任務的能力，但[385]中表明，僅從圖像中學習的表示更適合于模態內理解。大多數現有的學習視頻表征的方法都遵循與圖像范式中的對應方法類似的流程[253, 240, 146]，忽略了視頻中運動的特殊性。此外，大多數當前的表征學習方法僅限于從手動策劃的數據集中學習，這些數據集包含特定的動作類別，并且在注釋過程中可能存在人為偏見。如何從網絡上更長、更復雜的未策劃視頻中學習，目前尚未知曉。

（三）泛化到更多的視覺任務。目前，大多數視頻模型結構和預訓練任務都是專門為時空理解任務設計的，例如動作理解和時刻檢索，而基于視頻的空間理解任務的發展，如單一[85]或多對象跟蹤[228]和視頻實例分割[370]，通常與視頻基礎模型的發展平行進行。視頻基礎模型的研究如何幫助這些基于視頻的空間理解任務更好地利用視頻中嵌入的時間信息，尚待探索。

人類不斷地適應我們周圍的世界，讓我們無縫地獲取新技能和探索多樣的環境。但是，當前的AI方法不能達到這種多功能性。相反，它們通常使用大量的數據集進行訓練，并同時學習所有任務。然而，經過訓練的模型在適應變化的上下文時有限的能力，并受到可用數據的限制。在機器人技術中，這一挑戰尤為突出，因為真實世界的交互數據非常稀少。

相反，我們設想一個機器人能夠從環境和人類互動中持續學習，快速獲取新信息而不覆蓋過去的知識，并能夠適應用戶的特定需求。

在這篇論文中，我們將持續學習應用于機器人技術，目標是啟用關鍵能力，包括：將先前的信息應用于新設置，維護舊信息，保持學習新技能的能力，以及理解上下文。我們在兩種學習模式下探索這些：持續的強化學習(CRL)，代理從經驗中學習；以及持續的模仿學習(CIL)，它從演示中學習。

然而，許多障礙阻礙了進步，包括有限的開源資源、資源密集型基準和機器人技術的不實用指標。為了應對這些挑戰，我們提出CORA（持續強化學習代理），一個帶有基準、基線和指標的開源工具包，以增強CRL的可用性。CORA超越了災難性遺忘，評估模型進行前向轉移和泛化的能力。

在此基礎上，我們引入SANE（自激活神經集合）來創建一個動態的可適應技能庫。SANE的獨立模塊集合根據需要學習和應用技能，減少遺忘。我們在幾個Procgen強化學習任務集上展示了這種方法。

然后，我們將SANE適應到一個物理機器人——Stretch，使用CIL并命名為SANER（SANE用于機器人技術）。借助我們創新的基于注意力的交互策略（ABIP），SANER在少次學習中表現出色，展示了其在各種任務中的泛化效果。 SANERv2進一步增強了這一能力，整合了自然語言，并在一個模擬環境RLBench中，在15個不同的操縱任務上實現了強大的性能。值得注意的是，SANERv2還能展示獨立模塊的潛力，證明一個節點可以在代理之間移動而不損失性能，這預示著未來可能有組合的集成。

隨著實用量子計算機的可能出現，人們開始研究其潛在的應用，特別是在人工智能的背景下。受到經典機器學習中深度神經網絡成功的激勵，人們普遍希望這種成功可以被轉化到所謂的量子變分算法或由經典機器學習啟發的量子神經網絡中。當前的深度學習算法主要是基于一系列啟示法開發的，這些啟示法通常缺乏嚴格的證明來證明其有效性。由于這些算法的不透明性，提供關于它們性能的明確保證仍然是一個巨大的挑戰。盡管這種復雜性延伸到深度學習的量子模擬，但越來越多的文獻已經識別出一套理論工具，以更好地了解為什么經典機器學習模型在現實任務中如此有效。我們使用這些工具來研究這些量子模擬，以部分解答在何時以及在什么條件下我們可以期望成功的問題。我們主要使用統計學習理論、量子力學、隨機矩陣理論和群論的工具來研究量子機器學習算法的可學習性。我們的發現表明，我們必須仔細考慮量子機器學習算法的設計，以達到合理的成功水平。事實上，我們的一些結果顯示，在量子機器學習中，隨機或無結構的方法容易遇到各種挑戰，包括與訓練性相關的問題或與最佳經典算法相比沒有顯著的優勢的問題。在整篇論文中，我們提供了幾個如何可能地向這些算法中引入結構來部分地解決這些問題的例子。此外，我們還探討了量子計算如何通知和加強經典機器學習的反向問題。我們研究了將酉矩陣納入經典神經網絡，這導致了這些酉神經網絡的更高效的設計。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

在大型標注數據集上訓練的強大機器學習(ML)模型，推動了自然語言處理和計算機視覺等領域的令人印象深刻的進步。反過來，這些發展導致了ML在醫療健康、電子商務和預測性維護等領域的有效應用。然而，獲得訓練高容量機器學習模型所需的標注數據集，往往是機器學習有前途應用的瓶頸。本文研究了獲取領域知識的替代途徑，并開發了從弱監督中學習的方法，即不完美的和間接的監督形式。我將介紹三種形式的弱監督:成對聯動反饋、程序化弱監督和成對多模態數據。這些形式的信息通常很容易大規模獲取，我開發的方法減少了——在某些情況下消除了——對點真實感注釋的需要。我首先研究了成對監督的效用。我介紹了一種新的約束聚類方法，它使用少量的成對約束來同時學習核和聚類數據。該方法在大量多樣的公開數據集上優于相關方法。接下來，將不完全成對監督引入程序化弱監督標簽模型。我根據經驗表明，僅一個弱成對反饋源就可以顯著提高下游性能。通過引入與弱標簽相協調的輸入分布建模方法，進一步研究了程序化數據標記方法。本文首先介紹了一個框架，在觀察到的弱標簽的基礎上聯合學習標簽和端模型，顯示了端模型在下游測試集上的性能比之前的工作有所改進。接下來，介紹一種融合生成式對抗網絡和程序化弱監督標簽模型的方法，以使兩者都受益，由標簽模型性能和數據生成質量衡量。在本文的最后一部分，我解決了程序性弱監督的一個核心挑戰:專家需要提供標簽規則。首先，介紹了一個交互式學習框架，幫助用戶發現弱監督源，以高效的方式捕獲應用領域領域專家的知識。然后，我通過直接從非結構化自然語言描述中學習來研究完全省去標記功能的機會。特別是，我研究了如何將生物醫學文本與圖像配對用于自監督視覺-語言處理，產生數據高效的表示并實現零樣本分類，而不需要專家定義文本或圖像的規則。這些工作提供了新的方法和框架，以在機器學習模型中更有效地編碼和使用專家領域知識，減少了因需要手工真實注釋而產生的瓶頸。

//www.ri.cmu.edu/publications/learning-with-diverse-forms-of-imperfect-and-indirect-supervision/

利用有限的數據進行學習是深度學習的最大問題之一。目前，解決這個問題的流行方法是在大量數據上訓練模型，無論是否標記，然后在同一模態的感興趣的較小數據集上重新訓練模型。直觀地說，這種技術允許模型首先學習某種數據(如圖像)的一般表示。然后，學習這種特定模態的特定任務應該需要更少的數據。雖然這種被稱為“遷移學習”的方法在計算機視覺或自然語言處理等領域非常有效，但它不能解決深度學習的常見問題，如模型可解釋性或對數據的總體需求。本文探索了在數據約束設置中學習表達模型問題的不同答案。我們不再依賴大數據集來學習神經網絡的參數，而是用反映數據結構的已知函數來代替其中的一些參數。這些函數通常都是從內核方法的豐富文獻中提取出來的。實際上，許多核函數都可以解釋，并且/或允許使用少量數據進行學習。所提出方法屬于"歸納偏差"的范疇，可以定義為對手頭數據的假設，限制了學習過程中模型探索的空間。在本文的前兩章中，我們在序列(如自然語言中的句子或蛋白質序列)和圖(如分子)的上下文中證明了該方法的有效性。本文還強調了工作與深度學習最新進展之間的關系。本文的最后一章重點研究凸機器學習模型。這里，我們不是提出新的模型，而是想知道學習一個“好的”模型真正需要數據集中的哪些樣本比例。更準確地說，研究了安全樣本篩選的問題，即在擬合機器學習模型之前，執行簡單測試以丟棄數據集中沒有信息的樣本，而不影響最優模型。此類技術可用于壓縮數據集或挖掘稀有樣本。

用于健康和生物醫學領域的機器學習的數據集通常是有噪聲的，采樣不規律，只有稀疏的標記，相對于數據和任務的維度都很小。這些問題推動了表示學習在這個領域的應用，它包含了各種技術，旨在產生適合下游建模任務的數據集表示。該領域的表示學習還可以利用生物醫學領域的重要外部知識。在本文中，我將探索新的生物醫學數據預訓練和表示學習策略，這些策略利用外部結構或知識來為局部和全局尺度的學習提供信息。這些技術將在四章中進行探討: (1)利用未標記數據來推斷半監督學習環境中的分布約束; (2)在基因-基因共同調控網絡上使用圖卷積神經網絡改進基因表達數據的建模; (3)將自然語言處理的預訓練前技術應用于電子健康記錄數據，并表明電子健康記錄時序數據需要新的方法; (4)通過結構誘導的預訓練前應用來斷言預訓練前應用的全局結構。

//dspace.mit.edu/handle/1721.1/144655

我的論文集中在解決這些挑戰，在設計預訓練和表示學習算法，利用結構和知識的臨床和生物醫學領域。特別是，在這篇論文中，我將討論四個具體的研究努力，每一個都將結構和知識納入表征學習的不同方式。我描述了下面的每一章，并在每一章的描述中引用了驅動這一章的基礎工作，以及其他我與他人合著的相關工作，這些工作雖然不在這一章中，但與主題相關。在這一節的最后，我還列出了我在研究生學習期間完成的其他出版物，這些出版物沒有在這篇論文中出現。

首先，在第2章中，我將探索如何利用循環Wasserstein回歸生成對抗網絡(CWR-GAN)從無標簽數據中學習到的分布式知識來解決臨床和生物醫學回歸問題。我們表明，這種方法在預測重癥監護患者的個別治療反應估計方面明顯優于傳統的監督學習。這項工作進一步推動了更大規模的自監督或半監督預訓練系統，它們同樣利用了未標記數據，特別是對神經網絡潛在空間施加全局結構約束的預訓練方法。主要工作[134]，其他相關文獻[11]。

第二，在第3章中，我展示了使用遺傳共同調控信息固有的圖結構可以顯著提高基因表達數據的建模。這表明，局部結構的使用可以在非傳統結構化的生物醫學領域提供更高質量的表示，并進一步推動我后來的分析如何在更大的規模將結構納入訓練前系統。第三，在第4章中，我討論了傳統訓練前算法對電子健康記錄數據的適應性，特別關注結構化的生理臨床時間序列。這項工作突出了傳統算法對這種新模式的限制。特別是，我們表明，多類預訓練算法的性能顯著優于基于填補的方法，這突出表明，對自然語言處理方法的na?ve適應在這種模式下并不能提供成功。因此，這一失敗激發了生物醫學模式訓練前新方法的開發。最后，第四章，在第5章中，我探索了一個新的預訓練算法的理論框架，強調了預訓練算法中樣本間歸納偏差的重要性。我們引入了結構誘導預訓練(SIPT)框架，并提供了理論和經驗證明，將全局結構誘導到預訓練潛在空間可以提供顯著的好處，這為開發專門針對生物醫學數據的新預訓練方法提供了重要的機會。主要工作[132]，其他相關出版物[164,131]。

總的來說，在這篇論文中，我們將證明整合結構，無論是直接從數據中學習還是通過外部知識，都可以顯著提高臨床和生物醫學機器學習的性能。

半導體制造在很大程度上依賴于其個別工藝的精度和準確性，以滿足器件的要求。如果不加檢查，這些過程的變化會導致最終產品的性能和產量下降。雖然對這些變化的分析和控制已經使用了幾十年，但機器學習最近的發展引入了各種各樣的新方法，這些方法可能被用于更好地建模、監控和控制這些過程。這些方法提供了比傳統過程控制方法更強大、可擴展和準確的可能性。雖然許多機器學習方法很有前途，但半導體制造的獨特方面給許多機器學習方法帶來了挑戰。特別是，半導體制造的高成本往往導致數據有限的場景，因為收集大量數據可能是不可行的昂貴。由于這一局限性，我們研究了在各種半導體制造設置中概率方法的使用。與其他機器學習方法相比，這些方法通常不太容易過擬合，但仍然足夠靈活，可以為復雜系統建模。具體地說，我們在四個不同的案例研究中研究了概率機器學習方法的應用。

//dspace.mit.edu/handle/1721.1/143184

首先，我們研究虛擬計量系統，有兩個目標。我們的第一個目標是定義一個虛擬計量框架，使我們能夠更好地理解這些系統中常見的誤差來源。該框架涉及配方、腔室、傳感器和晶圓片變量，并納入兩種常見的誤差來源:可觀測誤差和概念漂移。我們的第二個目標是使用這個框架來開發我們自己的建模方法，這種方法非常適合于存在這些錯誤的建模系統。我們的解決方案是一個貝葉斯方法，類似于傳統的卡爾曼濾波器;然而，它模擬了兩個變量之間的關系，而不是一個未知的系統狀態。然后，我們研究了優化離子注入系統劑量均勻性的概率方法。改善劑量均勻性的常用方法是通過調整晶圓上的注入時間來補償光束的變化。在這里，我們學習這些變化，然后解出一組補償時間。我們的方法由兩個組件組成，一個建模組件和一個優化組件。該建模組件類似于我們用于建模虛擬計量系統的概率方法，但也結合了針對離子注入設置的先驗信念。然后，優化組件使用我們的正向模型，在給定工具和工藝的物理約束條件下改善劑量均勻性。我們將此方法與之前的現有行業調優方法進行比較，可以看到在調優時間、流程吞吐量和調優成功方面的顯著改進。

接下來，我們研究了概率異常檢測方法，我們使用它來檢測發生的過程故障。這些方法使用過程傳感器信息來確定當前過程是否正常運行。我們采用核密度估計方法估計正常工作條件下傳感器信號的概率分布;然后使用這些分布來確定一個過程在名義上運行的可能性。結果表明，該方法優于許多傳統的過程控制方法，包括統計過程控制、一類支持向量機以及基于變分自動編碼器的異常檢測方法。最后，我們研究了使用貝葉斯優化和高斯過程模型來改善濺射沉積過程的厚度均勻性。本文中，我們使用高斯過程來模擬濺射沉積過程中的厚度均勻性作為腔體配置和配方參數的函數。該模型采用迭代的方式來尋找滿足期望均勻性要求的參數。我們的建模技術優于許多標準回歸方法，包括多項式模型、多元樣條、梯度增強回歸樹和許多不同的深度學習架構。

雖然這四個案例研究都考慮了半導體制造中概率方法的獨特應用，兩個關鍵主題貫穿始終。首先，我們發現，與許多替代方法相比，這些概率方法在數據有限的情況下更不容易過擬合。先驗和觀測噪聲估計所提供的固有正則化是這些方法成功的關鍵。第二，整合過程或領域特定知識對于用有限的數據進行訓練至關重要。理解底層系統，相應地構造方法，并進行小的逼近，將復雜的原始問題簡化為更簡單的形式，從而能夠有效地應用概率機器學習方法。

深度學習方法是最近計算機視覺快速發展的基礎。然而，這些方法往往需要昂貴的標記數據。特定于任務的模型，如分類器，并不是為了最大限度地學習一般的內部表示。此外，這些模型不能模擬數據生成過程來合成新樣本，也不能修改輸入樣本。無監督深度生成模型有可能避免這些問題。

然而，兩個主要的生成模型家族，生成對抗網絡(GAN)和變分自編碼器(VAE)，都有各自的特點問題。基于GAN的模型在架構上相對復雜，有一個識別器網絡，但通常沒有編碼器來接受輸入。此外，GAN訓練通常是不穩定的，并且容易忽略訓練分配的部分(“模式崩潰”或“模式下降”)。另一方面，VAEs往往高估分布的某些區域的方差，導致生成的圖像模糊。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

最后，使用高斯過程框架，圖像編碼器-解碼器設置從單個圖像擴展到圖像序列，包括視頻和攝像機運行。為此，輔助圖像元數據在生成模型的潛在空間中以非參數先驗的形式被利用。這允許平滑和自由插值圖像序列。在此過程中，高斯過程和計算機視覺方法之間提供了一個優雅的連接，這意味著將兩者結合起來具有深遠的意義。

//aaltodoc.aalto.fi/handle/123456789/101686