亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

智能軟件具有改變我們社會的潛力。它正在成為現實世界中許多系統的基石。然而，盡管機器學習模型在基準測試上表現出色，像神經網絡這樣的最新方法在遇到現實情境時經常失敗。由于神經網絡通常學習相關性而不是根據正確的信號和知識進行推理，它們在面對分布變化、意外破壞和最壞情況時會失敗。由于神經網絡是黑盒模型，用戶無法解釋或信任它們。為了在最關鍵的應用和系統中自信和負責任地部署機器學習，我們需要構建魯棒的模型。 在這篇論文中，我介紹了我們的魯棒機器學習系統的進展，通過緊密將上下文整合到算法中。上下文有兩個方面：自然數據的內在結構和來自領域知識的外在結構。兩者都至關重要：通過利用自然數據的內在結構，我的工作表明，我們甚至可以在最壞情況下創建魯棒的機器學習系統，這也是一項強有力的實證收益。通過整合外部知識，如任務之間的關聯和因果結構，我的框架可以指導模型使用正確的信號進行推理，為可控和可解釋的模型開啟新的機會。 這篇論文分為三個部分。在第一部分中，我旨在涵蓋三個使用內在結構作為約束以實現魯棒推理的工作。我介紹了我們的框架，該框架執行測試時優化以尊重自然約束，這些約束由自監督任務捕獲。我闡述了測試時優化如何改善分布外泛化和對抗性魯棒性。除了推理算法，我還展示了通過離散表示來改善分布外魯棒性的內在結構。 在論文的第二部分中，我詳細介紹了使用外部領域知識的工作。我首先介紹了如何利用來自外部領域知識的因果結構來提高領域泛化魯棒性。然后，我展示了多個任務和正則化目標的關聯如何幫助提高魯棒性。 在這篇論文的最后部分，我展示了關于值得信賴和可靠的基礎模型的三個工作，這是許多人工智能應用的基礎模型。我展示了一個利用上下文來保護、解釋和控制基礎模型的框架。

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

隨著機器學習系統被部署到現實世界中的安全關鍵應用中，確保這些系統的魯棒性和可信度變得越來越重要。當深度神經網絡脆弱的本質被發現時，機器學習魯棒性的研究引起了大量的關注。對這種行為的迷戀和擔憂導致了對對抗魯棒性的大量研究，這種研究考察的是模型在最壞情況下的擾動輸入（即對抗性樣本）上的性能。在這篇論文的第一章中，我們展示了對抗性訓練方法在開發經驗魯棒深度網絡方面的改進。首先，我們顯示，通過某些修改，使用快速梯度符號方法的對抗性訓練可以產生比以前認為可能的更魯棒的模型，同時保持相比于其他對抗性訓練方法的更低的訓練成本。然后，我們討論我們在對抗性訓練過程中發現的過擬合的有害影響，并顯示，通過使用基于驗證的早期停止，可以極大地提高對抗性訓練模型的魯棒測試性能。對更自然、非對抗性魯棒性設置的日益關注已經導致研究者們以模型在隨機采樣輸入腐敗的平均性能來衡量魯棒性，這也是標準數據增強策略的基礎。在這篇論文的第二章中，我們將平均和最壞情況下的魯棒性的看似獨立的概念，在一個統一的框架下進行概括，這使我們能夠在廣泛的魯棒性水平上評估模型。對于實際使用，我們介紹了一種基于路徑采樣的方法，用于精確地近似這種中間魯棒性目標。我們使用這個度量來分析并比較深度網絡在零射擊和微調設置中，以更好地理解大規模預訓練和微調對魯棒性的影響。我們表明，我們也可以使用這個目標來訓練模型到中間級別的魯棒性，并進一步探索更有效的訓練方法，以彌補平均和最壞情況下的魯棒性之間的差距。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

機器學習算法廣泛應用于具有社會高風險的決策環境中，如兒童福利、刑事司法、醫療保健、招聘和消費者貸款。近期的歷史已經揭示出許多這些算法證明不可靠或不公平的例子。本論文提出了一種遵循原則的方法，用于在社會高風險環境中使用機器學習，該方法由三大支柱引導：有效性、公平性和監管。我們借鑒了包括統計學、機器學習和社會科學在內的各個領域的方法，開發出處理數據挑戰和復雜偏見的新方法，這些偏見嵌入在社會技術系統中。我們通過開發考慮到選擇偏差、混淆和bandit反饋的算法風險評估方法，解決了挑戰算法決策支持系統有效性的數據問題。我們對整個系統中使用算法進行決策的偏見進行了因果審計。在整個過程中，我們提出了使用雙重穩健技術進行偏差修正的新方法。我們使用來自阿利根尼縣人力服務部、澳大利亞聯邦銀行和斯坦福公開警察項目的數據，展示了在兒童福利、消費者信貸和刑事司法環境中的實證結果。 機器學習越來越多地被用于做出高風險決策，例如兒童福利、刑事司法、消費者貸款、教育和醫療保健（Saxena等人，2020；Vaithianathan等人，2017；Raghavan等人，2020a；Chouldechova，2017；Cattell等人，2021）。這些決策影響未來的健康和經濟機會，總的來說，它們塑造了我們的社會結構。通常，這類任務可用的數據豐富，但往往噪音大，存在偏見或不完整。如果不能妥善處理這些數據問題，可能會對弱勢和歷史上邊緣化的群體造成不成比例的傷害（Barocas和Selbst，2016b；Obermeyer等人，2019a；Coston等人，2020b, 2021a）。在這篇論文中，我們開發了統計方法和一個審議框架，用來識別并解決挑戰機器學習在重要環境中負責任使用的數據問題。當機器學習被用于高風險決策時，一個常見的方法是應用標準的監督學習范式。在這種方法下，人們識別出一個感興趣的結果（通常是實際感興趣的結果的代理），然后使用其他變量作為預測因子，構建一個對這個結果的預測模型。當數據集并不代表機器學習工具將要部署的目標人群，且預測結果與決策任務相關的結果可能大相徑庭時，這種標準方法通常并不適合，這在現實世界的應用中是常見的（Mullainathan和Obermeyer，2021；Coston等人，2020b；Fogliato等人，2021；Wang等人，2022）。此外，計算在保留的集合上的測試指標的標準性能評估方法，往往不能對目標人口的性能提供有效的評估（Kallus和Zhou，2018b；Coston等人，2021b）。

這篇論文的一個核心原則是，我們必須確保我們打算測量的內容（例如，我們希望機器學習工具預測的內容，或者我們希望評估衡量的內容）與方法實際測量的內容保持一致。這種屬性被稱為有效性（Coston等人，2023）。未處理的數據問題，如選擇偏見或缺失數據，可能導致不一致，使機器學習工具無效。我們討論了在兒童福利、刑事司法和消費者貸款環境中這些問題的例子，并提出了解決方法。我們展示了有效性和我們的第二個原則，公平性，之間的關系，公平性要求機器學習工具不無理由地使某些人口群體比其他群體獲得優勢。我們表明，通常是弱勢或歷史上處于劣勢的人群最有可能在可用數據中被忽視或被誤解。我們提出了可靠評估算法中人口偏見的方法，以及在算法工具部署的更廣泛環境中審查有效性和公平性的方法。在實踐中有效地分析有效性和公平性需要治理工具，提供保護和結構化流程，以謹慎設計和評估機器學習工具。我們開發了一個框架，指導圍繞威脅預測算法的有效性和合法性的常見問題進行審議。本文提出的方法構成了對于重大決策的標準機器學習范式的一種替代方法。我們的原則性方法明確了目標人口和目標結果，調整了數據樣本和目標人口之間的任何差異，做出了合理的假設以確定目標結果和評估指標。我們開發了高效的方法，使用來自因果推斷的影響函數技術來估計這些量，這是一種適用于決策可以改變下游結果的決策環境的學科。我們為我們的方法提供了理論分析，說明如何適當地量化不確定性。本論文提出的方法套件組成了一套用于模型構建、評估和公平性評估的負責任使用的工具包。

我們在§ 0.1中描述了問題設定和符號。接下來的三個部分考慮在缺失數據的性質不同假設下如何獲得有效的預測、評估和公平性評估。§ 1描述了當我們已經測量了所有共同影響決策和感興趣結果的混淆因素時的方法。在許多決策支持環境中，混淆因素可能難以在運行時測量并輸入到預測模型中，但在離線數據集中可能仍然可用于訓練和評估。§ 2為這種“運行時混淆”設置提供了方法。§ 3通過拉舍蒙效應的視角深入研究公平和公正的問題，拉舍蒙效應是一種實證現象，即多種模型在總體上達到可比較的好的表現，但在個別預測上卻明顯不同。§ 4描述了一個框架，用于在算法設計中審查有效性，并最終決定是否在高風險環境中部署一個工具。擴大我們的范圍到算法被訓練和使用的更廣泛的背景中，§ 5提出了一個對刑事司法系統中人類決策的種族偏見進行回顧性統計審計的方法。我們在本節提出的方法也展示了如何在對社會有重大影響的領域使用機器學習來評估這些系統以及在其中行使權力的行動者。我們將本論文中提出的工作與我們的三個指導原則：有效性、公平性和治理，聯系起來。

隨著機器學習模型在各種應用中的部署越來越頻繁，我們越來越需要更好地理解、交互和調節它們的行為。解釋性機器學習是一個致力于這一需求的研究領域，其主要焦點最初在滿足有利于揭示有關模型預測的可能有用信息的算法屬性的方法論發展。然而，批評也強調了需要更為嚴謹地評估這些方法在不同用戶的具體任務中的應用。在這篇論文中，我們對該領域的方法論和應用方面做出了我們個人的貢獻。在方法論上，我們提出了一種有效的算法，通過影響力大的訓練數據點提供關于模型行為的重要信息。然后，我們提出了一種理論框架，以理解模型在性能和公平性指標上的權衡。接下來，從應用驅動的角度，我們討論了一個評估框架，測試現有的圖像顯著性方法是否適用于實際的假相關檢測任務。最后，受到學術同行評審中實際問題的啟發，我們展示了我們對新的和現有的方法在幫助人類用戶進行文檔匹配任務方面的效用的發現。

在計算機視覺和自然語言處理等實踐領域表現出色的復雜機器學習模型，越來越多地被用來協助人類進行高風險的決策，如醫療、金融、法律和社會應用。這種加速的采用使得人類用戶越來越需要更好地理解、調節和與這些模型交互。解釋性機器學習是一個致力于這一需求的廣泛研究領域。許多文獻中的工作側重于方法論的發展：開發新的滿足各種技術目標的方法，可以有效地從一個黑盒機器學習模型中引出重要和有用的信息。然而，這些方法使用的各種技術目標與引出的信息的實際“重要性”或“有用性”沒有明確的聯系，這本質上依賴于用戶使用信息進行某些下游任務。因此，基于具體應用對開發的方法進行評估，對于完全閉環開發具有實用價值的新方法至關重要。在這篇論文中，我們提出了對這個領域的方法論和應用重點方面的個人貢獻。

機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。

**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?

2. 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?

鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。

利用有限的數據進行學習是深度學習的最大問題之一。目前，解決這個問題的流行方法是在大量數據上訓練模型，無論是否標記，然后在同一模態的感興趣的較小數據集上重新訓練模型。直觀地說，這種技術允許模型首先學習某種數據(如圖像)的一般表示。然后，學習這種特定模態的特定任務應該需要更少的數據。雖然這種被稱為“遷移學習”的方法在計算機視覺或自然語言處理等領域非常有效，但它不能解決深度學習的常見問題，如模型可解釋性或對數據的總體需求。本文探索了在數據約束設置中學習表達模型問題的不同答案。我們不再依賴大數據集來學習神經網絡的參數，而是用反映數據結構的已知函數來代替其中的一些參數。這些函數通常都是從內核方法的豐富文獻中提取出來的。實際上，許多核函數都可以解釋，并且/或允許使用少量數據進行學習。所提出方法屬于"歸納偏差"的范疇，可以定義為對手頭數據的假設，限制了學習過程中模型探索的空間。在本文的前兩章中，我們在序列(如自然語言中的句子或蛋白質序列)和圖(如分子)的上下文中證明了該方法的有效性。本文還強調了工作與深度學習最新進展之間的關系。本文的最后一章重點研究凸機器學習模型。這里，我們不是提出新的模型，而是想知道學習一個“好的”模型真正需要數據集中的哪些樣本比例。更準確地說，研究了安全樣本篩選的問題，即在擬合機器學習模型之前，執行簡單測試以丟棄數據集中沒有信息的樣本，而不影響最優模型。此類技術可用于壓縮數據集或挖掘稀有樣本。

稀疏性在機器學習中扮演著關鍵的角色，原因有幾個，包括可解釋性。可解釋性是由從業者或科學家尋求的。事實上，一方面，可解釋性在醫療健康等實踐中可能是關鍵，在這些實踐中，黑盒模型不能用于為患者開具治療處方。另一方面，可解釋性對于理解使用機器學習建模的現象(如等離子體電磁發射)至關重要。除了可解釋性，稀疏性還有其他一些重要的應用，如提高模型的預測能力，降低運營和投資成本。 整數優化在處理稀疏性的方法概念中是一個非常有效的工具。它為構建稀疏模型提供了一個嚴格的框架，并已被證明比其他方法(包括使用稀疏誘導正則化規范的方法)提供了更精確和稀疏的模型。本文主要研究整數優化在稀疏性問題中的應用。

我們提供了稀疏建模的兩個應用。第一個是關于混合整數優化稀疏回歸在激光誘導擊破光譜分析技術中的應用。我們在化學計量學中建立了一種稀疏和魯棒模型的方法，并在各種類型的礦物礦石上進行了測試。MIO方法優于專家的預測，同時提供了與??????????相比顯著稀疏的模型。由于??2在某些情況下達到的值高于0.99，據我們所知，這個應用程序是第一個帶來經驗證據的應用程序，證明在自然界中存在真正的支持，因為優化社區一直在質疑在現實生活中的應用程序中存在這樣的概念。第二個應用與COVID檢測和稀疏分類有關。我們提出了一種基于光譜的快速、簡單的檢測方法。這種新方法建立在機器學習能力的基礎上，可以在一分鐘內完成診斷，不使用任何試劑，達到接近PCR的精確度。稀疏方法能夠檢測SARS-CoV-2 RNA和蛋白質的3D結構中的特定特征。

鑒于主成分分析在我們的研究和機器學習中的重要性，我們也提供了一種解決稀疏主成分分析問題的新方法。該方法是第一個一步生成多個稀疏主成分的方法，而現有的技術依賴于壓縮迭代生成主成分。提出的方法(GeoSPCA)生成高質量的解決方案，將壓縮技術解釋的方差提高了一個數量級以上。

半導體制造在很大程度上依賴于其個別工藝的精度和準確性，以滿足器件的要求。如果不加檢查，這些過程的變化會導致最終產品的性能和產量下降。雖然對這些變化的分析和控制已經使用了幾十年，但機器學習最近的發展引入了各種各樣的新方法，這些方法可能被用于更好地建模、監控和控制這些過程。這些方法提供了比傳統過程控制方法更強大、可擴展和準確的可能性。雖然許多機器學習方法很有前途，但半導體制造的獨特方面給許多機器學習方法帶來了挑戰。特別是，半導體制造的高成本往往導致數據有限的場景，因為收集大量數據可能是不可行的昂貴。由于這一局限性，我們研究了在各種半導體制造設置中概率方法的使用。與其他機器學習方法相比，這些方法通常不太容易過擬合，但仍然足夠靈活，可以為復雜系統建模。具體地說，我們在四個不同的案例研究中研究了概率機器學習方法的應用。

//dspace.mit.edu/handle/1721.1/143184

首先，我們研究虛擬計量系統，有兩個目標。我們的第一個目標是定義一個虛擬計量框架，使我們能夠更好地理解這些系統中常見的誤差來源。該框架涉及配方、腔室、傳感器和晶圓片變量，并納入兩種常見的誤差來源:可觀測誤差和概念漂移。我們的第二個目標是使用這個框架來開發我們自己的建模方法，這種方法非常適合于存在這些錯誤的建模系統。我們的解決方案是一個貝葉斯方法，類似于傳統的卡爾曼濾波器;然而，它模擬了兩個變量之間的關系，而不是一個未知的系統狀態。然后，我們研究了優化離子注入系統劑量均勻性的概率方法。改善劑量均勻性的常用方法是通過調整晶圓上的注入時間來補償光束的變化。在這里，我們學習這些變化，然后解出一組補償時間。我們的方法由兩個組件組成，一個建模組件和一個優化組件。該建模組件類似于我們用于建模虛擬計量系統的概率方法，但也結合了針對離子注入設置的先驗信念。然后，優化組件使用我們的正向模型，在給定工具和工藝的物理約束條件下改善劑量均勻性。我們將此方法與之前的現有行業調優方法進行比較，可以看到在調優時間、流程吞吐量和調優成功方面的顯著改進。

接下來，我們研究了概率異常檢測方法，我們使用它來檢測發生的過程故障。這些方法使用過程傳感器信息來確定當前過程是否正常運行。我們采用核密度估計方法估計正常工作條件下傳感器信號的概率分布;然后使用這些分布來確定一個過程在名義上運行的可能性。結果表明，該方法優于許多傳統的過程控制方法，包括統計過程控制、一類支持向量機以及基于變分自動編碼器的異常檢測方法。最后，我們研究了使用貝葉斯優化和高斯過程模型來改善濺射沉積過程的厚度均勻性。本文中，我們使用高斯過程來模擬濺射沉積過程中的厚度均勻性作為腔體配置和配方參數的函數。該模型采用迭代的方式來尋找滿足期望均勻性要求的參數。我們的建模技術優于許多標準回歸方法，包括多項式模型、多元樣條、梯度增強回歸樹和許多不同的深度學習架構。

雖然這四個案例研究都考慮了半導體制造中概率方法的獨特應用，兩個關鍵主題貫穿始終。首先，我們發現，與許多替代方法相比，這些概率方法在數據有限的情況下更不容易過擬合。先驗和觀測噪聲估計所提供的固有正則化是這些方法成功的關鍵。第二，整合過程或領域特定知識對于用有限的數據進行訓練至關重要。理解底層系統，相應地構造方法，并進行小的逼近，將復雜的原始問題簡化為更簡單的形式，從而能夠有效地應用概率機器學習方法。