亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

現代機器學習主要受到黑盒模型的驅動，這些模型提供了卓越的性能，但對于如何進行預測的透明度有限。對于需要了解模型如何做出決策的應用，以及協助模型調試和數據驅動的知識發現，我們需要可以回答有關影響模型行為的問題的工具。這就是可解釋機器學習（XML）的目標，這是一個子領域，它開發了從多個角度理解復雜模型的工具，包括特征重要性、概念歸因和數據估值。本文提供了對XML領域的幾個貢獻，主要思想分為三部分：(i)一個框架，使得可以統一分析許多當前的方法，包括它們與信息論和模型魯棒性的聯系；(ii)一系列技術，用于加速Shapley值的計算，這是幾種流行算法的基礎；以及(iii)一系列用于深度學習模型的特征選擇的方法，例如，在無監督和自適應的設置中。這些思想中的許多都是受到計算生物學和醫學應用的啟發，但它們也代表了在各種領域中都有用的基本工具和觀點。

在模型透明度的辯論中，傳統的觀點是我們面臨解釋性與準確性之間的權衡。1有些人辯稱這種權衡并不存在，聲稱我們可以使用“天生可解釋”的模型達到近乎最優的性能（Rudin, 2019）；這對于簡單的表格數據集往往是正確的，但對于像圖像和語言這樣的復雜數據模態則較為罕見。在這里，我們采取了更為寬容的立場：鑒于黑盒模型目前提供了最佳的性能并且已經廣泛部署，我們探討是否有可能從任何模型中獲得足夠的見解。在這樣做的過程中，我們開發了一套在很大程度上對模型的內部機制持中立態度，或者說是模型不可知的工具集，因此即使在今天的最高性能的黑盒模型中也能正常運行。 這一目標也被可解釋機器學習（XML）子領域的許多工作所共享，并且近年來已經取得了顯著的進展。目前，XML工具已被用于了解新疾病的風險因素（Razavian等人，2020；Snider等人，2021），加速數學猜想的發現（Davies等人，2021），在有限的訓練數據標簽下識別蛋白質結合位點（Gligorijevi?等人，2021），審計有缺陷的醫學診斷系統（DeGrave等人，2021）以及從功能系統中獲得新的見解（Ting等人，2017；Sundararajan等人，2017）。這些早期的成功表明了這些工具的潛力，但在這些方法的底層理論以及使它們在實踐中高效的計算程序方面仍有進展空間。這篇論文介紹了我在博士期間進行的幾項工作，旨在解決這些挑戰。

這篇論文包含了我在博士期間完成的大部分項目，所有這些項目都與透明機器學習的核心主題相關。我們首先在第2章建立符號和幾個初步的概念。接下來，每一章都基于一篇第一作者的出版物，其中在某些情況下與共同第一作者共享。為了使它們在一個文檔中更具連貫性，對各個作品進行了修改，但這里沒有提供新的信息，這些論文也可以單獨閱讀。這些作品被組織成三個部分，如下所述。

**第一部分：XML的基礎 **我們首先討論一個統一了大部分文獻的觀點：許多現有的方法都基于一個解釋原則，即通過移除或量化從模型中移除特征的影響。我們描述了一個框架，在這個框架中，這些方法基于三個實現選擇而有所不同，我們為26個現有的算法確定了這些選擇（第3章）。基于這個觀點，我們對這些方法進行了統一分析，并找到了與信息理論、博弈論和認知心理學的聯系。然后，我們探索這些方法的魯棒性特性，并得出了描述它們對輸入和模型擾動的魯棒性的新結果（第4章）。 第二部分：Shapley值計算 接下來，我們探討XML中最廣泛使用的工具之一：Shapley值，一種博弈論信用分配技術。這些是最受歡迎的特征歸因方法之一，SHAP（Lundberg和Lee，2017）的基礎，以及一個著名的數據估值技術（Ghorbani和Zou，2019），但它們是臭名昭著的難以計算。有一系列方法來加速它們的計算（Chen等人，2022），我們在這里討論兩個：基于加權線性回歸的近似（第5章），和基于深度學習的攤銷優化的近似（第6章，第7章）。 第三部分：深度學習的特征選擇 最后，特征選擇為提供透明度的同時也降低了特征獲取成本提供了另一個方向。由于多次訓練不同特征集的模型的高昂成本，似乎很難與深度學習一起實施，但我們探討了如何使用可微分的層來阻止特征信息進入網絡（第8章）。然后，我們討論如何在自適應設置中應用這些思想，其中我們根據當前可用的信息為每個預測單獨選擇特征（第9章，第10章）。

新型機器學習方法是科學和工程變革的核心。概率模型已成為知識發現的基礎學習模型。作為替代模型，它們允許在有限的預算下進行高效的黑箱優化或積極學習復雜系統的行為。另一個重要的用例是使用概率模型作為生成模型，生成具有所需屬性的新設計，或從物理系統的平衡分布中生成樣本。但是，為了充分發揮概率模型在知識發現中的潛力，必須開發既能應對不斷增長的數據大小和復雜性，又能讓領域專家容易解讀的模型。

在這篇論文中，我從開發一種新方法開始，該方法解決了貝葉斯優化中的概率替代模型的稀疏解識別問題。稀疏解的發現不僅增強了解決方案對人類的可解釋性，以便理解系統行為，還便于使用較少的參數更輕松地部署和維護。

接下來，我介紹了一種利用深度學習增強高斯過程推斷可擴展性的新方法。高斯過程被廣泛用作知識發現中的概率替代模型，但由于在GP回歸中識別核超參數的高成本，其實際使用受到限制，涉及到昂貴的邊緣可能性。我展示了如何通過使用“攤銷”超參數推斷來繞過昂貴的邊緣可能性的需求。這是通過訓練一個單一的神經網絡實現的，該網絡消耗一組數據并產生一個估計的核函數，用于不同的任務。

最后，我介紹了邊緣化模型，這是一種新的高維離散數據生成模型，在科學發現中無處不在。通過使用神經網絡對所有誘導的邊緣分布進行明確的建模，邊緣化模型提供了可擴展和靈活的生成建模與合理的可能性。直接建模邊緣使得邊緣推斷效率高，能夠對給定的（非規范化）概率函數進行任意階的生成模型的可擴展訓練，克服了以前具有精確可能性的方法的主要限制。

概率模型作為建模數據分布的原則機器學習方法，最近開始在促進科學探索和發現中起到重要作用。替代模型在科學、工程、機器人學和許多其他領域都是寶貴的工具，其中它們模擬復雜的系統行為。利用概率代理模型提供的不確定性量化，可以設計自動算法通過與系統主動交互來有效地完成給定用例的目標。一個主要的用例是優化，例如通過實驗測試確定電池正極的最佳材料組成。在這種情況下，使用概率模型進行貝葉斯優化(Shahriari等，2015b)，根據實驗結果了解和迭代微調組成和性能之間的關系。同時，基于替代模型的不確定性量化，策略性地選擇下一個實驗條件，平衡對新組成的探索與對已知性能良好的組成的利用，從而加速最佳組成的發現。

主動學習提供了另一個主要的用例，例如在訓練替代模型準確模擬分子動力學(Vandermause等，2020)。該過程從基于有限數據的初始概率模型開始，然后通過主動查詢系統獲取額外的標記數據來系統地加強。選擇最具信息性的樣本進行標記是由替代模型的固有不確定性估計指導的，從而得到一個準確的模型，標記工作量最小。

除替代模型外，概率生成模型在跨多個領域建模復雜數據分布方面也取得了顯著進展，包括自然語言建模(Brown等，2020)、圖像生成(Song和Ermon，2019; Ho等，2020)、音頻合成(Huang等，2018)和科學發現應用(Wang等，2022; Schneuing等，2022)。在訓練科學發現的生成模型時，有兩個主要設置。第一個設置是最大似然訓練，目標是訓練生成模型以最大化訓練數據的似然。這種設置通常用于圖像生成、自然語言建模和藥物設計等任務，目標是生成與訓練數據分布非常相似的數據。第二個設置是分布匹配，目標是將生成分布與目標密度對齊。這種設置在圖像和語言方面研究較少，但在如采樣晶格模型和估計分子或材料的平衡性質等應用中經常使用，其中需要從物理系統的熱力學平衡分布中生成樣本。

在這篇論文中，我提出了新方法來解決知識發現背景下概率模型的解釋性和可擴展性挑戰。在深入研究所提議的方法的細節之前，我為替代模型和生成模型的現有文獻提供了簡短的概述。 本章的其余部分組織如下：第1.1.1節首先簡要介紹了高斯過程，這是一種在科學發現中使用的流行的概率替代模型。然后在第1.1.2節中，我回顧了貝葉斯優化的基本方法論方面。第1.2節簡要概述了關于生成模型的現有文獻，重點關注科學發現中的應用。最后，在第1.3節中，我總結了整個論文的大綱。

近年來，機器學習在許多應用中證明了其極高的用途性。然而，這些成功故事很多都源于在與訓練數據非常相似的數據上評估算法。當應用于新的數據分布時，機器學習算法已被證明會失敗。鑒于現實世界數據的非平穩和異構性質，我們需要更好地掌握算法在分布外（out-of-distribution）的泛化能力，以便算法能被廣泛部署和信任。我的論文提出了三個研究課題，旨在調查和發展分布外泛化的領域。這些研究努力的中心目標是產生新的工具，如算法、理論結果、實驗結果和數據集，以提高在數據分布發生變化時機器學習方法的理解和性能。貫穿這三個機器學習場景的高級思想是模塊性——由組合在一起形成一個整體的獨立部分的質量。模塊化方法被假設為引導機器學習方法遠離僵化的記憶示例，走向更靈活和“更智能”的支持泛化的學習。

在我的第一項貢獻中，我從多個訓練分布的學習角度來接近論文目標。對這一研究方向的貢獻有兩方面。首先，我呈現了一組新的標準化任務，用于評估和比較分布外泛化算法。其次，我陳述了一系列新的理論結果，填補了數據中心和算法方法之間在分布外泛化方面的現有差距。這些理論發現引導了一組關于如何采用算法方法的新的實用建議。

在第二項貢獻中，我處理了監督圖像識別中的泛化問題。在這一背景下，我首先調查了多級特征聚合對泛化的影響，并證明了使用其中一種考慮的方法進行增強可以持續提高性能。其次，我提出了一組簡單的圖像數據集，可作為評估和比較圖像分類方法在分布外泛化方面的墊腳石。最后，我深入研究了多個神經網絡通信以解決共享任務的學習場景。這項工作以兩種方式支持論文目標。首先，我提出了一個新的環境，圖引用游戲（graph referential games），并在數據表示和相應的數據表示學習方法對分布外泛化的影響上提出了結果。這些結果連接了之前不相連的圖表示學習和新興通信領域。其次，我解決了基于現實圖像的群體通信這一具有挑戰性的領域。這篇論文中的數據集、算法、定理和實驗結果代表了在機器學習中理解和改進分布外泛化方面的幾個步驟。它們為研究人員提供了旨在促進這一領域研究的新工具和結果，其中一些已被證明對研究社群有用。最后，這項工作提出了機器學習的多個分布學習、圖像分類和多代理通信子領域中重要的未來方向。

//www.repository.cam.ac.uk/items/8680585b-87ca-4196-987f-c4d379259092

記憶與學習是否相同？阿根廷作家豪爾赫·路易斯·博爾赫斯（Jorge Luis Borges）的短篇小說《記憶者富內斯》（Funes the Memorious，由James E. Irby翻譯成英文[71，第59–66頁]）描述了一個名叫富內斯的男孩，在頭部受傷后獲得了完美的記憶。他開始詳細地記住他一生的每一個時刻。同時，他失去了泛化的能力：他的記憶彼此是孤立的。例如，他從不同的角度看到同一只狗，卻只把同一只狗的不同側面視為獨立的信息。他甚至不了解自己的身體是什么樣的（‘每次看到鏡中的自己的臉，看到自己的手，都讓他感到驚訝’），這導致了一個結論：‘思考就是忘記一個差異，進行泛化，進行抽象。在富內斯過于充實的世界里，只有細節。’""與富內斯相似，具有數百萬參數的現代神經網絡已被證明會記住訓練樣本，這可能導致一系列問題，例如：（1）對噪聲數據的高度敏感性[150, 221]，（2）易受對抗性攻擊的影響[271, 87, 269, 287]，（3）與人類學習相比樣本效率低[302, 303, 275]，以及（4）對新數據的泛化能力差[62]，即使新數據樣本直觀地與模型已經訓練過的數據有相似之處[61, 251]。這些問題可能出現在應用現代機器學習的任何領域。它們可能導致機器學習系統在使用過程中產生不透明的故障模式，從而導致對機器學習系統的信任度下降[297]。"

"標準機器學習方法中缺少對分布外泛化（Out-of-distribution generalisation）的能力。這些方法得到了統計學習理論[279]的支持，該理論證明了使用基于平均值的優化（經驗風險最小化[279]）以及使用測試集估計泛化誤差的做法是合理的。然而，這一理論假設訓練（過去）和測試（未來）數據是獨立同分布的。在應用機器學習的許多實際領域中，這一假設是不正確的：現實世界的數據是異構的，其分布通常會隨時間變化。分布變化的實際來源包括機器學習系統用戶特性的變化，或一個有實體的代理（embodied agent）所處環境的變化。另一個常見的分布變化例子是由于語言（包括在線使用的語言）動態性而產生的。自然語言的不斷演變已被證明會改變語言模型的困惑度（perplexity），當這些模型在數月內多次應用時[164]。背景章節的第2.4節更多地涵蓋了分布變化的類型和相應的例子。由于這些變化，即使在常用的分布內測試集上達到接近100%的準確率也不總是能預示未來的性能，這一點已被眾多論文所證明[137, 15, 61, 235, 204, 62]。"

"在機器學習領域，關于分布外泛化（OOD generalisation）的主題實質上與機器學習本身一樣廣泛和復雜，并且在研究社群中同樣容易受到瞬息萬變的趨勢和不同觀點的影響。在我看來，面對分布變化提高泛化能力是必要的，原因如下： ? 工程原因 — 提高樣本效率，并在沒有數千個訓練樣本的低資源領域提高性能[110]； ? 科學原因 — 深入了解神經網絡是如何學習的，并可能讓機器學習更接近人類學習； ? 商業原因 — 在目前由人類執行的越來越復雜的任務中使用神經網絡； ? 社會原因 — 通過控制簡單性偏見[246]來消除機器學習系統的偏見。

利用數據中的‘捷徑’可能會導致不公平的解決方案（例如，這可以在招聘工具中利用性別信息時看到[59]）。在我的博士研究期間，我一直在問自己：致力于分布外泛化的機器學習研究社群最需要什么樣的工具？這篇論文旨在以新數據集、新理論結果、新測試平臺、新實驗結果和新算法的形式提供這樣的工具。這些研究努力的具體成果總結在圖1.1中。"

導致這篇論文的研究工作涉及機器學習的三個子領域：多分布學習（第3章）、圖像分類（第4章）和多智能體通信（第5章）。這種廣泛的視角使我能夠收集更多證據來支持中心假設，并探討研究問題（第1.2節）。同時，本論文中介紹的工具旨在對我在博士研究期間有幸與之合作和學習的幾個機器學習社群有所用處：（1）不變學習和群體魯棒性社群（第3章），（2）視覺社群（第4章），以及（3）新興通信社群（第5章）。所有這些社群都在獨立地研究機器學習中的分布外泛化，正如我在背景章節（第2章）以及各自貢獻章節中所回顧的。本論文聯系了我在研究中涉足的之前是分離的社群，例如圖神經網絡[141]與新興通信[43]（第5章），以及面向群體魯棒性的數據導向方法[36]與分布魯棒優化[21]（第3章）。"

尋找與特定蛋白質強烈結合的藥物分子是藥物發現過程的一個組成部分。為此，已經開發了旨在計算機內部篩查大量潛在結合體的虛擬篩查算法。這些算法使用評分函數來評估計算預測的結合姿態的正確性，并預測結合親和力。近年來，研究已轉向基于深度學習的評分函數，這些函數使用結合數據建立結合行為模型；這是本論文的主題。第一章是對與后續章節相關的概念和文獻的介紹。這包括基于片段的藥物發現、虛擬篩查以及虛擬篩查中的機器學習方法。它還涉及到輸入歸因問題，即為基于深度學習的評分函數的輸入中的原子或鍵分配重要性，以及機器學習算法基于數據集偏見進行分類而不是學習控制蛋白質-配體結合的物理相互作用的問題。第二章的大部分內容是關于虛擬篩查的卷積神經網絡的發表。使用幾個實驗探索了學習訓練集偏見而不是物理相互作用的問題，并提出了一種數據集增強的方法來對抗這種效果。一個精心策劃的驗證集，獨立于任何訓練數據進行構建，被用來顯示在分類決策中增加了對蛋白質信息的使用；在幾個案例研究上使用輸入歸因來證明這一點。

第三章涉及到PointVS設計和工程決策。這是一個用于姿態分類和親和力預測的圖神經網絡快速原型設計和測試的軟件包。它包括各種輔助任務的腳本，如數據集生成、輸入歸因可視化和日志記錄，并已被牛津蛋白質信息學組的另一名成員用于一篇簡要描述的論文。PointVS是另一篇在寫作時正在審查中的出版物的基礎；這構成了第四章。與另一名學生合作，圖神經網絡被用于姿態分類和親和力預測，訓練集和測試集被仔細設置以避免信息泄露。PointVS與幾種其他方法進行了比較，取得了有競爭力的表現。從PointVS獲得的歸因得分被轉換為蛋白質熱點圖，這些熱點圖被用作片段擴展的生成模型的輸入。這一結果優于使用標準物理導出的熱點圖的結果，這證明了圖神經網絡可以挑選出重要的蛋白質-配體相互作用。最后，我們從宏觀的角度看待基于機器學習的評分函數領域。我們得出結論，盡管這些方法有前景，但為了訓練真正“理解”蛋白質-配體結合的宇宙的模型，必須克服幾個障礙。我們建議將輸入歸因真實測試集作為一個可能的進一步研究領域，并確定了一個可能的生成方法。我們得出結論，許多關于機器學習評分函數相對于其基于物理啟示的前身的改進都被高估了，并且需要一個明確考慮到水的更動態的結合視圖。

機器學習（ML）和人工智能（AI）在廣泛的領域實現了非凡的、超乎人類的性能：包括計算機視覺、自然語言處理、蛋白質折疊等等。直到最近，大多數的進步都是采取模型中心化的方法，主要關注于改善神經網絡架構（如卷積神經網絡、殘差網絡、變換器等）和訓練這些模型的優化程序（如批量標準化、dropout、神經結構搜索等）。相對來說，我們對用來訓練這些模型的數據的關注度較低，盡管眾所周知，機器學習對高質量數據的依賴可以用"垃圾進,垃圾出"這句話來精辟地概括。隨著對越來越大且更復雜的模型（如Nvidia和Microsoft的5300億參數的MT-NLG）的回報逐漸減小，研究人員開始認識到采取數據中心化方法的重要性，并開發了原理性的方法來研究這些模型的燃料：數據本身。數據中心視角不僅可以提高任務性能，還可以讓我們考慮到一些社會關鍵考慮因素，如數據隱私。在本論文中，我們將對機器學習數據管道中的幾個點進行深入分析：在模型訓練前、訓練中和訓練后。在模型訓練前，我們將探索數據選擇的問題：應該用哪些數據來訓練模型，我們應該期望我們的模型在何種類型的數據上工作？當我們進入模型訓練時，我們將把注意力轉向由我們的ML系統與其部署環境的交互可能導致的兩個問題。第一個問題是數據隱私：我們如何防止我們的模型泄露有關其訓練數據的敏感信息？第二個問題涉及一些被模型化的群體的動態性。特別是當我們的模型被用于做出具有社會影響力的決策（如自動貸款批準或推薦系統）時，模型本身可能會影響數據的分布，導致性能降低。最后，盡管我們在模型訓練前和訓練中遵循最佳實踐，但可能在訓練后我們希望對模型進行后處理，以移除某些訓練后的數據的影響。如何以計算效率高的方式實現這一點呢？本論文將涵蓋每一個先前問題的新穎解決方案，強調的是每一個提議的算法都有可證明的保證。通過將數學嚴謹性應用于具有挑戰性的現實問題，我們可以開發出既有效又可信賴的算法。

在過去的十年中，機器學習（ML）和人工智能（AI）研究已經取得了飛速的進步。到目前為止，大部分的研究都采用了模型中心化的方法：也就是說，數據集被視為已給定，研究人員不斷迭代應用于這些數據集以提取有用信息的模型。這種模式下有一套標準的假設。例如，數據通常假設是從固定概率分布中獨立同分布（i.i.d.）抽取的，此外還假設數據是固定的和給定的。通常還假設測試數據與訓練數據來自同一分布，即不存在分布漂移。而且，通常唯一衡量成功的指標是模型的性能（如預測任務的準確率）。盡管這種范式已經帶來了大量令人印象深刻的進步，但往往與數據科學家在實踐中面臨的情況相去甚遠。例如，收集和策劃一份高質量的訓練集通常比使用更復雜的模型架構帶來更大的收益。關于獨立同分布的假設，在現實中，數據分布可能由于各種因素而不斷變化，包括時間變化（如消費者偏好的季節性影響）和空間變化（如不同地理位置的醫院患者分布不同）。在某些情況下，我們的模型本身可能導致數據分布的變化，特別是如果該模型被用于做出具有社會影響力的決策。最后，最近的立法，如加利福尼亞消費者隱私法案和歐盟的通用數據保護法規，要求在設計AI模型過程中也要考慮消費者隱私。也就是說，隱私以及模型性能，都是必須考慮的關鍵指標。 所有這些重要的實踐問題都有一個共同的主題：它們更多地關聯到數據本身，而不是訓練在其上的模型。在這篇論文中，我們遵循這種數據中心的觀點，并為數據通過典型的ML管道可能出現的問題提出新穎的算法。我們特別強調可以為每個提出的算法提供的可證明的保證。

最近機器學習領域取得了重大的進展，其中序列模型是深度學習模型的核心，這些模型在科學應用中取得了廣泛的成功。然而，現有的方法需要針對不同任務、模態和能力進行大量的專門化，存在計算效率瓶頸，并且在建模更復雜的序列數據（例如涉及長依賴性的情況）時存在困難。因此，繼續開發有原則和實用性的建模通用序列的方法仍然具有基本重要性。本論文提出了一種使用狀態空間模型進行深度序列建模的新方法，該方法具有理論基礎、計算效率高，并在各種數據模態和應用中取得了強大的結果。首先，我們引入了一類具有多種表示和屬性的模型，它們綜合了標準深度序列模型（如循環神經網絡和卷積神經網絡）的優勢。然而，我們表明計算這些模型可能具有挑戰性，并且開發了一類在現代硬件上非常快速的結構化狀態空間，無論是在長序列的擴展上還是在其他設置（如自回歸推斷）上。最后，我們提出了一種新穎的數學框架，用于逐步建模連續信號，它可以與狀態空間模型相結合，賦予它們具有原則性的狀態表示，并提高其對長程依賴關系的建模能力。總的來說，這種新的方法類為機器學習模型提供了有效且多功能的構建模塊，特別是在大規模處理通用序列數據方面具有重要意義。

受寬神經網絡（NNs）理論的啟發，核學習和特征學習近期作為兩個范式浮現出來，通過它們我們可以實際理解大規模深度學習系統的復雜行為。在文獻中，它們通常被描述為二分法的兩個對立面，各自具有優點和缺點：核學習與經過深入研究的機器學習技術（如核方法和高斯過程）建立聯系，而特征學習則承諾捕捉更多豐富而尚未解釋的，獨特于神經網絡的屬性。在這篇論文中，我們介紹了三項研究，研究結合了來自兩個角度的見解來研究神經網絡的性質，不僅強調它們的差異，而且強調共同點。我們首先回顧了有關深度學習理論的相關文獻，重點是寬神經網絡的研究。這為核學習和特征學習的討論提供了背景，基于此，我們繼續描述我們的貢獻。首先，我們研究了寬神經網絡集合與貝葉斯推斷之間的關系，利用核學習與高斯過程之間的聯系，并提出了一種修改，以解釋神經網絡函數在初始化時缺失的方差，從而使我們訓練過的深度集合具有貝葉斯解釋。接下來，我們結合核學習和特征學習來展示特征核的適用性，即通過最終層神經網絡特征的內積引導的核，作為知識蒸餾的目標，其中人們尋求使用強大的教師模型來提高弱學生模型的性能。最后，我們探討自監督學習中折疊特征和白化特征之間的差距，強調特征核中特征值的衰減率作為一項關鍵量，它彌合了這一差距，并影響下游泛化性能，特別是在標記數據稀缺的情況下。我們以討論我們的貢獻，包括局限性和未來展望，作為結論。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性。

• 對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。
• 將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。
• 提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性