最近，深度學習研究在包括計算機視覺、自然語言處理和強化學習在內的廣泛任務中取得了令人印象深刻的快速進展。這些系統的非凡性能常常給人一種印象，即它們可以用來使我們的生活變得更好。然而，正如最近的研究指出的，這些系統存在一些問題，使其在現實世界中使用不可靠，包括易受對抗性攻擊(Szegedy等人[243])，傾向于記憶噪聲(Zhang等人[286])，對錯誤的預測(錯誤校準)過于自信(Guo等人[99])，以及不適合處理私人數據(Gilad-Bachrach等人[88])。在本分析中，我們將詳細研究這些問題，研究它們的原因，并提出在實踐中減少它們的計算成本低廉的算法。為此，我們確定了深度神經網絡中的結構，可以利用這些結構來減輕上述導致深度學習算法不可靠的原因。在第4章中，我們展示了最小化神經網絡中單個權重矩陣的矩陣的一個屬性，稱為穩定秩，降低了網絡記憶噪聲的趨勢，而不犧牲其在無噪聲數據上的性能。在第5章中，我們證明了記憶標簽噪聲或進行不適當的表示學習使實現對抗魯棒性成為不可能。第6章表明，神經網絡表示空間上的低秩先驗增加了神經網絡對對抗性擾動的魯棒性，而在實踐中不會導致與精度的任何權衡。在第7章中，我們重點介紹焦點損失(focal loss)的使用，它根據神經網絡對每個樣本的分類情況，對單個樣本的損失分量進行差異加權，作為交叉熵的替代損失函數，以最小化神經網絡中的錯誤校準。在第8章中，我們首先定義了一個名為加密預測即服務(Encrypted Prediction As a Service, EPAAS)的新框架，以及一系列計算和隱私約束。然后，我們提出使用一種完全同態加密[84]方案，該方案可與二元神經網絡[61]一起使用，以及一組代數和計算技巧，以滿足我們對EPAAS的所有條件，同時計算效率高。

//ora.ox.ac.uk/objects/uuid:1b9afe07-718b-404a-af25-470d476d5c30

在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。

//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。

強化學習是人工智能中的一個強大工具，其中虛擬或物理智能體學習優化其決策以實現長期目標。在某些情況下，這種機器學習方法可以節省程序員的時間，超越現有的控制器，達到超人的性能，并不斷適應不斷變化的條件。它展示了在許多任務(REF)和機器人和自動駕駛汽車(REF)的自動化方法上的人類水平的性能。這本書認為，這些成功表明強化學習可以在許多不同的情況下成功采用，包括機器人控制、股票交易、供應鏈優化和工廠控制。然而，強化學習傳統上局限于虛擬環境或已經提供設置的模擬中的應用。此外，實驗可以完成幾乎無限的嘗試，沒有風險。在許多現實生活的任務中，應用強化學習并不簡單，因為(1)數據的形式不適合強化學習;(2)數據稀缺，(3)自動化在現實世界中有局限性。因此，本書旨在幫助學者、領域專家和數據愛好者理解在現實問題中應用強化學習的基本原則。這是通過關注將實際示例和將標準數據建模為應用基本代理所需的正確形式的過程來實現的。為了進一步幫助讀者獲得對這些方法的深入和基礎的理解，本書全面展示了手工計算的示例，然后介紹如何以更自動化的方式使用代碼實現這一點。對于決策者誰對強化學習作為解決方案感興趣，但不精通，這本書包括簡單的，非技術的例子在介紹和案例研究部分。這些提供了強化學習提供的內容，也提供了在實踐中應用它所面臨的挑戰和風險。具體來說，這些部分說明了強化學習和其他機器學習方法之間的區別，以及知名公司如何成功地使用這種方法解決他們的問題。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

在這項工作中，我們探索了提高機器學習系統各方面效率的理論和算法。首先，我們研究了在ML中實現高效機器不學習的算法原理。我們提出了兩種無監督學習算法，它們在在線數據刪除方面實現了超過100倍的改進，同時產生了統計質量與標準k-means++基線相當的集群。

其次，我們探索混合維嵌入，這是一種嵌入層架構，其中特定嵌入向量的維數隨其查詢頻率的變化而變化。通過理論分析和系統實驗，我們證明了使用混合維可以大大減少內存使用，同時保持甚至提高預測性能。使用Criteo Kaggle數據集上一半的參數或使用16倍的參數進行點擊率預測，混合維層將精度提高0.1%。他們在GPU上的訓練速度也超過2倍。

最后，我們提出了一種用于ML部署監控的新方法MLDemon。MLDemon集成了未標記數據和少量按需標簽，從而對給定數據流上部署的模型當前的準確性進行實時估計。受預算限制，MLDemon決定何時獲得額外的、可能昂貴的、專家監督標簽來驗證模型。在基準測試中，MLDemon優于之前的方法。我們還提供了理論分析，表明MLDemon對于廣泛的一類分布漂移是極小極大速率最優的。

摘要

強化學習是一種為需要做出一系列決定的任務制定最佳策略的方法。以平衡短期和長期結果的方式做出決定的能力，使強化學習成為醫療機構中規劃治療的潛在強大工具。不幸的是，傳統的強化學習算法需要對環境進行隨機實驗，這在醫療衛生領域通常是不可能的。然而，強化學習提供了從觀察數據中評估策略的工具，這是一個被稱為離策略評估的子項目。

在這項工作中，我們討論了離策略評估在應用于醫療數據時變得如此困難的主要挑戰，并設計了一些算法來改進目前執行離策略評估的方法。我們描述了幾種改進現有方法的準確性和統計能力的算法，最后介紹了一種新的方法，通過開發一種將專家臨床醫生及其知識納入評價過程的評價技術來提高離策略評估方法的可靠性。

簡介

強化學習(RL)是機器學習(ML)中的一個子領域，它為學習需要平衡短期和長期結果的任務中的連續決策策略提供了一個框架。RL的關鍵范式是將學習算法視為一個與環境互動的智能體，采取行動并觀察環境對這些行動的變化。通過與環境的不斷互動和實驗，智能體學會了實現預期目標的最佳策略。這個強大的想法促進了RL算法在廣泛的應用中的成功，如游戲和機器人。

然而，在這些應用中，與環境的隨機互動--使RL如此強大的關鍵特性--是不可能的。例如，在醫療保健中，隨機治療病人并觀察其反應是不道德的。

從批量觀察數據中評估RL決策的任務被稱為離策略評估（OPE），這個術語用來表示用于收集數據的策略與我們希望評估的策略不同。OPE只關注評估一個特定的策略，而不是學習一個最優的onc，這是大多數RL應用的目標。

這項工作的動力來自于這樣的認識：盡管在OPE方面取得了重大的理論突破，但目前的方法仍然遠遠不夠可靠，無法證明其在實際應用中的使用和部署。這些限制在醫療保健領域尤為突出，因為那里的數據非常嘈雜，而且錯誤的代價很高。 我們首先強調了使OPE在觀察性醫療環境中如此困難的關鍵因素，并展示了這些算法可能失敗的主要方式。然后，我們描述了幾種改善OPE算法性能的方法。這些方法可以應用于所有RL領域，但我們在醫療數據中經常遇到的具體特征是其強大的動力。

雖然這項工作中所描述的方法有助于提高OPE方法的性能，但它們基本上都試圖從數據中提取出更多的統計能力。不幸的是，僅從數據中提取出的知識是有限的，而且往往我們所能做的最好的也是不夠好。 然而，試圖僅從原始數據中獲得知識，卻忽視了臨床醫生和其他醫療專家所擁有的大量知識和專長。在這項工作的最后一部分，我們將論證，為了使OPE的性能足夠好，使其能夠被信任并用于醫療領域，領域專家必須被納入評估過程。為了能夠在OPE中使用領域專家，必須開發新的方法，使幾乎總是不熟悉RL和OPE技術細節的臨床醫生能夠有效地提供對OPE過程有用的意見。我們將在這個方向上邁出一步，描述一種方法，使臨床醫生能夠隨意地識別OPE方法何時可能給出不可靠的結果，并討論發展這一研究途徑的未來方向。

總而言之，這項工作應該概述了OPE在醫療領域的狀況，以及將其引入現實世界所必須做出的努力--從詳細說明當前方法可能失敗的方式和解決這些問題的可能方法，到描述臨床醫生可以被納入評估過程的方式。本論文的其余部分的結構如下：本章的其余部分介紹了本論文將使用的基本符號，并涵蓋了相關文獻。 第三章繼續討論基于模型的OPE，并介紹了一種建立模型的方法，該方法的訓練強調從評估策略下可能出現的例子中學習，并沿用了Liu等人的工作。最后，在第四章中，我們討論了如何利用臨床醫生的輸入來調試和驗證OPE的結果，沿用了Gottesman等人的方法。

強化學習(Reinforcement learning, RL)是一種學習復雜決策策略的通用而強大的解決方案，為游戲和機器人等多個領域的近期成功提供了關鍵的基礎。然而，許多最先進的算法需要大量的數據，計算成本很高，需要大量的數據才能成功。雖然這在某些情況下是可能的，例如在可用數據稀少的社會科學和醫療健康應用程序中，這自然會昂貴或不可行的。隨著人們對將RL應用到更廣泛的領域的興趣的激增，對其算法設計中涉及的數據的使用形成一種明智的觀點是勢在必行的。

因此，本文主要從結構的角度研究RL的數據效率。沿著這個方向發展自然需要我們理解算法何時以及為什么會成功;并在此基礎上進一步提高數據挖掘的數據效率。為此，本文首先從實證成功案例中汲取啟示。我們考慮了基于模擬的蒙特卡洛樹搜索(MCTS)在RL中的流行，以AlphaGo Zero的卓越成就為例，并探討了納入這一關鍵成分的數據效率。具體來說，我們研究了使用這種樹結構來估計值和描述相應數據復雜性的正確形式。這些結果進一步使我們能夠分析將MCTS與監督學習相結合的RL算法的數據復雜性，就像在AlphaGo Zero中所做的那樣。

有了更好的理解之后，下一步，我們改進了基于模擬的數據高效RL算法的算法設計，這些算法可以訪問生成模型。我們為有界空間和無界空間都提供了這樣的改進。我們的第一個貢獻是通過一個新穎的低秩表示Q函數的結構框架。提出的數據高效的RL算法利用低秩結構，通過一種新的矩陣估計技術，只查詢/模擬狀態-動作對的一個子集來執行偽探索。值得注意的是，這導致了數據復雜度的顯著(指數級)提高。說到我們對無界空間的努力，我們必須首先解決無界域引起的獨特的概念挑戰。受經典排隊系統的啟發，我們提出了一個適當的穩定性概念來量化策略的“好”。隨后，通過利用底層系統的穩定性結構，我們設計了高效、自適應的算法，采用改進的、高效的蒙特卡洛oracle，以良好的數據復雜度(對感興趣的參數是多項式)保證了所需的穩定性。總之，通過新的分析工具和結構框架，本文有助于數據高效的RL算法的設計和分析。

//dspace.mit.edu/handle/1721.1/138930