亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

本文介紹了在一系列背景下進行因果參數推理的程序，包括觀察性研究、完全隨機化設計、配對實驗和協變量自適應設計。首先，我們討論了凸優化在匹配觀測研究中進行方向推斷和靈敏度分析的應用。我們設計了一種算法，使信噪比最大化，同時考慮了未觀察到的混雜。我們分析算法輸出的漸近分布行為，以發展因果效應的漸近有效假設檢驗。由此產生的程序在廣泛的程序類上達到最大的設計靈敏度。其次，我們研究了特征信息在完全隨機實驗中對效應進行高精度推斷的作用。本文構建了一種基于線性回歸的校正技術，該技術構造了估計量的漸近方差的上界。該校準程序適用于任何可能是半參數有效的填補估計器，并自動證明所產生的非線性回歸調整估計器至少與均值之差一樣漸近精確;在模型錯誤規范下，非線性回歸調整估計器先前沒有保證的一個特性。第三，我們引入了高斯預軸:一種構建檢驗統計量的算法技術，即使在零中違反隨機化假設的對稱性時，隨機化推理仍保持漸近有效。我們證明了基于預軸統計量的隨機化檢驗在銳利的零值下是有限樣本精確的，而在弱零值下它們漸近地控制了錯誤拒絕的概率。這允許形成具有同聲傳譯的處理效應的置信區域，作為齊次相加處理效應的精確置信區域和異質相加處理效應的漸近置信區域;從而統一費雪和內曼推理的許多實驗設計，包括重隨機實驗。第四，我們構建了重采樣算法的嵌套層次結構，該算法利用了超總體、固定協變量和有限總體模型中的概率結構，以促進完全隨機設計中各種統計數據的非參數推斷。重采樣算法通過利用回歸調整和最優傳輸的現代結果擴展了經典的自舉范例，在固定協變量和有限人口模型下實現了顯著的增益。

自主決策系統正變得越來越普遍，我們越來越依賴這些系統為我們執行行動。以前，我們主要使用算法來完成簡單的預測任務。目前，我們遇到它們在順序決策場景中導航，在這些場景中，它們被精心設計來選擇導致理想狀態下最大預期性能的行動序列。隨著數據的廣泛可用性、計算能力的提高和學習算法的進步，機器學習正在成為傳統專家精心設計的解決方案的可行替代方案。機器能夠從數據中學習，并建立世界的表示來指導它們的行動。近年來，人工神經網絡已成為非常流行的函數逼近方法。從自動語言翻譯到自動駕駛汽車，計算機智能的許多驚人成就都是基于神經網絡的。特別是，它們與強化學習(RL)的結合使機器能夠學習復雜順序問題的解決方案。 與傳統軟件不同的是，人類幾乎不可能理解神經網絡實現的邏輯，這使得它們成為不透明的模型，并可能阻止它們在安全或關鍵任務應用中使用。在很多情況下，僅僅運行模擬還不足以讓人們對它們建立信心，因為一個故障就可能導致災難性的后果。本文的工作解決了在具有神經網絡組件的機器學習系統中建立信任的挑戰。我們首先介紹神經網絡驗證，這是一種驗證網絡是否具有所需屬性的過程。我們介紹了神經網絡驗證的最新進展，包括我們自己的貢獻，并表明，盡管取得了進展，驗證仍然是一個非常具有挑戰性的問題，目前的算法難以擴展到大型網絡。然后，我們提出了一種可選的方法，該方法將驗證需求合并到模型的設計中。更簡單的模型更容易驗證，我們證明了一些問題可以用二值化神經網絡(BNNs)解決，明顯更簡單的模型，參數可以用1位表示，具有與全精度模型相似的性能。我們提出并演示了一種簡單的混合整數規劃方法來驗證它們，并表明該方法具有良好的可擴展性。最后，我們提出了一種深度強化學習算法，類似于使用BNN作為函數逼近器的深度Q學習算法。我們再次表明，這種方法能夠犧牲少量性能，并獲得可擴展的驗證。

在這項工作中，我們探索了提高機器學習系統各方面效率的理論和算法。首先，我們研究了在ML中實現高效機器不學習的算法原理。我們提出了兩種無監督學習算法，它們在在線數據刪除方面實現了超過100倍的改進，同時產生了統計質量與標準k-means++基線相當的集群。

其次，我們探索混合維嵌入，這是一種嵌入層架構，其中特定嵌入向量的維數隨其查詢頻率的變化而變化。通過理論分析和系統實驗，我們證明了使用混合維可以大大減少內存使用，同時保持甚至提高預測性能。使用Criteo Kaggle數據集上一半的參數或使用16倍的參數進行點擊率預測，混合維層將精度提高0.1%。他們在GPU上的訓練速度也超過2倍。

最后，我們提出了一種用于ML部署監控的新方法MLDemon。MLDemon集成了未標記數據和少量按需標簽，從而對給定數據流上部署的模型當前的準確性進行實時估計。受預算限制，MLDemon決定何時獲得額外的、可能昂貴的、專家監督標簽來驗證模型。在基準測試中，MLDemon優于之前的方法。我們還提供了理論分析，表明MLDemon對于廣泛的一類分布漂移是極小極大速率最優的。

快速增長的現實世界網絡，擁有數十億個頂點，需要可擴展的、快速的和高效的圖算法。幸運的是，商業化的多核、多處理器和多機環境可以處理如此大量的數據。不幸的是，盡管有這樣的資源，許多目前的圖算法并沒有充分利用這些并行和分布式環境，或者有非最佳的理論保證，在實踐中轉化為更慢和更不有效的算法。本論文的目的是在理論上改進現代機器中以前的圖算法。我們通過實驗證明，這種理論上的改進也會轉化為實際的收益。

為了實現這一目標，本論文采取了雙管齊下的方法。首先，我們在模仿大規模數據處理環境的計算模型中制定算法。這種模型中的算法利用了機器集群和一個機器的多個核和處理器的優勢。第二，我們在設計算法時使用了現實世界網絡的特殊屬性。退化就是這樣一個特性；雖然一個網絡可能有數十億個頂點，但其退化可能只有幾百個。

本論文由三部分組成。

第一部分介紹了靜態圖算法。我們首先介紹了一套新的編輯算法，該框架通過將圖編輯成所需的結構化類別，針對難以解決的優化問題來逼近其解決方案。然后，我們提出了新的小子圖計數算法，在大規模并行計算模型中具有更好的理論空間和回合保證；我們的實驗證實了我們的理論成果，并顯示在現實世界的圖中，與以前的最先進的算法相比，回合數和近似系數都有所改善。在這一部分的最后，我們提出了一個近乎線性的時間調度算法，用于在具有通信延遲的相同機器上進行調度，其中優先權受限的工作被建模為有向無環圖。

第二部分主要討論動態圖算法。我們首先展示了一個??(1)的攤銷時間，高概率的(?+1)-頂點著色的動態算法。然后，我們為批量動態更新下的??核分解問題提供了一個新的并行級數據結構（其中動態邊緣更新是分批進行的）。我們表明，我們的數據結構可以證明對每個頂點的核心性提供了(2+??)的近似值，改進了以前已知的(4+??)的最佳約束。最后，我們提出了新的三角形和團計數的并行、高效批處理動態算法。我們對批處理動態算法的廣泛實驗，結果表明，在現實世界的網絡中，我們的性能比以前最好的多核算法實現了數量級的提高。

最后一部分是關于下限的結論。我們通過硬實例展示了在外部存儲器模型中，在有向無環計算圖上獲得最優計算時間表的困難性。然后，我們證明這種圖可以用來構建靜態-內存-硬哈希函數，使用磁盤內存來阻止大規模密碼破解攻擊。

強化學習(Reinforcement learning, RL)是一種學習復雜決策策略的通用而強大的解決方案，為游戲和機器人等多個領域的近期成功提供了關鍵的基礎。然而，許多最先進的算法需要大量的數據，計算成本很高，需要大量的數據才能成功。雖然這在某些情況下是可能的，例如在可用數據稀少的社會科學和醫療健康應用程序中，這自然會昂貴或不可行的。隨著人們對將RL應用到更廣泛的領域的興趣的激增，對其算法設計中涉及的數據的使用形成一種明智的觀點是勢在必行的。

因此，本文主要從結構的角度研究RL的數據效率。沿著這個方向發展自然需要我們理解算法何時以及為什么會成功;并在此基礎上進一步提高數據挖掘的數據效率。為此，本文首先從實證成功案例中汲取啟示。我們考慮了基于模擬的蒙特卡洛樹搜索(MCTS)在RL中的流行，以AlphaGo Zero的卓越成就為例，并探討了納入這一關鍵成分的數據效率。具體來說，我們研究了使用這種樹結構來估計值和描述相應數據復雜性的正確形式。這些結果進一步使我們能夠分析將MCTS與監督學習相結合的RL算法的數據復雜性，就像在AlphaGo Zero中所做的那樣。

有了更好的理解之后，下一步，我們改進了基于模擬的數據高效RL算法的算法設計，這些算法可以訪問生成模型。我們為有界空間和無界空間都提供了這樣的改進。我們的第一個貢獻是通過一個新穎的低秩表示Q函數的結構框架。提出的數據高效的RL算法利用低秩結構，通過一種新的矩陣估計技術，只查詢/模擬狀態-動作對的一個子集來執行偽探索。值得注意的是，這導致了數據復雜度的顯著(指數級)提高。說到我們對無界空間的努力，我們必須首先解決無界域引起的獨特的概念挑戰。受經典排隊系統的啟發，我們提出了一個適當的穩定性概念來量化策略的“好”。隨后，通過利用底層系統的穩定性結構，我們設計了高效、自適應的算法，采用改進的、高效的蒙特卡洛oracle，以良好的數據復雜度(對感興趣的參數是多項式)保證了所需的穩定性。總之，通過新的分析工具和結構框架，本文有助于數據高效的RL算法的設計和分析。

//dspace.mit.edu/handle/1721.1/138930

機器學習正在醫療健康等各種關鍵應用得到實施。為了能夠信任機器學習模型，并在它出現故障時修復它，能夠解釋它的決策是很重要的。例如，如果一個模型在特定的子群體(性別、種族等)上的表現很差，找出原因并解決它是很重要的。在本文中，我們研究了現有可解釋性方法的不足，并介紹了新的ML可解釋性算法，旨在解決一些不足。數據是訓練機器學習模型的材料。如果不返回最初訓練ML模型的數據，就不可能解釋ML模型的行為。一個基本的挑戰是如何量化每個數據源對模型性能的貢獻。例如，在醫療健康和消費市場，有人提出個人應因其產生的數據而得到補償，但對個人數據的公平估值尚不清楚。在本文中，我們討論了數據公平價值評估的原則框架; 也就是說，給定一個學習算法和一個性能度量來量化結果模型的性能，我們試圖找到單個數據的貢獻。本論文分為3個部分，機器學習的可解釋性和公平性，數據估值，以及用于醫療健康的機器學習——所有這些都被一個共同的目標聯系在一起，即使機器學習的使用對人類的福祉更負責。

//searchworks.stanford.edu/view/13874839

在本文中，我們研究了生成模型的幾個重要標準，并引入評價指標來解決每個問題，同時討論了生成模型評價中的上述問題。特別是，我們研究了測量生成輸出的感知現實主義的挑戰，并引入了一個人在循環中的評估系統，利用心理物理學理論，以人類知覺文獻和眾包技術為基礎，構建一個高效、可靠、并采用一致的方法比較不同的模型。除此之外，我們還分析了解纏性(Disentanglement)，這是評估已學習表示的一個日益重要的特性，通過使用持久同調測量生成模型數據流形的內在特性。

//searchworks.stanford.edu/view/13883847

第一節課的重點是分析今天能夠進行并行計算的典型個人計算機中的算法行為，第二節課的重點是今天能夠進行分布式計算的典型公共云中的此類個人計算機集群中的算法行為。我們將從第1節中簡要介紹的基本原理開始，并努力理解過去幾十年來算法的重大突破。并行計算是指在一臺機器上使用多個處理器和共享內存進行計算。并行計算和分布式計算雖然密切相關，但它們都提出了獨特的挑戰——主要是并行計算情況下的共享內存管理和分布式計算情況下的網絡通信開銷最小化。理解并行計算的模型和挑戰是理解分布式計算的基礎。課程內容反映了這一點，首先在并行環境中涵蓋各種經典的、數值的和圖形的算法，然后在分布式環境中涵蓋相同的主題。目的是強調每個設置帶來的獨特挑戰。

//github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/