亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**最近機器學習方法的大部分成功都是通過利用過去幾年產生的大量標記數據而實現的。**然而，對于一些重要的實際應用來說，如此大規模的數據收集仍然是不可行的。這包括機器人、醫療健康、地球科學和化學等領域，在這些領域獲取數據可能既昂貴又耗時。在本文中，我們考慮三個不同的學習問題，其中可以收集的數據量是有限的。這包括在在線學習期間限制對標簽、整個數據集和生成經驗的訪問的設置。本文通過采用序列決策策略來解決這些數據限制，這些策略在收集新數據和根據新獲得的證據做出明智的決策之間迭代。**首先，解決標簽獲取成本較高時如何高效地收集批量標簽的問題。**概率主動學習方法可用于貪婪地選擇信息量最大的待標記數據點。然而，對于許多大規模問題，標準的貪心算法在計算上變得不可行。為緩解這個問題，本文提出一種可擴展的貝葉斯批量主動學習方法，其動機是近似模型參數的完整數據后驗。

**其次，我們解決了自動化分子設計的挑戰，以加速對新藥物和材料的搜索。**由于迄今為止只探索了化學空間的一個小區域，可用于某些化學系統的數據量是有限的。本文通過將3D分子設計問題制定為強化學習任務，克服了生成模型對數據集的依賴，并提出了一種對稱感知策略，可以生成用以前方法無法實現的分子結構。

**最后，我們考慮了如何在不同任務中有效地學習機器人行為的問題。**實現這一目標的一個有希望的方向是在不同的任務上下文中泛化局部學習的策略。上下文策略搜索通過顯式地將策略約束在參數化上下文空間上，從而提供數據高效的學習和泛化。進一步構建上下文策略表示，在各種機器人領域實現更快的學習和更好的泛化。

現代強化學習(RL)方法在各種應用中取得了巨大的成功。然而，由于過度的樣本復雜性負擔，具有大狀態空間和長規劃時界的強化學習問題仍然具有挑戰性，而我們目前對這類問題的理解相當有限。此外，RL中還有一些經典框架無法解決的重要問題。本文研究了上述問題，以建立對現代RL方法的更好理解。本文主要分為以下三個部分:

**第一部分:具有長期規劃時界的RL。**學習為長期時界做計劃是強化學習的一個核心挑戰，而一個基本問題是了解強化學習的難度如何隨著時界的增加而增加。在本文的第一部分中，我們證明了表格式強化學習是可能的，其樣本復雜度完全獨立于規劃周期，因此，長周期強化學習并不比短周期強化學習更難，至少在極大極小意義上是這樣。

**第二部分:具有大狀態空間的RL。**在現代RL方法中，函數逼近方案被部署來處理大型狀態空間。根據經驗，將RL算法與神經網絡相結合進行特征提取，在各種任務上取得了巨大的成功。然而，這些方法通常需要大量的樣本來學習一個好的策略，并且不清楚此類方法是否有基本的統計限制。在本文的第二部分，通過理論分析和實驗，研究了允許樣本有效強化學習的特征表示能力的充要條件。

**第三部分:其他環境下的強化學習。**經典的強化學習范式旨在最大化智能體獲得獎勵值時的累積獎勵。盡管能夠形式化一個龐大的序列決策問題族，但仍有一些重要的應用無法歸入經典框架。在本文的第三部分，我們研究了兩種新的設置，即無獎勵探索設置和具有一般目標函數的規劃，它們泛化了經典的框架。

機器學習(ML)系統的規模正在迅速增長，正在獲得新的能力，并越來越多地部署在高風險環境中。為了滿足對安全ML系統日益增長的需求，我首先討論如何使系統可靠地執行。隨后，我將討論如何使系統按照人的價值觀行動。最后，我將討論如何使ML系統更安全的開放問題。 機器學習(ML)系統越來越多地部署在安全關鍵設置中。與任何強大的技術一樣，這些系統的安全是重中之重。在這項工作中，我們描述了引導機器學習(ML)系統向更安全方向發展的研究。本研究將ML安全分為可靠性和對齊兩個方面進行研究。可靠性可以被認為是降低系統在面對對抗或新事件時無法達到預期目標的傾向。同時，對齊可以被認為是將ML系統引導到特定的期望方向的能力。換句話說，可靠性減少了脆弱性和風險暴露，而對齊減少了來自強大定向ML系統的內在風險。在這里，我們概述了我們在這兩個領域所做的工作

多智能體系統（MAS）已經在不同的環境和框架中得到了利用，因此已經成功地應用于許多應用中，以實現不同的目標。事實證明，與建立一個具有任務可能需要的所有能力的單一智能體相比，多智能體系統更具有成本效益。此外，成本并不是采用MASs的唯一驅動因素，例如，安全是另一個重要方面。在惡劣或極端的環境中部署一組智能體，而不是一個人類團隊，可以減少安全風險。此外，與單一智能體的解決方案相比，MAS提供了更多的靈活性和穩健性。靈活性來自于將資源分成不同的小組，而穩健性則來自于一個智能體的關鍵錯誤不一定會危及任務的成功這一事實。請注意，一個任務可能有許多不同的約束和方面，然而，最微不足道的情況是只有一個智能體和一個任務。

這些類型的任務可以由人類操作員計劃，監督任務，而不需要自動計劃器。另一方面，更復雜的任務，即利用大量的異質智能體和任務，以及約束條件（優先權、同步性等），對人類操作員來說并不是那么簡單的計劃。這些復雜的問題給制定一個可行的計劃帶來了巨大的挑戰，更不用說是最好的計劃了。此外，機器人系統中可用的計算平臺的功率增加，允許利用并行任務執行。更具體地說，它允許在傳感、計算、運動和操縱任務中可能的并行性。這反過來又有一個好處，即允許創建更復雜的機器人任務。然而，它的代價是增加了優化任務分配問題的復雜性。為了規避這些問題，需要一個自動規劃器。這些類型的問題是出了名的難解決，而且可能需要太長時間才能找到一個最佳計劃。因此，優化和產生計劃所需的計算時間之間的平衡變得非常重要。

本論文涉及兩個特殊的多機器人任務分配（MRTA）問題配置的正式定義，用于表示多智能體任務規劃問題。更具體地說，本論文的貢獻可以歸納為三類：

首先，這項工作提出了一個模型，以結構化的方式表示不同的問題配置，也被稱為任務。這個模型被稱為TAMER，它還允許以更系統的方式增加新的維度，與以前提出的MRTA分類法相比，擴大了可以描述的問題的數量。

其次，本論文以混合整數線性問題的形式，定義并提供了兩種不同的問題形式，即擴展的彩色旅行推銷員問題（ECTSP）。這些模型在CPLEX優化工具中對選定的問題實例進行了實施和驗證。此外，還設計了一個解決這些復雜問題的次優方法。提出的解決方案是基于遺傳算法（GA）的方法，并與最先進的（和實踐中的）求解器，即CPLEX獲得的解決方案進行比較。與經典方法相比，使用GA進行規劃的優勢在于它具有更好的可擴展性，使其能夠找到大規模問題的解決方案。盡管這些解決方案在大多數情況下是次優的，但它們比其他精確方法獲得的速度要快得多。另一個優勢體現在 "隨時停止 "選項的形式上。在時間緊迫的操作中，重要的是可以選擇停止規劃過程，并在需要時使用次優的解決方案。

最后，這項工作涉及到MRTA問題的一個維度，這個維度在過去沒有引起很多研究的關注。特別是，包括多任務（MT）機器人在內的問題配置被忽視了。為了克服上述問題，首先，對可能實現任務并行的情況進行了定義。此外，還介紹了物理和虛擬任務之間的區別以及它們在并行任務執行方面的相互關系。我們提出并比較了兩個模型。第一個模型以ILP的形式表達，并在CPLEX優化工具中實現。另一個被定義為限制性規劃（CP）模型并在CP優化工具中實現。兩種求解器都在一系列的問題實例上進行了評估。

近年來，RL的顯著成就使其在人工智能研究的前沿占有一席之地。最關鍵的是，這些結果大多是在模擬環境中獲得的，在模擬環境中，不良行為不會產生有害后果。然而，為了釋放RL的全部潛力，我們希望在現實世界中部署它。雖然這擴大了RL有益影響的范圍，但也放大了其有害行為的后果。因此，我們必須理解和解決可能導致RL智能體在現實世界中做出潛在破壞性決策的原因。

//www.research-collection.ethz.ch/handle/20.500.11850/540581

本文研究了小數據環境下由不準確的模型可能導致的RL不安全行為。特別地，它關注的是對分布偏移的魯棒性問題。不過度擬合訓練數據，而泛化到以前未見過的環境條件，以及安全探索，即。，在訓練過程中安全獲取數據。

我們首先從線性控制理論引入魯棒性指標的無模型近似。我們利用我們的方法為Furuta擺設計控制策略，并在模擬到現實和硬件實驗中演示了它們的魯棒性，其中包括一個顯著的分布位移。

在此基礎上，研究了將安全表示為一組未知光滑約束的目標導向安全勘探問題。針對這一問題，我們提出了一種保證安全性和完整性的算法，并在模擬實驗中表明，該算法在樣本效率方面較現有方法有明顯提高。然后，我們將其擴展到自適應控制問題，一類與外生變量引起的分布位移有關的經典控制問題。我們部署我們的算法來控制旋轉軸驅動器在不斷變化的環境。 最后，我們提出了一個新的框架，將先驗知識融入到安全勘探問題中，使我們可以解除以前的方法所做的許多假設，如平滑性。為該框架提供了安全保證，并將其與深度強化學習智能體相結合，以在具有挑戰性的環境中安全地訓練控制策略。

人工智能技術的出現為空戰領域的許多研究鋪平了道路。學術界和許多其他研究人員對一個突出的研究方向進行了研究，即無人機的自主機動決策。形成了大量研究成果，但其中基于強化學習（RL）的決策更有效。已經有許多研究和實驗使agent以最佳方式到達目標，最突出的是遺傳算法（GA），A*，RRT和其他各種優化技術已經被使用。強化學習因其成功而廣為人知。在DARPA阿爾法斗狗試驗（Alpha Dogfight Trials）中，強化學習戰勝了由波音公司培訓的真正的F-16人類老飛行員。這個模型是由Heron系統公司開發的。在這一成就之后，強化學習帶來了巨大的關注。在這項研究中，將無人機作為目標，該無人機有一個杜賓斯車動態特性，在二維空間中使用雙延遲深確定策略梯度（TD3）以最佳路徑移動到目標，并用于經驗回放（HER）。首先，它的目的是讓agent采取最佳路徑到達目標，過程中有障礙物。在每個情節中，我們的agent從一個隨機點開始，我們的目標是穩定的，其位置沒有變化。它以最佳和快速的方式找到自己的路徑。然后，為了測試機制的極限，使我們的agent更難達到目標，并使其執行不同的機動性，我們添加了障礙物。它表現得很好，克服了所有的障礙。現在的研究是讓兩個無人機作為多agent在二維空間進行斗狗。這篇研究論文提出了一種運動規劃的算法，它使用了雙延遲深度確定性策略梯度（TD3），這是一種為具有連續行動的MDP定制的算法，使用強化學習作為基礎。

強化學習(RL)方法在許多機器人應用中取得了令人印象深刻的結果，受到了廣泛的關注。雖然在理論上RL涵蓋了基于學習的接近最優行為控制，但由于各種實施挑戰，無法保證最后能成功實施。即使選擇了最適合的學習方法，由于超參數選擇不當或算法的不可靠實現，學習性能仍然可能令人失望。此外，不正確的規范可能會使學習任務變得不必要的困難。

這個教程指出這些實際的陷阱，并向觀眾介紹機器人RL的工具，將幫助機器人專家成功地解決機器人學習任務，在模擬和現實世界。

//araffin.github.io/tools-for-robotic-rl-icra2022/

幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。

然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。

本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。

本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html