亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在為許多現實世界的問題指定獎勵方面的困難導致人們越來越關注從人的反饋中學習獎勵，比如演示。然而，通常有許多不同的獎勵功能來解釋人類的反饋，這讓智能體不確定什么是真正的獎勵功能。雖然大多數策略優化方法通過優化預期性能來處理這種不確定性，但許多應用需要規避風險行為。我們推導了一種新的策略梯度式魯棒優化方法PG-BROIL，它優化了平衡預期性能和風險的軟魯棒目標。據我們所知，PG-BROIL是第一個對獎勵假設分布魯棒的策略優化算法，該假設可以擴展到連續的MDPs。結果表明，PG-BROIL可以產生一系列從風險中性到風險厭惡的行為，并通過對沖不確定性從模糊的演示中學習，而不是尋求唯一識別演示者的獎勵功能時，表現優于最先進的模仿學習算法。

//www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694

當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。

//www.zhuanzhi.ai/paper/beffdb76305bfa324433d64e6975ec76

持續學習(CL)是一種特殊的機器學習范式，它的數據分布和學習目標會隨著時間的推移而改變，或者所有的訓練數據和客觀標準都不會立即可用。學習過程的演變是以一系列學習經驗為模型的，其中的目標是能夠在學習過程中一直學習新的技能，而不會忘記之前學過的知識。CL可以看作是一種在線學習，需要進行知識融合，以便從按順序及時呈現的數據流中學習。在學習過程中，不斷學習的目的還在于優化記憶、計算能力和速度。機器學習的一個重要挑戰不是必須找到在現實世界中有效的解決方案，而是找到可以在現實世界中學習的穩定算法。因此，理想的方法是在嵌入的平臺中處理現實世界:自治的代理。持續學習在自主代理或機器人中是有效的，它們將通過時間自主學習外部世界，并逐步發展一套復雜的技能和知識。機器人必須學會通過連續的觀察來適應環境并與之互動。一些最近的方法旨在解決機器人持續學習的問題，但最近關于持續學習的論文只是在模擬或靜態數據集的實驗方法。不幸的是，對這些算法的評估并不能說明它們的解決方案是否有助于在機器人技術的背景下持續學習。這篇論文的目的是回顧持續學習的現有狀態，總結現有的基準和度量標準，并提出一個框架來展示和評估機器人技術和非機器人技術的方法，使這兩個領域之間的轉換更加容易。我們在機器人技術的背景下強調持續學習，以建立各領域之間的聯系并規范方法。

//www.sciencedirect.com/science/article/pii/S07377#sec0001

概要：

機器學習(ML)方法通常從平穩數據分布中隨機采樣的數據流中學習。這通常是有效學習的必要條件。然而，在現實世界中，這種設置相當少見。持續學習(CL)[128]匯集了解決當數據分布隨時間變化時，以及在永無止境的數據流中需要考慮的知識融合的學習問題的工作和方法。因此，CL是處理災難性遺忘[47]的范式[102]。

為了方便起見，我們可以根據經驗將數據流分割成幾個子段，這些子段有時間邊界，我們稱之為任務。然后我們可以觀察在學習一項新任務時所學到或忘記了什么。即使對任務沒有強制約束，任務通常指的是一段特定的時間，其中數據分布可能(但不一定)是平穩的，并且目標函數是常量。就學習目標而言，任務可以是相互獨立的，也可以是相互關聯的，并且取決于設置。

持續學習的一個解決方案是保存所有數據，打亂它，然后回到傳統的機器學習設置。不幸的是，在這種情況下，這并不總是可能的，也不是最佳的。這里有幾個例子，其中持續學習是必要的:

你有一個訓練過的模型，你想用新的數據更新它，但是原來的訓練數據被丟棄了，或者你沒有權利再訪問它。

你想在一系列任務上訓練一個模型，但你不能存儲你的所有數據，或者你沒有計算能力從所有數據中重新訓練模型(例如，在嵌入式平臺中)。

您希望智能代理學習多種策略，但您不知道學習目標何時發生變化，如何變化。

您希望從持續的數據流中學習，這些數據可能會隨著時間而變化，但您不知道如何變化，何時變化。

為了處理這些設置，表示應該通過在線方式學習[87]。隨著數據被丟棄并且生命周期有限，忘記不重要的東西而保留對未來有意義的東西的能力是持續學習的主要目標和重點。

從機器人技術的角度來看，CL是發展機器人技術的機器學習答案[93]。發展機器人技術是一種交叉學科的方法，用于自主設計人工主體的行為和認知能力，直接從兒童自然認知系統中觀察到的發展原則和機制中獲得靈感。

在這種情況下，CL必須包含一個學習累積技能的過程，并能逐步提高所處理任務的復雜性和多樣性。

自主主體在這樣的環境中以開放式的[36]方式學習，但也以持續的方式學習。這種發展方法的關鍵組成部分包括學習自主產生目標和探索環境的能力，開發內在動機[113]和好奇心的計算模型[112]。

我們提出了一個框架來連接持續學習和機器人技術。這個框架也為持續學習提供了機會，以一個有框架的數學公式以清晰和系統的方式呈現方法。

首先，我們介紹了持續學習的背景和歷史。其次，我們的目標是在不斷學習的基礎上理清概念匯。第三，我們將介紹我們的框架作為一種標準的CL方法，以幫助在不同的持續學習領域之間進行轉換，特別是對于機器人技術。第四，我們提供了一組度量標準，它將有助于更好地理解每一類方法的質量和缺點。最后，我們提出了持續學習機器人技術的細節和機會，這使得CL變得如此重要。

對于機器人技術和非機器人技術領域，我們保持了定義、框架、策略和評估的一般性。盡管如此，最后一節，機器人持續學習(第6節)受益于前幾節的內容，以呈現機器人領域持續學習的特殊性。

模仿學習(IL)旨在從專家演示中學習一種策略，使學習者和專家行為之間的差異最小化。針對預先確定的差異，提出了不同的模仿學習算法來量化差異。這自然會產生以下問題:給定一組專家演示，哪些分歧可以在更高的數據效率下更準確地恢復專家策略?在這項研究中，我們提出了一種新的生成性對抗模仿學習(GAIL)模型——f-GAIL，它可以自動地從f-divergence族中學習出一個差異度量，并且能夠產生與專家相似行為的策略。與具有各種預定義散度度量的IL基線相比，f-GAIL在6個基于物理的控制任務中學習了更好的策略和更高的數據效率。

//arxiv.org/abs/2010.01207

與經典的監督學習不同，強化學習(RL)從根本上是交互式的: 一個自主的智能體必須學習如何在一個未知的、不確定的、可能是對抗的環境中表現，通過與環境的積極互動來收集有用的反饋，以提高其序列決策能力。RL代理還將干預環境: 代理做出決策，進而影響環境的進一步演化。

由于它的普遍性——大多數機器學習問題可以看作是特殊情況——RL很難。由于沒有直接的監督，RL的一個主要挑戰是如何探索未知的環境并有效地收集有用的反饋。在最近的RL成功案例中(如視頻游戲中的超人表現[Mnih et al.， 2015])，我們注意到它們大多依賴于隨機探索策略，如“貪婪”。同樣的，策略梯度法如REINFORCE [Williams, 1992]，通過向動作空間注入隨機性進行探索，希望隨機性能導致良好的動作序列，從而獲得高總回報。理論RL文獻已經開發出了更復雜的算法來進行有效的探索(例如，[Azar等人，2017])，然而，這些接近最優算法的樣本復雜度必須根據底層系統的關鍵參數(如狀態和動作空間的維數)呈指數級增長。這種指數依賴性阻礙了這些理論上優雅的RL算法在大規模應用中的直接應用。總之，如果沒有進一步的假設，無論在實踐上還是在理論上，RL都是困難的。

在本文中，我們試圖通過引入額外的假設和信息源來獲得對RL問題的支持。本文的第一個貢獻是通過模仿學習來提高RL樣本的復雜度。通過利用專家的示范，模仿學習極大地簡化了探索的任務。在本論文中，我們考慮了兩種設置:一種是交互式模仿學習設置，即在訓練期間專家可以進行查詢;另一種是僅通過觀察進行模仿學習的設置，在這種設置中，我們只有一組由對專家狀態的觀察組成的演示(沒有記錄專家行為)。我們在理論和實踐中研究如何模仿專家，以減少樣本的復雜性相比，純RL方法。第二個貢獻來自于無模型的強化學習。具體來說，我們通過構建一個從策略評估到無后悔在線學習的總體約簡來研究策略評估，無后悔在線學習是一個活躍的研究領域，具有良好的理論基礎。這樣的約減創造了一個新的算法族，可以在生成過程的非常弱的假設下證明正確的策略評估。在此基礎上，對行動空間和參數空間兩種無模型勘探策略進行了理論和實證研究。這項工作的第三個貢獻來自基于模型的強化學習。我們提供了基于模型的RL方法和一般無模型的RL方法之間的第一個指數樣本復度分離。然后，我們提供了基于PAC模型的RL算法，可以同時實現對許多有趣的MDPs的采樣效率，如表列MDPs、因子MDPs、Lipschitz連續MDPs、低秩MDPs和線性二次控制。通過將最優控制、模型學習和模仿學習結合在一起，我們還提供了一個更實用的基于模型的RL框架，稱為雙重策略迭代(DPI)。此外，我們給出了一個通用的收斂分析，將現有的近似策略迭代理論推廣到DPI。DPI對最近成功的實用RL算法如ExIt和AlphaGo Zero進行了概括和提供了第一個理論基礎[Anthony et al.， 2017, Silver et al.， 2017]，并為統一基于模型的RL方法和無模型的RL方法提供了一種理論健全和實踐高效的方法。

//www.ri.cmu.edu/publications/towards-generalization-and-efficiency-in-reinforcement-learning/

Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。

//arxiv.org/abs/2009.08445

【簡介】隨著深度表示學習的發展，強化學習（RL）已經成為了一個強大的學習框架，其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習（DRL）算法，提供了采用強化學習的自動駕駛任務的分類方法，重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用，以及最終評估，測試和加強強化學習和模仿學習健壯性的現有解決方案。

論文鏈接： //arxiv.org/abs/2002.00444

介紹：

自動駕駛(AD)系統由多個感知級任務組成，由于采用了深度學習架構，這些任務現在已經達到了很高的精度。除了感知任務之外，自主駕駛系統還包含多個其他任務，傳統的監督學習方法已經不再適用。首先，當對agent行為的預測發生變化時，從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果，例如獲取市區最佳駕駛速度的任務。其次，監督信號（如碰撞時間（TTC），相對于agent最佳軌跡的側向誤差）表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后，agent需要學習當前環境新的配置參數，預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下，一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中，我們的目標是解決一個連續決策的問題。在這篇綜述中，我們將介紹強化學習的概念，強化學習是一種很有前景的解決方案和任務分類方法，特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后，我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。

章節目錄：

section2: 介紹一個典型的自動駕駛系統及其各個組件。

section3: 對深度強化學習進行介紹，并簡要討論關鍵概念。

section4: 探討在強化學習基本框架上對其進行更深層次，更加復雜的擴展。

section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。

section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。

section7: 總結

【導讀】最新的一期《Science》機器人雜志刊登了關于XAI—Explainable artificial intelligence專刊，涵蓋可解釋人工智能的簡述論文，論述了XAI對于改善用戶理解、信任與管理AI系統的重要性。并包括5篇專刊論文，值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解釋性對于用戶有效地理解、信任和管理強大的人工智能應用程序是至關重要的。

//robotics.sciencemag.org/content/4/37/eaay7120

最近在機器學習(ML)方面的成功引發了人工智能(AI)應用的新浪潮，為各種領域提供了廣泛的益處。然而，許多這些系統中不能向人類用戶解釋它們的自主決策和行為。對某些人工智能應用來說，解釋可能不是必要的，一些人工智能研究人員認為，強調解釋是錯誤的，太難實現，而且可能是不必要的。然而，對于國防、醫學、金融和法律的許多關鍵應用，解釋對于用戶理解、信任和有效地管理這些新的人工智能合作伙伴是必不可少的(參見最近的評論(1-3))。

最近人工智能的成功很大程度上歸功于在其內部表示中構造模型的新ML技術。其中包括支持向量機(SVMs)、隨機森林、概率圖形模型、強化學習(RL)和深度學習(DL)神經網絡。盡管這些模型表現出了高性能，但它們在可解釋性方面是不透明的。ML性能(例如，預測準確性)和可解釋性之間可能存在固有的沖突。通常，性能最好的方法(如DL)是最不可解釋的，而最可解釋的方法(如決策樹)是最不準確的。圖1用一些ML技術的性能可解釋性權衡的概念圖說明了這一點。

圖1 ML技術的性能與可解釋性權衡。

(A)學習技巧和解釋能力。(B)可解釋模型:學習更結構化、可解釋或因果模型的ML技術。早期的例子包括貝葉斯規則列表、貝葉斯程序學習、因果關系的學習模型，以及使用隨機語法學習更多可解釋的結構。深度學習:一些設計選擇可能產生更多可解釋的表示(例如，訓練數據選擇、架構層、損失函數、正則化、優化技術和訓練序列)。模型不可知論者:對任意給定的ML模型(如黑箱)進行試驗以推斷出一個近似可解釋的模型的技術。

什么是XAI?

一個可解釋的人工智能(XAI)系統的目的是通過提供解釋使其行為更容易被人類理解。有一些通用原則可以幫助創建有效的、更人性化的人工智能系統:XAI系統應該能夠解釋它的能力和理解;解釋它已經做了什么，現在正在做什么，接下來會發生什么; 披露其所依據的重要信息(4)。

然而，每一個解釋都是根據AI系統用戶的任務、能力和期望而設置的。因此，可解釋性和可解釋性的定義是與域相關的，并且可能不是與域獨立定義的。解釋可以是全面的，也可以是片面的。完全可解釋的模型給出了完整和完全透明的解釋。部分可解釋的模型揭示了其推理過程的重要部分。可解釋模型服從根據域定義的“可解釋性約束”(例如，某些變量和相關變量的單調性服從特定關系)，而黑箱或無約束模型不一定服從這些約束。部分解釋可能包括變量重要性度量、局部模型(在特定點近似全局模型)和顯著性圖。

來自用戶的期望

XAI假設向最終用戶提供一個解釋，該用戶依賴于AI系統所產生的決策、建議或操作，然而可能有許多不同類型的用戶，通常在系統開發和使用的不同時間點(5)。例如，一種類型的用戶可能是智能分析師、法官或操作員。但是，需要對系統進行解釋的其他用戶可能是開發人員或測試操作員，他們需要了解哪里可能有改進的地方。然而，另一個用戶可能是政策制定者，他們試圖評估系統的公平性。每個用戶組可能有一個首選的解釋類型，能夠以最有效的方式交流信息。有效的解釋將考慮到系統的目標用戶組，他們的背景知識可能不同，需要解釋什么。

可操作性——評估和測量

一些方法提出了一些評價和衡量解釋有效性的方法;然而，目前還沒有通用的方法來衡量XAI系統是否比非XAI系統更容易被用戶理解。其中一些度量是用戶角度的主觀度量，例如用戶滿意度，可以通過對解釋的清晰度和實用性的主觀評級來度量。解釋有效性的更客觀的衡量標準可能是任務績效; 即，這樣的解釋是否提高了用戶的決策能力?可靠和一致的測量解釋的影響仍然是一個開放的研究問題。XAI系統的評價和測量包括評價框架、共同點[不同的思維和相互理解(6)]、常識和論證[為什么(7)]。

XAI -問題和挑戰

在ML和解釋的交集處仍然存在許多活躍的問題和挑戰。

1. 從電腦開始還是從人開始(8). XAI系統應該針對特定的用戶進行解釋嗎?他們應該考慮用戶缺乏的知識嗎?我們如何利用解釋來幫助交互式和人在循環的學習，包括讓用戶與解釋交互以提供反饋和指導學習?

2. 準確性與可解釋性。XAI解釋研究的一條主線是探索解釋的技術和局限性。可解釋性需要考慮準確性和保真度之間的權衡，并在準確性、可解釋性和可處理性之間取得平衡。

3. 使用抽象來簡化解釋。高級模式是在大步驟中描述大計劃的基礎。對抽象的自動發現一直是一個挑戰，而理解學習和解釋中抽象的發現和共享是當前XAI研究的前沿。

4. 解釋能力與解釋決策。有資格的專家精通的一個標志是他們能夠對新情況進行反思。有必要幫助終端用戶了解人工智能系統的能力，包括一個特定的人工智能系統有哪些能力，如何衡量這些能力，以及人工智能系統是否存在盲點;也就是說，有沒有一類解是永遠找不到的?

從以人為本的研究視角來看，對能力和知識的研究可以使XAI超越解釋特定XAI系統和幫助用戶確定適當信任的角色。未來，XAIs可能最終會扮演重要的社會角色。這些角色不僅包括向個人學習和解釋，而且還包括與其他代理進行協調以連接知識、發展跨學科見解和共同點、合作教授人員和其他代理，以及利用以前發現的知識來加速知識的進一步發現和應用。從這樣一個知識理解和生成的社會視角來看，XAI的未來才剛剛開始。

本期刊論文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我們會相信機器人嗎?科幻小說說沒有，但可解釋的機器人可能會找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最適合促進信任的解釋方法不一定對應于那些有助于最佳任務性能的組件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的強化學習方法能從形式化的語言中獲得回報，并保證了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

參考文獻：

1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

2. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Gü?lütürk, U. Gü?lü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

3. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

4. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

5. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

6. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

7. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

?

8. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

9. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.