亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

任務規劃對于建立成功執行任務所需的態勢感知至關重要。全規劃有助于預測不同的情況，這一點尤其重要，因為威脅的多樣性和復雜性會增加。規劃過程是需要收集、分析相關信息并將其整合到一個全面的規劃中。由于第 5 代平臺、傳感器和數據庫生成的大量信息，這些流程面臨壓力。

本文描述了軍用直升機任務規劃環境的創建，在該環境中，不同來源的數據被整合、分析和可視化。參與規劃過程的所有人員都可以查看所有可用信息并與之交互。算法處理后的數據，為規劃的特定部分提供潛在的解決方案。交互式可視化有助于直觀理解輸入數據和算法輸出，而交互式增強現實環境有助于有效協作。

集成系統和算法是未來智能、協作任務規劃的重要組成部分，因為它們允許有效處理與第 5 代平臺相關的大量多樣的數據流。結合直觀的可視化和協作，這使工作人員能夠構建靈活且響應迅速的操作所需的共享 態勢感知。

圖1: 增強協同技術下的智能任務規劃（IMPACT）

IMPACT系統由三層組成(見圖2):

• 人機交互應用層
• 傳輸層
• 支持服務層

圖2:從功能角度看IMPACT架構。

摘要

無人駕駛飛行器 (UAV) 在過去十年中受到無人機硬件和監管框架的快速創新推動，被設想用于為未來社會多種服務應用。從下一代無線網絡的角度來看，無人機不僅有望充當被動蜂窩連接用戶的角色，而且還可以作為無人機輔助網絡的一部分，作為連接的主動推動者。用例范圍從貨物的“最后一英里”交付、客運、基礎設施檢查、環境監測和測量到智能農業的推動者。它們快速靈活的部署使它們在地面通信基礎設施不堪重負或被破壞的情況下特別有用，例如在自然災害和搜救情況下。在擴展永久性網絡基礎設施不可行或經濟上不可行的偏遠地區，無人機可以為目前沒有移動互聯網的世界一半人口提供移動互聯網接入。

圖 1.1 無人機提供通信服務和支撐固定基礎設施的應用示例。

圖 1.2 無人機分類。

無人機在所有潛在應用場景中的決定性優勢是它們的移動性。為了充分利用它們的能力，靈活高效的路徑規劃方法是必要的。本論文的重點是探索機器學習 (ML)，特別是強化學習 (RL)，作為解決無人機移動管理挑戰的一類有前途的解決方案。隨著近年來RL與神經網絡相結合的研究進展，deep RL是為數不多的能夠直接解決通信場景下無人機控制與部署復雜任務的框架之一，因為這些問題通常是NP-hard優化問題，且受到非凸性的嚴重影響。此外，深度 RL 提供了以直接方式平衡無人機輔助網絡的多個目標的可能性，它在先驗或模型信息的可用性方面非常靈活，而深度 RL 推理在計算上是高效的。

中小型無人機路徑規劃的一個關鍵限制是它們的最大活動任務時間受到機載電池能量密度的限制。當用作向地面用戶提供數據服務的空中基站 (BS) 時，自主無人機需要共同優化其飛行時間和系統的通信性能目標。論文的第一部分探討了使用深度 Q 學習來控制空中 BS，該 BS 從地面用戶那里收集數據，同時集成專用著陸點，無人機可以在著陸點著陸，從而在繼續為用戶服務的同時在其軌跡上節省能源。深度 Q 學習允許無人機在沒有任何關于環境或任務的明確信息的情況下找到有效的軌跡。

圖 3.1 空中 BS 移動決策是根據無人機的當前狀態做出的，即位置和電池電量。 UAV 完全不知道環境的先驗知識，即不知道著陸點（LS）的存在或位置、用戶位置、信道模型或最終 UAV 著陸位置。雖然 LS 提供了節能的可能性，但 UAV BS 可能不得不為某些用戶犧牲一些 QoS。

雖然 RL 范式為解決無人機輔助網絡中的優化問題提供了許多優勢，但仍然存在一些實際挑戰，尤其是在無人機可以學習的訓練數據需求的背景下。在現實世界中收集訓練數據是一個昂貴且耗時的過程，而在傳統的 RL 方法中，如果任務參數發生變化，則需要重復冗長的訓練過程，例如無人機的電池容量。在本論文中，我們通過提出一種深度 RL 算法來解決這個問題，該算法將訓練擴展到來自分布式物聯網 (IoT) 設備的無人機數據收集任務的隨機實例，如果任務參數發生變化，則無需重新訓練。與傳統方法相比，結果是一個復雜得多的問題，因為需要同時找到數千個任務實例的解決方案。這可以通過利用任務密集城市環境的智能處理地圖信息來實現。我們將此設置擴展到協作多無人機案例，其中出現機群協作的額外挑戰，以及大型、復雜和現實的城市環境挑戰。

圖 4.7 同一智能體適應設備數量和設備位置差異以及飛行時間限制的圖示，顯示了曼哈頓場景中已使用和可用的飛行時間以及收集和可用的總數據。

圖 5.8 軌跡圖說明傳播條件的變化對已經訓練好的智能體的影響。圖 5.8a 顯示了在智能體訓練時使用路徑損耗指數的原始行為。圖 5.8b 顯示了相同智能體在其他情況不變的情況下，路徑損耗指數略低。

論文的以下部分探討了無人機輔助通信和機器人技術，這是兩個通常不相交的研究界。 RL 范式的固有靈活性為提出可在多個無人機路徑規劃實例中工作的解決方案提供了機會，例如物聯網數據收集和覆蓋路徑規劃 (CPP)，這是一個經典的機器人問題。最后，在本文的最后一部分，研究了基于模型輔助學習框架的另一種解決RL算法訓練數據需求挑戰的方法。在這種方法中，UAV首先學習真實環境的模型，然后利用學習的模型生成模擬訓練數據，大大減少了對昂貴的真實世界數據的需求。

摘要：

美國中西部（印第安納州）地區的作物生產一直面臨環境和經濟可持續性問題。化肥（氮和磷）的使用、農業機械燃料成本和勞動生產率的下降導致農業投入的使用沒有得到優化，這些趨勢一直在增加。相關文獻綜述描述了精益和綠色實踐，如盈利能力（投資回報）??、運營成本降低、危險廢物減少、交付績效和整體生產力，可在精準農業實踐（可變灌溉、可變施肥、基于云的分析和用于農機導航的遠程信息處理）。

綜述文獻描述了基于物聯網 (IoT) 的精準農業實踐的低采用率，例如可變速率肥料 (39%)、可變速率農藥 (8%)、可變速率灌溉 (4%)、基于云的數據分析 ( 21 %) 和遠程信息處理 (10 %) 在中西部作物生產者中。采用基于物聯網的精準農業實踐的障礙包括成本效益、電力要求、通信范圍、數據延遲、數據可擴展性、數據存儲、數據處理和數據互操作性。在基于物聯網的精準農業實踐中，對主題專家 (SME) (N=18) 進行了焦點小組訪談 (n=3)，以了解和定義與障礙相關的決策變量。內容分析和隨后的 ISM 模型為部署 IoT 無線傳感器節點以提高性能提供了一種行動研究方法。這些改進使可變成本降低了 94%，功耗成本降低了 60%，并改進了數據互操作性和用戶交互的基于物聯網無線傳感器的數據管道，從而改進了精準農業實踐的采用。來自 IoT 傳感器部署的性能數據 (n=2505) 的關系分析經驗性地驗證了 ISM 模型，并解釋了功耗的變化，以緩解生產者采用 IoT 的情況。本研究開發了基于生長季節通過相關性預測物聯網功耗的未來研究范圍。

這項研究的意義告訴采用者（作物生產者）、研究人員和精準農業從業者，精益和綠色框架在很大程度上是由基于物聯網傳感器的精準農業解決方案中的成本和電力問題驅動的。

圖：用于精準農業應用的物聯網(IoT)無線傳感器框架

1 引言

1.1 背景

基于氮磷肥施用量的增加趨勢，美國中西部地區的玉米和大豆生產存在經濟和環境問題（USDA NASS Indiana，2019 年）。運營成本和燃料消耗成本隨著勞動生產率的下降而增加，導致農場凈收入下降（USDA NASS Indiana，2019）。因此，可以通過采用精準農業應用（可變灌溉、可變施肥、基于分析和用于農機導航的遠程信息處理），以改善農業運營和凈盈利能力。然而，DeBoer & Erickson（2019 年）指出，可變肥料 (39 %)、可變農藥 (8 %)、可變灌溉 (4 %)、基于云的數據分析 (21 %) 的采用率較低于美國中西部作物生產者中的遠程信息處理（10%）。這些障礙包括運營成本、功耗要求、通信范圍限制、數據延遲、數據可擴展性、數據存儲、數據處理和數據互操作性，這些在文獻中得到強調（Jawad 等人，2017；Ruan 等人，2019）。本論文探討并定義了與采用基于物聯網的精準農業實踐障礙相關的決策變量之間的關系，基于與 SME (N=18) 的重點小組訪談 (n=3)。這些中小企業包括數字農業從業者（農民）和無線通信技術專家。對 SME 反饋進行內容分析，以使用解釋性結構建模開發理論框架。這一理論框架為普渡大學物聯網傳感器測試臺研究人員的行動提供了依據，以經驗驗證該框架。這項研究的意義填補了利益相關者之間的知識空白。

1.2 問題陳述

美國中西部地區的作物生產一直面臨著日益嚴重的環境和經濟可持續性問題。從經濟可持續性表現的角度來看，包括燃料費用在內的總運營成本有所增加，隨后勞動生產率和農場凈收入下降。投入（尤其是化肥、殺蟲劑、勞動力和農業機械）未優化使用的影響導致運營成本增加，而產量和農場凈收入幾乎沒有增加（USDA NASS，2019 年）。生產者可以在智能灌溉、智能施肥、監測作物病害等精準農業應用的背景下采用精益和綠色實踐，即盈利能力（投資回報）??、運營成本降低、危險廢物減少、交付績效和整體生產力和農機導航以提高產量和降低成本（Fountas 等人 2005 年；Schimmelpfennig.D. 2016 年；Say 等人 2018 年）。盡管如此，中西部作物生產者對基于物聯網的精準農業實踐的采用率仍然很低（DeBoer & Erickson., 2019）。障礙包括運營成本、功耗要求、通信范圍限制、數據延遲、數據可擴展性、數據存儲、數據處理和數據互操作性（Jawad 等人，2017 年；Ruan 等人，2019 年）。因此，本研究了解精益和綠色方法對物聯網的障礙。

1.3 研究范圍

本研究的范圍，通過物聯網 (IoT) 基于無線傳感器的精準農業技術在中西部（印第安納州）地區的作物生產者中探索精益和綠色實踐，以實現強勁的經濟和環境可持續性表現。本研究中進行的結構化文獻綜述的范圍僅限于美國中西部（印第安納州）地理區域。該研究的重點是回答當前對基于物聯網無線傳感器的精準農業技術（智能灌溉、智能施肥、監測作物病害和農機導航）的問題的采用和理解，以用于精益和綠色農業生產的采用和部署。基于物聯網無線傳感器數據管道中涉及的決策變量以及通過解釋結構建模 (ISM) 的每個變量之間的關系，研究結果和成果側重于填補知識空白。本論文還通過基于物聯網無線傳感器的精準農業應用，以及行動研究部署的比較和 ISM 框架模型的實證測試，推薦了專注于精益綠色采用的解決方案。

1.4 研究意義

研究結果填補了在了解作物生產者采用物聯網精準農業系統的決策障礙方面的知識空白。 ISM 模型描述了實際決策之間的關系，在基于物聯網無線傳感器的數據管道部署中具有重要意義。 SME 內容分析為普渡農學研究與教育中心 (ACRE) 測試平臺部署提供了信息，隨后為緩解這些障礙而進行的重新部署提高了物聯網測試平臺的性能。

研究問題：

1. 印第安納州大田作物生產背景下的精益和綠色實踐是什么？

2. 從印第安納州大田作物生產者采用精準農業技術的障礙是什么？

3. 如何在物聯網 (IoT) 無線傳感器框架中開發精益和綠色方法，以提高印第安納州大田作物生產者對精準農業技術的采用？

1.5 假設

1. SME 的知識和焦點小組半結構化訪談中提供的信息假定沒有個人偏見。

2. 半結構化訪談問卷包含從結構化文獻回顧和主題分析中提出的問題，適合告知數字農業研究人員、從業者、精準農業技術人員和作物生產者采用精益和綠色精準農業應用程序。

3. 擬議的研究假設定性焦點小組訪談方法采用歸納形式的邏輯。

4. 根據精準農業物聯網 (IoT) 領域參與者的專業知識，采用有目的的抽樣方法；焦點小組的分類基于以下假設：他們各自領域的專業知識與實時數據物聯網框架的不同層（感知、通信和應用）相關。

5. 傳遞性是解釋性結構建模中的基本假設，即如果變量 X 影響 Y 并且 Y 影響 Z 則 X 將傳遞影響 Z。這意味著 X 通過一個或多個變量與 Z 相關。

6. 假設研究人員參與了行動研究方法并有權通過系統調查進行改進。

7. 本研究中的方差分析（ANOVA）方法假設了數據樣本的正態性、方差齊性和獨立性的基本假設。

1.6 局限型

1. 擬議的研究在本質上是定性的，并承認研究人員在數據收集過程中的存在，這是不可避免的。

2. 由于焦點小組訪談的性質，一個基本的限制限制了研究結果的普遍性。

3. 由于本研究的預算和時間限制，焦點小組僅限于 3 次訪談，每次訪談 6 名參與者。

4. 調查結果的特點是定性研究的嚴謹性。然而，來自 NVIVO 12 軟件的編碼數據的統計分析可用于為未來的實證研究制定扎實的理論和假設。

5. 參與者的匿名性和保密性可能會在展示調查結果時出現問題。已采取措施為參與者保密。

6. 定性行動研究方法的基本局限是缺乏可重復性和嚴謹性。然而，通過對定性研究結果的經驗測試和驗證來克服這一限制。

7. 研究中進行的相關性分析描述了兩個變量之間的關系，并不暗示因果關系。相關分析也不能描述曲線關系。

8. 所采用的方差分析和回歸對異常值敏感，只考慮線性關系。

1.7 界定

1. 研究的地理背景劃定在美國中西部的印第安納地區。

2. 確定的精益和綠色障礙或決策變量是在基于物聯網 (IoT) 的精準農業實踐無線傳感器框架的背景下界定的。

3. 為本研究選擇的參與者基于物聯網精準農業框架（感知（傳感器）層、通信層（無線網關技術）、數據處理和應用層（數據存儲和處理 API））的專業知識。

4. 由于精準農業物聯網框架領域可用的專業知識有限，抽樣是有目的地劃定的。

5. 本研究的性質本質上是探索性的，因此本研究提出的理論框架以及假設的結構較少；

6. 部署的物聯網傳感器實時數據的統計分析被劃分為一個生長季節和季節性樹冠生長前后各一天的時間間隔。

圖：初步部署ACRE物聯網(IoT)數據管道

圖：重新部署ACRE物聯網(IoT)數據管道

圖：ISM模型、行動研究、部署結果的驗證

來源| Cambridge
編輯| 專知翻譯整理

人工智能 (AI) 正處于推動農業革命的風口浪尖，并幫助應對以可持續方式養活不斷增長的全球人口的挑戰。但研究人員警告說，大規模使用新的人工智能技術會帶來巨大的風險（網絡攻擊，土壤侵蝕，性別、階級和種族歧視等），而這些風險并未得到考慮

01 研究成果在【Nature Machine Intelligence】發表

標題

Responsible artificial intelligence in agriculture requires systemic understanding of risks and externalities

作者

Asaf Tzachor, Medha Devare, Brian King, Shahar Avin & Seán ó héigeartaigh

摘要

農業有望從人工智能 (AI) 技術的快速發展和傳播中受益。農業中的人工智能可以通過植物表型分析、植物病害的快速診斷、農用化學品的有效應用以及為種植者提供與位置相關的農藝建議來幫助改善作物管理和農業生產力。然而，機器學習 (ML) 模型、專家系統和自動機器對農場、農民和糧食安全的影響卻知之甚少，也未得到充分重視。在這里，我們考慮了農業中人工智能的系統性風險因素。即，我們審查與農業數據的互操作性、可靠性和相關性有關的風險，以及針對產量優化的 ML 模型導致的意外社會生態后果，以及與大規模部署 ML 平臺相關的安全問題。作為回應，我們建議采取降低風險的措施，包括邀請農村人類學家和應用生態學家參與技術設計過程，應用負責任和以人為本的創新框架，建立數據合作社以提高數據透明度和所有權，以及初步部署農業數字沙箱中的人工智能。

paper

//www.nature.com/articles/s42256-022-00440-4.pdf

結論

• 人工智能在農業中的廣泛部署既有價值又值得期待。盡管如此，農業技術現代化的歷史強烈表明，專注于提高生產力會帶來潛在風險，包括加劇不平等和生態退化。農業人工智能必須避免先前技術的陷阱，并通過實施全面的風險評估和預期治理協議來仔細導航和改善其困境。

• 從數據收集和管理到開發和部署，負責任和參與性人工智能的一般原則應針對當地和全球范圍內農業面臨的不同挑戰進行調整。如果不這樣做，可能會忽視營養不安全、勞動力剝削和環境資源枯竭的驅動因素，從而使這些驅動因素長期存在。

• 盡管之前的失誤，農業技術現代化取得了很大成就。過去的成功也應該為農業專家系統和智能機器的使用提供信息和啟發。因此，必須對創新采取平衡的方法，并且風險評估和負責任的研發程序不會扼殺對人類福祉如此重要的系統中的創新。

• 最后，這里討論的新興風險格局也適用于提供非食品產品的農業系統；因此，在纖維、燃料、紙漿、紙張、油、樹脂、化妝品、橡膠和塑料的生產中應考慮采用類似的方法。

02 成果解讀

想象一片延伸到地平線的麥田，正在種植面粉，面粉將被制成面包，為城市的人們提供食物。想象一下，耕種、種植、施肥、監測和收割這片土地的所有權力都被委托給了人工智能：控制滴灌系統、自動駕駛拖拉機和聯合收割機的算法，足夠聰明，可以對天氣和確切需求做出反應的作物。然后想象一個黑客把事情搞砸了。

發表在《Nature Machine Intelligence》雜志上的一項新的風險分析警告說，未來在農業中使用人工智能會給農場、農民和糧食安全帶來巨大的潛在風險，而這些風險卻鮮為人知。 “智能機器經營農場的想法不是科幻小說。大公司已經在開創下一代自主農業機器人和決策支持系統，將在該領域取代人類，”劍橋大學存在風險研究中心 (CSER) 的 Asaf Tzachor 博士說，他是該研究的第一作者。

“但到目前為止，似乎沒有人問過‘農業人工智能的快速部署是否存在任何風險？’”他補充道。

作者認為，盡管人工智能在改善作物管理和農業生產力方面有著巨大的前景，但必須負責任地解決潛在風險，并在實驗環境中對新技術進行適當測試，以確保它們是安全的，并能防止意外故障、意外后果和網絡攻擊。

在他們的研究中，作者提出了在負責任地開發農業人工智能時必須考慮的風險目錄以及解決這些風險的方法。在其中，他們警告網絡攻擊者可能會通過使用人工智能、毒化數據集或關閉噴霧器、自主無人機和機器人收割機來破壞商業農場。為了防止這種情況，他們建議“白帽黑客”幫助公司在開發階段發現任何安全漏洞，從而保護系統免受真正的黑客攻擊。

在與意外失敗相關的情況下，作者建議，一個僅在短期內提供最佳作物產量的人工智能系統可能會忽略實現這一目標的環境后果，從而導致長期過度使用化肥和土壤侵蝕。為追求高產而過度使用殺蟲劑可能會毒害生態系統；過量施用氮肥會污染土壤和周圍的水道。作者建議讓應用生態學家參與技術設計過程，以確保避免這些情況。

自動機器可以改善農民的工作條件，減輕他們的體力勞動。但如果沒有包容性的技術設計，目前在全球農業中根深蒂固的社會經濟不平等——包括性別、階級和種族歧視——將依然存在。

“不考慮勞動力投入復雜性的專家人工智能農業系統將忽視并可能維持對弱勢社區的剝削，”Tzachor 警告說。

各種農業機器人和先進機械，如無人機和傳感器，已經用于收集作物信息并支持農民的決策：例如檢測疾病或灌溉不足。自動駕駛聯合收割機無需人工操作即可收割莊稼。這種自動化系統旨在提高農業生產效率、節省勞動力成本、優化生產并最大限度地減少損失和浪費。這導致農民收入增加以及對農業人工智能的更大依賴。

然而，在全球范圍內種植大部分農場并為所謂的全球南方大片地區提供食物的小規模種植者可能會被排除在與人工智能相關的利益之外。邊緣化、互聯網普及率低和數字鴻溝可能會阻止小農使用先進技術，從而擴大商業農民和自給農民之間的差距。

估計有 20 億人受到糧食不安全的困擾，其中包括約 6.9 億營養不良和 3.4 億兒童缺乏微量營養素，面對氣候變化和全球人口不斷增長，人工智能技術和精準農業有望為糧食和營養安全帶來巨大好處。

“人工智能被譽為革新農業的方式。當我們大規模部署這項技術時，我們應該密切考慮潛在風險，并力求在技術設計的早期就減輕這些風險，”CSER 執行董事兼新研究的合著者 Seán ó héigeartaigh 博士說。

這項研究由 Templeton World Charity Foundation, Inc. 資助。

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

摘要

本文綜述了遷移學習在強化學習問題設置中的應用。RL已經成為序列決策問題的關鍵的解決方案。隨著RL在各個領域的快速發展。包括機器人技術和游戲，遷移學習是通過利用和遷移外部專業知識來促進學習過程來幫助RL的一項重要技術。在這篇綜述中，我們回顧了在RL領域中遷移學習的中心問題，提供了一個最先進技術的系統分類。我們分析他們的目標，方法，應用，以及在RL框架下這些遷移學習技術將是可接近的。本文從RL的角度探討了遷移學習與其他相關話題的關系，并探討了RL遷移學習的潛在挑戰和未來發展方向。

關鍵詞：遷移學習，強化學習，綜述，機器學習

介紹

強化學習(RL)被認為是解決連續決策任務的一種有效方法，在這種方法中，學習主體通過與環境相互作用，通過[1]來提高其性能。源于控制論并在計算機科學領域蓬勃發展的RL已被廣泛應用于學術界和工業界，以解決以前難以解決的任務。此外，隨著深度學習的快速發展，應用深度學習服務于學習任務的集成框架在近年來得到了廣泛的研究和發展。DL和RL的組合結構稱為深度強化學習[2](Deep Reinforcement Learning, DRL)。

DRL在機器人控制[3]、[4]、玩[5]游戲等領域取得了巨大的成功。在醫療保健系統[6]、電網[7]、智能交通系統[8]、[9]等領域也具有廣闊的應用前景。

在這些快速發展的同時，DRL也面臨著挑戰。在許多強化學習應用中，環境模型通常是未知的，只有收集到足夠的交互經驗，agent才能利用其對環境的知識來改進其性能。由于環境反饋的部分可觀察性、稀疏性或延遲性以及高維觀察和/或行動空間等問題，學習主體在沒有利用任何先驗知識的情況下尋找好的策略是非常耗時的。因此，遷移學習作為一種利用外部專業知識來加速學習過程的技術，在強化學習中成為一個重要的課題。

在監督學習(SL)領域[10]中，TL得到了廣泛的研究。與SL場景相比，由于MDP環境中涉及的組件更多，RL中的TL(尤其是DRL中的TL)通常更復雜。MDP的組件(知識來自何處)可能與知識轉移到何處不同。此外，專家知識也可以采取不同的形式，以不同的方式轉移，特別是在深度神經網絡的幫助下。隨著DRL的快速發展，以前總結用于RL的TL方法的努力沒有包括DRL的最新發展。注意到所有這些不同的角度和可能性，我們全面總結了在深度強化學習(TL in DRL)領域遷移學習的最新進展。我們將把它們分成不同的子主題，回顧每個主題的理論和應用，并找出它們之間的聯系。

本綜述的其余部分組織如下:在第2節中，我們介紹了強化學習的背景，關鍵的DRL算法，并帶來了這篇綜述中使用的重要術語。我們還簡要介紹了與TL不同但又緊密相關的相關研究領域(第2.3節)。

在第3節中，我們采用多種視角來評價TL方法，提供了對這些方法進行分類的不同方法(第3.1節)，討論了遷移源和目標之間的潛在差異(第3.2節)，并總結了評價TL有效性的常用指標(第3.3節)。

第4節詳細說明了DRL領域中最新的TL方法。特別是，所討論的內容主要是按照遷移知識的形式組織的，如成型的獎勵(4.1節)、先前的演示(4.2節)、專家策略(4.3節)，或者按照轉移發生的方式組織的，如任務間映射(4.4節)、學習可轉移表示(4.5節和4.6節)等。我們在第5節討論了TL在DRL中的應用，并在第6節提供了一些值得研究的未來展望。

機器人研究的一個長期目標是創建能夠從零開始自動學習復雜控制策略的算法。將這種算法應用到機器人上的挑戰之一是表示的選擇。強化學習(RL)算法已經成功地應用于許多不同的機器人任務中，如帶有機器人手臂的cup中的Ball-in-a-Cup任務和各種機器人世界杯機器人足球啟發的領域。然而，RL算法仍然存在訓練時間長、所需訓練數據量大的問題。為狀態空間、行動空間和策略選擇合適的表示可以大大減少所需的訓練時間和所需的訓練數據。

本文主要研究機器人的深度強化學習。具體來說，狀態空間、動作空間和策略表示的選擇如何減少機器人學習任務的訓練時間和樣本復雜度。特別集中注意兩個主要領域: 1)通過張量狀態-動作空間表示 2)多狀態表示的輔助任務學習

第一個領域探索了在環境變化中改進機器人策略遷移的方法。學習策略的成本可能很高，但是如果策略可以在類似的環境中傳輸和重用，那么訓練成本可以平攤。遷移學習是一個被廣泛研究的領域，涉及多種技術。在這篇論文中，我們著重設計一個易于傳輸的表示。我們的方法將狀態空間和動作空間映射為多維張量，設計成當環境中機器人和其他對象的數量變化時保持固定維數。我們還提出了全卷積Q-Network (FCQN)策略表示，這是一種特殊的網絡架構，與張量表示相結合，允許跨環境大小進行零距離傳輸。我們在模擬的單代理和多代理任務上演示了這種方法，靈感來自于RoboCup Small - Size League (SSL)和Atari Breakout的修改版本。我們還表明，在真實世界的傳感器數據和機器人中使用這樣的表示和模擬訓練策略是可能的。

第二個領域考察了一個機器人深度RL狀態表示的優勢如何彌補另一個機器人深度RL狀態表示的劣勢。例如，我們經常想要利用機器人可用的傳感器來學習任務，其中包括像攝像機這樣的高維傳感器。最近的Deep RL算法可以通過圖像進行學習，但是數據的數量對于真實的機器人來說是難以接受的。或者，可以使用任務完成所需的最小集創建狀態。這樣做的好處是:1)減少策略參數的數量，2)刪除不相關的信息。然而，提取這些特征通常會在工程、額外硬件、校準和實驗室之外的脆弱性方面有很大的成本。我們在仿真和現實世界的多個機器人平臺和任務上演示了這一點。我們證明它在模擬的RoboCup小型聯賽(SSL)機器人上工作。我們還演示了這樣的技術允許在真實的硬件上從零開始學習，通過機器人手臂執行一個球在一個杯子的任務。

//www.ri.cmu.edu/publications/robot-deep-reinforcement-learning-tensor-state-action-spaces-and-auxiliary-task-learning-with-multiple-state-representations/

論文題目：Acquiring Diverse Robot Skills via Maximum Entropy Deep Reinforcement Learning

作者：Tuomas Haarnoja

導師：Pieter Abbeel and Sergey Levine

網址：
//www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-176.html

論文摘要：

在本文中，我們研究了最大熵框架如何提供有效的深度強化學習(deep reinforcement learning, deep RL)算法，以連貫性地解決任務并有效地進行樣本抽取。這個框架有幾個有趣的特性。首先，最優策略是隨機的，改進了搜索，防止了收斂到局部最優，特別是當目標是多模態的時候。其次，熵項提供了正則化，與確定性方法相比，具有更強的一致性和魯棒性。第三，最大熵策略是可組合的，即可以組合兩個或兩個以上的策略，并且所得到的策略對于組成任務獎勵的總和是近似最優的。第四，最大熵RL作為概率推理的觀點為構建能夠解決復雜和稀疏獎勵任務的分層策略提供了基礎。在第一部分中,我們將在此基礎上設計新的算法框架,從soft Q學習的學習表現力好的能量策略、對于 sodt actor-critic提供簡單和方便的方法,到溫度自動調整策略, 幾乎不需要hyperparameter調優,這是最重要的一個實際應用的調優hyperparameters可以非常昂貴。在第二部分中，我們將討論由最大熵策略固有的隨機特性所支持的擴展，包括組合性和層次學習。我們將演示所提出的算法在模擬和現實機器人操作和移動任務中的有效性。