北京時間 9 月 13 日午夜，OpenAI 發布 o1 系列模型，旨在專門解決難題。OpenAI o1 在數學、 代碼、長程規劃等問題上取得了顯著提升，而背后的成功最重要離不開后訓練階段 (Post-Training Stage) 中強化學習訓練和推理階段思考計算量的增大。新的擴展律 —— 后訓練擴展律（Post-Training Scaling Laws） 已經出現，并可能引發社區對于算力分配、后訓練能力的重新思考。

技術原理：

大規模強化學習算法 OpenAI 使用了一種大規模的強化學習算法，來訓練 o1-preview 模型。該算法通過高效的數據訓練，讓模型學會如何利用“思維鏈”（Chain of Thought）來生產性地思考問題。模型在訓練過程中會通過強化學習不斷優化其思維鏈，最終提升解決問題的能力。 OpenAI 發現，o1 模型的性能會隨著強化學習時間（訓練時計算量）和推理時間（測試時計算量）的增加而顯著提高。這種基于推理的訓練方式與傳統的大規模語言模型（LLM）預訓練方式不同，具有獨特的擴展性優勢。

o1 性能在訓練時間和測試時間的計算中都平穩提升思維鏈（Chain of Thought） o1-preview 模型通過 思維鏈推理 顯著增強了其在復雜推理任務中的能力。思維鏈的基本理念類似于人類思考困難問題的過程：逐步分解問題、嘗試不同策略并糾正錯誤。通過強化學習訓練，o1-preview 能夠在回答問題前進行深入思考，逐步細化步驟。 這種推理方式大幅提升了 o1-preview 在復雜任務中的表現。例如，o1-preview 能夠通過思維鏈識別問題中的關鍵步驟并逐步解決。這種推理模式特別適用于需要多步驟推理的任務，如復雜的數學問題或高難度編程任務。 舉例說明： * 在某些復雜問題上，o1-preview 能夠逐步打破問題的難點，最終找到正確解答。這與人類面對挑戰性問題時逐步分析的思維方式非常相似。

中文版：

您的Python代碼可能運行正常，但如果您需要它運行得更快呢？這本實用的書籍將向您展示如何找到性能瓶頸并顯著加快高數據量程序中的代碼運行速度。通過解釋設計選擇背后的基本理論，這本擴展版的《高性能Python》幫助有經驗的Python程序員更深入地理解Python的實現。

根據項目工作計劃，本進度報告概述了項目第二年開展的技術活動。更具體地說，它包括

• 回顧全偏振三維InISAR 算法及其通過偽代碼的實現。

• 3D InISAR 算法的性能分析。在這方面，提出并比較了兩種不同的方法，即基于相干的方法和基于跨度的方法。利用模擬數據和真實數據強調了這兩種方法的優缺點。事實上，模擬數據可以對三維重建精度進行數值量化，但也有一定的局限性，因為模擬數據無法忠實再現不同角度下的偏振目標散射機制。另一方面，真實數據是真實的（即使是在受控幾何條件下獲取的），但不能用于對重建精度進行數值量化。

• 兩種 ATR 算法的設計和初步實施（用于初步驗證），將在項目的第三年進行全面測試。

圖 2.1： 使用基于 Pol-InISAR 的擬議方法進行三維目標形成的總體框圖。

該項目正在按照工作計劃進行。提出并比較了利用全偏振數據估算目標高度的兩種方法。通過定義合適的指標，對已實施的方法進行了仔細深入的分析。結果表明，與單偏振算法相比，在形成三維 InISAR 圖像時使用偏振信息非常有效。這些算法在模擬數據和真實數據上都進行了測試。通過模擬數據，我們可以對所建議方法的準確性進行數值量化。真實數據證明了算法在真實數據上的有效性，并證明了基于 SPAN 的算法相對于基于相干性的算法的局限性。最后，我們提出并初步實施了兩種 ATR 算法，以驗證其可行性。其中一個屬于模板匹配方法的分支，第二個屬于機器學習的分支。這項工作將繼續進行，最終實施和完善分類算法及其性能評估。

**本文對OpenAI的ChatGPT[1]在機器人應用中的使用進行了實驗研究。**本文概述了一種策略，將prompt工程的設計原則和高級函數庫的創建相結合，使ChatGPT能夠適應不同的機器人任務、模擬器和形狀因素。重點評估了不同的提示工程技術和對話策略對執行各種類型的機器人任務的有效性。探討了ChatGPT使用自由形式對話、解析XML標簽和合成代碼的能力，以及使用特定任務的提示函數和通過對話進行閉環推理的能力。**本文研究涵蓋了機器人領域的一系列任務，從基本的邏輯、幾何和數學推理一直到復雜的領域，如空中導航、操縱和具身智能體。**ChatGPT可以有效地解決其中的幾個任務，同時允許用戶主要通過自然語言指令與之交互。此外，本文還介紹了一個名為PromptCraft的開源研究工具，其中包括一個研究人員可以協作上傳并投票的機器人應用程序的良好提示方案示例的平臺，以及一個集成ChatGPT的機器人模擬器示例，使用戶更容易開始使用ChatGPT機器人。

自然語言處理(NLP)的快速發展導致了大型語言模型(LLMs)的發展，如BERT[2]、GPT-3[3]和Codex[4]，這些模型正在對廣泛的應用程序進行革命。這些模型在文本生成、機器翻譯和代碼合成等各種任務中都取得了顯著的效果。這個模型集合的最新成員是OpenAI ChatGPT[1]，這是一個預訓練的生成文本模型，使用人類反饋進行了微調。與以前主要基于單個提示符操作的模型不同，ChatGPT通過對話提供了特別令人印象深刻的交互技能，結合了文本生成和代碼合成。我們在本文中的目標是研究ChatGPT的能力是否以及如何推廣到機器人領域。我們將ChatGPT的功能擴展到機器人領域，并使用語言直觀地控制了多個平臺，如機器人手臂、無人機和家庭助理機器人。

你有沒有想過用你自己的語言告訴機器人該做什么，就像你對人類做的那樣?如果只是告訴你的家庭機器人助手:“請把我的午餐熱一下”，然后讓它自己找到微波爐，這不是很神奇嗎?盡管語言是我們表達意圖最直觀的方式，但我們仍然嚴重依賴手寫代碼來控制機器人。我們的團隊一直在探索如何改變這一現實，并使用OpenAI的新AI語言模型ChatGPT使自然的人-機器人交互成為可能。

ChatGPT是一個在大量文本和人類交互語料庫上訓練的語言模型，它可以對各種各樣的提示和問題生成連貫且語法正確的回答。我們這項研究的目標是看看ChatGPT是否能超越文本思考，并對物理世界進行推理，以幫助機器人任務。我們希望幫助人們更容易與機器人互動，而不需要學習復雜的編程語言或機器人系統的細節。這里的關鍵挑戰是教ChatGPT如何解決問題，考慮物理定律，操作環境的上下文，以及機器人的物理行為如何改變世界的狀態。

近年來，在將語言納入機器人系統方面有不同的嘗試。這些工作主要集中在針對特定形式因素或場景使用語言token嵌入模型、LLM特征和多模態模型特征。應用范圍從視覺-語言導航[5,6]，基于語言的人機交互[7,8]和視覺-語言操作控制[9,10,11]。然而，盡管在機器人中使用LLMs有潛在的優勢，但大多數現有方法都受到嚴格的范圍和有限的功能集的限制，或其開環性質的限制，不允許從用戶反饋中進行流動交互和行為糾正。當被要求進行高層智能體規劃[12,13]或代碼生成[14,15]時，GPT-3、LaMDA和Codex等模型也在零樣本機器人場景中顯示出希望。這些早期的演示啟發我們研究ChatGPT，將其作為機器人領域的一個潛在的更多功能的工具，因為它結合了自然語言和代碼生成模型的優勢以及對話的靈活性。ChatGPT能夠參與自由形式的對話和捕獲長上下文，允許用戶以更自然的方式與模型交互，并靈活地進行行為矯正。

本文旨在展示ChatGPT在機器人應用中的潛力。我們概述了一個關鍵概念，它解鎖了用ChatGPT解決機器人應用程序的能力，這是創建一個高級函數庫。由于機器人是一個多樣化的領域，存在多種平臺、場景和工具，因此存在各種各樣的庫和api。我們創建了一個簡單的高級函數庫供ChatGPT處理，然后可以在后端鏈接到所選平臺的實際API，而不是要求LLM輸出特定于平臺或庫的代碼，這可能涉及大量的微調。因此，我們允許ChatGPT從自然對話框中解析用戶意圖，并將其轉換為高級函數調用的邏輯鏈。本文還概述了一些幫助ChatGPT解決機器人任務的提示工程指南。

事實證明，ChatGPT本身可以做很多事情，但它仍然需要一些幫助。我們的技術論文描述了一系列設計原則，可用于指導語言模型解決機器人任務。這些包括但不限于特殊的提示結構、高級API和通過文本的人工反饋。我們相信，我們的工作只是我們如何開發機器人系統的轉變的開始，我們希望激勵其他研究人員進入這個令人興奮的領域。繼續閱讀有關我們的方法和想法的更多技術細節。

當今機器人技術的挑戰，以及ChatGPT如何提供幫助

機器人系統與純文本應用不同，需要對現實世界的物理、環境上下文和執行物理動作的能力有深刻的理解。一個生成式機器人模型需要有一個強大的常識知識和一個復雜的世界模型，以及與用戶交互的能力，以物理上可行的方式解釋和執行命令，在現實世界中有意義。這些挑戰超出了語言模型的原始范圍，因為它們不僅必須理解給定文本的含義，還必須將意圖翻譯為物理動作的邏輯序列。

當前的機器人管道從工程師或技術用戶開始，他們需要將任務需求轉換為系統的代碼。工程師在循環中，這意味著他們需要編寫新的代碼和規范來糾正機器人的行為。總的來說，這個過程是緩慢的(用戶需要編寫低級代碼)，昂貴的(需要具有深度機器人知識的高技能用戶)，并且低效的(需要多次交互才能讓事情正常工作)。

ChatGPT開啟了一種新的機器人范式，并允許(潛在的非技術)用戶參與循環，在監視機器人性能的同時向大型語言模型(LLM)提供高級反饋。通過遵循我們的設計原則，ChatGPT可以為機器人場景生成代碼。在沒有任何微調的情況下，我們利用LLM的知識來控制不同的機器人形狀，以完成各種任務。在我們的工作中，我們展示了多個ChatGPT解決機器人難題的示例，以及在操作、空中和導航領域的復雜機器人部署。 ChatGPT機器人技術:設計原則

LLMs是一門高度經驗主義的科學。通過反復試驗，我們建立了一套方法和一套設計原則，用于為機器人任務編寫提示:

首先，我們定義一組高級機器人api或函數庫。這個庫可以特定于特定的機器人，并且應該映射到機器人的控制棧或感知庫中的現有底層實現。對高級api使用描述性的名稱非常重要，這樣ChatGPT可以推斷它們的行為; * 接下來，我們為ChatGPT編寫一個文本提示，它描述了任務目標，同時也明確說明了高級庫中的哪些函數可用。提示符還可以包含關于任務約束的信息，或者ChatGPT應該如何形成它的答案(使用特定的編碼語言，使用輔助解析元素); * 用戶停留在循環中來評估ChatGPT的代碼輸出，要么通過直接檢查，要么使用模擬器。如果需要，用戶可以使用自然語言向ChatGPT反饋答案的質量和安全。 * 當用戶對解決方案感到滿意時，就可以將最終代碼部署到機器人上。

ChatGPT到底能做什么?

零樣本任務規劃

我們讓ChatGPT訪問控制真正無人機的功能，事實證明，它是非技術用戶和機器人之間非常直觀的基于語言的界面。當用戶的指示模棱兩可時，ChatGPT會提出澄清性問題，并為無人機編寫復雜的代碼結構，如z字形模式以視覺檢查貨架。它甚至學會了自拍!???? 我們還在使用Microsoft AirSim模擬器的模擬工業檢測場景中使用ChatGPT。該模型能夠有效地解析用戶的高層意圖和幾何線索，從而準確地控制無人機。

循環中的用戶:當一個復雜的任務需要對話時

接下來，我們將ChatGPT用于機器人手臂的操作場景。我們使用對話反饋來教模型如何將最初提供的API組合成更復雜的高級函數:ChatGPT自己編碼。通過使用基于課程的策略，該模型能夠將這些學習到的技能邏輯地鏈接在一起，以執行堆疊積木等操作。 此外，當任務是用木塊構建微軟標志時，該模型展示了一個連接文本和物理域的有趣示例。它不僅能夠從其內部知識庫中回憶徽標，還能夠“繪制”徽標(作為SVG代碼)，然后使用上述學到的技能來確定現有的機器人動作可以組成其物理形式。

接下來，我們委托ChatGPT編寫一個算法，使無人機在不撞到障礙物的情況下在太空中達到目標。我們告訴模型，這架無人機有一個面向前方的距離傳感器，ChatGPT立即為算法編寫了大多數關鍵的構建模塊。這項任務需要與人類進行一些對話，我們對ChatGPT僅使用語言反饋進行本地化代碼改進的能力印象深刻。

感知-行動循環:機器人在行動之前感知世界

在做某事(行動)之前感知世界(感知)的能力是任何機器人系統的基礎。因此，我們決定測試ChatGPT對這個概念的理解，并讓它探索一個環境，直到找到用戶指定的對象。我們允許模型訪問諸如對象檢測和對象距離API等函數，并驗證了它生成的代碼成功地實現了感知-動作循環。在實驗角色中，我們運行了額外的實驗來評估ChatGPT是否能夠根據傳感器實時反饋來決定機器人應該去哪里(而不是讓ChatGPT生成一個代碼循環來做出這些決定)。有趣的是，我們驗證了我們可以在每一步將相機圖像的文本描述輸入到聊天中，并且該模型能夠弄清楚如何控制機器人，直到它到達特定的對象。

最近量子優勢的展示使我們完全進入了含噪、中尺度量子（NISQ）設備的時代。盡管如此，目前仍不清楚哪些問題最適合于量子加速。在這份報告中，我們描述了博思艾倫-漢密爾頓公司量子研究團隊在區分量子計算機在哪些方面可以比經典計算更有優勢方面取得的進展。我們通過三個基本問題探索量子算法在哪些方面可以加速重要的經典方法：

(1) 哪些重要算法的常見子程序可以通過量子計算變得更有效率？

(2) 什么時候可以完全避免這些常見的子程序？

(3) 什么時候我們對經典算法的了解太有限而存在更好的經典子程序？

我們通過探索以下三個研究課題來研究這些問題：

(a) 首先，我們研究在局部查詢模型中尋找標記狀態的量子行走算法。

(b) 其次，我們利用蒙特卡洛技術模擬各種量子哈密爾頓，研究已知的對經典計算機的阻礙。

(c) 最后，我們探索量子線性系統問題（QLSP）的近期可實施的量子算法。

我們對(a)和(b)項的研究是以純理論研究的方式進行的，而對(c)項則是以理論和計算的方式進行。對于(a)項，我們已經找到了可以推進量子步行算法的方法，以利用純粹的局部查詢來探索任意的、未知的空間，同時也采用了非常新的技術來加速解決布爾可滿足性（和優化）問題。對于(b)項，我們引入了一種新的經典的準分子時間算法來處理由于特定量子態的??1和??2規范之間的指數分離而產生的障礙。對于(c)，我們目前正在開發代碼以在Qiskit中實現QLSP，同時也在研究改進Lin和Tong最近的進展的漸近擴展的可能性。

我們將分別介紹這些研究工作，并指定章節介紹其方法和結果。這三項工作的結論以及它們的總體主題將一起提出。此外，通過履行該合同，博思艾倫公司為AFRL的實驗小組提供了廣泛的支持，包括LaHaye超導qubit實驗室和Soderberg-Tabakov Ytterbium（Yb）離子誘捕工作。

避免碰撞是保證地球空間安全和效率的關鍵任務之一。這項工作研究了用于避免碰撞的結合體的檢測和分辨率，并開發了一種基于三維球體的動態沃洛尼圖（DVD）預測結合體的算法。我們已經成功開發、實施并測試了三維球體的DVD算法。然后，我們在DVD算法的基礎上，開發并實施了COOP2（連合軌道物體預測和規劃器）算法/程序。COOP2顯示了一種被證明的數學能力，可以檢測到所有的結點，沒有任何遺漏的情況。使用從韓國航空航天研究所（KARI）獲得的TLE數據測試了COOP2，其中包括以下五顆韓國衛星的軌道運動：KOMPSAT-2、KOMPSAT-3、KOMPSAT-3A和KOMPSAT-5。開發了COOP2的高級功能，在給定檢測到的會合時，通過使用存儲在COOP-HSTRY文件中的事件歷史快速評估備選方案，產生最佳機動計劃。用無人機群驗證了COOP2算法和程序的正確性和性能。假設飛行一個無人機群，每個無人機在三維空間中遵循自己的路徑。在這種情況下，就像駐地空間物體（RSO）一樣，能夠使用COOP2程序來生成所有無人機的無碰撞飛行路徑，這樣算法/程序的性能和正確性就可以得到驗證和確認。

簡介

有許多人造的常駐空間物體（RSO）在地球軌道上運行。截至2019年1月，自1957年以來，超過5400次火箭發射（不包括失敗），將約8950顆衛星送入地球軌道：約5000顆衛星留在軌道上，包括約1950顆運行中的衛星。歐洲航天局（ESA）估計約有34,000個尺寸大于10厘米的碎片，約有90萬個尺寸為1~10厘米的碎片，1.28億個尺寸為1毫米~1厘米的碎片[1] 。由于意外的衛星碰撞（例如2009年銥星33號和宇宙2251號之間的碰撞；產生了>2,000個編目碎片）、計劃中的反衛星導彈試驗、新的衛星發射等，這個數字將迅速增加。

其中，反衛星（ASAT）導彈試驗將是產生碎片的主要原因，我們在圖1（a-f）中匯編了一些與反衛星有關的歷史事件。世界上第一次反衛星導彈試驗是在1970年2月由蘇聯對一個特殊的目標航天器DS-P1-M進行的。美國于1985年9月13日完成了針對伽馬射線光譜學衛星Solwind P78-1的首次成功的反衛星導彈試驗。這次試驗產生了285塊編入目錄的軌道碎片。2008年2月21日，美國海軍摧毀了發生故障的美國間諜衛星USA-193[10]，2015年11月18日，俄羅斯的直接升空反衛星導彈的飛行試驗[11]，以及2019年3月27日，印度的試驗。

圖1. 反衛星試驗的例子。

(a) 蘇聯的目標衛星(DS-P1-M)，用于蘇聯在1970年2月完成的世界上第一次成功攔截衛星[2]。在1967年10月27日和1968年4月28日分別進行了第一次和第二次測試后，對特殊的目標航天器DS-P1-M進行了多次測試。第一次成功的測試（第二次總體）取得了32次命中（每次可穿透100毫米的裝甲）[3]。

(b)1985年9月13日美國首次成功的反衛星導彈試驗的美國目標衛星(Solwind P78-1)。Solwind P78-1是一顆1979年發射的伽馬射線光譜學衛星，在525公里處運行[4]。其主要目的是研究太陽風，以及其他事項。一架攜帶導彈的F-15飛機從愛德華茲空軍基地起飛，爬升到11613米（38100英尺），并向Solwind P78-1垂直發射導彈。這次試驗產生了285塊編入目錄的軌道碎片。1塊碎片至少到2004年5月還在軌道上[5]，但到2008年已經脫離軌道[6]。

(c)2007年1月11日，已停用的中國氣象衛星FY-1C被摧毀后產生的碎片的已知軌道平面[7]（為提高能見度夸大了軌道）。據報道，這次破壞是由一枚SC-19 ASAT（反衛星武器）導彈完成的，其動能殺傷彈頭的概念與美國的Exoatmospheric Kill Vehicle相似。FY-1C是一顆氣象衛星，在極地軌道上圍繞地球運行，高度約為865公里（537英里）。

(d)2006年12月14日發射的美國間諜衛星(USA-193)，在2008年2月21日被美國海軍使用艦載RIM-161標準導彈3摧毀。USA-193的毀滅產生了174塊軌道碎片，美國軍方對這些碎片進行了編目[10]。雖然這些碎片大部分在幾個月內重新進入地球大氣層，但有幾塊碎片由于被拋入更高的軌道而持續的時間稍長。最后一塊USA-193的碎片直到2009年10月28日才重新進入地球[10]。

(e)俄羅斯的反衛星導彈（PL-19 Nudol）。據稱，俄羅斯的直接升空反衛星導彈，即PL-19 Nudol，于2015年11月18日成功進行了飛行試驗[11]。

(f)印度在2019年3月27日進行的名為Mission Shakti的直接升空反衛星武器試驗的分析和碎片模擬[12]。攔截器能夠在低地球軌道（LEO）300公里（186英里）的高度上打擊一顆試驗衛星，從而成功地測試了其反衛星導彈。該攔截器于UTC時間5:40左右在奧迪沙省昌迪普爾的綜合試驗場（ITR）發射，168秒后擊中其目標Microsat-R。這次撞擊產生了400多塊軌道碎片，其中24塊的遠地點高于國際空間站的軌道[13][14]。

還應注意地球空間中部署的小型衛星的數量增加。近年來，部署航天器的趨勢是更多、更小、更低成本的民用航天器，而不是少數、大型、昂貴的政府航天器[15]。例如，SpaceX獲準為其Starlink項目向低地球軌道發射12,000顆衛星，該項目是一個由數千顆大規模生產的小衛星組成的衛星群（圖2）。

這些不斷增加的空間物體，特別是在低地球軌道（LEO），大大加快了空間物體之間的碰撞風險[16]，這也是凱斯勒綜合癥（也稱為碰撞級聯）所暗示的[17]。我們最近觀察到一個可能導致低地軌道災難的大事件：2020年1月29日23:39:35 UTC，兩顆失效的衛星，1983年發射的IRAS（紅外天文衛星）和1967年發射的GGSE-4（重力梯度穩定實驗4）幾乎失事（圖3）[18]。

由于RSO的運動速度很高，如果迎面撞上，速度可達16公里/秒，空間物體之間的碰撞可能是災難性的。為了更好地防止物體之間的意外結合和碰撞，并為未來保護地球空間，特別是低地軌道，有必要有一種方法來預測和防止碰撞，并最終開發出空間交通管理（STM）系統。隨著地球空間更加商業化，如亞軌道太空旅游和/或商業個人航天飛行的預期普及，STM將變得越來越重要[19, 20]。由于預測和預防RSO之間的碰撞/連接是STM中最關鍵的問題之一[21, 22]，所以對軌道上所有可觀察到的RSO進行探測、跟蹤、識別、編目等，總稱為太空態勢感知（SSA），是必要的。確保一個完美的SSA既昂貴又復雜。由美國戰略司令部（USSTRATCOM）維護的聯合空間作業中心（JSpOC）是一個很好的資源[23]。

會合預測的價值是顯而易見的，因為如果正確預測了會合，就可以計劃和執行RSO的避撞規避機動。在可能的情況下，可能需要通過評估每個假設的機動對未來會合的影響來確定或設計一個最佳機動路徑。這個優化問題的表述涉及到可以從多次執行會合預測中獲得的參數，每次都要修改星歷。這意味著執行會合預測的頻率要比現在高。例如，由GMV/ESA開發的碰撞風險評估工具（CRASS），每天預測會合，預測時間窗口為一周，這是考慮到軌道預測準確性和對預測會合的反應時間之間的權衡而制定的政策[24, 25]。

在這里，報告了一個創新的會合預測和機動計劃算法的開發和實施，該算法使用三維球狀球的（動態）沃羅諾伊圖。開發的COOP2（聯合軌道物體預測和規劃器）算法/程序可以預測聯合，并找到最佳機動路徑，以避免JSpOC空間目錄中的RSO出現預測的聯合情況。COOP2算法/程序是基于事件的、通用的（超越成對會合預測）、高效的、準確的，并且獨立于坐標系。該算法是基于移動的三維球體的動態Voronoi圖。它的計算結果可以有效地重新播放，以便在飛行中進行各種分析。

圖2. Starlink項目。Starlink是SpaceX公司正在建造的一個衛星星座。該星座將由成千上萬顆大規模生產的小衛星組成。

圖3. GGSE-4和IRSA衛星失聯的情況。2020年1月29日，UTC時間23:39:35，兩顆衛星，1983年發射的IRAS（紅外天文衛星）和1967年發射的GGSE-4（重力梯度穩定實驗4），預計將以12米的距離緊密通過，估計碰撞的風險為5%。幸運的是，事實證明，事件發生后沒有出現新的被追蹤的碎片。

這項工作的目的是開發能夠成功處理復雜動態環境中順序決策的深度終身學習方法，重點是多Agent情報、監視和偵察（ISR）場景。我們為深度卷積神經網絡開發了一個新的架構，支持通過去卷積因子化的終身學習（DF-CNN），探索了通過Distral和Sobolev訓練的策略提煉的組合，并開發了一個混合控制器，將深度學習應用于ISR智能體。我們的方法在標準基準深度學習數據集、DOOM環境和ATE3模擬環境中的ISR場景中進行了評估。

我們的主要貢獻是反卷積因子卷積神經網絡（DFCNN）。DF-CNN框架調整了標準卷積神經網絡（CNN）框架，以實現任務之間的轉移。它在每個CNN層維護一個共享知識庫，并通過這個共享知識促進不同任務的CNN之間的轉移。每個具體任務的CNN模型的各個過濾層都是由這個共享知識庫重建的，隨著網絡在多個任務中的訓練，這個知識庫會隨著時間的推移而調整。DF-CNN代表了ELLA終身學習框架對深度網絡的概括。

實驗表明，DF-CNN在終身中的基準識別任務上的表現優于其他方法（包括單任務學習、低層的硬參數共享和漸進式神經網絡）。此外，該框架能夠抵抗災難性遺忘，同時仍然允許從未來的學習中反向轉移到以前學習的模型。

對于深度強化學習，我們研究了將Sobolev訓練整合到Distral多任務框架中，以努力改善轉移和訓練，探索了DF-CNN在深度RL中的應用，并開發了一個混合控制器，將本地學習的深度RL策略結合在一起，在ATE3仿真環境中完成ISR場景。

數據科學不僅僅是機器學習和統計學，也不僅僅是預測。但有一件事我們可以非常自信地斷言，數據科學始終與數據有關。本書的目的有兩方面:

我們專注于數據科學的支柱: 數據。

我們使用Julia編程語言來處理數據。

有許多編程語言，每一種都有自己的優點和缺點。有些語言非常快，但很冗長。其他語言很容易寫，但很慢。這就是所謂的兩種語言問題，Julia的目標是解決這個問題。盡管我們三個人來自不同的領域，但我們都發現朱莉婭的語言在我們的研究中比我們以前使用過的語言更有效。我們將在第二節討論我們的一些論點。然而，與其他語言相比，Julia 是一種最新的語言。這意味著圍繞語言的生態系統有時很難駕馭。很難弄清楚從哪里開始，以及如何將所有不同的包組合在一起。這就是為什么我們決定創作這本書!我想讓研究人員，尤其是我們的同事，更容易開始使用這門很棒的語言。如上所述，每種語言都有其優缺點。在我們看來，數據科學絕對是Julia的強項。與此同時，我們三個人都在日常生活中使用數據科學工具。而且，你可能也想使用數據科學!這就是為什么本書將重點放在數據科學上。在本節的下一部分，我們強調數據科學的“數據”部分，以及為什么數據技能是，并將繼續在工業和學術界的高需求。我們主張將軟件工程實踐納入數據科學，這將減少與合作者更新和共享代碼時的摩擦。大多數數據分析都需要合作;這就是為什么這些軟件實踐將幫助您。

【導讀】預訓練模型是當下的研究熱點之一。本文對綜述了近年來與T-PTLMs相關的研究工作，涵蓋了基本概念、分類體系。

引言

基于Transformer的預訓練語言模型(T-PTLMs)在幾乎所有的自然語言處理任務中都取得了巨大的成功。這些模型的發展始于GPT和BERT。這些模型建立在Transformer、自監督學習和遷移學習的基礎上。基于轉換的PTLMs通過自監督學習從大量文本數據中學習通用語言表示，并將這些知識轉移到下游任務中。這些模型為下游任務提供了良好的背景知識，避免了對下游模型從頭開始的訓練。在這篇全面的綜述論文中，我們首先對自監督學習做一個簡要的概述。接下來，我們解釋了各種核心概念，如預訓練、預訓練方法、預訓練任務、嵌入和下游適應方法。接下來，我們介紹了 T-PTLMs的一個新分類，然后簡要概述了各種基準測試，包括內在和外在的。我們總結了與 T-PTLMs一起工作的各種有用的庫。最后，提出了進一步完善這些模型的研究方向。我們堅信，這篇全面的綜述論文將為了解 T-PTLMs的核心概念以及了解 T-PTLMs的最新動態提供很好的參考。

摘要

如GPT-1 [1]， BERT [2]， XLNet [3]， RoBERTa [4]， ELECTRA [5]， T5 [6]， ALBERT [7]，BART[8]和PEGAUSUS [9]在NLP中取得了巨大的成功，因為它們能夠從大量未標記的文本數據中學習通用語言表征，然后將這些知識轉移到下游任務中。在早期，NLP系統大多是基于規則的，后來被機器學習模型所取代。機器學習模型需要特征工程，這需要領域專業知識，也是一個耗時的過程。gpu和Word2Vec[10]和Glove[11]等更好的計算機硬件的發展，增加了深度學習模型(如CNN[12]和RNN[13]、[14])用于構建NLP系統的使用。這些深度學習模型的主要缺點是需要從頭開始訓練模型，除了單詞嵌入。從頭開始訓練模型需要大量已標記的實例，生成這些實例的代價是昂貴的。然而，我們希望模型僅使用少數標記實例就能表現良好。遷移學習[15]允許在源任務中學習的知識重用，從而在目標任務中很好地執行。在這里，目標任務應該與源任務類似。基于遷移學習的思想，計算機視覺研究人員使用ImageNet[20]，[21]等大規模標記數據集訓練了大型CNN模型[16]-[19]。這些模型學習在所有任務中都通用的圖像表示。預訓練的大型CNN模型通過包含少量特定任務層來適應下游任務，然后在目標數據集[22]上進行微調。由于預先訓練好的CNN模型為下游模型提供了良好的背景知識，他們在許多CV任務[18]，[23]中獲得了巨大的成功。

像CNN和RNN這樣的深度學習模型在建模長期上下文和學習帶有局部偏差[24]的單詞表示方面存在困難。此外，由于RNN按順序處理輸入，即逐字處理，并行計算機硬件的利用率受到限制。為了克服現有深度學習模型的這些缺陷，Vaswani等人[25]提出了一種完全基于自注意的深度學習模型，稱為Transformer。與RNN相比，自注意允許更多的并行化，并且可以很容易地建模長期上下文，因為每個令牌都關注輸入序列[25]中的所有令牌。Transformer包含編碼器和解碼器層的堆棧。在編碼器和解碼器層的幫助下，Transformer可以學習復雜的語言信息。在NLP域中生成大量標記數據是一個非常昂貴和耗時的過程。但是，很容易獲得大量未標記的文本數據。NLP研究社區對基于CNN的計算機視覺預訓練模型的成功印象深刻，已經開發了結合Transformer和自監督學習的能力的T-PTLMs。自監督學習允許Transformer基于一個或多個預訓練任務提供的偽監督進行學習。

GPT和BERT分別是第一個基于transformer 解碼器和編碼器層開發的T-PTLMs。在GPT和BERT的基礎上，提出了XLNet、RoBERTa、ELECTRA、ALBERT、T5、BART和PEGAUSUS等模型。這里XLNet, RoBERTa, ELECTRA和ALBERT是對BERT模型的改進，而T5, BART和PEGAUSUS是基于編碼器-解碼器的模型。Kaplan等人[26]表明，T-PTLMs的表現可以通過增加模型的大小來提高。這一觀察觸發了大規模T-PTLMs的發展，如GPT-3 (175B)[27]、PANGU- (200B)[28]、GShard (600B)[29]和switch - transformer (1.6T)[30]等包含數十億個參數的T-PTLMs。繼T-PTLMs在通用英語領域的成功之后，T-PTLMs也被開發用于其他領域，如金融[31]，法律[32]，[33]，新聞[34]，編程[35]-[39]，對話[40]，網絡[41]，學術[42]-[44]和生物醫學[45]-[48]。TPTLMs還支持遷移學習，因為這些模型可以通過對目標數據集進行微調或即時調整來適應下游任務。本文綜述了近年來與T-PTLMs相關的研究工作。我們將綜述總結為

• 我們將簡要介紹SSL，它是開發T-PTLMs的支柱(第2節)。

• 我們解釋了與T-PTLMs相關的各種核心概念，如預訓練、預訓練方法、預訓練任務、嵌入和下游適應方法(第3節)。

• 我們提出了一個新的分類方法來分類各種T-PTLMs。這種分類法基于四個視角，即預訓練語料庫、體系結構、SSL類型和擴展(第4節)。

• 我們提出了一種新的分類法來對各種下游適應方法進行分類，并對每一種方法進行詳細解釋(第5節)。

• 我們簡要概述了評估T-PTLMs進展的各種基準，包括內在的和外在的(第6節)。

• 我們簡要概述了各種庫，從Huggingface transformer到Transformer-interpret，這些庫對tptlm的工作很有用(第7節)。

• 我們簡要討論了一些未來的研究方向，這些方向將推動研究團體進一步改進模型(第8節)。

在本白皮書中，我們考慮了知識圖譜為人工智能添加領域相關知識的四種方式：知識圖譜為AI提供領域知識，領域知識提升ML的效率，領域知識 提高特征提取的準確性，以及領域知識提供AI可解釋性和可信度。AI和機器學習具有很大的應用潛力，而圖解鎖了這種潛力。 這是因為圖 數據庫技術支持領域相關知識和關聯數據、使AI變得更廣泛適用。