亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

模型層面，GPT-4領先，多模態演進趨勢加速。 ? ChatGPT推出以來，大語言模型（Large Language Model，LLM）技術的發展取得突破性發展，越來越多的大模型猶如雨后春筍般破土而 出，目前最為先進的模型為GPT-4，性能大幅領先市面上的其他模型。同時根據founder park，OpenAI估值目前也是此前微軟投資時近3倍。 ? 當下LLM模型的規模持續增長，參數量已遠遠超過千億級別，多模態嶄露頭角。1）模型規模的增長帶來性能的提升，但是同時對模型的訓練 和部署也帶來了挑戰。以Open AI為代表的人工智能公司，已經開始就模型訓練和部署提供收費服務，在推動LLM技術發展的同時，為企業帶 來營業收入。2）OpenAI、Google等大模型廠商或將紛紛推出多模態大模型，打開下游應用想象空間。 ? 應用層面，參照海外落地路徑，國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類特別是C端應用值得關注。 ? 部分企業已經開始賺取收入，而新進入的公司仍然在積極拓寬業務的受眾范圍。 LLM技術的發展為其產業鏈中下游應用端的開發打下了堅實 的基礎，相關企業針對不同的場景開發應用產品，產品涉及語音、圖像、文本和多模態領域，覆蓋辦公、金融、多媒體、工業制造、社交和營 銷等多個行業。 ? 國內純模型端、教育、辦公、圖像、視頻、金融、醫療、社交類應用值得關注。參考海外AI應用成熟度發展情況，我們根據AI收入端、產品端、 案例端等綜合分析海外垂直應用進展，得到目前純模型端、辦公、圖像、視頻、金融、社交類應用商業化落地最快，國內模型端相對海外大概 滯后1年時間，參照海外應用發展情況，我們認為Q4或是國內應用商業化落地拐點。

ChatGPT的出現開啟了AGI之門。深度強化學習自AlphaGo成功就是認為是通用人工智能的核心技術。 DeepMind研究科學家Jack Parker-Holder在牛津大學的博士論文《邁向真正開放式強化學習》對此探究解答，217頁pdf

Jack Parker-Holder是DeepMind開放式團隊的一名研究科學家。對設計永不停止產生新的、有趣的東西的系統很感興趣。特別是，我想設計和構建開放式系統，不斷提出新的問題供RL智能體解決，最終產生一個具有普遍能力的智能體。關于我在DeepMind的工作。 在加入DeepMind之前，Jack Parker-Holder是牛津大學圣彼得學院的一名博士生，在那里我是機器學習研究小組的成員，由Stephen Roberts擔任顧問。 //jparkerholder.github.io/

摘要****在過去的十年中，深度強化學習（RL）在游戲、機器人甚至核聚變等實際問題中取得了一些顯著的成功。確實，考慮到其普適性，該領域的許多知名研究人員認為RL本身足以產生通用人工智能（AGI）。很容易看出，RL在理論上是一個開放的過程，其中智能體從其自身的經驗中永遠不會停止學習，只要給定一個適當復雜的環境。在本論文中，我們認為限制RL智能體的關鍵因素是需要靜態的、由人類設計的配置。在智能體方面，我們通常針對特定智能體和特定架構調整一組超參數，忽略了它們可能需要隨時間而適應的事實。同時，即使我們擁有強大的RL智能體，我們也缺乏足夠復雜的環境，可以促進通用行為的學習。

我們假設解決這個問題的唯一方法是擁抱開放性，通過設計具有無限能力來產生新的、有趣的東西的系統。在第一部分中，我們介紹了使用一組智能體動態自適應幾個重要智能體超參數的新方法。這使得智能體有可能隨著時間的推移自適應幾個超參數。本文介紹一種自動設計環境的新方法，發展一門課程，不斷在學生代理的能力前沿提出新的挑戰。將這兩項進展結合起來，可以產生一個開放式的學習系統，其中智能體和環境隨著時間的推移共同適應，產生越來越復雜的問題和可以解決這些問題的智能體。

然而，即使這也不是真正開放式的，因為一旦智能體可以解決人類指定分布的每個任務，它最終將停滯不前。在論文的第二部分，我們提出了使該系統無界的方向。介紹了兩種新方法，以鼓勵發現多樣化的解決方案，可以幫助避免欺騙性的局部最優，并發現更廣泛的行為集。通向真正開放式系統的一條路徑是完全消除對人類設計的模擬環境的需要，而是在學習的世界模型中訓練智能體。討論了該領域的一些貢獻，包括改進世界模型的主動數據采集，以及在世界模型中產生合成經驗的方法，提高了智能體的魯棒性。最后，提出了一個結合這些見解的未來系統的建議，我們相信這可能是真正開放式的。

1.1 對于通用人工智能來說，獎勵足夠了嗎?

強化學習(RL, Sutton & Barto[290])是一種范式，智能體完全從環境中的自身交互中學習，以最大化預期累積獎勵。這與機器學習中的其他設置不同，因為智能體可以學習規劃和推理，以便采取具有長期后果的行動。理論上，智能體從自身經驗中學習的能力是沒有限制的，因此強化學習為開放式學習提供了潛力。在過去的十年中，RL與深度神經網絡的結合[87,144,252]帶來了一系列顯著的成就。所謂的深度RL智能體的第一個重大勝利是當研究人員表明，僅從像素[190]就可以學習以人類水平玩Atari游戲時。其他的成功接踵而至，比如AlphaGo打敗了世界上最好的圍棋選手之一[271]，而RL也被證明有能力在電子競技游戲中與人類競爭[22,312]。強化學習不僅在游戲中產生了重大影響，在機器人領域，強化學習已被用于從模擬遷移到現實世界[7,118,209,226,298]，并用于從大型數據集[126,166]進行訓練。近年來，強化學習甚至對其傳統領域之外的領域產生了影響，例如在現實世界中導航[19]或控制血漿[53]。隨著該領域的快速進展，有可能進一步推斷并考慮未來可能使用RL的情況。強化學習已經顯示出為人類研究了幾個世紀的問題找到全新解決方案的能力，例如AlphaGo在與李世石的第二場比賽中著名的“第37步”。事實上，考慮到它的通用性，該領域的一些最杰出的研究人員認為，僅RL可能就足以產生通用人工智能(AGI)[274]。在本文中，我們將從表面價值出發，并專注于使用RL生產普通智能體所需的缺失成分。此外，本文尋求建立研究方向，當解決時可以彌補這一差距。在我們開始研究未來的研究方向之前，我們需要(簡要地)澄清我們提到AGI時的意思。首先要說明的是，智能有許多可能的定義[90,157]，本文的目標不是提出一個新的定義。本文更多地是作為一種指導，而不是一個特定的目標，從Hutter[110]和Legg & Hutter[158]開創的工作中獲得靈感，他們最初提到了智能體π的普遍智能。具體來說，Legg & Hutter[158]提出了以下定義:

或者非正式地說:“智能衡量智能體在廣泛環境中實現目標的能力”。這里，“廣泛的環境”由E表示，從智能體的角度來看，所有定義良好的獎勵可求和環境的空間由K反向加權，K是用于描述環境的二進制字符串的Kolmogarov復雜度[139]。智能體π的成功由價值函數V π μ表示，我們將在2.1節中更嚴格地定義它。 以這種方式查看AGI的好處是，它不再是一個二進制標簽，而是一個連續的值范圍。因此，我們可以通過增加方程1.1的值，在AGI方面取得進展，無論它可能有多遠。那么，對于當前的RL方法來說，這可能是什么樣子的呢?很明顯，雖然我們取得了巨大的成功，但其中許多都是更狹隘的AI形式，例如解決個人游戲。此外，許多智能體未能泛化到其環境[45,136,214]中的微小變化，經常過度擬合訓練環境的特定組件[276,339]或在環境中起作用的其他智能體[106]。因此，要增加公式1.1的值，我們必須專注于增加智能體可以解決的任務的多樣性，使智能體對環境的變化以及其他智能體的變化具有魯棒性。

下一個問題是我們如何使用RL實現這一點?如果我們更仔細地觀察Silver等人[274]，作者推測:“當強大的強化學習智能體被置于復雜環境中時，在實踐中將產生復雜的智能表達。如果這個猜想是正確的，它為實現人工通用智能提供了一個完整的途徑。”因此，我們可以清楚地看到這里的問題——我們還沒有“強大的強化學習智能體”或“復雜環境”，或兩者的定義。

本文認為，用RL實現更通用的智能體的關鍵限制因素是依賴特定的手工編碼智能體和環境配置，這些配置缺乏隨時間增加其復雜性的能力。如果我們在簡單的問題上訓練我們的智能體，那么我們可以快速實現精通，但最終達到方程1.1中的低值。然而，將智能體置于高度復雜的環境中使學習具有挑戰性[100]。相反，我們認為，實現具有普遍能力的智能體的可能路徑是一個從簡單配置開始的系統，但使它們有可能隨著時間的推移自動變得更復雜。為實現這一目標，本文提出了一些方法來自動發現越來越具有挑戰性的問題，讓智能體來解決，同時也引入了一種方法，讓智能體自適應解決這些問題。這就是開放性的問題。

1.2 論文結構

首先，回顧了深度強化學習和自動化未指定組件的方法的必要背景材料，稱為自動強化學習或AutoRL。我們包括了以下調查中的許多細節: Jack Parker-Holder , Raghu Rajan , Xingyou Song , André Biedenkapp, Yingjie Miao, Theresa Eimer, Baohe Zhang, Vu Nguyen, Roberto Calandra, Aleksandra Faust, Frank Hutter, Marius Lindauer Automated Reinforcement Learning (AutoRL): A Survey and Open Problems JAIR, 2022

第一部分:自動強化學習

在這一部分，我們做了以下貢獻:

提出了基于群體的Bandits(PB2)，一種用于在單次訓練運行中動態學習和適應智能體配置的算法。

提出一種新方法來進化自適應課程，能夠在給定的任務分配中產生魯棒的多面手智能體。

本文假設，使強化學習系統更開放的重大改進是通過自動發現和適應系統超參數的大型組件。本文將這個問題分解為兩個支柱:智能體調整自己，環境不斷提出新的挑戰。在第3章中，我們首先專注于開發可以在一次訓練中動態學習和適應其配置的大部分組件的智能體。我們相信，這可以帶來永不停止學習的強大強化學習智能體。接下來，在第4章中，我們將討論進化訓練環境的自適應分布的方法。正如所示，這使得自動發現導致發現復雜環境的課程成為可能，同時訓練一個可以解決這些問題的智能體。在第一部分的結尾，我們討論了將這兩個組件組合成一個共同進化的[26]系統的可能性，在這個系統中，環境變得越來越具有挑戰性，智能體適應解決它們。請參閱下面的更具體的貢獻列表。

第二部分:實現開放性

這一部分包括以下貢獻: 1. 本文提出兩種新的算法來發現不同的解決方案，通過行為(DvD)和基因型(Ridge Rider)多樣性。

2. 本文提出新的信息論方法來收集數據，以產生有效的世界模型，受主動學習的啟發。

結合第一部分中的方法，應該會產生一個強大的協同進化系統，在這個系統中，環境不斷向能夠適應解決這些問題的智能體提出困難的挑戰。然而，正如我們所指出的，僅靠這一點可能不足以實現開放性，它很可能會匯聚到單一的解決方案和單一的環境分布。此外，這種解決方案甚至可能不是最優的，因為在許多情況下，直接優化無法找到最強大的行為[268,325]。論文的第二部分更具有推測性，再次分為兩章，每一章都提出了一個可能的方向，使我們的強化學習訓練系統無界。在第5章中，我們首先會介紹一些方法，通過鼓勵發現更廣泛的創造性行為，甚至是意想不到的行為，來促進學習動態的多樣性。第6章要克服的最后一個障礙是對人類設計的模擬環境的依賴，我們建議在世界模型中訓練智能體，直接從數據中學習。這本質上為“AI生成算法”[42]提供了足夠的基礎，它可以充分學習自己的環境，同時學習RL算法和配置來解決它們。

主要觀點： 　　ChatGPT帶來大模型時代變革，數據要素重要性提升 　　ChatGPT是由OpenAI研發的一種語言AI模型，其特點在于使用海量語料庫來生成與人類相似的反應。初代GPT模型參數1.17億，GPT2模型、GPT3模型參數分別達到15億、1750億。不斷提升的參數量級，使得ChatGPT3當前已經能夠應用在商業、研究和開發活動中。 　　當前此類參數體量龐大的模型，成為各大科技廠商研發重點。大模型的基礎為高質量大數據。ChatGPT的前身GPT-3就使用了3,000億單詞、超過40T的數據。此類大數據基礎的前提為三部分1）有效場景下的采集數據；2）大數據的存儲、清洗和標注；3）數據質量檢驗。 　　大模型發展之下，算力與網絡設施建設成為剛需 　　算力：ChatGPT類人工智能需要更充足的算力支持其處理數據，帶來更多高性能的算力芯片需求。英偉達表示，GPT-3需要512顆V100顯卡訓練7個月，或者1024顆A100芯片訓練一個月。2012年以來，AI訓練任務中的算力增長（所需算力每3.5月翻一倍）已經超越摩爾定律（晶體管數量每18月翻一倍）。 　　網絡設施：以微軟Azure為例，其AI基礎設施由互聯的英偉達AmpereA100TensorCoreGPU組成，并由QuantuminfiniBand交換機提供橫向擴展能力。服務器節點多、跨服務器通信需求巨大，網絡帶寬性能成為GPU集群系統的瓶頸，解決方式包括增加單節點通信帶寬與降低網絡收斂比，帶來光模塊、交換機等需求。 　　下游應用場景豐富，多行業落地可期 　　1）“生成式AI(generativeAI)”在互聯網及元宇宙領域市場化空間較為廣闊。基于現行的NLP算法發展程度及數據集規模。在不久的將來，生成式AI有較大可能在“智能客服”和“搜索引擎”進行增值，并有希望以“插件”的形式賦能現有的“生產力工具鏈(工程軟件/音視頻制作工具等)”。 　　2）AI在制造業的應用可分為三方面：a）智能裝備：指具有感知、分析、推理、決策、控制功能的制造裝備，典型代表有工業機器人、協作機器人、數控機床等；b）智能工廠：重點在于實現工廠的辦公、管理及生產自動化，典型的代表場景有協作機器人、智能倉儲物流系統等；c）智能服務：指個性化定制、遠程運維及預測性維護等。 　　3）人工智能在智能汽車領域的應用包括：a）智能駕駛依托AI，將從駕駛輔助發展至自動駕駛；b）智能座艙在AI支持下，從出行工具演變為出行管家。

事件:美國AI公司OpenAI推出基于大語言模型的對話模型ChatGPT，可提供高質量的回答，并能實現創作、編程等復雜功能，備受市場關注。不到兩個月的時間，ChatGPT全球日活用戶已突破千萬。

　　ChatGPT是突破式的創新技術ChatGPT是OpenAI公司推出的全新聊天機器人模型。通過引入人類反饋的強化學習，大幅提升了AI在人機對話時的準確度和可控性，具有強大的語言理解能力和語言表達能力。GPT模型仍在持續迭代，更先進大語言模型GPT-4有望在2023年推出，有望進一步推動AIGC產業發展。 　 　　ChatGPT應用及商業化落地加速科技公司紛紛涌入AIGC賽道，優秀的AIGC大模型層出不窮，我們認為基于AI文本生成的模型ChatGPT有望率先應用落地。AIGC賽道相關公司受到資本青睞，AIGC頭部初創公司OpenAI最新估值約為290億美元。作為AIGC領域領先的模型ChatGPT在對話機器人、智能創作等領域應用廣泛，亞馬遜、微軟、Jasper等公司已經開啟商業化之路，商業化前景廣闊。 　

機器學習技術為提取信息和數據之間的潛在關系以及通過處理現有信息來訓練模型來預測未來事件提供了具有成本效益的替代方法。《高效學習機器》探討了機器學習的主要主題，包括知識發現、分類、遺傳算法、神經網絡、核心方法和生物啟發技術。

Mariette Awad和Rahul Khanna的綜合方法將理論闡述、設計原則和高效機器學習的實際應用結合在一起。他們的經驗重點，表達在他們的樣本算法的密切分析貫穿全書，旨在裝備工程師，工程學生和系統設計師設計和創建新的和更有效的機器學習系統。高效學習機器的讀者將學習如何識別和分析機器學習技術可以為他們解決的問題，如何實現和部署樣本問題的標準解決方案，以及如何設計新的系統和解決方案。

計算性能、存儲、記憶、非結構化信息檢索和云計算方面的進步，與新一代機器學習范式和大數據分析共同發展，作者在其傳統前身的概念背景下提出了這些概念。Awad和Khanna探索了深度神經網絡、分層時間記憶和皮質算法的深度學習技術的當前發展。

《自然》建議使用復雜的學習技術，使用簡單的規則來產生具有適應性、進化和分布式特性的高度智能和有組織的行為。作者研究了最流行的生物啟發算法，以及一個分布式數據中心管理的示例應用程序。他們還討論了用于解決多目標優化問題的機器學習技術，在這個問題中，現實世界系統中的解決方案是受約束的，并根據它們對多個目標的總體表現進行評估。關于支持向量機及其擴展的兩章重點介紹了機器學習核心的分類和回歸技術的最新改進。

//link.springer.com/book/10.1007/978-1-4302-5990-9#toc

來自新加坡NUS圖神經網絡大牛Xavier Bresson教授關于生成模型VAE與GAN的總結PPT，全面概括了生成式模型VAE與GAN的應用，非常值得關注！

• Variational autoencoders (VAE)
• Lab on VAE
• Generative Adversarial Networks (GAN)
• Labs on GAN
• Conclusion

Yann LeCun 認為，構造自主 AI 需要預測世界模型，而世界模型必須能夠執行多模態預測，對應的解決方案是一種叫做分層 JEPA（聯合嵌入預測架構）的架構。該架構可以通過堆疊的方式進行更抽象、更長期的預測。LeCun 和 Meta AI 希望分層 JEPA 可以通過觀看視頻和與環境交互來了解世界是如何運行的。

可以建模世界如何運行的 AI

LeCun 說，人和動物似乎能夠通過觀察和難以理解的少量互動，以一種獨立于任務的、無監督的方式，學習大量關于世界如何運行的背景知識。可以假設，這些積累起來的知識可能構成了常識的基礎。常識可以被看作是世界模型的集合，可以告訴我們什么是大概率會發生的，什么是可能發生的，以及什么是不可能發生的。

這使得人類即使身處不熟悉的環境也能有效地制定計劃。例如，文章開頭提到的那個青少年可能以前沒有在雪地上開過車，但他知道雪地開車容易打滑，不能開得太猛。

常識不僅能讓動物預測未來的結果，還能填補時間或空間上缺失的信息。當司機聽到附近金屬碰撞的聲音時，他立即就能知道發生了事故，即使沒有看到涉事車輛。

人類、動物和智能系統使用世界模型的觀點可以追溯到幾十年前的心理學以及控制和機器人等工程領域。LeCun 提出，當今 AI 面臨的最重要的挑戰之一是設計學習范式和架構，讓機器以一種自監督的方式學習世界模型，然后利用這些模型進行預測、推理和規劃。他的大綱融合了各種學科的觀點，如認知科學、系統神經科學、最佳控制、強化學習和「傳統」AI，并將它們與機器學習中的新概念相結合，如自監督學習、聯合嵌入架構。

一種自主智能體系架構的提出

LeCun 提出了一個由六個獨立模塊組成的架構。假設每個模塊都是可微的，因為它可以很容易地計算某個目標函數相對于自己的輸入的梯度估計，并將梯度信息傳播到上游模塊。

上圖是一種自主智能系統的架構，配置器（Configurator）從其他模塊獲得輸入（圖中省略了這些箭頭）。

配置器（Configurator）模塊負責執行控制（executive control）：給定要執行的任務，可以通過調整這些模塊的參數來預先配置感知模塊（perception module）、世界模型（world model）、成本（cost）和當前任務的 actor。

感知模塊（Perception module）接收來自傳感器的信號并估計當前世界的狀態，對于給定的任務，只有一小部分感知到的世界狀態是相關和有用的。配置器模塊啟動感知系統，從感知中提取相關信息，完成手頭的任務。

世界模型（World model）構成了架構中最復雜的部分。它的作用是雙重的：（1）估計感知未提供的關于世界狀態的缺失信息；（2）預測合理的未來世界狀態。

世界模型可以預測世界的自然進化，或預測由 actor 模塊提出的一系列動作所導致的未來世界狀態。世界模型是一種與當前任務相關的世界部分的模擬器。由于世界充滿了不確定性，模型必須能夠代表多種可能的預測。比如接近十字路口的司機可能會減速，以防另一輛接近十字路口的車沒有在停車標志處停下來。

成本模塊（Cost module）計算單個標量的輸出，該輸出預測智能體的不適（discomfort）程度。它由兩個子模塊組成：內在成本（intrinsic cost）是硬連接、不可變的（不可訓練的），并計算直接的不適（比如對智能體的損害、違反硬編碼的行為約束等）；批判（critic）是可訓練的模塊，預測內在成本的未來值。智能體的最終目標是最小化長期的內在成本。

「這就是基本的行為驅動力和內在動機所在，」LeCun 表示。因此它將考慮到內在成本，比如沒有浪費能源，以及手頭任務的具體成本。因為成本模塊是可微的，所以成本梯度可以通過其他模塊反向傳播，用于規劃、推理和學習。

actor 模塊計算動作序列的提議。「actor 可以找到一個最優的動作序列，最小化預估的未來成本，并以最優序列輸出第一個動作，這種方式類似于傳統的最優控制。」LeCun 說。

短期記憶模塊（Short-term memory module）跟蹤當前和預測的世界狀態以及相關成本。

傳統觀點認為，大量數據支撐起了尖端人工智能的發展，大數據也一直被奉為打造成功機器學習項目的關鍵之匙。但AI ≠ Big Data，該研究指出，制定規則時如果將——人工智能依賴巨量數據、數據是必不可少的戰略資源、獲取數據量決定國家（或公司）的人工智能進展—— 視為永恒真理，就會“誤入歧途”。介于當下大環境過分強調大數據卻忽略了小數據人工智能的存在，低估了它不需要大量標記數據集或從收集數據的潛力，研究人員從四個方面“縮短大小實體間AI能力差距、減少個人數據的收集、促進數據匱乏領域的發展和避免臟數據問題”說明了“小數據”方法的重要性。 //cset.georgetown.edu/publication/small-datas-big-ai-potential/

最新深度學習對抗魯棒性教程

• 深度學習基礎 Deep learning essentials
• 對抗擾動 Introduction to adversarial perturbations
  • Simple Projected Gradient Descent-based attacks
  • Targeted Projected Gradient Descent-based attacks
  • Fast Gradient Sign Method (FGSM) attacks
  • Natural [8]
  • Synthetic [1, 2]
• Optimizer susceptibility w.r.t to different attacks 優化器對不同攻擊的敏感性w.r.
• 對抗學習 Adversarial learning
  • Training on a dataset perturbed with FGSM
  • Training with Neural Structured Learning [3]
• Improving adversarial performance with EfficientNet [4] and its variants like Noisy Student Training [5] and AdvProp [6]

//github.com/dipanjanS/adversarial-learning-robustness

可解釋性是當前AI研究的熱點之一。倫敦大學學院Pasquale Minervini博士在可解釋AI研討會做了關于可解釋高效可驗證表示的報告《Back to Seminars Explainable, Verifiable, Relational Representation Learning from Knowledge Graphs》，共62頁PPT，

可解釋、數據有效、可驗證的表示學習

知識圖譜是圖結構化的知識庫，其中關于世界的知識以實體之間關系的形式進行編碼。我們將討論在大規模知識圖譜使用神經鏈接預測缺失鏈接的工作,以及如何結合背景知識——形式的一階邏輯規則或約束——神經鏈接預測,從更少的數據歸納和整合。最后，我們將討論如何通過端到端可微推理器共同學習表示和規則。