亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

如果說2022年被稱為生成式人工智能之年,擴散模型應用取得突破,ChatGPT出世,一系列開創性的研究論文發表,2023年則把大模型推向了一個高峰,以GPT-4發布為標志,生成式人工智能,朝著通用人工智能的方向,進入了創新應用的階段。

這一階段最重要的特征,是應用、研究、監管,合力開辟著生成式人工智能的創新之路。

01/

創新應用

人們很快從生成式人工智能中看到了新的商業生態的出現,看到了一層又一層的技術,如計算、模型和應用;看到了生成的內容,如文、圖、視頻、代碼、3D結構、多模態;也看到了公開數據、垂直數據、合成數據、向量數據,用于大大小小的模型。

生成式人工智能,在中國似乎受到了更加熱情的接納:政府鼓勵發展通用人工智能;任何一家大企業都無法不關注它;許多從事知識工作的中小企業,已經先用起來再說。面對這一革命性的技術,所有企業都被卷入。它們節奏不同,介入程度不同,成為新技術浪潮下的守成者、創新者、采納者。它們的利潤率被永久的改變了。

算力目前是最稀缺的資源,也處于最容易獲利的要津。算力是大模型成本結構中最大的一塊,GPU的性能,實際上決定了這個新興行業的步調。隨著算力與模型的進步,更多初創企業正在涌入,它們搶到了時間的紅利,但也面臨競爭和可能的巨頭碾壓。可以說,這是初創企業的藍海,也有航道下的暗礁。

競爭促進了創新。與2022年快速涌現出的生產力工具方向的創業公司不同,2023 年,有更多比例的新公司聚焦在底層技術的創新;大模型創業公司也開始分化,在通用大模型創業公司方興未艾的同時,許多面向醫療、電商、科研、工業、自動駕駛和機器人等特定方向的垂直大模型公司開始出現。

02/

前沿研究

2022年和2023年,是生成式人工智能技術取得突破的兩年,我們梳理了論文,發現生成式人工智能領域的一個突出特征,是研究與創新過程的密切結合,許多在企業內部實現,迅速推出用例和產品。這種研究與創業的一體化,初創企業和風險資本起到了重要的作用,而美國科技巨頭和主要人工智能企業的研究投入與人才,包括一些底層技術的研究,這些年來已經超過了大學等研究機構。

人工智能的前沿正在向未來推進。盡管從GPT-4的技術報告,到微軟的研究論文,都展示出它所具有的接近于人類的文字處理能力、數學推理能力,以及諸多專業領域的知識。“我們認為它可以合理地被視為人工通用智能(AGI)系統的早期(盡管仍不完整)版本。”但是,在通往通用人工智能的道路上,需要研究和解決的問題反而更多了。如信心校準、長期記憶、持續學習、個性化、規劃和概念跨越、透明度、認知謬誤和非理性,等等。

過去半年最重要的研究方向,是破解和理解大模型神秘而又令人興奮的智能“涌現”。大模型既需要超越對下一個詞的預測能力,也需要一個更豐富、更復雜的“慢思考”深層機制,來監督“快思考”預測下一個詞的機制。

那些最好的前沿研究,一定是研究和解決技術規模應用中遇到的問題。研究如何減少幻覺,調教大模型更加準確地輸出真實的內容,訓練出更強的推理能力;如何更集約地訓練模型,降低門檻,推出新產品,讓更多的各行各業和消費者都能用上;如何能像人一樣,與真實的物理世界互動;如何成為人類復雜工作的助手,設計并幫助執行科學實驗;如何影響就業,從而做出政策的響應;如何讓人工智能安全和可信。

03/

監管 | 安全 | 政策 | 人才

政府對于生成式人工智能的監管反應相當及時,各國也出現了不同的特點。中國在迅速推出生成式人工智能的監管辦法并征求意見的同時,也在鼓勵發展通用人工智能,北京、上海、深圳是最具雄心的第一梯隊,均提出了較具雄心的人工智能科研、創新與產業目標。歐盟繼續在監管和立法方面領先,一如其5年前率先推出GDPR。美國更在意人工智能技術的領先地位,正在形成以風險管理為原則的監管框架。

長期來看,人才對人工智能未來的影響,超過了算力。中國研究人員發布的論文在數量上已經超過了美國,但金字塔頂端,無論是研究還是創業,美國仍然占據明顯的優勢。在全球范圍內,人工智能研究創新的重心正從高校轉移至企業,美國擁有頂尖學者最多的前三大機構,分別是谷歌、微軟與Meta,合計招攬了美國頂級學者的30%。中國仍以高校為主,僅阿里巴巴躋身前10。

科技部已經提出了人工智能企業,應該接受科技倫理審查;審查主體應該設立科技倫理(審查)委員會。美國人工智能企業較早開始設立負責任與可信人工智能部門,從去年到今年以來經過一些調整,反映出在生成式人工智能發生變革之際,企業正在尋求用更好的技術和方案,來安全和負責地部署新技術。

04/

十大前瞻

大語言模型

  1. 2024年中國將出現比肩GPT-4的多語言通用大模型;

  2. 超長上下文(Long Context)將引領下一次LLM技術突破;

  3. 在出現更有前景的大語言模型之前,為實現垂直領域更好的效果,以下三種方式將共存: i)在不改變數據分布的情況下,利用更多通用數據進行通用大模型預訓練,不特別引入行業數據, ii)利用行業專屬數據微調(Fine-Tuning)通用大模型, iii)利用行業數據占比更高的數據集進行垂直模型預訓練。

多模態模型

  1. 當前CLIP + Diffusion的文生圖模型是過渡態,未來2年內將出現一體化的模型結構;

  2. 下一代Text-to-Image模型將具備更強的可控性,它將結合底層模型能力和前端控制方式,對模型的設計將注重與控制方式的結合;

  3. 2025年之前,Video和3D等模態將迎來里程碑式的模型,大幅提高生成效果;

  4. 以PALM-E為代表的具身智能(Embodied AI)展現出在機器人的感知、理解和決策等方向上的巨大潛力,但當前訓練和可靠性存在較大挑戰;

  5. 短期內Transformer正成為多個模態的主流網絡結構,但壓縮整個數字世界的通用方法尚未出現,Transformer并不是人工智能技術的終點。

商業機會

  1. 3年內,顛覆式的AI應用的核心驅動力來自于底層模型的創新,兩者無法解耦,模型的作用將大于產品設計的作用;

  2. 當前生成式AI市場處于技術主導的早期階段,存在千億美元市值的平臺性企業的機會。

付費5元查看完整內容

相關內容

在過去的幾年里,對于分子生物學中的每一個步驟,取得了顯著的進展。雖然我們尚未完全將分子生物學轉變為計算科學,或者將醫學和人類健康變成一門工程學科,但目前的勢頭表明我們離這一愿景只有豐富的額外數據和一些進一步的發展。這種進展在某種程度上與人工智能應用的其他領域有所不同。就個人而言,我相信人工通用智能(AGI),即使是小型哺乳動物的水平,仍然在地平線之外。此外,組合學、離散算法和數學推理并不是LLM(大型語言模型)的強項。這是因為這些模型是前饋架構,不包括循環,除非通過將迄今生成的文本反饋給LLM作為輸入而隱含地產生循環。正如Stephen Wolfram在他優秀的概述中所解釋的,計算不可簡化性保證了這些模型不能做某些事情(Wolfram 2023)。值得一提的是,這種能力的火花正在開始在GPT-4等系統中出現,正如Bubek等人在2023年所描述的那樣。然而,對分子生物學的建模并不需要AGI:它不需要高層次的規劃、主動性或目標,而且僅對組合學和算法推理有有限的需求。相反,對分子生物學的建模需要LLM在以下方面表現出色:學習復雜、嘈雜的序列數據的統計特性,以最佳方式從有損表示中預測這些數據。為了闡明這一觀點,讓我們來看一下在分子生物學中的中心法則的幾個不同階段近期的深度學習突破。

付費5元查看完整內容

大模型主導的生成式AI,尤其是GPT-4的發布,讓人類社會看到了通用人工智能時代的曙光。這意味著,經過“大工業化”的高效預訓練后,具備了強大的泛化能力,能夠在眾多領域像人類一樣進行思考、解決問題,并進行持續、快速的自我進化,大模型主導的生成式AI,將擁有極為廣闊的應用前景,有望賦能千行百業。未來,每個行業都將再進行一次智能化改造!

在政策層面,中央首次提到通用人工智能,為AIGC產業的發展提供了積極政策環境。

技術層面,作為AIGC生態的核心,大模型本身可根據可交互對象分成文本、音頻、圖像、視頻等不同模態以及跨模態,更多的模態,則意味著更多的交互和應用場景組合。我國AIGC產業目前尚處于發展初期,各模態技術發展進度不盡相同。目前,以文本生成、音頻生成應用相對廣泛。

當前,在應用層面,縱向看,在垂直應用方向上,傳媒、教育、營銷、客服、數字人等數字化程度更高、容錯率相對較高的領域先行先試;橫向看,在價值鏈角度,主要集中于技術嘗鮮、組織內部的提效降本,下一步將朝著終端用戶側的價值創造及傳遞場景展開。

圖片報告關鍵發現

大模型支撐的生成式AI,讓人類社會有望步入通用人工智能時代,擁有廣闊的應用前景,有望賦能千行百業。 當前生成式AI的落地整體處于初級階段,不同模態的落地時間表差異明顯,企業需求主要集中在數字化程度高、容錯率相對較高的領域,以借助中間件調用大模型能力為主要方式。數字內容產業、客戶服務是生成式AI滲透的典型行業和場景。 AIGC+數字內容:數字經濟快速發展,帶來國內數字內容消費需求的持續快速增長,但國內數字內容產業面臨需求變化快、供給側內容整體過剩而優質供給不足的問題。以長音頻數字內容生產為例,AIGC能夠助力內容生產的工程化、高質量、個性化。 AIGC+客戶服務:大模型依托自身強大泛化能力優勢,有望給國內智能客服領域的服務前、服務中、服務后各環節帶來效能提升。但由于存在效果不明、數據安全等問題,短期內大模型很難對現有智能客服體系實現完全替代和顛覆,廠商需要探索如何在融合大模型能力的同時實現模式突破。

付費5元查看完整內容

人工智能是數字經濟的核心驅動力,AI 大模型是人工智能的新引擎。AI 大模型指通過在海量數據上進行預訓練,能夠適應多種下游任務的模型,具有強大的泛化能力、自監督學習功能和精度突破性能。其已經在自然語言處理、計算機視覺、氣象預報等多個領域取得了令人矚目的成果。大模型的發展是大勢所趨,未來將會助推數字經濟,為智能化升級帶來新范式。

近年來,隨著 ChatGPT 等生成式人工智能(AIGC)的突飛猛進,全球范圍內的經濟價值預計將達到數萬億美元。尤其在中國市場,生成式 AI 的應用規模有望在 2025 年突破 2000億元。這一巨大的潛力不僅吸引著業內領軍企業競相推出萬億、10 萬億參數量級別的大模型,而且對底層 GPU 支撐規模提出了更高的要求,達到了萬卡級別。然而,如何滿足如此龐大規模的訓練任務,對網絡的規模、性能、可靠性和穩定性等方面提出了前所未有的挑戰。

以 GPT3.5 為例,其訓練過程依賴于微軟專門建設的 AI 超算系統,由 1 萬個 V100 GPU 組成的高性能網絡集群,總計算力消耗約為 3640 PF-days。在這種情況下,尋求提供極致高性能網絡已成為人工智能領域的重要研究方向之一。

日前,針對AI大模型帶來的挑戰,中國移動聯合華為、中興、銳捷、思博倫、云脈芯聯、星云智聯、中科馭數、博通公司、是德科技、大禹智芯等十余家合作伙伴發布《面向AI大模型的智算中心網絡演進白皮書》。

本白皮書將從 AI 業務發展的歷程出發,深入研究大模型對網絡能力的需求,分析當前網絡與業務需求的差距,并探索網絡技術發展趨勢以彌補這一差距。我們希望,通過本白皮書的研究和分析,為未來面向 AI 大模型的智能計算中心網絡發展提供有益的參考和啟示。

付費5元查看完整內容

大規模語言模型(Large Language Model,LLM)無疑是時下最火熱的 AI 概念,它不僅是人工智能領域近兩年的研究熱點,也在近期引發了全社會的廣泛關注和討論,OpenAI 的 GPT-3 和 ChatGPT 更是數次登上微博熱搜。

LLM 強大的語言理解能力和知識儲備,給大眾留下了深刻的印象。LLM 所涌現的 in-context learning 能力,更是開啟了新的 NLP 范式,并使其有望成為以自然語言進行交互的通用型任務助手(ChatGPT)。LLM 的出現也為跨模態深度學習領域的研究者們帶來新的機遇和挑戰。

通過收集自互聯網的大規模語料進行預訓練,GPT-3 等 LLM 蘊含了豐富的世界知識,這使其有希望解決知識驅動的多模態任務,例如基于外部知識的圖像問答任務,OK-VQA [1]。但是,想要利用 LLM 的潛力解決多模態問題,有一個關鍵問題需要解決:LLM 以語言進行輸入輸出,如何使她能夠理解其他模態的數據,如圖片,并遷移到下游多模態任務呢?

PICa [2] 提出使用 Image Caption 模型將圖片轉化為文本描述,然后輸入給 GPT-3 使其回答關于圖片的問題,該方法在 OK-VQA 數據集上超越了傳統方法。但是由于 caption 未必能覆蓋圖片的全部信息,因此這一方法存在性能瓶頸。另一個容易想到的解決方案是,在預訓練的 LLM 基礎上,增加用來對接另一個模態輸入的網絡參數,并通過微調來得到一個跨模態的大模型。

Deepmind 的 Flamingo [3] 模型采用了這一方案,訓練了一個 800 萬參數量的視覺-語言模型,并在 OK-VQA 上達到新的 SOTA。但是訓練這樣的模型往往需要消耗大量的計算資源,動輒上百上千塊 GPU,這是學術界的大部分研究者難以負擔的。那么,如何能夠既享受到 LLM 的強大能力,又通過有限的計算資源在跨模態任務上達到先進的性能呢?

我們近期的論文給出了一個新的答案:用好小模型!論文 Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering 提出了名為 Prophet 的框架,通過在 LLM 上游引入一個可學習的、任務相關的視覺問答小模型,來更好地激發大模型的潛力。

Prophet 這個名字既是 Prompt with answer heuristics 的縮寫,也契合了 Prophet 框架的精神,我們希望 GPT-3 如一個先知一般對預兆(來自小模型的答案啟發)進行理解和闡釋。Prophet 僅需要 1 塊 3090 顯卡和少量 OpenAI API 的調用,就可以實現超越 Flamingo 的性能,并在兩個基于外部知識的視覺問答數據集 OK-VQA [1] 和 A-OKVQA [4] 上創造了新的 SOTA。該論文現已被 CVPR 2023 錄用。 **論文鏈接:**//arxiv.org/abs/2303.01903 **開源代碼:**

方法介紹

該論文著眼于基于外部知識的圖像問答任務(Knowledge-based VQA),它要求模型不僅能夠分析圖片和問題,還需要結合圖像外部的知識(生活常識、科學知識等世界知識)來推理得到答案。例如,如果問一張獅子圖片“這種動物最喜歡吃什么?”,那么模型就需要知道獅子是食肉動物,它們通常捕食羚羊、斑馬等。

早期的研究使用顯式的知識庫來檢索相關知識,但這樣做往往會引入過多的噪聲,影響模型的訓練和最終性能。近期的工作,如 PICa [2],則嘗試使用 GPT-3 作為隱式的知識引擎來獲取所需知識。PICa 通過將圖像轉化為文本描述(Image Caption)來讓 GPT-3 理解圖像,并使用 few-shot in-context learning 的范式,即提供少量問答示例,使 GPT-3 理解視覺問答任務并作出回答。

盡管 PICa 取得了令人鼓舞的結果,但我們認為它沒有充分激發 GPT-3 的潛能,因為它輸入 GPT-3 的關于圖片的信息往往不夠充分。如下圖所示,當我們問“what fruit comes from these trees?”,由于 caption 只提到了圖片的主要內容“a group of people walk in a city square”而忽略了圖中有一顆椰子樹的細節,GPT-3 未能得到回答問題所需要的關鍵信息,于是只能“瞎猜”一個答案。

后續的工作 KAT [5] 和 REVIVE [6] 在 PICa 輸出基礎上,增加了一個基于顯式知識檢索的 VQA 模型,進一步提高了性能,但依然沒有解決上述問題,未能充分挖掘出 GPT-3 的潛力。

▲ Prophet框架與之前的基于GPT-3的方法的對比

為解決 PICa 的瓶頸問題,我們提出了 Prophet,它利用答案啟發(answer heuristics)來幫助 GPT-3 更好的解決基于外部知識的 VQA 任務。所謂答案啟發,是指寫入 prompt 文本中的,和視覺問題的正確答案相似或相關的答案(當然也包括正確答案本身),我們相信這些具有潛力的答案可以提供豐富的、并且任務相關的視覺信息,可以有效幫助 GPT-3 理解圖像和視覺問答任務。

具體的,論文定義了兩種答案啟發: 1)答案候選(answer candidates): 問題的候選答案及其置信度;2)答案感知示例(answer-aware examples): 選擇答案相近的標注樣本(來自訓練集)作為 prompt 中的例子。有趣的是,這兩種答案啟發可以使用同一個簡單的 VQA 模型同時產生。

▲ Prophet的總體框架圖

Prophet 的完整流程分為兩個階段,如上圖所示。在第一階段,我們首先針對特定的外部知識 VQA 數據集訓練一個普通的 VQA 模型(在具體實現中,我們采用了一個改進的 MCAN [7] 模型),注意該模型不使用任何外部知識,但是在這個數據集的測試集上已經可以達到一個較弱的性能。然后我們從模型中提取兩種答案啟發:答案候選和答案感知示例。

具體的,我們以模型分類層輸出的置信度(模型輸出的 sigmoid 值)為依據對答案進行排序,抽取其中的 top 10 作為答案候選,并記錄每個答案的置信度分數;同時,我們將模型分類層之前的特征作為樣本的潛在答案特征(latent answer feature),在它表示的潛在特征空間中搜索最相近的標注樣本作為答案感知示例。

在第二階段,我們拓展了 PICa 的 prompt 格式,將答案啟發組織到 prompt 之中(如上圖所示的 prompt 例子),然后將 prompt 輸入給 GPT-3,提示其完成視覺問題的回答。

值得一提的是,雖然我們給出了答案候選,但是我們并未要求 GPT-3 必須從中選擇答案,一方面,prompt 中給出的示例可能就包含了正確答案不包含在答案候選中的情況,另一方面,如果所有候選的置信度都很低,也會暗示 GPT-3 生成一個全新的答案。這一設計不僅給予了 GPT-3 更多的自由,并且使 GPT-3 對前置 VQA 模型所可能引入的負面效應更加魯棒,即 GPT-3 有權不相信 VQA 模型的不合理“猜測”。

實驗分析

▲ Prophet論文主要實驗結果

上方兩表展示了 Prophet 在兩個基于外部知識的圖像問答數據集 OK-VQA 和 A-OKVQA 上的實驗結果,及其和以往方法的性能對比。實驗表明,Prophet 達到了先進的性能,顯著超越了以往的方法。在 OK-VQA 數據集上,Prophet 達到了 61.1% 的準確率,大幅超越了 Deepmind 的 80B 大模型 Flamingo。

值得一提的是,Prophet 不僅在分數上超越了 Flamingo,在所需的(線下)計算資源上也更為“親民”,更容易在有限的計算資源下進行復現。Flamingo-80B 需要在 1,536 塊 TPUv4 顯卡上訓練 15 天,而 Prophet 只需要一塊 RTX-3090 顯卡訓練 VQA 模型 4 天,再調用一定次數的 OpenAI API 即可。

在 A-OKVQA 上,Prophet 也達到了新的 SOTA,在測試集上取得 55.7% 的準確率。不僅如此,我們還為 A-OKVQA 的多選項測評模式設計了一個專門的變體(詳見論文),命名為 Prophet-MC,該變體的 MC 準確率達到了 73.6% 的優秀水平。

▲ 對答案候選和答案感知示例的消融實驗

論文對 Prophet 方法進行了充分、細致的消融實驗,上方兩表展示了其中最重要的兩個結果。在左表中我們嘗試調節答案候選的數量,可以觀察到該參數顯著影響方法的最終性能,說明答案候選在 Prophet 方法中起著至關重要的作用。在右表中,我們嘗試了其他策略來選擇 prompt 中的示例,其中的 fused 一行即對應了我們基于潛在答案特征來搜索答案感知示例的方式,實驗結果表明該方式是最優的。

更詳盡的實現細節和實驗分析請參考論文原文。

后記

Prophet 具有諸多優勢,方法思路簡單,性能優越,在實現上也更為簡單、經濟,因此我們決定分享我們的工作。在該工作完成后不久,跨模態大模型 PaLI [8] 和 PaLM-E [9] 相繼提出,他們在 OK-VQA 數據集上超越了 Prophet,但是我們相信 Prophet 依然有其獨特的價值:

  1. 實現 Prophet 所需的計算資源更小,是大部分學術界的研究者能夠承擔的,我們相信 Prophet 為這些研究者們創造出了更大的研究空間,Prophet 作為基于外部知識圖像問答任務的一個新的基線(baseline),還有許多值得挖掘的地方;

  2. Prophet 不僅是 GPT-3 等 LLM 可以遷移到多種下游任務并取得優良性能的又一例證,更拓展了原本基于 few-shot in-context learning 的遷移范式,引出了一個新的范式,“小模型+LLM”。用任務相關的小模型作為 LLM 適配下游任務的適配器(Adapter),將增強 LLM 的通用性和針對性。我們相信 Prophet 的思路將啟發其他領域的工作。

如果您對我們的工作有任何疑問,歡迎來信探討,或者在 GitHub 上提交 issue。

參考文獻

  1. Kenneth Marino, Mohammad Rastegari, Ali Farhadi, and Roozbeh Mottaghi. Ok-vqa: A visual question answering benchmark requiring external knowledge.
  2. Zhengyuan Yang, Zhe Gan, Jianfeng Wang, Xiaowei Hu, Yumao Lu, Zicheng Liu, and Lijuan Wang. An empirical study of gpt-3 for few-shot knowledge-based vqa.
  3. Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning.
  4. Dustin Schwenk, Apoorv Khandelwal, Christopher Clark, Kenneth Marino, and Roozbeh Mottaghi. A-okvqa: A benchmark for visual question answering using world knowledge.
  5. Liangke Gui, Borui Wang, Qiuyuan Huang, Alex Haupt- mann, Yonatan Bisk, and Jianfeng Gao. Kat: A knowledge augmented transformer for vision-and-language.
  6. Yuanze Lin, Yujia Xie, Dongdong Chen, Yichong Xu, Chenguang Zhu, and Lu Yuan. REVIVE: Regional visual representation matters in knowledge-based visual question answering.
  7. Zhou Yu, Jun Yu, Yuhao Cui, Dacheng Tao, and Qi Tian. Deep modular co-attention networks for visual question answering.
  8. Xi Chen, Xiao Wang, Soravit Changpinyo, A. J. Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman et al. Pali: A jointly-scaled multilingual language-image model.
  9. Danny Driess, Fei Xia, Mehdi SM Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid et al. PaLM-E: An Embodied Multimodal Language Model.

關于作者

論文第一作者邵鎮煒是杭州電子科技大學計算機學院媒體智能實驗室碩士研究生。邵鎮煒同學患有“進行性脊肌萎縮癥”,肢體一級殘疾,沒有生活自理能力,生活和學習需要母親的全程照顧。2017年高考考入杭州電子科技大學計科專業,本科期間獲得2018年中國大學生自強之星、國家獎學金和浙江省優秀畢業生等榮譽。2021年通過研究生推免,加入余宙教授課題組攻讀碩士研究生。

論文通訊作者為杭州電子科技大學計算機學院余宙教授。余宙教授是杭電計算機學院最年輕的教授,教育部“復雜系統建模與仿真”實驗室副主任。長期從事多模態智能方向研究,曾帶領研究團隊多次獲得國際視覺問答挑戰賽VQA Challenge 的冠亞軍。

付費5元查看完整內容

這本開放獲取的書概述了一種稱為“次線性計算范式”的前沿工作,該范式是在一個多年學術研究項目“大數據創新算法基礎”中提出的。為了應對研究、工業和社會其他領域大數據集的空前爆炸,迫切需要開發新的大數據分析方法和方法。為滿足這一需求,正在尋求大數據算法理論的創新變革。例如,多項式時間算法迄今為止被廣泛認為是迅速的,但如果將二次時間算法應用于更大的數據集,則會遇到計算資源或運行時間方面的問題。為了處理這個關鍵的計算和算法瓶頸,需要線性、次線性和恒定時間算法。

為了支持大數據時代的創新,作者在本書提出了次線性計算范式。通過為大數據開發計算程序、數據結構和建模技術,為創新算法奠定了基礎。

編者:Naoki Katoh,日本兵庫大學; Yuya Higashikawa,日本兵庫大學; Hiro Ito,日本電氣通信大學; Atsuki Nagao,日本御茶水女子大學; Tetsuo Shibuya,日本東京大學; Adnan Sljoka,日本機器學習人工智能研究中心; Kazuyuki Tanaka,日本東北大學; Yushi Uno,日本大阪府立大學

付費5元查看完整內容

人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下,我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理,通過自主增量開發越來越復雜的知識和技能,從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而,盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010),很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響,這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外,學習過程通常被限制在限定和孤立的任務內的固定數據集,這可能很難導致出現更復雜和自主的智能行為。從本質上講,持續學習和適應能力,雖然經常被認為是每一個智能代理的基本支柱,但大多被排除在主要的人工智能研究重點之外。

在本教程中,我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始,我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來,并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分,我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究,以及與其他范式的關系,如無監督,半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響,以及它們在現實應用中的部署。最后,我們將強調持續學習的概念,作為可持續機器學習的關鍵技術推動者及其社會影響,并概述有趣的研究問題和未來值得解決的方向。

//sites.google.com/view/cltutorial-icml2021

付費5元查看完整內容

我們為什么在這里?我們大多數人來到這里的原因很簡單:我們想解決人工智能問題。那么,人工智能和這本書的書名有什么關系呢?人工智能的現代定義之一是對理性代理的研究和設計[RN09]。從這個意義上說,我們將一個系統描述為智能的,當它最大化某些預期的性能概念時。機器學習的子領域處理的是問題和算法的子集,其中代理可以獲得經驗(通常以某種形式的數據),可以利用這些經驗來改進性能的概念[MRT12]。大多數情況下,性能是由代理人在新的和看不見的情況下如何行動來衡量的,這些情況不構成其訓練經驗的一部分。例如,可以訓練一名代理人將英文翻譯成法文,其訓練經驗包括大量翻譯的聯合國文件。然而,在評估時,它可能會在與它所見過的文件不同的聯合國新文件上進行測試。很自然地,代理在它所看到的訓練經驗和它所評估的新情況下的表現之間存在著差距。代理泛化的能力是通過性能上的差距有多小來衡量的。

希望前面的段落已經解釋了在機器學習的背景下,以及在更大的AI背景下,什么是泛化。那么,標題中還保留著哪些“分布外”詞呢?如前所述,泛化是指減少一個agent在已知訓練情境下的表現與同一agent在未知測試情境下的表現之間的差距。然而,有許多不同類型的未知。統計學習通常處理的一類泛化是分布的:當從訓練示例生成的數據與測試示例生成的數據無法區分時。根據定義,非分布內的泛化問題稱為分布外泛化問題,這是本書的主題。

這項工作的目標很簡單。我們想要回顧,分布外泛化的知識。因此,這項工作的很大一部分將致力于理解(有時是微妙的)不同方法和假設之間的差異和相似性,通常以一種孤立的方式呈現。重點將放在與人工智能或現代大規模機器學習應用等想法上。此外,我們將特別注意研究不同方法的缺點,以及下一步可能是重要的。

  • 在第二章中,我們首先討論如何量化分布外泛化。通過幾個例子,我們研究了分布外泛化與處理不同分布外任務的幾種常用方法之間的關系。本文將特別強調這些方法背后的假設,并說明這些方法何時有效,何時無效。

  • 在第三章中,我們將關注一個特定的分布外任務類。在這些預測任務中,就像在許多實際問題中一樣,在分布之外泛化的困難在于找出數據中的哪些相關性是假的和不可靠的,以及哪些相關性代表感興趣的現象。

  • 在第四章中,我們討論了不同應用領域在實踐中出現的分布外任務的類型,以及這些領域在過去是如何處理這些問題的。

  • 在第五章中,我們為分布外泛化和人工智能背景下的新研究領域奠定了基礎。在本章中,我們將關注在探索或強化學習環境中與世界交互的agent,以及它們如何從分布外泛化中獲益。

付費5元查看完整內容

雖然機器學習的專業知識并不意味著你可以創建自己的圖靈測試證明機器人(就像電影《機械總動員》中那樣),但它是人工智能的一種形式,是快速大規模識別機會和解決問題的最令人興奮的技術手段之一。任何掌握了機器學習原理的人都將掌握我們科技未來的很大一部分,并在職業領域開辟令人難以置信的新方向,包括欺詐檢測、優化搜索結果、服務實時廣告、信用評分、建立精確而復雜的定價模型等等。

與大多數機器學習書籍不同的是,完全更新的第二版《傻瓜機器學習》并不假設你有多年使用編程語言(如Python)的經驗,但讓你入門,涵蓋了入門的材料,將幫助你建立和運行你需要執行實際任務的構建模型。它揭示了推動機器學習的潛在的——迷人的——數學原理,同時也表明,你不需要是一個數學天才,就可以構建有趣的新工具,并將它們應用到你的工作和學習中。

  • 了解人工智能和機器學習的歷史
  • 使用Python 3.8和TensorFlow 2。x(及R下載)
  • 構建并測試您自己的模型
  • 使用最新的數據集,而不是在其他書中找到的陳舊的數據
  • 將機器學習應用于實際問題
  • 無論你想為大學學習或提高你的業務或職業表現,這本機器學習指南是您最好的機器學習介紹,讓您快速使用這個驚人的和快速發展的技術,影響世界各地的更好的生活。

付費5元查看完整內容
北京阿比特科技有限公司