亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

開源大模型趕上ChatGPT了嗎？

在2022年底發布之時，ChatGPT在整個人工智能領域的研究和商業方面都帶來了翻天覆地的變化。通過對大型語言模型（LLM）進行指令調優、經過監督的微調以及根據人類反饋的強化學習，它展示了一個模型可以回答人類問題并在廣泛的任務范圍內遵循指示。繼這一成功之后，對LLM的興趣大大增強，學術界和工業界頻繁涌現出新的LLM，包括許多專注于LLM的初創公司。雖然閉源LLM（例如，OpenAI的GPT、Anthropic的Claude）通常優于它們的開源對手，但后者的進展迅速，有聲稱在某些任務上達到或甚至超越ChatGPT的情況。這不僅對研究，也對商業有著關鍵影響。在這項工作中，為慶祝ChatGPT發布一周年，我們提供了這一成功的詳盡概述，綜述了所有開源LLM聲稱與ChatGPT不相上下或更好的任務。

//www.zhuanzhi.ai/paper/fd1994eb5720038ded207caa6a3783f0

在一年前，OpenAI發布的ChatGPT引起了人工智能界和更廣泛世界的轟動。首次，一個基于應用的AI聊天機器人能夠普遍提供有用、安全、詳細的回答，遵循指令，甚至承認并修正其先前的錯誤。值得注意的是，它可以執行這些傳統上由經過預訓練然后定制微調的語言模型（如概括或問答（QA））完成的自然語言任務，看似驚人地好。作為其類的首個，ChatGPT吸引了大眾的注意 — 它在發布僅兩個月內就達到了1億用戶，比如TikTok或YouTube等其他流行應用快得多。它還吸引了巨額商業投資，因其潛在的降低勞動力成本、自動化工作流程，甚至為客戶帶來新體驗的能力（Cheng et al., 2023）。然而，由于ChatGPT沒有開源，且其訪問由私人公司控制，大部分技術細節仍然未知。盡管有聲稱ChatGPT遵循了InstructGPT（也稱為GPT-3.5）中引入的程序（Ouyang et al., 2022b），但其確切的架構、預訓練數據和微調數據是未知的。這種封閉源性質產生了幾個關鍵問題。首先，不了解內部細節，如預訓練和微調程序，就難以正確估計其對社會的潛在風險，尤其是知道LLM可能會生成有毒、不道德和不真實的內容。其次，據報道，ChatGPT的性能隨時間變化，妨礙了可重現結果（Chen et al., 2023c）。第三，ChatGPT經歷了多次中斷，僅在2023年11月就有兩次重大中斷，期間ChatGPT網站和其API的訪問完全被阻止。最后，采用ChatGPT的企業可能會擔心調用API的高昂成本、服務中斷、數據所有權和隱私問題，以及不可預測的事件，如最近有關首席執行官Sam Altman被解職、員工叛亂以及他最終回歸的董事會戲劇（REUTERS來源）。開源LLM是一個有希望的方向，因為它們可以潛在地補救或繞過上述大多數問題。因此，研究界一直在推動將高性能LLM保持在開源狀態。然而，截至今天，人們普遍認為，像Llama-2（Touvron et al., 2023b）或Falcon（Almazrouei et al., 2023）這樣的開源LLM落后于它們的封閉源對手，比如OpenAI的GPT3.5（ChatGPT）和GPT-4（OpenAI，2023b）、Anthropic的Claude2或Google的Bard3，其中GPT-4通常被認為是截至2023年底的所有LLM中的佼佼者。然而，這個差距越來越小，開源LLM迅速趕上。事實上，正如圖1所示，在某些任務上，最好的開源LLM已經比GPT-3.5-turbo表現得更好。然而，對于開源LLM來說，并不是一場直截了當的上坡戰。LLM的格局不斷演變：封閉源LLM定期在更新的數據上重新訓練，開源LLM幾乎每周都會發布，有大量的評估數據集和基準用于比較LLM，這使得挑選出最佳LLM尤其具有挑戰性。在這項綜述中，我們旨在整合最近的開源LLM論文，并提供一個概述，即在各個領域與ChatGPT相當或超越的開源LLM。我們的貢獻有三個方面： ? 整合對開源LLM的各種評估，提供對開源LLM與ChatGPT的公正和全面的看法（圖1，第3.1節）。 ? 系統地審查在各種任務中超越或趕上ChatGPT的開源LLM，并進行分析（圖2，第3節，第4.2節）。 ? 提出關于開源LLM發展趨勢的見解（第4.1節）、訓練開源LLM的良好做法（第4.3節）和開源LLM可能存在的問題（第4.4節）。 這項綜述旨在為研究界和商業領域提供一個關于開源LLM當前格局和未來潛力的關鍵資源。對于研究人員，它提供了當前開源LLM進展和演變趨勢的詳細綜合，強調未來調查的有希望的方向。對于商業領域，這項綜述提供了寶貴的見解和指導，幫助決策者評估采用開源LLM的適用性和好處。在接下來的文章中，我們首先介紹背景前提（第2節），然后對在各個領域擊敗ChatGPT的開源LLM進行深入審查（第3節），接著討論開源LLM的見解和問題（第4節），最后我們總結這項綜述（第5節）。

開源LLM與ChatGPT對比

通用能力

Llama-2-70B（Touvron et al., 2023b）是一款杰出的開源LLM，已在龐大的兩萬億令牌數據集上進行預訓練。它在各種通用基準測試中展示了卓越的結果。當進一步使用指令數據進行微調時，Llama-2-chat-70B變體在一般對話任務中表現出增強的能力。特別是，在AlpacaEval中，Llama-2-chat-70B取得了92.66%的勝率，超過了GPT-3.5-turbo的10.95%。然而，GPT-4仍然是所有LLM中的頂尖表現者，其勝率為95.28%。另一個較小的模型Zephyr-7B（Tunstall et al., 2023）使用了蒸餾直接偏好優化（Rafailov et al., 2023a），在AlpacaEval中與70B LLM取得了相當的結果，勝率為90.6%。它甚至在MT-Bench上超過了Llama-2-chat-70B，得分為7.34對6.86。此外，WizardLM-70B（Xu et al., 2023a）經過使用大量具有不同復雜度的指令數據的微調。它作為最高得分的開源LLM在MT-Bench上脫穎而出，得分為7.71。然而，這仍然略低于GPT-3.5-turbo（7.94）和GPT-4（8.99）的得分。盡管Zephyr-7B在MT-Bench上表現出色，但在開放LLM排行榜上得分僅為52.15%。另一方面，GodziLLa2-70B（Philippines, 2023），一款結合了各種專有LoRAs（來自Maya Philippines 6）和Guanaco Llama 2 1K數據集（mlabonne, 2023）與Llama-2-70B的實驗模型，在開放LLM排行榜上取得了更具競爭力的67.01%的得分。這一表現與GPT-3.5-turbo（70.21%）相當。然而，兩者都明顯落后于GPT-4，后者以85.36%的高分領先。UltraLlama（Ding et al., 2023）利用了具有增強多樣性和質量的微調數據。它在其提出的基準測試中與GPT-3.5-turbo的表現相匹配，而在世界和專業知識領域則超越了后者。 大模型發展趨勢

自從Brown et al.（2020年）展示了一個固定的GPT-3模型可以在各種任務上實現令人印象深刻的零次和少次嘗試性能以來，為推進LLM的發展已經做出了許多努力。其中一個研究方向專注于擴大模型參數，包括Gopher（Rae et al., 2021年）、GLaM（Du et al., 2022年）、LaMDA（Thoppilan et al., 2022年）、MT-NLG（Smith et al., 2022年）和PaLM（Chowdhery et al., 2022年），達到了540B參數。盡管這些模型展示了顯著的能力，但它們封閉源的性質限制了其廣泛應用，因此引起了對開發開源LLM的日益濃厚的興趣（Zhang et al., 2022年；Workshop et al., 2022年）。

另一個研究方向不是擴大模型規模，而是探索了為預訓練較小模型提供更好的策略或目標，如Chinchilla（Hoffmann et al., 2022b年）和UL2（Tay et al., 2022年）。在預訓練之外，還有相當多的關注集中在研究語言模型的指令調優上，例如FLAN（Wei et al., 2021b年）、T0（Sanh et al., 2021年）和Flan-T5（Chung et al., 2022年）。

OpenAI的ChatGPT一年前的出現極大地改變了自然語言處理（NLP）社區的研究重點（Qin et al., 2023a年）。為了趕上OpenAI，Google和Anthropic分別推出了Bard和Claude。雖然它們在許多任務上顯示出與ChatGPT相當的性能，但與最新的OpenAI模型GPT-4（OpenAI，2023b年）之間仍存在性能差距。由于這些模型的成功主要歸因于來自人類反饋的強化學習（RLHF）（Schulman et al., 2017b年；Ouyang et al., 2022a年），研究人員探索了各種改進RLHF的方法（Yuan et al., 2023年；Rafailov et al., 2023b年；Lee et al., 2023b年）。

為了促進開源LLM的研究，Meta發布了Llama系列模型（Touvron et al., 2023a,b年）。從那時起，基于Llama的開源模型開始爆炸性地出現。一個代表性的研究方向是使用指令數據對Llama進行微調，包括Alpaca（Taori et al., 2023年）、Vicuna（Chiang et al., 2023年）、Lima（Zhou et al., 2023b年）和WizardLM（Xu et al., 2023a年）。正在進行的研究還探索了提高基于Llama的開源LLM的代理（Xu et al., 2023d年；Zeng et al., 2023年；Patil et al., 2023年；Qin et al., 2023b年）、邏輯推理（Roziere et al., 2023年；Luo et al., 2023a,c年）和長文本建模（Tworkowski et al., 2023年；Xiong et al., 2023年；Xu et al., 2023b年）能力。此外，除了基于Llama開發LLM之外，還有許多努力投入到從零開始訓練強大的LLM，例如MPT（團隊，2023年）、Falcon（Almazrouei et al., 2023年）、XGen（Nijkamp et al., 2023年）、Phi（Gunasekar et al., 2023年；Li et al., 2023e年）、Baichuan（Yang et al., 2023a年）、Mistral（Jiang et al., 2023a年）、Grok（xAI，2023年）和Yi（01ai，2023年）。我們相信，開發更強大、更高效的開源LLM，以民主化封閉源LLM的能力，應該是一個非常有前景的未來方向。

最佳開源 LLM配方

訓練LLM涉及復雜且資源密集型的實踐，包括數據收集和預處理、模型設計和訓練過程。雖然定期發布開源LLM的趨勢日益增長，但領先模型的詳細實踐通常不幸保密。以下我們列出了社區廣泛認可的一些最佳實踐。

數據預訓練涉及使用萬億級別的數據Token，這些數據Token通常來自公開可獲取的資源。從倫理角度來說，排除包含私人個體信息的任何數據至關重要（Touvron et al., 2023b）。與預訓練數據不同，微調數據在數量上較小，但在質量上更為優越。使用頂級質量數據微調的LLM表現出改善的性能，特別是在專業領域（Philippines, 2023; Zeng et al., 2023; Xu et al., 2023d,a）。

模型架構雖然大多數LLM采用僅解碼器的變換器架構，但模型中采用了不同技術來優化效率。Llama-2實現了Ghost關注機制，用于改進多輪對話控制（Touvron et al., 2023b）。Mistral（Jiang et al., 2023b）采用滑動窗口關注機制來處理擴展的上下文長度。

訓練使用指令調優數據進行監督微調（SFT）的過程至關重要。為了獲得高質量的成果，數萬條SFT注釋就足夠，這一點由用于Llama-2的27,540條注釋證實（Touvron et al., 2023b）。這些數據的多樣性和質量至關重要（Xu et al., 2023a）。在RLHF階段，近似策略優化（PPO）（Schulman et al., 2017a）通常是首選算法，以更好地使模型的行為與人類偏好和指令遵從性保持一致，這在提高LLM安全性方面起著關鍵作用。PPO的一種替代方法是直接偏好優化（DPO）（Rafailov et al., 2023a）。例如，Zephyr-7B（Tunstall et al., 2023）采用了蒸餾DPO，在各種通用基準測試上顯示出與70B-LLM相當的結果，甚至在AlpacaEval上超過了GPT-3.5-turbo。

總結

在這項綜述中，我們提供了對在各種任務領域超越或趕上ChatGPT的高性能開源LLM的系統性調研，標志著ChatGPT發布一周年（第3節）。此外，我們提供了關于開源LLM的見解、分析和潛在問題（第4節）。我們相信，這項綜述揭示了開源LLM的有希望的發展方向，并將激發進一步在開源LLM領域的研究和發展，有助于縮小與付費對手的差距。

大型語言模型的出現標志著人工智能領域的一次革命性突破。得益于前所未有的訓練規模和模型參數，大型語言模型的能力得到了顯著提升，從而在理解、語言合成和常識推理等方面達到了與人類相似的表現。這種在通用AI能力上的重大飛躍將從根本上改變個性化服務的實施模式。

首先，它將改變人類與個性化系統之間的交互方式。大型語言模型不再是像傳統的推薦系統和搜索引擎那樣的被動信息過濾介質，而是為主動用戶參與提供了基礎。在這樣一個新的基礎上，可以主動探索用戶的請求，并以自然、互動和可解釋的方式提供用戶所需的信息。

其次，它還將大大擴展個性化服務的范圍，使其從僅僅收集個性化信息發展到提供個性化服務的復合功能。通過利用大型語言模型作為通用界面，個性化系統可以將用戶的請求編譯為計劃，調用外部工具（例如搜索引擎、計算器、服務API等）的功能來執行這些計劃，并整合這些工具的輸出，完成端到端的個性化任務。如今，大型語言模型仍在快速發展，而在個性化應用中還大都未被探索。

因此，我們認為現在是時候審視個性化服務的挑戰以及用大型語言模型來解決它們的機會了。特別是，我們在這篇展望性論文中專門討論了以下幾個方面：現有個性化系統的發展和挑戰、大型語言模型新出現的能力，以及如何利用大型語言模型進行個性化的潛在方法。

大型語言模型的出現[1]在理解人類表達方面顯示出了顯著的進步，深刻地影響了AI社區。這些模型配置了大量的數據和大規模的神經網絡，展示了在理解人類語言和生成與我們相似的文本方面的卓越能力。其中的能力包括推理[2]、少次學習[3]以及在預訓練模型中融合大量的世界知識[1]。這標志著人工智能領域的一個重大突破，導致了我們與機器互動的革命。因此，大型語言模型在從自然語言處理和機器翻譯到創意內容生成和聊天機器人開發的各種應用中都變得不可或缺。特別是ChatGPT的推出，受到了人類社區的廣泛關注，促使人們反思大型語言模型的變革力量及其推動AI能夠達到的界限的潛力。這種顛覆性的技術承諾改變我們在無數領域與AI的互動和利用方式，為創新打開了新的可能性和機會。隨著這些語言模型繼續進步和發展，它們有望塑造人工智能的未來，使我們能夠探索未知領域并在人機合作中發掘更大的潛力。

個性化，即根據個人喜好量身定制體驗的藝術，是連接人類與機器之間差距的一個關鍵且動態的紐帶。在當今的技術驅動世界中，個性化在增強用戶與各種數字平臺和服務的互動和參與中起到了關鍵的作用。通過適應個人的偏好，個性化系統賦予機器滿足每個用戶獨特需求的能力，從而使互動更為高效和愉快。此外，個性化不僅僅是內容推薦；它涵蓋了用戶體驗的各個方面，包括用戶界面、交流風格等。隨著人工智能的不斷進步，個性化在處理大量互動和多樣化的用戶意圖方面變得越來越復雜。這要求我們開發更先進的技術來應對復雜的場景，提供更加愉快和滿意的體驗。對改進個性化的追求是由希望更好地了解用戶并滿足他們不斷變化的需求的愿望驅動的。隨著技術的發展，個性化系統很可能會繼續演變，最終創造出一個人機交互無縫融入我們生活的每一個方面的未來，為我們的日常生活提供個性化和量身定制的體驗。

大型語言模型，憑借其深入和廣泛的能力，有潛力革命化個性化系統，改變人類的互動方式并擴大個性化的范圍。人機之間的交互不再僅僅可以被分類為主動和被動，就像傳統的搜索引擎和推薦系統一樣。然而，這些大型語言模型不僅僅是簡單的信息過濾，它們還提供了多樣化的附加功能。具體來說，系統會主動和全面地探索用戶的意圖，使用戶和系統之間能夠通過自然語言進行更直接和無縫的溝通。與依賴于抽象且難以解釋的基于ID的信息表示的傳統技術不同，大型語言模型能夠更深入地理解用戶的確切需求和興趣。這種更深入的理解為更高質量的個性化服務鋪平了道路，以更精細和有效的方式滿足用戶的需求和偏好。此外，通過大型語言模型的能力，各種工具的整合得到了極大的增強，大大擴展了個性化系統的可能性和應用場景。通過將用戶需求轉化為計劃，包括理解、生成和執行它們，用戶可以訪問各種各樣的信息和服務。重要的是，用戶并不知道后臺發生的復雜轉換過程，因為他們體驗到的是一個無縫的端到端模型。從這個角度來看，大型語言模型在個性化方面的潛力尚未被充分探索。

本文探討了個性化中的挑戰，并探索了使用大型語言模型的潛在解決方案。在現有的相關工作中，LaMP [4] 為訓練和評估語言模型在信息檢索系統中生成個性化輸出引入了一個新的基準。另一方面，其他相關的調查[5]、[6]、[7]主要關注傳統的個性化技術，如推薦系統。從學習機制的角度，LLM4Rec [5] 深入探討了用于推薦的區分性LLM和用于推薦的生成性LLM。關于LLM適應推薦系統的"在哪里"和"如何"，Li等人[6]關注了工業推薦階段的整體流程。而Fan等人[7]則進行了一項重點關注預訓練、微調和提示方法的回顧。雖然這些工作討論了像Bert和GPT這樣的預訓練語言模型以便于分析，但他們對大型語言模型的新興能力關注有限。本文旨在通過檢查大型語言模型在個性化背景下的獨特和強大的能力來填補這一空白，并進一步用工具擴展個性化的范圍。

本綜述的其余部分的組織結構如下：我們在第2節回顧了個性化和大型語言模型，以概述其發展和挑戰。然后，我們在第3節仔細討論了大型語言模型在個性化中的潛在作用，包括簡單利用新興能力以及與其他工具的復雜集成。我們還討論了將大型語言模型適應于個性化時可能遇到的挑戰。

大型語言模型用于個性化

在接下來的部分中，我們深入探討了大型語言模型在個性化方面的潛力，從簡單的使用情境，如利用詞匯知識作為特征，到與其他工具模塊更為復雜的集成，使其起到代理的作用。具體來說，我們關注于新興能力的進展，從基礎的世界知識和理解用戶意圖開始，發展到高級的推理能力。我們探索了大型語言模型如何有助于構建一個知識庫，豐富關于各種項目的常識知識。此外，我們還討論了大型語言模型的理解能力如何賦予內容解釋者和解釋者對交互的深入分析能力。此外，我們還觀察了利用大型語言模型的推理能力為系統推理者提供推薦結果的嘗試。這些越來越復雜的能力使得大型語言模型與其他工具模塊的復雜利用成為可能，使它們更好地理解用戶意圖并滿足用戶指令。因此，我們還探討了大型語言模型與其他個性化工具的集成，包括工具學習、會話代理和個性化內容創建者。本章的概述如圖1所示。我們的全面調查旨在提供對當前格局的更深入的了解，并闡明將大型語言模型整合到個性化中所帶來的機會和挑戰。

大模型即知識庫

大型語言模型（Large Language Models，簡稱LLMs）檢索事實知識作為顯式知識庫的能力 [38], [39], [40], [41], [42], [43], [40], [41], [44], [45], [46] 已引起了廣泛的討論，這為在推薦系統內構建更為全面的知識圖譜提供了機會。回溯到 [38] 的工作，大型語言模型在存儲事實信息，如實體和常識，以及將常識可靠地轉移給下游任務方面展示了其令人印象深刻的能力。現有的知識圖譜方法難以處理不完整的KGs [47] 和利用文本語料構建KGs [48]，許多研究者嘗試利用LLMs的能力來解決這兩個任務，即知識圖譜的補全 [49] 和知識圖譜的構建 [50]。對于知識圖譜的補全，這是指在給定的知識圖譜中缺失事實的任務，近期的努力已致力于為知識圖譜編碼文本或生成事實。MTL-KGC [51] 對文本序列進行編碼以預測元組的可能性。MEMKGC [52] 預測了三元組的掩碼實體。StAR [53] 使用暹羅文本編碼器分別對實體進行編碼。GenKGC [54] 使用僅解碼器的語言模型直接生成尾實體。TagReal [55] 從外部文本語料庫中生成高質量的提示。AutoKG [48] 直接采用了LLMs，例如ChatGPT和GPT-4，并設計了定制提示以預測尾實體。至于另一個重要任務，即知識圖譜的構建，這是指創建知識的結構化表示，LLMs可以應用于構建知識圖譜的過程中，包括實體發現 [56], [57], coreference resolution [58], [59] 和關系抽取 [60], [61]。LLMs還可以實現端到端的構建 [62], [50], [42], [63], [55]，直接從原始文本構建KGs。LLMs允許知識提取構建知識圖譜。symbolic-kg [64] 從GPT3中提取常識事實，然后微調小型學生模型以生成知識圖譜。這些模型已經展示了存儲大量知識的能力，為提高知識圖譜的范圍和深度提供了一個可行的選擇。此外，這些進展促使人們研究從LLMs到知識圖譜的存儲知識的直接轉移，消除了對人類監督的需求。這項有趣的研究揭示了利用尖端的大型語言模型自動完成知識圖譜的可能性。

LLMs 作為內容解釋器

基于內容的推薦器為緩解推薦系統中的稀疏反饋問題提供了有效的解決方案。通過利用物品的屬性和特性，這些系統對其屬性有了更深入的了解，促使與用戶偏好的準確匹配。然而，在基于內容的推薦中使用的內容特性也可能表現出稀疏性。僅僅依賴推薦的監督信號，如點擊和瀏覽，可能不能充分利用這些特性的潛在好處。為了克服這一挑戰，語言模型作為強大的基本算法出現，它們在處理文本特性時充當內容解釋器。他們的利用增強了推薦系統的有效性，有效地理解和解釋文本內容，從而改進了推薦。

結論

總的來說，大型語言模型的出現在人工智能領域代表了一個重大的突破。它們在理解、語言分析和常識推理方面的增強能力為個性化打開了新的可能性。在本文中，我們從幾個角度討論了大型語言模型適應個性化系統的時機。我們已經觀察到，從利用大型語言模型的低級能力來提高性能，到利用它們在與外部工具的復雜互動中進行端到端任務的潛力，這種進展都有所進化。這種演變有望徹底改變個性化服務的提供方式。我們也承認，將大型語言模型集成到個性化系統中帶來的開放性挑戰。

人工智能(AI)正在幾乎每個領域產生深遠影響。其巨大成功的一個重要促成因素是可用于構建機器學習模型的豐富和高質量數據。最近，數據在人工智能中的作用被顯著放大，催生了以數據為中心的人工智能概念。研究人員和從業人員的關注焦點已逐漸從推進模型設計轉向提高數據的質量和數量。**本文討論了以數據為中心的人工智能的必要性，對三個一般的以數據為中心的目標(訓練數據開發、推理數據開發和數據維護)和代表性方法進行了整體看法。**從自動化和協作的角度組織了現有的文獻，討論了挑戰，并列出了各種任務的基準。我們相信這是第一個全面的綜述，提供了跨數據生命周期各個階段的任務譜的全局視圖。希望它能幫助讀者有效地掌握這一領域的概覽，并為他們提供系統地設計數據以構建人工智能系統的技術和進一步的研究思路。以數據為中心的人工智能資源的配套列表將在//github.com/daochenzha/data-centric-AI上定期更新。

過去的十年見證了人工智能(AI)的巨大進步，幾乎在每個領域都產生了深遠的影響，如自然語言處理[47]、計算機視覺[235]、推薦系統[284]、醫療保健[161]、生物學[248]、金融[175]等。這些巨大成功的一個關鍵促成因素是豐富和高質量的數據的可用性。許多重大的人工智能突破只有在我們獲得正確的訓練數據之后才會發生。例如，AlexNet[127]是第一批成功的卷積神經網絡之一，它是基于ImageNet數據集[59]設計的。AlphaFold[117]是人工智能在科學發現方面的一個突破，如果沒有注釋的蛋白質序列[163]，將不可能實現。大型語言模型的最新進展依賴于大型文本數據進行訓練34,121,187,188。除了訓練數據外，精心設計的推理數據有助于對人工智能中眾多關鍵問題的初步識別，并解鎖新的模型能力。一個著名的例子是對抗樣本[129]，它通過對輸入數據的專門修改來混淆神經網絡，這引起了人們對研究人工智能安全的興趣激增。另一個例子是prompt engineering[146]，它僅通過調整輸入數據來從模型中探測知識，同時保持模型固定(圖1右側)來完成各種任務。與此同時，數據的價值在工業界得到了廣泛的認可。許多大型科技公司已經建立了基礎設施來組織、理解和調試構建AI系統的數據[7,15,230,233]。在構建訓練數據、推理數據和維護數據的基礎設施方面的所有努力，為今天人工智能的成就鋪平了道路。

最近，數據在人工智能中的作用被顯著放大，引發了新興的以數據為中心的人工智能概念 [108,109,183,250,268]。在傳統的以模型為中心的AI生命周期中，研究人員和開發人員主要關注于識別更有效的模型來提高AI性能，同時保持數據基本不變。然而，這種以模型為中心的范式忽略了潛在的質量問題和數據的不良缺陷，如缺失值、不正確的標簽和異常。作為對現有模型推進工作的補充，以數據為中心的人工智能強調數據的系統工程，以構建人工智能系統，將重點從模型轉移到數據。需要注意的是，"以數據為中心"與"數據驅動"有本質區別，后者只強調使用數據來指導人工智能開發，而后者通常仍以開發模型為中心，而不是工程數據。

已經有幾個倡議致力于以數據為中心的人工智能運動。一個值得注意的是Ng等人[170]發起的競賽，它要求參與者迭代數據集，只為了提高性能。Snorkel[190]構建了一個系統，可以使用啟發式功能實現自動數據注釋，而無需手動標記。由于許多好處，一些新興的AI公司將數據置于中心地位，例如提高準確性，更快的部署和標準化的工作流[169,189,240]。這些跨學術界和工業界的集體行動，證明了使用以數據為中心的方法構建人工智能系統的必要性。

**隨著以數據為中心的人工智能需求的不斷增長，各種方法被提出。一些相關的研究課題并不新鮮。**例如，數據增強[74]已被廣泛研究以提高數據多樣性。為了準備更簡潔的數據，特征選擇[138]早在幾十年前就被研究了。與此同時，最近出現了一些新的研究方向，如用于快速標記數據的數據編程[191]，用于理解模型決策的算法求助[120]，以及修改大型語言模型輸入以獲得理想預測的提示工程[146]。從另一個維度來看，一些工作致力于使數據處理更加自動化，如自動數據增強[56]和自動管道發現[68,132]。其他一些方法強調在創建數據時人機協作，以便模型可以與人類的意圖保持一致。例如，**ChatGPT和GPT-4的顯著成功[172]在很大程度上歸功于從人類反饋程序[48]中進行的強化學習，它要求人類對提示提供適當的響應，并將輸出進行排序作為獎勵[174]。**盡管上述方法是為了不同的目的而獨立開發的，但它們的共同目標是確保數據的質量、數量和可靠性，以便模型按照預期的方式運行。

在對數據為中心的人工智能的需求和所提出的眾多方法的驅動下，本文從整體上介紹了數據為中心的人工智能的技術進展，并總結了現有的研究方向。具體而言，本綜述圍繞以下研究問題展開: * RQ1: 讓AI以數據為中心的必要任務是什么? * RQ2: 為什么自動化對數據的開發和維護很重要? * RQ3: 在哪些情況下以及為什么人類參與在以數據為中心的AI中至關重要? * RQ4: 以數據為中心的人工智能目前的進展如何? 通過回答這些問題，我們做出了三個貢獻。首先，提供了一個全面的概述，幫助讀者從不同的角度有效地掌握以數據為中心的人工智能的概貌，包括定義、任務、算法、挑戰和基準。以目標驅動的分類法組織現有文獻。進一步確定每個方法中是否需要人工參與，并將方法標記為自動化水平或人工參與程度。最后，對現有研究進行了分析，并討論了未來可能的發展機遇。

本調研的結構如下。第2節概述了與數據為中心的人工智能相關的概念和任務。詳細闡述了三個以數據為中心的通用人工智能目標的需求、代表性方法和挑戰，包括訓練數據開發(第3節)、推理數據開發(第4節)和數據維護(第5節)。第6節總結了各種任務的基準。第7節從全局的角度討論了以數據為中心的人工智能，并強調了潛在的未來方向。最后，我們在第8節總結了這個調研。

2. 以數據為中心的人工智能

本節將介紹以數據為中心的AI的背景。2.1節定義了相關概念。2.2節討論了為什么需要以數據為中心的人工智能。2.3節描繪了相關任務的大圖景，并提出了一個目標驅動的分類法來組織現有的文獻。第2.4節側重于以數據為中心的人工智能的自動化和人類參與。

人工智能(AI): AI是一個廣泛的跨學科領域，它試圖使計算機具有人類的智能來解決復雜的任務[252]。人工智能的一個主要技術是機器學習，它利用數據來訓練預測模型來完成一些任務。 * 數據: 數據是一個非常通用的概念，用于描述傳遞信息的值的集合。在人工智能的背景下，數據用于訓練機器學習模型或作為模型輸入進行預測。數據可以以各種格式出現，如表格數據、圖像、文本、音頻和視頻。 * 訓練數據: 訓練數據是用于機器學習模型訓練階段的數據。該模型利用訓練數據調整參數并進行預測。 * 推理數據: 推理數據是用于機器學習模型推理階段的數據。一方面，它可以在模型訓練后對模型的性能進行評估;另一方面，對推理數據進行調優可以幫助獲得所需的輸出，例如對語言模型的提示進行調優[146]。 * 數據維護: 數據維護是指維護數據質量和可靠性的過程，通常涉及高效的算法、工具和基礎設施，以理解和調試數據。數據維護在人工智能中起著至關重要的作用，因為它確保訓練和推理數據的準確性和一致性[107]。 * 以數據為中心的人工智能: 數據為中心的人工智能是指為人工智能系統開發、迭代和維護數據的框架[268]。以數據為中心的人工智能涉及構建有效的訓練數據、設計適當的推理數據和維護數據的任務和方法。 對以數據為中心的AI的需求

**過去，人工智能通常被視為一個以模型為中心的領域，其重點是在給定固定數據集的情況下推進模型設計。**然而，對固定數據集的過度依賴并不一定會導致現實世界應用中更好的模型行為，因為它忽視了數據的廣度、難度和對潛在問題的保真度[155]。此外，這些模型通常很難從一個問題轉移到另一個問題，因為它們是高度專業化的，并為特定的問題量身定制。此外，低估數據質量可能會觸發數據級聯[200]，導致準確性下降和持續偏差[36]等負面影響。這可能會嚴重阻礙人工智能系統的適用性，特別是在高風險領域。 **因此，研究人員和從業人員的注意力逐漸轉向以數據為中心的人工智能，以追求數據卓越[9]。**以數據為中心的人工智能更強調提高數據的質量和數量，模型相對更固定。雖然這一過渡仍在進行中，但我們已經看到了一些表明其好處的成就。例如，大型語言模型的進步很大程度上依賴于大型數據集的使用[34,121,187,188]。與GPT-2[188]相比，GPT-3[34]只對神經架構進行了微小的修改，同時花費精力收集更大的高質量數據集進行訓練。ChatGPT[174]是GPT-3的一個非常成功的應用，它采用了與GPT-3類似的神經架構，并使用來自人工反饋過程[48]的強化學習來生成用于微調的高質量標記數據。一種被稱為prompt engineering[146]的新方法，通過只專注于調優數據輸入，已經取得了重大成功。以數據為中心的方法的好處也可以被從業人員驗證[169,189,240]。例如，計算機視覺公司Landing AI發現，通過采用以數據為中心的方法，精度得到了提高，開發時間縮短，以及方法更加一致和可擴展[169]。所有這些成就都展示了以數據為中心的人工智能的前景。

**值得注意的是，以數據為中心的人工智能并沒有削弱以模型為中心的人工智能的價值。**相反，這兩種范式在構建AI系統時相互交織。一方面，以模型為中心的方法可用于實現以數據為中心的AI目標。例如，我們可以利用生成模型，如GAN[86, 282]和擴散模型[101,124,194]，來執行數據增強并生成更多高質量的數據。另一方面，以數據為中心的人工智能可以促進以模型為中心的人工智能目標的改進。例如，增強數據的可用性的增加可以激發模型設計的進一步進步。因此，在生產場景中，數據和模型往往在不斷變化的環境中交替演化[183]。

以數據為中心的人工智能任務

如果沒有在具體和具體的任務上取得進展，就無法實現以數據為中心的人工智能的雄心勃勃的運動。不幸的是，大多數現有文獻都集中在討論以數據為中心的人工智能的基礎和觀點，而沒有明確指定相關的任務[108,109,183,209]。為了解決這種模糊性，最近提出的DataPerf基準[155]定義了六個以數據為中心的AI任務: 訓練集創建、測試集創建、選擇算法、調試算法、切片算法和估值算法。然而，這種扁平的分類法只能部分覆蓋現有的以數據為中心的AI文獻。例如，一些關鍵任務，如數據標記[283]，沒有包括在內。選擇算法只處理實例選擇，而不處理特征選擇[138]。創建測試集僅限于從一個補充集中選擇項，而不是生成一個新集[203]。因此，為了完全包含以數據為中心的人工智能文獻，有必要進行更細致的分類。為更全面地理解以數據為中心的人工智能，繪制了相關任務的藍圖，并提出了一個目標驅動的分類法來組織圖2中的現有文獻。本文將以數據為中心的人工智能分為三個目標: 訓練數據開發、推理數據開發和數據維護，其中每個目標都與幾個子目標相關聯，每個任務屬于子目標。我們在下面對這些目標進行高層次的概述。

訓練數據開發: 訓練數據開發的目標是收集和產生豐富且高質量的訓練數據，以支持機器學習模型的訓練。它由5個子目標組成，包括1)用于收集原始訓練數據的數據收集，2)用于添加信息標簽的數據標記，3)用于清洗和轉換數據的數據準備，4)用于減少數據大小并可能提高性能的數據縮減，以及5)用于增強數據多樣性而不收集更多數據的數據增強。

推理數據開發: 目標是創建新的評估集，可以為模型提供更細粒度的見解，或通過工程數據輸入觸發模型的特定能力。這方面的工作有三個子目標:1)分布內評估和2)分布外評估的目的是分別生成遵循或不同于訓練數據分布的樣本，而3)提示工程調整語言模型中的提示以獲得所需的預測。推理數據開發中的任務是相對開放的，因為它們通常被設計為評估或解鎖模型的各種功能。

數據維護: 在實際應用中，數據不是一次性創建的，而是需要持續維護的。數據維護的目的是保證動態環境中數據的質量和可靠性。它涉及3個基本的子目標:1)數據理解，旨在提供復雜數據的可視化和評估，使人類獲得有價值的見解;2)數據質量保證，制定定量測量和質量改進策略，以監測和修復數據;3)數據加速，旨在設計高效的算法，通過合理分配資源和高效處理查詢來提供所需的數據。數據維護在以數據為中心的AI框架中起著基礎性和支持性的作用，確保訓練和推理中的數據準確和可靠。

以數據為中心的人工智能的自動化和人類參與

以數據為中心的AI由一系列與不同數據生命周期階段相關的任務組成。為了跟上可用數據規模不斷增長的步伐，在一些以數據為中心的人工智能任務中，開發自動化算法以簡化過程是必不可少的。例如，人們對自動化數據增強[56,272]和特征轉換[122]的興趣越來越大。這些任務的自動化不僅可以提高效率，還可以提高精度[155]。此外，自動化可以促進結果的一致性，減少人為錯誤的機會。而對于其他一些任務，人工參與是至關重要的，以確保數據與我們的意圖一致。例如，人類通常在標記數據中發揮不可或缺的作用[283]，這有助于機器學習算法學習做出所需的預測。是否需要人類的參與取決于我們的目標是否是使數據與人類的期望保持一致。本文將每篇論文分為自動化和協作，前者側重于過程自動化，后者涉及人工參與。面向自動化的方法通常具有不同的自動化目標。我們可以從現有的方法中識別出幾個自動化級別:

程序自動化: 使用程序自動處理數據。程序通常是基于一些啟發式和統計信息設計的。

基于學習的自動化: 帶優化的自動化策略學習，例如最小化目標函數。這一層次的方法通常更靈活、適應性更強，但需要額外的學習成本。

流程自動化: 跨多個任務集成和調優一系列策略，這可以幫助確定全局最優策略。但是，調優可能會導致更多的成本。

請注意，這種分類并不打算區分好方法和壞方法。例如，流程自動化方法可能并不一定比編程自動化解決方案更好，因為它在許多場景中可能過于復雜。本文旨在展示自動化是如何應用于不同的以數據為中心的目標的，并從全局的角度來理解文獻。從另一個角度來看，面向協作的方法通常需要人類以不同的形式參與。我們可以確定人類參與的幾個程度:

全面參與: 人類完全控制過程。這種方法幫助人類做決定。需要充分參與的方法通常可以很好地符合人類的意圖，但成本可能很高。 * 部分參與: 方法控制過程。然而，人類需要密集或持續地提供信息，例如通過提供大量反饋或頻繁交互。 * 最低參與度: 該方法完全控制整個過程，只在需要時咨詢人類。人類只有在被提示或要求這樣做時才會參與。當遇到大量數據和有限的人力預算時，屬于這種程度的方法通常是更可取的。

3. 結論

聚焦于人工智能中一個新興而重要的研究領域——以數據為中心的人工智能。通過展示如何仔細設計和維護數據，可以使人工智能解決方案在學術界和工業界更受歡迎，激發了對以數據為中心的人工智能的需求。接下來，提供了以數據為中心的人工智能的背景，包括其定義和目標驅動的分類法。然后，以提出的研究問題為指導，從自動化和協作的角度回顧了各種以數據為中心的人工智能技術，用于不同的目的。此外，收集了來自不同領域的數據基準，并在元級別上進行了分析。最后，從全局的角度討論了以數據為中心的人工智能，并分享了我們對數據和模型之間模糊邊界的看法。同時提出了該領域潛在的未來發展方向。總而言之，我們相信數據將在構建人工智能系統中發揮越來越重要的作用。與此同時，仍有許多挑戰需要解決。我們希望我們的調研可以激發我們社區的合作倡議，推動這一領域的發展。

知識在人工智能中起著至關重要的作用。最近，預訓練語言模型(PLM)的廣泛成功引起了人們對語言模型如何獲取、維護、更新和使用知識的極大關注。盡管相關研究數量巨大，但對于知識在語言模型中如何在整個學習、調優和應用過程中循環，仍然缺乏統一的觀點，這可能會阻止我們進一步理解當前進展或實現現有限制之間的聯系。**本文通過將PLM中的知識生命周期劃分為五個關鍵時期，并調研知識在構建、維護和使用時是如何循環的，來重新審視PLM作為基于知識的系統。**文中系統地回顧了知識生命周期各個階段的現有研究，總結了目前面臨的主要挑戰和局限性，并討論了未來的發展方向。

//www.zhuanzhi.ai/paper/3eda52f060c0913316b9ae9c375835f5

從根本上說，人工智能是知識的科學——如何表示知識以及如何獲取和使用知識。

 知識是高智能的關鍵。模型如何獲取、存儲、理解和應用知識一直是機器智能領域的一個重要研究課題。近年來，預訓練語言模型(PLM)快速發展。通過在大規模無標記語料庫上進行自監督預訓練，PLM在不同任務/數據集/設置之間表現出強大的泛化和遷移能力，因此在自然語言處理方面取得了顯著的成功(Devlin等人，2019;Liu等人，2019c;Raffel等人，2020;Radford等人，2019b;Brown等人，2020;Lewis et al.， 2020a)。

預訓練語言模型的成功引起了人們對其隱含知識性質的極大關注。已經有許多研究關注預先訓練的語言模型如何獲取、維護和使用知識。沿著這些思路，人們探索了許多新的研究方向。例如，知識注入致力于將明確的結構化知識注入到PLMs中(Sun等人，2019;Zhang等人，2019;Sachan等人，2021)。知識探測旨在評估PLMs參數中存儲的知識類型和數量(Petroni et al., 2019; Lin et al., 2019; Hewitt and Manning, 2019)。而知識編輯則致力于修改PLMs獲得的不正確或不可取的知識(Zhu et al., 2020; De Cao et al., 2021; Mitchell et al., 2021)。盡管有大量的相關研究，但目前的研究主要集中在PLMs中知識過程的一個特定階段，因此對知識如何在整個模型學習、調優和應用階段中循環缺乏統一的觀點。這種綜合性研究的缺乏，使得我們難以更好地理解不同基于知識的任務之間的聯系，難以發現PLMs中知識生命周期中不同時期之間的相關性，難以利用缺失的環節和任務來研究PLMs中的知識，也難以探索現有研究的不足和局限性。例如，雖然許多研究試圖評估語言模型中的知識，這些語言模型已經進行了預訓練，但很少有研究致力于調研為什么PLMs可以在沒有任何知識監督的情況下從純文本中學習，以及PLMs如何表示或存儲這些知識。與此同時，許多研究者試圖將各種結構性知識明確地注入到PLMs中，但很少有研究提出通過挖掘背后的知識獲取機制來幫助PLMs更好地從純文本中獲取特定類型的知識。因此，相關研究可能會過度關注于幾個方向，而不能全面理解、維護和控制PLMs中的知識，從而限制了改進和進一步應用。本文從知識工程的角度，系統地回顧了預訓練語言模型中與知識相關的研究。受認知科學研究的啟發(Zimbardo和Ruch, 1975;和知識工程(Studer et al.， 1998;Schreiber等人，2000)，我們將預訓練語言模型視為基于知識的系統，并研究了知識在預訓練模型中獲得、維護和使用時如何循環的生命周期(Studer等人，1998;Schreiber et al.， 2000)。具體地，我們將預訓練語言模型中的知識生命周期劃分為以下五個關鍵時期，如圖1所示:

知識獲取是指語言模型從文本或其他知識源中學習各種知識的過程。 知識表示研究不同類型的知識如何在plm參數中轉換、編碼和分布的內在機制。 知識探測，旨在評估當前PLM包含不同類型知識的情況。 知識編輯，試圖編輯或刪除語言模型中包含的知識。 知識應用，試圖從預訓練語言模型中提取或利用知識進行實際應用。

對于每一個時期，我們將梳理現有的研究，總結主要的挑戰和局限性，并討論未來的發展方向。基于統一的視角，我們能夠理解和利用不同時期之間的緊密聯系，而不是將它們視為獨立的任務。例如，理解PLMs的知識表示機制有助于研究人員設計更好的知識獲取目標和知識編輯策略。提出可靠的知識探測方法，可以幫助我們找到適合PLM的應用，并深入了解其局限性，從而促進改進。通過綜述，全面總結當前研究的進展、挑戰和局限性，幫助研究人員從一個新的視角更好地理解整個領域，并從統一的角度闡述未來如何更好地規范、表示和應用語言模型中的知識的方向。

我們的貢獻總結如下:

建議將預訓練語言模型作為基于知識的系統重新審視，并將PLM中的知識生命周期劃分為五個關鍵時期。 對于每個時期，回顧了現有的研究，總結了每個方向的主要挑戰和缺點。 基于這篇綜述，討論了當前研究的局限性，并揭示了潛在的未來方向。

概述在本節中，我們將介紹本綜述的總體結構，詳細描述圖2所示的分類法，并討論每個關鍵時期的主題。

**知識獲取是語言模型的知識學習過程。目前，知識獲取主要有兩種來源:純文本數據和結構化數據。**為了從文本數據中獲取知識，語言模型通常在大規模文本語料庫上進行自監督學習(Devlin等人，2019;Liu等人，2019c;Brown等人，2020;Raffel等人，2020)。本綜述將重點關注預訓練語言模型如何從純文本中獲取知識的方法和機制(Chiang等人，2020;Pérez-Mayos等，2021;劉等，2021c)。為了從結構化數據中獲取知識，目前的研究主要集中在從不同類型的結構化數據中注入知識。結構化數據的主要類別包含實體知識(Sun等人，2019;熊等，2020;Peters等人，2019)，事實知識(Zhang等人，2019;王志強，楊志強，楊志強;Liu等人，2020)，常識知識(Bosselut等人，2019;Ye等人，2019;Guan等人，2020;Ma等人，2021)和語言知識(Ke等人，2020;Lauscher等人，2020;Zhou等人，2019;Bai等人，2021)。我們將在第3節中討論它們。**知識表示旨在研究語言模型如何在其密集參數中編碼、存儲和表示知識。**對知識表示機制的研究將有助于更好地理解和控制PLMs中的知識，也可能啟發研究者更好地理解人類大腦中的知識表示。目前，PLMs中知識表示分析的策略包括基于梯度的(Geva等人，2021;Dai等人，2022a)、因果啟發(孟等人，2022)、基于注意力的(Clark等人，2019;Htut等人，2019;Lin等人，2019)和分層(Lin等人，2019;Liu等人，2019a;Juneja和Agarwal, 2022)方法。我們將在第4節中討論它們。**知識探測的目的是評估當前的PLMs對特定類型的知識的影響。**目前，對PLMs中的知識進行探測主要采用兩種策略:1)基于提示的探測，通常構建知識指示的提示，然后使用這些自然語言表達式查詢PLMs (Petroni et al.， 2019;Jiang等，2020a;Sung等人，2021;《福布斯》等人，2019;Zhou等，2020a)。例如，用“The capital of France is .”查詢PLMs，以評估PLMs是否存儲了相應的知識。同時，為了提高plm的性能，一系列研究致力于優化兩個離散的提示(Jiang等人，2020b;Davison等人，2019;Haviv等人，2021;Shin等人，2020)和持續空間(Zhong等人，2021;李和梁，2021a;Liu等，2021b)。盡管基于提示的探索得到了廣泛應用，但許多研究也指出，仍然存在一些懸而未決的問題，如不一致(Elazar等人，2021;Kassner和Schütze, 2020;Jang等人，2022;Cao等人，2022)，不準確(perner等人，2020;鐘等，2021;Cao et al.， 2021)和不可靠(Cao et al.， 2021;Li et al.， 2022a)，并對基于提示探測的數量結果提出質疑。2)基于特征的探測，通常凍結原始plm的參數，并根據其內部表示或注意力權重評估PLM在探測任務上的表現。我們將現有的基于特征的探測研究分類為基于分類器的探測(Lin等人，2019;Tenney等人，2019;Clark等人，2019;Liu等人，2019a)和無分類器探測(Wu等人，2020;Zhou和Srikumar, 2021a)根據是否引入了額外的分類器。由于大多數方法引入了額外的參數或訓練數據，基于特征的探測的主要缺點是結果應歸因于PLM中的知識還是通過額外的探測學習到的探測任務。我們將在第5節中討論它們。

**知識編輯旨在修改產品生命周期中不正確的知識或刪除不良信息。**由于PLMs學習到的不可避免的錯誤和知識的更新，可靠有效的知識編輯方法對PLMs的可持續應用至關重要。目前的方法包括約束微調(Zhu等人，2020)，基于記憶的(Mitchell等人，2022;Madaan等人，2022;Dong等人，2022)，元學習啟發(De Cao等人，2021;Hase等人，2021年;Mitchell等人，2021)和基于位置的方法(Dai等人，2022a;孟等，2022)。我們將在第6節討論它們。

**知識應用旨在從PLMs中提取或利用特定的知識，以使進一步的應用受益。**目前，PLMs中的知識主要有兩種應用范式:1)語言模型作為知識庫(LMs-as-KBs)，將語言模型視為密集的知識庫，可以用自然語言直接查詢以獲得特定類型的知識(Petroni等人，2019;Heinzerling和Inui, 2021年;蔣等人，2020b;王等人，2020;Cao等，2021;Razniewski等人，2021年;AlKhamissi等人，2022)。從構建、覆蓋率、交互性和可靠性4個方面對結構化知識庫與LMs-as-KBs (Razniewski et al.， 2021)進行了全面比較;2)下游任務的語言模型，通過微調直接在下游NLP任務中使用包含特定類型知識的plm (Manning等人，2020;Wei等，2021b;Yang等人，2021;Yin等人，2022)，快速學習(Radford等人，2019a;Brown等人，2020;Liu等人，2021a)和上下文學習(Brown等人，2020;Zhao等人，2021;陸等人，2022)。我們將在第7節討論它們。

人體解析旨在將圖像或視頻中的人體分割成多個像素級的語義部分。在過去的十年中，它在計算機視覺社區中獲得了極大的興趣，并在廣泛的實際應用中得到了應用，從安全監控到社交媒體，再到視覺特效，這只是其中的一小部分。盡管基于深度學習的人工解析方案已經取得了顯著的成就，但許多重要的概念、存在的挑戰和潛在的研究方向仍然令人困惑。全面回顧了單人體解析、多人體解析和視頻人體解析這3個核心子任務，介紹了它們各自的任務設置、背景概念、相關問題和應用、代表性文獻和數據集。還在基準數據集上對所審查的方法進行了定量的性能比較。此外，為了促進社區的可持續發展，提出了基于Transformer的人體解析框架，通過通用、簡潔和可擴展的解決方案，為后續研究提供了高性能的基線。最后，指出了該領域一些未被充分研究的開放問題，并提出了未來研究的新方向。我們還提供定期更新的項目頁面，以持續跟蹤這個快速發展的領域的最新發展://github.com/soeaver/awesome-human-parsing。

1. 引言

人體解析[1]-[5]是以人類為中心的視覺理解[6]的基礎任務，旨在對圖像或視頻中的人體部位和服裝配飾進行像素級分類。人體解析在安防監控、自動駕駛、社交媒體、電子商務、視覺特效、藝術創作等廣泛應用領域發揮著重要作用，已經開展了大量的研究，催生了各種優秀的人體解析解決方案和應用。早在本世紀初，就有研究試圖在非常有限的情況下識別上半身服裝[10]的水平、服裝[11]的語法表征以及人體輪廓[12]的變形。這些早期研究促進了像素級人體部位和服裝識別的研究，即人體解析任務。隨后，利用傳統的機器學習和計算機視覺技術，如結構化模型[1]、[13]、[14]、聚類算法[15]、語法模型[16]、[17]、條件隨機場[18]-[20]、模板匹配[21]、[22]和超像素[23]-[25]等，解決了人體句法分析問題。隨后，深度學習和卷積神經網絡[26]-[32]的繁榮進一步推動了人體解析的蓬勃發展。注意力機制[33]-[36]、尺度感知特征[37]-[40]、樹形結構[3]、[41]、圖結構[4]、[42]、[43]、邊緣感知學習[44]-[46]、姿態感知學習[2]、[47]、[48]等技術[49]-[52]大大提高了人體解析的性能。然而，目前存在的一些挑戰和研究不足使得人體解析仍然是一項值得進一步探索的任務。

隨著人體解析的快速發展，出現了大量的文獻綜述。然而，現有的研究并不精確和深入:一些研究僅從宏觀的時尚/社交媒體角度對人體解析進行了膚淺的介紹[53]，[54]，或者僅從微觀的人臉解析角度對人體解析的子任務[55]進行了回顧。此外，由于分類的模糊性和方法的多樣性，全面和深入的研究是非常必要的。本文提供了第一篇綜述，系統地介紹了背景概念、最新進展，并對人體解析進行了展望。本綜述從一個全面的角度回顧了人體解析，不僅包括單個人體解析(圖1 (a))，還包括多個人體解析(圖1 (b))和視頻人體解析(圖1 (c))。在技術層面，對近10年基于深度學習的人體分析方法和數據集進行綜述。為了提供必要的背景，還介紹了非深度學習等領域的相關文獻。在實踐層面，對各種方法的優缺點進行了比較，并給出了詳細的性能比較。在總結和分析現有工作的基礎上，展望了人體解析的未來機遇，并提出了一個新的基于transformer的基線，以促進社區的可持續發展。人工解析方法和數據集以及提出的基于transformer的基線列表可以在

圖2顯示了這個綜述的大綱。§2簡要介紹了問題的形成和挑戰(§2.1)、人體分析的分類(§2.2)、相關任務(§2.3)和人體分析的應用(§2.4)。§3詳細回顧了具有代表性的基于深度學習的人體分析研究。常用的數據集和性能比較見§4和§5。在§6中提出了對人體分析未來機會的展望，包括一個新的基于transformer的基線(§6.1)，幾個未被研究的開放問題(§6.2)和未來研究的新方向(§6.3)。結論將在§7中得出。2. 基于深度學習的人體解析方法現有的人體解析可分為單人體解析、多人體解析和視頻人體解析3個子任務，分別關注部件關系建模、人體實例判別和時間對應學習。根據這種分類法，我們對具有代表性的作品(圖3下半部分)進行了梳理，并在下文進行了詳細的回顧。**

單人體解析(SHP)模型

SHP考慮通過部件關系建模來提取人體特征。根據建模策略，SHP模型可分為3類:上下文學習、結構化表示和多任務學習。此外，考慮到一些特殊但有趣的方法，我們將其作為“其他建模模型”進行綜述。表1總結了審查過的SHP模型的特點。

多人體解析(MHP)模型MHP尋求在圖像平面上定位和解析每個人體。任務設置類似于實例分割，因此也稱為實例級人工解析。根據其識別人類實例的管道，將MHP分為三種范式:自下而上、單階段自上而下和兩階段自上而下。表3列出了所審查的MHP模型的基本特征。

視頻人體解析(Video humanparsing, VHP)模型現有的VHP研究主要集中在通過親和力矩陣將第一幀傳播到整個視頻中，親和力矩陣表示從原始視頻數據中學習到的時間對應關系。考慮到無監督學習范式，可以將其分為三類:周期跟蹤、重構學習和對比學習。我們在表5中總結了所審查的VHP模型的基本特征。

---

丹麥奧胡斯大學等最新《高效高分辨率深度學習》綜述，全面闡述高效高分辨率深度學習方法，非常值得關注！

智能手機、衛星和醫療設備等現代設備中的相機能夠捕捉非常高分辨率的圖像和視頻。此類高分辨率數據通常需要通過深度學習模型進行處理，用于癌癥檢測、自動道路導航、天氣預測、監測、優化農業過程和許多其他應用。由于高參數、計算成本、推理延遲和GPU內存消耗大，將高分辨率圖像和視頻作為深度學習模型的直接輸入會帶來許多挑戰。像將圖像調整到較低分辨率這樣的簡單方法在文獻中很常見，但它們通常會顯著降低精度。文獻中的一些工作提出了更好的替代方案，以應對高分辨率數據的挑戰，提高精度和速度，同時遵守硬件限制和時間限制。本綜述介紹了這些高效的高分辨率深度學習方法，總結了高分辨率深度學習在現實世界中的應用，并提供了現有高分辨率數據集的全面信息。

//www.zhuanzhi.ai/paper/f70e86bd36f853e9e2f1b8e3d3257954

概述

許多現代設備，如智能手機、無人機、增強現實頭盔、車輛和其他物聯網(IoT)設備都配備了高質量的相機，可以捕捉高分辨率的圖像和視頻。在圖像拼接技術、相機陣列[1]、[2]、十億像素采集機器人[3]和全切片掃描儀[4]的幫助下，捕獲分辨率可以提高到數十億像素(通常稱為十億像素)，如圖1所示的圖像。人們可以嘗試根據人類視覺系統的能力來定義高分辨率。然而，許多深度學習任務依賴于設備捕獲的數據，這些設備的行為與人眼非常不同，如顯微鏡、衛星圖像和紅外相機。此外，利用眼睛無法感知的更多細節在許多深度學習任務中是有益的，例如在第二節中討論的應用。可以捕獲并在處理時有用的細節量因任務而異。因此，高分辨率的定義與進程有關。例如，在圖像分類和計算機斷層掃描(CT)掃描處理中，512×512像素的分辨率被認為是高[5]，[6]。在視覺人群計數中，高分辨率(HD)或更高分辨率的數據集常見[7]，而在組織病理學中研究組織疾病的全切片圖像(WSIs)，或由飛機或衛星捕獲的遙感數據，很容易達到十億像素分辨率[8]、[9]。

此外，隨著硬件和方法的不斷進步，深度學習文獻認為的高分辨率已經隨著時間發生了變化。例如，在20世紀90年代末，用神經網絡處理32×32-pixel MNIST圖像是一項成就，而在2010年代初，ImageNet中的256×256-pixel圖像被認為是高分辨率[11]。在流行的深度學習數據集如人群計數[7]和異常檢測[12]數據集上，圖像平均分辨率的持續提升也可以看出這一趨勢。因此，高分辨率的定義也與周期有關。根據任務和周期依賴特性，“高分辨率”一詞顯然是技術性的，而不是基本的或普遍的。因此，在撰寫本文時，我們將重點轉移到對深度學習造成技術挑戰的解決方案上，而不是試圖得出這樣的定義。將高分辨率圖像和視頻直接作為深度學習模型的輸入，在訓練和推理階段都存在挑戰。除了全卷積網絡(FCNs)，深度學習模型中的參數數量通常隨著輸入規模的增加而增加。此外，通常以浮點操作(FLOPs)來衡量的計算量，以及推理/訓練時間，以及GPU內存消耗，都隨著更高分辨率的輸入而增加，如圖2所示。這個問題在視覺Transformer (ViT)架構中尤其嚴重，這些架構使用自注意力機制，其中推理速度和參數數量與輸入大小[6]，[15]呈二次增長。當需要在資源受限的設備(如智能手機)上進行訓練或推理時，這些問題會加劇，與工作站或服務器等高端計算設備相比，智能手機的計算能力有限。

盡管在訓練[17]、[18]和推理[19]階段，可以使用模型并行等方法在多個GPU之間分割模型，從而避免內存和延遲問題，但這些方法需要大量的資源，如大量的GPU和服務器，這可能會導致很高的成本，特別是在處理十億像素圖像等極端分辨率時。此外，在許多應用中，如自動駕駛汽車和無人機圖像處理，可以安裝的硬件是有限的，并且將計算卸載到外部服務器并不總是可能的，因為移動和應用程序的時間關鍵性導致網絡連接不可靠。因此，深度學習訓練和推理最常見的方法是在每個GPU實例上加載完整的模型。相反，多GPU設置通常用于通過增加總體批大小來加速訓練，以并行測試多組超參數或分配推理負載。因此，在許多情況下，深度學習模型可以處理有效的最大分辨率。例如，使用SASNet[14]進行推理的最大分辨率(在撰寫本文時，它是上海科技數據集[20]上最先進的人群計數模型)在具有11 GBs顯存的Nvidia 2080 Ti GPU上約為1024×768(低于高清)。

雖然新一代的GPU越來越快，內存也越來越多，但設備捕獲的圖像和視頻的分辨率也在提高。圖3顯示了近年來多種類型設備的這種趨勢。因此，即使在計算硬件技術進步的情況下，上述問題也可能會持續存在。此外，目前的成像技術還遠沒有達到圖像分辨率的物理極限，估計在petapixels[21]。捕獲和處理更高的分辨率是否會帶來改進取決于手頭的特定問題。例如，在圖像分類中，將物體或動物圖像的分辨率提高到十億像素不太可能揭示更多有益的細節并提高準確性。另一方面，如果目標是計算場景中的總人數，如圖1所示，使用高清分辨率而不是十億像素意味著可以用一個像素表示多個人，這將大大增加誤差。同樣，在組織病理學中使用更高的分辨率可以導致更好的結果[22]。

假設由于硬件限制或延遲要求，對于特定問題存在有效的最大分辨率，有兩種簡單的基線方法用于處理原始捕獲的輸入，這在深度學習文獻[23]-[25]中常用。這些基線的流行可以歸因于它們實現的簡單性。第一種方法是調整原始輸入的大小(下采樣)到所需的分辨率，然而，如果丟失了手頭問題的任何重要細節，這將導致較低的精度。這種方法被稱為統一下采樣(UD)，因為整個圖像的質量是統一降低的。第二種方法是將原始輸入分割成每個具有最大分辨率的小塊，獨立處理這些小塊，并聚合結果，例如，通過對回歸問題進行匯總，對分類問題進行多數投票。我們稱這種方法為切塊(CIP)。這種方法有兩個問題。首先，許多深度學習模型依賴于全局特征，這些特征將丟失，因為從每個補丁中提取的特征不會與其他補丁共享，導致準確性下降。例如，人群計數方法通常嚴重依賴透視或照明[7]等全局信息，在物體檢測中，邊界附近的物體可能被分割到多個補丁中。其次，由于執行了多次推理，即每個補丁一次，推理將花費更長的時間。當補丁重疊時，這個問題會更嚴重。

為了強調這些問題，在Shanghai Tech Part B數據集[20]上測試了兩種基線方法(UD和CIP)，用于人群計數，其中包含大小為1024×768像素的圖像。將原始圖像大小減小4和16倍，并測量兩個基線的平均絕對誤差(MAE)。為了測試UD，我們采用了在Shanghai Tech Part B數據集[20]上預訓練的SASNet模型[14]，輸入大小為1024×768，并使用AdamW優化器[26]針對目標輸入大小進行微調，學習率為10?5，權重衰減為10?4。請注意，原始的SASNet論文使用Adam優化器[27]，學習率為10?5。我們使用3×Nvidia A6000 GPU對模型進行了100個epoch的訓練，每個GPU實例的批大小為12。我們根據經驗發現，微調并不能提高切割成塊的準確性，因此，我們將原始圖像切割成4和16個塊，并使用上述預訓練的SASNet獲得每個塊的計數，然后通過對每個塊的預測計數求和來聚合結果。

這些實驗的結果如表一所示。可以觀察到，與處理原始輸入大小相比，均勻下采樣顯著增加了誤差。請記住，即使在分割補丁時誤差的增加沒有那么劇烈，但這種方法的推理時間也增加了相同的因子(即4和16)，因為我們假設我們正在使用硬件可能的有效最大分辨率，因此補丁無法并行處理，因為整個硬件需要處理單個補丁。

由于這些基準方法遠不是理想的，近年來，文獻中提出了幾種替代方法，以提高精度和速度，同時遵守由內存限制或速度要求引起的最大分辨率限制。本綜述的目的是總結和分類這些貢獻。據我們所知，目前還沒有關于高分辨率深度學習主題的其他綜述。然而，有一些調查包括與此主題相關的方面。在[15]中對降低Transformer架構計算復雜度的方法進行了綜述，討論了自注意力的二次時間和內存復雜度相關問題，并分析了內存占用和計算成本等效率的各個方面。雖然降低Transformer模型的計算復雜度有助于高效處理高分辨率輸入，但在本綜述中，只包括明確關注高分辨率圖像的視覺Transformer方法。一些特定于應用程序的調查包括高分辨率的數據集和操作此類數據的方法。例如，[28]中提供了對組織病理學的深度學習的調查，其中提到了處理WSIs的超大分辨率的挑戰;[29]綜述了計算機斷層掃描(computed tomography, CT)獲得更高空間分辨率的方法，重點介紹了超高分辨率CT提高診斷精度的方法，并簡要討論了用于降噪和重建的深度學習方法;對人群計數的研究進行了綜述，其中[7]提供了許多可用的高分辨率數據集;在[30]中對面向高分辨率遙感影像的土地覆蓋分類和目標檢測的深度學習方法進行了綜述;在[31]中對基于深度學習的高分辨率遙感圖像變化檢測方法進行了綜述。

值得一提的是，有些方法在高分辨率輸入上運行，但沒有努力解決上述挑戰。例如，多列(也稱為多尺度)網絡[7]在其體系結構中合并了多個層列，其中每一列負責處理特定的尺度，如圖4所示。然而，由于列處理的分辨率與原始輸入相同，與只處理原始尺度的情況相比，這些方法中的大多數實際上需要更多的內存和計算。這些方法的主要目標是通過考慮高分辨率圖像中出現的尺度差異來提高精度，盡管也有一些多尺度方法可以同時提高精度和效率[32]-[34]。因此，這些方法不屬于本綜述的范圍，除非它們明確解決高分辨率輸入的效率問題。ZoomCount [35]， Locality-Aware Crowd Counting [36]， RAZ-Net[37]和Learn to Scale[38]都是人群計數中的多尺度方法，以及醫學圖像處理中的DMMN[39]和KGZNet[40]。

本綜述的主要目的是收集和描述深度學習文獻中存在的方法，這些方法可以用于輸入圖像和視頻的高分辨率造成上述關于內存、計算和時間的技術挑戰的情況。本文的其余部分組織如下:第二節列出了使用深度學習處理高分辨率圖像和視頻的應用程序。第三節將高分辨率深度學習的有效方法分為五大類，并為每一類提供了一些示例。本節還簡要討論解決高分辨率輸入帶來的內存和處理時間問題的替代方法。第四節列出了用于各種深度學習問題的現有高分辨率數據集，并提供了每個問題的詳細信息。第五節討論了使用屬于不同類別的高效高分辨率方法的優缺點，并就在不同情況下使用哪種方法提供了建議。最后，第六部分總結了高分辨率深度學習的研究現狀和趨勢，并對未來的研究提出了建議。本綜述中進行的實驗代碼可以在 maleci/high-resolution-deep-learning找到。

工程蛋白在制藥、農業、特種化學品和燃料等行業和應用中發揮著越來越重要的作用。機器學習可以使蛋白質工程在治療和工業應用方面達到前所未有的控制水平。對數百萬個蛋白質序列進行預訓練的大型自監督模型最近在生成蛋白質序列嵌入以預測蛋白質特性方面得到了廣泛的應用。然而，蛋白質數據集除了包含序列之外，還包含可以提高模型性能的信息。本次演講將涵蓋使用序列和結構數據的預訓練模型，它們在預測蛋白質的哪些部分可以被移除而保留功能方面的應用，以及一套新的蛋白質適應度基準來衡量預訓練蛋白質模型的進展。

Kevin Yang是劍橋微軟研究院的高級研究員，主要研究機器學習和生物學交叉領域的問題。他在加州理工學院與弗朗西斯·阿諾德(Frances Arnold)一起攻讀博士學位，研究方向是將機器學習應用于蛋白質工程。在加入MSR之前，他是Generate Biomedicines的機器學習科學家，在那里他使用機器學習優化蛋白質。

隨著數字技術的快速成熟和穩定，我們正在被無數的數字實體、連接設備和微服務轟炸。它們有目的地相互作用，以創建龐大的多結構數字數據集。挑戰在于如何將數據轉化為信息和知識。有大量的數據分析方法。隨著產品和工具供應商的不斷貢獻，數據分析的步伐正在獲得急需的速度和智慧。數據科學是一個日益與數據分析相關的領域。有大的、快速的、流式的數據分析平臺、框架、加速器、工具包等，使數據分析更簡單、更快、更實惠。

在大數據世界中，NoSQL和分布式SQL數據庫迅速獲得了市場和腦力份額。圖數據庫是一種突出的NoSQL數據庫。通過圖表的數據表示為可視化和實現一系列新功能奠定了令人振奮的基礎。另一方面，通過人工智能(AI)算法[機器和深度學習(ML/DL)]更快的成熟度和穩定性，分析能力得到了顯著提高。因此，通過直接和獨特的AI算法授權，經典和當前的數據科學范式得到了實質性的進步，擁有了復雜的能力。現在情況有了轉機。將受人工智能啟發的數據科學方法應用于圖結構數據被視為數字世界的一個明確的游戲規則改變者。通過數據科學平臺、框架和引擎從數據堆中提取隱藏的模式、有用的關聯、迫在眉睫的風險、未來的機會和其他有用和可用的見解是新的常態。特別是圖數據的數據科學正獲得特殊的意義，因為人們已經充分認識到，圖和數據科學技術的結合可以帶來許多值得注意的創新和轉變。

圖數據科學是從圖表示的數據中發現知識的一種技術驅動的方法。專家指出，圖數據科學具有帶來一系列業務、技術和用戶用例的內在優勢。在這本書中，我們將涵蓋圖數據科學的各個方面，以及它如何成為數據分析領域的游戲規則改變者。這本書的主要章節是：

圖技術——本章涵蓋了圖理論的概念，為更好地理解圖分析技術和工具建立一個強大和可持續的基礎。討論了不同類型的圖，以及發生在圖技術領域的最新趨勢和轉變。描述圖算法——在理解了圖算法和分析的重要性之后，研究人員和專家提出了許多特定于圖的算法，這些算法使圖分析成為可能。本章介紹了有前途和突出的圖算法，如社區檢測，檢測組聚類或分區選項;中心性(重要性)，用于確定網絡中不同節點的重要性;相似度用來評估節點的相似程度;啟發式鏈接預測，估計節點形成關系的可能性;尋路和搜索，尋找最優路徑并評估路徑的可用性和質量。介紹圖分析——正在研究各種收集和清理的數據，以從數據中推斷出隱藏的見解。由于傳統的數據分析方法無法從數據中獲得更深入和決定性的洞見，圖分析越來越受關注。圖分析(也稱為網絡分析)是對客戶、產品、解決方案、服務、運營和設備等實體之間關系的分析。本章重點討論增強圖分析的有前景和潛在的技術。圖數據庫和工具包——圖數據庫是一種數據庫，它將數據之間的關系視為與數據本身同等重要。它們用于執行高級圖分析，方法是連接節點并以用戶可以查詢的圖的形式創建關系(邊)。本章將介紹主流圖數據庫，以及它們如何簡化下一代圖分析。

作為一項關鍵技術，人工智能（AI），特別是以深度神經網絡的形式，已經在許多數字化業務中成功應用，包括生物識別、醫療保健和汽車等領域的安全和安保相關應用。盡管人工智能有無可爭議的好處，但它的使用也帶來了質量和數量上的新風險和脆弱性。隨著人工智能的不斷傳播，這就要求審計方法能夠保證其可信度，并能夠將新興的人工智能標準和人工智能監管工作付諸實施，例如歐洲人工智能法案。審計人工智能系統是一項復雜的工作，因為在人工智能的生命周期中需要考慮多個方面，需要多學科的方法。人工智能審計方法和工具在許多情況下是研究的主題，還沒有實際應用。為了在不同的使用情況下對人工智能系統的可審計性進行全面的盤點，并允許跟蹤其隨時間的進展，我們在此建議采用新開發的 "認證準備矩陣"（CRM），并提出初步概念。通過使用CRM概念作為框架來總結為期一天的人工智能系統審計研討會的結果，其中包括基礎研究、應用人工智能審計工作和標準化活動，我們證明了某些方面的審計方法已經發展成熟，而其他方面仍然需要更多的研究和開發新的審計技術和工具。

教程題目： Scheduling For Efficient Large-Scale Machine Learning Training

教程簡介：

近年來，機器學習技術在許多實際應用中取得了成功。當研究人員和實踐者繼續將機器學習擴展到新的應用領域并推動現有應用程序的邊界時，由于數據集的增長、模型的復雜性和容量的增加，他們面臨著關鍵的計算挑戰。這些挑戰需要新的軟件系統來有效地訓練大型模型，并使機器學習研究人員能夠輕松地試驗新思想。通過利用機器學習計算的結構特性來設計高效的訓練系統，我們有很多機會來提高訓練時間和支持更大的訓練模型。在本教程中，將介紹兩個分布式培訓系統Bosen和Orion，它們可以在不需要大量人力工作的前提下，通過調度網絡內部通信及并行計算來改善訓練時間。此外，通過在TensorFlow中調度內存占用，我們減少了87%的GPU內存消耗，并且能夠在相同的硬件上完成10倍參數的模型訓練工作。

嘉賓簡介：

韋金良本科畢業于普渡大學，博士期間師從Garth A.Gibson 及 Eric P.Xing，主要研究方向是分布式系統、數據庫系統及機器學習應用。