網絡應用程序是用戶訪問信息、執行各種任務和與內容互動的重要界面。傳統的網絡設計主要關注用戶界面和靜態體驗。隨著大型語言模型（LLM）的出現，我們正在這些平臺中整合由LLM驅動的智能體，這標志著一種范式轉變。這些智能體引入了類似人類的關鍵能力，如記憶和計劃，使其在完成各種任務時表現得更像人類，有效地增強用戶參與度并在網絡應用程序中提供定制化的互動體驗。 在本教程中，我們將介紹在各種網絡應用中使用LLM驅動的智能體的前沿技術，如網絡挖掘、社交網絡、推薦系統和對話系統。我們還將探索在這些代理中無縫整合的現有挑戰，并暗示可能徹底改變我們與網絡平臺互動方式的未來研究方向。
根據選定參考文獻中列出的代表性論文集，本教程大約有25%的內容涉及六位主講人中至少一位的工作。教程的其他部分將通過盡可能多地討論其他研究人員的相關工作，提供對教程主題的全面概述。
**2.1 大型語言模型驅動的智能體背景
自主人工智能智能體長期被視為通向人工通用智能（AGI）的墊腳石，具有自主執行任務的能力。傳統方法采用啟發式策略函數，這些函數通常缺乏在開放域場景中的人類水平的熟練度，主要是由于啟發式的限制和訓練數據的約束。最近，大型語言模型在向人類智能邁進方面取得了令人印象深刻的進展[32]。這一進展促使將大型語言模型作為開發自主人工智能智能體的核心組件的趨勢日益增長[34, 35, 37, 52]。 * 基于LLM的智能體架構。現有基于LLM的人工智能智能體的架構可以歸納為一個整合框架，最近的綜述文獻[39]對人工智能智能體進行了廣泛的覆蓋。這種統一結構包括四個主要模塊：分析、記憶、規劃和行動。分析模塊確定智能體的角色，而記憶和規劃模塊使智能體置身于動態環境中，促進回憶和未來行動的策略制定。然后，行動模塊將決策轉化為具體輸出。值得注意的是，分析模塊同時影響記憶和規劃模塊，進而指導行動模塊。 * 基于LLM的工具學習。基于LLM的工具學習旨在融合專業工具的能力和大型語言模型，使基于LLM的智能體能夠使用外部工具，從而帶來更好的自主問題解決能力。最近的研究突出了基礎模型在工具利用方面的熟練度，如網頁搜索自動化[31]、在線購物[45]、神經模型整合[37]、計算機任務執行[23]以及具體化機器人學習[2, 20]。
**2.2 大型語言模型驅動的智能體在社交網絡中的應用
社交網絡通過允許人們分享觀點和交換信息來連接不同的人。近年來，許多人工智能技術被用來解決社交網絡問題，如用戶連接預測[47]和社會信息傳播[4]，其關鍵挑戰在于理解人類內在的認知過程和行為模式。最近，通過學習大量的網絡知識，大型語言模型在實現人類水平智能方面取得了顯著成功。這為解決社交網絡問題提供了新的思路，已有幾次嘗試將基于LLM的智能體引入這一領域。
社交網絡模擬與基于LLM的智能體。社交網絡模擬是一個基本問題。如果能準確模擬社交網絡，那么其底層機制和運行規則就可以輕松理解和利用。然而，由于人類思維的內在性質，預測人們在社交網絡中的行為相當困難。最近有幾次嘗試[16, 26, 33]利用基于LLM的智能體解決這一問題。這些論文的關鍵在于利用大型語言模型作為用戶的大腦，并設計分析、記憶和規劃模塊，使大型語言模型表現得像人類。
社交網絡問題解決與基于LLM的智能體。另一研究方向是將基于LLM的智能體與社交網絡相結合，解決特定問題。人們利用智能體發現社會系統動態[17]，分析不同智能體之間的社會原則[3]等。這一方向仍在迅速發展中，我們預見未來將有更多有前景的工作出現。
**2.3 大型語言模型驅動的智能體在推薦系統中的應用
推薦系統在當今信息傳播中扮演著關鍵角色，主動塑造個體偏好[25]。隨著大型語言模型的最新進展，由大型語言模型驅動的智能體在自主互動和用戶偏好理解方面取得了顯著成就[29]。這種印象深刻的能力一方面可以用來在推薦系統中模擬真實的人類行為，無論是在個體還是人群層面，通過擴大其部署范圍。另一方面，它為利用大型語言模型驅動的智能體構建新一代個性化推薦者開辟了可能性[44]。
用戶行為模擬與大型語言模型驅動的智能體。在推薦系統中模擬用戶行為是一個復雜的任務，需要深入理解人類的偏好和行為模式[5, 40, 49]。彌合這一差距不僅需要整合針對推薦環境量身定制的智能體模塊，還需要適應這種環境的多模態本質[27, 48]。因此，由大型語言模型驅動的智能體必須配備并進一步微調以實現多模態理解，以逼近真實世界用戶互動的真實度。
推薦智能體。雖然現代推薦系統擅長利用用戶行為數據預測特定領域的推薦，但它們通常缺乏解釋其推薦、參與用戶對話和整合豐富用戶數據的能力[21]。為了創建一個動態和互動的推薦系統，大型語言模型作為“大腦”，而推薦模型則充當工具[30, 42]。這一研究方向致力于為推薦生態系統開發面向用戶的推薦智能體[38]。
**2.4 大型語言模型驅動的對話智能體
大型語言模型驅動的對話智能體[13]不僅重新定義了用戶互動，還引入了推動傳統網絡互動邊界的創新功能。
付費5元查看完整內容
相關內容
對話系統的進步已經革命性地改變了信息獲取方式，超越了單一查詢的局限性。然而，開發對話系統需要大量訓練數據，這在資源匱乏的領域和語言中是一個挑戰。傳統的數據收集方法如眾包是勞動密集型和耗時的，因此在這種情況下效率不高。數據增強（DA）是一種有效的方法，可以減輕對話系統中數據稀缺的問題。這個教程提供了一個全面且最新的數據增強方法綜述，在對話系統背景下。它突出了最近在對話增強、開放領域和任務導向對話生成方面的進展，以及評估這些模型的不同范式。我們還討論了當前的挑戰和未來的方向，以幫助研究人員和從業者在這一領域進一步推進。 目錄內容：
講者：
付費5元查看完整內容
近期，文本編輯模型已成為單語文本生成任務的重要替代，如語法錯誤修正、文本簡化和風格轉換。這些任務有一個共同的特點 - 它們在源文本和目標文本之間顯示出大量的文本重疊。
文本編輯模型利用這一觀察結果，學習通過預測對源序列應用的編輯操作來生成輸出。相比之下，seq2seq模型從頭開始逐詞生成輸出，這使得它們在推理時很慢。文本編輯模型相對于seq2seq模型提供了若干優勢，包括更快的推理速度、更高的樣本效率，以及更好的輸出控制和解釋性。
本教程提供了基于文本編輯的模型和當前最先進方法的全面概述，并分析了它們的優缺點。我們討論了與部署相關的挑戰，以及這些模型如何有助于減輕幻覺和偏見，這兩個都是文本生成領域的迫切挑戰。 目錄內容：
講者:
付費5元查看完整內容
教導機器對文本進行推理一直是自然語言處理（NLP）的長期目標。為此，研究人員設計了一系列復雜的推理任務，涉及組合推理、知識檢索、基礎理解、常識推理等多個方面。
構建能執行所需類型推理的系統的標準選擇是在特定下游任務上對語言模型（LM）進行微調或提示。然而，最近的研究表明，這種簡單的方法往往容易出現問題，這些模型的推理能力僅限于表面層面，即僅僅利用數據模式。因此，通過技術手段增強LM的魯棒性和有效性成為一個活躍的研究領域。
本教程概述了標準預訓練語言模型在復雜推理任務中的失敗之處。隨后，本教程回顧了近期有前景的解決這些任務的方法。具體而言，我們關注以下幾種明確考慮問題結構的方法：（1）知識增強方法，在微調或預訓練過程中將知識加入模型；（2）少樣本提示方法，有效地指導模型按照指令進行推理；（3）神經符號方法，生成明確的中間表示；以及（4）基于理由的方法，這是神經符號方法中最受歡迎的形式之一，用于將輸入的子集作為對個體模型預測的解釋。
通過探索這些不同方法，研究人員旨在克服標準微調和提示方法的局限性，開發出能夠更有效地進行文本推理的模型。本教程概述了這些領域的當前研究現狀，重點介紹了最新進展和未來研究的有前景的方向。
講者：
付費5元查看完整內容
自20世紀50年代圖靈測試被提出以來，人類一直在探索機器對語言智能的掌握。語言本質上是一個受語法規則支配的復雜的人類表達系統。這對開發有能力的人工智能(AI)算法來理解和掌握語言提出了重大挑戰。作為一種主要的語言建模方法，在過去的二十年中，語言建模在語言理解和生成方面得到了廣泛的研究，從統計語言模型發展到神經語言模型。最近，通過在大規模語料庫上預訓練Transformer模型，人們提出了預訓練語言模型(PLM)，在解決各種自然語言處理(NLP)任務方面顯示出強大的能力。由于研究人員發現模型縮放可以導致性能提高，他們通過將模型大小增加到更大的尺寸來進一步研究縮放效應。有趣的是，當參數規模超過一定水平時，這些放大的語言模型不僅實現了顯著的性能提升，而且顯示出一些在小規模語言模型(如BERT)中不存在的特殊能力(如上下文學習)。為了區別參數規模的差異，研究界創造了大型語言模型(LLM)這個術語，用于表示規模巨大的PLM(例如，包含數百億或千億參數)。近年來，學術界和工業界對LLMs的研究取得了很大進展，其中最顯著的進展是基于LLMs開發的ChatGPT(一個功能強大的人工智能聊天機器人)的推出，引起了社會的廣泛關注。LLM的技術發展對整個AI社區產生了重要影響，這將徹底改變我們開發和使用AI算法的方式。鑒于這種快速的技術進步，本綜述通過介紹背景、關鍵發現和主流技術，回顧了LLM的最新進展。重點關注LLM的四個主要方面，即預訓練、自適應調優、利用率和能力評估。此外，還總結了開發LLM的可用資源，并討論了剩余問題，以供未來發展方向。本綜述提供了關于LLM的文獻的最新綜述，對于研究人員和工程師來說，這可以是一個有用的資源。
付費5元查看完整內容
嵌入式機器學習(ML)是在低成本、資源受限的微控制器和單板計算機上運行機器學習算法的過程，目前用于解決工業和學術界的獨特問題。因此，在高等教育機構中教授嵌入式ML的需求越來越大，以幫助開發人員、工程師和研究人員為這些新興的數據驅動方法做好準備。
該實驗室提供了使用Edge Impulse和Arduino組合創建端到端嵌入式ML系統的實踐經驗。在實驗室中，我們將通過使用Arduino進行數據收集，使用Edge Impulse進行模型訓練，并使用Arduino進行實時推斷，來創建和部署一個完整的圖像分類系統。這將為研究人員和教育工作者提供知識和工具，以開發圍繞嵌入式ML的可接近的課程。
與會者應該有興趣找到方法，使ML更容易接近學生，特別是計算機科學領域以外的學生。這些參與者可以是其他學科的教授或講師，也可以是交叉學科的ML教授。需要一定的編程經驗(最好是C/ c++或Arduino)。不需要機器學習經驗。 講者：
付費5元查看完整內容
人類通過多種渠道感知世界，如眼睛看到的圖像或耳朵聽到的聲音。盡管任何一個單獨的通道可能是不完整的或有噪聲的，但人類可以自然地將從多個通道收集的信息進行排列和融合，以便掌握更好地理解世界所需的關鍵概念。人工智能的核心愿望之一是開發算法，使計算機具有從多模態(或多通道)數據中有效學習的能力。這些數據類似于通過視覺和語言獲得的視覺和聲音，幫助人類理解周圍的世界。例如，計算機可以通過搜索最相似的圖像來進行文本查詢(反之亦然)，并通過使用自然語言描述圖像的內容來模擬這種能力。
視覺與語言(VL)，一個位于計算機視覺和自然語言處理(NLP)之間的熱門研究領域，旨在實現這一目標。視覺與語言預訓練(vision and language pre-training, VLP)受到語言模型預訓練在NLP中的巨大成功的啟發，近年來迅速引起了兩方面的關注。在本教程中，我們將涵蓋VLP前沿的最新方法和原則，包括(1) 基于區域特征和端到端圖像文本訓練前;(2) 統一的視覺語言建模;(3) 延伸到視頻語言預訓練; (4) 從語言監督中學習視覺模型;(5) 視覺合成。
//dvsml2022-tutorial.github.io/index.html/
付費5元查看完整內容
強化學習(RL)方法在許多機器人應用中取得了令人印象深刻的結果，受到了廣泛的關注。雖然在理論上RL涵蓋了基于學習的接近最優行為控制，但由于各種實施挑戰，無法保證最后能成功實施。即使選擇了最適合的學習方法，由于超參數選擇不當或算法的不可靠實現，學習性能仍然可能令人失望。此外，不正確的規范可能會使學習任務變得不必要的困難。
這個教程指出這些實際的陷阱，并向觀眾介紹機器人RL的工具，將幫助機器人專家成功地解決機器人學習任務，在模擬和現實世界。
//araffin.github.io/tools-for-robotic-rl-icra2022/
付費5元查看完整內容
自然語言處理(NLP)在神經模型的基礎上，在過去的十年中取得了很大的進展，經常利用大量的標記數據來實現最先進的性能。對標記數據的依賴使NLP模型無法應用于資源不足的設置和語言，因為標記大量文本數據通常需要時間、金錢和專業知識。因此，在有限的標記數據下學習的能力對于將神經系統部署到真實的NLP應用是至關重要的。近年來，人們已經探索了許多方法來緩解自然語言處理中對標記數據的需求，如數據增強和半監督學習。本教程旨在提供這些方法的系統和最新的概述，以幫助研究人員和從業人員理解從有限的標記數據中學習的方法和挑戰，這是計算語言學社區的一個新興話題。我們將考慮應用于各種各樣的NLP任務(包括文本分類、生成和結構化預測)，并將突出當前的挑戰和未來的方向。
付費5元查看完整內容
推薦系統在我們的日常生活中發揮著越來越重要的作用，尤其是在許多面向用戶的在線服務中，它在緩解信息過載方面發揮著重要的作用。推薦系統旨在識別一組最能匹配用戶顯性或隱性偏好的對象(即物品)，通過利用用戶和物品的交互來提高匹配精度。隨著深度神經網絡(DNNs)在過去幾十年的快速發展，推薦技術取得了良好的性能。然而，我們在設計深度推薦系統(DRS)時面臨三個內在挑戰: 1) 現有的大多數DRS是基于手工組件開發的，這需要大量的機器學習和推薦系統的專家知識; 2) 人為誤差和偏見會導致次優，降低推薦有效性; 3) 在不同的推薦場景中，通常需要非平凡的時間和工程努力來設計特定于任務的組件。
在本教程中，我們將全面介紹高級自動機器學習(AutoML)技術在深度推薦系統中解決上述問題的最新進展。希望相關領域的學術研究者和行業從業者能夠對空間有深刻的理解和準確的洞察，激發更多的想法和討論，并在推薦中推動技術的發展
目錄內容：
- 深度推薦系統DRS簡介
- 自動化機器學習(AutoML)概論
- 用于DRS嵌入組件的AutoML
- 用于DRS交互組件的AutoML
- 全DRS架構搜索的AutoML
- 結論及未來發展方向
付費5元查看完整內容
不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。
綜述論文：
不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191