亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人類通過多種感官，如視覺、嗅覺、聽覺和觸覺來感知世界。同樣，多模態大型語言模型（MLLMs）通過整合和處理包括文本、視覺、音頻、視頻和3D環境在內的多種模態數據，增強了傳統大型語言模型的能力。數據在這些模型的發展和優化中起到了關鍵作用。在這篇綜述中，我們從數據中心視角全面回顧了MLLMs的相關文獻。具體而言，我們探討了在MLLMs預訓練和適應階段準備多模態數據的方法。此外，我們還分析了數據集的評估方法，并回顧了評估MLLMs的基準測試。我們的綜述還概述了未來潛在的研究方向。本研究旨在為研究人員提供關于MLLMs數據驅動方面的詳細理解，促進該領域的進一步探索和創新。

近年來，我們見證了大型語言模型（LLMs）和多模態大型語言模型（MLLMs）的快速發展[280, 324]。諸如GPT-4 [208]、Flamingo [4]、BLIP2 [151]和X-InstructBLIP [212]等MLLMs整合了多模態信息，展示了令人印象深刻的理解和生成能力。這些模型在傳統的多模態任務中取得了競爭性表現，如視覺識別[320]、視頻理解[258, 289]、語音識別[200]和3D理解[89, 100]。此外，它們卓越的語言理解能力使其在文本豐富的任務中表現出色，如問答[104]、多輪對話和邏輯推理[156, 296]。

大多數現有的MLLMs主要關注修改模型架構以探索多模態信息的使用[121, 178, 246, 286, 287, 304]。盡管模型的有效性至關重要，數據也顯著影響了MLLMs的成功。例如，Hoffmann等人[99]展示了為了擴展模型，有必要增加訓練數據的規模。除了數據數量外，數據質量同樣重要。先前的研究[251]表明，精心策劃的數據集可以使較小的模型達到與較大模型相當的性能。然而，關于MLLMs數據策劃和利用的綜合研究仍然缺乏。因此，本研究旨在從數據中心視角提供對MLLMs的全面理解。

與優先考慮架構增強而依賴固定數據集的模型中心方法相比，數據中心視角強調對數據集的迭代改進以提高性能。在數據中心MLLMs的范圍內，我們關注利用數據模態的異質性、增強數據結構、增加數據數量和提高數據質量以改進MLLMs [316]。我們的討論從不同階段的MLLMs數據中心視角回答了三個關鍵問題：

• Q1：如何收集、選擇和管理MLLMs的數據？大量的數據需求和多模態數據的異質性在收集、選擇和有效管理模型訓練數據方面帶來了挑戰。MLLMs的不同訓練階段也導致了不同的數據類型需求。

• Q2：數據如何影響MLLMs的性能？理解數據特性與MLLMs性能之間的關系對于優化數據集和增強模型能力至關重要。

• Q3：如何評估MLLMs的數據？有必要開發全面的評估基準，以評估MLLMs在各種任務中的性能和魯棒性。 本綜述與現有綜述的區別。在模型中心視角下，已有若干綜述聚焦于LLMs [93, 203, 324]和MLLMs [280, 318]，但缺乏對數據中心方面的深入分析。最近，一些綜述開始關注LLMs的數據準備，如數據管理方法[274]、數據選擇方法[5]和LLM數據集的綜合綜述[174]。然而，這些綜述主要集中于僅文本LLMs的數據管理和選擇方法，沒有對MLLMs的數據處理管道進行徹底分析。盡管Zhang等人[318]總結了MLLMs的數據集，但未能提供對這些數據集的全面分析。與我們最相關的工作是數據中心人工智能（DCAI）[109, 111, 220, 279, 316]，它也關注AI研究的數據中心視角，但未具體分析LLMs和MLLMs。

隨著MLLMs的快速增長以及數據在這個大型模型時代越來越重要的角色，我們認為提供一個全面的MLLMs數據中心方法綜述是至關重要的。本綜述旨在從數據中心視角全面回顧MLLMs的進展文獻，并討論該領域的開放問題或未來方向。

貢獻。在這篇綜述中，我們從數據中心視角回顧了MLLMs的進展文獻。我們為研究人員和開發者提供了對MLLMs數據方面最新發展的總體和全面的理解。本綜述的主要貢獻總結如下：

• 新的數據中心視角。我們從數據中心視角提供了對MLLMs的全面綜述，考慮了文本、圖像、視頻和音頻等模態。
• 數據準備和管理管道。我們總結了在預訓練和適應階段MLLMs的數據準備和管理管道。
• 數據評估基準。我們概述了常用的從數據中心視角出發的評估基準。
• 開放問題和未來方向。我們討論了當前數據中心LLMs研究中的開放問題，并提出了若干未來研究方向。

本文的其余部分安排如下：第2節介紹LLMs和MLLMs的預備知識，并討論從數據中心視角分析它們的動機。第3至第5節總結了MLLMs訓練數據的收集、處理和選擇的主要階段。第6節總結了MLLMs的評估方法和現有的評估數據集。第7節討論了開放問題并強調了該領域的若干未來研究方向。最后，我們在第8節對本綜述進行了總結。我們的Github倉庫可以在//github.com/beccabai/Data-centric_multimodal_LLM找到。

智能集群系統是人工智能的重要分支，所涌現出的智能形態被稱為集群智能，具有個體激發時的自組織性 和群體匯聚時的強魯棒性等特征.智能集群系統的協同決策過程是融合人-機-物，覆蓋多元空間，囊括感知-決策反饋-優化的復雜非線性問題，具有開放的決策模型和龐大的解空間.然而，傳統的算法依賴大量的知識與經驗，使 其難以支持系統的持續演化.強化學習是一類兼具感知決策的端到端方法，其通過試錯的方式不斷迭代優化，具有 強大的自主學習能力 .近些年來，受生物群體和人工智能的啟發，強化學習算法已由求解個體的決策問題，向優化 集群的聯合協同問題演進，為增強集群智能的匯聚和涌現注入了新動能.但是，強化學習在處理集群任務時面臨感 知環境時空敏感、群內個體高度自治、群間關系復雜多變、任務目標多維等挑戰 .本文立足于智能集群系統的協同 決策過程與強化學習運行機理，從聯合通信、協同決策、獎勵反饋與策略優化四個方面梳理了強化學習算法應對挑 戰的方法，論述了面向智能集群系統的強化學習算法的典型應用，列舉了相關開源平臺及其適用算法 .最后，從實 際需求出發，討論總結了今后的研究方向.//cjc.ict.ac.cn/online/onlinepaper/lll-20231210115504.pdf

可解釋機器學習模型與架構

這本前沿新作涵蓋了硬件架構實現、軟件實現方法，以及機器學習應用的高效硬件。 機器學習和深度學習模塊現在已經成為許多智能和自動化系統的不可或缺的一部分，在這些系統中，信號處理在不同層面上進行。文本、圖像或視頻形式的信號處理需要在期望的數據速率和準確性下進行大規模數據計算操作。大數據需要更多地使用集成電路（IC）面積，其中嵌入了大量的存儲器，這進一步導致了更多的IC面積。電力消耗、延遲和IC面積之間的權衡始終是設計師和研究人員關注的問題。需要新的硬件架構和加速器來探索和實驗高效的機器學習模型。許多實時應用，如醫療保健中生物醫學數據的處理、智能交通、衛星圖像分析和物聯網（IoT）啟用的系統，在準確性、速度、計算能力和整體電力消耗方面有很大的改進空間。 本書處理的是支持高速處理器的高效機器和深度學習模型，這些處理器具有可重配置架構，如圖形處理單元（GPU）和現場可編程門陣列（FPGA），或任何混合系統。無論是在領域或實驗室里工作的經驗豐富的工程師或科學家，還是學生或學者，這都是任何圖書館必備的。 封底介紹 同前。

關于作者 Suman Lata Tripathi博士是Lovely Professional University的一名教授，擁有超過21年的學術經驗。她在審稿期刊和會議上發表了超過103篇研究論文。她組織了幾個研討會、暑期實習和專家講座供學生參加，并擔任了IEEE期刊和會議的分會主席、會議指導委員會成員、編輯委員會成員和審稿人。她已經出版了三本書，并目前有多卷即將由Wiley-Scrivener出版。 Mufti Mahmud博士是英國諾丁漢特倫特大學計算機科學系認知計算副教授。他是NTU研究優秀框架計算機科學與信息學評估單元的協調人，以及交互系統研究小組和認知計算與大腦信息學研究小組的副組長。他還是計算和信息科學研究中心以及醫療技術創新設施的活躍成員。他是眾多學會和研究委員會的成員。

行為識別是當前計算機視覺方向中視頻理解領域的重要研究課題。從視頻中準確提取人體動作的特征并識別動作，能為醫療、安防等領域提供重要的信息，是一個十分具有前景的方向。本文從數據驅動的角度出發，全面介紹了行為識別技術的研究發展，對具有代表性的行為識別方法或模型進行了系統闡述。行為識別的數據分為RGB模態數據、深度模態數據、骨骼模態數據以及融合模態數據。首先介紹了行為識別的主要過程和人類行為識別領域不同數據模態的公開數據集；然后根據數據模態分類，回顧了RGB模態、深度模態和骨骼模態下基于傳統手工特征和深度學習的行為識別方法，以及多模態融合分類下RGB模態與深度模態融合的方法和其他模態融合的方法。傳統手工特征法包括基于時空體積和時空興趣點的方法（RGB模態）、基于運動變化和外觀的方法（深度模態）以及基于骨骼特征的方法（骨骼模態）等；深度學習方法主要涉及卷積網絡、圖卷積網絡和混合網絡，重點介紹了其改進點、特點以及模型的創新點。基于不同模態的數據集分類進行不同行為識別技術的對比分析。通過類別內部和類別之間兩個角度對比分析后，得出不同模態的優缺點與適用場景、手工特征法與深度學習法的區別和融合多模態的優勢。最后，總結了行為識別技術當前面臨的問題和挑戰，并基于數據模態的角度提出了未來可行的研究方向和研究重點。 //www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20221101&flag=1

移動增強現實(AR)借助智能移動終端將虛擬信息和真實世界進行實時融合，能否實時準確地對 環境中需要增強的物體進行目標檢測直接決定了系統的性能。隨著深度學習的快速發展，近年來出現了大量的 基于深度學習的目標檢測方法。由于存在移動增強設備計算能力有限、能耗大、模型尺寸大以及卸載任務到邊 緣云端的網絡延遲嚴重等問題，將深度學習方法應用于移動 AR 的目標檢測是一項具有挑戰性的問題。首先從 Two stage 和 One stage 的 2 方面對目前深度學習目標檢測算法進行綜述；然后對面向移動 AR 的目標檢測系統 架構進行歸納分類，分析了基于本地端、云端或邊緣端和協作式的移動 AR 目標檢測系統并總結了各自的優勢 和局限性；最后對移動 AR 中目標檢測亟待解決的問題和未來發展方向進行了展望和預測。

//www.txxb.com.cn/CN/10.11996/JG.j.2095-302X.2021040525

小目標檢測一直是目標檢測領域中的熱點和難點，其主要挑戰是小目標像素少，難以提取有效的特征信息.近年來，隨著深度學習理論和技術的快速發展，基于深度學習的小目標檢測取得了較大進展，研究者從網絡結構、訓練策略、數據處理等方面入手，提出了一系列用于提高小目標檢測性能的方法.該文對基于深度學習的小目標檢測方法進行詳細綜述，按照方法原理將現有的小目標檢測方法分為基于多尺度預測、基于數據增強技術、基于提高特征分辨率、基于上下文信息，以及基于新的主干網絡和訓練策略等5類方法，全面分析總結基于深度學習的小目標檢測方法的研究現狀和最新進展，對比分析這些方法的特點和性能，并介紹常用的小目標檢測數據集.在總體梳理小目標檢測方法的研究進展的基礎上，對未來的研究方向進行展望.

//journal.bjut.edu.cn/article/2021/0254-0037/20210310.html

深度強化學習作為機器學習發展的最新成果，已經在很多應用領域嶄露頭角。關于深度強化學習的算法研究和應用研究，產生了很多經典的算法和典型應用領域。深度強化學習應用在智能制造中，能在復雜環境中實現高水平控制。對深度強化學習的研究進行概述，對深度強化學習基本原理進行介紹，包括深度學習和強化學習。介紹深度強化學習算法應用的理論方法，在此基礎對深度強化學習的算法進行了分類介紹，分別介紹了基于值函數和基于策略梯度的強化學習算法，列舉了這兩類算法的主要發展成果，以及其他相關研究成果。對深度強化學習在智能制造的典型應用進行分類分析。對深度強化學習存在的問題和未來發展方向進行了討論。

//cea.ceaj.org/CN/abstract/abstract39198.shtml

近年來，深度學習技術被廣泛應用于各個領域，基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態，在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹，并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述；簡要分析傳統預訓練模型的特點及局限性，重點介紹基于深度學習的預訓練模型，并針對它們在下游任務的表現進行對比評估；梳理出具有啟發意義的新式預訓練模型，簡述這些模型的改進機制以及在下游任務中取得的性能提升；總結目前預訓練的模型所面臨的問題，并對后續發展趨勢進行展望。

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。