亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的幾十年里，人工智能（AI）在“特定能力”（即封閉世界，如人工環境或特定現實任務）上取得了諸多成功。這種定義明確的狹窄能力帶來了兩個顯著優勢：一是有清晰的成功標準，二是有機會收集大量示例數據。成功標準不僅可以判斷機器是否完成了目標，還能揭示機器未達成目標的具體原因。因此，人類設計者可以逐一修復問題，直到機器在特定任務上表現得足夠好。進一步來說，大量收集的示例數據也降低了修復問題的難度（依據中心極限定理）。

那么，封閉世界中的成功能否遷移到廣闊的開放世界呢？在開放世界中，機器需要以更少的示例和更少的人類先驗知識（如圖靈測試所要求）完成任何人類可能執行的任務。答案是否定的。因為在特定任務中獲得的能力對處理其他任務幾乎沒有幫助，針對特定任務制定的有價值標準在面對更廣泛、未知的任務時也無能為力。此外，由于在未知任務中缺乏充足的示例數據，中心極限定理無法為我們提供支持。最終，人類設計者也失去了“調試儀”，無法通過不斷修補來“破解”開放世界中的 AI 系統。 要實現面向開放世界的 AI，需要不同于構建封閉世界 AI 的獨特學習原則和創新技術。本論文探索了構建開放世界 AI 所需的重要學習原則，包括豐富特征（類比為一套龐大的工具箱）、解耦表示（類比為一套井然有序的工具箱）以及推理時學習（類比為一只靈活運用工具的手）。在這些學習原則的指導下，論文進一步提出了利用這些原則的創新方法，并進行了大量大規模實驗以驗證這些學習原則的有效性。 關鍵詞—— 開放世界 AI、豐富特征、預測性解耦、推理時學習、分布外問題、上下文學習、基于記憶的模型、記憶拼圖（v2）。

經過十年的蓬勃發展，視頻理解領域的發展已到達一個關鍵節點，單純依賴海量數據和復雜架構已不再是應對所有場景的萬能解決方案。普遍存在的數據不平衡問題阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化（如長尾不平衡和擾動不平衡）時性能顯著下降。這一現實促使研究人員尋求替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則應運而生，旨在揭示觀察到的相關性背后的真實因果模式。本論文聚焦于語義視頻理解領域，探索因果建模在推動兩項基礎任務——視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）中的潛力。主要貢獻提出干預式視頻關系檢測方法（IVRD）針對VidVRD中關系長尾不平衡的問題，我們提出了一種名為IVRD的干預式視頻關系檢測方法。盡管尾部關系信息豐富，但由于其在數據集中稀缺，難以預測。具體而言，我們以分層方式構建了一組關系原型，迫使關系推理模塊專注于實體間動態交互的視覺內容，而非依賴對象與關系標簽之間的虛假相關性。通過引入因果推理，IVRD為在長尾不平衡情況下提升視頻理解提供了有前景的方向，使模型能夠更好地泛化到現實場景中，其中罕見或不頻繁的關系可能對場景的整體理解至關重要。提出視頻問答的不變基礎模型（IGV）我們提出了視頻問答的不變基礎模型（Invariant Grounding for VideoQA, IGV），這是一個模型無關的學習框架，旨在解決答案環境中虛假相關性帶來的負面影響。IGV通過定位問題關鍵（因果）場景來發現因果推理模式。具體而言，它利用因果場景與答案之間的關系在環境變化時保持不變的特性，并強調移除因果場景會導致回答問題失敗。通過定位這些關鍵場景，IGV迫使VideoQA模型專注于準確推理所需的視覺內容，同時屏蔽環境的負面影響，從而顯著提升骨干模型的推理能力。提出視頻問答的等變基礎模型（EIGV）為了進一步提升魯棒性和視覺可解釋性，我們在IGV的基礎上提出了等變基礎模型（Equivariant Grounding for VideoQA, EIGV）。EIGV額外引入了等變性，鼓勵回答過程對因果場景和問題的語義變化敏感。相比之下，不變基礎模型要求回答對環境場景的變化不敏感。這兩種正則化方法協同工作，區分因果場景與環境，同時通過呈現視覺-語言對齊提供更高的透明度。通過結合不變和等變基礎模型的優勢，EIGV為VideoQA創建了一個更魯棒且可解釋的框架。提出視頻問答的時空合理化方法（STR）我們發現了視頻問答的時空合理化方法（Spatio-Temporal Rationalization, STR），以解決長視頻和多對象樣本（即復雜VideoQA）的低準確率問題。由于當前的VideoQA實踐（包括預訓練模型，如SeVila [158]）大多使用短視頻片段（約15秒）和少量實體（約2個）進行訓練，它們在復雜視頻（超過80秒和5個對象）上的遷移能力較差。其原因是長視頻不可避免地引入了大量冗余和虛假相關性，因為存在大量與問題無關的環境對象。針對這一挑戰，我們首先強調了建模問題關鍵時間點和空間對象的重要性，然后引入了時空合理化（STR）方法，利用可微分選擇模塊通過跨模態交互自適應地收集問題關鍵的時間點和對象。結合更合理的候選答案解碼策略，STR有效識別了與問題無關的幀和對象作為因果模式，從而提升了預測性能，尤其是在復雜場景中。局限性本論文的一個局限性在于對識別出的因果場景的評估。在整個研究中，我們依賴問答（QA）的整體性能作為發現因果場景質量的間接指標，其依據是更準確的因果場景定位可能提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，必須承認，基于因果場景的直接定量測量將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中尚未實現此類測量。因此，未來的研究將致力于建立一個專門針對因果場景的評估基準，涉及對支撐回答過程的視覺元素進行人工標注。這一舉措將有助于對因果場景發現進行更全面和嚴格的評估。總結我們的貢獻拓展了因果建模在語義視頻理解中的前沿，賦能AI系統掌握因果模式，并在具有挑戰性的視頻理解任務中提升性能。

如何構建通用機器人系統？ 觀察視覺和語言等領域，其共同主題是通過大規模、精心策劃的數據集進行端到端學習。然而，在機器人技術中，僅靠規模可能不足以應對機器人任務的多模態性、缺乏易于獲取的數據以及在物理硬件上部署的安全性和可靠性挑戰。與此同時，當今一些最成功的機器人系統本質上是模塊化的，能夠利用每個模塊的獨立泛化能力來表現優異。受這些特性的啟發，本論文旨在通過將這些組件整合為一個整體來解決構建通用機器人代理的任務：將模塊化與大規模學習相結合，以實現通用機器人控制。我們首先獨立探討這兩個方面。第一個問題是：如何在學習系統中構建模塊化和層次結構？ 我們的關鍵見解是，與其讓代理端到端地學習層次結構和低級控制，不如通過規劃顯式地強制模塊化，從而實現更高效、能力更強的機器人學習。接下來，我們探討規模在構建通用機器人系統中的作用。為了有效擴展，神經網絡需要大量多樣化數據、適應數據的表達性架構以及生成數據的監督來源。為此，我們利用一種強大的監督來源：經典規劃算法，這些算法可以廣泛泛化，但運行成本高，并且需要訪問完美的特權信息才能在實踐中表現良好。我們使用這些規劃算法在模擬中監督大規模策略學習，以生成通用代理。最后，我們考慮如何將模塊化與大規模策略學習統一起來，以構建能夠執行零樣本長期操作的自主現實世界機器人系統。我們提出通過緊密集成模塊化高層和中層規劃、學習的局部控制、程序化場景生成以及用于模擬到現實遷移的大規模策略學習的關鍵要素來實現這一目標。我們證明，這種方法可以產生強大的結果：一個單一的通用代理可以僅通過文本指令解決現實世界中具有挑戰性的長期操作任務。//arxiv.org/abs/2503.06814

視覺生成模型，尤其是擴散模型，在高質量視覺生成方面展示了令人驚嘆的性能，越來越受到學術界和工業界的關注。代表性模型或工具，如DALLE-3 [1] 和 MidJourney，已經廣泛應用于日常生活，幫助創作藝術作品或圖片。然而，這些強大的工具也帶來了潛在風險，因為它們可能被惡意使用來生成并傳播不安全的內容，如色情和暴力圖片，可能導致嚴重后果。在本文中，我們討論了如何從不同方面使視覺生成模型更加可靠和可控。特別地，我們重點關注擴散模型，因為它們是目前最廣泛使用的視覺生成模型。 首先，我們揭示了擴散模型中存在的潛在風險，表明在訓練過程中，它們可能容易被插入（惡意的）隱形后門，這可能導致不可靠和有害的行為。為此，我們提出了一種新的雙層優化框架來表述訓練過程，可以通過提出的不同算法實例化，分別用于無條件和條件擴散模型。大量實驗表明，后門可以在不影響模型正常性能的情況下有效插入，從而使后門更加隱蔽和穩健。同時，我們實證發現，目前各種防御方法無法緩解提出的隱形后門，增強了該方法在實際應用中的可用性。此外，所提出的隱形后門還可以直接應用于模型水印，用于在黑盒環境中進行模型所有權驗證，進一步增強了該框架的意義。 接下來，我們重點討論文本到圖像的擴散模型的可控生成。我們介紹了MuLan，一種多模態大語言模型（Multimodal-LLM）代理，它可以根據文本提示逐步生成對象。MuLan首先將提示分解為幾個子提示，每個子提示專注于一個對象。每個對象的生成都依賴于先前生成的對象。通過一個視覺語言模型（VLM）檢查器，MuLan可以及時監控生成過程，并在每個生成階段后自適應地修正可能的錯誤。MuLan大大提升了在文本提示中對象屬性和空間關系的生成性能。通過GPT-4V [2] 和人類的評估，大量實驗表明MuLan的卓越性能。此外，我們展示了MuLan可以在生成過程中啟用人機交互，進一步增強生成過程的靈活性和效果。 //lbezone.hkust.edu.hk/bib/9903412#

許多日常任務要求我們與他人互動。互動或合作使我們能夠結合各自的優勢，從而實現個人無法單獨完成的更多目標。

同樣，當我們嘗試自動化這些任務時，僅依靠一個機器人可能是不可能的或代價過高的。然而，協調多個機器人是困難的：從多機器人系統的大規模狀態空間的計算挑戰，到如何將一個操作員的輸入映射到多個機器人上，互動的多個層面可能在人與人之間的互動中較為微妙，但在與機器人協作時，必須明確加以解決。 本論文的目標是解決這些問題中的一些最重要的挑戰。 我們首先探討與單一機器人系統和多機器人系統的直接遙操作相關的一些挑戰。通過操作性優化和零空間投影方案，我們提高了多臂系統避免奇異性并更快速跟隨操作員輸入的能力。我們提出了一種快速的局部優化方案，以及利用牛頓法的二階優化，并比較了兩者的性能，展示了該方法在真實的ABB YuMi雙臂機器人上的表現。接下來，我們將系統擴展到移動機器人。雖然移動機器人在許多方面優于固定基礎系統，但它們也引入了額外的復雜性。我們研究了非完整約束滑模轉向機器人（非全向輪驅動機器人）的驅動動力學，以及操作臂姿態和載荷如何影響轉向能力。此外，我們引入了避免機器人間碰撞、翻車避免和能夠在高度受限的環境中移動的術語。我們將綜合方法部署到多個配備UR5e操作臂的Clearpath Husky平臺，并展示它如何改善開環性能，超越傳統的控制方案。 最后，我們更詳細地探討了用戶如何與多機器人系統互動。 我們比較了基于平板的增強現實（AR）解決方案與HoloLens混合現實（MR）頭戴設備。通過向研究參與者呈現不同的觸摸互動以及支持手部追蹤的手勢，我們比較了他們在多個任務中的表現，目標是引導一組小型差速驅動機器人。我們比較了不同任務中的客觀和主觀表現，發現特別是空間互動在三維用戶界面中受益明顯。

總之，我們探索并研究了人類與機器人之間的相互作用，旨在實現多機器人系統中有效且直觀的互動。 我們提高了機器人跟隨用戶輸入的能力，提出了一種方法論用于復雜的非完整約束多機器人系統的軌跡優化，并研究了基于手勢的與移動機器人直觀交互的方式。我們將這些方法部署到實際的機器人中，期望將其應用于未來的建筑工地或倉庫，以改善未來工作場所的效率。

//www.research-collection.ethz.ch/handle/20.500.11850/707468

大型基礎模型在實現人工智能領域的最新突破中發揮了核心作用。通過同時將數據集和模型規模擴展到前所未有的水平，這些基礎模型在蛋白質結構預測、圖像/視頻生成、代碼生成、聊天機器人等許多領域表現出色。然而，它們的計算和內存成本也急劇增長，使得這些基礎模型在實際應用中的部署變得困難，尤其是在資源受限的邊緣設備上。此外，巨大的訓練成本也顯著阻礙了新基礎模型的發展，并引發了對巨大能源消耗和二氧化碳排放的擔憂。為了解決這些問題，構建有效的模型加速技術對于縮小計算供需之間的差距至關重要。 本論文將涵蓋模型加速的三個重要方面。首先，我們將討論高效表示學習，包括用于高分辨率視覺的EfficientViT（一種新的視覺Transformer架構）和用于條件圖像生成的條件感知神經網絡（一個新的控制模塊）。其次，我們將介紹硬件感知的加速技術，以創建針對不同硬件平臺和效率限制的專用神經網絡。第三，我們將介紹TinyTL，這是一種內存高效的遷移學習技術，用于實現設備上的模型定制。通過我們的設計，我們可以顯著提高深度神經網絡在硬件上的效率，而不損失準確性，使它們更易于訪問并降低其服務成本。例如，我們的模型在A100 GPU上實現了48.9倍的吞吐量提升，同時在零樣本實例分割性能上略微優于最新的模型。在條件圖像生成方面，我們的方法實現了52倍的計算成本降低，而性能沒有下降。

大型基礎模型在許多人工智能領域（包括自然語言處理[1], [2]、計算機視覺[3]–[5]、科學領域的AI應用[6]等）引發了革命性的變化。通過擴大模型規模并在網絡規模的數據集上訓練，這些基礎模型展示了驚人的少樣本/零樣本學習能力，能夠解決復雜的任務。這些卓越的表現引發了在實際應用中使用這些基礎模型的熱潮，將人工智能引入了我們的工作和日常生活。 然而，由于模型規模和計算成本的增加，這些基礎模型的訓練和推理成本非常高昂。例如，GPT-3[7]模型擁有1750億個參數，僅存儲它就已經超出了目前最強大的GPU（如NVIDIA H100 GPU）的容量。這對在云平臺上提供這些模型服務或在邊緣設備上部署它們提出了巨大挑戰。此外，高昂的訓練成本還導致了巨大的能源消耗和二氧化碳排放，引發了對這些AI基礎模型的可持續性問題的擔憂。 在本論文中，我們旨在研究模型加速技術，以提高深度神經網絡的效率，從而應對這一挑戰。我們的方法從三個方面加速深度神經網絡。首先，我們將討論高效的表示學習，旨在構建高效的構建模塊/神經網絡架構，從原始數據中提取有用信息。其次，我們將討論硬件感知的加速方法，旨在為不同的硬件平臺和效率約束定制專用的神經網絡，以獲得精度和硬件效率之間的最佳平衡。第三，我們將討論高效的模型定制，允許內存高效的設備端學習，以提供定制化的AI服務而不犧牲隱私。我們總結了本論文的主要內容如下：

**1.1 論文大綱

• 第2章 描述了高效表示學習的技術。內容基于[8]和[9]。首先，Transformer架構是當前大型基礎模型的核心組件。然而，Transformer架構在處理長序列時表現不佳，因為其計算成本隨著輸入序列長度的增加而呈二次增長。我們提出了EfficientViT，這是一種用于高分辨率視覺的新型視覺Transformer架構。它通過僅使用硬件高效的操作，達到了全局感受野和強大的容量。EfficientViT在不同的硬件平臺上提供了顯著的性能提升。其次，添加控制是將圖像/視頻生成模型轉化為人類生產工具的關鍵步驟。我們提出了條件感知神經網絡（CAN），這是一種為圖像生成模型添加控制的新方法。與以往的條件控制方法并行，CAN通過動態操控神經網絡的權重來控制圖像生成過程。CAN在擴散Transformer模型中持續帶來顯著改進。

• 第3章 介紹了硬件感知的AutoML技術，以有效地為不同的硬件平臺和效率約束定制專用的深度神經網絡。內容基于[10]和[11]。不同的硬件平臺具有不同的屬性（例如并行度、緩存大小、帶寬等）。針對不同的目標硬件平臺和不同的效率約束，我們需要定制化的神經網絡以實現性能與效率之間的最佳平衡。然而，手動為每個案例定制神經網絡是不可擴展的。因此，我們提出了硬件感知的AutoML技術來應對這一挑戰。我們的方法在不同的硬件平臺上提供了顯著的加速，包括手機、CPU、GPU、FPGA等。此外，我們的方法在多個低功耗計算機視覺挑戰賽中獲得了第一名。

• 第4章 介紹了TinyTL[12]，一種用于內存高效的設備端學習技術。TinyTL凍結了權重，只學習內存高效的偏置模塊，因此不需要存儲中間激活。為了保持適應能力，我們引入了一種新的內存高效偏置模塊，即輕量殘差模塊，通過學習小的殘差特征圖來優化特征提取器，僅增加了3.8%的內存開銷。廣泛的實驗表明，TinyTL在與微調整個網絡相比僅有微小的準確性損失的情況下，顯著節省了內存。

優化和機器學習是當今決策領域的兩個主要領域。近年來，數據的日益豐富促進了這兩個領域交叉點的進展，從而催生了更好的決策支持工具。優化通過改進傳統機器學習模型的訓練方法顯著提升了這些模型的性能，而機器學習則通過準確的預測能力改進了許多優化算法，從而實現了更優的決策。

然而，將優化理論與現代機器學習方法（如神經網絡和核函數）相結合面臨兩大主要挑戰。首先，這些模型不滿足優化理論中的基本凸性假設。其次，這些模型主要用于具有大量參數和高維數據的任務，因此需要高度高效且可擴展的算法。這種對效率的關注限制了對離散變量和優化中典型的一般約束的考慮。本論文介紹了應對這些挑戰的新算法。

本文分為四章，涵蓋嚴格的理論、計算工具和多樣化的應用。在第一章中，我們將穩健優化的最新工具擴展到非凸和非凹的環境中，從而使得生成對輸入擾動具有魯棒性的神經網絡成為可能。在第二章中，我們開發了一個整體的深度學習框架，通過適當修改損失函數，共同優化神經網絡的魯棒性、穩定性和稀疏性。在第三章中，我們介紹了TabText，這是一種靈活的方法論，它利用大語言模型的力量從表格數據中預測患者流動。最后，在第四章中，我們提出了一種基于數據驅動的方法，通過稀疏化核方法解決多階段隨機優化問題。

優化算法是機器學習和統計推斷的基石。隨著大規模數據集的出現，計算挑戰日益增加，迫使人們追求更高效的算法。現代優化技術通常針對特定的機器學習問題進行定制，這些方法利用問題的獨特結構特征，使其比當前應用于這些問題的方法效率更高。另一個關鍵方面是理解所得到估計量的估計精度。在某些情況下，盡管在訓練集上實現精確優化可能不切實際，但某些簡單而有效的啟發式方法在適當的統計框架內可以表現出令人贊嘆的估計精度。 在本文中，我們從優化和統計的角度研究了幾種大規模算法。第2章和第3章研究了兩種針對結構約束的連續優化算法。第2章集中討論了具有圓柱形約束的無界約束的一種廣義Frank-Wolfe方法。第3章則研究了具有少量極點的多面體約束的類似坐標下降（CD）方法。這兩種方法由于對問題結構的敏感性而表現出最先進的性能。 第4章研究了一種帶有解釋器-響應對之間可能存在不匹配的線性回歸變體。我們研究了一種簡單且高效的啟發式方法，并在統計環境中對其估計誤差進行了嚴格分析。 第5章和第6章研究了兩種決策樹算法。第5章研究了最優決策樹的計算，并引入了一種新的分支定界方法，用于具有一般連續特征的最優決策樹。第6章則轉向在足夠雜質減少條件下對CART算法的分析。我們為滿足該條件的信號函數證明了嚴格的誤差界，并討論了一些滿足該條件的函數類。 第7章研究了一種具有形狀約束的密度估計問題。我們提出了一種立方-牛頓法框架用于計算，并研究了有限混合的逼近性質。

近年來，自然語言生成的許多工作依賴于深度學習，通常使用帶有軟注意機制的神經網絡從數據中選擇顯著方面，然后構建流暢的自然語言文本。然而，在對數據的自然描述中，人類通常會提到更高級別的模式，這可能需要對數據進行復雜的計算。在許多情況下，僅使用軟注意機制的神經模型難以提取這些模式。此外，用戶可能會發現這些模型難以解釋和控制。在本論文中，我提出了一種通過在數據和文本上引入某些類型的離散層級操作的方法，以實現基礎自然語言生成。與僅使用注意力機制相比，這種層級操作可以更好地對數據中的復雜模式建模，揭示可解釋的中間計算，并實現可控的生成。

在論文的前半部分，我將討論在不同的基礎自然語言生成任務中向神經模型添加特定的離散層級操作，如圖像和表格標題生成、對話響應生成以及構建多跳問題回答的推理鏈。這些任務涵蓋了各種數據模態（包括圖像、表格數據、數值數據和知識庫）。在論文的后半部分，我將描述用于文本解碼器中的內容規劃的層級方法，研究詩歌生成中的押韻模式以及用于連貫敘事文本生成的離散計劃。

生成式人工智能旨在制定特定類型的數據分布，以便能夠生成模仿底層分布的真實樣本的新數據實例。值得一提的是，在計算機視覺中，生成模型和判別模型是兩大主要類別。后者旨在基于特定數據實例準確預測類別、對象位置、分割等，而前者探索和制造復雜的數據流形。有人可能會爭論，由于旨在模擬現實世界中無限制領域的巨大復雜性的數據，計算機視覺中的生成式人工智能需要更加先進。然而，即使是最復雜的網絡設計，也很難準確地制定我們自然世界中的確切數據分布，因此還有很大的改進空間。 隨著最近生成式人工智能技術的突破，現在的研究人員和工程師創建了開始處理現實世界需求的高性能生成解決方案作為商業產品，幸運的是，這篇論文也參與其中。在這篇論文中，作者旨在通過探索最佳可能的視覺表征形式（即神經隱式嵌入、頻域表征、基于變換器的表征），以盡可能捕獲更多的視覺信息，進一步推動生成式人工智能的性能。毫無疑問，數據表征是生成式人工智能的一個關鍵前提，因為它揭示了模型能力的上限。此外，從一個更廣泛但不那么精確的角度來看，生成建模的目標——模擬精確的數據分布，也可以視為一種表征學習。在論文的最后部分，作者還探討了超越視覺表征的主題，向更一般的跨模態表征進發，適應多種類型的數據模態，這是朝著更具挑戰性的目標邁進的啟發式步驟：通用人工智能。

這篇論文始于UltraSR，探索適合圖像超分辨率的隱式神經視覺表征，通過任意上采樣比例合成圖像細節。UltraSR的核心思想將隱式神經表征與可學習的周期性編碼相結合，以連續函數的形式在高頻流形中制定視覺細節。當UltraSR探索神經視覺表征時，Spectral Hint GAN（SH-GAN）采取了不同的路線，深入涉及頻域中的視覺特征進行圖像完成。SH-GAN提出了一個新穎的頻譜網絡模塊：Spectral Hint Unit（SHU），以及兩種新策略：異構過濾和高斯分割。SH-GAN因以下原因超越了以往的圖像完成方法：通過基于StyleGAN的共調制框架有效地填充低頻圖像結構，以及通過SHU有效地填充高頻圖像紋理。最近在文本到圖像（T2I）擴散模型的進展激發我們探索新的工作Prompt-Free Diffusion，在這項工作中，我們用SeeCoder代替CLIP文本編碼器來捕獲視覺線索，從T2I系統中移除了提示的需要。SeeCoder自動提取各種視覺線索，包括但不限于語義、紋理、背景等，并將它們傳遞給擴散模型。我們的合成結果既高質量又緊密跟隨SeeCoder編碼的參考視覺線索。與Prompt-Free Diffusion并行，我們提出了Versatile Diffusion，這是第一個提出統一的多模態多流擴散管道的工作，均勻處理多種跨模態任務，生成圖像、文本和變體。Versatile Diffusion具有更廣泛的范圍，我們的目標是將不同模態的表征合并到一個生成網絡中，向通用生成式人工智能的大膽一步邁進。

總之，所有工作都提供了有關數據表征的寶貴見解，其中UltraSR、SH-GAN和Prompt-Free Diffusion積極探索了三種方案下的最佳視覺表征：隱式神經表征、頻域表征和基于變換器的表征。在最后一部分，Versatile Diffusion探索了圖像、文本和圖文跨模態的統一表征和生成。UltraSR在所有比例上的DIV2K數據集上比基線模型高出0.05 dB。SH-GAN在FFHQ數據集上達到FID 3.41，在Places2數據集上達到7.10，獲得了大規模自由形式圖像完成任務中的新最佳水平。Prompt-Free Diffusion和SeeCoder完成了以驚人質量完成流行的示例-based圖像生成任務。Versatile Diffusion在Coco2014數據集上的CLIP相似度為0.269和0.858；FID為11.20和4.57，測量文本到圖像和圖像變化，超越了所有方面的基線Stable Diffusion。