亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

多模態學習使神經網絡能夠處理和整合來自不同感知模態（如視覺、語言和聲音）的信息，在情感計算、醫療健康和高級多模態聊天機器人等應用中日益重要。盡管多模態學習具有廣闊的潛力，但仍面臨諸多挑戰，尤其是在數據效率方面。構建高質量的大規模多模態數據集的需求構成了巨大的障礙，限制了大規模多模態模型的可擴展性和可獲取性。 本論文研究了數據高效的深度多模態學習中的關鍵問題，重點關注不均衡的多模態數據選擇、多模態主動學習中的冷啟動問題，以及大型視覺-語言模型（VLMs）中的幻覺問題。 首先，我們分析了傳統主動學習策略的局限性，這些策略往往偏向于主導模態，導致模型在訓練過程中忽略較弱的模態，從而形成不平衡的多模態表示。為了解決這一問題，我們提出了一種梯度嵌入調制（gradient embedding modulation）方法，以確保數據選擇過程中對不同模態的公平性，從而提升模型對強模態和弱模態的均衡利用能力。 基于我們在熱啟動（warm-start）主動學習方面的研究，我們進一步研究了多模態主動學習中的冷啟動（cold-start）問題，即在沒有初始標注數據的情況下如何有效進行數據選擇。為此，我們提出了一種兩階段方法：

1. 多模態自監督學習：通過使用單模態原型（unimodal prototypes）來統一不同模態的表示，從而縮小模態間的表示差距。
2. 數據選擇階段：引入正則化項以最大化模態對齊度，在不增加數據量的前提下提升模型性能，相較于現有方法取得了更優結果。

在從數據選擇擴展到訓練數據利用的研究中，我們進一步探討了大型視覺-語言模型（VLMs）中的幻覺（hallucination）問題，即模型在生成內容時產生與輸入圖像上下文不符的錯誤信息。我們研究了幻覺現象與視覺依賴性（visual dependence）之間的關系，揭示了某些特定 token 對幻覺的貢獻遠高于其他 token。基于這一發現，我們提出了一種訓練權重調整策略，根據 token 的視覺依賴性來調整訓練過程中的權重分配，從而在無需額外訓練數據或推理成本的情況下有效降低幻覺率。 本論文的貢獻在于推動數據高效的多模態學習，通過優化多模態數據選擇、解決冷啟動問題，以及減少大型視覺-語言模型中的幻覺，本研究為更實用、可擴展的多模態學習系統奠定了基礎，使其在降低數據和計算成本的同時提升模型性能。

近年來，在計算攝影、虛擬現實、游戲和電影產業等領域，對視覺內容（如2D圖像和多幀視頻）的需求不斷增長。為了滿足這些需求，研究者們提出了多種生成模型，包括VQVAE、GAN和擴散模型（Diffusion Models），以促進從噪聲或文本生成視覺內容。然而，如何將這些模型應用于更實際的圖像到圖像生成任務（也稱為圖像處理與編輯）仍然是一個開放的挑戰。本論文探討了基于生成模型的圖像編輯范式，重點關注來自大規模預訓練的基礎模型。 我們首先探索了實時圖像縮放技術。現代相機拍攝的圖像可以達到6K分辨率，但這些圖像占用的存儲空間過大。為此，我們提出了一種量化自編碼器，通過優化熵損失將大型6K圖像壓縮為JPEG縮略圖，從而減小文件大小。隨后，一個高效的解碼器可以實時將低分辨率縮略圖還原為高分辨率圖像。 接著，我們轉向文本驅動的圖像修復技術。相機運動、數字電路噪聲以及惡劣天氣（如雨和霧）可能會降低攝影師拍攝的圖像質量。我們提出了一種基于擴散模型的圖像修復方法，該方法通過語義和修復指令進行引導。為了以較低的訓練成本實現這種多模態應用，我們使用合成退化圖像對預訓練的潛在擴散模型進行適配器微調。 最后，我們討論了文本驅動的視頻編輯方法。除了圖像層面的計算攝影外，創意特效也廣泛應用于游戲、電影和短視頻應用中。這些特效通常需要時間運動一致性和語義層面的編輯，例如身份和風格。由于目前沒有魯棒且開源的視頻生成模型可用，我們專注于以零樣本方式利用文本到圖像的潛在擴散模型。具體來說，我們將圖像生成模型轉換為視頻模型，并在DDIM反演過程中提取擴散Unet中的時空注意力圖，作為運動和幾何表示。然后，在DDIM去噪過程中，根據目標提示重新使用這些注意力圖。我們簡潔的框架能夠在保持顯著時間一致性的同時，實現形狀、屬性和全局風格的編輯。

生成模型近年來在二維和視頻合成領域取得了顯著進展。然而，二維和視頻生成中仍然存在明顯的不一致性，例如光照和幾何相關的問題。引入三維建模有望增強二維和視頻生成的連貫性與真實感，從而推動三維生成技術的進一步發展。鑒于直接用于生成建模的大量三維數據收集存在挑戰，從單視圖圖像學習三維分布成為一種可行的三維生成方法。這種方法得益于大量可用的非結構化、高質量且多樣化的單視圖圖像數據。一種常見的從單視圖圖像生成三維內容的策略是采用生成對抗網絡（GAN），并用三維渲染器替代生成器。本論文從四個角度探討了三維生成領域。首先，我們研究生成的幾何形狀，并提出通過將三維感知注入到生成器和判別器中來增強學習到的幾何結構。其次，我們分析了三維生成模型訓練中對姿態的要求，并解除生成器對姿態先驗的限制，從而實現更靈活的三維生成模型。第三，在復雜場景合成的背景下，我們分析了現有方法的不足，并提出利用三維先驗來促進從單視圖場景圖像進行三維建模。第四，我們還將討論高效三維生成表示的引入，特別是高斯散點表示（Gaussian Splatting）。最后，我們展望了三維生成領域的未來發展方向。深度學習的快速發展[21]顯著推動了計算機視覺領域中的許多任務，例如視覺對象識別[22, 23]、目標檢測[24, 25, 26]、圖像渲染[27, 28, 1]等，并在諸多方面便利了我們的日常生活，如自動駕駛[29, 30]、生物研究[31]和智能創作[32, 33]。在所有技術類型中，生成建模[34, 35, 36]在數據分析和機器學習中發揮了重要作用。與直接對輸入進行預測的判別模型不同，生成模型旨在再現數據分布，以便能夠從中采樣新的實例。為此目的，它們需要全面地表征數據。例如，檢測模型可以忽略與任務無關的信息（如顏色）而不影響性能，但生成模型需要管理圖像的每個細節（如物體排列以及每個物體的紋理）以實現令人滿意的生成。從這一角度來看，學習生成模型通常更具挑戰性，但同時也促進了一系列應用[37, 38, 39, 33]。近年來，深度生成模型[35, 34, 36]在二維圖像合成[33, 40, 41]方面取得了令人難以置信的成功。然而，在二維空間中學習生成模型已逐漸難以滿足某些現實世界應用的需求，因為我們的物理世界實際上是三維的。以電影行業為例，我們期望設計三維數字資產，而不僅僅是生成二維圖像，以帶來身臨其境的體驗。現有的內容創作流程通常需要大量專業知識和人力投入，這既耗時又昂貴。許多開創性的嘗試[42, 43, 44, 45, 2, 46]旨在研究如何自動生成三維數據，但這類研究仍處于早期階段。二維生成和三維生成之間的關鍵區別之一在于數據格式。具體而言，二維圖像可以自然地表示為像素值的數組，便于神經網絡[22, 23]處理。而常見的三維表示形式（如點云[47, 48]、網格[49, 50]和體素網格[51, 52]）則難以直接被卷積神經網絡處理。最近，隱式表示形式Neural Radiance Field（NeRF）[1]被提出用于通過學習從坐標到三維屬性的映射來建模三維對象，成為與神經網絡兼容的良好表示形式。最新研究[2, 6, 53, 3, 46, 54, 55, 45, 56, 4, 57]通過將NeRF與生成對抗網絡（GAN）[34]結合，使三維生成成為可能，從而發展出一種三維感知的GAN。具體而言，它們用三維渲染器替代GAN中的生成器。這種替換使得在生成圖像時可以顯式地控制視點，從而得益于生成器的三維感知能力。三維生成的難點還來源于訓練數據的獲取。在理想情況下，高質量三維資產的全面集合對于準確的生成建模至關重要。然而，使用設備大規模獲取此類數據極其困難。一種引人注目的方法是探索從二維生成數據集中轉移知識的潛力。一種可行的方法是利用二維單視圖圖像數據集學習三維表示。每個三維對象通常對應多個從不同視點拍攝的相似圖像，具有類似的結構。例如，在數據集中可能僅有不超過兩張同一人臉的圖像。鑒于人臉的共同結構特性，從不同角度拍攝的多樣化圖像中提取通用人臉特征是可行的。這使得模型能夠想象每個人臉的未見視圖。通過這種方式，可以探索如何從二維單視圖圖像集合中學習三維生成。構建高效三維生成器需考慮以下幾個關鍵因素：

1. 高質量圖像生成能力：生成器必須能夠生成高分辨率、高保真且真實感強的圖像，包括光照、陰影和紋理的真實性。與二維生成相比，三維生成任務中的“高質量圖像”還意味著多視圖一致性，即不同視圖圖像的重疊區域應表示相同的物體并具有一致的紋理。
2. 高質量的幾何基礎：生成的幾何形狀應合理且精確。這是一個挑戰性任務，因為訓練數據不僅是單視圖的，而且是圖像格式。因此，生成器需采用先進的幾何建模技術，確保表面光滑、比例真實，并在場景中保持一致的幾何結構。此外，它還應能生成復雜的結構，如精細的建筑結構。
3. 輕松利用易得數據的能力：模型應能有效利用易收集的數據集，而不需要大量的預處理或專門的數據采集。例如，大多數三維生成方法[2, 6]要求對收集數據進行精確的姿態標注，這非常昂貴。去除這種數據要求是必要的，以使三維生成模型能夠泛化到任意類別的數據。
4. 復雜場景生成的能力：三維世界由不同的物體組成，生成器需不僅能生成單一物體，還能捕獲場景中物體之間復雜的關系。由于場景中定義一個標準化空間非常困難，更可行的方法是借助附加的弱三維提示（如深度信息）來確保在只有單視圖圖像數據的情況下實現高質量場景生成。
5. 高效的訓練與推理：許多三維生成模型通常需要約5至7天在8個高端GPU上進行訓練才能有效收斂，這導致了相當大的能源浪費。因此，提高模型效率至關重要。這需要仔細設計網絡結構和三維表示形式，因為這些要素在優化計算資源和減少訓練時間方面起著關鍵作用。 本文余下部分將討論如何實現這些目標，具體組織如下：第二章介紹三維生成的基礎知識，包括生成對抗網絡的公式和三維生成的表示形式，同時討論相關工作及三維生成任務中的挑戰。第三章分析當前最流行的三維生成方法的問題，并探討如何在三維生成模型中保證良好的幾何基礎。第四章研究大多數三維生成方法對姿態標注的依賴性問題，并提出一種新方法以擺脫此類先驗需求，從而支持從易得數據中學習的概念。第五章指出復雜場景生成的問題，并提出一種新架構以促進真實場景生成。第六章聚焦于高效且可動畫的三維生成。最后，第七章討論了三維生成模型領域中未解決的問題及未來工作方向。

隨著基礎模型（包括大規模視覺語言模型）的最新進展，許多研究者探討了將多模態數據作為視覺問答輸入的結合方法。在醫療領域，視覺問答的一個關鍵應用是自動化醫學報告生成，其中可能提供胸部X光圖像和患者基于文本的癥狀數據，目的是生成相關的醫學報告。然而，很少有研究分析這些模型與單模態微調的大型語言模型（LLM）的性能差異，更少有研究比較這些多模態模型在提供癥狀信息作為輸入時的表現。此外，過去的研究通常使用簡單的評估指標，如n-gram重疊（例如BLEU和ROUGE分數），這些指標對于能夠生成不同句子但具有相同語義意義的生成式基礎模型并不有效。 本文的主要貢獻有兩個。首先，我們比較了多種醫學報告生成方法在胸部X光醫學報告數據集上的表現，包括單模態微調的醫學LLM、沒有癥狀數據的多模態模型和包含癥狀數據的多模態模型。其次，我們引入了四種新的評估指標，用于評估生成醫學報告與參考醫學報告之間的相似性，分別為：單詞對、句子平均、句子對和句子對（生物）。我們的結果表明，針對醫學報告生成的多模態方法遠優于單模態方法，且提供癥狀數據略微提高了生成報告的準確性。我們還發現，我們新提出的句子對評估指標比所有之前的指標更能準確衡量生成報告與參考報告之間的相似性，這一點通過全面的定量和定性案例研究對比得到了證實。 這項研究從根本上推動了醫學報告生成的前沿，進一步增強了使用多模態模型和癥狀輸入的準確性優勢，并引入了幾種更為全面、定制化的評估生成醫學報告的評分指標。

衛星影像的廣泛可用性，例如在Google Earth等平臺上的應用，極大地增強了人們繪制和可視化地球表面的能力。盡管衛星影像具有廣覆蓋性和易獲取性，但其分辨率通常有限，缺乏探索感興趣環境（尤其是城市區域）所需的細節。街景圖像則在場景理解方面提供了重要的洞察力和實用性，從城市規劃到戶外導航，再到增強現實的多種應用都受益于街景圖像。然而，獲取街景圖像成本高昂，并且需要頻繁更新以保持準確性。相比之下，衛星影像更易獲取且無處不在，因此成為生成街景圖像的有前景替代方案。這一過程被稱為衛星到地面跨視圖合成（satellite-to-ground cross-view synthesis），因其廣泛的實際應用前景而受到廣泛關注。 從衛星圖像直接生成地面視圖需要克服顯著的技術挑戰，這主要是由于兩類圖像在視角和尺度上的巨大差異。本研究探討了創新方法，旨在生成幾何上一致且符合對應衛星圖像的3D城市場景和街景圖像，同時在不同視角之間保持強魯棒的多視圖一致性，并提升跨視圖合成和大規模3D城市場景的質量和真實感。 為實現這一目標，我們首先在生成管線中引入了一種地理變換層（geo-transformation layer）。該層通過估算的地面高度值構建密集體素網格，并將信息從俯視圖轉換為街景視圖，從而保留了物理的衛星到地面的關系，解決了幾何一致性問題。接著，通過在幾何中計算3D場景點云與幀像素之間的密集映射，我們提出了一種考慮點間空間關系的3D稀疏生成器，解決了在生成圖像序列時的多視圖一致性問題。此外，在隱式輻射場（implicit radiance field）爆炸性應用的背景下，我們進一步探索了神經場景表示在有限部分觀測下完成3D場景的潛在生成能力。我們提出了一種基于稀疏網格表示的可擴展新視圖合成管線，可以為大量不完整的場景數據填充合理的信息。

最后，我們不再僅局限于圖像或視頻生成，而是進一步提升到整個大規模場景的生成。我們的方法將擴散模型引入3D稀疏表示中，用于直接生成3D場景，并結合基于點的神經渲染技術，從任意視角生成一致且合理的圖像或視頻。

通過利用生成模型和神經渲染技術的最新進展，我們旨在提升場景級生成能力，彌合通過衛星圖像生成一致地面視圖的鴻溝，并釋放其在虛擬建模、地圖服務、3D城市設計、游戲、仿真以及跨視圖匹配等多樣化應用中的巨大潛力。本研究希望挖掘衛星影像的全部潛能，為理解我們所處的世界及其環境提供更深刻的洞察力。

許多日常任務要求我們與他人互動。互動或合作使我們能夠結合各自的優勢，從而實現個人無法單獨完成的更多目標。

同樣，當我們嘗試自動化這些任務時，僅依靠一個機器人可能是不可能的或代價過高的。然而，協調多個機器人是困難的：從多機器人系統的大規模狀態空間的計算挑戰，到如何將一個操作員的輸入映射到多個機器人上，互動的多個層面可能在人與人之間的互動中較為微妙，但在與機器人協作時，必須明確加以解決。 本論文的目標是解決這些問題中的一些最重要的挑戰。 我們首先探討與單一機器人系統和多機器人系統的直接遙操作相關的一些挑戰。通過操作性優化和零空間投影方案，我們提高了多臂系統避免奇異性并更快速跟隨操作員輸入的能力。我們提出了一種快速的局部優化方案，以及利用牛頓法的二階優化，并比較了兩者的性能，展示了該方法在真實的ABB YuMi雙臂機器人上的表現。接下來，我們將系統擴展到移動機器人。雖然移動機器人在許多方面優于固定基礎系統，但它們也引入了額外的復雜性。我們研究了非完整約束滑模轉向機器人（非全向輪驅動機器人）的驅動動力學，以及操作臂姿態和載荷如何影響轉向能力。此外，我們引入了避免機器人間碰撞、翻車避免和能夠在高度受限的環境中移動的術語。我們將綜合方法部署到多個配備UR5e操作臂的Clearpath Husky平臺，并展示它如何改善開環性能，超越傳統的控制方案。 最后，我們更詳細地探討了用戶如何與多機器人系統互動。 我們比較了基于平板的增強現實（AR）解決方案與HoloLens混合現實（MR）頭戴設備。通過向研究參與者呈現不同的觸摸互動以及支持手部追蹤的手勢，我們比較了他們在多個任務中的表現，目標是引導一組小型差速驅動機器人。我們比較了不同任務中的客觀和主觀表現，發現特別是空間互動在三維用戶界面中受益明顯。

總之，我們探索并研究了人類與機器人之間的相互作用，旨在實現多機器人系統中有效且直觀的互動。 我們提高了機器人跟隨用戶輸入的能力，提出了一種方法論用于復雜的非完整約束多機器人系統的軌跡優化，并研究了基于手勢的與移動機器人直觀交互的方式。我們將這些方法部署到實際的機器人中，期望將其應用于未來的建筑工地或倉庫，以改善未來工作場所的效率。

//www.research-collection.ethz.ch/handle/20.500.11850/707468

在過去十年的繁榮發展之后，視頻理解的研究已到達一個關鍵的節點，單純依賴海量數據和復雜的架構已不再是適用于所有情況的萬能解決方案。數據不平衡的普遍存在阻礙了深度神經網絡（DNNs）有效學習潛在的因果機制，導致在遇到分布變化時（如長尾不平衡和擾動不平衡）性能顯著下降。這一現象促使研究者開始探索替代方法，以捕捉視頻數據中的因果模式。為了應對這些挑戰并提高DNNs的魯棒性，因果建模作為一種原則被提出，旨在發現觀察到的相關性背后的真實因果模式。

本文主要研究視頻語義理解領域，探索因果建模在推進兩個基礎任務中的潛力：視頻關系檢測（Video Relation Detection, VidVRD）和視頻問答（Video Question Answering, VideoQA）。

總結來說，本論文的主要貢獻如下：

• 我們提出了一種干預性視頻關系檢測方法，稱為IVRD，旨在解決VidVRD中關系的長尾不平衡問題。盡管尾部關系具有信息性，但由于其在數據集中稀少，難以預測。我們特別提出了一套分層的關系原型，這迫使關系推理模塊關注實體之間動態交互的視覺內容，而非依賴于對象與關系標簽之間的偽相關性。通過引入因果推理，IVRD為改善長尾不平衡情況下的視頻理解提供了一個有前景的方向，使模型能夠更好地泛化到現實世界場景中，特別是在稀有或不常見的關系在場景理解中扮演關鍵角色時。
• 我們引入了一種視頻問答中的不變性定位方法，稱為IGV，這是一種與模型無關的學習框架，旨在解決由答案-環境之間的偽相關性帶來的負面影響。IGV通過定位問題關鍵的（因果）場景，發現因果推理模式。具體而言，IGV利用了因果場景與答案之間的關系在環境變化時仍保持不變這一事實，并且去除因果場景應導致問題回答失敗。通過定位這些關鍵場景，IGV使VideoQA模型能夠專注于準確推理所需的視覺內容，同時避免環境負面的影響，從而顯著提升了模型的推理能力。
• 我們提出了視頻問答中的等變性定位方法EIGV，進一步增強了魯棒性和視覺可解釋性。基于IGV，EIGV還引入了等變性，促使回答過程對因果場景和問題中的語義變化更為敏感。相較之下，不變性定位要求回答過程對環境場景的變化不敏感。這兩種正則化機制協同工作，區分因果場景與環境場景，并通過呈現視覺-語言對齊提供更多的透明性。通過結合不變性和等變性定位的優勢，EIGV創建了一個更加魯棒且可解釋的VideoQA框架。
• 我們發現了視頻問答中的時空推理，解決了長視頻和多對象樣本（即復雜視頻問答）上的低準確性問題。現有的VideoQA實踐（包括預訓練模型如SeVila [162]）大多是在短視頻片段（約15秒）和少數實體（約2個）上進行訓練的，因此在復雜視頻（超過80秒且包含5個以上對象）上表現較差。原因在于長視頻不可避免地引入大量冗余和偽相關性，因為許多與問題無關的環境對象存在。為應對這一挑戰，我們首先強調建模問題關鍵的時間片段和空間對象的重要性，接著提出了時空推理（Spatio-Temporal Rationalization, STR）方法，通過可微選擇模塊自適應地收集問題關鍵的時間片段和對象，并通過跨模態交互進行推理。結合更合理的候選答案解碼策略，STR有效識別出與問題無關的幀和對象作為因果模式，尤其在復雜場景下顯著改善了預測性能。

本文的一個局限性在于對所識別因果場景的評估。在整個研究過程中，我們依賴于問題回答（QA）總體性能作為所發現因果場景質量的間接指標，基于這樣一個推理：更準確地定位因果場景可能會提供更豐富的問題-關系視覺線索，從而提升QA性能。然而，值得注意的是，基于因果場景的直接量化指標將提供更具說服力的見解。遺憾的是，由于缺乏人類級別的定位標注，當前工作中未能實現這種度量。因此，未來的研究將著力建立一個專門針對因果場景的評估基準，涉及對回答過程所依賴的視覺元素進行人類標注。這一舉措將有助于更全面和嚴格地評估因果場景的發現。

總之，本文的貢獻拓展了因果建模在視頻語義理解中的前沿應用，賦能AI系統掌握因果模式，并在應對視頻理解挑戰任務中提升性能。

理解圖像內容是許多應用的重要組成部分，例如自動駕駛、增強現實、機器人、醫學影像和遙感。隨著深度神經網絡的突破，語義圖像理解在過去幾年中取得了顯著進展。然而，神經網絡需要大量標注數據才能進行適當訓練。由于大規模真實世界數據集的標注成本高昂，網絡可以在具有現成或較低成本標注的數據集（如自動標注的合成數據）上進行訓練。然而，神經網絡通常對領域偏移（domain shifts）敏感，因此在與訓練數據不同的領域中表現較差。因此，無監督領域適應（UDA）和領域泛化（DG）方法的目標是使在源域（例如合成數據）上訓練的模型在未標注或甚至未見過的目標域（例如真實世界數據）上表現良好。

大多數UDA/DG研究專注于設計適應和泛化技術以克服領域偏移的問題。然而，學習框架中其他方面對領域魯棒性的影響大多被忽視。因此，我們從更全面的角度研究領域魯棒性，探討不同學習框架方面對UDA和DG的影響，包括網絡架構、通用訓練方案、圖像分辨率、裁剪大小和上下文信息。特別是，我們解決了現有DG和UDA方法中的以下問題：(1) 我們研究了最新架構對領域魯棒語義/全景分割的影響，并設計了一種專為領域泛化和領域適應分割量身定制的網絡架構，而不是依賴過時的分割架構來評估DG/UDA策略。(2) 為了避免對源域的過擬合，我們提出了保持先驗知識的通用訓練策略。(3) 為了在DG/UDA增加的GPU內存消耗下實現精細的分割細節，我們提出了一個領域魯棒且內存高效的多分辨率訓練框架。(4) 為了解決目標域的局部外觀歧義，我們提出了一種增強空間上下文關系學習的方法。以下段落詳細介紹了這些貢獻。

由于之前的UDA和DG語義分割方法大多基于過時的DeepLabV2網絡和ResNet骨干網絡，我們對較新的架構進行了基準測試，揭示了Transformer的潛力，并設計了DAFormer網絡架構，專為UDA和DG量身定制。它由分層Transformer編碼器和多級上下文感知特征融合解碼器組成。DAFormer網絡通過三種簡單但至關重要的訓練策略來穩定訓練并避免對源域的過擬合：在源域上進行稀有類采樣，通過緩解自訓練對常見類別的確認偏差，改善偽標簽的質量；Thing-Class ImageNet特征距離和學習率預熱有助于從ImageNet預訓練中轉移特征。通過這些技術，DAFormer在UDA和DG中實現了顯著的性能提升，甚至能夠學習像火車、公交車和卡車等難以分類的類別。

此外，我們研究了全景分割的主要架構設計及其UDA能力。我們表明，之前的全景UDA方法在設計上做出了次優選擇。基于這些發現，我們提出了EDAPS，一種特別為領域適應全景分割設計的網絡架構。它使用一個共享的領域魯棒Transformer編碼器，以促進語義和實例特征的聯合適應，同時針對領域適應語義分割和實例分割的具體需求設計了任務特定解碼器。

雖然DAFormer和EDAPS能夠更好地區分不同的類別，但我們觀察到它們缺乏精細的分割細節。我們將其歸因于使用了下采樣的圖像，導致了低分辨率的預測。然而，直接使用全分辨率圖像在UDA/DG中由于其較高的GPU內存消耗而不可行。使用高分辨率圖像的隨機裁剪進行訓練雖然緩解了這一問題，但在捕捉長程、領域魯棒的上下文信息方面表現不足。因此，我們提出了HRDA，一種用于UDA和DG的多分辨率訓練方法，結合了小型高分辨率裁剪以保留精細分割細節和大型低分辨率裁剪以捕捉長程上下文依賴關系，同時保持可管理的GPU內存占用。HRDA能夠適應小物體并保留精細分割細節，顯著提高了之前UDA和DG方法的性能。

即使有了DAFormer和HRDA改進的區分能力和高分辨率性能，UDA方法在目標域中具有類似視覺外觀的類別上仍然表現掙扎，因為沒有可用的真實標簽來學習細微的外觀差異。為了解決這個問題，我們提出了一個掩碼圖像一致性（MIC）模塊，通過學習目標域的空間上下文關系作為穩健視覺識別的額外線索，來增強UDA。MIC通過對隨機遮蔽的目標圖像的預測與基于完整圖像生成的偽標簽之間的一致性進行約束。為了最小化一致性損失，網絡必須學會從上下文中推斷被遮蔽區域的預測。由于其簡單且通用的概念，MIC可以集成到各種UDA方法中，涵蓋不同的視覺識別任務，如圖像分類、語義分割和目標檢測。MIC顯著提高了不同識別任務和領域差距的最新性能。

總體而言，本論文揭示了在領域魯棒的視覺場景理解中，從網絡架構和通用訓練策略等學習框架的不同方面進行全面考量的重要性。所提出的方法大幅提升了從合成到真實、白天到夜晚、晴朗到惡劣天氣等多個感知任務的領域適應性能。例如，在GTA→Cityscapes的語義分割中，它們實現了+18.4 mIoU的總體提升。超越領域適應，DAFormer和HRDA甚至在更具挑戰性的領域泛化設置中也表現出色，在從GTA泛化到5個未見的真實世界數據集時，性能提升了+12.0 mIoU。實現已開源并可在//github.com/lhoyer上獲取。

近年來，深度學習的進展在很大程度上得益于數據和計算資源的增加。盡管數據的豐富性使模型在某些領域表現良好，但在實際應用中（例如醫學領域），數據往往稀缺或難以收集。此外，也存在將大型數據集視為許多相關的小數據集的情境，其中一個小數據集相關任務的數據可能不充足。同時，人類智能通常只需少量樣本即可在新任務上表現出色，這強調了設計數據高效AI系統的重要性。本論文探討了應對這一挑戰的兩種策略：元學習和對稱性。

元學習將數據豐富的環境視為許多小型、獨立數據集的集合。每個小數據集代表一個不同的任務，但它們之間存在潛在的共享知識。利用這種共享知識可以設計出在相似領域中高效解決新任務的學習算法。相比之下，對稱性是一種直接的先驗知識。通過確保模型的預測在輸入發生任何變換后仍保持一致，這些模型可以提高樣本效率和泛化能力。

在后續章節中，我們提出了一些旨在提高深度學習系統數據效率的新技術和模型。首先，我們展示了基于條件神經過程（CNPs）的編碼器-解碼器風格的元學習方法的成功應用。其次，我們引入了一類新型的表達力強的元學習隨機過程模型，這些模型通過在函數空間中堆疊神經參數化的馬爾可夫轉移算子序列構建而成。最后，我們提出了群等變子采樣/上采樣層，以解決傳統子采樣/上采樣層中等變性的喪失問題。利用這些層可以構建端到端的等變模型，從而提升數據效率。

//ora.ox.ac.uk/objects/uuid:98de960f-f7eb-4437-8c37-174b82374b21

非線性優化已成為機器學習的主力工具。然而，我們對機器學習中優化理論的理解仍然有限。例如，經典的優化理論依賴于諸如損失函數的有界Lipschitz平滑性等假設，而這些假設在機器學習中很少滿足。此外，現有理論也無法很好地解釋為什么自適應方法在某些機器學習任務中（如訓練Transformers）優于梯度下降法。在本論文中，為了彌合這一差距，我們提出了更貼近機器學習實際的廣義平滑性條件，并研究了在這些條件下流行的經典和自適應方法的收斂性。我們的收斂性結果優于現有結果，同時為理解自適應性在機器學習應用中的作用提供了新的見解。 首先，受到一些最近的研究工作和深度神經網絡訓練中見解的啟發，我們提出了一種廣義的非均勻平滑性條件，其在幾乎所有地方都通過梯度范數的函數來約束Hessian范數。我們開發了一種簡單但強大的分析技術，該技術通過沿軌跡約束梯度，從而為凸優化和非凸優化問題得出了更強的結果。特別是，我們在這種廣義平滑性條件下，得到了梯度下降（GD）、隨機梯度下降（SGD）和Nesterov加速梯度方法（NAG）在凸或非凸設置中的經典收斂速率。 此外，這種新的分析技術還使我們能夠為自適應矩估計方法（Adam）獲得改進的收斂結果。盡管Adam在訓練深度神經網絡中非常流行且高效，但其理論性質尚未完全被理解，現有的收斂性證明需要非常強的假設（如全局有界的梯度）來證明其收斂至駐點。在本論文中，我們證明了Adam在更為現實的條件下可以證明收斂，特別是我們不需要之前研究中的強假設，并且也考慮了廣義平滑性條件。 然而，上述結果無法解釋為什么像Adam這樣的自適應方法在訓練Transformers等機器學習應用中顯著優于SGD，因為我們為Adam獲得的收斂速率并不比SGD更快。先前的研究經驗性地觀察到，自適應方法沿訓練軌跡往往表現出比SGD更小的方向性平滑性。在本論文中，我們將這一觀察形式化為一個更為嚴謹的理論解釋。具體而言，我們提出了一種方向性平滑性條件，在此條件下，我們證明了無記憶的Adam和RMSProp在確定性設置中具有更快的收斂性。值得注意的是，我們的收斂速率比典型的梯度下降法更快，為理解自適應性在訓練Transformers中的優勢提供了新的見解。