亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們研究了野外拍攝的視頻中多人三維重建的問題。人類的動作是動態的，準確地在各種環境中重建它們對于開發沉浸式社交遠程呈現、輔助性人形機器人和增強現實系統至關重要。然而，創建這樣的系統需要解決關于數據和模型架構的以前工作的基本問題。在這篇論文中，我們開發了幾個大規模的3D基準測試，旨在評估在苛刻條件下的多人重建，以及對遮擋和擁擠環境有韌性的自上而下的算法。 數據 - 為深度學習模型獲得大規模的3D監督是實現真實世界泛化的關鍵。然而，與大規模2D數據集不同，3D數據集的多樣性顯著受限 - 主要是因為在3D空間中手工注釋是不切實際的。因此，大多數3D基準測試都限制于室內環境，或者最多是兩個室外的人類主題，攝像機的移動緩慢或固定，并且遮擋最小。為了解決這個差距，我們探索使用3D合成數據，并構建兩個真實的多人3D數據集，這些數據集包括動態的人類活動、快速的攝像機移動和人與人之間的接觸，這些在之前的基準測試中都被忽視了；以突出現有方法的關鍵局限性。 方法論 - 一個通用的多人3D重建方法應該對尺度變化和遮擋具有韌性，并結合絕對深度理解。我們在2D和3D設置中引入了這些特性的算法，這些算法使我們能夠推理在動態環境和擁擠場景中的多個人。我們的自上而下的方法利用空間-上下文信息來推理3D場景中嚴重遮擋的人類。 基于這兩個組件，我們開發了從野外視頻中重建動態場景中的多個人的通用3D方法。

計算機視覺領域的一個主要目標是人體的三維重建[78]。這種能力對于視頻游戲、電影和遠程呈現的應用至關重要。然而，目前大多數關于3D人體重建的方法和數據集都是針對單一人體場景的[95, 109, 263]。考慮到人類本質上是社交生物，經常與其他人互動，多人場景的存在顯得十分重要。現有的方法往往做出了限制性的假設，不容易擴展到這些多人情境。此外，現有的單一人體數據集提供的監督在泛化到多人上下文時，特別是在不可預測的、野外的條件下，都顯得不足。 本論文描述了在野外捕獲的大規模3D多人數據集的新技術。此外，它還提出了一些不僅定制于多人場景，而且對于擁擠和遮擋等挑戰表現出強大韌性的方法。從圖像和視頻中推導人體的3D結構的主要挑戰是這個任務的數學病態性。正如Adelson和Pentland[1]在工作坊的比喻中所強調的，以及Sinha和Adelson[229]的多面體線條圖所展示的，許多3D配置都可以匹配一個給定的2D圖像。然而，我們的世界是有結構的，這些配置并不都同樣可能。盡管如此，我們的世界具有固有的結構，使得某些配置比其他配置更有可能。人們根據環境中的熟悉模式和規律來辨識可能的3D結構。同樣地，我們讓計算機掌握3D的努力也主要依賴于將這種先驗知識嵌入到推斷過程中。 在當前的計算機視覺領域，像圖像分類[46]、物體檢測[144]和語義分割[40]這樣的領域，3D人體重建主要依賴于帶有3D注釋的3D數據集來編碼這些固有的先驗。獲得這些3D人體注釋的主要方法是通過多視圖捕獲設置，因為手工3D注釋既低效又具有挑戰性。然而，值得注意的是，許多這些3D人體重建數據集主要集中在單一人體場景上，忽視了多人互動。是什么驅動了這種趨勢？人們可能會辯稱，收集單一人體數據更簡單、更直接。此外，在多視圖設置中，框架中只有一個主題可以避免多個個體之間的跨視圖對應關系的復雜性。然而，這種對數據集組成的狹隘關注無意中推動了該領域朝向在多人環境中失誤的方法，參見圖1.1。總之，深入研究構建一個全面的多人3D重建系統不僅需要開發能夠適當地建模人與人之間的深度關系和互動的方法，如人與人之間的接觸，而且更關鍵的是，解決現有3D人體數據集中的局限性。

在本論文中，我們解決了這兩個主要的挑戰：創建大規模的多人數據集以及改進3D人體重建技術。我們的討論分為三部分。在第一部分中，我們探討了使用合成3D監督以及它糾正當前數據集偏見的潛力。這引出了關鍵問題：純粹在合成數據上進行訓練的模型可以被信任在真實數據上工作得很好嗎？我們如何在它們之間建立域間的橋梁？在第二部分，我們評估了當前方法在多人上下文中的局限性，從簡單的任務如2D姿態估計開始，然后轉向更復雜的任務，如從單一圖像恢復3D網格。在第三部分，我們回到數據主題，考慮在確保其真實性和多樣性的同時，在大規模收集實際的多人數據的需要和挑戰。 第一部分：合成3D監督。利用最先進的模擬器為3D人體重建的大規模監督生成合成數據的想法是一個令人信服的想法。在這一部分，我們檢查一個中心問題：當純粹在合成數據上進行訓練時，3D方法可以可靠地擴展到真實世界的數據嗎？在第2章，我們提供了證據，表明使用域隨機化的數據允許方法泛化，即使沒有真實世界的注釋，特別是對于3D對象姿態估計任務。然而，我們觀察到，對域隨機化的普通方法并不是最有效率的，通常需要許多合成樣本才能達到可靠的實數據泛化。第3章解決了這一挑戰，引入了一個更有效的域隨機化方法，使合成數據的生成與深度模型在訓練期間的持續進展保持一致。這一章還概述了關于需要多少數據才能實現可靠的實際世界泛化的理論保證。

第二部分：多人姿態和形狀估計。在這部分，我們解決了3D多人重建方法的關鍵限制。第4章主要關注2D姿態估計，尤其是在由遮擋和擁擠標記的復雜多人情境中。我們介紹了一套專為這些場景設計的新穎的自上而下的方法，有效地擺脫了限制性的單人假設。基于這一基礎，第5章擴大了這些方法，以從圖像中解決3D人體網格恢復的問題。我們的主要哲學是將人的點基表示與它們的邊界框表示相結合。我們展示了，令人驚訝的是，這種簡單的集成能夠維持自己，即使在具有挑戰性的多人遮擋的情境中也能夠取得令人印象深刻的結果。 第三部分：真實的3D多人數據集。雖然在第一部分中，我們調查了用于3D的合成數據的使用，但第三部分將焦點轉向真實的多人數據。在第6章中，我們設計了一個適合野外設置的無標記捕獲系統，以記錄多人活動，重點是動態活動，如體育和舞蹈。同時，我們引入了一個半自動的注釋流程，以減少人為監督地生成大規模的3D注釋，如人體姿態和網格。此外，為了捕獲帶有移動相機的3D場景，我們利用了主題的自中心視圖，并為這一具有挑戰性的視圖提供了注釋。然后第7章深入探討，重點是多人互動，代表了人與人之間的擴展接觸，包括摔跤、擁抱和舞蹈等活動。利用我們之前的方法，我們引入了一個增強的注釋協議，旨在充分處理這些活動中固有的遮擋。總之，第6章和第7章中詳細描述的努力共同為建立兩個全面的多人3D數據集作出了貢獻。 然而，為了開發更大的數據集和高效且普遍的3D多人方法，還有更多的工作要做。第8章通過討論這一領域未來工作的具體方向來結束，包括短期和長期的方向。

在這篇論文中，我們研究了深度強化學習中的對稱性和結構。我們將論文分為兩部分。在第一部分，我們探討如何在強化學習中利用對稱性的知識。在第二部分，我們提出了一些方法，用于學習智能體的環境和狀態的結構。我們提出了MDP 同態網絡，這是一種在 MDP 的聯合狀態-動作空間下對稱性下是等變的神經網絡。由于等變性，我們發現與非等變的基線相比，數據效率得到了提高。我們提出了多智能體MDP 同態網絡，一類網絡，允許使用僅局部信息的分布式執行，但能夠在合作多智能體系統的聯合狀態-動作空間的全局對稱性之間分享經驗。我們顯示全局等變性比對稱協調問題的非等變分布式網絡的數據效率更高。我們提出了 PRAE。PRAE 利用動作等變性進行強化學習中的表示學習。動作下的等變性表明輸入空間中的轉換被潛在空間中的等效轉換所鏡像，而映射和轉換函數也應該交換。我們證明，在某些假設下，學到的映射是一個 MDP 同態，并且通過實驗證明該方法是數據高效的，易于訓練，能很好地推廣到具有相同環境動力學的新目標狀態和實例。我們提出了 C-SWMs，它使用對比編碼和圖神經網絡轉換函數，從像素中找到狀態的面向對象的表示。我們顯示與使用解碼器、非結構化轉換或非結構化表示相比，在多步預測和泛化到未見環境配置方面有所改善。

對稱性和結構無處不在。當我們行走時，右腿的運動鏡像了左腿的運動。當分子旋轉時，它們的分子性質不變。當我們導航到一個目的地時，我們會考慮不同路段的連通性。當我們交談時，我們可以將單詞串聯起來，形成完全新的句子。在日常生活中，我們使用關于任務的對稱性和結構的信息來指導我們的決策制定。

在人工智能中，對稱性和結構也無處不在。考慮一下在運動過程中鏡像左右腿運動的機器人，自動化芯片設計，追蹤野生動物運動的無人機群，玩 Atari Pong 的機器人，其中屏幕的上下部分是彼此的反射，分子設計，計算機玩家在圍棋游戲中考慮旋轉的棋盤狀態，以及自動駕駛車輛從荷蘭的右側道路切換到英國的左側道路。這些都是 AI 中展示了某種對稱性或結構的任務的例子。利用固有對稱性和結構的知識是構建可擴展系統的重要一步。

強化學習是人工智能的一個基礎研究領域，它鼓勵智能體從正反饋信號中學習，我們稱這為獎勵。通過試錯，智能體可以學會將情境、動作和反饋關聯起來，從而改善其決策。例如，我們可以給一個機器人正向獎勵以鼓勵它快速行走，而給它負向獎勵以防止它跌倒。同樣，我們可以給計算機玩家正向獎勵以鼓勵它贏得比賽，負向獎勵以防止輸掉比賽，或者給一個提出特別高效的芯片設計的智能體正向獎勵。使用強化學習領域的概念，我們可以將上述示例正式化，以提出導致智能體做出良好決策的方法。在深度強化學習中，智能體使用神經網絡來決定采取哪個動作，而神經網絡會根據收到的獎勵信號適應任務。然而，即使是那些遠遠不及人類能力的智能任務，對于人工決策者來說也可能會遇到問題。考慮任何一個在現實世界中運作的基于視覺的控制系統。智能體接收到攝像頭輸入作為觀測，然后必須學習采取最佳動作。可能的觀測數量是極其龐大的，而智能體不太可能遇到兩個完全相同的狀態。因此，我們希望智能體能夠重用先前狀態的經驗，以便在具有相似特征的未見狀態中做出良好的決策。例如，在決定如何移動左腿時，智能體應該模仿它學到的移動右腿的動作。

上述示例只是強化學習問題中對稱性和結構出現的幾個案例。這可以通過考慮在一個狀態中采取一個動作是否等同于在另一個狀態中采取另一個動作來形式化。在這篇論文中，我們將研究當我們知道對稱性和結構時如何在強化學習中使用它，以及如果不知道時如何提取它。智能體不應該學習已知的東西。知識是由系統設計者作為先驗知識提供的，還是通過智能體自身的泛化獲得的，應取決于問題的上下文。通過適當地重復使用知識，我們可以減少智能體需要與世界互動的次數，這是擴展到真實世界設置的重要部分。在這篇論文中，我們將特別關注強化學習中的對稱性和結構。

我們展示了在開發穩定、可擴展和可傳遞的用于視覺數據的生成模型方面的進展。我們首先利用自回歸模型學習表達豐富的圖像先驗知識，這些模型可以生成高質量且多樣化的圖像。然后，我們探索了遷移學習，將視覺表征模型推廣到具有有限可用數據的新數據模態。我們提出了兩種方法，通過從預訓練的判別式視覺模型中提取知識，從稀疏的輸入圖像或自然語言描述生成高質量的3D圖形。我們簡要總結了利用去噪擴散概率模型改善生成質量的工作，并展示了如何將其轉移到新的模態，包括使用分數蒸餾采樣進行高質量的文本到3D合成。最后，我們通過優化矢量圖形渲染器，利用從預訓練的文本到圖像擴散模型中提取的知識，從文本生成2D矢量圖形，而無需矢量圖形數據。我們的模型可以在許多模態下實現高質量的生成，并在隨后的工作中得到廣泛應用。

研究主要集中在三類工作上：(i) 可以擴展學習的高效計算機系統，(ii) 開發更具表達力和穩定性的模型，以便從規模效應中受益，以及 (iii) 能夠使模型推廣到新模態的遷移學習算法。在這篇論文中，我將專注于后兩類工作。

從真實樣本中估計高維分布是機器學習和統計學中一個長期存在的挑戰性問題。這樣的分布估計需要一個模型來捕捉一組變量之間的相互依賴關系，例如隨機向量的各個維度。通過參數化分布估計，幾乎可以在真實世界的數據上實現神奇的效果。當這些分布描述圖像時，這些應用包括無條件圖像生成，例如合成無限的人工數據，基于已知屬性的圖像生成，照片編輯，增強技術，如超分辨率或修復，領域轉換等等。深度生成模型還推動了其他數據模態的進展，包括語音合成、音樂生成和自然語言生成。

在深度生成模型的許多研究中，重點是估計無條件參數分布???? (x)，通過與任務無關的樣本質量和似然度量來衡量進展。然而，生成建模的吸引力在于先驗分布????在向下游任務中的靈活性，其中通常可以獲取一些條件信息，如類別標簽??或損壞的觀測值x?。在這些設置中，能夠以較低的計算成本訪問所需的后驗分布（例如???? (x|x?)）至關重要。通用的推斷算法在某些情況下可以從所需的后驗中進行采樣，但理想情況下，我們希望能夠準確且高效地對這些后驗進行計算。

我們的整體目標是學習和轉移表達豐富的生成視覺模型到許多領域。我們通過消除生成圖像先驗中的架構限制來解決這個問題，然后通過從大型預訓練模型中轉移知識，降低生成應用的數據需求。首先，在第二章中，我們提出了一種改進的PixelCNN自回歸模型架構，支持對數據維度進行任意條件分布的圖像補全應用。我們修改后的架構，局部掩蔽的PixelCNN，允許在集合中共享參數，從而提高密度估計。然而，自回歸模型是強大的密度估計器，但在小尺度上樣本質量較差，采樣速度慢，并且在條件生成任務上相對不夠靈活。特別是，像PixelCNN這樣的自回歸模型一次只對一個數據維度進行采樣，通常需要進行完整的神經網絡前向傳遞，這是低效的。

在第三章中，我們探索了圖像合成的一個具有挑戰性的應用：新視角合成（NVS）問題。NVS的目標是從新的相機位置插值出場景的稀疏視角。在給定稀疏采樣的觀察視角的情況下，基于神經輻射場的現有方法估計了編碼特定場景幾何和外觀的神經網絡的參數。然后，使用體積渲染生成新視角。在我們的工作中，我們提出了一個輔助損失函數，允許將大型圖像編碼器的先驗知識轉移到視角合成問題中。這使得神經輻射場能夠對未見區域進行外推——這對于生成模型來說是一項重要的能力。使用輔助損失函數來約束場景表示還可以改善視角合成的質量，即使只有1-8個觀察圖像。利用自監督模型的先驗知識是提高生成模型的數據效率、靈活性和可控性的一種有前途的方法。是否需要任何觀察？在第四章中，我們展示了特征空間損失可以用于僅通過標題生成一個3D物體。我們描述了一種名為Dream Fields的方法，通過測試時訓練來合成一個3D神經輻射場。Dream Fields由一個經過正則化的3D表示和一個基于預訓練語言模型和圖像編碼器的特征空間對齊的損失函數優化而成。正則化對于高質量是至關重要的。我們的工作為無需使用任何3D訓練數據的開放領域文本到3D生成鋪平了道路。

DietNeRF和Dream Fields依賴于來自自監督視覺Transformer和對比語言-視覺雙編碼器等判別模型的先驗知識。然而，判別模型不一定能夠完全表示高質量合成所需的所有視覺細節。第五章簡要討論了我們在生成建模方面的兩項工作，使得跨模態生成具有更高保真度成為可能。首先，我們開發了一種新的去噪擴散概率模型（DDPM），它在圖像合成方面實現了最先進的樣本質量。DDPM被證明是一種高度可擴展且穩定的先驗模型，可以直接在不同模態下進行訓練。然而，在不同格式的訓練數據可用量上總會存在差異：當前圖像數據集的規模比最大的3D數據集大幾個數量級。在后續的工作中，我們找到了將擴散模型從其訓練模態中轉移出來的新方法。我們提出了分數蒸餾采樣損失來實現這種轉移能力，并將其首次應用于高質量的文本到3D方法，即Dream Fusion。在擴散模型和分數蒸餾采樣的基礎上，我們在第六章中基于預訓練的文本到圖像擴散模型開發了一種文本到SVG的方法，稱為VectorFusion。VectorFusion展示了生成模型從文本中創建抽象的矢量化圖形的潛力。在整個論文中，我們通過將在數據豐富的模態上學習到的大規模先驗知識與可微分的渲染器相結合，構建了強大的合成工具，這些渲染器表示了為下游任務有用的定制模態。第七章提供了總結思考。

這篇博士論文解決了大型語言模型（LLMs）的兩個重要挑戰：魯棒性和可擴展性。首先，我們通過學習代碼表示的視角來提高大型語言模型的魯棒性。我在這里強調我們在ContraCode上的工作，該模型學習了對保留標簽編輯具有魯棒性的代碼表示。其次，我們從系統角度解決可擴展性挑戰。我們提出了Checkmate，這是一個通過最優再物化超越GPU內存容量限制來支持模型訓練的系統。此外，Skyplane，一種優化云對象存儲之間大批量數據傳輸的系統，使得在云端訓練更大的預訓練數據集成為可能。總的來說，這些貢獻為提高大型語言模型的魯棒性和可擴展性提供了一條路徑。

在1945年，Vannevar Bush設想出了一種名為memex的假想設備，該設備能夠存儲和索引人類的所有知識，使用戶能夠通過"全新形式的百科全書"查詢和導航知識。盡管Bush設想的memex是一種基于機械微膠片的設備，但他的遠見遠超出了該設備的物理形態。他預見了深度語言理解、知識存儲和推理系統的發展。大型語言模型（LLMs）通過學習可以查詢和推理的語言表示，已經朝這個方向取得了重大進展。不同于以往的語言模型，這些神經網絡在大量數據上進行訓練，以預測單詞并理解語言。他們在某些基準測試上達到了人類水平的表現，但也面臨著限制其廣泛部署的重大挑戰。具體來說，大型語言模型在兩個維度上面臨重要難關：魯棒性和可擴展性。大型語言模型的魯棒性是一個多面的挑戰。雖然大型語言模型在理解和生成文本方面取得了顯著進步，但他們仍然在處理幻覺、對輸入擾動的敏感性和組合泛化上存在困難。另一方面，可擴展性是一個關于規模和計算資源的挑戰。對于大型語言模型，交叉熵損失隨著模型規模、數據集規模和用于訓練的計算量的增加而呈冪律增長。在這篇博士論文中，我為持續改進大型語言模型的魯棒性和可擴展性做出了貢獻。

第二章：增強大型語言模型的魯棒性

在第二章中，我們研究了提高大型語言模型魯棒性的策略。這個討論的一個核心問題是語言建模目標是否會導致學習魯棒的語義表示，或者僅僅是基于局部上下文預測標記。為了回答這個問題，我們轉向源代碼的情境，其中程序的語義是由其執行定義的。我們探索了對比預訓練任務ContraCode，它學習代碼的功能而不是形式。ContraCode預訓練一個神經網絡，區分功能上類似的程序變體與眾多非等效的干擾項。這種策略在JavaScript總結和TypeScript類型推斷精度上顯示出改善。我們還介紹了一個新的零射擊JavaScript代碼克隆檢測數據集，結果表明與其他方法相比，ContraCode更具魯棒性和語義意義。

第三章：解決大型語言模型的可擴展性挑戰

在第三章中，我們開始解決大型語言模型的可擴展性挑戰，首先考察了在訓練大型模型過程中出現的"內存壁"問題。在這里，我們介紹了Checkmate，一個在DNN訓練中優化計算時間和內存需求之間權衡的系統。Checkmate解決了張量重制化優化問題，這是先前檢查點策略的一種推廣。它使用現成的MILP求解器確定最優的重制化計劃，并加速了數百萬次的訓練迭代。該系統可以擴展到復雜、現實的架構，并且是硬件感知的，使用基于特定加速器的配置文件成本模型。Checkmate使得能夠訓練實際網絡，其輸入最大可達5.1倍。

第四章：大型預訓練數據集的管理

在第四章中，我們探討了大型預訓練數據集的管理，這也是可擴展性挑戰的另一個方面。具體而言，我們研究了如何在云端目標之間收集和移動這些數據集。我們介紹了Skyplane，一個使用云感知網絡覆蓋來進行云對象存儲間批量數據傳輸的系統。它使用混合整數線性規劃來確定數據傳輸的最優覆蓋路徑和資源分配，從而優化價格和性能的平衡。Skyplane在單一云中的傳輸性能比公共云傳輸服務高出4.6倍，跨云傳輸性能高出5.0

在本論文中，我將分子生物學中的幾個問題抽象為網絡優化算法。

在本文的第一章中，我考慮了我們的第一類網絡問題——已知動態網絡中的子網優化。在這些情況下，我引入了條件網絡和時間條件網絡的概念，其中網絡可以隨時間動態變化(即頂點或邊)。在第一組問題中，我們的目標是找到一個代價最小的全局子網絡，它滿足所有條件下的局部連通性需求。在第二組問題中，我考慮優化從時間點$t_1$的源節點$a$開始，到時間點$t_2$的目標節點$b$結束的單一遍歷請求，同時保持隨時間變化的一致性。最后，我利用這些框架來研究Th17細胞中的信號轉導，目的是找到與IL23受體信號傳遞有關的新的下游蛋白。

在本文的第二章中，我考慮了CRISPR/Cas9模型中的譜系追蹤問題——給定一組通過CRISPR/Cas9譜系追蹤生成的終端節點或細胞，哪棵樹最能代表真實生成過程。特別地，我將介紹兩種用于此分析的方法——貪婪方法和精確整數線性規劃方法。然后我通過模擬和體外生成的地面真值樹來測試這些方法。最后，我退一步考慮我們的框架的理論保障。也就是說，我探索了模型中字符數量/剪切位點與最小細胞分裂次數、細胞數量和剪切率等變量之間的關系。特別是，在給定關于實驗設置的完美知識的情況下，我推導出精確重建所需的字符數量的上限。

在本論文的第三章和最后一章，我考慮使用網絡流抽象來估計細胞內的代謝活動。鑒于代謝和免疫功能之間的關系，我們的目標成為發現Th17細胞內的組織特異性代謝程序。為了實現這一目標，我利用通量平衡分析方法來估計從不同組織的小鼠中收集的Th17細胞內的網絡代謝通量，由此我發現了一個新的腸道特異性代謝目標，負責調節效應因子樣功能和穩態。

本文探討了計算機如何使用自監督學習在沒有強監督的情況下學習視覺對象的結構。我們演示了我們可以使用一個以重構為關鍵學習信號的自動編碼框架來學習對象的結構表示。我們通過工程瓶頸將對象結構從其他變化因素中分離出來來做到這一點。此外，設計了以2D和3D物體地標或3D網格形式表示物體結構的瓶頸。具體來說，我們開發了一種自動發現2D對象地標的方法，無需任何注釋，該方法使用帶有2D關鍵點瓶頸的條件自動編碼器，將表示為2D關鍵點的姿勢和外觀分離開來。**盡管自監督學習方法能夠學習穩定的物體地標，但自動發現的地標與人類標注者標注的地標不一致。為解決這個問題，本文提出一種方法，通過引入一種新的地標自編碼，將未配對的經驗先驗注入到條件自編碼器中，可以利用對抗性學習中使用的強大圖像鑒別器。**這些條件自動編碼方法的一個副產品是，可以通過操縱瓶頸中的關鍵點來交互控制生成。我們利用這一特點在一個新的方法進行交互式3D形狀變形。該方法以自監督的方式訓練，使用自動發現的3D地標來對齊對3D形狀。在測試時間內，該方法允許用戶通過發現的三維物體標志進行物體形狀的交互變形。最后，我們提出了一種利用光幾何自編碼器恢復物體類別三維形狀的方法，而不需要任何三維注釋。它使用視頻進行訓練，并學會將輸入的圖像分解為剛性的姿勢、紋理和可變形的形狀模型。

多模態數據融合是將不同的數據源集成到一個適用于復雜推理的共享表示的過程。因此，人們可以對潛在現象做出比單獨使用每個數據源更精確的推論。在論文中，我們采用貝葉斯觀點的多模態數據融合，它將推理定義為對潛在變量的后驗推理。在貝葉斯設置中，我們提出了一種新的數據集成方法，我們稱之為輕量級數據融合(LDF)。LDF解決了數據源子集的正向模型未知或特征不佳的情況。LDF利用剩余的數據源學習適合后驗推斷的逆模型，該模型結合了這兩種類型的數據。此外，我們開發了分層Dirichlet過程(mmHDPs)的多模態擴展，其中，與LDF的設置相比，我們缺乏跨模態的觀察級對應，數據來自隱式潛在變量模型。最后，我們為Dirichlet過程和HDP混合模型開發了一種新穎的表示，可以在推理過程中實現并行化，并擴展到更復雜的模型，包括mmHDPs。

我們解決數據融合的問題，即從多個數據源學習。我們考慮了幾個具體的挑戰:例如，某些數據源可能缺乏特征良好的正向模型，或者底層模型的復雜性可能未知。我們采用貝葉斯視角，將數據融合問題視為對潛在變量結構的后驗推斷，并允許進行各種分析，包括不確定性量化、優雅地處理缺失數據和模型檢查。然而，貝葉斯推斷也提出了自己的挑戰。后驗推斷的常見方法不適應缺乏前向模型或難以適應大數據集的觀察模式。

本論文的一個重要重點是開發能夠實現高效和并行的后驗推理的表示。我們特別關注多模態數據融合中的兩個明顯挑戰。首先，當一個或多個觀察模態缺乏特征良好的前向模型，并且我們也缺乏明確標記的訓練數據，從而允許直接學習前向模型時，我們考慮學習。在這里，我們使用了來自不同模態的數據，它具有一個特征良好的正態模型，與未校準的數據一起出現。我們提出了一種方法，該方法使用具有良好校準數據的聯合觀測來學習一種模態的逆模型。其次，我們試圖從多種測量模態中學習，其中跨模態的觀察之間的直接對應是不可用的。我們利用不同模態的數據組之間的對應關系來揭示共同表示。在這里，我們開發了層次Dirichlet過程(HDP)混合模型的擴展，將不同的模態表示為子文檔。本文解決了這兩個問題，并開發了一種新的Dirichlet過程(DP)和HDP混合模型的表示，從而產生了一個并行推理過程。

在第三章中，我們提出了輕量級數據融合(LDF)。LDF是一種基于多源數據的貝葉斯推理新方法，其中一些源缺乏已知的正演模型。雖然與論文中的其他章節略有不同，但LDF確實解決了多模態數據融合中的一個常見挑戰。LDF的一個核心組成部分是它將未校準的數據源簡化為一組描述后驗分布的信息統計數據。我們為一般的模型結構制定了LDF，并表明我們的構造導致了有效的推理和一個易于處理的學習過程，具有吸引人的信息理論屬性。LDF使用具有已知可能性的數據類型來幫助學習如何對具有未知可能性的數據類型設置條件。

在第四章中，我們開發了一種新的DP和HDP混合模型的表示，這對設計高效的推理程序有重要的意義。在本章中，我們假設數據的正向模型是已知的，與第3章不同;我們將使用在第5章中開發的方法。特別地，我們引入了DP和HDP混合模型的聚合表示，它們既有被實例化的顯式原子，也有被聚合成未實例化組件的隱式原子。未實例化組件是延遲實例化Gibbs采樣器的核心，它允許并行執行許多采樣操作。

我們在第5章中介紹了DP和HDP混合模型的擴展，它可以容納多個數據源，并允許學習聯合依賴。在第4章中，我們假設數據的正向模型是已知的。本章使用底層的泊松過程表示定義了多模態DP和HDPs，并將它們用作混合模型的基礎。所得到的模型可以被視為所有模態的聯合措施，也可以被視為適用于單個模態的邊際隨機措施。我們提供了這些模型的幾種特征，指定了折疊推理過程，并使用第4章中的延遲實例化開發了一個并行推理過程。

圖是數據和系統表示的強大工具。許多類型的復雜和高度結構化的數據都可以用圖表示，比如社交網絡、計算機網絡和分子。圖還可以用來表示計算機系統，例如分布式存儲網絡和對等通信網絡。在本論文中，我們討論了處理大規模圖數據和使用圖來設計更好的系統的方法。

我們首先討論兩種處理大規模圖數據的方法。雖然它們非常強大，但圖數據集對其處理和存儲提出了獨特的挑戰。圖神經網絡(GNNs)是將深度學習應用于圖結構數據的一種有效方法。但是，由于圖的互連和高度結構化的特性，訓練GNN的計算可能非常昂貴。研究了一種提高GNN訓練效率的分層聚合方法。另一種理解圖數據集的方法是檢查小的、重復的模式的頻率。我們提出了時間活動狀態塊模型(Temporal Activity State Block Model)，這是一種用于計算時間圖中預期母題頻率的分析模型，它增加了邊在大時間跨度內到達的復雜性。

接下來我們將介紹兩種應用圖來設計更好系統的方法。在分布式存儲系統中，在服務器故障的情況下，通常需要使用冗余存儲數據，而在何處以及以何種頻率創建這種冗余的設計可以表示為一個圖問題。部分重復(FR)代碼是一種用于實現這一目的的方法，旨在最大化存儲容量，同時確保故障節點可以通過從幸存節點發送替換數據來替換。我們提出了負載平衡的分數重復碼，這是FR碼的加強，有額外的保證，如何迅速地更換失敗的節點。接下來我們考慮在對等網絡中發送消息的問題。這個問題可以用一個圖來表示哪個對等點擁有另一個對等點想要的數據。索引編碼是一種設計從中央服務器到一組接收器的客戶端通信的方法。我們將這種方法應用于點對點模型，并引入和研究了嵌入索引編碼。

//searchworks.stanford.edu/view/14230534

常見的圖像編輯方法側重于低級特征。在本論文中，我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說，所提出的方法旨在通過結合通用的視覺知識，從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此，新方法可以以人類可理解的方式轉換圖像，比如將一個物體轉換為另一個物體，將照片程式化到特定藝術家的畫作中，或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽，逐圖像標簽，和沒有標簽。首先，利用逐像素監督，我提出了一種新的深度神經網絡架構，可以從場景布局和可選目標風格合成逼真的圖像。其次，使用每個圖像監督，我探索了域翻譯的任務，其中一個類的輸入圖像被轉換為另一個類。最后，我設計了一個框架，可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果，包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少，以及圖像紋理的逼真操作

在本論文中，我們研究了兩類涉及大規模稀疏圖的問題，即圖數據的壓縮問題和網絡中的負載均衡問題。我們利用局部弱收斂的框架，或所謂的目標方法來實現這一點。這個框架提供了一個觀點，使人們能夠理解稀疏圖的平穩隨機過程的概念。

利用局部弱收斂框架，我們引入了有根圖上概率分布的熵概念。這是Bordenave和Caputo將熵概念推廣到頂點和邊帶有標記的圖上。這樣的標記可以表示關于真實數據的信息。這種熵的概念可以看作是稀疏圖數據世界中香農熵率的自然對應。我們通過介紹一種用于稀疏標記圖的通用壓縮方案來說明這一點。此外，我們研究了圖數據的分布式壓縮。特別地，我們介紹了一個關于稀疏標記圖的Slepian-Wolf定理的版本。

除了研究壓縮問題外，我們還研究了網絡中的負載均衡問題。我們通過將問題建模為超圖來實現這一點，其中每個超邊表示承載一個單元負載的任務，而每個頂點表示一個服務器。配置是分配此負載的一種方式。我們研究平衡分配，粗略地說，就是沒有需求希望改變其分配的分配。將局部弱收斂理論推廣到超圖，研究了均衡分配的某些漸近行為，如典型服務器上的漸近經驗負荷分布，以及最大負荷的漸近性。

本文所研究的問題可以作為實例來說明局部弱收斂理論和上述熵概念的廣泛適用性。事實上，這個框架為稀疏標記圖提供了平穩隨機過程的觀點。時間序列理論在控制理論、通信、信息論和信號處理等領域有著廣泛的應用。可以預料，平穩隨機過程的組合結構理論，特別是圖形，將最終有類似廣泛的影響。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2020/EECS-2020-166.html