亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成型人工智能是一個快速發展和不斷擴大的領域。隨著研究領域轉向構建大型基礎模型和強大的架構，我們必須仔細考慮如何將這些模型適應到新的領域和任務中。本論文的工作展示了將大型生成模型和架構適應于特定應用的新方法，如虛擬試穿、概念藝術和領域特定圖像分類。除了技術貢獻外，本論文還探討了關于領域特定生成模型的更廣泛的開放性問題；例如，我們如何仔細構建訓練數據以減少偏見？實踐中創意生成型人工智能的人在循環方法是什么樣的？大型視覺-語言模型在傳統的僅圖像任務中有多大用處？

生成式人工智能是一個快速發展的研究領域，涉及生成未見過的圖像和文本。最近，圖像生成 [88, 92, 95]、文本生成 [11, 22, 80]、圖像字幕 [107, 118] 和視覺-語言表示學習 [85] 領域的模型和架構有了許多發展。這些模型即使在研究社區之外也產生了巨大影響。例如，人工智能生成的圖像已經贏得了攝影獎項，1 在佳士得拍賣中售價高達數十萬美元，2 并被作為雜志封面特色。3 例如ChatGPT [11, 80]等語言模型，已經影響了從教育到法律的各個領域。近年來，社會被生成式人工智能大大影響，但生成模型已經存在一段時間了。過去，生成對抗網絡 [35] 和變分自編碼器 [57, 58] 可以在特定領域的數據集上進行訓練，生成該領域的新圖像。近年來，生成模型的規模有了前所未有的增長。這些模型在生成高質量圖像（圖1.1）和文本方面表現出色，但它們需要大量數據和計算才能訓練。因此，這些模型的開發和訓練變得越來越不可行。一個重要的挑戰是學習如何將這些大規模預訓練模型和數據密集型架構適應于與原始意圖不同的新領域。常見的方法是在新領域的數據上微調預訓練模型。然而，當數據稀缺、訓練數據與微調數據之間存在較大領域差距，或者領域需要特定用戶輸入和對輸出的控制時，微調的有效性就受到了限制。本論文提供了如何將這些強大的大規模模型應用于新數據或任務的見解，并展示了視覺-語言模型如何彌合強大的大型語言模型和視覺任務之間的差距。此外，它還提供了在特定領域任務中使用較小、更專業模型的示例。 除了技術挑戰之外，生成模型對社會的日益影響還引發了一系列需要計算機科學研究人員仔細考慮的倫理問題。例如，藝術領域新興的生成技術引發了關于版權、所有權以及我們如何定義真正創造力的討論。更廣泛地說，人們越來越擔心訓練數據中的社會偏見被生成模型在它們創造的輸出中持續傳播。本論文的目標是在我們的技術貢獻旁提供對生成式人工智能這些更廣泛社會問題的見解。在以下小節中，我們概述了每個論文章節中的技術和社會問題。

我們研究了野外拍攝的視頻中多人三維重建的問題。人類的動作是動態的，準確地在各種環境中重建它們對于開發沉浸式社交遠程呈現、輔助性人形機器人和增強現實系統至關重要。然而，創建這樣的系統需要解決關于數據和模型架構的以前工作的基本問題。在這篇論文中，我們開發了幾個大規模的3D基準測試，旨在評估在苛刻條件下的多人重建，以及對遮擋和擁擠環境有韌性的自上而下的算法。 數據 - 為深度學習模型獲得大規模的3D監督是實現真實世界泛化的關鍵。然而，與大規模2D數據集不同，3D數據集的多樣性顯著受限 - 主要是因為在3D空間中手工注釋是不切實際的。因此，大多數3D基準測試都限制于室內環境，或者最多是兩個室外的人類主題，攝像機的移動緩慢或固定，并且遮擋最小。為了解決這個差距，我們探索使用3D合成數據，并構建兩個真實的多人3D數據集，這些數據集包括動態的人類活動、快速的攝像機移動和人與人之間的接觸，這些在之前的基準測試中都被忽視了；以突出現有方法的關鍵局限性。 方法論 - 一個通用的多人3D重建方法應該對尺度變化和遮擋具有韌性，并結合絕對深度理解。我們在2D和3D設置中引入了這些特性的算法，這些算法使我們能夠推理在動態環境和擁擠場景中的多個人。我們的自上而下的方法利用空間-上下文信息來推理3D場景中嚴重遮擋的人類。 基于這兩個組件，我們開發了從野外視頻中重建動態場景中的多個人的通用3D方法。

計算機視覺領域的一個主要目標是人體的三維重建[78]。這種能力對于視頻游戲、電影和遠程呈現的應用至關重要。然而，目前大多數關于3D人體重建的方法和數據集都是針對單一人體場景的[95, 109, 263]。考慮到人類本質上是社交生物，經常與其他人互動，多人場景的存在顯得十分重要。現有的方法往往做出了限制性的假設，不容易擴展到這些多人情境。此外，現有的單一人體數據集提供的監督在泛化到多人上下文時，特別是在不可預測的、野外的條件下，都顯得不足。 本論文描述了在野外捕獲的大規模3D多人數據集的新技術。此外，它還提出了一些不僅定制于多人場景，而且對于擁擠和遮擋等挑戰表現出強大韌性的方法。從圖像和視頻中推導人體的3D結構的主要挑戰是這個任務的數學病態性。正如Adelson和Pentland[1]在工作坊的比喻中所強調的，以及Sinha和Adelson[229]的多面體線條圖所展示的，許多3D配置都可以匹配一個給定的2D圖像。然而，我們的世界是有結構的，這些配置并不都同樣可能。盡管如此，我們的世界具有固有的結構，使得某些配置比其他配置更有可能。人們根據環境中的熟悉模式和規律來辨識可能的3D結構。同樣地，我們讓計算機掌握3D的努力也主要依賴于將這種先驗知識嵌入到推斷過程中。 在當前的計算機視覺領域，像圖像分類[46]、物體檢測[144]和語義分割[40]這樣的領域，3D人體重建主要依賴于帶有3D注釋的3D數據集來編碼這些固有的先驗。獲得這些3D人體注釋的主要方法是通過多視圖捕獲設置，因為手工3D注釋既低效又具有挑戰性。然而，值得注意的是，許多這些3D人體重建數據集主要集中在單一人體場景上，忽視了多人互動。是什么驅動了這種趨勢？人們可能會辯稱，收集單一人體數據更簡單、更直接。此外，在多視圖設置中，框架中只有一個主題可以避免多個個體之間的跨視圖對應關系的復雜性。然而，這種對數據集組成的狹隘關注無意中推動了該領域朝向在多人環境中失誤的方法，參見圖1.1。總之，深入研究構建一個全面的多人3D重建系統不僅需要開發能夠適當地建模人與人之間的深度關系和互動的方法，如人與人之間的接觸，而且更關鍵的是，解決現有3D人體數據集中的局限性。

在本論文中，我們解決了這兩個主要的挑戰：創建大規模的多人數據集以及改進3D人體重建技術。我們的討論分為三部分。在第一部分中，我們探討了使用合成3D監督以及它糾正當前數據集偏見的潛力。這引出了關鍵問題：純粹在合成數據上進行訓練的模型可以被信任在真實數據上工作得很好嗎？我們如何在它們之間建立域間的橋梁？在第二部分，我們評估了當前方法在多人上下文中的局限性，從簡單的任務如2D姿態估計開始，然后轉向更復雜的任務，如從單一圖像恢復3D網格。在第三部分，我們回到數據主題，考慮在確保其真實性和多樣性的同時，在大規模收集實際的多人數據的需要和挑戰。 第一部分：合成3D監督。利用最先進的模擬器為3D人體重建的大規模監督生成合成數據的想法是一個令人信服的想法。在這一部分，我們檢查一個中心問題：當純粹在合成數據上進行訓練時，3D方法可以可靠地擴展到真實世界的數據嗎？在第2章，我們提供了證據，表明使用域隨機化的數據允許方法泛化，即使沒有真實世界的注釋，特別是對于3D對象姿態估計任務。然而，我們觀察到，對域隨機化的普通方法并不是最有效率的，通常需要許多合成樣本才能達到可靠的實數據泛化。第3章解決了這一挑戰，引入了一個更有效的域隨機化方法，使合成數據的生成與深度模型在訓練期間的持續進展保持一致。這一章還概述了關于需要多少數據才能實現可靠的實際世界泛化的理論保證。

第二部分：多人姿態和形狀估計。在這部分，我們解決了3D多人重建方法的關鍵限制。第4章主要關注2D姿態估計，尤其是在由遮擋和擁擠標記的復雜多人情境中。我們介紹了一套專為這些場景設計的新穎的自上而下的方法，有效地擺脫了限制性的單人假設。基于這一基礎，第5章擴大了這些方法，以從圖像中解決3D人體網格恢復的問題。我們的主要哲學是將人的點基表示與它們的邊界框表示相結合。我們展示了，令人驚訝的是，這種簡單的集成能夠維持自己，即使在具有挑戰性的多人遮擋的情境中也能夠取得令人印象深刻的結果。 第三部分：真實的3D多人數據集。雖然在第一部分中，我們調查了用于3D的合成數據的使用，但第三部分將焦點轉向真實的多人數據。在第6章中，我們設計了一個適合野外設置的無標記捕獲系統，以記錄多人活動，重點是動態活動，如體育和舞蹈。同時，我們引入了一個半自動的注釋流程，以減少人為監督地生成大規模的3D注釋，如人體姿態和網格。此外，為了捕獲帶有移動相機的3D場景，我們利用了主題的自中心視圖，并為這一具有挑戰性的視圖提供了注釋。然后第7章深入探討，重點是多人互動，代表了人與人之間的擴展接觸，包括摔跤、擁抱和舞蹈等活動。利用我們之前的方法，我們引入了一個增強的注釋協議，旨在充分處理這些活動中固有的遮擋。總之，第6章和第7章中詳細描述的努力共同為建立兩個全面的多人3D數據集作出了貢獻。 然而，為了開發更大的數據集和高效且普遍的3D多人方法，還有更多的工作要做。第8章通過討論這一領域未來工作的具體方向來結束，包括短期和長期的方向。

隨著全球可持續性挑戰的加劇，對創新的、跨學科的解決方案的需求正在激增，這些解決方案能夠利用多種數據來源和分析方法。我們研究了如何結合運籌學和人工智能，通過開發可適應的、普遍適用的框架來解決緊迫的可持續性和醫療保健問題。本論文深入研究了通過同時使用不同的數據類型（如表格、圖像、時間序列和自由文本）來實現的多模態性。我們制定了可以應用于各種任務的多功能方法，從熱帶氣旋預測和生物多樣性跟蹤到醫療保健運營，只需進行最小的適應。

我們模仿人類理解和連接不同數據類型的能力，將人工智能和優化結合到數據驅動的策略中。我們的貢獻包括開發了可泛化的數據預處理、特征提取和數據融合管道，以便在復雜的實際場景中進行大規模的多模態數據處理。值得注意的是，我們的熱帶氣旋預測模型的性能與美國國家颶風中心的頂級模型在24小時強度和軌跡預測上相當。此外，我們構建了連接運籌學和人工智能的預測到規定的數據驅動框架。為了支持多模態性，我們引入了確保在關鍵情況下模型的可靠性和性能的創新工具。我們探索了自適應的健壯集成建模，以增強在不確定性下的計劃和決策制定。

我們的預測和規定模型已在工廠、博物館和醫院中有效地實施，以解決可持續性和公共衛生問題，包括空氣污染管理、生態系統保護和罕見腫瘤分割。我們的污染管理模型在摩洛哥最大的化學工業廠OCP Safi Site顯著地減少了有害排放，同時減少了不必要的成本。此外，我們的腫瘤分割模型與醫學醫生的專業知識相匹配，同時提供了大量的時間節省。

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

盡管神經網絡在各種應用中的高度公開化的成就備受矚目，但它們尚未在安全關鍵的應用中得到廣泛部署。實際上，關于深度學習系統的魯棒性、公平性、隱私性和可解釋性存在基本的疑慮。在這篇論文中，我們致力于通過提出有關神經網絡驗證和訓練的貢獻，提高對深度學習系統的信任。首先，通過為流行的網絡松弛設計雙重求解器，我們提供了快速且可擴展的神經網絡輸出邊界。具體來說，我們提出了兩種求解元素激活函數凸殼的求解器，以及基于ReLU激活與前線性層組合凸殼的兩種算法。我們展示了這些方法比現有求解器明顯快，并且改善了以往雙重算法的速度-精度權衡。為了有效地利用它們進行正式的神經網絡驗證，我們圍繞邊界算法設計了一個大規模并行的分枝定界框架。我們的貢獻，作為OVAL驗證框架的一部分，已經公開發布，它們改善了現有網絡驗證器的可擴展性，并對更近期的算法開發產生了影響。其次，我們提出了一種直觀且經濟的算法，通過分枝定界來訓練神經網絡以進行可驗證性。我們的方法被證明可以在驗證對小的敵對性擾動的魯棒性方面達到最先進的性能，同時比之前的算法降低了訓練成本。最后，我們進行了全面的實驗評估，評估了一次訓練網絡執行多個任務的專門訓練方案，顯示它們與簡單基線的性能相當。我們對我們的驚人結果提供了部分解釋，旨在進一步激發對深度多任務學習理解的研究。

在過去的幾年里，神經網絡在各種備受關注的應用中取得了顯著的性能，從蛋白質折疊（Senior等人，2020；Jumper等人，2021）到快速矩陣乘法（Fawzi等人，2022）。由于這些成就的宣傳，基于神經網絡的系統現在常常出現在主流信息媒體中（Geddes，2022；Larousserie，2022；Iannaccone，2022），這導致了媒體曝光率的持續增加。直接的結果是，人們對機器學習算法的可信度產生了極大的興趣（Varshney，2022）。特別的，人們的努力已經朝著確保神經網絡的公平性（Du等人，2020），可解釋性（Angelov和Soares，2020），魯棒性（Carlini和Wagner，2017）和隱私性（Abadi等人，2016）方向發展。深度學習在計算機視覺方面的進展（Krizhevsky等人，2012；Voulodimos等人，2018）尤其迅速，其中已經在標準化任務上取得了超過人類的性能（O’Mahony等人，2019）。然而，對敵對性例子的發現（Szegedy等人，2014；Goodfellow等人，2015），即人類無法察覺的擾動可以顯著改變網絡預測，對這種進步的基礎產生了嚴重的質疑。因此，越來越多的注意力開始致力于提供關于神經網絡行為的正式保證（Liu等人，2021b）。此外，人們注意到深度學習的實踐常常基于民間觀察和固定的流程，而不是對正在使用的復雜算法的嚴謹理解（Sculley等人，2018；Hutson，2018）。幸運的是，有許多工作試圖提供對預先存在的算法的全面評估（Greff等人，2017；Lucic等人，2018），常常揭示了更簡單基線的競爭性能（Brockschmidt，2020；Narang等人，2021）。 在這篇論文中，我們通過開發或為神經網絡驗證和訓練的高效算法提供支持，向可信任的深度學習邁進一步。在概述這篇論文中提出的各項貢獻（§1.4）之前，我們現在將介紹神經網絡驗證（§1.2）以及我們感興趣的背景下的神經網絡訓練（§1.3）。

機器學習模型在面對分布變化時很脆弱，這使得它們在現實世界的部署中很難依賴。這促使開發方法，使我們能夠檢測和減輕這種模型的脆弱性，以及驗證我們的模型確實滿足期望的魯棒性保證。本文提出了一套工具，幫助我們檢測模型漏洞和偏差。該集合包括一套新的數據集，使我們能夠更細粒度地了解模型對背景的依賴。另一方面，它涉及3DB，一個利用逼真模擬的框架，以探測模型對更多樣化分布變化的脆弱性。除了識別這些漏洞外，還討論了可以使模型對分布變化更魯棒的干預措施，包括使用更多的訓練數據。正如所證明的，不加區分地使用更多的輔助數據并不總是有益的，因此提出了數據集投影，一種選擇要使用的"正確"輔助數據的方法。展示了如何有效和形式化地驗證所提出模型對研究最充分的分布漂移類型之一是魯棒的:逐像素對抗性擾動。

在過去的十年里，深度學習取得了巨大的成功，但在權值更新和訓練樣本數量方面，實際有用的深度模型的訓練仍然非常低效。為了解決這些問題的一個方面，本文研究了持續學習設置，該模型利用一系列的任務，利用之前的知識來快速學習新任務。持續學習的主要挑戰是，在為新任務更新模型時，避免模型災難性地忘記之前的信息。

//ora.ox.ac.uk/objects/uuid:7a3e5c33-864f-4cfe-8b80-e85cbf651946

為此，本文首先提出了一種持續學習算法，通過正則化兩個連續任務的條件似然之間的kl -散度來保留之前的知識。結果表明，這種正則化對網絡權值施加了二次懲罰，該懲罰基于上一個任務的最小曲率。其次，本文提出了一種更有效的持續學習算法，利用對過去任務的情景記憶作為約束，這樣當對新任務進行權重更新時，情景記憶的損失不會增加。結果表明，使用情景記憶約束目標比正則化網絡參數更有效。此外，為了提高學習新任務的速度，提出了使用組合任務描述符的聯合嵌入模型，大大提高了正向遷移。基于情景記憶的持續學習目標通過直接在損失函數中使用記憶來簡化。盡管它傾向于記憶出現在微小情景記憶中的數據，結果算法顯示出比使用記憶作為約束的算法更好的泛化。分析認為，這種驚人的概化是由于新任務數據帶來的正則化效應。然后利用該算法對合成數據和真實數據進行持續學習。為此，提出了一種方法，通過優化重放緩沖區上的事后遺忘損失，為每個任務生成合成數據點。設計了一個嵌套的持續學習優化目標，有效地利用這些綜合點來減少基于記憶的持續學習方法的遺忘。最后，本文提出了一種持續學習算法，在不重疊的特征子空間中學習不同的任務。通過保持不同任務的子空間相互正交來最小化重疊，可以減少這些任務表示之間的干擾。

由于醫療數據的多樣性和數據收集和注釋的費用高昂，數據不足和異質性是表示學習在醫學機器學習中的挑戰。為了從如此有限和異構的醫療數據中學習可泛化的表示，我們的目標是利用各種學習范式來克服這個問題。在本文中，我們系統地探索了有限數據、數據不平衡和異構數據的機器學習框架，使用跨領域學習、自我監督學習、對比學習、元學習、多任務學習和魯棒學習。我們提出了不同醫療應用的研究，如臨床語言翻譯、超聲圖像分類和分割、醫學圖像檢索、皮膚診斷分類、病理元數據預測和肺部病理預測。

//dspace.mit.edu/handle/1721.1/144745

我們首先關注有限的數據問題，這在醫學領域很常見。我們利用具有相同錨點的無監督嵌入空間對齊方法，在有限且不配對的醫學語料庫中學習臨床語言翻譯的跨領域表示，并使用統計語言建模進行句子翻譯。使用臨床正確性和可讀性的指標，開發的方法在單詞和句子級別的翻譯中優于基于詞典的算法。為了更好地學習有限數量的超聲圖像的數據表示，我們隨后采用了自我監督學習技術，并將相應的元數據作為多模態資源集成，以引入歸納偏差。我們發現，與標準遷移學習方法相比，通過開發的方法學習的表示可以獲得更好的下游任務性能，如超聲圖像質量分類和器官分割。

接下來，我們放大數據不平衡問題。本文探索了對比學習的用途，特別是孿生網絡，從不平衡的眼底成像數據集中學習表示，用于糖尿病視網膜病變圖像檢索。與標準的監督學習設置相比，我們使用從Siamese網絡學習的表示獲得了可比較但可解釋的結果。我們還利用極不平衡的長尾皮膚圖像數據集進行皮膚病分類的元學習。我們發現，使用元學習模型和使用常規類不平衡技術訓練的模型集成可以產生更好的預測性能，特別是對于罕見的皮膚病。

最后，針對異構醫療數據，我們開發了一個多模態多任務學習框架來學習病理元數據預測的共享表示。我們利用多模態融合技術集成幻燈片圖像、自由文本和結構化元數據，并采用多任務目標損失來引入學習時的歸納偏差。這比標準的單模態單任務訓練設置產生更好的預測能力。我們還應用魯棒訓練技術來學習可以解決兩個胸部x射線數據集分布轉移的表示。與標準訓練相比，我們發現當存在偏移時，魯棒訓練提供了更好的容忍度，并學習了肺病理預測的魯棒表示。本文的研究并不詳盡，但對在有限和異構的醫療數據設置下利用機器學習幫助臨床決策進行了廣泛的了解。我們還提供了見解和警告，以激發利用低資源和高維醫療數據的機器學習的未來研究方向，并希望對現實世界的臨床產生積極的影響。

大規模的神經語言模型在自然語言生成方面取得了令人印象深刻的進展。然而，典型的模型以一種從左到右的、不受約束的方式運行，對生成的內容的控制有限。本文探討了柔性序列模型和弱監督方法來執行各種控制生成任務。我們預計這些技術將廣泛應用于其他領域，如圖像、分子和生物序列的生成。

我們首先介紹了一類稱為空白語言模型(BLMs)的序列模型，它通過動態創建和填充空白來生成序列。給定帶有一個或多個空格的部分指定文本，BLM將使用與上下文一致的可變數量的標記來填充這些空格。我們的模型非常適合各種文本編輯和重寫任務，并在文本填充、古代文本恢復和情感遷移方面證明了有效性。

接下來，我們研究文本自動編碼器及其通過潛在空間操作控制生成的用途。我們建立了一個理論，如何塑造一個有意義的潛在空間幾何離散文本數據。在此基礎上，我們開發了一系列去噪文本自動編碼器，通過簡單的矢量算法展示了屬性修改(例如，時態，情感等)的潛力。

最后兩章討論了在沒有監督數據的情況下的語言風格遷移。我們首先將非并行風格遷移的任務形式化，并討論學習問題的可行性。我們提出了一種利用潛在表示的分布對齊來執行樣式傳輸的方法。然后，我們研究了混雜因素，并表明通過將數據分為兩組不同的風格，每組中的集合說明了我們不希望改變的變化，我們可以利用不變性來隔離混雜因素，并向所需的方向轉移文本。

//dspace.mit.edu/handle/1721.1/144561

深度學習(Deep learning, DL)已經成為現代人工智能中最成功和被廣泛采用的方法之一。與這些成功相伴而來的是越來越復雜和昂貴的架構設計，其基礎是一個核心概念:層。本文對層次的這一基本作用提出了挑戰，并深入介紹了一種新的、無層次的深度學習范式，將輸出計算為動態系統的不動點:深度均衡(DEQ)模型。

首先，我們介紹深度均衡模型的一般公式。我們討論了這些模型如何表達“無限級”的神經網絡，向前和向后解耦傳遞，但與傳統層的成本和設計復雜性-即使在一些最具競爭力的設置(例如，語言建模，語義分割等)。

其次，我們進一步討論了這種均衡方式帶來的挑戰和機遇。我們表明，DEQ公式揭示了深度學習的許多新特性，這些特性長期以來被傳統的層-堆疊方案所掩蓋。利用它們，我們可以訓練和部署這些新的輕量級均衡算法，大大補充了深度學習的現有發展，并使我們能夠在最先進的水平上改善多個現有結果(例如，光流估計)。

DEQ方法已經在理論和實證兩方面引領了社區內隱深度學習的新研究領域(例如，NeurIPS 2020教程)。因此，我們通過討論未來的工作如何進一步利用這一平衡視角來構建更可擴展、高效和準確的下一代DL算法，包括科學計算，這通常是復雜的、高維動力系統的解決方案。