亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人類智能的一個重要方面是能夠從簡單的想法中組合出越來越復雜的概念，從而實現快速學習和知識的適應。盡管目前的AI系統表現出色，但在這一領域卻有所欠缺，通常無法解決超出其訓練分布范圍的任務。本論文的工作旨在通過將組合性納入深度神經網絡來彌補這一差距，從而增強它們解決新穎和復雜任務的能力，例如根據復雜的規范生成2D圖像和3D資產，或使仿人代理執行多種家庭活動。這篇論文的影響深遠，因為組合性在生物學、機器人技術和藝術制作等領域有眾多應用。通過顯著提高AI系統的組合性能力，這項研究將為不同研究領域中更高效的數據和更強大的模型鋪平道路。

"組合性是現代AI系統所缺少的人類智能的一個關鍵方面。構建概念的能力：結合模式、思想和子目標來構建對世界的結構化表示，然后通過操縱個別組成部分來推理世界，體現在關鍵的認知能力中。人類可以將個別觀察結果融入復雜的知識和信念結構中，對復雜計劃進行小范圍的針對性調整，想象基本情景的替代方案，并創造出受現有作品啟發的新技術或藝術。此類組合能力在AI系統中基本上尚未實現，但實現這一點可能是解鎖主要AI能力（如持續學習、可控和穩健行為、高級規劃、反事實推理和更強大的泛化）的關鍵之一。 本論文專注于開發表現出組合能力的神經網絡，以解決廣泛的任務，如圖像生成、問題回答、數學推理、機器人操控和體現決策。目標是使網絡能夠解決在訓練過程中未曝露的概念、目標或技能組合的任務。 我們對組合AI的研究涵蓋以下兩個軸心：先驗知識和組合結構。先驗知識描述了模型在培訓過程中學習的基本概念和能力集合。在大量數據上訓練的大型深度學習模型[131, 125, 13]包含豐富的先驗知識，但它們缺乏實現組合性的另一個關鍵組成部分——組合結構。為了構建組合結構，我們提出了組合算子來組合基本概念。將組合算子應用于預訓練模型，使我們能夠顯著提高AI系統的組合生成能力。

本論文的前兩部分介紹了如何構建組合結構。第一部分：構思概念和目標：我們開發了可以組合概念或目標以產生高度可控和復雜、細致行為的神經網絡。第二部分：模型組合：我們組合來自不同領域的預訓練模型，以在沒有任何訓練或微調的情況下產生強大的跨模態能力。在第三部分：轉移組合性中，我們介紹了如何通過從預訓練模型轉移知識來以數據高效的方式實現先驗知識。"

生成型人工智能是一個快速發展和不斷擴大的領域。隨著研究領域轉向構建大型基礎模型和強大的架構，我們必須仔細考慮如何將這些模型適應到新的領域和任務中。本論文的工作展示了將大型生成模型和架構適應于特定應用的新方法，如虛擬試穿、概念藝術和領域特定圖像分類。除了技術貢獻外，本論文還探討了關于領域特定生成模型的更廣泛的開放性問題；例如，我們如何仔細構建訓練數據以減少偏見？實踐中創意生成型人工智能的人在循環方法是什么樣的？大型視覺-語言模型在傳統的僅圖像任務中有多大用處？

生成式人工智能是一個快速發展的研究領域，涉及生成未見過的圖像和文本。最近，圖像生成 [88, 92, 95]、文本生成 [11, 22, 80]、圖像字幕 [107, 118] 和視覺-語言表示學習 [85] 領域的模型和架構有了許多發展。這些模型即使在研究社區之外也產生了巨大影響。例如，人工智能生成的圖像已經贏得了攝影獎項，1 在佳士得拍賣中售價高達數十萬美元，2 并被作為雜志封面特色。3 例如ChatGPT [11, 80]等語言模型，已經影響了從教育到法律的各個領域。近年來，社會被生成式人工智能大大影響，但生成模型已經存在一段時間了。過去，生成對抗網絡 [35] 和變分自編碼器 [57, 58] 可以在特定領域的數據集上進行訓練，生成該領域的新圖像。近年來，生成模型的規模有了前所未有的增長。這些模型在生成高質量圖像（圖1.1）和文本方面表現出色，但它們需要大量數據和計算才能訓練。因此，這些模型的開發和訓練變得越來越不可行。一個重要的挑戰是學習如何將這些大規模預訓練模型和數據密集型架構適應于與原始意圖不同的新領域。常見的方法是在新領域的數據上微調預訓練模型。然而，當數據稀缺、訓練數據與微調數據之間存在較大領域差距，或者領域需要特定用戶輸入和對輸出的控制時，微調的有效性就受到了限制。本論文提供了如何將這些強大的大規模模型應用于新數據或任務的見解，并展示了視覺-語言模型如何彌合強大的大型語言模型和視覺任務之間的差距。此外，它還提供了在特定領域任務中使用較小、更專業模型的示例。 除了技術挑戰之外，生成模型對社會的日益影響還引發了一系列需要計算機科學研究人員仔細考慮的倫理問題。例如，藝術領域新興的生成技術引發了關于版權、所有權以及我們如何定義真正創造力的討論。更廣泛地說，人們越來越擔心訓練數據中的社會偏見被生成模型在它們創造的輸出中持續傳播。本論文的目標是在我們的技術貢獻旁提供對生成式人工智能這些更廣泛社會問題的見解。在以下小節中，我們概述了每個論文章節中的技術和社會問題。

在過去的十年里，深度學習取得了令人興奮的進展。隨著大型基礎模型的不斷發展和在現實生活中的應用，一個重要的問題是，我們如何使這些昂貴、難以解讀的模型更加高效和可靠。在這篇論文中，我們提出了一系列基于共形預測的基本技術來構建和部署有效的深度學習系統。共形預測是一種模型不可知且無分布的不確定性估計框架。我們開發了理論和實踐，利用不確定性估計來構建適應性模型，這些模型運行成本更低，具有理想的性能保證，且通用性足以在許多現實世界場景中表現良好。在實證研究中，我們主要關注自然語言處理（NLP）應用，同時對計算機視覺、藥物發現和醫學領域的任務進行了大量拓展。

近年來，深度學習方法的穩步進展已導致在自然語言處理（Devlin et al., 2019; Brown et al., 2020; Schulman et al., 2023）、計算機視覺（He et al., 2015; Dosovitskiy et al., 2021）、計算化學（Jumper et al., 2021）以及預測醫學（Yala et al., 2021; Mikhael et al., 2023）等領域廣泛且有時是革命性的突破。這一進展的重要部分可以歸因于規模：在前所未有的數據量上訓練的大型基礎模型改變了許多預測任務的建模和解決方式。同時，隨著這些模型開始滲透到現實生活應用中，新的挑戰開始出現。特別是，最優秀的現代模型的巨大計算占用使得運行成本高昂，甚至這些最好的模型在部署期間也不可避免地會犯下有害的錯誤。 在這篇論文中，我們基于共形預測開發了嚴格的統計工具，以幫助解決這些相互關聯的挑戰的多個方面。共形預測（Vovk et al., 2005）是一個日益受到機器學習社區歡迎的不確定性估計框架，因其有利的模型不可知、無分布、有限樣本保證而受到青睞。我們在共形預測的基礎上提出了幾項基本的理論和實證進步，幫助用戶安全地使用在真實世界中出現的困難但常見情況下部署的模型。同時，我們還展示了如何利用這些不確定性估計技術通過采取相反的方法來做出更高效的預測：對于簡單的輸入，采用不那么保守的方式，并選擇使用更便宜、更簡單的函數來做出預測——但仍確保對模型整體性能的任何降級都嚴格限制在一定范圍內。

在大型神經網絡中的高效計算如變壓器（Transformers，Vaswani et al., 2017b）等大型多層神經網絡已成為解決自然語言處理等任務的事實標準方法。然而，盡管它們表現出色，但它們通常巨大的計算負擔使得運行成本高昂。關于它們效率的擔憂引發了該領域的大量研究（Schwartz et al., 2020a）。使模型更高效通常不是免費的：加速推斷的簡單技術可能會導致對依賴維度的不可預測打擊，如模型準確性，特別是在更難、少數群體子集的最壞情況下。然而，一個關鍵的洞察是，這種退化可以從輸入到輸入變化——并非所有示例都需要相同的計算量（例如，可以使用簡單函數來推斷它們的標簽）。我們開發了允許神經網絡中根據輸入示例的復雜性進行自適應計算的技術，并提供了精確的概率上界，用于可能遭受的誤差增加。

嚴謹的、通用目的的不確定性估計使模型更高效運行使它們能夠在計算限制可能是限制因素的實際場景中更廣泛地部署。然而，隨著模型在現實世界中的更廣泛部署，它們有可能犯下昂貴的錯誤。大多數現代系統輸出單一預測——無論是實值、標簽、自由形式生成的文本、結構化對象還是其他響應變量。然而，對于許多應用程序，用有意義的不確定性估計來豐富這種預測也至關重要（Amodei et al., 2016; Jiang et al., 2012, 2018; Rajpurkar et al.,2018）。在敏感的高風險應用中（如醫學應用），顯示置信度指標（實際反映模型是否可能正確或錯誤）與獲得高準確性一樣重要。不確定性估計也在用戶無法輕易驗證答案本身并必須盲目信任時相關。例如，大多數機器翻譯系統用戶無法知道特定翻譯是否準確。可靠的不確定性估計可以緩解這些錯誤的一些負面后果。一個意識到自己不確定性的模型可以用來（1）告訴用戶它有多確信某個概率，（2）說它確信正確答案是幾個選項之一，或者（3）完全放棄預測，以轉而依賴于不同的模型或人類。在這篇論文中，我們探索了這些方向的幾個，并在共形預測的基礎上建立了用于校準具有可證明性能保證的集合值不確定性估計的額外重要基礎。具體而言，我們提出了對共形預測的擴展，這些擴展可以可證明地控制各種類型的風險，更適合于具有非唯一答案的大標簽空間，適用于具有有限校準數據的少數鏡頭設置進行驗證，以及在具有約束的實際問題中應用時通常更有用。

機器學習領域見證了對從未整理數據中學習的日益濃厚的興趣，這涉及從未經精心整理或標記的數據中訓練模型。然而，這種類型的數據通常嘈雜、不完整，并充斥著錯誤，使得機器學習算法難以有效學習。本論文關注于開發能夠有效利用未整理數據同時對數據中固有的噪聲和錯誤具有韌性的強健學習方法。具體來說，我們調查了對比學習的韌性，這是一種通過比較語義上相似和不同的樣本對的自監督表示學習的突出技術。 首先，我們深入探討了從未標記數據中學習所固有的基本挑戰。我們發現，消除假陰性和鼓勵困難的負面案例顯著提高了下游性能和訓練效率。隨后，我們將焦點轉移到數據集內無處不在的噪聲。我們特別關注于假陽性對的出現，這是多模態對比學習環境中特別普遍的現象。

在我們研究的最后部分，我們思考了從大規模模型中有效地消除偏見。觀察到，當模型在有偏見的未整理數據上進行預訓練時，它們通常會繼承許多不適當的偏見，從而導致傾斜的預測。為了糾正這一點，我們設計了一種獨立于任何數據或訓練要求的去偏算法。

貫穿整篇論文的共同線索是對未標記、嘈雜和有偏見數據分別所關聯的獨特錯誤類型的韌性和全面的緩解方法，為機器學習研究領域提供了實質性的貢獻。

近年來，機器學習取得了顯著進展，尤其是在使用標記數據訓練模型的監督學習領域。然而，獲取大量標記數據可能是一個成本高昂且耗時的過程，這促使越來越多的人對從未整理數據中學習產生了興趣。 未整理數據指的是那些未經仔細整理或標記的數據，這些數據通常包含噪音，不完整且包含錯誤。從這類數據中學習對機器學習算法來說是一個重大挑戰，因為它們必須能夠有效利用可用信息，同時對固有的噪聲和錯誤具有韌性。本論文關注于以下基本目標：能夠從未整理數據中學習的強健學習算法。 為了實現這一目標，我分析了對比學習，這是一種通過比較語義上相似和不同的樣本對來進行自監督表示學習的突出技術[24, 81, 147]。傳統上，監督學習一直是人工智能（AI）進步的基石，依賴大量的標記數據來訓練模型。然而，收集和標記如此大量的數據可能既昂貴又耗時。此外，在現實世界的應用中，標記數據往往稀缺甚至無法獲得。為了克服這些障礙，研究人員轉向使用無標記數據的無監督和自監督學習技術來訓練模型。然而，這些技術在性能上通常落后于監督方法，主要是因為定義引導模型走向有用表示的目標很困難。 對比學習就在這里發揮了作用。通過設定目標，將語義上相似（正面）和不同（負面）的數據點對在學習到的特征空間中拉近或推遠，對比學習提供了一種從無標記數據構建有用且富有信息的表示的方法。對比學習在包括計算機視覺、自然語言處理、圖表示學習和強化學習等多個領域的能力已被證明，實現了許多基準測試中的最先進性能。

本論文解決了上述瓶頸問題，分為三個部分：第一部分：從未標記數據中學習，第二部分：從嘈雜數據中學習，第三部分：從有偏見的數據中學習。

在第一部分，我解決了負樣本的兩個關鍵問題：假負樣本和困難負樣本。我們首先在第2章提供問題形式化和對比學習的背景。在第3章中，基于Chuang等人的研究[36]，我用一種新的對比損失解決了假負樣本的問題。然后在第4章，基于Robinson等人的研究[163]，我們通過重要性采樣估計擴展了提出的損失，包括困難負樣本采樣。

在第二部分，我將揭示假陽性樣本的問題，特別是在多模態環境中，并開發針對它的強健損失函數。在第5章中，基于Chuang等人的研究[39]，我將對比學習與二元分類聯系起來，并為對比損失開發強健的損失函數。第6章提供了所提出損失的理論基礎，即Wasserstein互信息的變分下界。

在第三部分，我將討論如何消除大規模基礎模型中的偏見，基于Chuang等人的研究[40]。第7章概述了基礎模型的興起，并提出了一種去偏算法，以高效地消除視覺-語言基礎模型的偏見。 第8章建立了表示學習與泛化理論之間的聯系，使用邊界界限，從而為對比學習提供了理論驗證。作為結語，第9章總結了本論文，并進行了一些討論。

深度生成模型（DGM）將深度神經網絡與生成模型結合，以學習感興趣數據的底層生成機制。這已經成為從數據中提取知識的重要方法，適用于機器學習和人工智能。然而，盡管具有潛在的潛力，學習和應用DGM在不同領域中仍然存在許多挑戰。因此，本論文的重點是理解、改進和應用不同的深度生成模型。

首先，我們介紹了不同DGM的基本原理，包括變分自動編碼器（VAE）、基于流的模型、生成對抗網絡（GAN）和基于能量的模型（EBM）。我們還提出了VAE的新對應物：變分潛在優化（VLO），它不需要編碼器結構。此外，我們提供了一種新的角度來理解EBM的生成過程，建立了EBM和GAN之間的聯系，并設計了一種新方法來提高EBM樣本質量。

接下來，我們提出了兩種混合型DGM，以改善當前模型的生成質量。首先，我們將基于流的模型和變分自動編碼器結合，以提高基于自動編碼器的生成模型的生成質量。其次，我們借鑒了指數傾斜的思想，將基于能量的模型與其他基于似然性的生成模型相結合，以獲得更好的樣本。

最后，我們進行了與現代深度生成模型相關的各種應用，包括將生成模型用作基于似然性方法的離群分布（OOD）檢測，并設計了可控的人臉生成模型。我們提出了一種新的OOD檢測分數，稱為似然性遺憾，以幫助使用VAE檢測OOD樣本。此外，我們建議在當前基于關鍵點的人臉重演模型中添加新結構，并將其與3D可變模型相結合，以提高其生成質量和泛化能力。

潛在變量模型假設某些潛在變量在觀測數據中缺失，這種模型已經被長期研究，并在實踐中找到了眾多應用。使用潛在變量的機器學習不僅可以提高預測的準確性，而且在增強數據的可解釋性以及發現數據背后的原理上起到了關鍵作用。本論文致力于為各種潛在變量模型的學習開發高效和可證明的算法。第一和第二個主題涉及使用無標簽樣本學習混合模型，這是一種對異質和復雜數據進行建模的強大技術。考慮了兩種具體設置：(1) 低秩模型的混合，將低復雜性的結構先驗整合到高維的混合線性回歸中；(2) 線性動態系統的混合，由于時間序列數據之間的時間依賴性，模型估計尤為具有挑戰性。對于這兩個問題，我們設計了有原則的和模塊化的算法，并正式導出了可靠模型估計所需的樣本復雜度。此外，實證證據證實，我們的方法有潛力推廣到更廣泛的設置，超出我們的理論研究所涵蓋的范圍。第三個主題涉及根據邊緣上的成對比較對一組項目進行排名，這些項目構成了一個連接圖。我們關注經典的Bradley-Terry-Luce模型，該模型假設成對比較的噪聲測量是基于項目的某些未知潛在分數生成的。在關注潛在得分估計的前提下，我們首先導出了在一般圖形拓撲下最大似然估計的接近最優的逐項錯誤，這是通過觀察統計估計和迭代優化算法之間的關聯來證明的。此外，我們開始研究具有局部性的圖形中的排名，這在實踐中由于物理約束而出現；我們的貢獻包括(1)確定局部性不受影響的條件，以及(2)設計新穎的分而治之算法，即使在最小的樣本復雜度下也能保證達到接近最優的錯誤，同時享有某些計算優勢。

機器學習領域，特別是深度學習，由于算法、計算能力和數據集的改進，近年來取得了巨大進步。為支持深度學習而構建的系統主要針對用于生成學習模型的計算。 本論文提出改為關注數據在訓練和驗證中的作用。在論文的第一部分，我們關注訓練數據，展示了負責訓練數據的數據管道是性能考慮的首要目標。為了解決性能問題，我們引入了一種在數據轉換空間中進行數據子采樣的方式，一種降低精度的輸入/輸出格式，以及一個自動調整數據管道性能參數的系統。在論文的第二部分，由于日益增長和表達能力增強的模型的趨勢，我們轉向驗證環境，開發了一個系統，可以使用標準正則表達式自動查詢和驗證大型語言模型的行為。我們以機器學習的數據系統領域的未來工作作為結論。在過去的十年里，機器學習（ML）在應用方面經歷了迅猛的增長。這個領域關注的是隨著數據或經驗而改進的算法[201]，已經從一系列專業化的應用（例如，廣告[195]，推薦系統[60, 106, 213]，垃圾郵件檢測[316]）演變為應用于幾乎所有技術領域。例如，深度學習應用于游戲玩法[261, 286]，蛋白質折疊[143]，機器人學[80]，一系列自然語言處理任務[43, 55]，并且預計將達到一種無處不在的程度，可能導致重大的經濟顛覆[87]。在這場革命的最前沿是深度學習子領域[108, 173]。深度學習使用多層結構 - 數學操作 - 來構建模型。這些層被聯合學習，以便早期層簡化后續層面臨的任務。雖然深度網絡在理論上可能不如其他機器學習或人工智能方法那么被理解，但它們已經表明，盡管在計算上開銷巨大但通用的方法最終會主導利用額外專業化的算法[268]。這種在計算上開銷巨大但通用的方法已經受益于像摩爾定律[209]這樣的趨勢 - 硬件性能的指數級增長 - 以及硬件和軟件的專業化[165, 275]。如今眾多的深度學習軟件使深度學習或許比其他替代方案更易于獲取 - 只需獲得通常是開源且隨時可用的模型規范代碼，就可以訓練最先進的模型。深度學習技術的核心已經被商品化和民主化，使任何人都可以受益于人類多年的研究和開發。

然而，盡管使用深度學習的常規方面變得更加容易，但仍然存在一些基本問題有待解決，并影響許多應用的下游性能。對這些問題（及其相應解決方案）進行分類的一種方法是將它們分為三個領域：1）機器學習算法，2）計算能力，和3）數據。這三個領域的每一個都已經經過優化以持續推動該領域的進步，并且被列為導致深度學習興起的關鍵因素[35]。例如，缺乏訓練數據和計算能力被歸因為深度網絡在2000年初的衰退[35]。直到大約十年后，這些因素的缺乏才得以彌補，當時在2012年ImageNet大規模視覺識別挑戰（ILSVRC）比賽中取得了創紀錄的表現[71]。獲勝的提交，AlexNet[156]，是一個深度卷積神經網絡（CNN），并且在圖形處理單元（GPU）的幫助下接受了一百萬張圖像的訓練。機器學習算法也有所進步，使學習更加高效。例如，ReLU激活和dropout是2012年提交[156, 173]的關鍵算法組件，是廣泛用于加速學習的數學操作。當這些進步結合起來時，由此產生的模型以絕對誤差超過了僅次于其的提交，開始了計算機視覺的革命[173]。今天在自然語言處理方面的最新趨勢可以類似地視為核心算法創新[285]，并擴展到大量數據和計算[43, 55]，從而導致性能的可預測提升。在民主化機器學習的最前沿是機器學習系統[239]。這些系統包含并解決機器學習方法中足夠公式化的部分，使從業者能夠將時間集中在其他問題上。如果機器學習算法，計算能力和數據是支撐現代機器學習的支柱，那么機器學習系統就是用來將它們置于適當位置的工具。如今的系統包括用于數學表達式符號操作的功能，跨各種硬件平臺的可移植性，分布式執行，以及與常用實用程序和數學表達式一起預先打包的庫[11, 49, 96, 222]。

作為這篇論文的一部分，我們探討了現代機器學習技術棧中新功能或修訂功能的幾個方向，重點關注整個技術棧中數據的處理。研究數據很重要，因為在三個問題領域中，數據是最具動態性的 — 數據總是可以進一步優化以涵蓋更多樣本、更多特征或某些類型的行為，而模型（和計算）在處理某種類型的數據時必然是固定的。此外，對數據的優化可能導致應用程序的顯著增益，從而刺激數據為中心的AI研究[3]。然而，這并非輕而易舉，改變數據容易說難做。由于缺乏理論理解，對于任何新類型的機器學習任務，從業者可能必須測試哪種數據組合效果最好。如果沒有適當的數據抽象，任務中的單一變化可能導致從業者必須手動評估和調整應用程序數據的特征。調整數據的方面不僅是單調乏味的，而且根據數據評估模型以及系統性能的行為需要機器學習和系統的專業知識，而這些專業知識通常是由不同群體的人擁有的。如果機器學習系統的目標是支持從業者解決重復問題，那么可以合理地期望機器學習系統能夠使數據的快速配置和原型制作成為可能。簡而言之，數據管道應該是機器學習系統棧中的一等公民 - 它們不應該是作為附加工具支持模型和計算的事后考慮。本章其余部分的組織結構如下。首先，我們概述機器學習系統是如何構建和評估的（§1.1）。然后，我們概述機器學習中的工作負載是如何發生根本性變化的，這使得社區分裂成兩個部分（§1.2），并激勵對機器學習系統進行根本不同的處理。然后我們轉向論文的動機，重新審視數據在當前機器學習環境中的重要性（§1.3）。最后，我們介紹論文陳述并概述本文的章節（§1.4）。熟悉當前機器學習和機器學習系統狀態的讀者可以跳過第1.1節和第1.2節的“教科書材料”，并直接前往第1.3節。

由于醫療數據的多樣性和數據收集和注釋的費用高昂，數據不足和異質性是表示學習在醫學機器學習中的挑戰。為了從如此有限和異構的醫療數據中學習可泛化的表示，我們的目標是利用各種學習范式來克服這個問題。在本文中，我們系統地探索了有限數據、數據不平衡和異構數據的機器學習框架，使用跨領域學習、自我監督學習、對比學習、元學習、多任務學習和魯棒學習。我們提出了不同醫療應用的研究，如臨床語言翻譯、超聲圖像分類和分割、醫學圖像檢索、皮膚診斷分類、病理元數據預測和肺部病理預測。

//dspace.mit.edu/handle/1721.1/144745

我們首先關注有限的數據問題，這在醫學領域很常見。我們利用具有相同錨點的無監督嵌入空間對齊方法，在有限且不配對的醫學語料庫中學習臨床語言翻譯的跨領域表示，并使用統計語言建模進行句子翻譯。使用臨床正確性和可讀性的指標，開發的方法在單詞和句子級別的翻譯中優于基于詞典的算法。為了更好地學習有限數量的超聲圖像的數據表示，我們隨后采用了自我監督學習技術，并將相應的元數據作為多模態資源集成，以引入歸納偏差。我們發現，與標準遷移學習方法相比，通過開發的方法學習的表示可以獲得更好的下游任務性能，如超聲圖像質量分類和器官分割。

接下來，我們放大數據不平衡問題。本文探索了對比學習的用途，特別是孿生網絡，從不平衡的眼底成像數據集中學習表示，用于糖尿病視網膜病變圖像檢索。與標準的監督學習設置相比，我們使用從Siamese網絡學習的表示獲得了可比較但可解釋的結果。我們還利用極不平衡的長尾皮膚圖像數據集進行皮膚病分類的元學習。我們發現，使用元學習模型和使用常規類不平衡技術訓練的模型集成可以產生更好的預測性能，特別是對于罕見的皮膚病。

最后，針對異構醫療數據，我們開發了一個多模態多任務學習框架來學習病理元數據預測的共享表示。我們利用多模態融合技術集成幻燈片圖像、自由文本和結構化元數據，并采用多任務目標損失來引入學習時的歸納偏差。這比標準的單模態單任務訓練設置產生更好的預測能力。我們還應用魯棒訓練技術來學習可以解決兩個胸部x射線數據集分布轉移的表示。與標準訓練相比，我們發現當存在偏移時，魯棒訓練提供了更好的容忍度，并學習了肺病理預測的魯棒表示。本文的研究并不詳盡，但對在有限和異構的醫療數據設置下利用機器學習幫助臨床決策進行了廣泛的了解。我們還提供了見解和警告，以激發利用低資源和高維醫療數據的機器學習的未來研究方向，并希望對現實世界的臨床產生積極的影響。

深度學習(Deep learning, DL)已經成為現代人工智能中最成功和被廣泛采用的方法之一。與這些成功相伴而來的是越來越復雜和昂貴的架構設計，其基礎是一個核心概念:層。本文對層次的這一基本作用提出了挑戰，并深入介紹了一種新的、無層次的深度學習范式，將輸出計算為動態系統的不動點:深度均衡(DEQ)模型。

首先，我們介紹深度均衡模型的一般公式。我們討論了這些模型如何表達“無限級”的神經網絡，向前和向后解耦傳遞，但與傳統層的成本和設計復雜性-即使在一些最具競爭力的設置(例如，語言建模，語義分割等)。

其次，我們進一步討論了這種均衡方式帶來的挑戰和機遇。我們表明，DEQ公式揭示了深度學習的許多新特性，這些特性長期以來被傳統的層-堆疊方案所掩蓋。利用它們，我們可以訓練和部署這些新的輕量級均衡算法，大大補充了深度學習的現有發展，并使我們能夠在最先進的水平上改善多個現有結果(例如，光流估計)。

DEQ方法已經在理論和實證兩方面引領了社區內隱深度學習的新研究領域(例如，NeurIPS 2020教程)。因此，我們通過討論未來的工作如何進一步利用這一平衡視角來構建更可擴展、高效和準確的下一代DL算法，包括科學計算，這通常是復雜的、高維動力系統的解決方案。

本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文，主要研究兩個NLP任務：關系提取和主題建模。本文將神經網絡和主題模型兩種互補的學習范式結合在一個神經復合模型中，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

慕尼黑大學自19世紀以來便是德國和歐洲最具聲望大學之一，也是德國精英大學、U15大學聯盟和歐洲研究型大學聯盟成員，其社會科學、人文科學、物理，化學，生命科學，醫學，數學等領域均在國際上享有盛名。本文是慕尼黑大學數學、信息學及統計學院的博士生Pankaj Gupta的博士學位論文。

自然語言處理（Natural language processing，NLP）涉及構建計算技術，允許計算機自動分析和有意義地表示人類語言。隨著數字時代數據的指數增長，基于NLP的系統的出現使我們能夠通過廣泛的應用程序，如網絡搜索引擎、語音助理等，輕松地訪問相關信息。為了實現這一目標，幾十年來的一項長期研究一直集中在NLP和機器學習交叉的技術上。

近年來，深度學習技術利用了人工神經網絡（ANNs）的表現力，在廣泛的NLP任務中取得了最先進的性能。深度神經網絡（DNNs）可以從輸入數據中自動提取復雜的特征，從而為手工特征工程提供了一種替代方法。除了ANN之外，概率圖形模型（PGMs）、圖論和概率方法的耦合還具有描述系統隨機變量之間因果結構的能力，并捕捉到不確定性的原則概念。考慮到DNNs和PGMs的特點，它們被有利地結合起來建立強大的神經模型，以了解數據的潛在復雜性。

傳統的基于機器學習的NLP系統采用了淺層計算方法（如SVM或Logistic回歸），并依賴于手工特征，這類方法耗時、復雜且往往是不夠完整的。基于深度學習和神經網絡的方法最近在機器翻譯、文本分類、命名識別、關系提取、文本相似性等NLP任務上取得了較好的效果。這些神經模型可以從訓練數據中自動提取有效的特征表示。

本文主要研究兩個NLP任務：關系提取和主題建模。前者的目的是識別句子或文檔中實體或名詞之間的語義關系。成功地提取語義關系有助于構建結構化知識庫，在網絡搜索、問答、推薦引擎等下游NLP應用領域很有用。另一方面，主題建模的任務旨在理解文檔集合中的主題結構。主題建模是一種流行的文本挖掘工具，它可以自動分析大量的文檔集合，并在不實際閱讀的情況下理解主題語義。主題建模分別生成用于文檔理解和信息檢索的Word集群（即主題）和文檔表示。

本質上，關系提取和主題建模主要基于從文本中學習到的表示的質量。在本文中，我們提出了特定于任務的學習表示神經模型，并分別在監督和非監督機器學習范式領域進行關系提取和主題建模任務。更具體地說，我們在開發NLP任務的神經模型方面做出了以下貢獻：

神經關系提取：首先，我們提出了一種新的基于遞歸神經網絡的table-filling體系結構，以便在句子中聯合執行實體和關系提取。然后，我們進一步擴展了跨句子邊界實體之間關系的提取范圍，并提出了一種新的基于依賴關系的神經網絡體系結構。這兩個貢獻在于機器學習的監督范式。此外，我們還在構建一個受缺乏標記數據約束的魯棒關系提取器方面做出了貢獻，其中我們提出了一種新的弱監督引導技術。考慮到這些貢獻，我們進一步探索了遞歸神經網絡的可解釋性，以解釋它們對關系提取的預測。

神經主題建模：除了有監督神經體系結構外，我們還開發了無監督神經模型，以學習主題建模框架中有意義的文檔表示。首先，我們提出了一種新的動態主題模型，它捕獲了隨著時間的推移的主題。接下來，我們在不考慮時間依賴性的情況下建立了靜態主題模型，其中我們提出了神經主題建模體系結構，這些體系結構也利用外部知識，即Word嵌入來解決數據稀疏性。此外，我們還開發了神經主題模型，其中包含了使用單詞嵌入和來自許多來源的潛在主題的知識遷移。最后，我們通過引入語言結構（如語序、局部句法和語義信息等）來改進神經主題建模。它處理傳統主題模型中的詞袋問題。本節中提出的神經NLP模型是基于PGMs、深度學習和ANN交叉技術。

在這里，神經關系提取的任務使用神經網絡來學習通常在句子級別上的表示，而不訪問更廣泛的文檔上下文。然而，主題模型可以訪問跨文檔的統計信息。因此，我們將兩種互補的學習范式結合在一個神經復合模型中是有利的，它由一個神經主題和一個神經語言模型組成，使我們能夠通過主題模型在文檔集合中共同學習主題結構，并通過語言模型在句子中共同學習單詞關系。

總的來說，我們在本論文中的研究貢獻擴展了基于NLP的系統，用于關系提取和主題建模任務，同時具有最先進的性能。