亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能領域最近見證了顯著的增長，導致開發了在各種領域表現出色的復雜深度學習模型。然而，這些發展帶來了關鍵問題。深度學習模型容易繼承并可能加劇其訓練數據中存在的偏見。此外，這些模型的復雜性導致缺乏透明度，這可能導致偏見未被發現。這最終可能阻礙這些模型的采用，因為缺乏信任。因此，培養本質上透明、可信和公平的人工智能系統至關重要。本論文通過探索深度學習的可解釋性和自解釋模型，為這一研究領域做出了貢獻。這些模型代表了向更透明系統的轉變，提供了與模型架構密切相關的解釋，揭示了它們的決策過程。因此，這種固有的透明性增強了我們的理解，從而提供了解決無意中學習偏見的機制。為了推進自解釋模型的發展，本論文進行了對當前方法的全面分析。它引入了一個旨在提高某個最先進模型解釋質量的新算法。此外，這項工作還提出了一種新的自解釋模型，通過學習的解碼器生成解釋，促進端到端訓練，并解決了解釋性和性能之間普遍存在的權衡問題。此外，為了增強這些模型的可及性和可持續性，本論文還介紹了一種通用方法，無需重新訓練即可將任何預訓練的黑盒模型轉化為自解釋模型。通過所提出的方法，這項研究識別并抵制了從數據中學習的人為因素—虛假相關性，進一步強調了透明模型的需求。此外，本論文的范圍還擴展到了大型語言模型的公平性維度，展示了這些模型加強社會偏見的傾向。這項研究的結果凸顯了所提方法的有效性，從而為創建不僅準確而且透明、公平和可靠的人工智能系統鋪平了道路，以促進人工智能技術的廣泛采用和信任。

本論文描述了增強生成模型的方法，這些方法增加了可控性或不確定性的表達能力，展示了如何通過強大的先驗知識同時實現這兩個特性。一種通用方法是引入新的架構或訓練目標。然而，當前朝著模型規模、訓練數據和計算資源的大規模擴張的趨勢，可能使得重新訓練或微調變得困難且昂貴。因此，另一種方法是在現有的預訓練模型之上構建。我們考慮了這兩種方法，特別強調后者。我們首先通過基于訓練的方法解決可控圖像合成和不確定性估計的任務，然后轉向不需要直接更新基礎模型參數的計算效率方法。我們最后通過討論基于我們發現的洞見的未來方向來結束。

深度學習結合大規模神經網絡在現代機器學習和人工智能（AI）的廣泛任務中帶來了迅速進展。因此，我們看到了越來越多的努力，旨在將 AI 集成到我們日常生活的各個方面，范圍從創意應用（例如，計算機生成的藝術作品）到輔助系統（例如，自動駕駛車輛）。對于與現實世界環境橋接的興趣有助于塑造研究的方向，考慮到了額外的考慮因素和必要的特性。以前述應用為例，能夠控制生成圖像的內容或風格為更廣泛的受眾解鎖了更多用例，并且理解可靠性和/或使自動駕駛系統能夠表達對不熟悉場景的不確定性對于安全決策至關重要。 雖然有時可以通過新架構或訓練目標的顯式設計來整合這樣的特性，但在許多場景下，這種基于訓練的方法是具有挑戰性或甚至不可行的。首先，投入到訓練單個網絡的計算資源本身就非常昂貴，更不用說不得不重新訓練或微調了。其次，深度學習是數據驅動的，其成功的一個主要因素是使用了大量的訓練數據。在如此多數據被收集的時代，數據怎會成為限制因素？世界不是一個均勻分布，其數據也不是（無論是類型/模態還是每個領域的數量）。在資源和/或數據有限的情況下，是否可能操縱現有模型的學習先驗以引出所需的特征？ 在這篇論文中，我們探索了可控性和不確定性的主題，特別是在生成模型的背景下。我們考慮了兩種類型的方法——要么使用新目標進行訓練，要么有效地適應現有模型而不直接更新它們的參數。主要貢獻如下： I 可控圖像合成

基于Transformer的多模態圖像合成。我們引入了一種基于Transformer的方法，用于生成以輸入草圖和風格圖像為條件的圖像。為了使訓練成為可能，我們首先使用自動化流程，為125個不同類別收集了大約113K個“偽草圖”-圖像對數據集。Transformer預測的代碼本表示由預訓練的向量量化生成對抗網絡解碼，以產生復合圖像。我們是首次探索這種特定組合的條件輸入用于圖像合成。

使用預訓練擴散模型的多模態圖像合成。我們提出了一種方法，用于將預訓練的無條件或文本條件擴散模型適應于多模態合成。保持擴散模型的參數凍結，我們訓練一個外部模塊，該模塊對擴散模型的輸出應用空間調制。我們展示了所提出的模塊可以有效地添加新的條件模態，而參數和訓練示例相對較少。與其他同時期的工作也旨在調節預訓練網絡不同，我們不需要直接訪問基礎模型的參數或梯度。

文本到圖像擴散模型的高效個性化。我們提出了一種基于低秩殘差的方法，用于文本到圖像擴散模型的高效個性化。給定目標概念的幾張圖像，我們為擴散模型的一小部分參數學習一組殘差，并保持擴散模型凍結。在推理時，我們可以利用底層模型的注意力圖來定位圖像中應用殘差的區域，從而將新概念與底層模型的生成先驗結合起來。與現有方法相比，我們大大減少了可學習參數的數量和訓練時間。

II 生成模型中的不確定性

自動微分變分推理與混合物。我們研究了將混合分布作為變分推理中的后驗的使用。我們引入了一個新的訓練目標，該目標結合了分層抽樣和重要性加權，以對抗可能導致混合組件崩潰成單峰分布的有害探索懲罰。我們展示了在部分或損壞的觀測下改善的生成性能。

用于異常檢測的狀態密度估計。我們探索使用各種類別的生成模型進行無監督異常（OOD）檢測的任務。我們首先使用預訓練的生成模型計算訓練數據上的一系列統計量。我們提出創建一個基于值概率的決策規則，而不是基于統計量的直接值來確定一個新輸入是否為OOD。我們的方法可以輕松應用于任何現有模型，并且性能優于現有的無監督基線。

在第8章中，我們總結了這篇論文的貢獻，并討論了可控圖像合成和生成模型中不確定性的潛在未來方向。

人工智能系統開發具備高級推理能力是一個持續存在且長期的研究問題。傳統上，解決這一挑戰的主要策略涉及采用符號方法，其中知識通過符號明確表示，并通過明確編程的規則來實現。然而，隨著機器學習的出現，系統向能夠自主從數據中學習、需要最小人類指導的方向發生了范式轉移。鑒于這一轉變，近年來，越來越多的興趣和努力被投入到賦予神經網絡推理能力上，以彌合數據驅動學習與邏輯推理之間的差距。在這一背景下，神經算法推理（NAR）作為一個有希望的研究領域脫穎而出，旨在將算法的結構化和基于規則的推理與神經網絡的自適應學習能力整合起來，通常通過讓神經模型模仿經典算法來實現。在這篇論文中，我們對這一研究領域提供了理論和實踐上的貢獻。我們探索了神經網絡與熱帶代數之間的聯系，推導出與算法執行對齊的強大架構。此外，我們討論并展示了這樣的神經推理器學習和操縱復雜的算法和組合優化概念的能力，如強對偶性原理。最后，在我們的實證努力中，我們驗證了NAR網絡在不同實際場景中的實際用途。這包括任務多樣化，如規劃問題、大規模邊緣分類任務以及學習NP-hard組合問題的多項式時間近似算法。通過這一探索，我們旨在展示在機器學習模型中整合算法推理潛力。

//arxiv.org/abs/2402.13744 本論文旨在探索神經算法推理器的潛力，特別是關于它們學習執行經典算法的能力以及使用訓練有素的算法推理器作為相關下游任務的歸納先驗的有效性。 本論文的主要貢獻旨在解決這兩個研究問題，特別是在圖的背景下，鑒于許多感興趣的經典算法是為結構化數據開發和設計的（Cormen et al., 2009）。此外，我們將尋求從理論和實證的視角提供前述問題的證據。 為了解決關于經典算法可學習性的問題，我們提出了一個理論框架，將圖、神經網絡和熱帶代數（Landolfi et al., 2023）之間的聯系繪制出來。在這個設置中，將建立算法（特別是動態規劃算法）與神經網絡之間的等價性。我們還將展示如何基于這種聯系派生出適合學習算法的強大神經網絡架構。 跳出動態規劃算法的背景，我們提議通過對偶性學習算法（Numeroso et al., 2023），有效地展示我們如何借鑒與算法相關的各個領域的概念，如組合優化，以增強將算法推理編碼到神經網絡中的程度。這一貢獻也作為使用算法作為歸納先驗可以幫助更準確地解決標準機器學習任務的第一個實際示例。 在此基礎上，我們提出了兩個更多的貢獻：一個學習規劃問題一致性啟發式函數的算法推理器（Numeroso et al., 2022）；以及一個關于將算法知識轉移到NP-hard組合優化問題的有效性的廣泛研究（Georgiev et al., 2023）。 此外，作為一個附加目標，本論文還努力作為神經算法推理世界的入門指南，特別是通過其第三章，為那些不熟悉NAR的人量身定做。

自然語言處理（NLP）領域因創建和大量傳播預訓練的大型語言模型而發生了巨大變化，這些模型是在互聯網規模的文本數據上預訓練的。這些模型在眾多NLP任務上帶來了顯著的改進。然而，隨著這些模型的能力提高現有任務基準的性能，迫切需要與當前模型同步更新的評估指標。在這篇論文中，我們開發了基準和利用預訓練語言模型的NLP評估方法。我們首先提出了兩個多任務基準，用于評估NLP模型的泛化能力，并討論了這些基準在大型語言模型開發中的作用。接下來，我們展示了我們可以利用預訓練語言模型的能力來開發新的自動評估指標，更好地衡量模型生成文本的語義。具體來說，我們利用預訓練模型的問答能力來評估自動生成摘要的準確性。最后，我們探索了為解決語言模型復制基準數據集中的噪聲所暴露的數據質量問題而眾包高質量且具有挑戰性的文本生成數據的方法。總的來說，我們展示了預訓練語言模型的崛起在如何評估NLP系統方面既帶來了挑戰也帶來了機遇，并且將這些模型納入我們的評估方法提供了一條有前景的路徑。

在標準的監督式機器學習問題中，我們會獲得一個數據集來訓練模型，以及另一個從與訓練相同分布中抽取的保留數據集，用來評估所學習模型的質量。然而，在自然語言處理（NLP）中，任務輸入和/或輸出為文本時，對于那些可以應用于任意NLP任務的模型（不僅僅是那些與模型訓練數據分布相匹配的任務）的興趣日益增加。因為這些任務都在某種程度上涉及到人類語言，所以希望某種理解語言的模型能夠將這種理解轉移到不同的任務上。這種希望催生了預訓練語言模型，這些龐大的機器學習模型在數百億的令牌上進行語言建模目標的訓練，并且在下游NLP任務上具有極好的泛化能力。預訓練語言模型的快速發展和傳播對各種長期存在的NLP任務產生了深遠的影響，例如文本分類和問題回答[Devlin et al. 2019; Radford et al. 2018; Lewis et al. 2020; Raffel et al. 2020, 等]，并且也迅速促進了令人驚訝的新能力的發展，如編寫代碼[Austin et al. 2021]和解決數學問題[Hendrycks et al. 2021]。

預訓練語言模型帶來的進步為我們評估NLP系統的方式提供了一系列機會。預訓練語言模型在各種任務的長期基準數據集上推動了迅速進展，飽和了這些數據集并限制了它們的效用。為了繼續能夠準確地衡量這些模型的能力，我們必須開發構建更具挑戰性和更高質量評估數據的新方法。此外，由于它們泛化到下游任務的能力不受以前方法的限制，我們必須創建新的評估范式來量化這種泛化能力，并衡量它們執行新技能的能力。與此同時，我們可以嘗試將這些模型的新興能力納入評估方法本身。在這篇論文中，我們探索了這些問題和機會。

首先，我們開發評估資源來衡量預訓練模型適應不同任務的效果。在第2章中，我們介紹了GLUE基準，該基準衡量NLP系統泛化到多樣化任務和設置的能力。GLUE基準是一個多任務基準，所有任務共享相同的任務格式，但其中一些任務訓練數據集只包含幾百個示例，需要從某個外部來源轉移知識以在任務上表現良好。GLUE在領域中迅速被采納，其最新成果迅速達到了與人類眾包工作者在該基準上的表現相飽和的程度。在第3章中，我們介紹了SuperGLUE基準，該基準通過選擇一組更多樣化的任務格式和更具挑戰性的任務集來刷新GLUE基準。與GLUE基準一樣，SuperGLUE基準已成為衡量NLP模型泛化的標準方法之一。

接下來，隨著基于大型LM的NLP模型能力的不斷發展，我們可以利用它們以前所未有的方式更穩健地評估系統能力。在第4章中，我們探索了在檢測神經文本摘要系統輸出中的幻覺方面使用預訓練語言模型的用途。盡管文本生成模型的輸出變得高度流暢，但它們經常包含與之前生成的令牌或它們所依賴的輸入文檔相矛盾的不一致之處。這些幻覺或不一致是文本生成系統可用性和可靠性的主要障礙，但現有的自然語言生成系統評估指標對這類錯誤不敏感。我們將檢測這些幻覺的問題分解為問答和問題生成兩個問題，這兩個問題是預訓練語言模型近年來取得顯著進展的領域。我們展示了基于預訓練語言模型的評估指標在檢測生成文本中的幻覺方面，與現有評估指標相比有顯著的改進。該方法的成功預示了利用預訓練模型衡量生成文本的各種屬性的前景，這些屬性是前一代評估指標所無法涵蓋的。

最后，隨著系統能力的發展，我們的評估數據也需要相應地發展，因為舊數據集飽和，更強大的模型更能利用意外偏見并揭示評估數據中的問題。為文本生成任務獲取和維護高質量數據尤其具有挑戰性，因為文本生成數據集通常依賴于查找自然發生的數據源或使用啟發式方法將數據源轉化為任務格式。在摘要的背景下，這種數據集創建方法導致基準數據集包含了許多被模型捕獲的問題[Kryscinski et al. 2019]。在第5章中，我們探索了為自然語言生成任務創建高質量測試集的替代方法。特別是，我們專注于以成本效益的方式為短篇小說眾包摘要。所產生的數據集SQuALITY是一個高質量的多參考摘要數據集，超出了現有摘要模型的能力。總而言之，我們展示了大型語言模型時代NLP模型評估領域的概覽，包括評估這些模型的方法以及將這些模型納入評估方法。我們在第6章以開放問題和進一步研究現代NLP系統的穩健評估的機會的討論作為總結。

機器學習模型最終用于在現實世界中做出決策，其中的錯誤可能代價極高。我們對神經網絡及其訓練過程的理解仍然出奇地少，結果是，我們的模型脆弱，經常依賴于虛假特征，在微小的分布變化下泛化能力差。此外，這些模型往往無法忠實地表示其預測中的不確定性，進一步限制了它們的適用性。在這篇論文中，我展示了關于神經網絡損失表面、概率深度學習、不確定性估計以及對分布變化的魯棒性的研究成果。在這些工作中，我們旨在構建對模型、訓練程序及其局限性的基礎理解，并利用這種理解來開發實際有影響力、可解釋性強、魯棒性好且廣泛適用的方法和模型。

在過去幾年中，我們見證了深度學習多個領域的顯著進步。我們現在擁有可以超越人類水平下國際象棋的深度學習模型 [Silver et al. 2016]，推進蛋白質折疊領域的神經網絡 [Jumper et al. 2021]，能根據文本描述創建逼真圖像和視頻的生成模型 [Ramesh et al. 2021; Saharia et al. 2022]，以及展現出通用智能跡象的語言模型 [OpenAI 2023; Bubeck et al. 2023]。不可避免地，我們也看到越來越多的深度學習模型應用于現實世界，如自動駕駛汽車、用于自動診斷的醫學成像模型，以及圍繞語言模型構建的個人助理和其他系統。

然而，這些系統仍存在重大局限性，使得它們的廣泛采用面臨挑戰。特別是，量化深度學習模型預測中的不確定性仍然具有挑戰性 [Guo et al. 2017; Kadavath et al. 2022; Minderer et al. 2021]。結果是，我們往往很難知道何時可以信任這些模型，何時應該依賴人類專家。另一個主要問題是，神經網絡經常依賴于捷徑特征，并在測試數據分布與訓練分布不同時泛化能力差 [Geirhos et al. 2018; Hendrycks and Dietterich 2019]，這在大多數實際應用中都是如此。

到目前為止，我的大部分研究都是從高層次上理解深度學習。我相信，通過解構我們的模型和方法并理解各個部分，我們可以建立更好的直覺和機械性理解，了解它們是如何工作的。最終，這種理解通常會轉化為更好的模型、方法和訓練程序。在整篇論文中，我展示了幾個這種類型的工作示例。

本論文的其余部分安排如下。在第2章中，我介紹了神經網絡損失表面中最優解集合的結構。我還提出了基于對損失表面的觀察而激發的深度神經網絡改進訓練和快速集成的實用方法。在第3章中，我展示了貝葉斯神經網絡的廣泛闡述以及對泛化的概率視角。我還提出了改進深度神經網絡不確定性估計的實用方法。在第4章中，我報告了對貝葉斯神經網絡后驗分布的詳細科學研究結果，提出了許多挑戰傳統智慧的驚人觀察。特別是，我描述了導致貝葉斯神經網絡在分布偏移下表現不佳的確切機制，并提出了部分解決方案。在第5章中，我描述了我們在存在捷徑特征的情況下神經網絡的特征學習工作，以及減少對這些特征依賴的方法。最后，在第6章中我總結了這篇論文。

雖然生成模型具有令人興奮的潛力，但其有限的可用性為其在現實世界應用中的廣泛采納帶來了重大挑戰。具體而言，現有方法往往會放大埋藏在其訓練數據中的有害社會偏見，并且經常無法準確反映用戶主觀規格，例如在生成輸出中的風格。此外，當處理具有獨特結構的數據分布，如周期性時，存在明顯的性能差距，限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全、可靠的生成AI系統，以便實際集成和部署。

首先，我們提出了一個方法論框架來應對偏見緩解和可控性的挑戰。基于傳統的密度比率估計(DRE)方法，我們開發了技術來修正已學習的模型分布，使其顯示的特征更接近感興趣的另一個目標分布。這些貢獻不僅為DRE提供了一個新的理論框架，而且還提高了在一系列下游任務上的性能，如域適應、數據增強和互信息估計。接下來，我們展示了這些方法在社會應用中的兩個實際應用。我們證明：(a)我們的重新加權生成建模框架成功地緩解了數據集偏見，以及(b)更可控制的模型可以更好地根據個人偏好定制AI生成的音樂，并協助創作過程。最后，我們總結了開發新的學習算法，將領域特定的歸納偏見整合到無線通信的生成模型中，以及離散數據分布。

基于概率的生成模型為我們今天的社會解鎖了大量新的機會。在大規模數據集和計算能力的推動下，最近的進展使我們能夠自動完成開發者工作流中的代碼[Che+21]，根據自然語言指令合成高保真度的圖像和視頻[Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格傳遞給錄制視頻的每一幀[Ess+23]，并個性化音樂表演以適應我們的口味[Don+23; Ago+23]。從通過協助數字內容創建為經濟增加數萬億美元的價值，到為創意工作民主化訪問和降低進入門檻，該領域正準備重新定義人工智能(AI)領域內的可能性[Bom+21; Elo+23]。

然而，這種興奮掩蓋了阻礙生成模型在現實世界應用中實際可用性的新出現的瓶頸。盡管它們具有強大的功能，生成模型仍然難以準確捕獲具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖）這樣的特性的結構化數據分布。這極大地限制了它們在圖像和文本數據的創意努力之外的實用性。此外，實際將這些模型整合到我們的創意循環中也由于控制其輸出所涉及的復雜性而面臨重大挑戰[Lou+20]。這是因為指導合成輸出的用戶指定控制信號通常很難在數學或語言上明確地表達，而需要大量注釋的數據集進行標記監督或巧妙地導航模型超參數的組合爆炸[Yu+22; Gal+22; Fen+23]。最后，這樣的模型可能是不安全的，并在部署時產生意外的后果。因為生成模型旨在捕獲數據分布，它們不幸地可能放大訓練數據中的有害社會刻板印象，在下游應用中[Wei+21; CZB22]。這種關鍵的故障模式對終端用戶構成了重大的安全風險，他們可能會暴露于或在令人不安的內容中被利用[Jal+21; Bia+22; Ran+22]。因此，大型機構行為者可能會猶豫是否開放這些模型的源代碼，而基于這些技術構建的產品非常難以可靠且安全地部署到廣大公眾。 在這一背景下，任何成功的利用這些AI系統的方法都必須滿足兩個基本標準。首先，它們必須生成忠實于用戶規格的高質量內容，無論控制信號是顯式的（例如，風格）還是隱式的（例如，社會規范或價值觀）。這種細致的控制將確保生成可靠和相關的輸出，適用于實際的、真實世界的應用。第二個要素是，它們必須成功處理各種數據分布。這對于擴展這些模型在各種社會和技術領域的適用性至關重要。

盡管生成模型具有令人振奮的潛力，但它們的有限可用性對于在現實世界應用中廣泛采用它們提出了重大挑戰。具體來說，現有方法往往會放大嵌入在其訓練數據中的有害社會偏見，并且通常無法準確反映生成的輸出中的主觀用戶規范，例如風格。此外，當處理具有獨特結構的數據分布時，如周期性，會存在明顯的性能差距，這限制了它們在圖像和文本數據之外的適用性。本論文考慮了所有這些方面，以幫助構建安全可靠的生成式人工智能系統，用于實際集成和部署。

首先，我們提出了一種方法論框架，以應對偏見減輕和可控性方面的挑戰。在經典的密度比估計（DRE）方法基礎上，我們開發了技術，用于糾正學習模型分布，使其表現出更與另一目標分布更緊密對齊的特征。這些貢獻不僅為DRE提供了一個新的理論框架，還提高了在各種下游任務上的性能，如領域自適應、數據增強和互信息估計等。接下來，我們介紹了這些方法在社會應用中的兩個真實應用。我們證明：（a）我們的重新加權生成建模框架成功減輕了數據集偏見，（b）更可控的模型可以更好地定制AI生成的音樂以適應個人偏好，并促進創造過程。最后，我們總結了通過將領域特定的歸納偏見納入無線通信的生成模型以及離散數據分布的生成模型中的新學習算法。

概率生成模型承諾為我們的社會帶來巨大的新機會。受大規模數據集和計算資源的可用性推動，最近的進展已經催生出可以自動完成開發者工作流中的代碼 [Che+21]，根據自然語言指令合成高保真度圖像和視頻 [Ram+21; Ram+22; Rom+22; Yu+22; Ho+22; Sin+22]，將風格轉移到錄制視頻的每一幀 [Ess+23]，并個性化音樂表演以迎合我們的口味 [Don+23; Ago+23] 的機器。從通過協助數字內容創作增加數萬億美元的經濟價值到民主化訪問并降低創意工作的準入門檻，這個領域準備重新定義人工智能（AI）領域的可能性 [Bom+21; Elo+23]。

然而，這種興奮熱潮掩蓋了阻礙生成模型在實際應用中的實用性的新興瓶頸。盡管生成模型具有強大的能力，但它們仍然難以準確捕捉具有周期性（例如，醫學時間序列）和離散性（例如，分子生成的圖形）等特征的結構化數據分布。這極大地限制了它們在涉及圖像和文本數據以外的創意工作之外的實用性。此外，實際將這些模型集成到我們的創意循環中也面臨著重大挑戰，因為控制它們的輸出涉及復雜性 [Lou+20]。這是因為用于引導合成輸出的用戶指定的控制信號通常在數學或語言上很難表達，而是需要大量的帶標簽監督的注釋數據集或巧妙地導航可能的模型超參數組合爆炸 [Yu+22; Gal+22; Fen+23]。最后，這些模型可能存在安全風險，并在部署時產生意想不到的后果。因為生成模型的設計目標是捕捉數據分布，不幸的是，它們可能會在下游應用中放大訓練數據中存在的有害社會刻板印象 [Wei+21; CZB22]。這種重要的故障模式對最終用戶構成了重大安全風險，他們可能會接觸到或被濫用于令人不安的內容 [Jal+21; Bia+22; Ran+22]。因此，大型機構可能會猶豫是否開源這些模型，以及基于這些技術構建的產品可能會受到極大的限制。

在這種背景下，任何成功的方法來利用這些人工智能系統都必須滿足兩個基本標準。首先，它們必須生成高質量的內容，忠實于用戶的規范，無論控制信號是顯式的（比如風格）還是隱式的（比如社會價值觀念）。這種細粒度的控制將確保可靠且相關的輸出，使其適用于實際的現實世界應用。第二個要素是它們必須成功處理各種數據分布。這對于擴展這些模型的適用性到各種社會和技術領域將是至關重要的。

語言模型已在自然語言處理中無處不在，它們利用大量未標記的數據并為下游任務進行微調。但人們對這些模型生成的文本的準確性和可信度提出了擔憂。

與此同時，差分隱私已成為一種框架，用于保護敏感信息，同時允許機器學習算法從中學習。然而，統計保證與實用性之間的權衡對許多應用都帶來了挑戰**。因此，這篇論文旨在開發平衡保證和實用性的技術，重點是提高生成模型的可靠性，同時保持其靈活性**。

首先，我們提出了一個框架，可以有條件地使用硬約束生成文本，允許用戶事先指定某些元素，而留下其他元素供模型預測。通過促進交互式編輯和重寫，此框架為用戶提供了對生成文本的精確控制。 接下來，我們引入了在軟約束下生成預測的共形預測方法，以確保統計的正確性。這些方法在保持高經驗精度的同時，為文本生成產生有效的置信集。

最后，我們通過放寬差分隱私的保證概念到基于猜測的定義，探索數據發布中隱私與實用性之間的平衡。我們提出了一種基于學習的去識別化方法，解決了隱私保護的挑戰，同時仍能有效地利用數據。我們提出的方法的有效性通過一系列任務得到了證明，包括文本填充、放射學報告生成和X光分類。這些任務展示了我們的技術在各種實際場景中的實用性。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

近年來，深度學習徹底改變了機器學習和計算機視覺。許多經典的計算機視覺任務(例如目標檢測和語義分割)，傳統上非常具有挑戰性，現在可以使用監督深度學習技術來解決。雖然監督學習是一個強大的工具，當標簽數據是可用的，并考慮的任務有明確的輸出，這些條件并不總是滿足。在這種情況下，生成建模給出了一個很有前途的方法。與純粹的判別型模型相比，生成型模型可以處理不確定性，甚至在沒有標簽訓練數據的情況下也可以學習強大的模型。然而, 雖然目前的方法生成建模取得可喜的成果, 他們遭受兩個方面,限制他們的表現力: (i) 為圖像數據建模的一些最成功的方法不再使用優化算法來訓練，而是使用其動力學尚未被很好理解的算法，(ii) 生成模型往往受到輸出表示的內存需求的限制。我們在本文中解決了這兩個問題:在第一部分中，我們介紹了一個理論，它使我們能夠更好地理解生成式對抗網絡(GANs)的訓練動力學，這是生成式建模最有前途的方法之一。我們通過引入可解析理解的GAN訓練的最小示例問題來解決這個問題。隨后，我們逐漸增加了這些示例的復雜性。通過這樣做，我們對GANs的訓練動力學有了新的認識，并推出了新的正則化器，也適用于一般的GANs。新的正則化器使我們能夠——第一次——以百萬像素的分辨率訓練GAN，而不必逐漸增加訓練分布的分辨率。在本論文的第二部分，我們考慮生成模型的三維輸出表示和三維重建技術。通過將隱式表示法引入深度學習，我們能夠在不犧牲表現力的情況下將許多2D領域的技術擴展到3D領域。

//publikationen.uni-tuebingen.de/xmlui/handle/10900/106074