亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能領域最近見證了顯著的增長，導致開發了在各種領域表現出色的復雜深度學習模型。然而，這些發展帶來了關鍵問題。深度學習模型容易繼承并可能加劇其訓練數據中存在的偏見。此外，這些模型的復雜性導致缺乏透明度，這可能導致偏見未被發現。這最終可能阻礙這些模型的采用，因為缺乏信任。因此，培養本質上透明、可信和公平的人工智能系統至關重要。本論文通過探索深度學習的可解釋性和自解釋模型，為這一研究領域做出了貢獻。這些模型代表了向更透明系統的轉變，提供了與模型架構密切相關的解釋，揭示了它們的決策過程。因此，這種固有的透明性增強了我們的理解，從而提供了解決無意中學習偏見的機制。為了推進自解釋模型的發展，本論文進行了對當前方法的全面分析。它引入了一個旨在提高某個最先進模型解釋質量的新算法。此外，這項工作還提出了一種新的自解釋模型，通過學習的解碼器生成解釋，促進端到端訓練，并解決了解釋性和性能之間普遍存在的權衡問題。此外，為了增強這些模型的可及性和可持續性，本論文還介紹了一種通用方法，無需重新訓練即可將任何預訓練的黑盒模型轉化為自解釋模型。通過所提出的方法，這項研究識別并抵制了從數據中學習的人為因素—虛假相關性，進一步強調了透明模型的需求。此外，本論文的范圍還擴展到了大型語言模型的公平性維度，展示了這些模型加強社會偏見的傾向。這項研究的結果凸顯了所提方法的有效性，從而為創建不僅準確而且透明、公平和可靠的人工智能系統鋪平了道路，以促進人工智能技術的廣泛采用和信任。

深度學習模型在包括計算機視覺、自然語言生成和語音處理在內的許多環境中展示了令人印象深刻的能力。然而，這些模型的一個重要缺點是它們通常需要在大型數據集上進行訓練才能發揮最大效果。在醫學等領域，大型數據集并不總是可用的，因此需要數據高效的模型，即使在有限的數據環境中也能表現良好。受這一需求的啟發，本論文提出了四項對數據高效機器學習的貢獻：（1）分析和改進小樣本學習，我們研究了一種流行的小樣本學習算法（模型不可知元學習）并提供了關于它為何有效的見解，提出了一個提供了顯著計算優勢的簡化版本；（2）在小型臨床心電圖（ECG）數據集上改進監督學習，我們開發了一種新的ECG數據增強策略，有助于提高一系列預測問題的性能；（3）通過使用嵌套優化改進預訓練，引入了一種高效的基于梯度的算法，以共同優化模型參數和預訓練算法設計選擇；（4）為復雜的臨床時間序列開發了一種新的自監督學習流程，流程的設計受到現實世界臨床時間序列數據的多模態、多維性質的驅動。統一這些貢獻的是心血管醫學的應用領域，這是一個機器學習有潛力改善患者護理和結果的設置。 //dspace.mit.edu/handle/1721.1/153841

圖像和視頻生成的目的是從隨機噪聲或基于特定條件合成高保真度的視覺數據。尤其是生成對抗網絡（GANs）的最新進展，在各種圖像和視頻生成任務中取得了顯著的成功，展現了深度神經網絡捕捉視覺數據的高維分布的強大能力。這方面的進展顯著推動了生成人工智能（AI）的發展，受到了廣泛的公眾關注。盡管在圖像和視頻合成方面取得了巨大的成功，但仍存在一些問題需要仔細探索。本論文旨在找出這一領域的剩余挑戰，并通過先進的深度學習技術提出解決方案。這構成了四個主要研究內容。

數據是深度學習的本質。對于圖像和視頻生成及其下游應用而言，高質量的數據集是非常可取的。此外，研究人員通常非常關注提高生成質量，卻忽略了對由生成數據引起的問題（如“Deepfakes”）的防范。與其他研究不同，本論文的第一項嘗試是構建一個有用的面部視頻數據集，以促進后續研究，并通過設計更好的視頻操縱方法來防止生成數據的負面影響。介紹了DeeperForensics-1.0，這是一個用于現實世界面部偽造檢測的大規模視頻數據集。正在進行的努力是應對“Deepfakes”，它引發了合法的擔憂，尤其是在可能被濫用和誤用方面。它代表了同類中最廣泛的數據集之一，由總共1760萬幀構成的60,000個視頻組成。應用了廣泛的現實世界擾動，以獲得更具挑戰性、規模更大、多樣性更高的基準。DeeperForensics-1.0中的所有源視頻都是精心收集的，假視頻是由新提出的端到端面部交換框架生成的。生成視頻的質量超過了現有數據集中的視頻，經用戶研究驗證。基準特點是一個隱藏的測試集，其中包含高欺騙性分數的操縱視頻。進行了全面研究，評估了五個代表性的檢測基線，并對不同設置進行了徹底的分析。這項工作驗證了設計更好的視頻操縱方法可以協助面部取證。

在確保了潛在的對策之后，興趣轉移到提出一個對各種生成任務幾乎沒有質量犧牲的統一框架，這對現實世界應用具有很高的實用價值。鑒于不同任務的不同性質，實現這一目標并非易事。因此，之前的研究通常針對特定形式的應用開發定制模塊。本論文設計了一個簡潔但容易適應各種任務的雙流圖像到圖像轉換（TSIT）框架。論文揭示了規范化層的重要性，并精心設計了一個帶有新提出的特征變換的雙流生成模型，以粗到細的方式。這允許網絡有效捕獲和融合多尺度語義結構信息和風格表達，使TSIT能夠適應無監督和監督設置下的各種任務。不需要額外的約束（例如，循環一致性），從而貢獻了一種非常干凈簡單的方法。使得具有任意風格控制的多模態圖像合成成為可能。系統研究將TSIT與最先進的任務特定基線進行了比較，驗證了其在感知質量和量化評估中的有效性。

除了圖像和視頻生成的實踐角度上的進展外，本論文進一步希望通過更基礎和理論的研究解決剩余問題。本論文的第三項工作是焦頻損失（FFL），這是一種新穎的頻率級損失函數，直接在頻率域優化生成模型。該損失與不同類別、網絡結構和任務的多樣化基線的現有空間損失相輔相成。盡管得益于生成模型的發展，圖像重建和合成取得了顯著的成功，但在真實和生成圖像之間，尤其是在頻率域，仍可能存在差距。論文表明，縮小頻率域中的差距可以進一步提高圖像重建和合成質量。所提出的FFL允許模型適應性地關注難以合成的頻率分量，降低容易合成的分量的權重。這一目標函數為抵抗神經網絡固有偏見導致的重要頻率信息丟失提供了很大的阻力。論文證明了FFL在提高VAE、pix2pix和SPADE等流行模型的感知質量和量化性能方面的多功能性和有效性。其在StyleGAN2上的潛力進一步展示。

通過實踐和理論方面的努力，已經嘗試提高合成數據的保真度和多樣性。然而，當前的生成模型，如GANs，通常需要大量的訓練數據才能充分發揮其能力，而有時收集足夠的數據樣本是不可行的。在保留合成質量的同時，使用較少的數據訓練生成模型仍然未被充分探索。論文進一步介紹了適應性偽增強（APA），這是一種用于有限數據下GAN訓練的簡單而有效的策略。最近的研究表明，由于鑒別器過擬合，這是阻礙生成器收斂的根本原因，因此在有限數據下訓練GANs仍然是一項艱巨的任務。所引入的APA通過使用生成器本身來增強真實數據分布，用生成的圖像適應性地欺騙鑒別器，鼓勵生成器和鑒別器之間的健康競爭。作為一種替代依賴于標準數據增強或模型規范化的現有方法，APA通過減輕過擬合來提高訓練效果。廣泛的實驗展示了APA在低數據環境下的有效性。提供了理論分析，以檢驗這種新訓練策略的收斂性和合理性。APA簡單有效。它可以無縫添加到強大的當代GANs，如StyleGAN2，且計算成本可忽略不計。

這篇論文最后還討論了其他相關話題，并展望了圖像和視頻生成領域的潛在未來工作，例如視頻生成的更高級話題、現有和未來對新型強大擴散模型（DM）的努力，為這一研究領域提供了更多見解。

能夠識別三維（3D）世界深刻影響了我們對物理環境的理解、可視化、交互和再創造。因其精確表示3D幾何結構的特點，點云數據在學術界和工業界獲得了顯著關注。同時，深度神經網絡（DNNs）已經在包括計算機視覺和自然語言處理在內的多個領域引發了革命。將點云與DNNs結合，催生了強大的深度點云模型，使得對3D世界的識別和理解得到了增強。然而，目前的DNNs點云識別模型嚴重依賴于大量密集標注的訓練數據，這種數據的獲取既費時又昂貴。這一限制阻礙了現有點云數據集的可擴展性，并妨礙了在不同任務和應用中的高效探索。本論文探討了點云識別的標簽高效學習，旨在在深度網絡訓練期間最小化標注工作，同時在點云識別中實現有效結果。研究聚焦于三個關鍵的標簽高效學習類別：數據增強、從合成數據到真實數據的領域遷移學習，以及從正常到惡劣天氣條件的領域遷移學習。通過這些代表性方法，我們旨在提高點云識別方法的效率和有效性。在標簽高效學習范式中，數據增強在擴展有限標注訓練數據的多樣性方面扮演著至關重要的角色，需要更少的標注點云來訓練準確的識別模型。在本論文中，我們引入了一種新穎的激光雷達點云增強技術，該技術在極坐標系中生成新幀，促進了在各種3D感知任務和場景中的模型訓練。從合成數據到真實數據的領域遷移學習利用了來自具有自動生成標簽的合成點云的知識，以提高深度模型在識別真實世界點云的性能。通過使用無限的合成標注點云，可以減少或消除真實點云中的人工標注，從而大大減輕了標注工作。在本論文中，我們首先創建了一個大規模的合成激光雷達點云數據集，具有精確的點對點注釋。基于這個數據集，我們提出了兩種新穎的方法，包括風格轉換和無監著域適應，以解決合成和真實激光雷達點云之間的領域差異，并促進合成到真實領域遷移學習。從正常到惡劣天氣數據的領域遷移學習旨在使用在正常天氣條件下捕獲的點云訓練出的強大識別模型，在多種惡劣天氣條件下表現良好。這一目標源于在注釋惡劣天氣點云時面臨的額外挑戰，因為它們與正常天氣數據相比，具有不同的幾何數據特性。我們探索了從正常到惡劣天氣點云的知識遷移，以減少惡劣天氣點云的大量手工注釋需求。為此，我們首先構建了一個大規模的惡劣天氣點云數據集，并進行了點對點的標注。隨后，我們提出了一種域泛化和聚合方法，這使得僅使用正常數據訓練的模型能夠有效應對各種惡劣天氣條件。通過在多種點云識別基準上進行的廣泛實驗表明，我們提出的標簽高效學習方法取得了卓越的性能。

點云是三維(3D)點的集合，準確地描述了物體或環境的形狀和幾何形狀。這種性質使它們高度適用于各種3D識別任務，包括3D形狀分析、3D目標檢測和3D語義分割。近年來，點云數據的三維采集技術得到了快速發展，各種三維傳感器在工業和日常生活中的應用越來越廣泛。例子包括自動駕駛汽車中的激光雷達傳感器，Kinect和蘋果產品等設備中的RGB-D相機，以及在各種重建任務中使用的3D掃描儀。同時，深度學習的顯著進步為點云識別領域做出了重要貢獻，涌現了大量深度點云結構和網絡。這兩者的同時，見證了利用點云來捕捉物體和場景的3D形狀表示的需求日益增加，從自主導航和機器人到遙感應用等。本節首先概述點云識別的進展，強調對相關任務進行標簽高效學習的必要性。回顧了標記高效點云學習的最新進展，重點關注三種關鍵類型的標記高效學習方法，這些方法大大減少了對大量人工標注工作的需要。這些方法包括數據增強、從合成點云到真實點云的域遷移學習，以及從正常天氣點云到不利天氣點云的域遷移學習。每一種方法都是根據其特定的數據前提條件以及在訓練魯棒點云識別網絡時減輕人工標注負擔的能力進行探索的。由于點云的非結構化和無序性，與二維視覺中的圖像識別相比，三維點云識別的深度學習具有獨特的挑戰，標準的卷積神經網絡無法直接應用于點云處理。PointNet[8]的出現，利用多層感知器(MLPs)，徹底改變了廣泛任務中的點云識別，如目標分類、部分分割和場景語義解析。此后，各種深度神經網絡架構，如圖神經網絡[9]和稀疏卷積網絡[10]，在3D形狀分類、3D目標檢測、3D語義分割等各類點云識別任務中取得了顯著進展。盡管深度學習在點云識別方面取得了顯著進展，但大多數現有研究嚴重依賴大規模、精確標注的3D數據進行網絡訓練。盡管大量訓練點云的收集已經變得更容易被接受，但由于數據的高度復雜性、點稀疏性的顯著變化、注釋過程中存在豐富的噪聲、遮擋和頻繁的3D視圖變化，注釋過程仍然是眾所周知的費力和耗時。點云標注的勞動密集型特性使得構建大規模點云數據集極其昂貴和耗時。這直接導致現有公共點云數據集的規模和多樣性有限，給開發跨各種應用的通用點云學習算法帶來了巨大挑戰。為了解決與點云注釋相關的負擔，一個有希望的解決方案是標簽高效學習——一種機器學習范式，以最少的注釋優先進行模型訓練，同時仍然實現所需的精度。標記高效的點云學習由于其重要性和較高的實用價值，近年來成為一個蓬勃發展的研究領域。各種標簽高效學習方法被研究，每種方法都有自己的數據需求和應用場景。本文研究了三種代表性的標記高效學習形式，即數據增強、從合成點云到真實點云的域遷移學習，以及從正常天氣到不利天氣點云的域遷移學習。1)數據增強涉及從現有樣本生成新的訓練數據，以增強訓練分布并促進網絡訓練。事實證明，當可用的標記訓練數據有限時，這種技術特別有利。2)從合成點云到真實點云的域遷移學習涉及利用合成點云來訓練識別模型。通過利用自動生成的標簽，該方法利用豐富的合成數據作為標注真實點云的替代方案。3)正常到惡劣天氣點云域遷移學習旨在通過對正常天氣條件下收集的標記數據進行訓練，建立魯棒的點云識別模型。這是至關重要的，因為在惡劣天氣中捕獲的點云存在很大的幾何失真和模糊性，這給標注帶來了重大挑戰。這三種標簽高效學習技術的廣泛探索，源于它們在各種3D視覺任務中的巨大潛力，包括形狀分類、實例檢測、語義分割等。

自動化機器學習（AutoML）旨在通過自動化模型和超參數選擇等復雜任務的優化來提高機器學習（ML）技術的效率和可訪問性。雖然與手動專家驅動的過程相比，AutoML系統和超參數優化（HPO）框架已經證明在效率上有所提高，但目前對解釋性的需求仍然難以滿足。 這項工作以系統的方式連接了AutoML和可解釋人工智能這兩個新興領域。論文包括多種方法論方法，以增強AutoML背景下的可解釋性。在整個論文中，區分了三個可解釋性要求級別：（1）最終模型的可解釋性，（2）找到模型的學習算法的可解釋性，以及（3）配置了找到模型的學習算法的AutoML系統的可解釋性。 論文的第一部分解決了AutoML系統返回的模型可解釋性的要求。第一個貢獻文章總結了多目標超參數優化，并提出了解釋性和稀疏性作為HPO的進一步目標的動機。在第二個貢獻文章中，我們開發了一種高效的多目標HPO方法，以預測性能和模型稀疏性作為模型可解釋性的一個標準進行優化。 論文的第二部分涉及對AutoML過程中嘗試的學習算法或誘導機制的可解釋性。第三個貢獻文章提出了一種新方法，擴展了部分依賴圖，以生成有關學習算法的超參數對性能的影響的見解。該技術以事后的方式考慮了通常存在于AutoML系統生成的實驗數據中的采樣偏差。第四個貢獻文章介紹了一種方法，通過調整優化器的搜索策略來解決采樣偏差的問題，以考慮超參數效應的解釋可靠性。 論文的最后部分涉及AutoML系統的機制和組件的可解釋性。其目標是解釋為什么AutoML系統內部使用的特定優化器及其組件比其他優化器更好。第五個貢獻文章對多適度HPO算法進行了徹底評估。引入了一個多適度HPO算法的表達豐富和靈活的框架，并通過優化自動配置，通過消融分析分析了結果。這項工作得益于一個高效的多適度基準測試套件（YAHPO gym），這是論文的第六個貢獻。

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

抽象的知識深深根植于許多基于計算機的應用中。從數據中自動獲取知識是人工智能的一個重要研究方向。機器學習提供了相應的算法。其中一個研究領域專注于開發受生物啟發的學習算法。各自的機器學習方法基于神經學概念，因此它們可以系統地從數據中獲取知識并存儲它。可以歸類為深度學習模型的一類機器學習算法被稱為深度神經網絡(deep Neural Networks, DNNs)。DNNs由多個人工神經元組成，這些神經元按層排列，通過使用反向傳播算法進行訓練。這些深度學習方法在從高維數據中推理和存儲復雜知識方面表現出驚人的能力。

然而，DNN會受到一個問題的影響，即無法將新知識添加到現有的知識庫中。不斷積累知識的能力是促進進化的重要因素，因此是發展強大人工智能的先決條件。所謂的“災難性遺忘”(CF)效應導致DNN在對新數據分布進行幾次訓練迭代后，立即失去已經派生的知識。只有用過去和新數據的聯合數據分布進行昂貴的再訓練，才能抽象出整個新知識集。為了抵消這種影響，各種旨在緩解甚至解決CF問題的技術已經并且仍在開發中。這些已發表的CF回避研究通常暗示他們的方法對各種持續學習任務的有效性。本文的研究背景是基于深度學習方法的持續機器學習。第一部分是面向實際應用的評估協議的開發，該協議可以用于研究不同的機器學習模型對協同效應的抑制。在第二部分，綜合研究表明，在面向應用的需求下，所研究的模型都不能表現出令人滿意的持續學習效果。第三部分提出了一種新的深度學習模型——深度卷積高斯混合模型(deep Convolutional Gaussian Mixture Models, DCGMMs)。DCGMMs建立在無監督高斯混合模型(GMMs)的基礎上。GMM不能被認為是深度學習方法，它必須在訓練前以數據驅動的方式進行初始化。這些方面限制了GMM在持續學習場景中的使用。

本文提出的訓練過程使使用隨機梯度下降(SGD)(應用于DNN)來訓練GMMs成為可能。集成退火方案解決了數據驅動的初始化問題，這是GMM訓練的先決條件。實驗證明，新的訓練方法在不迭代其缺點的情況下，可以得到與傳統方法相當的結果。另一個創新是gmm以層的形式排列，這類似于DNN。將GMM轉換為層使其能夠與現有層類型相結合，從而構建深層體系結構，從而可以用較少的資源派生出更復雜的知識。在本工作的最后一部分，研究DCGMM模型的持續學習能力。為此，提出一種稱為高斯混合重放(GMR)的重放方法。GMR利用DCGMM的功能來描述數據樣本的生成和重現。與現有CF回避模型的比較表明，在面向應用的條件下，GMR可以取得類似的持續學習效果。總之，所提出的工作表明，確定的面向應用的需求仍然是“應用”持續學習研究方法的開放問題。此外，新的深度學習模型為許多其他研究領域提供了一個有趣的起點。

機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。

**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?

2. 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?

鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。

過去十年在人工智能和硬件開發方面的研究對自動駕駛的發展產生了重大影響。然而，在高風險環境中部署此類系統時，安全性仍然是一個主要問題。現代神經網絡已被證明很難正確識別自己的錯誤，并在面對看不清的情況時提供過度自信的預測，而不是放棄。在這些問題上取得進展，不僅對獲得交通主管部門的認證至關重要，而且對激發用戶的熱情也至關重要。

本論文的目的是開發為深度神經網絡提供可靠的不確定性估計的方法工具。特別是，我們的目標是改進測試時錯誤預測和異常的檢測。首先，我們引入了一種新的模型置信度目標準則——真類概率(TCP)。在故障預測任務中，TCP比當前的不確定性度量提供了更好的性能。由于真正的類在測試時本質上是未知的，我們提出使用輔助模型(知己網)從數據中學習TCP準則，并引入了一種適合這種情況的特定學習方案。在圖像分類和語義分割數據集上驗證了所提方法的相關性，證明了在故障預測方面強不確定性量化基線的優越性。

然后，我們將學習過的置信度方法擴展到語義分割的領域適應任務中。一種流行的策略是自訓練，它依賴于在未標記的數據上選擇預測，并用這些偽標簽重新訓練模型。這種被稱為ConDA的自適應方法通過提供用于選擇偽標簽的有效置信度估計改進了自我訓練方法。為了應對領域適應的挑戰，我們為輔助模型配備了多尺度的置信度體系結構，并用對抗訓練方案補充置信度損失，以加強源域和目標域的置信度映射之間的對齊。最后，我們考慮了異常的存在，并解決了聯合檢測錯誤分類和非分布樣本的最終實際目標。為此，我們引入了一種基于證據模型并定義在類概率單形上的不確定性測度KLoS。通過保留完整的分布信息，KLoS既捕獲了由于類別混亂而產生的不確定性，又捕獲了與分布不均樣本相關的知識缺乏。通過使用輔助模型和學習置信方法，我們進一步提高了不同圖像分類數據集的性能。

人類學習本質上是多模態的。我們通過觀察、傾聽、閱讀和交流來學習和理解我們周圍的環境。機器學習領域已經取得了一些與人類活動相關的進展，如語音識別或計算機視覺，這使得對這種類人固有的多模態學習進行計算建模成為可能。多模態視頻理解作為一種機器學習任務，與這種學習形式很接近。本文提出將這個復雜的視頻理解任務分解為一系列相對簡單的任務，并增加復雜性。本文從語音識別的單調任務出發，介紹了一個端到端視聽語音識別模型。語音翻譯是一個更為復雜的任務，除了語音識別外，還需要處理重新排序的輸出序列，這也是本文的第二個任務。對于語音翻譯，我們引入了一個多模態融合模型，該模型學習以半監督的方式利用多視圖多模態數據。此外，我們還將繼續進行多模態視頻摘要和問題回答的任務，以解決抽象層次的理解任務，進一步涉及信息壓縮和重構。最后，我們將這項工作擴展到多模態自我理性化，不僅執行抽象層次的學習，而且還提供了對所獲得的視頻理解的解釋。針對這四個主要任務，我們根據任務的性質和復雜性，提出了一系列多模態融合模型，并在常用的視頻和語言理解數據集上對模型進行了比較和對比。

//lti.cs.cmu.edu/sites/default/files/palaskar%2C%20shruti%20-%20Thesis.pdf