亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，深度神經網絡（DNNs）在多種計算機視覺任務中取得了巨大進步，如圖像分類、對象檢測、語義分割等。然而，DNNs的重大成功是以大量密集標記的訓練圖像為代價的，這些訓練圖像的建立極其昂貴且耗時。一種繞開這種限制的方法是利用現有相關數據集（稱為“源域”）中的已標注圖像進行網絡訓練。不幸的是，在源域上訓練的DNNs在應用于“目標域”時往往會因為分布不匹配而導致性能急劇下降。在這種情況下，域間的遷移學習（或稱知識遷移）是可取且必要的。

在本論文中，我們探討了用于視覺識別的轉導性遷移學習，其中標記的源域數據和未標記的目標域數據的數據分布不同，而源任務和目標任務是相同的。更具體地，我們調查了三種代表性的轉導性遷移學習類型，包括域泛化、無監督域適應和無源無監督域適應。

在域泛化中，給定標記的源域數據，目標是學習一個泛化的視覺識別模型，該模型在未見過的目標域數據上表現良好。換句話說，域泛化旨在學習域不變特征（或可遷移特征），而無需在訓練中使用目標域數據。在本論文中，我們提出了一種新穎的域泛化方法，有效地在頻率空間隨機化源域圖像，鼓勵DNNs學習風格不變的視覺特征，以便在未見過的目標域中表現良好。

在無監督域適應中，給定標記的源域數據和未標記的目標域數據，目標是學習一個適應性的視覺識別模型，該模型在目標域數據上表現良好。與域泛化不同，在無監督域適應的遷移學習設置中，未標記的目標域數據在訓練期間是可訪問的。因此，無監督域適應主要關注于利用未標記的目標域數據來提高網絡性能。在本論文中，我們開發了四種新穎的無監督域適應技術，有效地將知識從標記的源域傳遞到未標記的目標域。更具體地，我們在未標記的目標域數據上設計了不同的無監督損失，以學習在目標域中表現良好的模型。 在無源無監督域適應中，給定一個源訓練模型和未標記的目標域數據，目標是適應源訓練模型以在未標記的目標域數據上表現良好。與無監督域適應不同，在無源無監督域適應的遷移學習設置中，標記的源域數據在訓練期間是不可訪問的，我們的目標是在不訪問源域數據的情況下適應源訓練模型以適應目標數據分布。在這樣的遷移學習設置下，唯一傳遞的信息是一個便攜的源訓練模型，這在很大程度上緩解了數據隱私、數據可攜帶性和數據傳輸效率的擔憂。為此，我們提出了一種新穎的無源無監督域適應方法，利用歷史源假設來彌補這種遷移學習設置中源域數據的缺失。 在各種視覺識別基準測試中的實驗結果表明，我們提出的遷移學習方法取得了卓越的性能，實現了跨不同域的DNNs的遷移。

能夠識別三維（3D）世界深刻影響了我們對物理環境的理解、可視化、交互和再創造。因其精確表示3D幾何結構的特點，點云數據在學術界和工業界獲得了顯著關注。同時，深度神經網絡（DNNs）已經在包括計算機視覺和自然語言處理在內的多個領域引發了革命。將點云與DNNs結合，催生了強大的深度點云模型，使得對3D世界的識別和理解得到了增強。然而，目前的DNNs點云識別模型嚴重依賴于大量密集標注的訓練數據，這種數據的獲取既費時又昂貴。這一限制阻礙了現有點云數據集的可擴展性，并妨礙了在不同任務和應用中的高效探索。本論文探討了點云識別的標簽高效學習，旨在在深度網絡訓練期間最小化標注工作，同時在點云識別中實現有效結果。研究聚焦于三個關鍵的標簽高效學習類別：數據增強、從合成數據到真實數據的領域遷移學習，以及從正常到惡劣天氣條件的領域遷移學習。通過這些代表性方法，我們旨在提高點云識別方法的效率和有效性。在標簽高效學習范式中，數據增強在擴展有限標注訓練數據的多樣性方面扮演著至關重要的角色，需要更少的標注點云來訓練準確的識別模型。在本論文中，我們引入了一種新穎的激光雷達點云增強技術，該技術在極坐標系中生成新幀，促進了在各種3D感知任務和場景中的模型訓練。從合成數據到真實數據的領域遷移學習利用了來自具有自動生成標簽的合成點云的知識，以提高深度模型在識別真實世界點云的性能。通過使用無限的合成標注點云，可以減少或消除真實點云中的人工標注，從而大大減輕了標注工作。在本論文中，我們首先創建了一個大規模的合成激光雷達點云數據集，具有精確的點對點注釋。基于這個數據集，我們提出了兩種新穎的方法，包括風格轉換和無監著域適應，以解決合成和真實激光雷達點云之間的領域差異，并促進合成到真實領域遷移學習。從正常到惡劣天氣數據的領域遷移學習旨在使用在正常天氣條件下捕獲的點云訓練出的強大識別模型，在多種惡劣天氣條件下表現良好。這一目標源于在注釋惡劣天氣點云時面臨的額外挑戰，因為它們與正常天氣數據相比，具有不同的幾何數據特性。我們探索了從正常到惡劣天氣點云的知識遷移，以減少惡劣天氣點云的大量手工注釋需求。為此，我們首先構建了一個大規模的惡劣天氣點云數據集，并進行了點對點的標注。隨后，我們提出了一種域泛化和聚合方法，這使得僅使用正常數據訓練的模型能夠有效應對各種惡劣天氣條件。通過在多種點云識別基準上進行的廣泛實驗表明，我們提出的標簽高效學習方法取得了卓越的性能。

點云是三維(3D)點的集合，準確地描述了物體或環境的形狀和幾何形狀。這種性質使它們高度適用于各種3D識別任務，包括3D形狀分析、3D目標檢測和3D語義分割。近年來，點云數據的三維采集技術得到了快速發展，各種三維傳感器在工業和日常生活中的應用越來越廣泛。例子包括自動駕駛汽車中的激光雷達傳感器，Kinect和蘋果產品等設備中的RGB-D相機，以及在各種重建任務中使用的3D掃描儀。同時，深度學習的顯著進步為點云識別領域做出了重要貢獻，涌現了大量深度點云結構和網絡。這兩者的同時，見證了利用點云來捕捉物體和場景的3D形狀表示的需求日益增加，從自主導航和機器人到遙感應用等。本節首先概述點云識別的進展，強調對相關任務進行標簽高效學習的必要性。回顧了標記高效點云學習的最新進展，重點關注三種關鍵類型的標記高效學習方法，這些方法大大減少了對大量人工標注工作的需要。這些方法包括數據增強、從合成點云到真實點云的域遷移學習，以及從正常天氣點云到不利天氣點云的域遷移學習。每一種方法都是根據其特定的數據前提條件以及在訓練魯棒點云識別網絡時減輕人工標注負擔的能力進行探索的。由于點云的非結構化和無序性，與二維視覺中的圖像識別相比，三維點云識別的深度學習具有獨特的挑戰，標準的卷積神經網絡無法直接應用于點云處理。PointNet[8]的出現，利用多層感知器(MLPs)，徹底改變了廣泛任務中的點云識別，如目標分類、部分分割和場景語義解析。此后，各種深度神經網絡架構，如圖神經網絡[9]和稀疏卷積網絡[10]，在3D形狀分類、3D目標檢測、3D語義分割等各類點云識別任務中取得了顯著進展。盡管深度學習在點云識別方面取得了顯著進展，但大多數現有研究嚴重依賴大規模、精確標注的3D數據進行網絡訓練。盡管大量訓練點云的收集已經變得更容易被接受，但由于數據的高度復雜性、點稀疏性的顯著變化、注釋過程中存在豐富的噪聲、遮擋和頻繁的3D視圖變化，注釋過程仍然是眾所周知的費力和耗時。點云標注的勞動密集型特性使得構建大規模點云數據集極其昂貴和耗時。這直接導致現有公共點云數據集的規模和多樣性有限，給開發跨各種應用的通用點云學習算法帶來了巨大挑戰。為了解決與點云注釋相關的負擔，一個有希望的解決方案是標簽高效學習——一種機器學習范式，以最少的注釋優先進行模型訓練，同時仍然實現所需的精度。標記高效的點云學習由于其重要性和較高的實用價值，近年來成為一個蓬勃發展的研究領域。各種標簽高效學習方法被研究，每種方法都有自己的數據需求和應用場景。本文研究了三種代表性的標記高效學習形式，即數據增強、從合成點云到真實點云的域遷移學習，以及從正常天氣到不利天氣點云的域遷移學習。1)數據增強涉及從現有樣本生成新的訓練數據，以增強訓練分布并促進網絡訓練。事實證明，當可用的標記訓練數據有限時，這種技術特別有利。2)從合成點云到真實點云的域遷移學習涉及利用合成點云來訓練識別模型。通過利用自動生成的標簽，該方法利用豐富的合成數據作為標注真實點云的替代方案。3)正常到惡劣天氣點云域遷移學習旨在通過對正常天氣條件下收集的標記數據進行訓練，建立魯棒的點云識別模型。這是至關重要的，因為在惡劣天氣中捕獲的點云存在很大的幾何失真和模糊性，這給標注帶來了重大挑戰。這三種標簽高效學習技術的廣泛探索，源于它們在各種3D視覺任務中的巨大潛力，包括形狀分類、實例檢測、語義分割等。

近年來，深度神經網絡架構在自然語言處理（NLP）領域取得了顯著成就。通過放大模型大小并在互聯網上可用的大量文本數據上進行自監督預訓練，即使在提供少量具體示例時，也解鎖了泛化和復雜推理能力。然而，NLP的大部分進展都是基于靜態學習范例進行的，其中模型在固定數據集上進行一次訓練以學習特定技能，并在此后保持固定。在本論文中，我們將注意力轉向NLP的交互式智能體，即與動態環境或用戶互動的基于語言的模型。在三個不同的應用領域，（i）基于文本的游戲，（ii）查詢重構，以及（iii）對話，我們調查并開發與不同形式的自適應環境互動的智能體。論文分為三部分，反映了三個應用領域。在第一部分，我們為基于文本的游戲開發了一個深度強化學習（RL）智能體，該智能體能夠在結構相似但帶有新對象和指令的游戲家族中進行泛化。第二部分重點關注查詢重構，我們從兩個角度進行研究。首先，我們考慮學習搜索問題，其中智能體被訓練為使用自然語言與信息檢索（IR）系統互動。觀察IR組件的結果，它調整初始用戶查詢并收集一個改進的證據文檔集。在此設置中，我們開發了兩個學習成功的交互式搜索策略的智能體：一個通過純強化學習訓練的模型，另一個通過（自我）監督學習。在隨后的章節中，我們將注意力轉向神經檢索模型，并為交互式查詢建議開發智能體。為此，我們訓練了一個查詢解碼器模型，該模型在共享段落-查詢嵌入空間中的給定點生成相應的文本形式的查詢。我們使用此解碼器生成方向性查詢細化的合成數據集，我們使用它來訓練一個強大的重構模型。在論文的最后部分，我們提出了不同的方法來開發對話智能體。我們建議模塊化對話模型的架構，以輸出隨后的模塊所基于的中間文本序列。首先，我們表明，在對話響應之前生成知識輸出作為中間步驟可以增加在開放域對話中的知識利用和事實正確性。接下來，我們開發了一個依次生成（i）搜索引擎查詢，（ii）知識輸出，以及（iii）最終響應的單一模型。我們表明，它在知識為基礎的對話上超越了先前的最先進的對話模型，并在主題提示完成上超越了具有大量參數的模型。最后，我們探討在部署后如何改進對話模型，并提出了一個目標，該目標允許在其生成的二進制標記示例上迭代訓練語言模型。

人工智能（AI）已經在多個領域引發了革命，包括諸如醫療健康等安全關鍵領域。它已經顯示出在醫學中利用各種類型的醫療數據構建診斷和預測模型的卓越潛力。然而，盡管具有潛力，但醫療AI發展和隨后在醫療系統中的采用存在兩個主要障礙：1）訓練能夠在有限標記數據量下表現良好的AI模型具有挑戰性。但是，籌備大規模標記數據集成本高昂；在某些情況下可能不可行；2）即使經過充分驗證和測試，表現出色的先進模型在部署時可能無法推廣到新患者，而且在分布變化下可能變得脆弱。這降低了對模型能力的信任，并限制了它們進入臨床實踐的采用。在本論文中，我通過提出三項不同的工作來解決醫療AI發展和部署中的上述障礙，即穩健性、數據效率和模型信任，以改進各種模態的當前最先進技術。在論文的第一部分，我提出了觀察性監督，這是一種新穎的監督范式，我們在其中使用被動收集的輔助元數據來訓練AI模型。我使用觀察性監督來解決使用有限訓練數據進行臨床結果預測時的主要挑戰。臨床結果預測模型可以改善醫療護理并輔助臨床決策，但通常只提供有限的訓練數據，導致模型能力狹窄且泛化能力降低。審計日志通常是電子健康記錄（EHR）系統中被低估的、被動收集的數據源，它們捕獲了臨床醫生與EHR的互動，并代表了觀察信號。我們提出的方法是利用觀察性監督來結合臨床數據，使用審計日志改進了兩種臨床重要疾病（急性腎損傷和急性缺血性中風）的AI模型的性能和穩健性，即使有限的標記訓練數據。

在論文的第二部分，我提出了針對自監督基礎模型的領域特定增強策略，以實現大規模、標簽高效的AI模型訓練。我解決了模型穩健性和標簽效率的主要挑戰。基礎模型范式涉及使用自監督方式預訓練模型，然后將預訓練模型調整為不同的下游任務。基礎模型為以標簽高效的方式提高模型穩健性提供了機會。輸入的增強或轉換對于基礎模型的成功至關重要；然而，醫學圖像與自然圖像非常不同，需要專門的增強策略。我們提出的醫學圖像增強策略導致了領域特定的基礎模型，提高了胸部X射線分類的性能，能夠泛化到未見的人群和有限標簽的分布外數據。在論文的第三部分，我提出了TRUST-LAPSE，一種可解釋、事后和可操作的連續AI模型監控信任評分框架。我解決了模型信任的主要挑戰。盡管模型在測試集上表現出色，但需要無標簽、連續的模型監控，以量化對其預測的信任，以確保安全可靠的部署。目前，用于此目的的技術包括經典不確定性估計、信心校準和貝葉斯網絡，并存在一些限制。我們提出的信任評分框架TRUST-LAPSE克服了這些限制，能夠以高準確性（最先進的性能）確定部署模型的預測何時可以和何時不可以信任，能夠識別模型在訓練期間未見的類別或數據分布變化，并能夠適應各種類型的輸入數據（視覺、音頻和臨床腦電圖）。綜合這些工作為發展和部署穩健、數據高效和可信任的醫療AI模型以改善臨床護理鋪平了道路。

1.1 醫療健康與人工智能 美國和全球的醫療健康需要改進。目前，僅在美國，我們每年花費超過4萬億美元用于醫療健康 [2]。事實上，超過一半的醫生感到過度疲勞 [3]，其中近三分之二的時間都用在了繁瑣的文書工作上 [4]。大流行病只是加劇了已經緊張的工作流程，暴露出臨床護理質量的低效和不足。可預防的住院費用幾乎為三百萬美元 [5]，而因醫療錯誤導致的死亡人數超過了25萬 [6]。因此，醫療系統的各個方面都需要改進，包括減輕臨床醫生的負擔，使醫療健康變得負擔得起，并提高所有患者群體的醫療健康獲取和質量。 人工智能（AI）可以解決上述若干挑戰。現代AI方法，如機器學習和深度學習，其中一個模型通過統計優化受基礎數據啟發，特別在醫療健康領域顯示出了潛力 [7, 8, 9]。這種現代AI方法是由大量高質量標記數據支持的。訓練AI模型的第一步是收集這些大量數據并對其進行標記。通常，每個數據都與一個標簽或目標相關聯，模型必須預測該標簽。標簽可以是模型將要預測或檢測的結果（分類）；可以是描繪病變、器官或區域的分割；或者是實數風險評分（回歸）。例如，從胸部X射線圖中識別不同患者的病情的模型將需要圖像標簽對，標簽指示圖像中存在的疾病（如肋骨骨折、肺炎等）。從通過腦電圖（EEG）記錄的腦電活動中檢測癲癇的模型將需要許多EEG剪輯-標簽對，標簽指示EEG剪輯中是否存在癲癇活動。確定患者未來是否可能經歷臨床結果的模型需要患者臨床數據-標簽對，標簽指示患者是否經歷了該結果。模型經過不同的訓練和優化策略來預測給定數據樣本的標簽。然后，通常會在經過充分策劃的測試集上對訓練模型進行驗證和測試。在模型經過充分訓練和嚴格評估之后，它將被部署以在現實世界中為新數據進行預測。在此部署階段，需要持續監控模型，以確保其性能符合預期，如果不符合預期，則需要進一步開發和改進。圖1.1顯示了AI開發的完整生命周期，直至部署階段。

在我的論文中，我通過以下方式解決了醫療AI開發和部署中的上述障礙：(a) 開發了新穎的觀察性監督技術，以改善模型在有限的訓練數據下的性能和穩健性，(b) 開發了專門的領域特定增強策略，用于自監督基礎模型，以提高模型在有限的訓練標簽下的性能和穩健性，(c) 開發了一個框架，用于在數據分布發生變化時檢測模型預測何時可信以及何時不可信，以實現在部署后監測模型的可信度。 我將開發穩健、數據高效和可信任的醫療AI的總體目標組織為三個具體的目標，針對不同情景和不同下游臨床應用，其數據（和標簽）可用性各不相同。圖1.2顯示了本論文所探討的三個基本問題的摘要。 觀察性監督 具體目標1：開發觀察性監督策略，以提高模型性能和穩健性，針對兩個重要的臨床結果預測問題，這些問題通常涉及有限的訓練數據。

重要的臨床結果預測問題，如預測急性腎損傷患者是否會在重癥監護入院后的120天內經歷嚴重腎臟事件（MAKE-120），以及預測急性缺血性中風患者是否會在出院后的30天內再次入院，通常涉及到有限的訓練數據，即較小的患者隊列。我們提出觀察性監督，這是一種新穎的范式，在這個范式中，模型使用臨床數據與電子健康記錄（EHR）系統中記錄的被動收集的觀察信號進行訓練。通過利用這些輔助元數據，觀察性監督可以提高在有限的臨床訓練數據下模型的性能。

? 目標1.1：我們為急性腎損傷患者（AKI隊列）和急性缺血性中風患者（中風隊列）創建患者隊列，并從EHR中提取這些患者隊列的臨床和審計日志數據。

? 目標1.2：我們對急性腎損傷患者的MAKE-120預測和中風患者的30天再入院預測分別進行了帶有和不帶有觀察性監督的模型訓練。

? 目標1.3：我們通過接收操作特征曲線下面積（AUROC）來嚴格評估這兩個模型的結果預測性能。 ? 目標1.4：我們研究了在訓練具有和不具有觀察性監督的模型時，對數據中潛在的時間分布變化的穩健性。 領域特定基礎模型 具體目標2：開發專門的增強策略，以提高醫學圖像分類的模型性能、穩健性和標簽效率，當有大量未標記數據可用于訓練，但只有其中一部分被標記。 近年來，已經付出了大量努力來籌備用于醫學圖像分類的公共大規模數據集，尤其是胸部X射線分類。然而，獲取高質量（即由專家制作的）標簽是昂貴的，導致了有限數量的高質量標簽。迄今為止，提出的用于胸部X射線分類的模型對不同類型的分布變化敏感，對來自不同醫院和人群的數據，以及不同類別分布和類別不平衡表現出性能下降。為了解決這些挑戰，我們專注于大規模基礎模型，這些模型是以自監督的方式預訓練的（無需標簽），并具有各種成對增強策略。 ? 目標1.1：我們使用通常用于自然圖像的各種基線增強策略來預訓練基礎模型。 ? 目標1.2：我們為胸部X射線分類任務開發了專門的預訓練基礎模型增強策略。 ? 目標1.3：我們對使用每種增強策略預訓練的基礎模型在下游胸部X射線分類性能上進行了嚴格評估。 ? 目標1.4：我們嚴格評估了這些模型對數據分布變化的穩健性，使用來自不同醫院、不同疾病分布、不同少數類別和不同圖像質量的數據。 TRUST-LAPSE 具體目標3：開發一個用于連續模型監控的框架，以便在部署后檢測經過訓練的模型的預測何時不可信，并在部署前檢測模型自身何時不可信。

即使經過良好的訓練和評估，模型在部署后的若干情況下也可能無法給出正確的輸出，從而降低了對其能力的信任。因此，需要一個連續模型監控框架，可以檢測模型的預測何時可信，何時不可信，以及何時模型自身對所有預測都不可信。我們提出了TRUST-LAPSE，一個用于連續模型監控的（不）信任評分框架，以為模型部署提供這些功能。 ? 目標1.1：我們確定了連續模型監控系統的要求，并將信任確定為一個數學問題，其中生成信任分數，指示模型的預測可信度程度，以及預測。 ? 目標1.2：我們開發了一種新穎的信任評分框架TRUST-LAPSE，在該框架中，使用模型引發的潛在空間中的互補指標來確定對預測的信任，并使用這些指標的序列來建立對模型自身的整體信任。 ? 目標1.3：我們制定了一種評估策略，以測試系統在三個不同數據領域（視覺、音頻和臨床時間序列）上的性能。 ? 目標1.4：我們嚴格評估了該框架在區分可信樣本和不可信模型輸出以及在何時識別模型自身變得不可信方面的能力，與強基線進行了比較。

超分辨率在醫學成像中起著至關重要的作用，因為它提供了一種在不增加額外獲取成本的情況下實現高空間分辨率的替代方法。在過去的幾十年中，深度神經網絡的迅速發展確保了高重構保真度和逼真的超分辨率圖像生成。然而，在醫學領域仍然存在挑戰，這需要新的網絡架構、訓練技巧和SR圖像評估技術。本論文專注于對各種具有挑戰性放大比例的醫學圖像進行監督單圖像超分辨率任務的主干網絡。除了整合為自然圖像設計的廣泛方法外，我還在基于卷積神經網絡、生成對抗網絡和視覺變換器的端到端框架中探討漸進學習、對抗性學習和元學習，以實現穩健的醫學圖像超分辨率。除了一般的圖像質量評估外，還實施了針對特定任務的客觀和主觀評價指標，以進行全面的比較。具體而言，所提出的方法包含三個方向，實現了在多種醫學圖像模式上的最先進性能。

首先，我在具有挑戰性放大比例（即x4）的超分辨率任務中實施漸進和對抗性學習，以產生感知逼真的紋理。我提出了一個基于CNN的多尺度超分辨率圖像生成器，將復雜的映射問題分解為更簡單的子問題，以避免過度平滑結構信息并在超分辨率圖像中引入非逼真的高頻紋理。此外，它還涉及到一個以病變為中心的訓練策略和一個基于Wasserstein距離的高級對抗性損失，以實現更高效和穩定的訓練。這種提出的方法顯著提高了生成圖像的感知質量，在大腦和心臟磁共振圖像的實驗中實現了與經驗豐富的放射科醫生的地面真實高分辨率圖像相當的主觀分數。它在2019年競爭了醫學圖像超分辨率的最先進的感知質量，并成為基于GAN的醫學圖像研究的先驅，具有持久的影響。

其次，我將元學習和遷移學習引入到GANs中，以實現具有任意比例（例如（1,4]）的高效和穩健的醫學圖像超分辨率。在后上采樣框架中，我實現了一個基于EDSR的輕量級網絡，用于高效的低分辨率特征提取，以及一個用于無尺度特征圖上采樣的權重預測模塊。與現有的SISR網絡相比，該框架支持非整數放大，沒有預處理/后處理的不良影響。具體而言，這種方法具有比SOTA方法少得多的參數，實現了相當的重構精度和客觀感知質量性能。此外，我還將一個醫學圖像數據集（即大腦MRI）的預訓練SR模型穩健地遷移到各種新的醫學模式（例如胸部CT和心臟MR）上，只需進行少量的微調步驟。此外，還進行了詳盡的消融研究，以討論感知-失真權衡，并說明殘余塊連接、超參數、損失組件和對抗性損失變體對醫學圖像超分辨率性能的影響。

最后，我提出了一個具有殘余密集連接和局部特征融合的高效視覺變換器，以實現醫學模式的優越單圖像超分辨率性能。由于信息流的改進，這種CNN-變換器混合模型具有更少的訓練計算要求和先進的表示能力。同時，我實施了一個具有手動控制的通用感知損失，以通過結合醫學圖像分割的先驗知識來改善所需的圖像質量。與四個公共醫學圖像數據集上的最先進方法相比，所提出的方法實現了七種模式中六種模式的最佳PSNR分數，參數僅為SwinIR（最近的SOTA方法）的38％。另一方面，基于分割的感知損失平均增加了+0.14 dB PSNR，用于流行的超分辨率網絡，無需額外的訓練成本。此外，我還討論了視覺變換器在CNN和GAN之上表現出色的潛在因素，以及在全面的消融研究中網絡和損失函數組件的影響。

總之，這篇論文代表了我在應用深度神經網絡進行穩健的醫學圖像超分辨率任務方面的研究貢獻，包括高效的網絡架構、廣泛適用的訓練技術和具有臨床意義的圖像質量評估。在出版時，這些提出的方法在各種公共和私有醫學圖像數據集的模擬實驗中表現出最先進的性能。這些算法有可能在醫院中應用于先進的臨床流程，具有適當的特定案例修改和補充技術。此外，超分辨率的新方法和發現還可能有助于其他低級圖像處理任務，而討論和消融研究提供了令人興奮的未來研究方向。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

新的學習算法提高了我們僅通過觀察單個事件的過去觀察來獲取知識的能力，使我們能從觀察幾個相關事件中學習。這種在時間序列中利用共享有用信息的能力正在引起時間序列預測實踐的范式轉變。然而，基于機器學習的預測仍面臨著一些迫切的挑戰，這些挑戰限制了其可用性、有用性以及可實現的現實世界的影響，包括人類的可解釋性、利用結構化信息的能力、泛化能力和計算成本。本論文通過彌合機器學習和經典統計預測方法之間的差距來解決這些挑戰。我們按照以下方式組織了論文。我們介紹了時間序列預測任務，并附帶了現代預測模型、它們的優化以及預測評價方法的簡要回顧。在接下來的章節中，我們通過三個案例研究來介紹我們的方法。首先，我們將時序分解分析啟發的可解釋性能力增強到最先進的神經預測算法中，并在短期電價預測任務中展示了其應用。其次，我們通過一種新穎的受小波啟發的算法，在長期預測設置中提高神經預測的泛化和計算效率，該算法按順序組裝其預測，強調具有不同頻率和尺度的組件。第三，我們通過增強神經預測架構，使用一種專門的概率混合物，能夠在其構造中融入聚合約束，來解決分層預測任務，這是一個具有線性聚合約束的回歸問題。我們的方法在每個考慮的領域中都提高了現有技術的最高水平。

時間序列預測問題涉及到許多領域，從金融和經濟到健康保健分析。隨著數據生成的增加，預測需求已從需要預測少量時間序列演變為預測數千甚至數百萬個時間序列。從數據中提取可推廣的統計模式一直是生成預測的最可靠方法。這就是為什么機器學習已經成為了這項任務最成功的方法之一。在大數據環境下，深度學習（LeCun等人，2015）因為其在最近的預測競賽中的成功（Makridakis等人，2020a；Makridakis等人，2021）而變得越來越受歡迎，其已經改變了現有的最高水平。深度學習的優點包括：1.預測準確性：全局模型同時適應相關時間序列的歷史數據，允許其在它們之間分享信息；這有助于訓練高參數化和靈活的模型，這通常會轉化為更準確的預測，這種技術被稱為交叉學習（Makridakis等人，2020a）。相比于經典方法，該模型能夠為幾乎沒有歷史數據的項目提供預測。2.預測流程的簡化：深度學習框架能夠自動化數據集的特征化，同時其表示具有更長的記憶。使用全局模型大大簡化了數據管道，并使過程更高效。雖然訓練時間比其他方法更長，但深度學習技術在數據特征化過程中能夠補償這一點，這通常非常快。已經嘗試了許多方法和想法進行預測，成功程度各不相同。不同的算法有其優點和缺點，復雜性不同，發展機會和挑戰也不同。機器學習有巨大的潛力來提升預測系統，然而一些限制阻礙了其采用，其中我們認為最主要的是缺乏可解釋性，處理大量數據或長期預測時的計算可擴展性。受到機器學習預測系統的可解釋性和計算成本限制的驅動，在這篇論文中，我們以以下問題為指導進行工作：能否將經濟計量學和統計創新結合起來，以提高基于機器學習的預測的可用性、有用性和現實世界的影響？

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。

本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。

論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

過去的十年見證了深度學習(DL)應用數據量的巨大增長。因此，深度神經網絡(DNNs)的訓練時間過長已經成為機器學習(ML)開發者和研究者的瓶頸。例如，在8個P100 gpu上完成90-epoch ImageNet/ResNet-50的訓練需要29個小時。在16個v3 TPU芯片上完成BERT預訓練需要81小時。本文主要研究的是快速準確的ML訓練。盡管生產團隊希望充分利用超級計算機來加速訓練過程，但傳統的優化器無法擴展到數千個處理器。在本論文中，我們設計了一系列基本的優化算法來提高DL系統的并行度。我們的算法為谷歌、英特爾、騰訊、英偉達等最先進的分布式系統提供支持。本文的重點是彌合高性能計算(HPC)和ML之間的差距。

在2017年HPC和ML之間有很大的差距。一方面，我們擁有強大的超級計算機，每秒可以執行2x10^17個浮點運算。另一方面，我們甚至不能充分利用1%的計算能力來訓練一個最先進的機器學習模型。原因是超級計算機需要極高的并行度才能達到其峰值性能。然而，高并行性導致ML優化器的收斂性很差。為了解決這個問題，我和我的合著者提出了LARS優化器、LAMB優化器和CA-SVM框架。這些新方法使ML訓練擴展到數千個處理器而不會失去準確性。在過去的三年里，我們觀察到ResNet-50的訓練時間從29小時下降到67.1秒。事實上，自2017年12月以來，所有最先進的ImageNet訓練速度記錄都是由LARS創造的。LARS在MLPerf v0.6中成為行業指標。此外，即使沒有超級計算機，我們的方法也比現有的求解器要快。如果我們固定訓練預算(例如1個GPU 1小時)，我們的優化器可以達到一個更高的精度比最先進的基線。