亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在許多任務中，神經網絡和深度學習的預測能力目前都很出色。因此，這項技術被應用于各種各樣的應用中，在我們的日常生活中發揮著重要作用。因此，這項技術的潛在改進已經成為一個更加重要的話題。**在本文中，我們致力于改進深度學習模型的兩個重要方面;表示預測的不確定性以及對大量計算和資源的內在需求的能力。我們通過介紹和陳述本文要回答的兩個主要研究問題來開始這項工作。我們進一步為本文將使用的主要技術提供必要的背景知識。本文描述了神經網絡和貝葉斯神經網絡，即其參數(又稱權重和偏差)是隨機的，并由概率分布控制的神經網絡，而不是固定的，以及(變分)貝葉斯推理，一種根據觀測數據更新參數概率分布的方法。**通過剪枝(pruning)和量化(quantization)簡要介紹了神經網絡壓縮和量化(quantization)，前者通過顯式設置為零來刪除不相關的參數和網絡的部分內容，后者以硬件友好的格式(如定點)表示網絡的權重和中間表示的數值。

**本文的第一部分描述了提高神經網絡不確定性估計能力的三個貢獻。前兩者圍繞著在我們觀察數據時，通過更好地逼近其參數的概率分布來提高變分貝葉斯神經網絡的不確定性質量。**本文提出一種簡單的方法，通過矩陣變量高斯分布在神經網絡權重之間引入線性依賴;它們是隨機矩陣上的分布，可以很容易地對每層中的輸入和輸出神經元之間的相關性進行建模，這種能力會導致性能的提高，正如我們實驗表明的那樣。提出了乘歸一化流，這是一個通用框架，引入了網絡參數之間的非線性依賴關系。這是通過結合輔助隨機變量和參數化雙射來實現的，以一種允許每層權重之間靈活的相關性，同時仍然是計算可處理的。實驗表明，與之前工作的簡單高斯變分近似相比，不確定性質量得到了提高。這部分的最后一個貢獻對應于功能神經過程，一個采用不同視角的模型;它不是假設概率分布并對神經網絡權值進行(變分)推理，而是采用隨機過程的建模框架，從而假設概率分布并對神經網絡的函數空間進行推理。這有一個額外的好處，即更容易的推理和更直觀的建模任務，因為它允許我們推理數據集中點之間的關系，通過引入一個“參考”點集，而不是不可解釋的神經網絡參數來實現。實驗表明，這種模型提供了更好的不確定性質量，同時保持了可比的預測性能。

**第二部分介紹了三種新的壓縮技術，它們可以讓我們學習更小、更快的神經網絡，從而減少所需的計算量和資源。**第一個貢獻對應于貝葉斯壓縮，這是一種變分貝葉斯推理過程，通過對網絡參數進行精心選擇的概率分布，可以通過聯合修剪和量化來揭示高性能和計算高效的架構。雖然這種方法可能導致高度壓縮的架構，但它缺乏對特定任務或問題進行修剪或量化的細粒度自適應。因此，其他兩項貢獻旨在分別處理剪枝和量化。第二個貢獻對應于一種新的L0范數優化方法，L0范數是神經網絡稀疏性的黃金標準。本文提出一種通用技術，通過適當數量的噪聲，可以對不可微L0范數進行基于梯度的優化。實驗表明，這種方法可以產生準確和高度稀疏的模型，同時它可以通過條件計算和適當的軟件進行稀疏訓練，這也可以促進更快的訓練。最后，為了最后的貢獻，我們采用類似的思想并引入松弛量化;基于梯度的優化過程，允許學習神經網絡，其中參數和激活位于(自適應)量化網格上。經驗表明，這允許在大規模任務中訓練準確的神經網絡，同時每權重和激活只需4位。最后，對研究問題進行了回答，同時討論了所提出方法的缺陷和缺點，并指出了有希望的研究方向。

統計檢驗是統計學的主要問題之一，在工程、信號處理、醫學、金融等領域有著廣泛的應用。傳統的假設檢驗問題中，需要檢驗的假設分布是已知的。然而，在實踐中，真實的分布很難獲得。本文研究了具有未知分布的假設檢驗問題。在本文的第一部分中，我們考慮了獨立分布和馬爾可夫來源之間的不匹配二元假設檢驗問題。我們分析了當產生觀測值的實際分布不同于在復合設置中的似然比檢驗、順序概率比檢驗和Hoeffding的廣義似然比檢驗中使用的分布時，成對誤差概率指數之間的權衡。當真實分布在檢驗分布的一個小散度球內時，我們定義了每個檢驗相對于匹配誤差指數的最壞情況誤差指數。此外，我們考慮了對手篡改觀測數據的情況，同樣是在觀測類型的發散球內。實驗表明，這些測試對分布失配比對抗性觀察篡改更敏感。在本文的下一部分中，我們提出了一個內曼-皮爾遜設置中的復合假設檢驗，其中零分布是已知的，替代分布屬于某個分布族。該檢驗在Hoeffding檢驗和似然比檢驗之間進行插值，實現了家族中每個分布的最優誤差指數權衡。此外，所提出的測試表明可以獲得

的第I類錯誤概率預因子，其中

是投影到以零分布為中心的相對熵球上的分布族的維數。這可以顯著小于由Hoeffding’s檢驗實現的預因子

，其中d是概率單純形的維度。此外，所提出的測試實現了家族中每個分布的最優

型錯誤概率預因子。 最后，考慮了二分類內曼-皮爾遜分類的通用分類，其中零分布是已知的，而備用分布只有一個訓練序列。該分類器在Hoeffding’s分類器和似然比測試之間進行插值，并獲得與似然比測試相同的錯誤概率預因子，即當兩個分布都已知時，具有相同的預因子。此外，與Hoeffding的通用分類器一樣，當訓練樣本與觀測樣本之比超過某一值時，該分類器可以通過似然比檢驗獲得最優的誤差指數折衷。本文提出了訓練與觀測比的上界和下界。此外，我們提出了一個序列分類器，以達到最優的錯誤指數折衷。我們還考慮了在尼曼-皮爾遜(Neyman-Pearson)環境下兩個分布都未知時的極小極大設置下的分類問題。本文提出的分類器，可以漸進地在ii型和i型錯誤指數之間實現預定的比例。

//www.repository.cam.ac.uk/handle/1810/345452

貝葉斯不確定性的量化是許多機器學習應用的關鍵元素。為此，開發了近似推理算法[176]，以相對較低的成本執行推理。盡管最近將近似推理擴展到"大模型×大數據"機制取得了進展，但仍存在許多公開挑戰。例如，如何正確地量化復雜、不可識別的模型(如神經網絡)的參數不確定性?如何正確處理由缺失數據引起的不確定性，并以可擴展的方式進行學習/推理?此外，如何優化地收集新信息，使缺失數據的不確定性進一步減少，從而做出更好的決策?本文對這些研究問題提出了新的研究方向和新的技術貢獻。本文分為兩個部分(主題A和主題B)。在主題A中，我們考慮在監督學習設置下量化模型的不確定性。為了克服參數空間推理的一些困難，本文提出了一個新的研究方向，稱為函數空間近似推理。也就是說，通過將監督概率模型視為隨機過程(對函數的度量)，我們現在可以通過另一類(更簡單的)隨機過程來近似預測函數的真實后驗。為函數空間推理提供了兩種不同的方法，并證明它們返回更好的不確定性估計，以及在復雜模型上改進的經驗性能。在主題B中，我們考慮了無監督學習環境下缺失數據不確定性的量化。本文提出一種基于深度生成模型的缺失數據不確定性量化新方法。它允許我們擺脫傳統方法的計算負擔，并執行準確和可擴展的缺失數據填補。此外，利用生成模型返回的不確定性估計，提出了一個信息論框架，用于高效、可擴展和個性化的主動信息獲取。這使我們能夠最大限度地減少缺失數據的不確定性，并根據新信息做出改進的決策。

**人類通過被動觀察和主動互動來學習世界的心理模型，從而在環境中導航。他們的世界模型允許他們預測接下來可能發生的事情，并根據潛在的目標采取相應的行動。**這樣的世界模型在自動駕駛等復雜環境的規劃方面具有強大的前景。人類司機或自動駕駛系統用眼睛或相機感知周圍環境。他們推斷出世界的一種內部表示應該:(i)具有空間記憶(例如遮擋)，(ii)填充部分可觀測或有噪聲的輸入(例如被陽光蒙蔽時)，以及(iii)能夠概率地推理不可觀測的事件(例如預測不同的可能的未來)。它們是具身的智能體，可以通過其世界模型在物理世界中預測、計劃和行動。本文提出一個通用框架，從攝像機觀察和專家演示中訓練世界模型和策略，由深度神經網絡參數化。利用幾何、語義和運動等重要的計算機視覺概念，將世界模型擴展到復雜的城市駕駛場景。**在我們的框架中，我們推導了這種主動推理設置的概率模型，其目標是推斷解釋主動代理的觀察和行動的潛在動力學。**我們通過確保模型預測準確的重建以及合理的操作和過渡來優化日志證據的下界。首先，我們提出了一個模型，預測計算機視覺中的重要量:深度、語義分割和光流。然后，我們使用三維幾何作為歸納偏差在鳥瞰空間中操作。我們首次提出了一個模型，可以從360?環繞單目攝像機鳥瞰動態代理的概率未來軌跡。最后，我們展示了在閉環駕駛中學習世界模型的好處。我們的模型可以聯合預測城市駕駛環境中的靜態場景、動態場景和自我行為。我們表明，學習世界模型和駕駛策略可以生成超過1小時的預測(比訓練序列大小長2000倍)。

機器學習最近被提出用于各種醫療應用。特別是基于深度神經網絡的方法已經被發現在各種分類任務中取得了最先進的性能。然而，許多此類研究使用簡化的分類系統，例如，在糖尿病視網膜病變的分類中，使用可參考/不可參考系統。此外，使用臨床分類系統的研究沒有考慮到分類器的不確定性，這在醫學領域是最重要的。此外，對于一些具有挑戰性的任務，如下頜管的自動分割，尚未進行自動分割算法的廣泛分析，包括與多個放射科醫生分割的觀察者間變異性的比較。機器學習算法還應該能夠根據當地醫院的數據進行訓練，這可能會產生與可用訓練數據量有關的問題。 本文考慮使用芬蘭醫院數據對醫療保健中的各種任務進行機器學習。深度卷積神經網絡(CNNs)用于糖尿病視網膜病變和黃斑水腫的臨床嚴重程度分級。此外，系統研究了近似貝葉斯深度學習方法對糖尿病視網膜病變臨床數據的不確定性分類。在不確定分類的推薦和拒絕選擇分類之間建立聯系，并用于開發一種新的不確定性度量。本文還將介紹一種CNN方法，用于在圓錐束計算機斷層掃描體積中分割下頜管。然后，將該方法與多個放射科醫師對根管分段的觀察者間變異性進行比較。最后，本文將研究用于極低出生體重新生兒死亡率和發病率預測的多種機器學習方法。 結果表明，即使是相對較小的一組芬蘭醫院數據，也可以利用臨床分類系統訓練糖尿病視網膜病變和黃斑水腫分類的深度學習分類器。近似貝葉斯神經網絡和推導出的新型不確定度測度可用于準確估計臨床糖尿病視網膜病變分類的不確定度。研究表明，深度學習方法為下頜管分割任務設置了一種新的最先進的方法，并且發現它在定位管時的變動性低于四個放射科醫生的觀察者間變動性。結果表明，隨機森林分類器在預測新生兒死亡率和發病率方面優于其他方法。

設計具有不確定性的深度學習模型，使其能夠在預測的同時提供合理的不確定性，一直是部分機器學習社區的目標。從業者也經常需要這樣的模型。最普遍和最明顯的方法是采用現有的深層架構，并嘗試將現有的貝葉斯技術應用于它們，例如，將神經網絡的權重作為貝葉斯框架中的隨機變量處理。本文試圖回答這個問題: 現有的神經網絡架構是獲得合理不確定性的最佳方式嗎?在本文的第一部分，我們提出了在對抗環境下貝葉斯神經網絡的不確定性行為的研究，這表明，雖然貝葉斯方法在數據分布附近的確定性網絡上有顯著的改進，但外推行為是不受歡迎的，因為標準神經網絡架構在結構上偏向于自信外推。基于此，我們探索了兩種標準深度學習架構的替代方案，試圖解決這一問題。首先，我們描述了一種新的膠囊網絡生成公式，它試圖通過對場景結構的強假設來將結構強加到學習任務中。然后，我們使用這個生成模型來檢查這些潛在的假設是否有用，并論證它們實際上存在重大缺陷。其次，我們探索了bilipschitz模型，這是一種解決深度神經網絡中確保先驗回歸這一更有限目標的體系結構。這些方法基于深度核學習，試圖通過使用最終分類層來控制神經網絡的行為，當與支持向量集的距離增加時，分類層會恢復到先驗值。為了在使用神經特征提取器的同時保持這一特性，我們為這些模型描述了一種新的“bilipschitz”正則化方案，該方案基于通過施加由可逆網絡上的工作激發的約束來防止特征崩潰。我們描述了這些模型的各種有用的應用，并分析了為什么這種正則化方案似乎仍然有效，即使它背后的原始動機不再成立，特別是在特征維度低于輸入的情況下。我們的結論是，雖然膠囊網絡可能不是一個有前途的方向，但本文最后部分討論的模型是未來研究的一個富有成果的領域，在許多應用中作為標準貝葉斯深度學習方法的一個有前途的潛在替代方案。

正則最優傳輸理論作為一種處理和比較概率測度的通用工具，在機器學習領域受到越來越多的關注。基于熵的正則化，被稱為Sinkhorn散度，在廣泛的應用中被證明是成功的:作為聚類和重心估計的度量，作為領域適應中傳遞信息的工具，以及作為生成模型的擬合損失，僅舉幾例。鑒于這一成功，研究此類模型的統計和優化特性是至關重要的。這些方面有助于設計新的和有原則的范式，有助于進一步推進該領域。然而，基于熵最優輸運的估計量的漸近保證問題卻較少受到關注。

在這篇論文中，我們針對這些問題，集中在三個主要設置，熵最優傳輸已被使用:學習直方圖在監督框架，重心估計和概率匹配。我們提出了第一個在有監督的情況下學習Sinkhorn損失的一致估計，有明確的超額風險界限。我們提出了一個新的Sinkhorn質心算法，處理具有可證明的全局收斂保證的任意概率分布。最后，我們用Sinkhorn散度作為損失函數來處理生成模型:我們從建模和統計的角度分析潛在分布和生成器的作用。我們提出了一種聯合學習潛在分布和生成器的方法，并刻畫了該估計量的泛化性質。總之，在這項工作中開發的工具有助于理解熵最優輸運的理論性質及其在機器學習中的通用性。

摘要

在過去的幾年里，深度學習和醫學的交叉點取得了快速的進展，特別是在醫學圖像的理解方面。在這篇論文中，我描述了三個關鍵方向，它們為醫學圖像理解的深度學習技術的發展帶來了挑戰和機遇。首先，討論了專家級醫學圖像理解算法的開發，重點是遷移學習和自我監督學習算法，旨在在低標記醫學數據設置中工作。其次，討論了高質量數據集的設計和管理及其在推進算法開發中的作用，重點是使用有限手動注釋的高質量標簽。第三，討論了醫學圖像算法的真實世界評估，以及系統分析臨床相關分布變化下的性能的研究。總之，本論文總結了每個方向的關鍵貢獻和見解，以及跨醫學專業的關鍵應用。

圖：CheXpert 任務是預測來自多視圖胸片的不同觀察結果的概率。

圖：對比學習最大化同一胸部 X 射線圖像的不同增強所生成嵌入的一致性。

引言

未來幾年，人工智能 (AI) 有望重塑醫學。人工智能系統將常規用于早期檢測疾病、改善預后并提供更成功的個性化治療計劃，同時節省時間和降低成本。在不久的將來，可以讀取胸部 X 光片或組織病理學切片的算法將為醫生管理工作清單，為無需亞專業培訓的臨床醫生提供決策支持，并為人工智能驅動的遠程醫療服務提供支持。在醫院之外，人工智能技術將用于持續監測數百萬患者的健康狀況，并以前所未有的規模將患者安排就診和跟進。

近年來，深度學習是一種人工智能形式，其中神經網絡直接從原始數據中學習模式，在圖像分類方面取得了顯著成功[128]。因此，醫學 AI 研究在嚴重依賴圖像理解的專業領域蓬勃發展，例如放射學、病理學和眼科 [137]。過去幾年，算法的進步和數據集的創建推動了這一進步。在算法方面，卷積神經網絡架構和訓練程序的改進使醫學成像應用取得了進展。此外，這些算法的成功得益于對用于醫學成像的大型標簽數據集的管理。一些 AI 工具已經從測試轉向部署，清除了監管障礙并贏得了行政支持 [20]。批準公共保險報銷費用的醫療保險和醫療補助服務中心通過允許一些用于醫學圖像診斷的人工智能工具的首批報銷，促進了人工智能在臨床環境中的采用 [69]。然而，在回顧性數據集上成功理解醫學圖像的深度學習算法的數量與轉化為臨床實踐的數量之間仍然存在很大差距 [116]。

本論文提出，廣泛部署用于醫學圖像理解的深度學習算法存在三個關鍵技術挑戰。該領域面臨的第一個挑戰是，當前算法的開發側重于解決需要大量干凈數據的狹窄任務，而不是解決醫學中常見的具有噪聲或有限標簽數據的更廣泛任務。該領域面臨的第二個挑戰是用于訓練和驗證模型的數據集是小型、嘈雜和同質的，而不是大型、高質量和異構的。該領域面臨的第三個挑戰是，當前的研究在訓練算法的數據集分布的背景下驗證算法，而臨床部署需要在臨床相關的分布變化下評估算法性能。

論文結構

本論文涵蓋了算法、數據集和研究方向的進步、挑戰和機遇。

算法

在過去的幾年里，深度學習算法的一些初步成果可以達到醫學專家水平，做出臨床上重要的診斷，包括放射學、心臟病學、皮膚病學、眼科和病理學[139]。在第 2 章中，我描述了一種用于檢測胸部 X 射線疾病的算法開發，我們證明該算法的性能可以與專業放射科醫生相媲美。在第 3 章中，我描述了一種算法開發，該算法在專業心臟病專家的水平上通過心電圖檢測異常心律。在這兩種情況下，我還描述了使訓練端到端深度學習算法成為可能的大型數據集的集合。這些章節一起描述了胸部 X 射線判讀和心律失常檢測任務的專家級表現的首次展示。

算法開發的主要實際挑戰之一是它們依賴于手動、耗時的數據注釋。特別是對于需要大量注釋專業知識的生物醫學任務，開發監督深度學習算法所需的大規模數據標記尤其具有挑戰性。對于醫學成像，使用預訓練 ImageNet [55] 模型的遷移學習一直是在有限的標記數據設置中開發算法的標準方法 [180]。在第 4 章中，我描述了對 ImageNet 架構的性能和效率以及胸部 X 光解讀權重的首次系統研究。在第 5 章和第 6 章中，我還描述了自我監督對比學習如何實現醫學訓練模型的范式轉變，其中相對少量的注釋可以訓練高度準確的模型。這些章節描述了遷移學習和自我監督學習如何解決醫療環境中有限標記數據的算法挑戰。

數據集

大型、高質量的數據集在推動深度學習算法的應用和進步方面發揮著關鍵作用。在醫學領域，數據集管理需要與醫院管理員建立合作伙伴關系，建立安全處理和去識別數據的框架，以及數據組織和注釋的策略。在第 7 章中，我描述了胸部 X 射線照片數據集的管理和合成轉換，旨在評估 X 射線照片的算法性能，以在真實臨床環境中進行基準穩健性測試。在第 8 章中，我描述了包含組織微陣列載玻片的數據集的管理和注釋，以及來自癌癥病例的臨床和細胞遺傳學數據，以發現預后生物標志物。

對于醫學影像數據集，標注通常需要人工標注，成本高且難以獲得，而通過自動化方法獲取的標簽可能會產生噪音。在監督計算機視覺模型解讀醫學圖像的背景下，從自由文本放射學報告中高質量地自動提取醫學狀況至關重要。在第 9 章和第 10 章中，我描述了構建高質量放射學報告標記器的過程，這些標記器可以解決噪音和專家注釋的有限可用性。

研究

雖然醫學圖像解讀中的大多數基礎工作已經在訓練它們的相同數據集分布上評估算法，但這些算法的部署需要了解它們在臨床相關分布變化下的性能。在第 11 章中，我以胸部 X 光解讀為例，描述了在存在未標記或訓練期間存在的疾病的情況下，對深度學習模型性能的系統評估。在第 12 章中，我描述了對不同胸部 X 光模型的系統研究，該模型應用于未經任何微調的智能手機胸部 X 光照片和外部數據集。

總體而言，本論文展示了深度學習醫學圖像解讀的進展，結合了以下方面的進步：（1）在大小標記數據集背景下的算法，（2）通過臨床知情管理和標記的數據集，（3）和研究系統地評估算法在臨床相關分布變化下的性能。

圖：實驗裝置概述

圖：測試了 8 種不同的胸部 X 光模型，應用于 (1) 胸部 X 光的智能手機照片和 (2) 沒有任何微調的外部數據集時的診斷性能。所有模型都由不同的團隊開發并提交給 CheXpert 挑戰賽，并在沒有進一步調整的情況下重新應用于測試數據集。

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711

由于神經網絡的日益普及，對神經網絡預測的信心變得越來越重要。然而，基本的神經網絡不會給出確定性估計，也不會受到信心過度或不足的影響。許多研究人員一直致力于理解和量化神經網絡預測中的不確定性。因此，不同類型和來源的不確定性已被識別，并提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全面的概述，綜述了該領域的最新進展，突出了當前的挑戰，并確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹，而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全面的介紹，并將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基于確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模，并討論了這些領域的不同分支和最新進展。對于實際應用，我們討論不確定性的不同措施，校準神經網絡的方法，并給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子，提供了實際應用中有關不確定性的需求和挑戰的概念。此外，討論了當前用于任務和安全關鍵的現實世界應用的方法的實際限制，并展望了未來的步驟，以更廣泛地使用這些方法。

//www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa