正則最優傳輸理論作為一種處理和比較概率測度的通用工具，在機器學習領域受到越來越多的關注。基于熵的正則化，被稱為Sinkhorn散度，在廣泛的應用中被證明是成功的:作為聚類和重心估計的度量，作為領域適應中傳遞信息的工具，以及作為生成模型的擬合損失，僅舉幾例。鑒于這一成功，研究此類模型的統計和優化特性是至關重要的。這些方面有助于設計新的和有原則的范式，有助于進一步推進該領域。然而，基于熵最優輸運的估計量的漸近保證問題卻較少受到關注。

在這篇論文中，我們針對這些問題，集中在三個主要設置，熵最優傳輸已被使用:學習直方圖在監督框架，重心估計和概率匹配。我們提出了第一個在有監督的情況下學習Sinkhorn損失的一致估計，有明確的超額風險界限。我們提出了一個新的Sinkhorn質心算法，處理具有可證明的全局收斂保證的任意概率分布。最后，我們用Sinkhorn散度作為損失函數來處理生成模型:我們從建模和統計的角度分析潛在分布和生成器的作用。我們提出了一種聯合學習潛在分布和生成器的方法，并刻畫了該估計量的泛化性質。總之，在這項工作中開發的工具有助于理解熵最優輸運的理論性質及其在機器學習中的通用性。

醫學影像在目前的醫療和研究環境中被廣泛用于各種目的，如診斷、治療方案、病人監測、縱向研究等。在美國最常用的兩種成像方式是計算機斷層掃描（CT）和磁共振成像（MRI）。通過CT或MRI獲得的原始圖像，在用于上述目的之前，需要經過各種處理步驟。這些處理步驟包括質量控制、降噪、解剖學分割、組織分類等。然而，由于醫學圖像通常包括數以百萬計的體素（圖像中含有信息的最小三維單位），依靠視覺檢查和訓練有素的臨床醫生的經驗來手動處理它們是極具挑戰性的。有鑒于此，醫學成像領域正在尋求數據處理自動化的方法。隨著人工智能（AI）在計算機視覺領域令人印象深刻的表現，醫學影像界的研究人員對利用這一強大的工具來自動處理醫學影像數據的任務表現出越來越大的興趣。盡管人工智能對醫學成像領域做出了重大貢獻，但大量的數據仍然沒有優化和強大的基于人工智能的工具來有效和準確地處理圖像。

這篇論文的重點是利用大量的CT和MRI數據，設計基于人工智能的方法，利用弱監督和監督學習策略，以及數學（或統計）建模和信號處理方法來處理醫學影像。特別是，我們在這篇論文中解決了四個影像處理問題。即：

1）我們提出了一種弱監督的深度學習方法，將擴散MRI掃描的二元質量控制自動分為 "差 "和 "好 "兩類；

2）我們設計了一個弱監督的深度學習框架，以學習和檢測與本工作中考慮的一組不同人工類別相關的視覺模式，以識別dMRI卷中存在的主要人工類型；

3）我們開發了一種有監督的深度學習方法，對人類肺部CT掃描中與肺氣腫疾病有關的多種肺部紋理模式進行分類；

4）我們使用數學建模和信號處理工具研究和描述了視覺刺激期間人類大腦fMRI掃描中引起的兩種負BOLD反應的特性。

我們的結果表明，通過使用人工智能和信號處理算法：

1）dMRI掃描可以自動歸類為兩個質量組（即 "差 "與 "好"），并具有較高的分類精度，能夠快速篩選大群dMRI掃描，以用于研究或臨床環境；

2. "差 "質量的dMRI容積中存在的主要偽影類型可以被穩健地自動識別，并具有較高的精度，能夠根據污染它們的偽影類型排除/糾正損壞的容積。

3）與肺氣腫疾病有關的多種肺部紋理模式可以在各種大型CT掃描隊列中進行自動和穩健的分類，從而能夠通過對多個隊列的縱向研究來調查該疾病；

4）不同類別的負性BOLD反應可以在從人腦視覺刺激中收集的fMRI數據上得到充分的描述，從而使研究人員能夠通過研究fMRI掃描隊列來更好地了解人腦功能。

引言

機器學習 (ML) 是人工智能 (AI) 的一個分支，它從數據中學習以識別模式、做出預測或做出決策，而人工干預最少。所有的機器學習技術都以數據為輸入，針對不同的任務，即分類、回歸、聚類、降維和排序等。

受益于海量數據和高計算資源，機器學習應用在我們的日常生活中變得無處不在。這些應用程序將人們從重復和復雜的工作中解放出來，并允許他們輕松獲取有用的信息。例如，人臉識別系統可以幫助人類進行識別和授權。搜索引擎通過索引、搜索和匹配來收集和組織與給定查詢相關的信息。導航應用程序為自動駕駛汽車推薦到達目的地的最佳路徑。

計算機視覺 (CV) 研究計算機如何獲取、處理、分析和理解數字圖像。 ML 的進步促進了 CV 的發展，尤其是圖像分類任務。深度學習（DL）是一種強大的機器學習技術。它允許設計可以自動識別圖像視覺內容的深度神經網絡（DNN）。從數千張動物、地點、人、植物等圖像中學習，DNN 能夠以高可信度檢測未知圖像包含的內容。

1.1 深度學習與深度神經網絡

在過去的幾十年中，DNN 在圖像分類領域迅速發展。卷積神經網絡 (CNN) [LBBH98] 獲得有用的語義視覺特征。典型的深度 CNN 具有許多層和復雜的架構，例如 AlexNet [KSH12]、Inception [SVI+16]、ResNet [HZRS16a]、DenseNet [HLVDMW17] 等。這些是少數著名的 DL 或 DNN 示例。這些網絡從圖像的高維表示空間計算梯度，以找到如何分離類別。最近的 DNN 模型以高置信度實現了分類、檢測和分割任務。 DNN 模型在 ImageNet [RDS+15]（一個具有挑戰性和現實性的數據集）上的性能接近于人類。

DNN 的性能通常與其深度有關：網絡越深，性能越好。然而，由于大量層的深度堆疊以獲得語義視覺特征，DNN 的高復雜性導致訓練困難。這可能是由于反向傳播期間梯度消失，稱為梯度消失問題。存在許多 DNN 原始架構的變體，試圖規避此類問題。這包括來自 ResNet [HZRS16a] 和Transformer [VSP+17] 的剩余單元。在訓練過程中跳過層的剩余單元有效地簡化了網絡，加快了訓練過程并提供了探索更大的特征空間。然而，它也使 ResNet 更容易受到擾動。 Transformer [VSP+17] 使用自我注意的概念，幫助網絡專注于重要特征。總體而言，DNN 的所有這些進步都增強了分類等任務的性能。 DL 不僅成功地處理了大量圖像數據，而且還設法處理包含噪聲、遮擋或其他視覺偽影的圖像。

1.2 對抗樣本

2013 年，研究人員發現，對圖像進行輕微修改會導致分類器做出錯誤的預測 [SZS+13]。令人驚訝的是，這些修改幅度很小，人眼幾乎察覺不到。這一發現揭示了 DNN 的脆弱性

對抗性現象廣泛影響 ML。這會影響不同的媒體，例如圖像[SZS+13、GSS14、TPG+17]、音頻[CW18、YS18、YLCS18]和文本[RDHC19、ZSAL20、ASE+18]。此外，攻擊者不僅會生成保存為數字數據的對抗性樣本，例如圖像，在計算機中，但也可以在物理世界中創建對抗性樣本，例如對抗性補丁 [TVRG19]。這些是打印的圖片和 3D 對象 [KGB16, SBBR16]，由相機等視覺傳感器捕獲，并影響使用它們的 ML 應用程序。

對抗性擾動是一種無形的擾動，它會誤導 DNN 將擾動的輸入分類為不正確的類別。例如，通過對抗性擾動，可以使分類器將貓分類為狗，如圖 1.1 所示。此外，對抗性現象在分類器之間轉移。利用 DNN 的某個漏洞的攻擊可能會欺騙其他 DNN，無論他們使用什么架構或訓練集。

圖 1.1 – 此圖片來自 Nicholas Carlini 的攻擊機器學習演講：關于神經網絡的安全性和隱私。它通過對抗性擾動顯示貓的圖像被歸類為狗。

將一個視覺內容修改為另一個是一個大問題 [EEF+18, TVRG19, TRC19a, YLDT18, GSS14]。攻擊者的目標是欺騙分類器做出不適當決策，可以方便地進行對抗性擾動。這是令人不安和危險的，尤其是當網絡決策危及生命時。例如，將特定形狀和顏色的小紙片放在一些路標上會阻止它們被識別 [BMR+17]。穿著具有特定紋理的徽章裝飾的布會使人對旨在檢測行人存在的算法不可見 [XZL+20]。考慮到所有這些潛在風險，了解對抗樣本的基本問題以確保算法公平、正確地處理內容至關重要。對抗性機器學習的典型研究任務包括攻擊和防御。研究人員研究這兩項任務是為了 i) 做出實際貢獻和 ii) 理解這一現象。

1.2.1 攻擊

攻擊旨在對目標 DNN 產生對抗性擾動。他們將不可見性和錯誤分類形式化為優化問題。攻擊的難度取決于攻擊者是否知道網絡的架構。基本情況是攻擊者可以訪問網絡的架構和參數，即白盒環境。他們受益于這些信息來制造對抗性擾動。

在不知道架構和參數的情況下攻擊網絡，即黑盒設置，是一個更復雜的情況。可遷移性意味著對抗樣本在不同的網絡和不同的機器學習模型[GSS14，TPG+17]中泛化得非常好。這表明為欺騙局部分類器而生成的對抗樣本也有一定的概率欺騙未知分類器。它提供了一種在黑盒環境中攻擊 DNN 的工具。

即使約束很嚴格，現有的攻擊也會成功地產生對抗性擾動。這些非同尋常的對抗性擾動表現出對抗性現象的不同特性和 DNN 的脆弱性。令人驚訝的是，例如，單像素攻擊 [SVS19] 通過僅修改輸入圖像的一個像素來改變網絡的預測。通用擾動 [MFFF17, HD18] 表明，一個特定的擾動足以導致給定數據集中的每張圖像都被錯誤分類。

1.2.2 防御

防御旨在提高 DNN 針對對抗性攻擊的魯棒性。他們要么添加一個額外的組件來幫助網絡抵御對抗性攻擊，要么提高網絡的內在魯棒性。

引入額外組件的防御保持網絡不變。對圖像應用預處理是該類別中的一種特殊防御方法。他們將對抗性擾動視為一種特殊類型的噪聲，并嘗試通過轉換 [MC17, GRCvdM17, STL+19] 將其去除。將對抗樣本視為惡意數據的人使用檢測器來識別對抗樣本并拒絕或糾正它們 [XEQ17, LLS+18]。這些防御很簡單的，很容易適應給定的網絡，但是，在白盒環境下通常很容易受到攻擊 [ACW18]。

提高內在魯棒性的防御嘗試改進訓練方法 [GSS14, MMS+17]、增強架構 [PMW+16] 或高級損失函數 [HXSS15, MMS+17, TKP+17]。對抗性訓練 [GSS14, MMS+17] 作為該類別的典型防御，通過將對抗性樣本作為訓練數據的一部分來改進訓練方法。這種防御背后的假設是，DNN 的脆弱性是由于訓練數據的不足造成的。這些防御措施在魯棒性和準確性方面都表現不錯，但是通常很復雜，因為它們需要從頭開始訓練網絡。

1.2 本論文貢獻

在本論文中，我們試圖理解對抗性現象。我們探討了如何生成對抗樣本以及如何保護它們。通過對對抗性 ML 的多個方面的分析，我們發現要研究的關鍵要素包括：

速度。速度對于對抗性攻擊和防御都很重要。盡管耗時的過程（例如優化創建對抗性擾動和訓練 DNN 模型）會產生高質量的結果，但如果需要很長時間來生成對抗性樣本、驗證輸入或構建魯棒的模型是不可行的。

不可見性。失真的大小被廣泛用于估計擾動的不可見性，但它并不等同于不可見性。不可見性表明從神經學和心理學的角度來看，人類無法察覺這種擾動。在計算機科學中衡量不可見性仍然是一個懸而未決的問題。

失真。作為衡量不可見性質量的替代計劃，許多攻擊估計了失真的程度。當幅度很小時，人類幾乎不會感知到擾動。失真的大小對防御也很重要。通常，對具有較大失真的對抗性擾動的防御對對抗性影響更為穩健。它是對抗性攻擊和防御的重要指標。

可轉移性。可轉移性描述了為欺騙目標網絡而生成的對抗性樣本成功欺騙其他網絡的可能性。可轉移性對于黑盒環境下的攻擊至關重要，即攻擊者只能獲取網絡的輸入輸出。

我們的工作受到速度、失真和不可見性的概念的啟發。我們測試了對抗性擾動的可轉移性。為了提高對抗性擾動的質量，我們在兩個方向上工作，即產生不可見的對抗性擾動和有效地創建低幅度的對抗性擾動。為了防御攻擊，我們提出了一種輕量級算法，該算法在魯棒性和準確性方面都取得了不錯的表現。我們強調速度和性能。

為了讓讀者更好地理解，我們首先在第 2 章中概述了 DL 中的對抗性上下文。這包括 1）理解我們的工作所需的 ML 和 DNN 的最低知識，2）對抗性問題的基本定義和3) 對現有相關工作的高級審查，包括產生對抗性擾動和增強對抗攻擊的魯棒性。

成功攻擊率和失真幅度是衡量對抗性擾動質量的兩個標準。在第 3 章中，我們介紹了對抗性擾動的標準評估，包括數據集、網絡和評估指標。此外，在第 3.3 節中，我們提出了我們的評估指標，允許在有針對性的失真攻擊和有針對性的成功攻擊之間進行公平比較。

我們研究了兩種執行攻擊的算法，以便了解不可見性（見第 4 章）和創造速度（見第 5 章）。

平滑的對抗性擾動。在第 4 章中，我們研究了不可見性的定義，并將其表述為一個約束函數，以便可以直接將其添加到現有攻擊中。我們推測，當擾動像素與其相鄰像素之間的相似性類似于其原始圖像的相似性圖時，對抗性擾動是不可見的。我們成功地產生了平滑的對抗性擾動，并且令人驚訝地產生了少量的失真。這些平滑的對抗性擾動是肉眼看不到的，即使對抗性樣本被人為放大。

快速、低失真的對抗樣本。為了在不降低對抗樣本質量的情況下加速攻擊，我們利用對抗擾動的具體知識改進了優化算法。在第 5 章中，我們提出了邊界投影（BP）攻擊，它根據當前的解決方案改變搜索方向。當當前解決方案不是對抗性的時，BP 攻擊會沿著梯度方向長搜索，以引導當前解決方案跨越網絡邊界。當當前解決方案是對抗性的時，BP 攻擊沿著邊界搜索以引導當前解決方案以減少失真的幅度。與最先進的攻擊相比，BP 攻擊避免了對僅跟隨梯度引起的振蕩計算的浪費。這為 BP 攻擊贏得了速度。實驗表明，BP攻擊成功地產生了幅度很小但攻擊成功率很高的對抗性擾動。

為了更全面地了解對抗性 ML 問題，我們研究了防御策略。第 6 章介紹了補丁替換防御。

補丁更換。與對抗性擾動相比，DNN 對隨機噪聲的魯棒性更強。為了理解它，我們研究了通過 DNN 的失真幅度（隨機噪聲/對抗性擾動）的轉變。受 DNN 內部隨機噪聲和對抗性擾動的不同行為啟發，我們在第 6 章提出了一種名為補丁更換的反應性防御。補丁替換試圖通過用合法訓練數據中最相似的鄰居替換可疑輸入（圖像/特征）的補丁，來消除推理中的對抗性影響。即使攻擊者知道補丁替換防御，訓練數據的使用也會增加攻擊的復雜性。由于我們不僅考慮圖像，還考慮網絡的中間特征，因此補丁替換比其他基于輸入轉換的防御更為穩健。一個缺點是在訓練時毒化數據集會給補丁替換策略帶來麻煩。這連接到對抗性后門。

最后，我們給出了結論，并在第 7 章提出了一些觀點。簡而言之，我們在理解對抗性 ML 問題方面的貢獻是 i）在另一個視圖中定義不可見性，并提出一種在我們的定義下產生平滑對抗性擾動的方法； ii) 提出一種算法，以高成功率和低失真快速生成對抗樣本； iii），我們成功地提出了一種不復雜的反應式防御，并在不嚴重降低網絡準確性的情況下提高了對攻擊的魯棒性。

圖 5.8 – ImageNet 上針對 InceptionV3 的原始（左）、對抗（頂行）和縮放擾動（下）圖像。這五幅圖像是需要最強失真的 BP 最差的 5 幅圖像，但這些圖像小于所有其他方法所需的失真（紅色表示偽造的圖像不是對抗性的）。擾動被反轉（低為白色；高為彩色，每個通道）并以相同的方式縮放以進行公平比較。

摘要

胸部 X 射線 (CXR) 成像是當今放射科最常見的檢查類型。自動疾病分類可以幫助放射科醫生減少工作量并提高患者護理質量。醫學圖像分析在過去十年中經歷了范式轉變，這主要歸功于卷積神經網絡 (CNN) 在許多圖像分類、分割和量化任務中實現超人性能的巨大成功。 CNN 正在應用于 CXR 圖像，但在臨床環境中應用時，高空間分辨率、缺乏具有可靠基本事實的大型數據集以及種類繁多的疾病是重大的研究挑戰。值得注意的是，這些挑戰激發了本論文的新穎貢獻。

本論文對 CNN 的四個主要設計決策進行了系統評估和分析：損失函數、權重初始化、網絡架構和非圖像特征集成。為了利用年齡、性別和視圖位置等信息，提出了一種整合這些信息以及學習圖像表示的新穎架構，并為 ChestXray14 數據集產生了最先進的結果。此外，研究了兩種先進的圖像預處理技術以提高 CNN 的性能：骨抑制（一種從 CXR 中人工去除胸腔的算法）和自動肺野裁剪（一種提高 CNN 輸入分辨率的方法）。兩種方法結合起來略微增加了 OpenI 數據集的平均結果。最后，**開發了一個框架來研究用于智能工作列表優先級的 CNN，是否可以優化放射學工作流程，**并減少 CXR 中關鍵發現的報告周轉時間 (RTAT)。仿真表明，使用 CNN 進行緊急優先級排序可以將氣胸等關鍵發現的平均 RTAT 降低兩倍。總之，對特定的設計決策進行了改進，例如網絡架構、圖像預處理和使用小型數據集進行 CXR 分析的訓練。結果用于證明關鍵發現的平均 RTAT 顯著降低，這可以大大提高患者護理的質量。

引言

在英國，護理質量委員會最近報告說，在過去的 12 個月中，僅亞歷山德拉女王醫院一名訓練有素的放射科專家就沒有對總共 26,345 次胸部 X 光 (CXR) 和 2,167 次腹部 X 光進行正式審查。結果，三名肺癌患者因胸部 X 光檢查未得到適當評估而遭受重大傷害 [Care Quality Commission, 2017]。

圖 2.2：典型的檢查類型，其中兩個對應的胸部 X 射線圖像取自一名患者。 (a) 顯示正面 PA 胸部 X 光片和 (b) 側面胸部 X 線片。在兩張 X 光片中，可以看到解剖結構：(1) 氣管、(2) 鎖骨、(3) 肩胛骨、(4) 肋骨、(5) 心臟、(6) 橫膈膜和 (7) 構成脊柱的椎骨.示例圖像取自 OpenI 數據集 [Demner-Fushman et al., 2016]。

圖 2.3：基于氣胸的高分辨率和低分辨率胸部 X 光片的比較。 (a) 以 2828 × 2320 像素的全圖像尺寸顯示原始胸部 X 光片。在 (b) 中，顯示了 (a) 的兩個區域，放大了 10 倍。黃色箭頭指向胸膜邊緣，表示氣胸。為了比較，(c) 顯示 (a) 通過雙線性插值縮小到 256 × 256 像素的圖像大小。 (d) 顯示與 (b) 相同的放大區域，胸膜邊緣不再可見。示例圖像取自 OpenI 數據集 [Demner-Fushman et al., 2016] (ID: 3378)。

作為一種診斷工具，醫學成像是近幾十年來醫學領域最具革命性的進步之一。通過提供人體內部的視覺表示，醫學成像可以幫助放射科醫生做出更早、更準確的診斷。因此，可以更有效地治療疾病以提高患者護理質量。多年來，醫學成像在測量速度、空間分辨率和對比度方面都有所提高。擁有這個有用的工具需要有足夠的能力讓專家放射科醫生評估相關數據。我們已經遇到了無法讓放射科醫生審查所有 X 射線圖像的情況 [Care Quality Commission, 2017;皇家放射學院，2018]。隨著各種醫學成像模式產生的數據量不斷增加 [Kesner et al., 2018] 和不斷增長的世界人口 [United Nations DESA, 2019]，預計對專家閱讀能力的需求將會增加。在放射科可用的成像方式中，平片是最常見的，而胸部 X 射線是最常見的檢查類型 [Bundesamt für Strahlenschutz, 2020; NHS 英格蘭，2020]。

自動圖像分析工具使放射科醫生能夠顯著減少他們的工作量并提高患者護理質量。早期的方法通常結合手工特征表示和分類器。不幸的是，開發特征提取方法需要大量的領域專業知識，并且通常是一個耗時的過程。然而，深度學習可能會改變這些要求。2012年Krizhevsky 等人[2012] 提出了 AlexNet——一種卷積神經網絡——用于計算機視覺中的圖像分類，并在 ImageNet 挑戰賽中大獲全勝。由于計算能力的提高（即圖形處理單元（GPU）的并行計算）和大量可用數據，這是可能的。這種成功有助于復興神經網絡作為機器學習的一種方法，機器學習是人工智能 (AI) 的一個子領域。在計算機視覺中，深度學習已經證明了它能夠以超人類的準確度分析圖像 [He等人, 2016;Simonyan等人，2015； Szegedy 等人，2014 年；Tan等人，2019]。醫學圖像分析領域正在深入探索深度學習。

本文結構

以下段落概述了本文的結構，并概述了每一章及其貢獻。第 2 至第 4 章總結了背景信息和重要文獻。然后，第 4 章到第 7 章介紹了為本論文進行的研究。最后，第 8 章以總結和對未來的展望結束了本文。

第 2 章簡要介紹了醫學成像及其自動化分析。此后，對深度學習的胸部 X 射線分析進行了全面回顧。作為深度學習快速發展的最重要推動力之一，我們討論了 ChestX-ray14 [Wang et al., 2017] 和 OpenI [Demner-Fushman et al., 2016] 等開源數據集。隨后討論了由自然語言處理 (NLP) 生成的噪聲注釋以及高分辨率胸部 X 射線數據所帶來的挑戰。最后，我們在當前挑戰的背景下檢查了胸部 X 射線分類的臨床應用。

第 3 章概述了神經網絡的歷史動機和時間順序。解釋了它們的基本元素——人工神經元，并討論了不同類型的激活函數。隨后，解釋了前饋神經網絡的原理以及分類與回歸任務之間的差異。為了計算最佳權重參數變化——并作為神經網絡的更新規則——Rumelhart 等人。 [1986] 提出了反向傳播。最后，本章解釋了梯度下降如何用作神經網絡的優化技術，并概述了該方法在神經網絡優化方面的重大改進。

第 4 章描述了標準前饋神經網絡的主要變化，這些變化導致了深度神經網絡及其在高維信號中的成功應用——尤其是在圖像處理中。解釋了卷積神經網絡作為分層特征提取器的基本理解以及在高維圖像中的應用。為了實現這一點，提出了最先進的網絡架構（例如，卷積、池化和歸一化層）的重要構建塊。當在非常深的網絡中天真地堆疊層時，使用梯度下降進行優化存在梯度爆炸和消失的風險。梯度消失通過殘差連接和密集連接架構來解決——這兩者都允許堆疊額外的層。這種高級模型通常有數百萬個參數需要訓練；因此，它們很容易過度擬合訓練數據。出于這個原因，數據增強通常用于人為地擴大數據集。這也有助于提高神經網絡的泛化性，因為模型對于仿射變換變得不變。訓練模型后，評估其泛化能力和性能非常重要。首先，不同的重采樣方法（例如，k 折交叉驗證或蒙特卡洛子采樣）可以將數據集拆分為訓練測試子集，這有助于泛化評估。其次，使用接收器操作曲線和精確召回曲線等評估指標來量化模型在疾病分類中的性能。

第 5 章深入介紹了不同的訓練方法及其在胸部 X 線疾病分類中的應用。在該領域的先前工作的基礎上，考慮了遷移學習，無論是否進行微調，以及從頭開始訓練專用 X 射線網絡。由于 X 射線數據的高空間分辨率，我們提出了一種經過調整的 ResNet-50 架構，具有更大的輸入尺寸，并與其他模型相比展示了其優越的性能 [Baltruschat et al., 2019c]。由于放射科醫師通常包含比胸部 X 射線更多的信息來進行診斷，因此模型架構會進一步改變，并且引入了一種新模型以包含有助于患者信息采集的非圖像特征。最后，通過使用 Grad-CAM 分析模型，突出了 ChestX-ray14 數據集的局限性。這些發現激發了以下章節的貢獻。

圖 5.5：兩個示例圖像的 Grad-CAM 結果。在頂行中，氣胸的位置用黃色框標記。如旁邊的 Grad-CAM 圖像所示，模型對預測的最高激活位于正確區域內。第二行顯示了一個負例，其中負責最終預測“氣胸”的最高激活位于排水管。排水管標有黃色箭頭。這表明經過訓練的卷積神經網絡將引流檢測為“氣胸”的主要特征。

圖 5.6：本論文中最佳模型與其他組的比較。病理按照所有組的平均 AUROC 增加進行分類。對于本文提出的模型，將所有折疊的最小和最大 AUROC 報告為誤差條，以說明隨機數據集拆分的影響。

第 6 章處理胸部 X 射線數據的標準化，以在小型數據集（即只有幾千個樣本）上進行訓練——OpenI 數據集 [Demner-Fushman 等人，2016 年]。此外，還研究了增加輸入數據分辨率對神經網絡的影響。手動標記的數據集通常具有較小的樣本量——盡管 OpenI 數據集是最大的數據集之一（3,125 張圖像）——這使得從頭開始訓練深度神經網絡變得復雜。作為第一種預處理方法，提出了基于分割和邊界框計算的肺野裁剪。這一步驟大大減少了胸部 X 射線外觀的變化，并提高了它們作為輸入圖像的分辨率，因為縮小的因素也降低了。第二種方法是骨抑制，可以通過從胸部X光片中去除骨骼結構來減少信息疊加。值得注意的是，這兩種方法都有助于提高疾病分類性能 [Baltruschat et al., 2019e]。此外，本章概述了放射科專家為胸部 X 光片生成注釋的過程以及與觀察者間變異性相關的問題 [Ittrich et al., 2018; Steinmeister 等人，2019]。

圖 6.2：肺田間種植方法概述。原始胸部 X 射線圖像 (a) 由中心凹卷積神經網絡處理以生成肺野分割 (b)。 (c) 以紫色顯示計算的兩個最大連接區域周圍的邊界框。在（d）中，由于分割掩碼中的錯誤，藍色區域強調了邊界框的安全區域。 (e) 顯示了最終的裁剪圖像，(f) 顯示了骨抑制和肺野裁剪的組合。

圖 6.3：用于組合高級預處理圖像的集成方法。四個 ResNet50-large 模型在不同的圖像數據上進行了訓練：原始、軟組織、肺野裁剪 (LFC) 和使用 LFC 的骨抑制 (BS)。每個模型預測了測試集 Ntest 中五個裁剪圖像（即中心和所有四個角）的分數，具有八個類別。此后，對所有模型的預測分數進行平均，以獲得最終的多標簽分類結果。

圖 6.6：正常訓練模型 (a) 和使用預處理圖像訓練的模型 (b) 的 Pearson 相關系數。正常模型之間的相關性已經很高，除了模型“Normal-2”，它似乎收斂到不同的最優值。使用預處理圖像訓練的模型具有較低的相關性（大約 92%）。這表明（b）中顯示的模型的集合可以對分類性能產生更大的影響。

第 7 章介紹了將深度學習的疾病分類轉化為特定的臨床應用。在獲得胸部 X 光片后，通常會將它們分類到工作清單中。根據每個放射科的工作流程，該工作清單按采集時間或手動優先級標簽進行排序，并且在很大程度上，放射科醫生按順序處理他們的工作清單項目。因此，工作清單只按照先進先出的原則進行處理。一種最先進的胸部 X 光疾病分類算法可以自動分配優先級標簽，這可以大大改善工作列表的排序。本章介紹了一種用于模擬臨床工作日的新穎模擬框架，它突出了自動優先工作列表的效果。該框架使用來自漢堡-埃彭多夫大學醫學中心的經驗數據，可以模擬一個臨床工作日，其中包括胸部 X 射線生成過程、胸部 X 射線的自動疾病分類以及放射科醫師生成最終報告所需的時間 [ Baltruschat 等人，2020b]。值得注意的是，使用了第 5 章和第 6 章中提出的用于胸部 X 線疾病分類的改進方法。

圖 7.6：報告所有八種病理結果和正常檢查的周轉時間 (RTAT)，基于四種不同的模擬：FIFO（綠色）、Prio-lowFNR（黃色）、Prio-lowFPR（紫色）和 Prio-MAXwaiting（紅色），最長等待時間（淺紫色）。綠色三角形標記平均 RTAT，而垂直線標記中值 RTAT。每個 simu 的最大 RTAT。

第 8 章總結了論文及其主要貢獻。它還提出了本文提出的新問題。

圖 8.1：來自中心靜脈導管數據集的示例圖像。原始圖像 (a) 顯示在左側，相應的分割結果 (c) 顯示為右側的疊加層。藍色代表心臟，綠色代表肺，青色代表鎖骨，棕色突出導管。

摘要

在過去的幾年里，深度學習和醫學的交叉點取得了快速的進展，特別是在醫學圖像的理解方面。在這篇論文中，我描述了三個關鍵方向，它們為醫學圖像理解的深度學習技術的發展帶來了挑戰和機遇。首先，討論了專家級醫學圖像理解算法的開發，重點是遷移學習和自我監督學習算法，旨在在低標記醫學數據設置中工作。其次，討論了高質量數據集的設計和管理及其在推進算法開發中的作用，重點是使用有限手動注釋的高質量標簽。第三，討論了醫學圖像算法的真實世界評估，以及系統分析臨床相關分布變化下的性能的研究。總之，本論文總結了每個方向的關鍵貢獻和見解，以及跨醫學專業的關鍵應用。

圖：CheXpert 任務是預測來自多視圖胸片的不同觀察結果的概率。

圖：對比學習最大化同一胸部 X 射線圖像的不同增強所生成嵌入的一致性。

引言

未來幾年，人工智能 (AI) 有望重塑醫學。人工智能系統將常規用于早期檢測疾病、改善預后并提供更成功的個性化治療計劃，同時節省時間和降低成本。在不久的將來，可以讀取胸部 X 光片或組織病理學切片的算法將為醫生管理工作清單，為無需亞專業培訓的臨床醫生提供決策支持，并為人工智能驅動的遠程醫療服務提供支持。在醫院之外，人工智能技術將用于持續監測數百萬患者的健康狀況，并以前所未有的規模將患者安排就診和跟進。

近年來，深度學習是一種人工智能形式，其中神經網絡直接從原始數據中學習模式，在圖像分類方面取得了顯著成功[128]。因此，醫學 AI 研究在嚴重依賴圖像理解的專業領域蓬勃發展，例如放射學、病理學和眼科 [137]。過去幾年，算法的進步和數據集的創建推動了這一進步。在算法方面，卷積神經網絡架構和訓練程序的改進使醫學成像應用取得了進展。此外，這些算法的成功得益于對用于醫學成像的大型標簽數據集的管理。一些 AI 工具已經從測試轉向部署，清除了監管障礙并贏得了行政支持 [20]。批準公共保險報銷費用的醫療保險和醫療補助服務中心通過允許一些用于醫學圖像診斷的人工智能工具的首批報銷，促進了人工智能在臨床環境中的采用 [69]。然而，在回顧性數據集上成功理解醫學圖像的深度學習算法的數量與轉化為臨床實踐的數量之間仍然存在很大差距 [116]。

本論文提出，廣泛部署用于醫學圖像理解的深度學習算法存在三個關鍵技術挑戰。該領域面臨的第一個挑戰是，當前算法的開發側重于解決需要大量干凈數據的狹窄任務，而不是解決醫學中常見的具有噪聲或有限標簽數據的更廣泛任務。該領域面臨的第二個挑戰是用于訓練和驗證模型的數據集是小型、嘈雜和同質的，而不是大型、高質量和異構的。該領域面臨的第三個挑戰是，當前的研究在訓練算法的數據集分布的背景下驗證算法，而臨床部署需要在臨床相關的分布變化下評估算法性能。

論文結構

本論文涵蓋了算法、數據集和研究方向的進步、挑戰和機遇。

算法

在過去的幾年里，深度學習算法的一些初步成果可以達到醫學專家水平，做出臨床上重要的診斷，包括放射學、心臟病學、皮膚病學、眼科和病理學[139]。在第 2 章中，我描述了一種用于檢測胸部 X 射線疾病的算法開發，我們證明該算法的性能可以與專業放射科醫生相媲美。在第 3 章中，我描述了一種算法開發，該算法在專業心臟病專家的水平上通過心電圖檢測異常心律。在這兩種情況下，我還描述了使訓練端到端深度學習算法成為可能的大型數據集的集合。這些章節一起描述了胸部 X 射線判讀和心律失常檢測任務的專家級表現的首次展示。

算法開發的主要實際挑戰之一是它們依賴于手動、耗時的數據注釋。特別是對于需要大量注釋專業知識的生物醫學任務，開發監督深度學習算法所需的大規模數據標記尤其具有挑戰性。對于醫學成像，使用預訓練 ImageNet [55] 模型的遷移學習一直是在有限的標記數據設置中開發算法的標準方法 [180]。在第 4 章中，我描述了對 ImageNet 架構的性能和效率以及胸部 X 光解讀權重的首次系統研究。在第 5 章和第 6 章中，我還描述了自我監督對比學習如何實現醫學訓練模型的范式轉變，其中相對少量的注釋可以訓練高度準確的模型。這些章節描述了遷移學習和自我監督學習如何解決醫療環境中有限標記數據的算法挑戰。

數據集

大型、高質量的數據集在推動深度學習算法的應用和進步方面發揮著關鍵作用。在醫學領域，數據集管理需要與醫院管理員建立合作伙伴關系，建立安全處理和去識別數據的框架，以及數據組織和注釋的策略。在第 7 章中，我描述了胸部 X 射線照片數據集的管理和合成轉換，旨在評估 X 射線照片的算法性能，以在真實臨床環境中進行基準穩健性測試。在第 8 章中，我描述了包含組織微陣列載玻片的數據集的管理和注釋，以及來自癌癥病例的臨床和細胞遺傳學數據，以發現預后生物標志物。

對于醫學影像數據集，標注通常需要人工標注，成本高且難以獲得，而通過自動化方法獲取的標簽可能會產生噪音。在監督計算機視覺模型解讀醫學圖像的背景下，從自由文本放射學報告中高質量地自動提取醫學狀況至關重要。在第 9 章和第 10 章中，我描述了構建高質量放射學報告標記器的過程，這些標記器可以解決噪音和專家注釋的有限可用性。

研究

雖然醫學圖像解讀中的大多數基礎工作已經在訓練它們的相同數據集分布上評估算法，但這些算法的部署需要了解它們在臨床相關分布變化下的性能。在第 11 章中，我以胸部 X 光解讀為例，描述了在存在未標記或訓練期間存在的疾病的情況下，對深度學習模型性能的系統評估。在第 12 章中，我描述了對不同胸部 X 光模型的系統研究，該模型應用于未經任何微調的智能手機胸部 X 光照片和外部數據集。

總體而言，本論文展示了深度學習醫學圖像解讀的進展，結合了以下方面的進步：（1）在大小標記數據集背景下的算法，（2）通過臨床知情管理和標記的數據集，（3）和研究系統地評估算法在臨床相關分布變化下的性能。

圖：實驗裝置概述

圖：測試了 8 種不同的胸部 X 光模型，應用于 (1) 胸部 X 光的智能手機照片和 (2) 沒有任何微調的外部數據集時的診斷性能。所有模型都由不同的團隊開發并提交給 CheXpert 挑戰賽，并在沒有進一步調整的情況下重新應用于測試數據集。

本文提出6個用于Siamese目標跟蹤的新匹配算子，基于Ocean進行改進，表現SOTA！性能優于KYS、SiamBAN等網絡，速度高達50 FPS！代碼即將開源！

跟蹤近年來取得了突破性的性能，其本質是高效匹配算子互相關及其變體。除了顯著的成功之外，重要的是要注意啟發式匹配網絡設計在很大程度上依賴于專家經驗。此外，我們通過實驗發現，在所有具有挑戰性的環境中，一個唯一的匹配算子很難保證穩定跟蹤。因此，在這項工作中，我們從特征融合的角度而不是顯式相似性學習的角度引入了六種新穎的匹配算子，即串聯、逐點加法、成對關系、FiLM、簡單Transformer和轉導引導，以探索更多的可行性匹配運算符選擇。分析揭示了這些算子對不同環境退化類型的選擇性適應性，這激勵我們將它們結合起來探索互補的特征。為此，我們提出二進制通道操作（BCM）來搜索這些算子的最佳組合。BCM 通過學習其對其他跟蹤步驟的貢獻來決定重新訓練或丟棄一個算子。通過將學習到的匹配網絡插入到強大的基線跟蹤器 Ocean 中，我們的模型在 OTB100、LaSOT 和 TrackingNet 上分別獲得了 67.2→71.4、52.6→58.3、70.3→76.0 的有利增益。值得注意的是，我們的跟蹤器稱為 AutoMatch，使用的訓練數據/時間比基線跟蹤器少一半，并且使用 PyTorch 以 50 FPS 運行。

//www.zhuanzhi.ai/paper/d9f8991dc443b0e2626a5478daf291c8

自2012年卷積神經網絡(CNNs)在ImageNet任務中取得最佳性能以來，深度學習已成為解決計算機視覺、自然語言處理、語音識別和生物信息學任務的首選方法。然而，盡管表現令人印象深刻，神經網絡往往會做出過于置信的預測。為了構建更安全的機器學習系統，有必要對模型預測中的不確定性進行健壯的、可解釋的和可處理的估計。這對于錯誤成本高的應用至關重要，例如自動駕駛汽車控制、高風險的自動熟練程度評估以及醫療、金融和法律領域。本文的第一部分詳細討論了基于集成和單模型的不確定性估計方法，并提出了一種新的不確定性估計模型——先驗網絡。先前的網絡能夠使用單一的確定性神經網絡來模擬模型集成，它允許在與基于集成的方法相同的概率框架內確定不確定性的來源，但具有單一模型方法計算簡單和易于訓練。因此，先驗網絡結合了集成方法和單模型方法的優點來估計不確定性。在這篇論文中，先前的網絡是在一個范圍分類數據集上進行評估的，在檢測分布外輸入的任務上，它們的表現優于基線方法，如蒙特卡羅Dropout。本文的第二部分將深度學習和不確定性估計方法應用于非母語口語能力的自動評估。具體來說，基于深度學習的評分者和口語反應相關性評估系統是使用劍橋英語語言評估提供的BULATS和LinguaSkill考試數據構建的。本文前半部分討論和評估的不確定性估計基線方法，隨后應用于這些模型，并在拒絕由人工考官評分的預測和發現錯誤分類的任務上進行評估。

//www.repository.cam.ac.uk/handle/1810/298857

本書涵蓋了這些領域中使用Python模塊演示的概率、統計和機器學習的關鍵思想。整本書包括所有的圖形和數值結果，都可以使用Python代碼及其相關的Jupyter/IPython Notebooks。作者通過使用多種分析方法和Python代碼的有意義的示例，開發了機器學習中的關鍵直覺，從而將理論概念與具體實現聯系起來。現代Python模塊(如panda、y和Scikit-learn)用于模擬和可視化重要的機器學習概念，如偏差/方差權衡、交叉驗證和正則化。許多抽象的數學思想，如概率論中的收斂性，都得到了發展，并用數值例子加以說明。本書適合任何具有概率、統計或機器學習的本科生，以及具有Python編程的基本知識的人。