醫院信息系統中電子病歷（EHR）的廣泛采用推動了定義大型數據庫，這些數據庫將各種類型的數據分組，如文本臨床記錄、縱向醫療事件和表格式的病人信息。然而，這些數據記錄只在醫療咨詢或住院期間填寫，這取決于病人的健康、狀態和當地的習慣。一個能夠利用在不同時間尺度上收集的不同類型的數據系統，對于重建病人的健康軌跡、分析他的歷史，并因此提供更好的臨床護理至關重要。這篇論文的工作解決了醫療數據處理的兩個主要挑戰：a）學習表示連續就診之間不規則時間的醫療觀察序列；b）優化從臨床記錄中提取醫療事件。我們的主要目標是設計一個病人健康軌跡的多模態表示，以解決臨床預測問題。我們的第一項工作是建立一個不規則醫療時間序列建模的通用框架，以評估在表示病人的健康軌跡時考慮醫療事件之間的時間間隔的重要性。為此，我們對順序神經網絡和不規則時間表示技術進行了比較研究。臨床目標是利用法國數據庫CaR′eDIAB（Champagne Ardenne R′eseau Diabetes）中1型糖尿病患者的HbA1c測量歷史來預測視網膜病變并發癥。研究結果顯示，基于注意力的模型與時間間隙的軟一熱表示相結合，導致AUROC得分88.65%（特異性85.56%，敏感性83.33%），與基于LSTM的模型相比，提高了4.3%。在這些結果的激勵下，我們將我們的框架擴展到較短的多變量時間序列，并預測了公開的MIMIC-III數據集中危重病人的院內死亡率。所提出的架構，即分層時間感知轉化器（HiTT），將AUROC得分比普通轉化器的基線提高了5%。在第二步，我們對從臨床記錄中提取相關的醫療信息以豐富病人的健康軌跡感興趣。特別是，基于Transformer的架構在醫療信息提取任務中顯示出令人鼓舞的結果。然而，這些大型模型往往需要一個大型的注釋語料庫。這一要求在醫學領域很難實現，因為它需要獲得私人的病人數據和高度的專家注釋者。為了降低注釋成本，我們探索了主動學習策略，這些策略在許多任務中都被證明是有效的，包括文本分類、信息提取和語音識別。除了現有的方法，我們定義了一個混合加權不確定采樣（HWUS）的主動學習策略，該策略利用了基于轉化器的方法學到的上下文嵌入來衡量樣本的代表性。一個使用公開的i2b22010挑戰數據集的模擬研究表明，我們提出的指標將注釋成本降低了70%，以達到與被動監督學習相同的性能分數。最后，我們將多變量醫療時間序列和從MIMIC-III數據庫的臨床筆記中提取的醫療概念結合起來，訓練一個基于多模態的變壓器架構。院內死亡率任務的測試結果顯示，在考慮額外的文本信息時，改進了5.3%。這篇論文通過減輕偶發醫療記錄的負擔和對自由文本筆記的人工注釋，對病人的健康軌跡表示做出了貢獻。簡而言之，本研究有三個實際貢獻：（1）支持電子健康系統，如報告、推理和有效決策，以利于整個病人管理。(2) 通過促進最先進的深度學習時間模型的發展和從臨床自由文本資源中收集豐富的注釋語料，使醫學信息學的研究受益。(3) 旨在通過開發一個有效的基于多模態的Transformer架構，以實現準確的健康軌跡表示，以及一個創新的獨立于領域的AL查詢策略，推進醫學領域的機器學習研究。

第1章 簡介

近年來，由于電子醫療記錄（EHR）在醫院信息系統中的廣泛采用，醫療數據的可用性得到了提高。這些記錄儲存了病人在醫院就診或住院期間與醫療機構之間的所有交易信息。EHRs結合了三種類型的功能。第一類是結構化數據（如病人的年齡、入院日期、住院時間、測量值和離散的醫療代碼），第二類是半非結構化數據，由儲存特定信息的簡短自由文本欄組成（如醫生意見。第三類是非結構化數據，是指由醫生寫的敘述性臨床筆記，報告病人的狀態和他住院或就診期間發生的醫療事件（包括家族史、診斷、疾病、手術和藥物）。電子記錄的第一個作用是在更短的時間內提供有關病人的最新信息，并通過促進醫療工作者之間的信息交流，協助醫療工作者提供更高質量的護理。此外，這些集中式系統通常長期部署在一個或一組醫療中心，從而形成一個具有數年病史的廣泛的病人記錄數據庫。這些數據集是大規模統計分析的豐富信息來源，代表了彌合醫學分析和機器學習技術之間差距的機會，而機器學習技術往往需要大量的觀察數據來訓練并達到最佳性能。因此，一些研究發現，這些數據的次要用途是進行預測性分析，以更好地了解疾病的演變，并建立健康監測系統，幫助醫生為病人提供更好的護理[1]。特別是，深度學習方法已經成為在自然語言處理（NLP）[2, 3, 4]、圖像分析[5, 6]和時間序列建模[7, 8, 9]等不同領域開展預測任務的相關選擇。此外，大型私人數據倉庫的建設[10, 11, 12]和MIMIC III或i2b2等開源醫學數據庫的發布[13, 14]，使研究人員能夠采用和調整這些方法來解決臨床預測問題，如風險預測[15, 16, 17]、干預建議[11, 18]、疾病進展[19, 20]或病人分型[10, 21]。這些方法大多集中在對一種類型的輸入數據進行建模，可以是表格、文本、縱向或圖像，而其他方法[22, 23, 24]則結合了幾種類型，并表明全面的病人表述有助于獲得更高的分數。

1.1 醫學數據的挑戰

醫學預測任務的有效建模必須考慮處理現實世界臨床數據庫中包含的高度可變的觀察數據的挑戰。我們將這些挑戰總結為六類：保護病人隱私、小而不完整的數據集、經濟有效的注釋過程、非標準化的數據結構、不規則的健康軌跡和多模式數據。事實上，電子病歷包含了關于病人及其病情的高度敏感的個人信息。利用這些數據進行研究需要一個去識別的步驟，以保護病人的敏感屬性，同時分享與深度學習研究相關的信息數據。此外，對敏感數據的保護和不存在一個從多個醫療中心收集數據的集中系統，導致了每個醫院特有的小數據集的定義。這些小數據集限制了定義高性能和可推廣的基于深度學習的預測模型的研究能力[25]。深度學習方法的一個特殊要求是收集有注釋的數據，指導這種復雜模型的監督學習過程。當考慮到臨床數據時，這個過程是具有成本效益的，因為它需要有足夠的醫學知識的高級專家，導致訓練集更小。另一方面，醫院使用不同的標準來組織其信息系統中的醫療數據，并使用不同的生物醫學本體論[26, 27]來對疾病、程序和治療等概念進行分類。這些系統的差異對于設計可在不同醫療系統中部署的通用模型是一個額外的障礙。即使考慮到統一的數據源，時間的不規則性也是這種現實世界臨床數據的另一個常見現象。事實上，醫療觀察的記錄是偶發的，取決于病人對醫院的訪問，產生的護理歷史因人而異，取決于每個病人的健康狀態和當地的習慣。因此，產生的數據包括不規則的健康軌跡，其長度不一，連續觀察之間的時間也不同。最后，健康軌跡中的每一個時間點都代表著一個護理事件，其中有各種類型的數據（如文本報告、治療處方、實驗室測試單、實驗室結果，以及醫療參數、診斷和行政代碼的記錄），這些數據是由幾個護理提供者在病人管理期間產生的。在一個通用模型中利用所有這些不同的類型是具有挑戰性的，因為它需要設計一個多模式系統，能夠從每個條目中學習重要的信息，并避免數據冗余。

1.2 研究背景

在對單一或多種類型的數據進行建模時，無論是圖像、文本還是縱向數據，都有一些研究工作發表，以解決醫療數據的挑戰。為了保護病人的個人信息，Andrew等人[28]分析了應用于結構化EHRs數據的多種隱私保護技術（如同態加密和差分隱私），用于計算深度學習的預測分數。此外，保護臨床筆記文本中的敏感信息也是一個活躍的研究領域，yang等人[29]設計了一個系統的回顧，總結了為自動去識別而提出的深度學習方法。為了解決小數據集的限制，一些工作提出了基于轉移學習的技術[30, 31, 32]，以利用預先訓練的模型所學到的知識，并將其擴展到新的數據集。另一個常見的解決方案是多任務學習[31, 33, 34]，通過利用相關任務的訓練信號中包含的特定領域的信息來提高泛化能力。

對EHRs數據中包含的信息進行重新排序，對于評估病人的護理路徑和了解疾病的演變至關重要。數據的異質性和不規則的健康軌跡是定義病人時間線的準確時間表述的兩個主要挑戰。大多數現有的工作依賴于行政代碼形式的縱向數據，以及在每個護理事件中產生的數值[10, 35, 36, 33]。因此，他們將時間線定義為一個多變量的時間序列。同時，其他工作[22, 11, 23]考慮了每次入院時產生的臨床記錄，以豐富病人的護理路徑。第一組[23, 22]學習了整個筆記的嵌入表示，并將得到的向量作為額外的特征添加到時間序列中，以利用文本信息。另一方面，第二組[11]定義了一個混合模型，其中第一階段是一個提取醫療概念的NLP模型。然后，這些概念被添加到時間序列中，用于第二階段的學習，代表病人的健康軌跡。最近NLP領域的進步導致了強大的架構的定義，使其能夠學習單詞的上下文嵌入，并在下游任務（如概念提取）中獲得高性能的分數。特別是，ClinicalBERT[37]和BioBERT[38]已經改編了著名的NLP模型BERT[39]，它是基于Transformer架構[40]。首先，他們在大型醫療文本語料庫上對模型進行了預訓練，以獲得單詞的上下文表示，然后在各種有監督的下游任務上對這個預訓練的架構進行了微調。特別是，這些模型在醫學概念提取任務中表現出更好的性能分數（范圍在78%到94%之間）。

然而，定義這樣的高性能模型依賴于廣泛的注釋過的臨床筆記的可用性，以及隨之而來的每個感興趣的類別的例子的數量。在過去的十年中，建立這種注釋語料庫的研究工作[41, 42, 43, 44]一直在增加，一些作品發表了注釋指南，使他們能夠產生高質量的標記數據。這個過程很耗時，而且成本很高，因為它經常需要醫學專家的手工注釋，而這些專家的可用性有限。主動學習[45]是一個很有前途的研究方向，它在圖像注釋中顯示了其有效性，并被擴展到一些應用中，如醫學文本注釋。其目的是通過選擇加速深度學習模型的學習迭代的例子來減少需要手動注釋的訓練數據量。它將醫學專家置于迭代過程的中心，允許他糾正模型的預測，然后考慮到他的反饋，重新訓練模型。主動學習策略的核心部分是定義一個指標，通常被稱為效用函數，它對模型的預測進行排序，并為下一次的再訓練迭代選擇信息量最大的例子。兩個突出的采樣策略是基于不確定性的，和基于密度的[46, 47, 48]。

重建的時間線是偶發的，連續觀察之間的時間間隔因病人而異，甚至在同一病人的健康軌跡中也是如此。目前大多數文獻[49, 50, 51, 52]是基于對具有固定時間間隔的縱向醫療事件的定期快照的統計分析，每月或每半年一次。這些模型需要有時間上等距的醫療事件。因此，對這些數據進行統計后分析時，需要采用歸因方法來填補缺失的數值。這些方法的性能在很大程度上取決于患者時間序列的完整性和推斷方法的準確性。與其用數據歸因方法來填補實際觀察值之間的空白，不規則性也是我們應該考慮的有價值的信息，以了解病人健康狀況的演變。按照這一思路，最近的研究[12, 53, 54, 50]利用在序列建模方面取得的進展，利用循環神經網絡（RNN）加上兩個連續事件點之間的時間間隙的表示，進行下游的醫療任務，如風險預測、程序推薦和病人表型。

1.3 目標

本論文的主要目標是建立一個多模態深度學習架構，利用EHR數據中包含的各種類型的信息，學習表示病人的時間線。隨后的目標是通過考慮這種環境的挑戰，在現實世界的臨床應用中驗證這個架構。主要來說，從第1.1節提出的挑戰中，我們重點設計了一個框架來表示病人健康軌跡中的時間不規則性，并提出了一個主動學習策略來降低基于深度學習的醫療概念提取模型的注釋成本。

1.4 研究問題

為了實現所提出的目標，這項工作涉及以下研究問題。

• RQ1：如何對患者健康軌跡中觀察到的不規則時間進行建模？

• RQ2：是否有可能設計一個不規則醫療時間序列建模的通用框架？

• RQ3：如何表示臨床筆記中的信息以豐富患者的健康軌跡？

• RQ4：什么是能夠降低基于Transformer的醫療信息提取方法的注釋成本的最佳主動學習策略？

• RQ5：多模態架構如何影響臨床預測任務的性能？

這些研究問題探討了使用神經網絡表示病人時間線的不同方法，并測量了它們對現實世界醫療數據的影響，考慮到事件的不規則記錄和醫療文本注釋的成本。

1.5 貢獻

本論文工作的第一部分涉及臨床事件時間序列中不規則時間戳的建模。由此產生的主要貢獻是實現了一個不規則時間序列的端到端分類的通用框架。該框架處理數字和分類的醫療事件，并支持病人的元數據。此外，它收集了最先進的序列深度學習模型和時間表示技術。利用這個框架，我們對1型糖尿病患者的糖尿病視網膜病變預測進行了實證研究，基于12種基于時間神經的方法的比較研究。數據收集自法國數據庫CaR′eDIAB[52]，包括1,207個1型糖尿病患者的HbA1c記錄的高變量單變量醫療時間序列。

在第二部分，我們表示了臨床記錄中包含的信息，并評估了它們在預測模型中的重要性。為此，我們對深度學習和傳統的機器學習方法進行了醫學文本分類的比較研究[15]。結果顯示，當應用基于DL的方法從病人的臨床筆記中預測健康獲得性感染（HAI）時，其有效性很高。然而，錯誤分析顯示，丟失的陽性病例是由于我們的模型中缺少時間管理。這些發現促使我們探索信息提取架構，從每個臨床筆記中選擇相關的醫療事件來豐富病人的時間線。這些技術通常需要大量的標記數據，這在處理醫療報告時是非常經濟的。因此，我們的第二項工作旨在定義一種深度主動學習策略，以減少用于醫療事件提取的臨床筆記的標注成本。具體來說，我們評估了基于轉化器的醫療事件提取模型的主動學習策略。

最后，第三項工作包括設計一個多模態架構，即Multi-HiTT：基于多模態的層次化時間感知轉化器。這個架構通過結合多變量事件時間序列、病人靜態信息和從臨床筆記中提取的醫學概念，利用病人醫療記錄中包含的所有信息，為臨床預測任務建立一個準確的病人代表。這項工作的主要貢獻是設計了一個結合結構化特征和自由文本醫學概念的分層時間性和多模式的病人代表。利用已實現的時間框架，我們通過研究重癥監護室收治的病人的院內死亡率預測，驗證了所提出的Multi-HiTT架構。我們特別考慮了由開源數據集MIMIC-III[13]提供的5120個不規則多變量時間序列。

1.6 概要

本論文分為三個部分。第一部分提供了促使我們做出貢獻的相關工作，并分兩章組織。在第一章中，我們建立了一個關于代表不規則臨床時間序列的時間感知深度學習模型的調查。第二章詳細介紹了用于命名實體識別的基于神經的架構和主動學習策略。另一方面，第二部分揭露了我們的三個主要貢獻。第一章描述了已實現的時間框架，允許醫學研究團隊進行比較研究，并根據他們的數據集和預測任務選擇最佳的DL模型來對IMTS進行分類。第二章定義了一種新的主動學習策略--動態混合加權不確定性采樣（Dynamic-HWUS），旨在減少用于訓練基于Transformer的命名實體識別模型的臨床筆記的注釋成本。第三章介紹了Multi-HiTT架構，該架構旨在結合不同層次的時間性和輸入數據的類型，以建立一個準確的病人的代表。最后，第三部分包括三項驗證我們提出的方法并使用真實世界的臨床數據庫的研究，討論其結果，總結論文工作，并介紹對未來工作的建議。

1.7 符號

我們注意到p∈P是醫學研究中考慮的病人集合。我們對病人p的多變量醫療時間序列定義如下：

• 多變量時間序列(Xp,t)1≤t≤N由狀態序列Xp,t組成，其中xp,t∈Rq是一個密集的嵌入向量，代表在離散時間步長t觀察到的不同類型的事件，q是向量空間維度，N是步長數，一般等于病人的就診次數。

• 離散時間步驟t的狀態向量可以表示為三個向量的組合。，其中np,t是文本筆記的表示向量，up,t表示數值向量，zp,t與醫療事件的編碼ID有關，dp對應于靜態的病人信息，如人口統計學。為了簡化符號，我們把時間戳t的病人向量稱為。

多變量醫療時間序列表示學習的目的是定義一個密集的嵌入，包括時間動態和的相關醫療信息。然后， 通過尋找的最佳f?，在預測性監督任務上驗證該表示，yp∈Y是預測病人p的真實標簽。

因果機器學習如何用于醫療中？愛丁堡大學最新《因果機器學習醫療應用》綜述，探討因果推理如何利用機器學習的最新進展，納入臨床決策支持系統的不同方面

因果機器學習(CML)在醫療保健領域越來越受歡迎。除了將領域知識添加到學習系統的固有能力之外，CML還提供了一個完整的工具集，用于研究系統對干預的反應(例如，給定治療的結果)。量化干預的效果使我們能夠在混雜因素存在的情況下做出可行的決策，同時保持魯棒性。在此，我們將探討因果推理如何利用機器學習的最新進展，納入臨床決策支持系統的不同方面。在本文中，我們使用阿爾茨海默病創建的例子來說明如何CML可以在臨床場景中是有利的。此外，我們討論了醫療保健應用中存在的重要挑戰，如處理高維和非結構化數據，推廣到非分布樣本和時間關系，盡管研究社區的巨大努力仍有待解決。最后，我們回顧了因果表征學習、因果發現和因果推理的研究路線，這些研究為解決上述挑戰提供了潛力。

隨著強大的機器學習(ML)方法(如深度學習[1])的出現，醫療健康預測系統取得了相當大的進展。在醫療保健領域，臨床決策支持(CDS)工具可以對諸如醫學圖像、臨床免費文本注釋、血液測試和遺傳數據等電子健康記錄(EHR)數據進行檢測、分類和/或分割等任務進行預測。這些系統通常使用監督學習技術進行訓練。然而，大多數由ML技術支持的CDS系統只學習數據中變量之間的關聯，而不區分因果關系和(虛假)相關性。

圖1 醫療健康中的CML有助于理解偏見和對干預效果的形式化推理。我們通過一個假設的例子說明，可以從低級數據(例如，I1可能對應于從醫學圖像中獲得的腦容量)中提取高級特征(因果表征)，并將其提取成一個對應于數據生成過程的圖表。CML可以用來發現變量之間哪些關系是虛假的，哪些是因果關系，分別用虛線和實線來說明。最后，CML提供了對干預效果進行推理的工具(使用do()操作符)。例如，對D1的干預只會影響圖中的下游變量，而其他關系要么不相關(由于圖的破壞)，要么保持不變。

以精準醫療(也被稱為個性化醫療)為目標的CDS系統需要回答關于個人對干預會如何反應的復雜問題。例如，針對阿爾茨海默病(AD)的精確CDS系統應該能夠量化使用給定藥物治療患者對最終結果的影響，例如預測隨后的認知測試得分。即使有合適的數據和完美的性能，目前的ML系統也只能根據之前數據的相關性來預測最佳的治療，這可能不能代表可操作的信息。當信息能夠根據給定患者的不同情況(如治療結果與未治療結果)之間的比較做出治療(介入)決定時，信息被定義為可操作的。這種系統需要因果推理(CI)來進行可操作的個體化治療效果預測。

在醫療健康中，一個主要的上游挑戰是如何獲得必要的信息來對治療和結果進行因果推理。現代醫療健康數據是多模態、高維且通常是非結構化的。在進行預測時，必須考慮到來自醫學圖像、基因組學、臨床評估和人口統計的信息。多模態方法可以更好地模擬人類專家如何利用信息進行預測。此外，許多疾病是隨著時間的推移而發展的，因此必須考慮到時間(時間維度)。最后，任何系統都必須確保這些預測能夠在不同的部署環境(如不同的醫院、城市或國家)中推廣。有趣的是，CI和ML之間的聯系可以幫助緩解這些挑戰。ML允許因果模型通過學習變量之間復雜的非線性關系來處理高維和非結構化數據。CI利用專家知識對系統進行了額外的理解，提高了多模態數據的信息融合，提高了當前ML系統的泛化和可解釋性。

因果機器學習(CML)文獻提供了幾個方向來解決上述挑戰時使用觀察數據。在此，我們將CML分為三個方向: (i) 學習給定高維數據的因果表示，學習提取低維信息(因果)變量及其因果關系;因果發現——給定一組變量，學習它們之間的因果關系; (iii) 因果推理——給定一組變量及其因果關系，分析系統將如何對干預作出反應。我們在圖1中說明了如何將這些CML方向集成到醫療健康中。在這篇文章中，我們討論了CML如何可以改善個性化決策，以及幫助減輕緊迫的挑戰在CDS系統。我們回顧了CML的代表性方法，解釋了如何在醫療健康上下文中使用它們。特別地，我們 (i) 提出因果關系和因果模型的概念;(二)說明它們如何在醫療健康環境中發揮作用; (iii) 討論緊迫的挑戰，如處理高維和非結構化數據、分布泛化和時間信息; (iv) 綜述CML的潛在研究方向。 什么是因果性？

我們對因果關系有一個寬泛的定義:如果A是原因，B是結果，那么B的值依賴于A。由于因果關系是有方向性的，反之則不成立; A的值不依賴于B。因此，因果關系的概念使分析系統將如何應對干預成為可能。諸如“如果病人接受X治療，這種疾病會如何發展?”’或者‘如果接受了Y的治療，這個病人還會經歷結果Z嗎?需要從因果關系出發來理解干預會如何影響特定的個體。在臨床環境中，因果推理可以用于決定哪種治療將導致最好的結果。例如，在AD場景中，因果關系可以回答這樣的問題:“哪種藥物A或哪種藥物B能在5年內最大程度地減少患者預期的認知衰退?”理想情況下，我們將使用觀察(歷史)數據來比較替代治療的結果。然而，“CI”[3]的“根本問題”是，對于每個單位(即患者)，我們要么觀察治療A的結果，要么觀察治療B的結果，但不能同時觀察兩者。這是因為在做出治療的選擇后，我們無法逆轉時間來撤消治療。這些考慮個人假設情況的查詢被稱為潛在結果。因此，我們只能觀察到一個行動的一種潛在后果;未觀察到的量變成了反事實。由Pearl [4]， Imbens和Rubin[5]開創的因果關系的數學形式主義允許回答這些更具挑戰性的問題。大多數ML方法(目前)無法識別因果關系，因為不做假設就根本無法實現CI[4,6]。這些假設中的幾個可以通過研究設計或外部語境知識得到滿足，但沒有一個可以僅僅從觀察數據中發現。接下來，我們向讀者介紹兩種定義和推理因果關系的方法:用結構性因果模型(SCMs)和用潛在結果。

為什么我們要考慮醫療健康中的因果框架?

在過去的幾十年里，CI在社會科學、計量經濟學、流行病學和病因學等領域做出了一些貢獻[4,5]，最近它已經擴展到其他醫療健康領域，如醫學影像學[14-16]和藥理學[2]。在本節中，我們將詳細闡述因果關系如何用于改善醫療決策。例如，盡管來自EHRs的數據通常是觀察性的，但它們已經成功地用于若干ML應用，如建模疾病進展[18]，預測疾病惡化[19]和發現危險因素[20]，以及預測治療反應[21]。此外，我們現在有證據表明，算法在成像任務中實現了超人的性能，如分割[22]，檢測病理和分類[23]。然而，精確醫學試圖實現的目標并不是以近乎完美的精度預測特定患者的疾病。相反，我們的目標是建立ML方法，從觀察性患者數據中提取可操作的信息，以便做出介入(治療)決定。這就需要CI，它超越了下面詳細介紹的用于預測的標準監督學習方法。為了在患者層面做出可執行的決定，我們需要評估治療效果。治療效果是兩種潛在結果的差異: 事實結果和反事實結果。為了進行可操作的預測，我們需要算法來學習如何對可能采取不同行動的假設場景進行推理，從而創建一個可以導航的決策邊界，以改善患者的結果。最近有證據表明，人類使用反事實推理來做出因果判斷[25]，這為這種推理假設提供了支持。這就是為什么推斷治療效果的問題與潛在結果框架定義的標準監督學習[2]有本質區別[5,10]。根據定義，當使用觀測數據集時，我們從未觀察到與事實相反的結果。因此，針對個體的最佳治療(精準醫療[26]的主要目標)只能通過能夠進行因果推理的模型來確定，詳見§3.3。

復雜數據的因果機器學習

在§3中，我們關注在因果模型已知(至少部分已知)且變量劃分良好的情況下的因果推理。我們向讀者推薦Bica等人[2]對這些方法進行全面的綜述。然而，大多數醫療問題在因果推理的上游都有挑戰。在本節中，我們強調處理高維和多模態數據以及時間信息的需要，并討論從非結構化數據學習時在非分布設置中的泛化。

因果機器學習研究方向

本文的最后一部分討論了CML在醫療健康中的應用，包括復雜的多模態、時間和非結構化數據，并討論了一些未來的研究方向。我們根據§1中定義的三個類別來討論CML:(i)因果表征學習; (ii) 因果關系的發現; (iii) 因果推理。

因果表示學習

表示學習[82]指的是ML的組合視圖。我們考慮的不是輸入域和輸出域之間的映射，而是一種捕捉世界概念的中間表示。當考慮使用真實的醫療數據進行學習和推理時，這個概念是必不可少的。§4.3中考慮的高維和非結構化數據，沒有被組織成可以直接用于當前因果模型的單位。在大多數情況下，感興趣的變量不是，例如，圖像本身，而是它的生成因素之一，例如AD例子中的灰質體積。因果表征學習[9]將學習世界因素的概念擴展到用因果模型建模變量之間的關系。換句話說，目標是將表示域Z建模為§2.1中的SCM。因果表征學習建立在解糾纏表征學習文獻[83-85]的基礎上，旨在強化更強的歸納偏差，而非解糾纏表征通常追求的因素獨立假設。這個想法是為了強化遵循因果模型的潛在變量的層次結構，而因果模型又應該遵循真實的數據生成過程。

因果關系的發現

進行隨機對照試驗非常昂貴，有時不道德，甚至是不可能的。例如，為了了解吸煙對肺癌的影響，有必要強制隨機的個人吸煙或不吸煙。大多數真實的數據是觀察性的，發現變量之間的因果關系更具挑戰性。考慮到因果變量已知的設置，因果發現是學習變量之間因果關系方向的任務。在某些設置中，我們有許多輸入變量，目標是構建最好地描述數據生成過程的圖結構。在過去的三十年中，圍繞從觀測數據中發現因果結構的廣泛背景得到了發展，正如最近的主題綜述所描述的[6,86 - 88]。大多數方法依賴于條件獨立檢驗、對可能的DAGs和/或關于數據生成過程的函數類和噪聲分布的假設的組合探索(例如，假設真實的因果關系是線性的，帶有附加噪聲，或外源噪聲具有高斯分布)來尋找給定因果變量的因果關系。在醫療健康領域，Huang等人[89]和Sanchez-Romero等人[90]使用因果發現方法，利用功能性MRI數據了解大腦中不同的生理過程是如何相互造成因果影響的。因果發現仍然是一個開放的研究領域，從觀察數據發現因果效應[6,91]的一些主要挑戰是無法(i)識別所有潛在的偏差來源(未觀察到的混雜因素);(ii)為所有變量選擇適當的函數形式(模型錯誤說明);(iii)建立時間因果關系模型。

因果推理

據推測，人類通過直覺理論[35]內在地構建了生成因果模型來想象近似的物理機制。同樣，利用圍繞干預的因果模型的力量開發模型也將是有用的。因果模型可以被正式地操縱以衡量干預的效果。使用因果模型來量化干預的效果并思考最佳決策被稱為因果推理。正如前面§3.3中所討論的，因果推理在醫療健康中的一個關鍵好處是圍繞個性化決策。在SCMS(§2.1)中，個性化決策通常指的是回答關于歷史情況的反事實問題的能力，例如“如果患者接受了替代治療X會發生什么?”反事實可以通過(i)三步程序53進行估計，該程序最近通過深度學習[15,92]得到增強，使用生成模型，如歸一化流[93]、變分自編碼器[94]和擴散概率模型[95]，或(ii)孿生網絡[96]，該網絡增強了原始SCM，從而同時表示事實和反事實變量。深度孿生網絡[97]利用神經網絡進一步提高因果機制的靈活性。我們注意到，量化干預效果通常假設因果模型要么是明確給出的[15,98]，要么是通過因果發現獲得的[99]。Aglietti等人[98]利用他汀類藥物對前列腺特異性抗原水平的因果效應模型來評估他們的方法[100]，而Pawlowski等人[15]和Wang等人[101]則對大腦MRI圖像的數據生成過程建模。Reinhold等[102]在Pawlowski等人[15]的基礎上增加了多發性硬化病變的病理信息。在潛在結果框架(§2.2)中，已經提出了許多方法來根據觀察數據估計個性化(也稱為個體化或條件平均)治療效果。這些技術包括貝葉斯加性回歸樹[103]、雙ML[104,105]、帶積分概率度量[106]或正交約束[107]的神經網絡正則化、高斯過程[108]、生成式對抗網絡[109]或基于能量的模型[110]。另一種估計CATE的趨勢是基于元學習者[111,112]。在元學習設置中，傳統的(監督)ML被用來預測潛在結果和傾向的條件期望。然后，通過取估計的潛在結果之間的差值[112]或使用帶有回歸調整、傾向加權或雙魯棒學習的兩步程序[111]來計算CATE。

在不確定性下進行的決策序列出現在各種環境中，包括交通、通信網絡、金融、國防等。為序列決策問題找到最優決策策略的經典方法是動態規劃；然而，由于維度詛咒和建模詛咒，它的用處有限，因此許多現實世界的應用需要另一種方法。在運籌學中，過去的 25 年中，使用近似動態規劃 (ADP)（在許多學科中被稱為強化學習）來解決這些類型的問題越來越受歡迎。通過這些努力，成功部署了 ADP 生成的卡車運輸行業駕駛員調度、機車規劃和管理以及制造中高價值備件管理的決策策略。在本文中，我們首次回顧了 ADP 在國防背景下的應用，特別關注那些為軍事或文職領導層提供決策支持的應用。本文的主要貢獻是雙重的。首先，我們回顧了 18 個決策支持應用程序，涵蓋了部隊發展、生成和使用的范圍，它們使用基于 ADP 的策略，并針對每個應用重點介紹了其 ADP 算法的設計、評估和取得的結果。其次，基于所確定的趨勢和差距，我們討論了與將 ADP 應用于國防決策支持問題相關的五個主題：所研究的問題類別；評估 ADP 生成策略的最佳實踐；與當前實施的策略相比，設計漸進式策略與徹底改進策略的優勢；情景變化時策略的穩健性，例如從高強度沖突到低強度沖突的轉變；以及尚未在國防中研究的，可能從 ADP 中受益的順序決策問題。

關鍵詞：序列決策問題、馬爾可夫決策過程、近似動態規劃、強化學習、軍事

1 引言

許多決策不是孤立地做出的；觀察到以前不確定的新信息；鑒于這些新信息，將做出進一步的決策；更多新信息到來；等等。這些類型的決策被恰當地描述為順序決策問題、不確定性下的順序決策或多??階段決策問題，其特點是決策對未來獲得的回報或產生的成本、未來決策的可行性以及在某些情況下的外生時間對決策的影響[1],[2],[3]。本質上，“今天的決策影響明天，明天的決策影響下一天”[2, p.1]，如果不考慮決策之間的關系，那么所取得的結果可能既沒有效率也沒有效果。

自20世紀50年代以來，人們就知道這種順序決策可以被建模為馬爾科夫決策過程（MDP），它由五個部分組成：一組候選行動；選擇行動后得到的獎勵；做出決策的歷時；狀態，即選擇行動、確定獎勵和告知系統如何演變所需的信息；以及定義系統如何從一個狀態過渡到下一個狀態的過渡概率[4]。給定一個MDP，目標是找到一個決策策略--"一個規則（或函數），根據現有的信息確定一個決策"[3,p.221]，也被稱為應急規劃、規劃或戰略[2,p.22]--作出的決策使得系統在給定的標準下表現最佳。尋找最優決策策略的經典方法是通過動態規劃（DP）解決貝爾曼的最優方程[5]。在國防背景下，DP已被應用于確定各種連續決策問題的決策策略，包括艦隊維護和修理[6]、基本訓練安排[7]、研究和開發項目選擇[8]、軍事人員的去留決策[9]以及醫療后勤資產調度[10]。

盡管DP為解決順序決策問題提供了一個巧妙的框架，但它在許多現實世界的應用中的作用有限，這一點早已得到認可。這是由于維度的詛咒[5]--"隨著變量（或維度）數量的增加，問題的難度異常快速增長"[11]--以及建模的詛咒，即需要一個明確的模型來說明系統如何從一個狀態過渡到下一個狀態[12]。雖然今天的計算機可以解決有數百萬個狀態的順序決策問題[13]，但許多問題仍然太大，無法通過經典的DP方法有效解決。此外，通常的情況是，狀態之間的過渡概率根本不知道。具有這些特征的順序決策問題貫穿于整個國防領域，跨越了軍力發展、生成和使用的范圍。比如說：

• 在軍力發展中，關于能力投資的決策可能多達數百項，通常在業務規劃周期內的固定時間進行，并且每年重復。決策者必須考慮所選擇的投資的短期和長期影響，以及未選擇的投資，同時考慮到未來軍事合同的不確定性，聯盟和對手能力的變化，國防特定通脹，等等。

• 在軍力組建中，決定招募多少名軍人和軍士，以滿足各種軍事職業的要求，同時尊重國家的授權力度，并考慮到各種不確定因素，包括每年的退休、晉升、自然減員等等；

• 在軍力雇傭范圍內，在大規模疏散行動中決策，如重大海難期間，將哪些人裝上直升機，同時考慮到包括天氣變化、個人健康、直升機故障等不確定因素。

由于這些挑戰，在這些類型的問題中，通常不可能找到一個最優的決策策略，需要采用其他的方法，重點是找到一個好的或接近最優的策略。第一個方法是由Bellman和Dreyfus[14]提出的，在接下來的幾十年里，包括運籌學、控制論和計算機科學在內的各個領域都發展了更多的方法，詳細的討論和相關的參考文獻列表見Powell[15]。此外，數學規劃領域，特別是隨機規劃，已經開發了復雜的算法來解決高維決策和狀態向量的問題，這在現實世界的順序決策問題中經常看到[16]。

在運籌學中，這些方法以各種名義被開發出來；尤其是神經動態規劃、自適應動態規劃和近似動態規劃（ADP）。如圖1所示，這些方法在過去的25年里越來越受歡迎，從1995年到2021年4月9日，共發表了2286篇文章，年發表率從一篇文章增長到每年近250篇。最近，ADP--"一種在模擬中做出智能決策的方法"[17,p.205]，其中 "產生的策略不是最優的，所以研究的挑戰是表明我們可以獲得在不同情況下穩健的高質量決策策略"[18,p.3]--已經成為更常用的術語[3]。作者們最近也開始使用強化學習這個標簽，最近出版的《強化學習和最優控制》一書[19]和即將出版的《強化學習和隨機優化：隨機決策的統一框架》一書[20]就是證明。值得注意的是，ADP生成的決策策略已經成功部署到工業領域，包括卡車行業的司機調度策略[21],[22],[23], 機車規劃和管理[24],[25], 以及制造業內高價值備件的管理[26]。

圖1. 1995年至2021年4月9日期間每年發表的ADP相關文章的數量。

在這篇文章中，我們首次回顧了ADP在國防背景下的應用。特別是，我們專注于軍事運籌學領域的同行評議文獻；也就是 "應用定量分析技術為軍事[或民事]決策提供信息"[27]。本文的主要貢獻有兩個方面。首先，我們回顧了18個決策支持應用，這些應用跨越了部隊發展、生成和使用的范圍，使用了基于ADP的策略，并為每個應用強調了其ADP算法是如何設計、評估和取得的結果。其次，基于所發現的趨勢和差距，我們討論了與將ADP應用于國防決策支持問題有關的五個主題：所研究的問題類別；評估ADP生成策略的最佳做法；與目前實行的策略相比，設計策略是漸進式的，而不是完全徹底的；隨著情景的變化，策略的穩健性，如沖突中從高強度到低強度的轉變；我們還建議提出國防內部可能受益于ADP生成策略的其他順序決策問題。

本文的其余部分組織如下。第2節提供了相關的背景信息。第3節介紹了進行此次審查的方法。第4節和第5節是審查的主要內容。第4節回顧了18個已確定的ADP在國防領域的決策支持應用，第5節介紹了與在國防領域應用ADP相關的五個主題。最后，第6節給出了總結性意見。

4. 近似動態規劃 (ADP)在軍事作戰研究中的應用

在本節中，我們介紹了通過上述文獻搜索確定的18篇基于應用的文章的摘要。表2列出了每項研究，其應用領域，以及所實施的ADP策略和算法的特征。所列的特征主要集中在第2.3節中討論的那些特征，即：

• 決策策略的類型--短視CFA、PFA、VFA、DLA或混合。

• 價值函數近似策略--查詢表、參數化或非參數化。

• 價值函數模型--層次聚合、線性結構、NN等。

• 算法策略-狹義搜索、數學規劃、隨機規劃、AVI、API。

• 更新價值函數模型參數的方法--時差學習、LSTD、LSPE、SVR，等等；

• 步長--常數、廣義調和、多項式等。

對于所列出的一些文章，沒有提供足夠的信息來確定作者是如何處理某些特征的。在這種情況下，該特征被列為未說明。此外，有些文章中的某些特征并不適用。在這種情況下，該特征被列為不適用。下面給出了進一步的細節。研究報告分為三類--軍力發展、軍力組建、軍力使用，然后按時間順序排列。

表2. 1995-2021年期間ADP在軍事作戰研究中的應用。文章按橫線分為三組：部隊發展（上組）、軍力組建（中組）和軍力使用（下組）。

葡萄牙貝拉內大學最新《醫學診斷中可解釋深度學習方法》綜述，值得關注！

深度學習的顯著成功引發了人們對其在醫學診斷中的應用的興趣。即使最先進的深度學習模型在對不同類型的醫療數據進行分類時達到了人類水平的準確性，但這些模型在臨床工作流程中很難被采用，主要是因為它們缺乏可解釋性。深度學習模型的黑盒性提出了設計策略來解釋這些模型的決策過程的需要，這導致了可解釋人工智能(XAI)這個話題的產生。在此背景下，我們提供了XAI應用于醫療診斷的全面綜述，包括可視化、文本和基于示例的解釋方法。此外，這項工作回顧了現有的醫學成像數據集和現有的指標，以評估解釋的質量。作為對大多數現有綜述的補充，我們包含了一組基于報告生成方法之間的性能比較。最后，還討論了XAI在醫學影像應用中的主要挑戰。 //www.zhuanzhi.ai/paper/f6e90091666dbcaa5b40c1ab82e9703b

引言

人工智能(AI)領域在過去十年取得的進展，支持了大多數計算機視覺應用的準確性的顯著提高。醫學圖像分析是在對不同類型的醫學數據(如胸部X光片[80]、角膜圖像[147])進行分類時取得人類水平精確度的應用之一。然而，盡管有這些進展，自動化醫學成像在臨床實踐中很少被采用。Zachary Lipton[69]認為，對這一明顯的悖論的解釋很簡單，醫生在不了解決策過程的情況下，永遠不會相信算法的決策。這一事實提出了產生能夠解釋人工智能算法的決策過程的策略的必要性，隨后導致了一個新的研究主題的創建，稱為可解釋人工智能(XAI)。根據DARPA[41]的說法，XAI的目標是“在保持高水平的學習性能(預測精度)的同時，產生更多可解釋的模型;并使人類用戶能夠理解、適當、信任和有效地管理新一代人工智能伙伴”。盡管XAI具有普遍適用性，但它在高風險決策(如臨床工作流程)中尤其重要，在這種情況下，錯誤決策的后果可能導致人類死亡。這也得到了歐盟通用數據保護條例(GDPR)法律的證明，該法律要求解釋算法的決策過程，使其透明，然后才能用于患者護理[37]。

因此，在將深度學習方法應用于臨床實踐之前，投資研究新的策略以提高其可解釋性是至關重要的。近年來，對這一課題的研究主要集中在設計間接分析預建模型決策過程的方法。這些方法要么分析輸入圖像的特定區域對最終預測的影響(基于擾動的方法[77;101]和基于遮擋的方法[151])或檢查網絡激活(顯著性方法[112;153])。這些方法可以應用于任意網絡架構，而不需要對模型進行額外的定制，這一事實支持了它們在XAI早期的流行。然而，最近的研究表明，事后策略在解釋的重要性方面存在一些缺陷[2;105]。因此，研究人員將他們的注意力集中在能夠解釋其決策過程本身的模型/架構的設計上。現有的可解釋模型被認為在醫學成像中特別有用[105]，證明了最近集中于這一范式而不是傳統的后特殊策略的醫學成像作品數量的增長是合理的[53;144]。盡管近年來固有可解釋模型的流行，但現有的關于深度學習應用于醫學成像的可解釋性的研究并沒有全面回顧這一新的研究趨勢的進展。此外，專注于解釋應用于醫學成像的深度學習決策過程的著作數量顯著增加，因此有必要對最近一次關于該主題的綜述未涵蓋的最新方法進行更新調研。

**為了解決這些問題，我們全面回顧了可解釋深度學習應用于醫學診斷的最新進展。特別是，這項綜述提供了以下貢獻: **

回顧最近關于醫學成像中可解釋深度學習主題的調研，包括從每個工作中得出的主要結論，以及對我們調研的比較分析。 用于醫學成像的深度學習方法可解釋性研究中常用的數據集的詳盡列表。 全面調研最先進的可解釋醫學成像方法，包括事后模型和固有的可解釋模型。 對基準可解釋性方法常用的度量標準的完整描述，無論是可視化的還是文本的解釋。關于文本解釋質量的可解釋醫學成像方法的基準。 醫學影像中可解釋深度學習的未來研究方向

基于文獻綜述，XAI方法可以根據三個標準進行分類: (i) 模型無關性vs模型具體; （ii）全局可釋性與局部可釋性; (iii)事后對內在。圖1說明了XAI方法的分類法，

醫療診斷中的可解釋人工智能方法

正如前面提到的，深度學習模型在部署到現實場景時必須具有透明性和可信賴性。此外，這一要求在臨床實踐中尤其相關，在臨床實踐中，不知情的決定可能會將患者的生命置于危險之中。在綜述的文獻中，已經提出了幾種方法來賦予應用于醫學診斷的深度學習方法解釋性。以下部分總結和分類了應用于醫學診斷的可解釋模型范圍內最相關的工作。此外，我們特別關注內在可解釋的神經網絡及其在醫學成像中的適用性。我們根據解釋方式將這些方法分為:(i)特征歸因解釋，(ii)文本解釋，(iii)實例解釋，(iv)概念解釋，(v)其他解釋;受[86]提出的分類學啟發。根據所使用的算法、圖像形態和數據集分類的綜述方法列表見表4。

摘要

在過去的幾十年里，分析為徹底改變醫療保健提供了希望，提供更有效、以患者為中心和個性化的護理。隨著越來越多的數據被收集、計算性能得到提高以及新算法的開發，機器學習已被視為推進醫療保健服務的關鍵分析工具。然而，直到最近，盡管人們對大數據的潛力充滿熱情，但只有少數例子影響了當前的臨床實踐。本論文提出了預測性和規范性方法的組合，這些方法將有助于向個性化醫療的過渡。

我們提出了新的機器學習算法來解決主要的數據缺陷，如缺失值、審查觀察和未觀察到的反事實。利用各種數據源，包括健康和索賠記錄、縱向研究和非結構化醫療報告，我們展示了分析在心血管和腦血管疾病背景下的潛在好處。為了推動這些方法的采用，我們在算法保險領域奠定了基礎，提出了一個量化框架來估計機器學習模型的訴訟風險。這項工作強調可解釋性和促進臨床醫生參與融入醫療保健系統的模型設計。

第一部分介紹了機器學習和優化交叉點的缺失數據插補、聚類和生存分析的數據驅動算法。第二部分強調了醫學領域的規范性和預測性分析的潛力。我們為個性化處方開發了一個新框架，并將其應用于冠狀動脈疾病的治療。第二部分還介紹了可以支持早期診斷和改善中風患者管理的預測模型。最后，第三部分提出了一種新的風險評估方法，使醫療機構能夠管理因實施分析決策工具而產生的風險。

第一章 引言

1.1 研究動機

ML 模型已開始在現代組織中發揮重要作用。在當今瞬息萬變的經濟和社會中，它們正迅速成為轉型、顛覆和競爭優勢的關鍵來源。等待這種影響的科學領域前沿是醫療保健和保險。這些領域的特點是不確定性和可變性，這對臨床醫生、政策制定者和商業領袖的決策過程構成重大挑戰。需要考慮的參數太多，潛在的并發癥眾多，而少數群體的專業信息匱乏。

醫療實踐仍然主要由傳統的統計技術驅動，這些技術從有限的樣本量和風險因素中得出結論。數據驅動的流程尚未整合到醫院決策中，而廣泛建立的醫療指南主要針對普通人群，在絕大多數情況下缺乏個性化。分析和機器學習為該領域創造了前所未有的機會，提供了可以利用大數據力量的新技術，在個人層面發現新見解。本論文的目的是展示我們如何利用這些寶貴的資源來個性化決策，并最終為患者、醫療機構和保險組織帶來更好的結果。

1.1.1 醫療保健應用的機器學習方法

從電子健康和索賠記錄到縱向研究和非結構化醫療報告，醫療保健行業使用各種需要專門算法的數據源。該領域遇到的問題的復雜性以及數據的不完整性，對充分發揮其潛力構成了重大挑戰。第一部分介紹了利用優化技術解決醫療保健應用中遇到的一些最常見數據問題的新 ML 算法：缺失值、聚類和刪失。在第 2 章中，我們設計了一種新方法 MedImpute，用于在多變量面板數據中估算缺失的臨床協變量。在第 3 章中，我們提出了通過最優樹 (ICOT) 進行可解釋聚類，這是一種恢復可解釋數據集群的新型無監督學習方法。在第 4 章中，我們解決了使用最優生存樹 (OST) 算法進行刪失的挑戰，生成全局優化的生存樹模型。與各種數據集和環境上的現有成熟方法相比，我們展示了這些算法的卓越計算性能。第一部分提供了可解釋性不必以犧牲準確性為代價的證據，提供了一套新的工具，可以在醫療保健中采用數據驅動模型方面發揮關鍵作用。

1.1.2 臨床數據的規范性和預測性分析

第二部分說明了分析對醫療保健行業的變革力量，強調了我們與醫學研究人員在創建促進臨床決策的規范模型和預測分數方面的聯合研究工作。首先，我們展示了如何利用可用的 ML 算法在患者層面提供治療建議，從而實現向個性化醫療的過渡。我們的工作通過綜合大量患者對不同方案觀察到的異質反應，揭示了個性化、高效的治療方法。我們的規范算法利用了基于投票方案的通用監督學習模型的組合。它的性能是通過一系列新的評估指標來衡量的，這些指標考慮了在各種基本事實下多種治療的反事實結果。因此，我們評估了規范方法的準確性、有效性和魯棒性。我們將這項技術應用于冠狀動脈疾病 (CAD) 的管理，這是對人類健康影響最大的臨床疾病之一（第 5 章）。

接下來，我們專注于以中風患者為中心的預測模型。我們強調模型推導和外部驗證過程，并提出潛在的技術來從非線性模型中識別可操作的見解。使用來自廣為人知的弗雷明漢心臟研究的結構化數據，我們在第 6 章中提出了一個健康個體估計 10 年中風風險的新模型。該模型已在波士頓醫療中心 (BMC) 進行了前瞻性驗證，并且正在 Hartford HealthCare 的初級保健機構進行回顧性評估。第 7 章轉向非結構化信息，介紹從非結構化放射影像文本中提取患者信息的綜合框架。我們結合使用自然語言處理和監督學習方法，自動檢測缺血性中風的潛在存在、位置和嚴重程度。該模型現已在布萊根婦女醫院和 BMC 成功用于患者表征。

在這些調查中，我們的目標是這些模型的采用和臨床整合。為了提供影響醫療實踐的有用且可解釋的工具，我們開發了在線 Web 應用程序來傳達建議的推薦系統結果。事實證明，這些接口對于確保醫生使用模型并在部署它們的醫療保健組織中產生真正的影響至關重要。

1.1.3 算法保險

現代醫療保健組織中數據驅動工具的實施同時擾亂了保險業。通過提供強大的預測模型來估計可能導致索賠的不良事件（即心臟病發作、癌癥等）的概率，分析已經開始超越健康保險中的傳統精算方法。未來，機器學習算法有望發揮更核心的作用，因為在預測性和規范性性能產生更好結果的情況下，它們將被要求取代人類決策。這種轉變引發了具有挑戰性的問題：“如果算法的推薦錯誤，誰來承擔責任？”和“我們如何保護決策者免受錯誤的算法預測？”隨著人工智能開始融入組織的決策過程，必須開發新型保險產品來保護其所有者免受風險。潛在的例子包括應用于放射學的圖像識別系統，這些系統可能承擔醫療責任，并從醫療保健擴展到自動駕駛汽車或用于制造的預測性維護算法，以及許多其他應用。第三部分為稱為算法保險的新研究領域奠定了基礎。我們提出了一個全面的量化過程來估計算法責任保險合同的風險敞口，同時考慮到二元分類模型的預測性能、可解釋性和可概括性。我們在醫療事故的背景下展示了我們的方法實施。

1.2 大綱和主要貢獻

本文的貢獻可以總結如下，按章節列出。

第 2 章：時間序列的醫學插補

數據缺失是醫療保健研究中的一個主要問題，因為不完整的信息經常出現在患者記錄中。在本章中，我們提出了一個新框架 MedImpute，用于在多變量面板數據中估算缺失的臨床協變量。這種方法提出了一種靈活的優化公式，可以對其進行修改以適應不同的插補算法。它可以使用廣泛的臨床數據集作為輸入，包括來自臨床試驗和電子健康記錄 (EHR) 的信息，這些信息對個性化醫療具有特別的研究興趣。我們將我們的貢獻總結如下：

? 我們在 MedImpute 框架下用時間序列信息制定了缺失數據插補的問題，擴展了 Bertsimas 等人 (2018) [32]提出的 OptImpute 框架。我們專注于 ??-最近鄰 (??-NN) 公式來解決優化問題并推導出相應的快速一階算法 med.knn。

? 我們進行了一系列計算實驗，測試該方法在三個真實世界數據集上的性能，改變缺失數據的百分比、每個個體的觀察次數以及缺失數據的機制。

? 我們證明，相對于其他最先進的缺失數據插補方法，med.knn 在所有實驗中始終能帶來最佳的預測性能和最低的插補誤差。

? 我們提出了一種新的自定義調整程序，以有效地學習優化問題中的超參數，與標準交叉驗證相比，該程序具有卓越的縮放性能和更好的插補精度。

本章中的工作成果發表在“機器學習”期刊 [41]。

圖 2.1：在 FHS、DFCI 和 PPMI 數據集上使用 MAE 度量的每種方法的插補誤差，缺失數據的百分比從 10% 變化到 50%。缺失數據機制固定為 MCAR。

第 3 章：可解釋聚類：一種優化方法

廣泛建立的聚類技術不能提供數據分離背后的直觀推理，從而限制了它們的可解釋性。在現實世界的應用中，特別是在醫療保健環境中，后者對決策者采用和集成 ML 工具構成了主要障礙。在本章中，我們提出了一種基于樹的無監督學習方法，該方法可以獲得可解釋的集群，其性能與其他現有算法相當或更好。我們的貢獻如下：

? 我們提供了無監督學習問題的 MIO 公式，導致創建全局最優聚類樹，激發了我們的新算法 ICOT。

? 我們建議使用迭代坐標下降 (CD) 方法來實現我們的方法，該方法可擴展到更大的問題，很好地逼近全局最優解。

? 我們引入了其他技術，利用采樣和集群創建的幾何原理來提高算法的效率。

? 我們證明，ICOT 與使用跨多個內部驗證標準的合成數據集的各種聚類方法相比具有競爭力。

? 我們提供了該算法如何在實際環境中使用的示例，并測試了 ICOT 對大型問題實例的擴展能力。

本章的工作成果發表于“機器學習” 期刊[31]。

圖 3.1：基于 Ruspini 數據集構建的聚類樹示例。

第 4 章：最優生存樹

生存分析解決了數據集中出現的挑戰，在這些數據集中出現了審查觀察結果，其中感興趣的結果通常是事件發生前的時間，但對于某些人來說，事件的確切時間是未知的。審查結果在醫療保健研究中無處不在，因此，用于生存分析的 ML 方法越來越受歡迎。我們提出了利用 MIO 和局部搜索技術生成全局優化生存樹模型的 OST 算法。我們證明 OST 提高了現有生存樹方法的準確性，特別是在大型數據集中。本章的主要貢獻是：

? 我們提出了一種生存樹算法，該算法利用 Optimal Trees 框架為審查數據生成可解釋的樹。

? 我們提出了一種新的準確度指標，用于評估 Kaplan-Meier 曲線估計相對于模擬數據集中已知生存分布的擬合度。

? 我們評估了我們的方法在模擬和真實世界數據集中的性能，并展示了相對于兩種現有算法的改進準確性。

? 我們提供了該算法如何用于預測不良事件風險并在現實世界數據集中產生臨床見解的示例。

本章中的工作已提交出版[28]。

圖 4.1：在 60 個真實世界數據集中平均分類方法的性能。 OCT 和 OCT-H 分別指的是沒有和有超平面分割的最優分類樹。

圖 4.6：生存樹算法的樹恢復指標摘要。

第 5 章：冠狀動脈疾病患者的個性化治療：機器學習方法

在本章中，我們的目標是為 CAD 患者找到最佳的主要治療方法，以最大限度地提高 TAE（心肌梗塞或中風）。我們提出了一種數據驅動的方法，利用多種回歸算法為每位患者分配具有最佳預測結果的方案。我們開發預測性和規范性模型，提供個性化的治療建議和評估它們的定量框架。本章的主要貢獻是：

? 我們提出了一種治療右刪失患者的新方法，該方法利用 ??-NN 方法來估計真實世界數據的真實生存時間。

? 我們開發了可解釋且準確的二元分類和回歸模型，用于預測 CAD 患者潛在不良事件的風險和時間。

? 我們提出了第一個利用 EHR 為 CAD 提供治療建議的規范性方法，將多個最先進的回歸模型與臨床專業知識相結合。

? 我們引入了一種新的評估框架來衡量規范算法的樣本外性能。

? 我們創建了一個在線應用程序，醫生可以在其中實時測試算法的性能，從而縮小與臨床實踐的差距。

本章中的工作成果發表于“醫療管理科學”期刊 [42]。

圖 5.3：OCT 模型第一部分的可視化。路徑 1 和 2 用藍色虛線矩形框表示。陰影節點包括樹模型的折疊子集。

第 6 章：非線性弗雷明漢中風風險評分

絕大多數中風發生在沒有梗塞病史的人群中，這突出了健康個體需要準確的中風風險評估工具。標準中風風險評分基于風險因素與疾病患病率之間存在線性關系的假設。然而，數學和醫學現實表明，這些因素的相互作用遠非線性，并且由于其他變量的缺失或存在，某些變量會獲得或失去意義。本章介紹 N-SRS；一種預測 10 年中風風險的新模型。利用 ML 算法，我們的風險計算器提高了事件預測的準確性，并以可解釋的方式揭示了患者特征之間的新關系。本章的主要貢獻如下：

? 我們提出了一種利用縱向研究數據用于監督學習模型的新方法，允許在訓練和測試隊列中出現同一患者的多個實例。

? 我們使用來自著名的弗雷明漢心臟研究的數據開發并驗證了第一個非線性、可解釋的預測評分，用于 10 年中風風險。

? 我們展示了 N-SRS 樹結構如何導致識別 23 個中風風險概況，突出新變量在疾病進展中的作用，例如心電圖結果中顯示的血細胞比容水平或異常。

? 我們構建了一個動態在線應用程序，作為算法的用戶友好界面，供臨床提供者使用。

本章中的工作發表于 PLOS one [257]。

圖 6.1：基于 N-SRS 樹的模型的可視化。

第 7 章：從放射學報告中識別缺血性中風、嚴重程度和位置的自然語言處理方法

快速、準確的數據提取可以顯著改善在大型數據集中識別中風、分類關鍵臨床報告和質量改進工作。然而，廣泛使用的 ICD-9/10 代碼經常錯誤地對缺血性卒中事件進行分類，并且不區分嚴重程度或位置。在本章中，我們的目標是開發一種工具，能夠以準確和自動化的方式從非結構化文本中提取臨床卒中信息。我們開發并報告了一個綜合框架，該框架研究了簡單和復雜的中風特異性自然語言處理 (NLP) 和監督學習技術的性能，以從射線照相文本中確定缺血性中風的存在、位置和嚴重度。我們將我們的貢獻總結如下：

? 我們收集了來自兩個大型學術醫療中心的 17,864 名患者的 60,564 份放射學報告。神經病學專家標記了 1,359 份報告，以確定中風的存在、位置和敏銳度。

? 我們應用標準文本特征化技術并開發神經血管特定詞 GloVe 嵌入。

? 我們訓練和驗證各種二進制分類算法，以從放射學報告中識別感興趣的結果。

? 我們證明了與深度學習配對的 GloVe 詞嵌入在推導和驗證隊列中的三項任務的所有方法中具有最佳的識別性能。

本章的工作成果發表于 PLOS one [256] 中。

圖 7.1：NLP 分類的接收器操作曲線。 A、中風存在； B、MCA位置； C、嚴重度。我們展示了數據的五次隨機拆分的平均靈敏度和特異性。

第 8 章：定價算法風險保險業尚未制定量身定制的合同來保護

ML 建模者和決策者免受算法錯誤的訴訟風險。在本章中，我們針對二元分類模型提出了一類新的訴訟索賠保險產品以及評估它們的定量工具。這項工作提供了一個全面的分析過程來評估此類模型的財務風險，為算法保險的新領域奠定了基礎。本章的主要貢獻是：

? 我們提出了一個定量框架，該框架根據模型的辨別性能、可解釋性和可概括性來估計模型的風險敞口。

? 我們采用優化公式來同時估計給定分類模型的保費和訴訟風險。我們使用穩健的優化和圍繞潛在損失場景的不同類型的不確定性來擴展公式。

? 我們為醫療責任提供了乳腺癌檢測的案例研究，并研究了模型參數在計算實驗中的影響。本

章的工作已提交出版 [30]。

圖 8.1：對于 ??、?? 分布的兩種不同組合，CVaR 作為 ?? 參數的函數。

強化學習定義了僅通過行動和觀察來學習做出好的決策的代理所面臨的問題。為了成為有效的問題解決器，這些代理必須能有效地探索廣闊的世界，從延遲的反饋中分配信用，并歸納出新的經驗，同時要利用有限的數據、計算資源和感知帶寬。抽象對所有這些努力都是必要的。通過抽象，代理可以形成其環境的簡潔模型，以支持一個理性的、自適應的決策者所需要的許多實踐。在這篇論文中，我提出了強化學習中的抽象理論。首先，我提出了執行抽象過程的函數的三個要求:它們應該1)保持近似最優行為的表示，2) 有效地被學習和構造，3) 更低的規劃或學習時間。然后，我提出了一套新的算法和分析，闡明了代理如何根據這些需求學習抽象。總的來說，這些結果提供了一條通向發現和使用抽象的部分路徑，將有效強化學習的復雜性降到最低。

強化學習問題如下。RL代理通過以下兩個離散步驟的無限重復與環境進行交互:

1. 代理收到觀察和獎勵。
2. 代理從這種交互中學習并執行一個動作。 這個過程如圖1.2所示。在這種互動過程中，agent的目標是做出決策，使其獲得的長期報酬最大化。

論文余下組織如下： 第1部分。在第2章中，我提供了關于RL(2.1節)以及狀態抽象(2.2節)和動作抽象(2.3節)的必要背景知識。

第2部分。下一部分將專注于狀態抽象。我提出了新的算法和三個緊密相連的分析集，每一個目標是發現滿足引入的需求的狀態抽象。在第3章中，我開發了一個形式化的框架來推理狀態抽象，以保持近似最優的行為。這個框架由定理3.1總結，它強調了值保持狀態抽象的四個充分條件。然后，在第4章中，我將這一分析擴展到終身RL設置，在終身RL設置中，代理必須不斷地與不同的任務交互并解決不同的任務。本章的主要觀點是介紹了用于終身學習設置的PAC狀態抽象，以及澄清如何有效計算它們的結果。定理4.4說明了保證這些抽象保持良好行為的意義，定理4.5說明了有多少以前已解決的任務足以計算PAC狀態抽象。我著重介紹了模擬實驗的結果，這些結果說明了所介紹的狀態抽象類型在加速學習和計劃方面的效用。最后，第五章介紹了信息論工具對狀態抽象的作用。我提出了狀態抽象和率失真理論[283,43]和信息瓶頸方法[318]之間的緊密聯系，并利用這種聯系設計新的算法，以高效地構建狀態抽象，優雅地在壓縮和良好行為表示之間進行權衡。我以各種方式擴展了這個算法框架，說明了它發現狀態抽象的能力，這些狀態抽象提供了良好行為的樣本高效學習。

第3部分。然后我轉向行動抽象。在第6章中，我展示了Jinnai等人的分析[144]，研究了尋找盡可能快地做出計劃的抽象動作的問題——主要結果表明，這個問題通常是NP困難的(在適當簡化的假設下)，甚至在多項式時間內很難近似。然后，在第7章中，我解決了在規劃中伴隨高層次行為構建預測模型的問題。這樣的模型使代理能夠估計在給定狀態下執行行為的結果。在本章中，我將介紹并分析一個用于這些高級行為的新模型，并證明在溫和的假設下，這個簡單的替代仍然是有用的。我提供的經驗證據表明，新的預測模型可以作為其更復雜的對等物的適當替代者。最后，在第8章中，我探討了抽象行動改善探索過程的潛力。我描述了Jinnai等人開發的一種算法[145]，該算法基于構建可以輕松到達環境所有部分的抽象行動的概念，并證明該算法可以加速對基準任務的探索。

第4部分。最后，我轉向狀態動作抽象的聯合過程。在第9章中，我介紹了一個將狀態和動作抽象結合在一起的簡單機制。使用這個方案，然后我證明了哪些狀態和動作抽象的組合可以在任何有限的MDP中保持良好的行為策略的表示，定理9.1總結了這一點。接下來，我將研究這些聯合抽象的反復應用，作為構建分層抽象的機制。在對層次結構和底層狀態動作抽象的溫和假設下，我證明了這些層次結構也可以保持全局近最優行為策略的表示，如定理9.3所述。然后，我將在第十章中總結我的思考和今后的方向。

總的來說，這些結果闡明了強化學習的抽象理論。圖1.4展示了本文的可視化概述。

強化學習(RL)是一種流行的處理順序決策任務的范式，其中agent只有有限的環境反饋。盡管在過去的三十年里取得了許多進步，但是在許多領域的學習仍然需要大量的與環境的交互，這在現實的場景中是非常昂貴的。為了解決這個問題，遷移學習被應用于強化學習，這樣在一個任務中獲得的經驗可以在開始學習下一個更困難的任務時得到利用。最近，有幾項研究探索了如何將任務(或數據樣本本身)排序到課程中，以便學習一個可能很難從頭學起的問題。在本文中，我們提出了一個課程學習的強化學習框架，并利用它來調查和分類現有的課程學習方法的假設、能力和目標。最后，我們使用我們的框架來發現開放的問題，并為未來的RL課程學習研究提出方向。