現有的推薦系統方法更多的是對相關性建模，但難于保證推薦系統的魯棒性等。來自清華中科院等最新《推薦系統中的因果推理》綜述論文，**全面回顧了基于因果推理的推薦的文獻，**非常值得關注!

推薦系統在當今的信息過濾中起著至關重要的作用。現有的推薦系統是通過學習數據中的相關性來提取用戶偏好的，如協同過濾中的行為相關性，特征-特征，或者預測點擊率中的特征-行為相關性。然而，令人遺憾的是，現實世界是由因果關系而不是相關性驅動的，而相關性并不意味著因果關系。例如，推薦系統可以在用戶購買手機后向其推薦電池充電器，后者可以成為前者的原因，而這種因果關系是無法逆轉的。近年來，為了解決這一問題**，推薦系統的研究人員開始利用因果推理來提取因果關系，增強推薦系統**。在這項綜述中，我們全面回顧了基于因果推理的推薦的文獻。首先，我們提出了推薦和因果推理的基本概念，作為后面內容的基礎。我們提出了非因果性推薦所面臨的典型問題。然后，我們全面回顧了基于因果推理的推薦的現有工作，基于因果推理解決的問題的分類。最后，我們討論了這一重要研究領域有待解決的問題，以及未來值得關注的工作。

//www.zhuanzhi.ai/paper/c0a2efd0fa2bb09875e3eb5c8e570cb8

在信息過載的時代，推薦系統(RecSys)已經成為方便用戶獲取信息的基礎服務。從早期的淺層模型[40,63]，到最近的基于深度學習的模型[13,27]，再到最近的基于圖神經網絡的模型[25,114]，推薦系統的技術和模型發展迅速。一般來說，推薦系統的目標是通過匹配用戶的歷史行為，以及收集到的用戶配置文件、商品屬性或其他上下文信息來了解用戶的偏好。這里的交互主要是由之前的推薦系統誘發的，很大程度上受推薦策略的影響。然后，推薦系統從候選商品池中篩選，并選擇符合用戶個性化偏好和需求的商品。一旦部署，系統就會收集新的交互來更新模型，這樣整個框架就形成了一個反饋循環。

一般來說，推薦系統可以分為兩類，即協同過濾(CF)和基于內容的推薦(又稱點擊率預測，簡稱CTR預測)。協同過濾關注用戶的歷史行為，如點擊、購買等。協同過濾的基本假設是，具有相似歷史行為的用戶，其未來行為也會趨于相似。例如，最具代表性的矩陣分解模型MF (matrix factorization model)使用向量來表示用戶和商品，然后使用內積來計算用戶和商品之間的相關性得分。為了提高模型的能力，最近的工作[13,27]利用深度神經網絡來匹配用戶和項目，如神經協同過濾[27]，它利用多層感知器來取代MF模型中的內積。此外，協作過濾的廣泛視角考慮了附加信息，如順序推薦中的每個行為的時間戳[10,115]、社交推薦中的用戶社交網絡[14,99]、多行為推薦中的多類型行為[18,101]等，對相關性進行了建模。點擊率預測的重點是利用豐富的屬性和特性的用戶，項目，或上下文來增強推薦。主流的CTR預測任務旨在通過適當的特征交互模塊學習高階特征，如FM (Factorization Machine)中的線性內積、DeepFM[20]中的多層感知器、AFM中的注意力網絡[103]、AutoInt中的疊置自注意力層[77]等。

當今推薦系統的基礎是建立相關性模型，例如協同過濾中的行為相關性，特征-特征，或者點擊率預測中的特征-行為相關性。然而，現實世界是由因果關系而不是相關性驅動的，而相關性并不意味著因果關系。推薦系統中廣泛存在兩種因果關系:用戶層面和交互層面。用戶方面的因果關系是指由因果關系驅動的用戶決策過程。例如，用戶在購買手機后可能會購買電池充電器，而后者可以成為前者的原因，這種因果關系是不可逆轉的。交互方面的因果關系是指推薦策略在很大程度上影響用戶與系統的交互。例如，未觀察到的用戶-物品交互并不意味著用戶不喜歡該物品，這可能只由未暴露引起。

**從形式上講，因果關系可以定義為原因和結果，其中原因對結果負有部分責任[111]。**因果推斷被定義為基于實驗數據或觀察數據來確定并進一步利用因果關系的過程[111]。兩種流行且被廣泛使用的因果推理框架是潛在結果框架(Rubin因果模型)[64]和結構因果模型(SCM)[57,59]。Rubin的框架旨在計算某些治療方法的效果。結構因果模型構建一個因果圖和相應的結構方程，其中有一組變量和描述變量之間因果關系的結構方程。由于采用了關聯驅動范式，現有的推薦系統仍然存在嚴重的瓶頸。具體來說，三個主要挑戰限制了當前范式的有效性，因果推理可以作為一個有前途的解決方案，如下所示。

數據偏差的問題。收集到的數據，例如最重要的用戶-物品交互數據，是觀察性的(而不是實驗性的)，導致了偏差，包括從眾性偏差、受歡迎性偏差等。[45]對于非因果性推薦系統，模型不僅學習了用戶期望的偏好，而且還學習了數據偏差，導致推薦性能較差。

數據丟失甚至數據噪聲的問題。推薦系統中采集的數據受限于采集過程，存在缺失或有噪聲的數據。例如，盡管物品池規模很大，但用戶只與一小部分物品進行交互，這意味著無法收集大量未被觀察到的用戶-物品反饋。此外，有時觀察到的隱性反饋甚至是嘈雜的，并不能反映用戶的實際滿意度，例如那些在電子商務網站的點擊行為，最后以差評結束，或者一些錯誤的行為。

**超出精度的目標很難實現。**除了準確性，推薦系統還應考慮其他目標，如公平性、可解釋性、透明度等。提高這些超出精度的目標可能會損害推薦的準確性，導致兩難。例如，一個考慮用戶行為下的多重驅動原因的模型，基于對每個原因進行分解和可解釋嵌入的分配，可以很好地提供準確和可解釋的推薦。另一個例子是多樣性。與高同質性的列表相比，高多樣性的物品推薦列表可能無法符合用戶的興趣，因為對于高同質性列表，因果關系可以幫助捕捉用戶為什么消費特定類別的物品，實現準確性和多樣性。

最近關于推薦系統的研究通過精心設計的因果關系驅動方法解決了這些挑戰。在過去的兩年里，相關的論文層出不窮，因果推理很有可能會席卷推薦系統領域。在這篇調研論文中，我們系統地回顧了這些早期的研究成果，特別是關于它們如何解決因果推理的關鍵缺陷。首先，具有因果關系的推薦方法可以構建因果圖，在大多數情況下，偏差可以被認為是混淆劑，這是進一步通過因果推理技術解決。其次，對于缺失的數據，因果增強模型可以幫助構建一個反事實的世界，從而可以通過反事實推理來收集缺失的數據。第三，因果推理可以自然地幫助建立可解釋和可控的模型，在此基礎上可以實現模型本身和推薦結果的可解釋性。此外，由于模型變得可控，其他目標也可以實現，包括多樣性、公平性等。具體而言，目前推薦中的因果推理工作可分為以下幾類：

• 數據去偏與因果推理。對于受歡迎程度偏差或暴露程度偏差，這種偏差(由于受歡迎程度意識或暴露策略意識的數據收集)在大多數情況下可以被視為一種混雜因素。現有的一些工作通過后門調整來解決這個問題。對于整合偏差，它可以被描述為對撞機效應。

• 基于因果推理的數據增強和數據去噪。雙重數據缺失問題包括有限的用戶數據收集和推薦模型對系統的因果影響。第一次折疊的極端情況甚至會產生數據噪聲問題。對于第一種情況，反事實推理可以幫助生成未收集的數據作為補充，這解決了數據缺失的問題。對于第二個方面，如IPW等因果模型可以估計推薦模型的因果效應。

• 基于因果推理的可解釋可控推薦模型，實現可解釋性、多樣性和公平性。按照因果圖設計的模型自然是可控的，其中具有代表性的技術包括因果發現、解纏表示等。基于可解釋模型，通過控制模型可以獲得較高的多樣性，避免權衡，通過控制模型對特定用戶群體的公平性來獲得公平的推薦。

值得一提的是，盡管有關于推薦系統[21,98,117]或因果推斷[22,51,51,112]的調研，但目前還沒有關于因果驅動推薦系統這一新的重要領域的調研。這些推薦系統的綜述主要介紹和討論了推薦系統的基本概念和各種進展，并對基于因果關系的推薦進行了一些討論。這篇因果推理綜述主要介紹和討論因果推理的基本概念和基本方法，對因果推理的應用探討不夠。我們總結這項調研的貢獻如下。

• 據我們所知，我們采取開創性的步驟，對這個新的但有前途的領域進行系統的調研。我們通過回答為什么因果推理是必要的以及因果推理如何增強推薦的基本問題來分類現有的工作。

• 我們提供推薦系統和因果推理的必要知識，然后致力于介紹和解釋因果推理的現有推薦工作，從早期的嘗試和最近發表的論文到2022年。

• 我們討論了該研究領域中重要但尚未解決的問題，并提出了有前景的方向，我們相信這將是未來幾年的主流研究方向。

圖2 因果推理的重要概念

說明非因果推薦模型的三個典型問題，以及因果推理如何解決這些問題。

因果推薦系統分類

現有的因果去偏方法主要有三類: 混淆效應、碰撞效應和反面推理。

近年來，因果推理已經成為推薦系統研究領域一個非常重要的課題，可以毫不夸張地說，它重塑了我們對推薦模型的認知。本文首先詳細系統地討論了為什么因果推理可以，以及它如何解決非因果推薦模型的缺陷，從而對現有的工作進行了調研。我們希望這項綜述能夠很好地激勵這一領域的研究人員。

近年來，機器學習(ML)、人工智能(AI)和其他數據驅動技術取得了重大進展，在生物醫學信息學、健康信息學、醫學AI、醫療物品AI (AIoMT)、醫療AI和智能家庭護理等許多領域都取得了令人振奮的進展，將醫療和健康數據分析帶入了一個新時代。這是一個神奇的時代，所有這些現代機器學習和數據分析技術的幾乎所有應用領域都平等地存在著機遇和挑戰。我們很幸運，因為我們現在已經使用不同的先進機器學習技術在醫療診斷和醫療健康服務方面取得了許多最先進的成果。例如，目前許多淺層和深度學習框架和AI技術已經成功地應用于醫療診斷和醫療健康服務。然而，在試圖解決復雜問題時，仍有許多挑戰需要克服，以獲得令人滿意的解決方案。例如，從可靠性、倫理、可解釋性等角度來看，數據驅動AI和黑盒深度神經網絡越來越受到關注。

我們已經看到機器學習、人工智能和其他數據分析(如數據建模、數據挖掘)技術在醫療診斷和醫療保健服務領域的應用越來越多，例如神經生理信號和神經成像處理、癌癥和疾病診斷、醫療健康(如電子健康記錄)和福祉數據分析、流行病診斷和預測，這只是其中的一部分。許多新的方法和算法被開發出來，旨在解決與我們日常生活密切相關或重大影響的現有問題或新興問題。現在是時候推動傳播應用AI和ML技術解決醫療診斷和保健服務領域問題的最新結果和發現了。本書旨在展示數據驅動和基于數據的ML和AI技術的最新進展，重點介紹了方法和算法的實現，包括信號處理和系統識別，數據挖掘，圖像處理和模式識別，以及深度神經網絡及其應用。

圖神經網絡和強化學習都是機器學習中研究的主流模型，如何結合GNN和RL，是一個有趣的問題。最近來自美國堪薩斯州立大學發布了《基于圖神經網絡的強化學習》綜述，闡述相關算法與應用。

深度強化學習(DRL)已經增強了各種人工智能領域的能力，包括模式識別、機器人、推薦系統和游戲。類似地，圖神經網絡(GNN)也證明了它們在對圖結構數據進行監督學習方面的卓越性能。近年來，GNN與DRL在圖形結構環境中的融合引起了廣泛關注。本文對這些混合工作進行了全面的綜述。這些工作可以分為兩類: (1)算法增強，其中DRL和GNN相輔相成，發揮更好的效用;(2)特定于應用的增強，其中DRL和GNN相互支持。這種融合有效地解決了工程和生命科學中的各種復雜問題。在此基礎上，我們進一步分析了融合這兩個域的適用性和好處，特別是在提高通用性和降低計算復雜度方面。最后，強調了整合DRL和GNN的關鍵挑戰，以及潛在的未來研究方向，這將是更廣泛的機器學習社區的興趣。

近年來，深度學習的體系結構、算法和框架得到了爆炸式的發展，用于解決計算機視覺、建模和控制等一系列具有挑戰性的現實問題。在這些發展中，使用深度神經網絡(DNN)在強化學習(RL)框架內解決順序決策問題，導致深度強化學習(DRL)被認為是人工智能1中最先進的框架之一。該方法應用于組合優化[2]、游戲[3]、機器人[4]、自然語言處理[5]和計算機視覺[6]。DRL在這些應用中的巨大成功可以歸功于(1)以一種計算高效、可伸縮和靈活的方式處理復雜問題的能力，這在其他情況下是數值棘手的[7];(2)計算效率高，能夠快速生成高保真度解決方案，這在需要實時決策[8]的高動態環境中至關重要;(3)理解環境動力學的能力，并僅基于與環境的交互產生接近最優的行動，而不需要明確的基礎系統[9]，[10]的先驗知識。

雖然DRL的有效性在游戲中得到了最廣泛的證明，但它正在迅速地應用于其他各種現實應用中。其中一些應用程序涉及到顯示可以用圖形表示的顯式結構關系的環境。例如，旅行商問題(TSP)中的城市網絡或不完整的知識圖譜本質上具有基于圖的不同實體排列的特征。在歐幾里得空間中處理數據的方法并不適合這種環境，需要在編碼節點或聚合來自不同代理的信息方面進行特殊處理。這些方面用圖神經網絡(GNN)系統建模，詳見§II。這種結構關系的融入是一種輔助輸入，進一步提高了解決方案的質量。最近，研究人員一直在探索將強大的GNN模型與DRL融合的優勢，以有效地解決這類圖結構應用。這些混合工作的徹底調研可能是極其有益的，在識別挑戰和確定未來的研究方向。此外，一些與DRL相關的綜述作品也在[2]、[5]-[15]不斷發表。然而，這些綜述存在兩個主要缺陷:** (1)這些調研的大多數是通過特定應用領域的視角進行的。因此，他們被局限于特定的方法，忽視了跨領域的整體視角;(2)據我們所知，目前的文獻中還沒有關于DRL和GNN聯合研究的全面綜述**。

深度強化學習與圖神經網絡的融合

本文對DRL和GNN融合的相關文獻進行了系統綜述，主要貢獻如下:

對涉及DRL和GNN的橫跨理論發展(§III-A)和多個應用領域(§III-B)的文獻進行了嚴格的綜述。 * 對綜合DRL-GNN的理論和應用貢獻進行了分類(§III)。為此，對現有作品進行分類和分析的各種屬性被確定(§IV)。 * 該調研采取了一個整體的方法來回顧文獻，特別關注算法的關鍵方面，如計算效率，可擴展性，通用性和適用性。 * DRL和GNN仍處于發展的早期階段，兩者融合的研究也處于早期階段。因此，對相關挑戰進行了徹底的調研究，并確定了未來的研究方向(§V)。

DRL和GNN已經成為現代深度學習中極其強大的工具。DRL利用DNN的表達能力來解決RL的順序決策問題，而GNN是一種新穎的體系結構，特別適合處理圖結構數據。我們確定了兩大類聯合使用GNN和DRL的研究文章，如圖2所示。第一類文章利用GNN(或DRL)對DRL(或GNN)的應用進行算法和方法上的改進。另一方面，第二類文章同時使用DRL和GNN來解決不同應用領域的實際問題。表一描述了調研DRL和GNN融合工程的概況，表二概述了調研論文的個別組成部分。

A.算法發展

在本節中，我們將討論著重于開發改進DRL或GNN的新公式或算法的文章。在這些文章中，要么使用GNN來改進DRL的配方和性能，要么使用DRL來提高GNN的適用性。

1) DRL增強GNN:

利用DRL改進GNN的工作被用于不同的目的，包括神經體系結構搜索(NAS)，提高GNN預測的可解釋性和為GNN設計對抗樣本。

神經體系結構搜索(NAS): 指自動搜索神經網絡的最優體系結構的過程。層數，層中的節點數等)來解決一個特定的任務。[24]采用一種基于DRL的控制器，采用探索引導和保守利用的方法，對不同的GNN架構進行高效搜索。搜索空間由隱藏維度、注意力頭、注意力、聚合、組合和激活函數組成。作者將模型同質化作為一種方法，在子代和祖先體系結構之間執行引導參數共享。與現有的架構搜索方法[25]相比，該方法在基準數據集上具有更好的性能。

**解釋GNN預測: **為DNN預測生成解釋是提高ML模型透明度的一項重要任務。Shan等人[26]使用DRL來改進現有的解釋GNN預測的方法。為GNN預測生成解釋的問題涉及識別對生成預測影響最大的子圖。作者設計了一個基于DRL的迭代圖生成器，它從種子節點(預測的最重要節點)開始，并添加邊來生成解釋子圖。DRL模型僅基于解釋性子圖，利用預測的相互信息和預測的分布來學習具有策略梯度的子圖生成策略。作者表明，該方法在生成的子圖和基礎真理解釋之間的定性和定量相似性方面獲得了更好的可解釋性。

2) GNN增強DRL:

本小節討論與DRL算法改進相關的論文。具體而言，我們著重研究了GNN在關系型DRL問題(RDRL)中的應用，以有效地建模(1)多智能體深度強化學習(MADRL)框架中的不同智能體之間的關系，以及(2)多任務深度強化學習(MTDRL)框架中的不同任務之間的關系。

在MADRL中，agent之間的關系建模: 在MADRL中，一群agent為了實現一個共同的目標而相互合作或競爭。該框架最近被用于許多具有挑戰性的任務，包括交通燈控制、自動駕駛和網絡數據包傳輸[32]-[34]。在這種情況下，代理之間的通信提供關于其他代理的環境和狀態的附加信息。人們提出了幾種學習這種交流的方法。捕捉這些關系的第一個工作主體與基于注意力的方法[35]-[38]有關。ATOC[39]、DGN[40]和COMA-GAT[36]通過注意力機制提供通信。

**在MTDRL中對任務之間的關系進行建模:**該框架提供了一種優雅的方法來利用多個任務之間的共性，以便學習具有更高回報、泛化、數據效率和健壯性的策略。在大多數MTDRL工作中，一個固有的假設是相容的狀態-動作空間，即跨多個任務的相同維度的狀態和動作。然而，這在許多實際應用中被違背，如組合優化和機器人。這個問題已經通過使用能夠處理任意大小的圖的GNN得到了解決，從而在不兼容的狀態-動作環境[46]中支持MTDRL。由于GNN提供了合并結構信息的靈活性，它允許集成額外的領域知識，其中狀態被標記為圖。GNN在MTDRL中的使用已經在連續控制環境中得到證實，利用RL代理的物理形態來構建輸入圖[47]，[48]。

RDRL的關系符號輸入:RDRL的基本前提是將DRL與關系學習或歸納邏輯編程[49]集成，其中狀態、動作和策略用一階/關系語言[50]表示。該空間中的任務具有變化的狀態空間和動作空間的特點。在這些問題中，很難找到大多數現有DRL方法所需要的固定長度的表示。這個問題可以使用GNN來處理，方法是根據圖形結構數據制定關系問題。關系域的機制通常由關系動態影響圖語言(RDDL)[51]表示。

B .應用

第二大類論文利用DRL的多功能性和GNN的靈活編碼能力來解決不同應用領域的有趣挑戰。這些領域涵蓋了廣泛的范圍，包括組合優化、運輸、控制、知識圖譜和生命科學，我們將在接下來簡要回顧。

1) 組合優化(CO):

許多CO問題的計算是昂貴的，需要近似和啟發式來解決多項式時間。人們對使用機器學習技術解決CO問題越來越感興趣。在這方面，CO問題通常被定義為MDP，其中最優行動/解決方案可以通過DRL學習到。此外，底層環境表示為使用GNN處理的圖。

**2) 交通: **用DRL和GNN處理的運輸問題大致可以分為路由和速度預測兩類。

**

**

3) 制造與控制:由于過程和系統級之間日益增加的復雜性和相互依賴性，DRL也在現代制造系統中得到了探索[73]-[75]。

4. 知識圖譜補全 :在推薦系統[93]、社交網絡[94]、問答系統[95]、智能制造[96]、信息抽取[97]、語義解析[98]和命名實體消歧[99]等各種應用中，知識圖譜(Knowledge Graphs, KG)被越來越多地用于表示異構的圖結構數據。現實世界知識庫的一個關鍵問題是，它們是不完整，也就是說，很多關系都缺失了。知識圖譜(KGC)補全。是一個知識庫完成過程，旨在通過推斷缺失的條目與現有的幫助下，填補不完整的現實世界的知識庫。

**5)生命科學: **除了工程應用之外，ML最近的進展也展示了它在各種生命科學應用方面的革命性潛力，如藥物發現[101]-[103]和腦網絡分析[104]。為此，[101]提出了一種設計將DRL耦合到深度生成模型的抗病毒候選藥物的新方法。

摘要

在過去的幾十年里，分析為徹底改變醫療保健提供了希望，提供更有效、以患者為中心和個性化的護理。隨著越來越多的數據被收集、計算性能得到提高以及新算法的開發，機器學習已被視為推進醫療保健服務的關鍵分析工具。然而，直到最近，盡管人們對大數據的潛力充滿熱情，但只有少數例子影響了當前的臨床實踐。本論文提出了預測性和規范性方法的組合，這些方法將有助于向個性化醫療的過渡。

我們提出了新的機器學習算法來解決主要的數據缺陷，如缺失值、審查觀察和未觀察到的反事實。利用各種數據源，包括健康和索賠記錄、縱向研究和非結構化醫療報告，我們展示了分析在心血管和腦血管疾病背景下的潛在好處。為了推動這些方法的采用，我們在算法保險領域奠定了基礎，提出了一個量化框架來估計機器學習模型的訴訟風險。這項工作強調可解釋性和促進臨床醫生參與融入醫療保健系統的模型設計。

第一部分介紹了機器學習和優化交叉點的缺失數據插補、聚類和生存分析的數據驅動算法。第二部分強調了醫學領域的規范性和預測性分析的潛力。我們為個性化處方開發了一個新框架，并將其應用于冠狀動脈疾病的治療。第二部分還介紹了可以支持早期診斷和改善中風患者管理的預測模型。最后，第三部分提出了一種新的風險評估方法，使醫療機構能夠管理因實施分析決策工具而產生的風險。

第一章 引言

1.1 研究動機

ML 模型已開始在現代組織中發揮重要作用。在當今瞬息萬變的經濟和社會中，它們正迅速成為轉型、顛覆和競爭優勢的關鍵來源。等待這種影響的科學領域前沿是醫療保健和保險。這些領域的特點是不確定性和可變性，這對臨床醫生、政策制定者和商業領袖的決策過程構成重大挑戰。需要考慮的參數太多，潛在的并發癥眾多，而少數群體的專業信息匱乏。

醫療實踐仍然主要由傳統的統計技術驅動，這些技術從有限的樣本量和風險因素中得出結論。數據驅動的流程尚未整合到醫院決策中，而廣泛建立的醫療指南主要針對普通人群，在絕大多數情況下缺乏個性化。分析和機器學習為該領域創造了前所未有的機會，提供了可以利用大數據力量的新技術，在個人層面發現新見解。本論文的目的是展示我們如何利用這些寶貴的資源來個性化決策，并最終為患者、醫療機構和保險組織帶來更好的結果。

1.1.1 醫療保健應用的機器學習方法

從電子健康和索賠記錄到縱向研究和非結構化醫療報告，醫療保健行業使用各種需要專門算法的數據源。該領域遇到的問題的復雜性以及數據的不完整性，對充分發揮其潛力構成了重大挑戰。第一部分介紹了利用優化技術解決醫療保健應用中遇到的一些最常見數據問題的新 ML 算法：缺失值、聚類和刪失。在第 2 章中，我們設計了一種新方法 MedImpute，用于在多變量面板數據中估算缺失的臨床協變量。在第 3 章中，我們提出了通過最優樹 (ICOT) 進行可解釋聚類，這是一種恢復可解釋數據集群的新型無監督學習方法。在第 4 章中，我們解決了使用最優生存樹 (OST) 算法進行刪失的挑戰，生成全局優化的生存樹模型。與各種數據集和環境上的現有成熟方法相比，我們展示了這些算法的卓越計算性能。第一部分提供了可解釋性不必以犧牲準確性為代價的證據，提供了一套新的工具，可以在醫療保健中采用數據驅動模型方面發揮關鍵作用。

1.1.2 臨床數據的規范性和預測性分析

第二部分說明了分析對醫療保健行業的變革力量，強調了我們與醫學研究人員在創建促進臨床決策的規范模型和預測分數方面的聯合研究工作。首先，我們展示了如何利用可用的 ML 算法在患者層面提供治療建議，從而實現向個性化醫療的過渡。我們的工作通過綜合大量患者對不同方案觀察到的異質反應，揭示了個性化、高效的治療方法。我們的規范算法利用了基于投票方案的通用監督學習模型的組合。它的性能是通過一系列新的評估指標來衡量的，這些指標考慮了在各種基本事實下多種治療的反事實結果。因此，我們評估了規范方法的準確性、有效性和魯棒性。我們將這項技術應用于冠狀動脈疾病 (CAD) 的管理，這是對人類健康影響最大的臨床疾病之一（第 5 章）。

接下來，我們專注于以中風患者為中心的預測模型。我們強調模型推導和外部驗證過程，并提出潛在的技術來從非線性模型中識別可操作的見解。使用來自廣為人知的弗雷明漢心臟研究的結構化數據，我們在第 6 章中提出了一個健康個體估計 10 年中風風險的新模型。該模型已在波士頓醫療中心 (BMC) 進行了前瞻性驗證，并且正在 Hartford HealthCare 的初級保健機構進行回顧性評估。第 7 章轉向非結構化信息，介紹從非結構化放射影像文本中提取患者信息的綜合框架。我們結合使用自然語言處理和監督學習方法，自動檢測缺血性中風的潛在存在、位置和嚴重程度。該模型現已在布萊根婦女醫院和 BMC 成功用于患者表征。

在這些調查中，我們的目標是這些模型的采用和臨床整合。為了提供影響醫療實踐的有用且可解釋的工具，我們開發了在線 Web 應用程序來傳達建議的推薦系統結果。事實證明，這些接口對于確保醫生使用模型并在部署它們的醫療保健組織中產生真正的影響至關重要。

1.1.3 算法保險

現代醫療保健組織中數據驅動工具的實施同時擾亂了保險業。通過提供強大的預測模型來估計可能導致索賠的不良事件（即心臟病發作、癌癥等）的概率，分析已經開始超越健康保險中的傳統精算方法。未來，機器學習算法有望發揮更核心的作用，因為在預測性和規范性性能產生更好結果的情況下，它們將被要求取代人類決策。這種轉變引發了具有挑戰性的問題：“如果算法的推薦錯誤，誰來承擔責任？”和“我們如何保護決策者免受錯誤的算法預測？”隨著人工智能開始融入組織的決策過程，必須開發新型保險產品來保護其所有者免受風險。潛在的例子包括應用于放射學的圖像識別系統，這些系統可能承擔醫療責任，并從醫療保健擴展到自動駕駛汽車或用于制造的預測性維護算法，以及許多其他應用。第三部分為稱為算法保險的新研究領域奠定了基礎。我們提出了一個全面的量化過程來估計算法責任保險合同的風險敞口，同時考慮到二元分類模型的預測性能、可解釋性和可概括性。我們在醫療事故的背景下展示了我們的方法實施。

1.2 大綱和主要貢獻

本文的貢獻可以總結如下，按章節列出。

第 2 章：時間序列的醫學插補

數據缺失是醫療保健研究中的一個主要問題，因為不完整的信息經常出現在患者記錄中。在本章中，我們提出了一個新框架 MedImpute，用于在多變量面板數據中估算缺失的臨床協變量。這種方法提出了一種靈活的優化公式，可以對其進行修改以適應不同的插補算法。它可以使用廣泛的臨床數據集作為輸入，包括來自臨床試驗和電子健康記錄 (EHR) 的信息，這些信息對個性化醫療具有特別的研究興趣。我們將我們的貢獻總結如下：

? 我們在 MedImpute 框架下用時間序列信息制定了缺失數據插補的問題，擴展了 Bertsimas 等人 (2018) [32]提出的 OptImpute 框架。我們專注于 ??-最近鄰 (??-NN) 公式來解決優化問題并推導出相應的快速一階算法 med.knn。

? 我們進行了一系列計算實驗，測試該方法在三個真實世界數據集上的性能，改變缺失數據的百分比、每個個體的觀察次數以及缺失數據的機制。

? 我們證明，相對于其他最先進的缺失數據插補方法，med.knn 在所有實驗中始終能帶來最佳的預測性能和最低的插補誤差。

? 我們提出了一種新的自定義調整程序，以有效地學習優化問題中的超參數，與標準交叉驗證相比，該程序具有卓越的縮放性能和更好的插補精度。

本章中的工作成果發表在“機器學習”期刊 [41]。

圖 2.1：在 FHS、DFCI 和 PPMI 數據集上使用 MAE 度量的每種方法的插補誤差，缺失數據的百分比從 10% 變化到 50%。缺失數據機制固定為 MCAR。

第 3 章：可解釋聚類：一種優化方法

廣泛建立的聚類技術不能提供數據分離背后的直觀推理，從而限制了它們的可解釋性。在現實世界的應用中，特別是在醫療保健環境中，后者對決策者采用和集成 ML 工具構成了主要障礙。在本章中，我們提出了一種基于樹的無監督學習方法，該方法可以獲得可解釋的集群，其性能與其他現有算法相當或更好。我們的貢獻如下：

? 我們提供了無監督學習問題的 MIO 公式，導致創建全局最優聚類樹，激發了我們的新算法 ICOT。

? 我們建議使用迭代坐標下降 (CD) 方法來實現我們的方法，該方法可擴展到更大的問題，很好地逼近全局最優解。

? 我們引入了其他技術，利用采樣和集群創建的幾何原理來提高算法的效率。

? 我們證明，ICOT 與使用跨多個內部驗證標準的合成數據集的各種聚類方法相比具有競爭力。

? 我們提供了該算法如何在實際環境中使用的示例，并測試了 ICOT 對大型問題實例的擴展能力。

本章的工作成果發表于“機器學習” 期刊[31]。

圖 3.1：基于 Ruspini 數據集構建的聚類樹示例。

第 4 章：最優生存樹

生存分析解決了數據集中出現的挑戰，在這些數據集中出現了審查觀察結果，其中感興趣的結果通常是事件發生前的時間，但對于某些人來說，事件的確切時間是未知的。審查結果在醫療保健研究中無處不在，因此，用于生存分析的 ML 方法越來越受歡迎。我們提出了利用 MIO 和局部搜索技術生成全局優化生存樹模型的 OST 算法。我們證明 OST 提高了現有生存樹方法的準確性，特別是在大型數據集中。本章的主要貢獻是：

? 我們提出了一種生存樹算法，該算法利用 Optimal Trees 框架為審查數據生成可解釋的樹。

? 我們提出了一種新的準確度指標，用于評估 Kaplan-Meier 曲線估計相對于模擬數據集中已知生存分布的擬合度。

? 我們評估了我們的方法在模擬和真實世界數據集中的性能，并展示了相對于兩種現有算法的改進準確性。

? 我們提供了該算法如何用于預測不良事件風險并在現實世界數據集中產生臨床見解的示例。

本章中的工作已提交出版[28]。

圖 4.1：在 60 個真實世界數據集中平均分類方法的性能。 OCT 和 OCT-H 分別指的是沒有和有超平面分割的最優分類樹。

圖 4.6：生存樹算法的樹恢復指標摘要。

第 5 章：冠狀動脈疾病患者的個性化治療：機器學習方法

在本章中，我們的目標是為 CAD 患者找到最佳的主要治療方法，以最大限度地提高 TAE（心肌梗塞或中風）。我們提出了一種數據驅動的方法，利用多種回歸算法為每位患者分配具有最佳預測結果的方案。我們開發預測性和規范性模型，提供個性化的治療建議和評估它們的定量框架。本章的主要貢獻是：

? 我們提出了一種治療右刪失患者的新方法，該方法利用 ??-NN 方法來估計真實世界數據的真實生存時間。

? 我們開發了可解釋且準確的二元分類和回歸模型，用于預測 CAD 患者潛在不良事件的風險和時間。

? 我們提出了第一個利用 EHR 為 CAD 提供治療建議的規范性方法，將多個最先進的回歸模型與臨床專業知識相結合。

? 我們引入了一種新的評估框架來衡量規范算法的樣本外性能。

? 我們創建了一個在線應用程序，醫生可以在其中實時測試算法的性能，從而縮小與臨床實踐的差距。

本章中的工作成果發表于“醫療管理科學”期刊 [42]。

圖 5.3：OCT 模型第一部分的可視化。路徑 1 和 2 用藍色虛線矩形框表示。陰影節點包括樹模型的折疊子集。

第 6 章：非線性弗雷明漢中風風險評分

絕大多數中風發生在沒有梗塞病史的人群中，這突出了健康個體需要準確的中風風險評估工具。標準中風風險評分基于風險因素與疾病患病率之間存在線性關系的假設。然而，數學和醫學現實表明，這些因素的相互作用遠非線性，并且由于其他變量的缺失或存在，某些變量會獲得或失去意義。本章介紹 N-SRS；一種預測 10 年中風風險的新模型。利用 ML 算法，我們的風險計算器提高了事件預測的準確性，并以可解釋的方式揭示了患者特征之間的新關系。本章的主要貢獻如下：

? 我們提出了一種利用縱向研究數據用于監督學習模型的新方法，允許在訓練和測試隊列中出現同一患者的多個實例。

? 我們使用來自著名的弗雷明漢心臟研究的數據開發并驗證了第一個非線性、可解釋的預測評分，用于 10 年中風風險。

? 我們展示了 N-SRS 樹結構如何導致識別 23 個中風風險概況，突出新變量在疾病進展中的作用，例如心電圖結果中顯示的血細胞比容水平或異常。

? 我們構建了一個動態在線應用程序，作為算法的用戶友好界面，供臨床提供者使用。

本章中的工作發表于 PLOS one [257]。

圖 6.1：基于 N-SRS 樹的模型的可視化。

第 7 章：從放射學報告中識別缺血性中風、嚴重程度和位置的自然語言處理方法

快速、準確的數據提取可以顯著改善在大型數據集中識別中風、分類關鍵臨床報告和質量改進工作。然而，廣泛使用的 ICD-9/10 代碼經常錯誤地對缺血性卒中事件進行分類，并且不區分嚴重程度或位置。在本章中，我們的目標是開發一種工具，能夠以準確和自動化的方式從非結構化文本中提取臨床卒中信息。我們開發并報告了一個綜合框架，該框架研究了簡單和復雜的中風特異性自然語言處理 (NLP) 和監督學習技術的性能，以從射線照相文本中確定缺血性中風的存在、位置和嚴重度。我們將我們的貢獻總結如下：

? 我們收集了來自兩個大型學術醫療中心的 17,864 名患者的 60,564 份放射學報告。神經病學專家標記了 1,359 份報告，以確定中風的存在、位置和敏銳度。

? 我們應用標準文本特征化技術并開發神經血管特定詞 GloVe 嵌入。

? 我們訓練和驗證各種二進制分類算法，以從放射學報告中識別感興趣的結果。

? 我們證明了與深度學習配對的 GloVe 詞嵌入在推導和驗證隊列中的三項任務的所有方法中具有最佳的識別性能。

本章的工作成果發表于 PLOS one [256] 中。

圖 7.1：NLP 分類的接收器操作曲線。 A、中風存在； B、MCA位置； C、嚴重度。我們展示了數據的五次隨機拆分的平均靈敏度和特異性。

第 8 章：定價算法風險保險業尚未制定量身定制的合同來保護

ML 建模者和決策者免受算法錯誤的訴訟風險。在本章中，我們針對二元分類模型提出了一類新的訴訟索賠保險產品以及評估它們的定量工具。這項工作提供了一個全面的分析過程來評估此類模型的財務風險，為算法保險的新領域奠定了基礎。本章的主要貢獻是：

? 我們提出了一個定量框架，該框架根據模型的辨別性能、可解釋性和可概括性來估計模型的風險敞口。

? 我們采用優化公式來同時估計給定分類模型的保費和訴訟風險。我們使用穩健的優化和圍繞潛在損失場景的不同類型的不確定性來擴展公式。

? 我們為醫療責任提供了乳腺癌檢測的案例研究，并研究了模型參數在計算實驗中的影響。本

章的工作已提交出版 [30]。

圖 8.1：對于 ??、?? 分布的兩種不同組合，CVaR 作為 ?? 參數的函數。

基于神經體系結構的推薦系統近年來取得了巨大的成功。但是，在處理高度稀疏的數據時，仍然達不到預期。自監督學習(Self-supervised learning, SSL)作為一種利用無標記數據進行學習的新興技術，近年來受到了廣泛的關注。也有越來越多的研究將SSL應用到推薦中，以緩解數據稀疏問題。本綜述對自監督推薦(SSR)的研究成果進行了及時、系統的回顧。在此基礎上，我們建立了一個完整的SSR分類體系，將現有的SSR方法分為四大類: 對比型(contrast)、生成型(generative)、預測性(predictive)和混合型(hybrid)。同時，為了促進SSR模型的開發和評估，我們發布了一個開源庫SELFRec，它包含了多個基準數據集和評估指標，并實施了一些最先進的SSR模型進行實證比較。最后，指出了當前研究的局限性，并提出了未來的研究方向。

引言

推薦系統[1]是一個可以發現用戶潛在興趣并簡化決策過程的工具，已經廣泛應用于各種在線電子商務平臺，在創造愉快的用戶體驗的同時增加收入。近年來，現代推薦系統[2]、[3]、[4]在具有高度表達能力的深度神經架構的支持下取得了巨大的成功，并取得了無與倫比的性能。然而，深度推薦模型天生就需要數據。要利用深度架構，需要大量的訓練數據。與眾包的圖像標注不同，推薦系統中的數據獲取成本較高，個性化推薦依賴于用戶自己生成的數據，而大多數用戶通常只能消費/點擊無數項[5]中的一小部分。因此，數據稀疏性問題成為深度推薦模型實現其最大潛力[6]的瓶頸。

自監督學習(Self-supervised learning, SSL)[7]作為一種學習范式，可以減少對手工標簽的依賴，并能對大量未標記數據進行訓練，最近受到了廣泛的關注。SSL的基本思想是通過精心設計的前置任務(即自監督任務)從豐富的無標記數據中提取信息豐富、可轉移的知識，其中監督信號是半自動生成的。由于普遍的能力克服標簽不足問題,SSL已經應用于廣泛的領域包括可視化表示學習[8],[9],[10],語言模型訓練的“[11],[12],音頻學習[13],表示節點/圖分類[14],[15],等等,它已被證明是一個強大的技術。由于SSL的原則與推薦系統對更多注釋數據的需求很好地匹配，受SSL在上述領域的巨大成功的推動，現在有大量且不斷增長的研究正在將SSL應用到推薦中。

自監督推薦(SSR)的早期原型可以追溯到非監督推薦方法，如基于自動編碼器的推薦模型[16]、[17]，它們依靠不同的被破壞的數據來重構原始輸入以避免過擬合。隨后出現了基于網絡嵌入的推薦模型[18]，[19]，其中利用隨機行走接近度作為自監督信號，捕捉用戶與物品之間的相似性。在同一時期，一些基于生成式對抗網絡20的推薦模型[21]、[22]可以看作是SSR的另一種體現，它們增強了用戶-物品交互。2018年，在預訓練語言模型BERT[12]取得巨大突破后，SSL作為一個獨立的概念進入人們的視野。隨后，推薦社區開始接受SSL，隨后的研究[23]，[24]，[25]將注意力轉移到基于順序數據的Cloze-like任務的預訓練推薦模型上。自2020年以來，SSL經歷了一段繁榮時期，最新的基于SSL的方法在許多CV和NLP任務[9]，[26]中幾乎與監督的同行表現相當。特別是，對比學習(CL)[27]的復興顯著地推動了SSL的前沿。與此同時，[28]，[29]，[30]，[31]，[32]，[33]也掀起了對SSR的狂熱。SSR的模式變得多樣化，場景不再局限于序列推薦。

自監督推薦方法體系

雖然在CV、NLP[34]、[7]和圖學習[35]、[36]、[37]等領域對SSL進行了一些綜述，但在論文數量快速增長的情況下，對SSR的研究還沒有進行系統的綜述。與上述領域不同的是，推薦涉及到大量優化目標不同的場景，并處理多種類型的數據，因此很難將為CV、NLP和圖任務設計的現成SSL方法完美地推廣到推薦中。因此，它為新型SSL提供了土壤。同時，高偏數據分布[38]、廣泛觀察的偏差[39]、推薦系統特有的大詞匯量類別特征[40]等問題也催生了一系列獨特的SSR方法，豐富了SSL族。隨著SSR研究的日益普及，迫切需要對其進行及時、系統的綜述，總結已有的SSR研究成果，探討現有SSR研究成果的優勢和不足，以促進未來SSR研究的發展。為此，我們提出了一個最新的和全面的回顧SSR的前沿。總之，我們的貢獻有四方面:

• 我們調研了廣泛的SSR方法，以涵蓋盡可能多的相關論文。據我們所知，這是第一次針對這個新話題的綜述。

• 我們提供了對SSR的獨家定義，并澄清了其與相關概念的聯系。在此基礎上，我們提出了一個綜合的分類方法，將現有的SSR方法分為四大類:對比型、生成型、預測型和雜交型。對于每一個類別，敘述都沿著其概念和提法、涉及的方法及其利弊展開。我們相信，定義和分類為開發和定制新的SSR方法提供了清晰的設計空間。

• 我們引入了一個開源庫，以促進SSR模型的實現和評估。它整合了多個基準數據集和評估指標，并實現了10+最先進的SSR方法進行實證比較。

• 我們闡明了現有研究的局限性，并確定了剩余的挑戰和未來發展SSR的方向。

近年來，機器學習取得了顯著進展，提供了一些新功能，比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品，如基于圖像內容的圖像搜索、多種語言之間的自動翻譯，甚至是真實圖像和聲音的合成。同時，機器學習已經在企業中被廣泛采用，用于經典的用例(例如，預測客戶流失、貸款違約和制造設備故障)。

在機器學習取得成功的地方，它是非常成功的。

在許多情況下，這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說，有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果，并且我們有很多這個結果的例子，以及與它相關的特征時，我們可能會轉向監督學習。

隨著機器學習的普及，它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額，預測制造設備故障，以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時，更多(和更好)的可解釋性方法已經被開發出來，這是非常重要的。

然而，僅僅基于預測的推理有一些基本的限制。例如，如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答，因為它們涉及到客戶選擇的可能變化，作為對信用限額變化的反應。在很多情況下，我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的，純粹相關的預測系統不具備在這種干預下進行推理的能力，因此容易產生偏差。對于干預下的數據決策，我們需要因果關系。

即使對于純粹的預測系統(這是監督學習的強項)，應用一些因果思維也會帶來好處。根據因果關系的定義，它們是不變的，這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說，這是一個非常理想的特性，在機器學習系統中，我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。

因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。

本書介紹了因果推理，因為它涉及很多數據科學和機器學習工作。我們引入因果圖，著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法，它給高維問題帶來了因果圖的一些好處。通過附帶的原型，我們展示了即使是經典的機器學習問題，如圖像分類，也可以從因果推理工具中受益。

【導讀】來自蘇黎世聯邦理工學院的Afonso S. Bandeira教授撰寫了《數據科學數學基礎》新書書稿，共170頁pdf。現今在許多科學領域的實驗、觀察和數值模擬產生了大量的數據。這種快速增長預示著“以數據為中心的科學”時代的到來，這需要新的范式來處理如何獲取、處理、分布和分析數據。與此同時，人工智能的發展將給技術、科學和工業的許多領域帶來革命。本課程將涵蓋用于開發算法的數學模型和概念，這些算法可以處理數據科學、機器學習和人工智能帶來的一些挑戰。

COVID-19大流行在全球蔓延，已引發迫切需要為抗擊對人類人口的巨大威脅作出貢獻。計算機視覺作為人工智能的一個子領域，最近在解決醫療保健中的各種復雜問題方面取得了成功，并有可能在控制COVID-19的斗爭中做出貢獻。為了響應這一號召，計算機視覺研究人員正在試驗他們的知識庫，以設計有效的方法來應對COVID-19的挑戰，并為全球社會服務。新的貢獻每天都在分享。它促使我們回顧最近的工作，收集有關現有研究資源的信息和對未來研究方向的指示。我們想把它提供給計算機視覺研究社區，以節省他們寶貴的時間。本調查報告旨在對計算機視覺與COVID-19大流行對抗的現有文獻進行初步綜述。