亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

可解釋機器學習模型與架構

這本前沿新作涵蓋了硬件架構實現、軟件實現方法，以及機器學習應用的高效硬件。 機器學習和深度學習模塊現在已經成為許多智能和自動化系統的不可或缺的一部分，在這些系統中，信號處理在不同層面上進行。文本、圖像或視頻形式的信號處理需要在期望的數據速率和準確性下進行大規模數據計算操作。大數據需要更多地使用集成電路（IC）面積，其中嵌入了大量的存儲器，這進一步導致了更多的IC面積。電力消耗、延遲和IC面積之間的權衡始終是設計師和研究人員關注的問題。需要新的硬件架構和加速器來探索和實驗高效的機器學習模型。許多實時應用，如醫療保健中生物醫學數據的處理、智能交通、衛星圖像分析和物聯網（IoT）啟用的系統，在準確性、速度、計算能力和整體電力消耗方面有很大的改進空間。 本書處理的是支持高速處理器的高效機器和深度學習模型，這些處理器具有可重配置架構，如圖形處理單元（GPU）和現場可編程門陣列（FPGA），或任何混合系統。無論是在領域或實驗室里工作的經驗豐富的工程師或科學家，還是學生或學者，這都是任何圖書館必備的。 封底介紹 同前。

關于作者 Suman Lata Tripathi博士是Lovely Professional University的一名教授，擁有超過21年的學術經驗。她在審稿期刊和會議上發表了超過103篇研究論文。她組織了幾個研討會、暑期實習和專家講座供學生參加，并擔任了IEEE期刊和會議的分會主席、會議指導委員會成員、編輯委員會成員和審稿人。她已經出版了三本書，并目前有多卷即將由Wiley-Scrivener出版。 Mufti Mahmud博士是英國諾丁漢特倫特大學計算機科學系認知計算副教授。他是NTU研究優秀框架計算機科學與信息學評估單元的協調人，以及交互系統研究小組和認知計算與大腦信息學研究小組的副組長。他還是計算和信息科學研究中心以及醫療技術創新設施的活躍成員。他是眾多學會和研究委員會的成員。

您決定研究機器學習 - 無論是因為正在找工作、開始一個新項目，還是只是認為自動駕駛汽車很酷。但應該從哪里開始呢？作為一名軟件開發者，很容易被這些概念所嚇倒。好消息是，這并不需要那么困難。通過一行一行地編寫代碼來掌握機器學習，從簡單的學習程序到真正的深度學習系統。通過分解難以理解的話題使其更易于理解，并通過實際操作來增強自己的信心。

從零開始剝去機器學習的神秘面紗，直到深度學習。機器學習可能會讓人望而卻步，因為它依賴于大多數程序員在日常工作中不會遇到的數學和算法。采用親手操作的方法，自己編寫Python代碼，不使用任何庫來模糊真正發生的事情。在設計中迭代，并隨著進行增加復雜性。

從零開始構建一個使用有監督學習的圖像識別應用。使用線性回歸預測未來。深入了解梯度下降，這是驅動大多數機器學習的基礎算法。創建感知機來分類數據。構建神經網絡來處理更復雜和高級的數據集。使用反向傳播和批處理訓練和完善這些網絡。將神經網絡分層，消除過擬合，并添加卷積，將您的神經網絡轉變為真正的深度學習系統。

從頭開始，通過編碼來掌握機器學習。 這是一本面向那些希望從零開始學習機器學習的開發者的書。機器學習是一個寬廣的領域，沒有任何一本書可以涵蓋所有內容。我們將重點關注當前最為重要的三個機器學習方面：有監督學習、神經網絡和深度學習。在閱讀本書的過程中，我們將深入探討這些術語，但以下是一個概述和一些簡短的定義，幫助您開始：

1. 有監督學習 (Supervised Learning): 這是機器學習中最常見的方法，它涉及使用帶有標簽的數據來訓練模型。簡單來說，您擁有輸入數據和相應的正確輸出，目標是訓練一個模型，當給定新的、未標記的數據時，可以產生正確的輸出。
2. 神經網絡 (Neural Networks): 這是一種模仿人腦工作機制的算法，由多個層和節點組成。神經網絡可以從數據中學習和識別復雜的模式，并常用于各種應用，從圖像識別到自然語言處理。
3. 深度學習 (Deep Learning): 這是神經網絡的一個子集，它使用多層神經網絡（通常是很多層）來處理復雜的數據結構和任務。近年來，由于其在圖像和語音識別等領域的卓越性能，深度學習已經受到了廣泛的關注。 隨著您對本書的深入了解，這些定義將變得更加清晰，而您也將掌握這些核心概念的應用方法。

在過去的十年中，機器學習在許多具有挑戰性的基準上取得了驚人的成功。然而，我們的機器學習模型是否準備好離開這個實驗室環境，并安全地部署在高風險的現實世界應用程序中?本文通過開發和應用新的框架，使現代機器學習系統更魯棒，從而采取措施使這一愿景成為現實。特別是，我們在這類系統的兩種主要脆弱性模式:對抗性示例和后門數據中毒攻擊方面取得了進展。具體來說，在本文的第一部分中，構建了一種對抗樣本的防御方法，這是第一個在自適應對手面前提供非平凡的對抗魯棒性的方法。在第二部分中，開發了一個后門數據投毒攻擊框架，并展示了在自然假設下，我們的理論結果如何激勵算法標記和刪除經驗上成功的潛在投毒示例。最后，簡要探索了初步證據，表明該框架也可以應用于其他數據模態，如表格數據，以及其他機器學習模型，如決策樹的集成。近年來，機器學習，特別是深度學習，在具有挑戰性的人工智能基準上取得了巨大的進步，從計算機視覺[KSH12]到玩游戲[SHS+18]，從自然語言處理[BMR+20]到機器人[ABC+20]，再到自動駕駛汽車，都取得了令人印象深刻的結果。這些成功給我們帶來了希望，在未來，普適的ML系統將乏味的體力和腦力任務自動化，甚至增強和改善我們的健康、智能和社會。然而，這些令人印象深刻的研究成果和演示是否準備在一個混亂、異構、有時是對抗的世界中轉化為同樣令人印象深刻和有影響力的應用?雖然我們最先進的機器學習模型普遍在各個領域和模態中取得了偉大的結果，但它們在訓練數據中同樣普遍地易受變化的影響——無論是良性的還是對抗的。這篇論文是關于開發原則性的方法來防御特定類型的這種脆弱性。在以下部分中，我們給出了論文的路線圖和我們的主要貢獻。

機器學習已經被應用于越來越多影響我們日常生活的社交相關場景，從社交媒體和電子商務到自動駕駛汽車和刑事司法。因此，開發可信、可靠的機器學習方法至關重要，以避免對個人和社會產生負面影響。本文致力于理解和提升圖機器學習的可信性，由于圖數據的復雜關系結構，這提出了獨特的挑戰。

特別地，我們認為機器學習模型的可信性在異常情況下是可靠的。例如，機器學習模型在對抗攻擊下或在子種群上的性能不應嚴重退化，分別對應對抗魯棒性或公平性問題。值得信任的圖機器學習的獨特挑戰是，在圖數據的上下文中有許多更復雜的，有時是隱式的異常條件。本文識別了未充分挖掘的異常情況，理解了識別出的異常情況下的預期模型行為，并改進了現有模型在此類異常情況下的行為。

重點關注圖神經網絡(GNN)，這是一類流行的圖機器學習模型，利用了深度學習的最新進展。**本文確定了圖神經網絡的三種異常情況。**首先，受社交網絡應用場景啟發，通過一個新的實際威脅模型研究了GNN的對抗魯棒性，并研究了GNN何時以及為什么會遭受對抗攻擊。發現現有的GNN對許多現實世界的圖數據可能會被錯誤指定，并開發了一個新的框架來改進現有的模型。發現了一種與節點結構位置相關的測試節點子種群之間的GNN預測的不公平性。本文還提出了一種主動學習框架來緩解不公平問題。

人工智能(AI)，特別是機器學習(ML)，已經作為一種通用技術融入人類社會1，有望在許多方面重塑我們的日常生活，從社交媒體和電子商務，到自動駕駛汽車和刑事司法。然而，盡管AI和ML帶來了巨大的經驗成功和商業價值，但要更廣泛地部署這些技術，需要更好地理解ML模型對社會的影響。因此，可信的ML成為了一個越來越受歡迎的研究方向。Trustworthy ML是一個概括性的概念，包括關于ML可靠性和透明度的各種主題，如公平性、魯棒性、可解釋性等。

例如，機器學習模型可能在特定子種群上的系統表現較差，這導致了公平性問題。因此，對機器學習公平性的研究興趣迅速增加。也有現實世界的ML應用程序證明了偏見和不公平:亞馬遜的人工智能招聘工具被發現具有性別偏見[37];一種曾經廣泛使用的犯罪預測工具，矯正罪犯管理分析替代制裁(COMPAS)，被發現具有種族偏見[4]。另一個例子是，ML模型已被證明對添加到數據中的小的對抗性擾動很敏感，因此容易受到對抗性攻擊[136]。例如，最先進的計算機視覺模型可能通過停車標志[45]上看似隨機的涂鴉，將停車標志識別為限速標志。

由于相關主題的多樣性和我們對可信機器學習的科學理解的文獻歷史，社區自然發展出了一套相對被廣泛接受的可信性問題的概念類別，包括但不限于公平性、魯棒性、安全性、隱私、可問責性、可解釋性和因果性。雖然這種概念分類，像任何分類系統一樣，有助于簡化對該領域的理解，但有時也會產生誤導。

首先，這種分類可以使可信機器學習的不同問題被視為孤立的主題。然而，這些不同的可信性問題可能相互沖突或相關。例如，在某些隱私和公平概念之間存在固有的沖突[32,24]。另一方面，公平性也可以與域外泛化相關[99]。此外，可解釋的ML[41]和因果推理[113]可以成為一些公平性或魯棒性問題的候選解決方案。一個扁平的概念類別分類方法無法捕捉不同主題之間豐富的相互關系。

其次，這種分類傾向于為每個主題尋找過度通用的解決方案，這可能不是解決可信機器學習問題的最佳方法。由于主題的概念性質，通常有各種直觀合理的方法來將可信性概念(例如，公平性或魯棒性)形式化為定量概念，而同時實現所有概念的可信性是不現實的。例如，Kleinberg等人[78]證明，通常不可能有一種算法同時滿足三個常見的公平標準。因此，沒有一個通用的解決方案是所有應用的萬能藥。此外，不同的可信性問題的重要性和恰當表述是高度特定于應用程序的。就可信性不同方面的重要性而言，例如，自動駕駛汽車可能會遭受對抗性攻擊，因為它在野生[45]中接受數據輸入;相比之下，對電子健康記錄(EHR)數據進行對抗性攻擊實際上要困難得多，因為這些數據由授權的醫療專家生成，并且在封閉的系統中循環。另一方面，EHR數據的隱私標準遠高于駕駛數據。在可信性的正確制定方面，研究表明，制定的選擇應該利用利益相關者在具體應用[28]中的感知。總的來說，應該將可信性作為位于特定類型的應用程序場景中的ML技術的屬性來研究，而不是作為通用ML技術的屬性。

許多現有的可信性概念可以按照這個程序重新制定。例如，機器學習模型的不公平性問題往往是由于它們在特定少數子種群上的性能下降，而與它們在多數子種群上的性能相比。機器學習的對抗漏洞是指與在干凈數據上的性能相比，它們在對抗攻擊下的性能下降。另一方面，其他一些可信性概念，如可解釋性或因果關系，不能通過上述過程直接表述。在某種程度上，不公平或不魯棒的模型將產生直接后果，而可解釋性或因果關系可以被視為緩解問題的候選解決方案(例如，不公平或不魯棒)。上述過程關注的是作為問題而不是解決方案的可信性概念。這個過程還強調應用場景的可信性問題。

為約束特定應用場景下的可信范圍，本文對圖機器學習(GML)的可信性進行了研究。現實世界的數據中存在大量的關系結構，通常以圖的形式表示。例如，社交媒體上的用戶或物聯網系統中的傳感器通過圖結構進行連接。如果在預測任務中使用得當，這種關系圖結構可以提供顯著的預測能力。GML是一個流行的機器學習技術家族，它將圖結構用于預測模型。近年來，GML在許多影響人們日常生活的應用中表現出了優異的性能。舉個常見的例子，GML在Uber Eats[65]、亞馬遜[162]和Pinterest[157]的工業推薦系統中發揮著重要作用;GML還被廣泛用于在谷歌Map[38]中的ETA預測或房地產價格估計等任務中對地理數據進行建模[114]。此外，由于關系結構的普遍性，GML方法已經應用于或準備應用于高利害攸關的決策問題，如社會正義。例如犯罪預測和數據驅動的起訴[68,156]，警察不當行為預測[22]，假釋決定的風險評估[132]，公共安全監視[95]，以及許多其他社會公正和安全問題[111]。

鑒于GML的眾多社會相關應用場景，這類ML系統的可信性問題變得至關重要。此外，與傳統的ML相比，由于GML復雜的關系結構，在理解和改進GML的可信性問題方面存在獨特的挑戰。特別是，在GML的上下文中，有許多更復雜，有時甚至是隱式的異常條件。以對抗性攻擊為例，在傳統的機器學習設置中，攻擊者大多通過向輸入特征添加對抗性擾動來進行攻擊。對于GML，在實際應用中存在著更復雜的威脅:攻擊者不僅可以擾動GML節點屬性，還可以擾動圖結構;攻擊者還可以通過擾動鄰居節點來間接影響節點的預測結果。在子種群之間的機器學習公平性方面，大多數傳統文獻研究的是有關某些敏感屬性的子種群，如性別或種族。在圖數據中，人們可以根據圖結構來調查子群體，例如節點中心性[12,13]或社區結構[51,47]。社會科學理論認為，社會網絡中人們的結構特征往往與其社會經濟地位相關[53,16]。圖數據中獨特的對抗性威脅和基于結構的子群呈現出在傳統ML文獻中沒有充分探索的例外情況，使可信的GML更具挑戰性。

本文旨在解決這些對理解和提高GML可信性的獨特挑戰。具體而言，本文旨在回答以下3類研究問題，并在3種應用場景下展示研究方法。

1. GML模型在實際應用場景中可能遇到的潛在異常情況是什么?2. 在確定的異常條件下，GML模型的預期行為是什么?3.在識別出的異常情況下，如何緩解GML模型的性能差異? 在GML方法中，我們關注圖神經網絡(GNN)[52,124,77]，這是一個大的趨勢GML模型家族，將深度學習[83]的最新進展利用到GML中，并在許多真實世界的應用程序中顯示出卓越的性能。

現在，AI4Science是個熱門的話題。如何把機器學習方法用在科學領域是個比較實際的問題. 科學機器學習(SciML)的領域。SciML的中心目標是將現有的科學理解與ML更緊密地結合起來，生成強大的ML算法，這些算法由我們的先驗知識提供信息。非常值得關注！

機器學習(ML)已經使我們實踐科學的方式發生了根本性的轉變，許多人現在把從數據中學習作為他們研究的重點。隨著我們想要研究的科學問題的復雜性的增加，以及當今科學實驗產生的數據量的增加，ML正在幫助自動化、加速和增強傳統的工作流程。站在這場革命前沿的是一個被稱為科學機器學習(SciML)的領域。SciML的中心目標是將現有的科學理解與ML更緊密地結合起來，生成強大的ML算法，這些算法由我們的先驗知識提供信息。

目前存在大量將科學原理納入ML的方法，人們對SciML解決科學中一些最大挑戰的期望越來越高。然而，該領域正在蓬勃發展，許多問題仍在出現。一個主要的問題是SciML方法是否可以擴展到更復雜的現實問題。許多SciML研究正處于概念驗證階段，在這個階段，技術將在簡化的、簡單的問題上進行驗證。然而，了解它們在更復雜的問題上的可擴展性對于它們的廣泛應用至關重要。這個問題是本文的中心問題。首先，針對月球科學和地球物理領域的三個復雜的、真實的、特定領域的案例研究設計了多種不同的物理知識機器學習方法，并評估了它們的性能和可擴展性。其次，評估和改進了物理信息神經網絡(一種流行的通用SciML方法)求解具有大區域和高頻解的微分方程的可擴展性。討論了這些研究的共同觀察結果，并確定了顯著的優勢和潛在的限制，突出了設計可擴展的SciML技術的重要性。

//ora.ox.ac.uk/objects/uuid:b790477c-771f-4926-99c6-d2f9d248cb23

導論

機器學習(ML)在科學領域引起了一場革命。傳統上，科學研究圍繞著理論和實驗:一個人提出一個手工制作的和定義良好的理論，然后使用實驗數據不斷完善它，并分析它以做出新的預測。但今天，許多人都把從數據中學習作為他們研究的重點。在這里，世界的模型是通過ML算法從數據中學習的，現有的理論是不需要的。這種轉變的發生有多種原因。首先，ML領域在過去十年中經歷了指數級增長，這一激增背后的主要驅動因素通常被歸因于深度學習的突破[Goodfellow et al.，2016]。一些重要的發現，如使用更深層次的網絡設計和更好的訓練算法，以及更強大的計算架構的可用性，已經導致深度學習技術在廣泛問題上的性能迅速提高[Dally et al.，2021年]。現代ML算法現在能夠學習和解決難以置信的復雜任務，從自動駕駛汽車[Schwarting et al.，2018年]到擊敗世界級圍棋選手[Silver et al.，2018年]。

伴隨著這些進步，今天的科學實驗產生了越來越多的數據，研究越來越復雜的現象[Baker et al.， 2019, Hey et al.， 2020]。人類和我們的傳統工作流程對所有這些數據進行分析和理論化正在迅速變得不可能，不久之后，科學實驗很可能會受到他們從已有數據中提取見解的能力的限制，而不是他們可以收集什么數據[Baker et al.， 2019]。鑒于ML可以提供強大的工具，許多研究人員正在轉向ML來幫助自動化、加速和增強傳統的工作流程。在過去十年中，新的ML算法和數據可用性的結合導致了一些重大的科學進步。例如，ML已經被用于比以往任何時候都更準確地預測蛋白質結構[Jumper et al.， 2021]，從神經活動合成語音[anummanchipalli et al.， 2019]，以及改進量子多體系統的模擬[Carleo和Troyer, 2017]。事實上，現代的ML算法現在已經被應用到科學的幾乎每一個方面，這個時代的一個決定性研究問題已經變成:“解決問題X，并將ML應用到它上面”，隨之而來的是有趣且常常令人興奮的結果。

然而，盡管有這些進步，但ML，特別是深度學習算法的各種缺點在ML領域已經具體化。例如，盡管它們能夠學習高度復雜的現象，但深度神經網絡通常被視為“黑箱”，人們缺乏對它們如何表示和推理世界的理解。這種不可解釋性是一個關鍵問題，特別是對于需要對網絡預測進行論證的安全關鍵應用[Gilpin et al.，2019,Castelvecchi, 2016]。此外，關于如何設計適合特定任務的深度學習算法，幾乎沒有理論指導。深度神經網絡架構的選擇主要是根據經驗進行的，盡管元學習和神經架構搜索領域開始提供更多自動化的方法[Elsken et al.，2019年，Hospedales et al.，2021年]。最后，盡管深度神經網絡表達能力很強，但它們受到訓練數據的限制，在訓練分布之外通常表現不佳。學習在新任務中表現良好的世界可泛化模型是更通用人工智能(AI)系統的一個關鍵特征，也是ML領域的一個關鍵突出挑戰[Bengio et al.，2021]。

當在科學問題中使用ML時，研究人員開始遇到這些限制[Ourmazd, 2020, Forde和Paganini, 2019]。鑒于深度神經網絡的泛化能力較差，一個關鍵問題是它們是否真正“學習”了科學原理。一個好的科學理論被期望能在實驗數據之外做出新穎而準確的預測，然而深度神經網絡在訓練數據之外很難做出準確的預測。即使一個網絡可以做出可靠的預測，考慮到它們的不可解釋性，從它們中提取任何有意義的科學見解可能是具有挑戰性的。另一個主要問題是，許多當前的機器學習工作流完全用學習的模型取代了傳統的科學模型。雖然這可能很有用，但這些純數據驅動的方法“拋棄”了我們大量的先驗科學知識。重要的一點是，對于許多問題，有一個現有的理論可以建立，而不是從頭開始。**在一個傳統上基于明確的理論和實驗之間緊密相互作用的領域，一些人認為上述限制使當前的ML方法不可接受。這些擔憂促使形成了一個快速發展的新領域，稱為科學機器學習(SciML) **[Baker et al., 2019, Karniadakis et al., 2021, Willard et al., 2020, Cuomo et al., 2022, Arridge et al., 2019, Karpatne et al., 2017a]。SciML的目標是將現有的科學知識和ML融合在一起，生成更細微的ML算法，這些算法由我們的先驗知識提供信息，如圖1.1所示。這一領域的關鍵論點是，通過這樣做，我們將最終獲得更強大的科學研究方法。傳統方法和ML方法各有優缺點，兩者的結合可能比其中一種更有效。例如，在進行數據同化時(例如在氣候模型中)，可以使用傳統物理模型提供先驗知識，而ML可用于解釋數據依賴性和其他未知物理。

圖1.1:科學機器學習(SciML)概述。SciML旨在將ML與科學知識緊密結合，以便為科學研究生成更強大、魯棒和可解釋的ML方法。

人們對這一領域的期望正在迅速增長，目前正在提出和研究大量的方法和許多創新策略，以將科學知識融入ML。這些方法的范圍從預期的科學任務(例如模擬、反演和控制方程發現)，到不同的方法來合并科學原理(例如通過深度神經網絡的架構、其損失函數和混合模型的使用)，以及科學原理被強加的程度(例如通過硬約束或軟約束)。我們將在第2章中詳細回顧這些方法。許多方法使用來自物理學的思想來通知其在SciML的子領域稱為物理信息機器學習(PIML)的ML算法[Karniadakis等人，2021]。

到目前為止，SciML 取得了一些初步的成功。它幫助我們進行了強大的模擬[Raissi al.，2019]，發現了復雜物理系統的控制方程[Kutz和Brunton, 2022]，在反演問題中精確地反演基礎參數[Arridge等人，2019]，并在廣泛的領域中無縫地將傳統工作流與學習過的組件[Rackauckas等人，2020,Thuerey等人，2021]。盡管有早期的希望，但SciML領域仍處于起步階段，出現了許多重要的問題，例如;我們應該如何實施科學原則?我們應該如何平衡數據驅動模型的可解釋性的缺乏和現有理論的清晰性?是否存在可以跨科學學科應用的總括的SciML技術?SciML能否為ML領域提供新的視角和思路?對于復雜的現實世界問題，SciML技術的擴展性有多好?本文主要研究最后一個問題，具體討論如下。

在本文中，我們主要采用兩種方法來研究上述子問題。首先，針對前3個子問題，使用復雜的、真實的、特定領域的案例研究來考察多種不同的PIML方法的性能和可擴展性。對于每個子問題，我們提出了一個案例研究，提出了一種PIML技術(或各種PIML技術)來解決它，并評估該技術如何擴展到這種設置。其次，針對最后一個子問題，我們專注于單一的通用PIML技術，并評估和改進其可擴展性。前三個子問題分別在本論文的單獨一章(分別為第3 ~ 5章)中進行研究，其案例研究均來自月球科學和地球物理學領域。最后一個子問題將在第6章進行研究。最后，我們在第七章中討論和總結了每一章對我們主要研究問題的影響。

SciML方法譜系。這張圖顯示了本章中介紹的不同類型的SciML方法對科學知識的“強”程度。注意，科學約束的強度是一個相當模糊的概念;在這個圖中，我們將其定義為SciML方法與傳統工作流的接近程度。中間的方法同樣將ML與傳統工作流的某些方面結合起來，例如在循環方法中，將傳統迭代求解器與ML模型交織在一起。此外，我們的作業有些主觀，所以這個數字只是為了表達總體趨勢。

因果機器學習如何用于醫療中？愛丁堡大學最新《因果機器學習醫療應用》綜述，探討因果推理如何利用機器學習的最新進展，納入臨床決策支持系統的不同方面

因果機器學習(CML)在醫療保健領域越來越受歡迎。除了將領域知識添加到學習系統的固有能力之外，CML還提供了一個完整的工具集，用于研究系統對干預的反應(例如，給定治療的結果)。量化干預的效果使我們能夠在混雜因素存在的情況下做出可行的決策，同時保持魯棒性。在此，我們將探討因果推理如何利用機器學習的最新進展，納入臨床決策支持系統的不同方面。在本文中，我們使用阿爾茨海默病創建的例子來說明如何CML可以在臨床場景中是有利的。此外，我們討論了醫療保健應用中存在的重要挑戰，如處理高維和非結構化數據，推廣到非分布樣本和時間關系，盡管研究社區的巨大努力仍有待解決。最后，我們回顧了因果表征學習、因果發現和因果推理的研究路線，這些研究為解決上述挑戰提供了潛力。

隨著強大的機器學習(ML)方法(如深度學習[1])的出現，醫療健康預測系統取得了相當大的進展。在醫療保健領域，臨床決策支持(CDS)工具可以對諸如醫學圖像、臨床免費文本注釋、血液測試和遺傳數據等電子健康記錄(EHR)數據進行檢測、分類和/或分割等任務進行預測。這些系統通常使用監督學習技術進行訓練。然而，大多數由ML技術支持的CDS系統只學習數據中變量之間的關聯，而不區分因果關系和(虛假)相關性。

圖1 醫療健康中的CML有助于理解偏見和對干預效果的形式化推理。我們通過一個假設的例子說明，可以從低級數據(例如，I1可能對應于從醫學圖像中獲得的腦容量)中提取高級特征(因果表征)，并將其提取成一個對應于數據生成過程的圖表。CML可以用來發現變量之間哪些關系是虛假的，哪些是因果關系，分別用虛線和實線來說明。最后，CML提供了對干預效果進行推理的工具(使用do()操作符)。例如，對D1的干預只會影響圖中的下游變量，而其他關系要么不相關(由于圖的破壞)，要么保持不變。

以精準醫療(也被稱為個性化醫療)為目標的CDS系統需要回答關于個人對干預會如何反應的復雜問題。例如，針對阿爾茨海默病(AD)的精確CDS系統應該能夠量化使用給定藥物治療患者對最終結果的影響，例如預測隨后的認知測試得分。即使有合適的數據和完美的性能，目前的ML系統也只能根據之前數據的相關性來預測最佳的治療，這可能不能代表可操作的信息。當信息能夠根據給定患者的不同情況(如治療結果與未治療結果)之間的比較做出治療(介入)決定時，信息被定義為可操作的。這種系統需要因果推理(CI)來進行可操作的個體化治療效果預測。

在醫療健康中，一個主要的上游挑戰是如何獲得必要的信息來對治療和結果進行因果推理。現代醫療健康數據是多模態、高維且通常是非結構化的。在進行預測時，必須考慮到來自醫學圖像、基因組學、臨床評估和人口統計的信息。多模態方法可以更好地模擬人類專家如何利用信息進行預測。此外，許多疾病是隨著時間的推移而發展的，因此必須考慮到時間(時間維度)。最后，任何系統都必須確保這些預測能夠在不同的部署環境(如不同的醫院、城市或國家)中推廣。有趣的是，CI和ML之間的聯系可以幫助緩解這些挑戰。ML允許因果模型通過學習變量之間復雜的非線性關系來處理高維和非結構化數據。CI利用專家知識對系統進行了額外的理解，提高了多模態數據的信息融合，提高了當前ML系統的泛化和可解釋性。

因果機器學習(CML)文獻提供了幾個方向來解決上述挑戰時使用觀察數據。在此，我們將CML分為三個方向: (i) 學習給定高維數據的因果表示，學習提取低維信息(因果)變量及其因果關系;因果發現——給定一組變量，學習它們之間的因果關系; (iii) 因果推理——給定一組變量及其因果關系，分析系統將如何對干預作出反應。我們在圖1中說明了如何將這些CML方向集成到醫療健康中。在這篇文章中，我們討論了CML如何可以改善個性化決策，以及幫助減輕緊迫的挑戰在CDS系統。我們回顧了CML的代表性方法，解釋了如何在醫療健康上下文中使用它們。特別地，我們 (i) 提出因果關系和因果模型的概念;(二)說明它們如何在醫療健康環境中發揮作用; (iii) 討論緊迫的挑戰，如處理高維和非結構化數據、分布泛化和時間信息; (iv) 綜述CML的潛在研究方向。 什么是因果性？

我們對因果關系有一個寬泛的定義:如果A是原因，B是結果，那么B的值依賴于A。由于因果關系是有方向性的，反之則不成立; A的值不依賴于B。因此，因果關系的概念使分析系統將如何應對干預成為可能。諸如“如果病人接受X治療，這種疾病會如何發展?”’或者‘如果接受了Y的治療，這個病人還會經歷結果Z嗎?需要從因果關系出發來理解干預會如何影響特定的個體。在臨床環境中，因果推理可以用于決定哪種治療將導致最好的結果。例如，在AD場景中，因果關系可以回答這樣的問題:“哪種藥物A或哪種藥物B能在5年內最大程度地減少患者預期的認知衰退?”理想情況下，我們將使用觀察(歷史)數據來比較替代治療的結果。然而，“CI”[3]的“根本問題”是，對于每個單位(即患者)，我們要么觀察治療A的結果，要么觀察治療B的結果，但不能同時觀察兩者。這是因為在做出治療的選擇后，我們無法逆轉時間來撤消治療。這些考慮個人假設情況的查詢被稱為潛在結果。因此，我們只能觀察到一個行動的一種潛在后果;未觀察到的量變成了反事實。由Pearl [4]， Imbens和Rubin[5]開創的因果關系的數學形式主義允許回答這些更具挑戰性的問題。大多數ML方法(目前)無法識別因果關系，因為不做假設就根本無法實現CI[4,6]。這些假設中的幾個可以通過研究設計或外部語境知識得到滿足，但沒有一個可以僅僅從觀察數據中發現。接下來，我們向讀者介紹兩種定義和推理因果關系的方法:用結構性因果模型(SCMs)和用潛在結果。

為什么我們要考慮醫療健康中的因果框架?

在過去的幾十年里，CI在社會科學、計量經濟學、流行病學和病因學等領域做出了一些貢獻[4,5]，最近它已經擴展到其他醫療健康領域，如醫學影像學[14-16]和藥理學[2]。在本節中，我們將詳細闡述因果關系如何用于改善醫療決策。例如，盡管來自EHRs的數據通常是觀察性的，但它們已經成功地用于若干ML應用，如建模疾病進展[18]，預測疾病惡化[19]和發現危險因素[20]，以及預測治療反應[21]。此外，我們現在有證據表明，算法在成像任務中實現了超人的性能，如分割[22]，檢測病理和分類[23]。然而，精確醫學試圖實現的目標并不是以近乎完美的精度預測特定患者的疾病。相反，我們的目標是建立ML方法，從觀察性患者數據中提取可操作的信息，以便做出介入(治療)決定。這就需要CI，它超越了下面詳細介紹的用于預測的標準監督學習方法。為了在患者層面做出可執行的決定，我們需要評估治療效果。治療效果是兩種潛在結果的差異: 事實結果和反事實結果。為了進行可操作的預測，我們需要算法來學習如何對可能采取不同行動的假設場景進行推理，從而創建一個可以導航的決策邊界，以改善患者的結果。最近有證據表明，人類使用反事實推理來做出因果判斷[25]，這為這種推理假設提供了支持。這就是為什么推斷治療效果的問題與潛在結果框架定義的標準監督學習[2]有本質區別[5,10]。根據定義，當使用觀測數據集時，我們從未觀察到與事實相反的結果。因此，針對個體的最佳治療(精準醫療[26]的主要目標)只能通過能夠進行因果推理的模型來確定，詳見§3.3。

復雜數據的因果機器學習

在§3中，我們關注在因果模型已知(至少部分已知)且變量劃分良好的情況下的因果推理。我們向讀者推薦Bica等人[2]對這些方法進行全面的綜述。然而，大多數醫療問題在因果推理的上游都有挑戰。在本節中，我們強調處理高維和多模態數據以及時間信息的需要，并討論從非結構化數據學習時在非分布設置中的泛化。

因果機器學習研究方向

本文的最后一部分討論了CML在醫療健康中的應用，包括復雜的多模態、時間和非結構化數據，并討論了一些未來的研究方向。我們根據§1中定義的三個類別來討論CML:(i)因果表征學習; (ii) 因果關系的發現; (iii) 因果推理。

因果表示學習

表示學習[82]指的是ML的組合視圖。我們考慮的不是輸入域和輸出域之間的映射，而是一種捕捉世界概念的中間表示。當考慮使用真實的醫療數據進行學習和推理時，這個概念是必不可少的。§4.3中考慮的高維和非結構化數據，沒有被組織成可以直接用于當前因果模型的單位。在大多數情況下，感興趣的變量不是，例如，圖像本身，而是它的生成因素之一，例如AD例子中的灰質體積。因果表征學習[9]將學習世界因素的概念擴展到用因果模型建模變量之間的關系。換句話說，目標是將表示域Z建模為§2.1中的SCM。因果表征學習建立在解糾纏表征學習文獻[83-85]的基礎上，旨在強化更強的歸納偏差，而非解糾纏表征通常追求的因素獨立假設。這個想法是為了強化遵循因果模型的潛在變量的層次結構，而因果模型又應該遵循真實的數據生成過程。

因果關系的發現

進行隨機對照試驗非常昂貴，有時不道德，甚至是不可能的。例如，為了了解吸煙對肺癌的影響，有必要強制隨機的個人吸煙或不吸煙。大多數真實的數據是觀察性的，發現變量之間的因果關系更具挑戰性。考慮到因果變量已知的設置，因果發現是學習變量之間因果關系方向的任務。在某些設置中，我們有許多輸入變量，目標是構建最好地描述數據生成過程的圖結構。在過去的三十年中，圍繞從觀測數據中發現因果結構的廣泛背景得到了發展，正如最近的主題綜述所描述的[6,86 - 88]。大多數方法依賴于條件獨立檢驗、對可能的DAGs和/或關于數據生成過程的函數類和噪聲分布的假設的組合探索(例如，假設真實的因果關系是線性的，帶有附加噪聲，或外源噪聲具有高斯分布)來尋找給定因果變量的因果關系。在醫療健康領域，Huang等人[89]和Sanchez-Romero等人[90]使用因果發現方法，利用功能性MRI數據了解大腦中不同的生理過程是如何相互造成因果影響的。因果發現仍然是一個開放的研究領域，從觀察數據發現因果效應[6,91]的一些主要挑戰是無法(i)識別所有潛在的偏差來源(未觀察到的混雜因素);(ii)為所有變量選擇適當的函數形式(模型錯誤說明);(iii)建立時間因果關系模型。

因果推理

據推測，人類通過直覺理論[35]內在地構建了生成因果模型來想象近似的物理機制。同樣，利用圍繞干預的因果模型的力量開發模型也將是有用的。因果模型可以被正式地操縱以衡量干預的效果。使用因果模型來量化干預的效果并思考最佳決策被稱為因果推理。正如前面§3.3中所討論的，因果推理在醫療健康中的一個關鍵好處是圍繞個性化決策。在SCMS(§2.1)中，個性化決策通常指的是回答關于歷史情況的反事實問題的能力，例如“如果患者接受了替代治療X會發生什么?”反事實可以通過(i)三步程序53進行估計，該程序最近通過深度學習[15,92]得到增強，使用生成模型，如歸一化流[93]、變分自編碼器[94]和擴散概率模型[95]，或(ii)孿生網絡[96]，該網絡增強了原始SCM，從而同時表示事實和反事實變量。深度孿生網絡[97]利用神經網絡進一步提高因果機制的靈活性。我們注意到，量化干預效果通常假設因果模型要么是明確給出的[15,98]，要么是通過因果發現獲得的[99]。Aglietti等人[98]利用他汀類藥物對前列腺特異性抗原水平的因果效應模型來評估他們的方法[100]，而Pawlowski等人[15]和Wang等人[101]則對大腦MRI圖像的數據生成過程建模。Reinhold等[102]在Pawlowski等人[15]的基礎上增加了多發性硬化病變的病理信息。在潛在結果框架(§2.2)中，已經提出了許多方法來根據觀察數據估計個性化(也稱為個體化或條件平均)治療效果。這些技術包括貝葉斯加性回歸樹[103]、雙ML[104,105]、帶積分概率度量[106]或正交約束[107]的神經網絡正則化、高斯過程[108]、生成式對抗網絡[109]或基于能量的模型[110]。另一種估計CATE的趨勢是基于元學習者[111,112]。在元學習設置中，傳統的(監督)ML被用來預測潛在結果和傾向的條件期望。然后，通過取估計的潛在結果之間的差值[112]或使用帶有回歸調整、傾向加權或雙魯棒學習的兩步程序[111]來計算CATE。

本 章 將 介 紹一些基本概念，通過它們來定義和區分常用的機器學習方法。你將學到下列知識：

□ 機器學習的起源及其實際應用。 □ 計算機如何將數據轉換為知識和行動。 □ 如何為數據匹配機器學習算法。

機 器 學 習 領 域 提 供 了 把 數 據 轉 換 成 可 行 動 的 知 識 的 算 法 集 合 。繼 續 閱 讀 可 以 了 解 使 用 R將機器學習應用到現實世界中的問題是多么容易。

可解釋人工智能(xAI)是近年來出現的一個有趣的問題。許多研究人員正試圖從不同的角度和有趣的結果來處理這個問題。然而，我們在理解這些類型的模型方面仍處于起步階段。在未來的幾年里，深度學習模型的開放性將被討論。在經典的人工智能方法中，我們經常遇到深度學習方法。這些深度學習方法可以根據數據集大小、數據集質量、用于特征提取的方法、用于深度學習模型的超參數集、激活函數和優化算法得出高效的結果。然而，目前的深度學習模型還存在一些重要的不足。這些基于人工神經網絡的模型是黑盒模型，它概括傳輸給它的數據并從數據中學習。因此，輸入和輸出之間的關系是不可觀察的。這是人工神經網絡和深度學習模型的一個重要開放點。由于這些原因，有必要認真研究黑盒模型的可解釋性和可解釋性。

摘要：近年來，在開發更準確、高效的醫學和自然圖像分割機器學習算法方面取得了重大進展。在這篇綜述文章中，我們強調了機器學習算法在醫學成像領域有效和準確分割中的重要作用。我們特別關注幾個關鍵的研究涉及到應用機器學習方法在生物醫學圖像分割。我們回顧了經典的機器學習算法，如馬爾可夫隨機場、k均值聚類、隨機森林等。盡管與深度學習技術相比，這種經典的學習模型往往精度較低，但它們通常更具有樣本效率，結構也更簡單。我們還回顧了不同的深度學習結構，如人工神經網絡(ANNs)、卷積神經網絡(CNNs)和遞歸神經網絡(RNNs)，并給出了這些學習模型在過去三年中獲得的分割結果。我們強調每種機器學習范式的成功和局限性。此外，我們還討論了與不同機器學習模型訓練相關的幾個挑戰，并提出了一些解決這些挑戰的啟發方法。