北京交通大學最新《深度因果模型》綜述論文,31頁pdf涵蓋216頁pdf詳述41個深度因果模型,值得關注!
因果關系概念在人類認知中起著重要作用。在過去的幾十年里,因果推理在計算機科學、醫學、經濟學和教育等許多領域都得到了很好的發展。隨著深度學習技術的發展,它越來越多地用于反事實數據的因果推理。通常,深度因果模型將協變量的特征映射到一個表示空間,然后根據不同的優化方法設計各種目標優化函數,無偏估計反事實數據。本文對深度因果模型進行了綜述,其核心貢獻如下: 1)提供了多劑量和連續劑量治療下的相關指標; 2)我們從時間發展和方法分類的角度整合了深度因果模型的全面概述; 3)我們協助對相關數據集和源代碼進行詳細和全面的分類和分析。
一般來說,因果關系指的是結果與產生結果的原因之間的聯系。這種現象的原因和影響很難定義,我們往往只能憑直覺意識到它們。因果推斷是一個根據因果關系發生的環境對因果關系作出結論的過程,在現實世界中有各種各樣的應用。例如,估計廣告中觀察數據的因果效應[3,4,5,6,7,8,9],開發與因果治療效果估計高度相關的推薦系統[10,11,12,13,14,15,16],學習醫學中患者的最佳治療規則[17,18,19],估計強化學習中的ITE[20,21,22,23,24,25,26,27,28],自然語言處理中的因果推理任務[29,30,31,32,33,34],新興的計算機視覺和語言交互任務[35,36,37,38,39],教育[40],政策決策[41,42,43,44,45]和改進的機器學習方法[46]等。
深度學習在應用于大數據時有助于人工智能的發展[47,48,49,50]。與傳統機器學習算法相比,深度學習模型計算效率更高,精度更高,在各個領域都有很好的表現。然而,許多深度學習模型是可解釋性較差的黑盒,因為它們更關心作為輸入和輸出的相關性,而不是因果關系[51,52,53]。近年來,深度學習模型被廣泛用于挖掘數據的因果關系而不是相關性[41,43]。因此,深度因果模型已成為基于無偏估計估計治療效果的核心方法[19,44,45,54]。目前,許多因果推理領域的研究都是利用深層因果模型來選擇合理的treatment 方案[55,56,57,58]。
在大數據中,所有趨勢變量都是相關的[59],因此發現因果關系是一個具有挑戰性的問題[60,61,62]。在統計學理論中,進行隨機對照試驗(randomized controlled trials, RCT)[63]是推斷因果關系最有效的方法。換句話說,樣本被隨機分配到處理組或對照組。盡管如此,現實世界的隨機對照試驗數據是稀疏的,有幾個嚴重的缺陷。涉及rct的研究需要大量特征變化不大的樣本,難以解釋,涉及倫理挑戰。事實上,選擇試驗對象來嘗試一種藥物或疫苗是不明智的[64,65]。因此,因果效應通常直接用觀察數據來衡量。獲取反事實結果的一個核心問題是如何處理觀測數據[66]。在分析觀察數據時,處理并不是隨機分配的,處理后的樣本的性能與普通樣本的性能有顯著差異[41,43]。不幸的是,我們無法在理論上觀察到其他結果,因為我們無法觀察到反事實結果[67]。主流研究的一個長期特征是使用潛在結果框架作為解決觀察數據因果推斷問題的手段[68]。潛在結果框架也被稱為Rubin因果模型[69]。因果推理與深度學習密切相關,因為它是使用Rubin因果模型概念化的。為了提高估計的準確性和無偏性,一些研究人員嘗試將深度網絡和因果模型結合起來。舉例來說,考慮分配平衡方法[41,43,44]的表示,協變量混雜學習方法[54,70,71]的效果,基于生成對抗網絡的方法[45,72,73]等[58,34,74]。由于深度學習方法促進了因果推理,因果推理也有助于深度學習方法的發展。除了提高因果效應估計的準確性,深度網絡的研究為開發深度學習算法提供了一個合理的基礎[75,76]。
近年來,人們對因果推理的各種觀點進行了討論[77,1,78,79,80,81,82,83,2]。表1列出了相關綜述的標題和要點。文獻[77]深入分析了因果推理的起源和變量發展,以及因果學習對因果推理發展的影響。此外,調查[1]對傳統和前沿的因果學習方法進行了概述,并對機器學習和因果學習進行了比較。許多學者討論了如何解釋機器學習。隨后,為了創建可解釋的人工智能算法,survey[79]結合了因果推理和機器學習。作為一種新穎的視角,因果表征學習正在蓬勃發展,綜述[80]利用它從低級觀察中發現高水平的因果變量,加強了機器學習和因果推理之間的聯系。由于近年來因果機器學習的流行,綜述[78]對圖因果推理與機器學習的相關性進行了詳細的討論。此外,在調查[81]中,作者考察了機器學習的最新進展如何應用于因果推理,并對因果機器學習如何有助于醫學科學的進步提供了全面的解釋。正如綜述[82]所認為的,基于深度學習可以改進和整理因果發現方法,可以探索可變范式來幫助思考和探索因果發現方法。推薦系統中的因果推理是調查的重點[83],它解釋了如何使用因果推理來提取因果關系,以增強推薦系統。長期以來,統計的潛在結果框架一直是連接因果推理和深度學習的橋梁,作為起點,綜述[2]檢查并比較了滿足這些假設的不同類別的傳統統計算法和機器學習算法。由于深度學習算法的快速發展,現有文獻在考察泛化時沒有考慮深度因果模型。因此,我們從深度網絡的角度,從時間和分類兩方面總結了深度因果模型。本綜述對近年來的深度因果模型進行了全面的回顧和分析。它有三個核心貢獻: 1)我們在多次treatments 和連續劑量treatments 的情況下納入了相關指標。2)我們從方法分類和時間發展的角度對深層因果模型進行了全面的概述。3)我們在相關數據集和源代碼的分析和分類方面提供詳細和全面的支持。
以下是論文其余部分的大綱。如第2節所述,本文將介紹深度因果模型以及定義和假設。在第3節中,介紹了適當的例子和度量,包括二元treatment、多重treatment和連續劑量treatment。第4節展示了一個深度因果模型,包括概述和分析。第5節討論了深度因果模型的方法,包括分布平衡方法、協變量混雜學習方法、基于生成對抗網絡的方法、基于文本輸入時間序列的方法以及基于多treatment和連續劑量treatment模型的方法。相關實驗指南的列表如下第6節。論文的摘要在第7節中給出。
深度因果模型
通過對背景和基本定義的深入理解,本節將進入深度因果模型的核心。本文概述了深度因果模型及其在過去六年間的發展,包括基于時間軸的41個深度因果模型的分析。
近年來,深入因果模型的研究越來越受歡迎。隨著深度學習的發展,各種深度因果模型在估計因果效應方面變得更加準確和有效。根據圖1,我們列出了2016年6月至2022年2月期間約40個經典的深度因果模型,包括它們的詳細名稱和提出時間。深度因果模型從2016年開始開發。Johansson等首次發表了反事實推理的學習表示[41],提出了算法框架BNN和BLR[41],將深度學習與因果效果估計問題相結合,將因果推理問題轉化為領域適應問題。從那時起,許多模型被提出,包括DCN-PD[110], TARNet和CFRNet[43]。在這方面,需要注意的是,Louizos等人在2017年12月提出的基于深度網絡經典結構參數自編碼器VAE的CEVAE[54]模型,主要關注混雜因素及其對因果效應估計的影響。
圖1: 深度因果模型的發展
在2018年以及2019年,人們對因果表征學習的興趣越來越濃厚。首先,我們聯合提出了Deep-Treat[19]和RCFR[111]模型。在GANITE[45]模型推出后,使用生成對抗模型[112]體系結構進行反事實估計成為因果推理領域的主流。根據前面的工作,對CFR-ISW[113]、CEGAN[72]、SITE[44]進行了優化。R-MSN[74]模型于2018年12月實現,利用循環神經網絡[114]解決多治療時間序列的連續劑量問題,開辟了深層因果模型。為了解決這一問題,2019年5月提出了PM[42]和TECE[104],用于與多個離散處理相關的因果效應估計。作為后續,CTAM[34]開始專注于估算文本數據的因果影響;Dragonnet[71]首次將正則化和傾向評分網絡引入因果模型;ACE[55]試圖從表示空間中提取細粒度的相似度信息。對于RSB的[115]2019年12月版,使用深度表示學習網絡和PCC[116]正則化來分解協變量,使用工具變量來控制選擇偏差,使用混雜和調節因素來預測。
深度因果模型在2020年蓬勃發展。首先,DKLITE[56]模型結合了深核模型和后驗方差正則化。然后,DR-CFR[117]應用三個表示網絡、兩個回歸網絡和一個預測網絡對協變量的選擇偏倚進行解耦;GAD[118]則關注持續劑量治療的因果效應;DRGAN[119]定義了一種用于擬合樣品劑量效應曲線的創新生成對抗網絡;CRN[120]通過結合反事實循環神經網絡來估計隨時間變化的治療效果。TSD[121]在估計了多原因混雜下的時間序列因果效應后,轉向估計時間序列因果效應。在潛在表征空間中,ABCEI[122]使用GAN平衡了治療組和對照組的協變量分布。在前人研究的基礎上,BWCFR[123]、LaCIM[124]對結構思想進行了優化。此外,SCIGAN[73]、DRNet[57]在2020年將連續劑量擴展到任意數量的treatment 問題,VSR[125]以重新加權的方式聚合深度神經網絡潛在變量。
從2021年到2022年,因果模型變得更加創新、開放和靈活。VCNet[58]模型實現了連續平均劑量-響應曲線的估計。截至2021年5月,NCoRE[126]使用跨treatment 交互作用建模來理解產生多種治療組合的潛在因果過程。之后,CETransformer[127]利用Transformer[128]對協變量進行表征,注意力機制集中在協變量之間的相關性上。在此基礎上,DONUT[129]和DeR-CFR[70]基于之前的工作進行優化。SCI[75]將子空間理論用于因果表征學習,拓寬了研究者的思路。FlexTENet[130]提出了一種多任務自適應學習架構。此外,SCP[131]采用兩步程序評估多因素治療效果。為了構建這種合成雙胞胎匹配表示,SyncTwin[132]利用了結果中的時間結構。最后,TransTEE[76]將表征分布平衡方法擴展到連續的、結構化的和劑量依賴的treatment,使其作為因果效應估計問題更加開放。下一節將分析同一類別的所有模型,并基于深度學習結構的使用和模型所使用的共同思想進行比較。
關于深度學習因果發現綜述論文,值得關注!
理解因果關系有助于構建干預措施,以實現特定目標,并實現干預措施下的預測。隨著因果關系學習的重要性日益突出,因果發現任務已經從使用傳統方法從觀察數據中推斷潛在的因果結構轉向深度學習所涉及的模式識別領域。海量數據的快速積累促進了具有良好可擴展性的因果搜索方法的出現。現有的因果發現方法綜述主要集中在基于約束、評分和FCMs的傳統方法上,缺乏對基于深度學習的方法的完善梳理,也缺乏對可變范式視角下的因果發現方法的思考和探索。因此,我們根據變量范式將可能的因果發現任務劃分為三種類型,并分別給出了三種任務的定義,定義并實例化了每一任務的相關數據集和最終構建的因果模型,然后回顧了現有的針對不同任務的主要因果發現方法。最后,針對目前因果發現領域的研究空白,從不同角度提出了一些路線圖,并指出了未來的研究方向。
導論
因果關系是一種結果和導致結果的treatment 之間的關系。它在我們的生活中無處不在,涉及到幾個領域,如統計學[2]-[5],經濟學[6],[7],計算機科學[8]-[11],流行病學[12]-[14],心理學[15],[16]。舉一個生活中常見的現象,例如,很多人因為下雨而打傘,或者一個學生因為沒有學習而考試考得不好。這種因果關系是因果關系的最簡單表達。然而,我們需要意識到統計相關性和因果關系[17],[18]之間的差異。例如,尼龍襪和肺癌在上個世紀同時大量出現,我們只能得出兩者之間有相關性而不是因果關系,因為吸煙也在這個時候增加了。近年來,因果關系的研究已成為人工智能領域的重要組成部分,從而克服了基于統計的機器學習[19]-[21]的一些局限性。基于有向無環圖(DAG)[22]、[23]結構和貝葉斯模型[24],基于有向無環圖(DAG)[22],[23]結構和貝葉斯模型[24],[25],旨在了解兩個觀測變量在另一個變量影響下的統計關系。此外,因果關系一般可以分為兩個主要方面,因果發現和因果結果推斷[26],[27]。因果發現[28],[29]側重于從觀測數據中獲取因果關系,構建結構因果模型[30],[31],使因果效應推理[32]-[34]可以通過結構因果模型估計變量的變化。因果發現作為因果推理的必要途徑和前提條件,近年來備受關注。
因果發現是確定因果關系的過程,從建立因果骨架開始,進一步以嚴格的DAG(相關算法[21]通常稱為SCMs)結束。因果骨架[27],[35]是一個完全無向圖,所有成對變量都由其中的無向邊連接。然后,根據條件約束和獨立成分分析等統計方法對因果骨架上的因果算法[36],對無向邊進行定向,得到每個有向邊代表一個變量對另一個變量的影響的SCMs。早在機器學習[37],[38]的早期,它就提出了基于條件約束的方法,如IC [39], [40], SGS[41]和PC[38],[42],[43],后來又提出了基于分數的方法GES[44],這些傳統方法提出了正確的因果假設并結合圖模型來發現因果關系。然后,提出了基于LiNGAM[45]、[46]和ANM[47]、[48]功能因果模型(FCMs)的方法,進一步提高了模型的計算效率和適用性;這些都是主流的因果發現方法,因此有許多混合方法[49]-[51]和改進方法結合它們的優點。
以上都適合于探索具有一定數量和值的多個內生變量之間的因果關系,也是研究因果發現的初始領域。由于已有豐富的研究基礎,因果關系的發現已逐漸擴展到模式識別[52]、[53]等領域,如圖像模式識別、文本模式識別等。研究人員發現,在這些內源性二元變量樣本中,不同區域和部分之間也存在因果關系,例如在人臉識別[54]、[55]、細粒度識別[56]、文本情感識別[57]和其他任務[58]、[59]中。這種因果發現方法需要根據研究者的先驗知識或建模需求,將傳統模式識別中的樣本與標簽之間的相關性解釋為可識別樣本中每個區域或部分的因果結構。隨著這一領域因果發現方法的逐漸多樣化,我們考慮是否存在另一種類型的更復雜的變量。一方面,從任務的角度來看,識別、分類、分割等靜態任務的總體成就促使研究者探索由一系列靜態任務組成的動態序列;另一方面,從模型的角度來看,主流網絡模型的深化意味著簡單的任務不再能反映模型之間的差距,因此越來越需要更細粒度的標簽和更多可解釋性的研究。這些原因促使因果發現的研究領域向深度學習領域的序列任務深入。
此外,因果發現的路線圖是USCM的構建。根據現有方法的思想,我們提出了三種路線圖:基于優先級、基于抽樣和基于確定性的方法。因果關系本質上是一種理論,考慮潛在的原因[60]超過兩個變量。就因果理論創立的初衷而言,如果僅僅局限于一個確定或半確定的因果骨架,是不夠接近現實因果關系的。隨著深度學習的不斷發展,USCM是因果理論接近現實世界因果關系的最終目標。這也將驅使我們處理更多與因果相關的任務,例如構建情感和知識產品的過程。此外,基于干預和反事實的研究可以走得更遠,試圖達到人工智能領域的下一個階段。
總的來說,我們的貢獻如下。首先,我們定義了三種類型的任務并說明了它們的過程;其次,定義了三類變量數據集,并比較了它們的不同特征; 第三,界定了三種類型的變量因果范式,并分析了它們的構建過程; 最后,針對USCM面臨的新挑戰,提出了一些解決抽樣不足導致因果發現方法不足問題的路線圖。本文的其余部分組織如下。第二部分定義了明確任務、MVD和DSCM,總結了該范式下常見的MVD和因果發現方法。第三部分界定了半確定任務、BVD和SSCM,梳理了不同領域的BVD及其因果發現方法。同樣,我們定義了不確定任務、IVD和USCM,總結了現有的常用數據集和相關任務,并在第四節比較了這三種數據集與SCM的異同。據此,我們在第五節分析了當前的挑戰并提出了路線圖。最后一節得出了本文的總體結論。
確定任務
在本節中,我們將初始的因果發現任務定義為確定任務,將數據集MVD用于該任務,并將最終的模型DSCM用于顯示已知多個變量中的因果關系。如前所述,我們可以使用不同類型的因果方法來構建DSCM。基于約束和基于評分的方法相對容易理解,但它們受到一些假設的限制,這些假設導致了一些問題,如MEC不可分離性,需要大量樣本來證明可信度,以及無法處理潛在的混雜因素。因此,基于模糊c均值聚類(FCMs)的方法將因果關系以矩陣的形式表示,并首次引入了外生變量(噪聲項)的概念,具有普適性。這些方法都有一個假設,如數據之間的獨立性和外生變量的非高斯性質。既解決了上述局限性,又避免了在條件相關或評分函數中可能遇到的其他問題。混合方法的好處是它結合了不同方法的優點,但它也可能意味著增加復雜性。總之,研究人員很容易通過任何一種方法獲得SCM。因此,他們可以根據建模的需要、數據集的特征和個人喜好來選擇不同的方法。
半確定任務
在本節中,我們定義了另一種常見的因果發現任務,并根據其特點定義了相應的數據集和SCM,總結了現有的研究方法。如前所述,我們對不同的方法進行了比較研究,例如圖像數據比文本數據更容易劃分特征塊和提取先驗共識。在圖像數據中,因果表示直觀且易于表示,但需要用詞向量來表示數據,然后根據先驗從關鍵詞中提取特征塊。這一過程可能會受到不同寫作風格的影響,其中的特征不如圖像數據那么直觀,因此也會有不同,以避免我們忽略的混淆因素和其他偏見。另一方面,文本數據可以直觀地向研究人員傳達一些信息,容易推斷因果關系,如文本主題與情感分析、語法分析等。這些優點可以幫助解決圖像識別中的一些困難和矛盾。此外,我們提出了一些指標來描述與SSCM性能間接相關的視覺結果。雖然不能直接判斷SSCM的好壞,但可以為后續實驗帶來更多的可解釋性內容。綜上所述,因果發現中SSCM的存在是非常重要和不可避免的,它有助于我們通過深度學習的方法更好地學習樣本表示及其上下文特征。 不確定任務
在本節中,我們定義了一種新的因果發現任務——不確定任務,并根據其特點定義了相應的數據集IVD和USCM,總結了現有的不同類型的IVD。此外,IVD還有一些特性。序列數據本身包含許多因果關系。例如,在對話序列中,不同人之間的對話是相互依賴的;在音樂序列中,不同的節奏部分相互作用;在視頻序列中,視頻的每一幀都是一張圖片,圖片中的不同物體有各自的因果關系。從另一個角度來看,視頻序列的因果關系比對話序列的因果關系更連續,對話的性質導致了離散的因果關系。通過對MVD、BVD和IVD的整理和比較,我們發現它們的相似之處在于它們都涉及相同的因果問題和結論。例如,這些數據集中存在先驗;所有這些數據集都可能存在混雜因素,其中混雜因素均以叉形結構存在,且都需要排除混雜因素的影響;同樣,我們都可以對這些數據集進行一些因果操作,如干預和反事實。另一方面,兩者之間也有一些區別。在MVD中,多個變量在數量、意義和抽樣上都有明確的反映,因此,當我們可以根據MVD的先驗直接獲得唯一的因果骨架,進而構建唯一的DSCM時;在BVD中,只有兩個確定的原始變量,多維時空序列數據被標記為多種類型,只能根據研究者的先驗知識從數據中劃分出其他外生變量來構建因果骨架。雖然有一定數量的因果變量,但由于BVD的弱先驗,我們最終得到的SSCM并不是唯一的。此外,IVD也有兩個變量,但是它的數據和標簽是以序列的形式存在的,所以我們很難獲得除了樣本量之外的其他確定的信息。我們需要將不同的序列片段作為因果變量來構建因果骨架,因此得到的USCM并不是由于其不可抽樣性而造成的唯一原因,USCM的數量接近于IVD的樣本量。
因果性是現在機器學習關注的焦點之一。倫敦大學學院和牛津大學的學者發布了《因果機器學習》綜述,非常值得關注!
因果機器學習(CausalML)是將數據生成過程形式化為結構因果模型(SCM)的機器學習方法的總稱。這使得人們可以對這一過程的變化的影響(即干預)和事后會發生什么(即反事實)進行推理。根據他們所解決的問題,我們將CausalML中的工作分為五組:(1)因果監督學習,(2) 因果生成模型,(3) 因果解釋,(4) 因果公平,(5) 因果強化學習。對每一類方法進行了系統的比較,并指出了有待解決的問題。此外,我們回顧了特定模式在計算機視覺、自然語言處理和圖形表示學習中的應用。最后,我們提供了因果基準的概述,并對這一新興領域的狀態進行了批判性的討論,包括對未來工作的建議。
引言
機器學習(ML)技術今天擅長在獨立和同分布(i.i.d)數據中尋找關聯。一些基本原則,包括經驗風險最小化、反向傳播和架構設計中的歸納偏差,已經為解決計算機視覺、自然語言處理、圖表示學習和強化學習等領域的問題帶來了巨大的進步。然而,在將這些模型部署到現實環境中時,出現了新的挑戰。這些挑戰包括: (1) 當數據分布轉移[1]時泛化性能大幅下降,(2) 生成模型[2]樣本缺乏細粒度控制,(3) 有偏見的預測強化了某些子種群的不公平歧視[3,4],(4) 可解釋性[5]的概念過于抽象和問題獨立,(5)強化學習方法對真實世界問題[6]的不穩定轉換。
許多工作認為,這些問題的部分原因在于現代ML系統缺乏因果形式主義[7,8,9,10,11]。隨后,研究社區對因果機器學習(CausalML)的興趣激增,這是利用關于被建模系統的因果知識的方法本調查涵蓋了因果關系如何被用來解決開放式ML問題。簡而言之,因果推理提供了一種語言,通過結構因果模型(SCMs)[12]將關于數據生成過程(DGP)的結構知識形式化。使用SCM,我們可以估計在對數據生成過程進行更改(稱為干預)后,數據會發生什么變化。更進一步,它們還允許我們在事后模擬變化的后果,同時考慮實際發生的情況(稱為反事實)。我們將在第2章中更詳細地介紹這些概念,假設沒有因果關系的先驗知識。
盡管在設計各種類型的CausalML算法方面做了大量的工作,但仍然缺乏對其問題和方法論的明確分類。我們認為,部分原因在于CausalML通常涉及對大部分ML不熟悉的數據的假設,這些假設在不同的問題設置之間聯系起來通常很棘手,這使得很難衡量進展和適用性。這些問題是本次綜述的動機。
**1. 我們對完全獨立的因果關系中的關鍵概念進行了簡單的介紹(第2章)。**我們不假設對因果關系有任何先驗知識。在整個過程中,我們給出了如何應用這些概念來幫助進一步的地面直覺的例子。
2. 我們將現有的CausalML工作分類為因果監督學習(第3章)、因果生成模型(第4章)、因果解釋(第5章)、因果公平(第6章)、因果強化學習(第7章)。對于每個問題類,我們比較現有的方法,并指出未來工作的途徑。
3.我們回顧了特定模式在計算機視覺、自然語言處理和圖表示學習中的應用(第8章),以及因果基準(第9章)。
4. 我們討論了好的、壞的和丑陋的:我們關于與非因果ML方法相比,因果ML可以給我們帶來哪些好處的觀點(好的),人們必須為這些方法付出什么代價(壞的),以及我們警告從業者要防范哪些風險(丑陋的)(第10章)。
結論發現**
來自華為的研究人員在KDD2021上將給出關于反事實解釋與XAI的教程,非常值得關注!
深度學習在許多領域都顯示出了強大的性能,但其黑箱特性阻礙了其進一步的應用。作為回應,可解釋人工智能應運而生,旨在解釋深度學習模型的預測和行為。在眾多的解釋方法中,反事實解釋被認為是最好的解釋方法之一,因為它與人類的認知過程相似:通過構建對比情境來進行解釋,人類可以認知地展示差異來解釋其背后的機制。
在本教程中,我們將介紹反事實解釋的認知概念和特點,反事實解釋的計算形式,主流方法,以及在不同解釋設置下的各種適應。此外,我們將展示幾個流行研究領域的反事實解釋的典型用例。最后,根據實踐,我們概述了反事實解釋的潛在應用,如數據增強或對話系統。我們希望本教程能幫助參與者對反事實解釋有一個大致的了解。
//sites.google.com/view/kdd-2021-counterfactual
反事實思維是人類理解世界的基本方式之一,因此,用反事實來解釋機器學習和深度學習模型成為近年來的流行[4]。一個反事實的解釋描述了一種因果情況,其形式為:“如果X沒有發生,Y就不會發生”[20]。Judea pearl 將反事實定義為對“如果發生了什么”問題[15]的概率回答。反事實陳述是尋找特征值的最小變化,以便它可以將預測變成期望的輸出。對于黑箱人工智能模型,反事實解釋通常是通過從數據集中檢索數據樣本或通過擾動原始輸入的特征生成樣本,使這些數據樣本的模型輸出與原始輸出相矛盾來獲得。由于計算和應用以及反事實解釋都與數據挖掘或數據處理密切相關,我們認為反事實解釋符合數據挖掘社區的興趣,因此值得在本教程中介紹。
概率圖建模(PGM)提供了一個框架,以設計一個可解釋的生成過程的數據和表達不確定性的未知數。這使得PGM對于理解數據背后的現象和決策非常有用。在可解釋推理是關鍵的領域內,PGM取得了巨大的成功,例如市場營銷、醫學、神經科學和社會科學。然而,PGM往往缺乏靈活性,這阻礙了它在建模大規模高維復雜數據和執行需要靈活性的任務(例如在視覺和語言應用程序中)時的使用。
深度學習(DL)是另一個從數據中建模和學習的框架,近年來取得了巨大的成功。DL功能強大,具有很大的靈活性,但缺乏PGM的可解釋性和校準性。
本文研究了深度概率圖建模(DPGM)。DPGM通過利用DL使PGM更加靈活。DPGM帶來了從數據中學習的新方法,這些方法展示了PGM和DL的優點。
我們在PGM中使用DL來構建具有可解釋潛在結構的靈活模型。我們提出一系列模型擴展指數族主成分分析(EF-PCA),使用神經網絡提高預測性能,同時加強潛在因素的可解釋性。我們引入的另一個模型類支持在建模順序數據時考慮長期依賴關系,這在使用純DL或PGM方法時是一個挑戰。該序列數據模型類已成功應用于語言建模、情感分析的無監督文檔表示學習、會話建模和醫院再入院預測的患者表示學習。最后,DPGM成功地解決了概率主題模型的幾個突出問題。
在PGM中利用DL也帶來了學習復雜數據的新算法。例如,我們開發了熵正則化對抗學習,這是一種與PGM中使用的傳統最大似然方法不同的學習范式。從DL的角度來看,熵正則化對抗學習為生成式對抗網絡長期存在的模式崩潰問題提供了一種解決方案。
摘要
文本分類是自然語言處理中最基本、最基本的任務。過去十年,由于深度學習取得了前所未有的成功,這一領域的研究激增。大量的方法、數據集和評價指標已經在文獻中提出,提高了全面和更新綜述的需要。本文通過回顧1961年到2020年的先進方法的現狀來填補這一空白,側重于從淺到深的模型學習。我們根據所涉及的文本和用于特征提取和分類的模型創建文本分類的分類法。然后我們詳細討論每一個類別,處理支持預測測試的技術發展和基準數據集。本綜述還提供了不同技術之間的綜合比較,以及確定各種評估指標的優缺點。最后,總結了本研究的關鍵意義、未來研究方向和面臨的挑戰。
介紹
在許多自然語言處理(NLP)應用中,文本分類(為文本指定預定義標簽的過程)是一個基本和重要的任務, 如情緒分析[1][2][3],主題標簽[4][5][6],問答[7][8][9]和對話行為分類。在信息爆炸的時代,手工對大量文本數據進行處理和分類是一項耗時且具有挑戰性的工作。此外,手工文本分類的準確性容易受到人為因素的影響,如疲勞、專業知識等。人們希望使用機器學習方法來自動化文本分類過程,以產生更可靠和較少主觀的結果。此外,通過定位所需信息,可以提高信息檢索效率,緩解信息超載的問題。 圖1給出了在淺層和深層分析的基礎上,文本分類所涉及的步驟流程圖。文本數據不同于數字、圖像或信號數據。它需要NLP技術來仔細處理。第一個重要的步驟是對模型的文本數據進行預處理。淺層學習模型通常需要通過人工方法獲得良好的樣本特征,然后用經典的機器學習算法對其進行分類。因此,特征提取在很大程度上制約了該方法的有效性。然而,與淺層模型不同,深度學習通過學習一組直接將特征映射到輸出的非線性轉換,將特征工程集成到模型擬合過程中。
主要文本分類方法的示意圖如圖2所示。從20世紀60年代到21世紀10年代,基于淺層學習的文本分類模型占據了主導地位。淺層學習意味著在樂此不疲的模型,如 Na??ve Bayes(NB)[10], K-近鄰(KNN)[11],和支持向量機(SVM)[12]。與早期基于規則的方法相比,該方法在準確性和穩定性方面具有明顯的優勢。然而,這些方法仍然需要進行特征工程,這是非常耗時和昂貴的。此外,它們往往忽略文本數據中自然的順序結構或上下文信息,使學習詞匯的語義信息變得困難。自2010年代以來,文本分類逐漸從淺層學習模式向深度學習模式轉變。與基于淺層學習的方法相比,深度學習方法避免了人工設計規則和特征,并自動提供文本挖掘的語義意義表示。因此,大部分文本分類研究工作都是基于DNNs的,這是一種計算復雜度很高的數據驅動方法。很少有人關注于用淺層學習模型來解決計算和數據的局限性。
在文獻中,Kowsari等[13]考慮了不同的文本特征提取、降維方法、文本分類的基本模型結構和評價方法。Minaee等人[14]回顧了最近基于深度學習的文本分類方法、基準數據集和評估指標。與現有的文本分類研究不同,我們利用近年來的研究成果對現有的模型進行了從淺到深的總結。淺層學習模型強調特征提取和分類器設計。一旦文本具有精心設計的特征,就可以通過訓練分類器來快速收斂。在不需要領域知識的情況下,DNNs可以自動進行特征提取和學習。然后給出了單標簽和多標簽任務的數據集和評價指標,并從數據、模型和性能的角度總結了未來的研究挑戰。此外,我們在4個表中總結了各種信息,包括經典淺層和深度學習模型的必要信息、DNNs的技術細節、主要數據集的主要信息,以及在不同應用下的最新方法的一般基準。總而言之,本研究的主要貢獻如下:
我們在表1中介紹了文本分類的過程和發展,并總結了經典模式在出版年份方面的必要信息,包括地點、應用、引用和代碼鏈接。
根據模型結構,從淺層學習模型到深度學習模型,對主要模型進行了全面的分析和研究。我們在表2中對經典或更具體的模型進行了總結,并主要從基本模型、度量和實驗數據集方面概述了設計差異。
我們介紹了現有的數據集,并給出了主要的評價指標的制定,包括單標簽和多標簽文本分類任務。我們在表3中總結了基本數據集的必要信息,包括類別的數量,平均句子長度,每個數據集的大小,相關的論文和數據地址。
我們在表5中總結了經典模型在基準數據集上的分類精度得分,并通過討論文本分類面臨的主要挑戰和本研究的關鍵意義來總結綜述結果。
多模態表示學習旨在縮小不同模態之間的異質性差距,在利用普遍存在的多模態數據方面起著不可或缺的作用。基于深度學習的多模態表示學習由于具有強大的多層次抽象表示能力,近年來受到了廣泛的關注。在本文中,我們提供了一個全面的深度多模態表示學習的綜述論文。為了便于討論如何縮小異質性差距,根據不同模態集成的底層結構,我們將深度多模態表示學習方法分為三種框架:聯合表示、協調表示和編解碼。此外,我們回顧了該領域的一些典型模型,從傳統模型到新開發的技術。本文強調在新開發的技術的關鍵問題,如encoder-decoder模型,生成對抗的網絡,和注意力機制學習的角度來看,多通道表示,我們所知,從來沒有審核之前,即使他們已經成為當代研究的主要焦點。對于每個框架或模型,我們將討論其基本結構、學習目標、應用場景、關鍵問題、優缺點,以使新研究者和有經驗的研究者都能從中受益。最后,提出了今后工作的一些重要方向。
深度學習方法對各種醫學診斷任務都非常有效,甚至在其中一些任務上擊敗了人類專家。然而,算法的黑箱特性限制了臨床應用。最近的可解釋性研究旨在揭示對模型決策影響最大的特征。這一領域的大多數文獻綜述都集中在分類學、倫理學和解釋的需要上。本文綜述了可解釋的深度學習在不同醫學成像任務中的應用。本文從一個為臨床最終用戶設計系統的深度學習研究者的實際立場出發,討論了各種方法、臨床部署的挑戰和需要進一步研究的領域。