人工智能和因果推理闡述了人工智能(AI)和因果推理之間關系的最新發展。盡管人工智能取得了重大進展,但我們仍然面臨著人工智能發展中的一個巨大挑戰,即理解智能背后的機制,包括推理、計劃和想象。理解、遷移和概括是提高智能的主要原則。因果推理是理解的一個關鍵組成部分。因果推理包括干預、領域轉移學習、時間結構和反事實思維等概念,是理解因果關系和推理的主要概念。不幸的是,這些因果關系的重要組成部分經常被機器學習忽略,這導致了深度學習的一些失敗。人工智能和因果推理包括:(1)將人工智能技術作為因果分析的主要工具;(2)將因果概念和因果分析方法應用于解決人工智能問題。這本書的目的是填補人工智能和現代因果分析之間的空白,進一步促進人工智能革命。這本書是理想的研究生和研究人員在人工智能,數據科學,因果推理,統計,基因組學,生物信息學和精準醫學。
//www.routledge.com/Artificial-Intelligence-and-Causal-Inference/Xiong/p/book/9780367859404
涵蓋三種類型的神經網絡,制定深度學習作為最優控制問題。 * 非線性中介的深度學習與工具變量因果分析。 * 因果網絡的構建是一個連續優化問題。 * Transformer和注意力用于圖的編碼解碼。RL用于推斷大型因果網絡。 * 使用VAE、GAN、神經微分方程、回歸神經網絡(RNN)和RL來估計反事實的結果。 * 網絡干擾下基于人工智能的個體化治療效果估計方法。
大多數有關回歸的教科書側重于理論和最簡單的例子。然而,真正的統計問題是復雜而微妙的。這不是一本關于回歸理論的書。它是關于使用回歸來解決比較、估計、預測和因果推理等實際問題。與其他書籍不同,它側重于實際問題,如樣本量、缺失數據以及廣泛的目標和技術。它直接進入你可以立即使用的方法和計算機代碼。作者親身經歷的真實例子和故事,展示了回歸的作用及其局限性,并為理解實驗和觀察研究的假設和實施方法提供了實用建議。他們順利過渡到邏輯回歸和GLM。重點是R和Stan的計算,而不是推導,代碼可以在線獲得。圖形和演示有助于理解模型和模型擬合。
目錄內容: 介紹 數據和測量 數學和概率論中的一些基本方法 生成模型和統計推斷 模擬 回歸建模背景 單預測器線性回歸 擬合回歸模型 預測和貝葉斯推理 多預測因子線性回歸 假設、診斷和模型評估 轉換 邏輯回歸 使用邏輯回歸 其他廣義線性模型 設計和樣本大小的決定 后分層和缺失數據歸因 因果推理基礎和隨機實驗 使用對治療變量的回歸進行因果推斷 因果推理中更高級的主題 高級回歸和多級模型
現有的關于回歸的教科書通常混合了一些數學推導。我們寫這本書是因為我們看到了一種新的前進方式,專注于理解回歸模型,將它們應用于實際問題,并使用假數據模擬來理解模型是如何匹配的。讀完這本書并完成練習之后,您應該能夠在計算機上模擬回歸模型,并建立、批判性地評估它們,并將它們用于應用問題。我們的書的另一個特點,除了廣泛的例子和計算機模擬的重點,是它的廣泛的覆蓋,包括統計和測量的基礎知識,線性回歸,多元回歸,貝葉斯推理,邏輯回歸和廣義線性模型,從樣本到人口的外推,和因果推論。線性回歸是一個起點,但止步于此是沒有意義的:一旦你有了統計預測的基本概念,最好的理解方法是將它應用到許多不同的方式和不同的環境中。
在完成本書的第1部分后,您應該能夠使用數學、統計和計算工具,這些工具將允許您使用回歸模型。這些前幾章可以作為你在入門統計學課程中所學到的方法和思想的橋梁。
第1部分的目標包括顯示和探索數據,計算和繪制線性關系,理解基本的概率分布和統計推斷,以及模擬隨機過程來表示推斷和預測不確定性。
在完成第2部分之后,您應該能夠構建、適應、理解、使用和評估線性回歸模型的適應。本書這部分的章節在幾個應用和模擬數據示例的背景下開發相關的統計和計算工具。
完成第3部分后,您應該能夠類似地使用邏輯回歸和其他廣義線性模型。
第4部分涵蓋了從樣本到總體的數據收集和外推,第5部分我們涵蓋了因果推理,從使用受控實驗回歸的基本方法開始,然后考慮更復雜的方法來調整觀測數據的不平衡或利用自然實驗。
第6部分介紹了更高級的回歸模型,附錄包括一些快速提示和軟件的概述
當今世界上部署的大多數機器學習系統都是從人類反饋中學習的。然而,大多數機器學習課程幾乎只關注算法,而不是系統的人機交互部分。這可能會給在現實世界機器學習領域工作的數據科學家留下一個巨大的知識鴻溝,在現實世界機器學習領域,數據科學家花在數據管理上的時間多于構建算法的時間。Human-in-the-Loop Machine Learning是優化整個機器學習過程的實用指南,包括注釋、主動學習、遷移學習技術,以及使用機器學習來優化過程的每一步。
//www.manning.com/books/human-in-the-loop-machine-learning
作者:
Robert (Munro) Monarch是一名數據科學家和工程師,曾為蘋果、亞馬遜、谷歌和IBM等公司開發過機器學習數據。他擁有斯坦福大學的博士學位。
本書組織
本書共分為四個部分:緒論;對主動學習的深入研究;對注釋的深入研究;最后一部分,將所有內容與人機界面的設計策略以及三個實現示例結合在一起。
本書的第一部分介紹了創建培訓和評估數據的構建模塊:注釋、主動學習和人機交互概念,幫助人類和機器最有效地結合他們的智能。在第2章結束時,您將構建一個用于標記新聞標題的人在循環機器學習應用程序,完成從注釋新數據到重新訓練模型,然后使用新模型來幫助決定下一個應該注釋哪些數據的循環。
第2部分介紹了主動學習——一組用于對最重要的數據進行抽樣以供人類審查的技術。第3章涵蓋了理解模型不確定性的最廣泛使用的技術,第4章處理了一個復雜的問題,即識別您的模型在哪些地方可能是可靠的,但由于采樣不足或非代表性數據而出錯。第5章介紹了將不同的策略組合成一個全面的主動學習系統的方法,第6章介紹了主動學習技術如何應用于不同類型的機器學習任務。
第3部分介紹注釋—為訓練和評估數據獲取準確和有代表性的標簽時經常被低估的問題。第7章介紹了如何找到和管理正確的人員來注釋數據。第八章介紹了標注質量控制的基礎知識,介紹了最常用的計算精度和一致性的方法。第9章介紹了注釋質量控制的高級策略,包括對主觀任務的注釋,以及使用基于規則的系統、基于搜索的系統、遷移學習、半監督學習、自監督學習和合成數據創建的各種半自動注釋方法。第10章介紹了如何針對不同類型的機器學習任務管理注釋。
第4部分完成了“循環”,在第11章中深入探討了有效注釋的接口,在第12章中介紹了三個人在循環中的機器學習應用程序示例。在整本書中,我們不斷地回到不同類型的機器學習任務的例子:圖像和文檔級標記、連續數據、目標檢測、語義分割、序列標記、語言生成和信息檢索。內頁包含了快速參考資料,告訴你在哪里可以找到這些任務。
代碼地址:
摘要
科學研究的一個基本目標是了解因果關系。然而,盡管因果關系在生命和社會科學中發揮著關鍵作用,但在自然語言處理(NLP)中卻沒有同等的重要性,后者傳統上更重視預測任務。隨著因果推理和語言處理融合的跨學科研究的興起,這種區別正開始消失。然而,關于NLP中因果關系的研究仍然分散在各個領域,沒有統一的定義、基準數據集和對剩余挑戰的清晰表述。在這項綜述中,我們鞏固了跨學術領域的研究,并將其置于更廣闊的NLP景觀中。我們介紹了估計因果效應的統計挑戰,包括文本作為結果、治療或解決混淆的手段的設置。此外,我們還探討了因果推理的潛在用途,以改善NLP模型的性能、魯棒性、公平性和可解釋性。因此,我們為計算語言學界提供了一個統一的因果推理概述。
引言
許多科學領域對將融入文本為數據越來越感興趣(例如,Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然語言處理(NLP)研究人員可能不熟悉這些領域的一個關鍵特性,是強調因果推理,通常用于評估策略干預。例如,在推薦一種新的藥物治療之前,臨床醫生想知道這種藥物對疾病進展的因果關系。因果推理涉及到一個通過干預創造的反事實世界的問題:如果我們給病人用藥,他們的疾病進展會如何?正如我們下面所解釋的,在觀察數據中,因果關系并不等同于服用藥物的患者與其觀察到的疾病進展之間的相關性。現在有大量關于使用傳統(非文本)數據集進行有效推理的技術的文獻(例如,Morgan and Winship, 2015),但將這些技術應用于自然語言數據提出了新的和基本的挑戰。
相反,在經典的NLP應用中,目標只是做出準確的預測:任何統計相關性通常都被認為是可接受的,不管潛在的因果關系是什么。然而,隨著NLP系統越來越多地部署在具有挑戰性和高風險的場景中,我們不能依賴通常的假設,即訓練和測試數據是相同分布的,我們可能不會滿足于無法解釋的黑箱預測器。對于這兩個問題,因果關系提供了一條有希望的前進道路: 數據生成過程中因果結構的領域知識可以提示歸納偏差,導致更魯棒的預測器,而預測器本身的因果視圖可以提供關于其內部工作的新見解。
這篇調查論文的核心主張是,探究因果關系和NLP之間的聯系,有可能推進社會科學和NLP研究者的目標。我們將因果關系和自然語言處理的交集分為兩個不同的領域: 從文本中估計因果效應,以及使用因果形式主義使自然語言處理方法更可靠。我們將用兩個例子來說明這種區別。
NLP幫助因果關系。文本數據的因果推理涉及幾個不同于典型因果推理設置的挑戰:文本是高維的,需要復雜的建模來衡量語義上有意義的因素,如主題,并需要仔細思考,以形式化因果問題對應的干預。從主題模型到上下文嵌入,自然語言處理在建模語言方面的發展為從文本中提取所需信息以估計因果效應提供了有前景的方法。然而,我們需要新的假設,以確保使用NLP方法導致有效的因果推理。我們將在第3節討論從文本中估計因果效應的現有研究,并強調這些挑戰和機遇。
因果關系可以幫助NLP。為了解決NLP方法帶來的穩健性和可解釋性挑戰,我們需要新的標準來學習超越利用相關性的模型。例如,我們希望預測器對于我們對文本所做的某些更改是不變的,例如在保持ground truth標簽不變的情況下更改格式。利用因果關系來發展新的準則,為建立可靠的、可解釋的自然語言處理方法提供服務,這是相當有希望的。與文本因果推理的研究領域相比,因果關系和NLP研究的這一領域較少被理解,盡管最近的經驗成功很好地推動了這一領域的研究。在第4節中,我們涵蓋了現有的研究,并回顧了使用因果關系來改進自然語言處理的挑戰和機遇。
該論文調研了文本數據在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中,我們采取了一個更廣泛的視角,將因果關系和自然語言處理的交集分為兩個截然不同的研究線,即估計因果效應和因果驅動的自然語言處理方法。在閱讀了本文之后,我們設想讀者將對以下內容有一個廣泛的理解:
這新版本的教科書/參考提供了從工程的角度對概率圖模型(PGMs)的介紹。它提供了關于馬爾科夫決策過程、圖模型和深度學習的新材料,以及更多的練習。
這本書涵蓋了PGM的每個主要類的基礎知識,包括表示、推理和學習原理,并回顧了每種類型的模型的實際應用。這些應用來自廣泛的學科,突出了貝葉斯分類器、隱藏馬爾可夫模型、貝葉斯網絡、動態和時間貝葉斯網絡、馬爾可夫隨機場、影響圖和馬爾可夫決策過程的許多使用。
概率圖模型(PGMs)及其在不確定性下進行智能推理的應用出現于20世紀80年代的統計和人工智能推理領域。人工智能的不確定性(UAI)會議成為這一蓬勃發展的研究領域的首要論壇。20歲的時候,我在圣何塞的UAI-92大學第一次見到了恩里克·蘇卡——我們都是研究生——在那里,他展示了他關于高層次視覺推理的關系和時間模型的研究成果。在過去的25年里,Enrique對我們的領域做出了令人印象深刻的研究貢獻,從客觀概率的基礎工作,到開發時態和事件貝葉斯網絡等高級形式的PGMS,再到PGMS的學習,例如,他的最新研究成果是用于多維分類的貝葉斯鏈分類器。
概率圖模型作為一種強大而成熟的不確定性推理技術已被廣泛接受。與早期專家系統中采用的一些特殊方法不同,PGM基于圖和概率論的強大數學基礎。它們可用于廣泛的推理任務,包括預測、監測、診斷、風險評估和決策。在開源軟件和商業軟件中有許多有效的推理和學習算法。此外,它們的力量和功效已通過其成功應用于大量現實世界的問題領域而得到證明。Enrique Sucar是PGM作為實用和有用技術建立的主要貢獻者,他的工作跨越了廣泛的應用領域。這些領域包括醫學、康復和護理、機器人和視覺、教育、可靠性分析以及從石油生產到發電廠的工業應用。
近年來,機器學習取得了顯著進展,提供了一些新功能,比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品,如基于圖像內容的圖像搜索、多種語言之間的自動翻譯,甚至是真實圖像和聲音的合成。同時,機器學習已經在企業中被廣泛采用,用于經典的用例(例如,預測客戶流失、貸款違約和制造設備故障)。
在機器學習取得成功的地方,它是非常成功的。
在許多情況下,這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說,有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果,并且我們有很多這個結果的例子,以及與它相關的特征時,我們可能會轉向監督學習。
隨著機器學習的普及,它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額,預測制造設備故障,以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時,更多(和更好)的可解釋性方法已經被開發出來,這是非常重要的。
然而,僅僅基于預測的推理有一些基本的限制。例如,如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答,因為它們涉及到客戶選擇的可能變化,作為對信用限額變化的反應。在很多情況下,我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的,純粹相關的預測系統不具備在這種干預下進行推理的能力,因此容易產生偏差。對于干預下的數據決策,我們需要因果關系。
即使對于純粹的預測系統(這是監督學習的強項),應用一些因果思維也會帶來好處。根據因果關系的定義,它們是不變的,這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說,這是一個非常理想的特性,在機器學習系統中,我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。
因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。
本書介紹了因果推理,因為它涉及很多數據科學和機器學習工作。我們引入因果圖,著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法,它給高維問題帶來了因果圖的一些好處。通過附帶的原型,我們展示了即使是經典的機器學習問題,如圖像分類,也可以從因果推理工具中受益。
有幾個主要的主題貫穿全書。這些主題主要是對兩個不同類別的比較。當你閱讀的時候,很重要的一點是你要明白書的不同部分適合什么類別,不適合什么類別。
統計與因果。即使有無限多的數據,我們有時也無法計算一些因果量。相比之下,很多統計是關于在有限樣本中解決不確定性的。當給定無限數據時,沒有不確定性。然而,關聯,一個統計概念,不是因果關系。在因果推理方面還有更多的工作要做,即使在開始使用無限數據之后也是如此。這是激發因果推理的主要區別。我們在這一章已經做了這樣的區分,并將在整本書中繼續做這樣的區分。
識別與評估。因果效應的識別是因果推論所獨有的。這是一個有待解決的問題,即使我們有無限的數據。然而,因果推理也與傳統統計和機器學習共享估計。我們將主要從識別因果效應(在第2章中,4和6)之前估計因果效應(第7章)。例外是2.5節和節4.6.2,我們進行完整的例子估計給你的整個過程是什么樣子。
介入與觀察。如果我們能進行干預/實驗,因果效應的識別就相對容易了。這很簡單,因為我們可以采取我們想要衡量因果效應的行動,并簡單地衡量我們采取行動后的效果。觀測數據變得更加復雜,因為數據中幾乎總是引入混雜。
假設。將會有一個很大的焦點是我們用什么假設來得到我們得到的結果。每個假設都有自己的框來幫助人們注意到它。清晰的假設應該使我們很容易看到對給定的因果分析或因果模型的批評。他們希望,清晰地提出假設將導致對因果關系的更清晰的討論。
這本受歡迎的教科書的第一版,當代人工智能,提供了一個學生友好的人工智能介紹。這一版完全修訂和擴大更新,人工智能: 介紹機器學習,第二版,保留相同的可訪問性和解決問題的方法,同時提供新的材料和方法。
該書分為五個部分,重點介紹了人工智能中最有用的技術。書的第一部分涵蓋了基于邏輯的方法,而第二部分著重于基于概率的方法。第三部分是涌現智能的特點,探討了基于群體智能的進化計算和方法。接下來的最新部分將提供神經網絡和深度學習的詳細概述。書的最后一部分著重于自然語言的理解。
適合本科生和剛畢業的研究生,本課程測試教材為學生和其他讀者提供關鍵的人工智能方法和算法,以解決具有挑戰性的問題,涉及系統的智能行為在專門領域,如醫療和軟件診斷,金融決策,語音和文本識別,遺傳分析等。
深度學習在許多領域已經取得了顯著的成果。現在它在科學領域掀起了波瀾尤其是在生命科學領域。這本實用的書教導了開發人員和科學家如何將深度學習用于基因組學、化學、生物物理學、顯微學、醫學分析和其他領域。
理想的實踐開發人員和科學家準備將他們的技能應用于科學應用,如生物學,遺傳學,和藥物的發現,這本書介紹了幾個深度網絡原語。您將跟隨一個案例研究,研究如何設計將物理、化學、生物學和醫學結合在一起的新療法——這個例子代表了科學界最大的挑戰之一。
學習在分子數據上執行機器學習的基礎知識
對因果推理的簡明和自成體系的介紹,在數據科學和機器學習中越來越重要。
因果關系的數學化是一個相對較新的發展,在數據科學和機器學習中變得越來越重要。這本書提供了一個獨立的和簡明的介紹因果模型和如何學習他們的數據。在解釋因果模型的必要性,討論潛在的因果推論的一些原則,這本書教讀者如何使用因果模型:如何計算干預分布,如何從觀測推斷因果模型和介入的數據,和如何利用因果思想經典的機器學習問題。所有這些主題都將首先以兩個變量的形式進行討論,然后在更一般的多元情況下進行討論。對于因果學習來說,二元情況是一個特別困難的問題,因為經典方法中用于解決多元情況的條件獨立不存在。作者認為分析因果之間的統計不對稱是非常有意義的,他們報告了他們對這個問題十年來的深入研究。
本書對具有機器學習或統計學背景的讀者開放,可用于研究生課程或作為研究人員的參考。文本包括可以復制和粘貼的代碼片段、練習和附錄,其中包括最重要的技術概念摘要。
首先,本書主要研究因果關系推理子問題,這可能被認為是最基本和最不現實的。這是一個因果問題,需要分析的系統只包含兩個可觀測值。在過去十年中,作者對這個問題進行了較為詳細的研究。本書整理這方面的大部分工作,并試圖將其嵌入到作者認為對研究因果關系推理問題的選擇性至關重要的更大背景中。盡管先研究二元(bivariate)案例可能有指導意義,但按照章節順序,也可以直接開始閱讀多元(multivariate)章節;見圖一。
第二,本書提出的解決方法來源于機器學習和計算統計領域的技術。作者對其中的方法如何有助于因果結構的推斷更感興趣,以及因果推理是否能告訴我們應該如何進行機器學習。事實上,如果我們不把概率分布描述的隨機實驗作為出發點,而是考慮分布背后的因果結構,機器學習的一些最深刻的開放性問題就能得到最好的理解。