專家系統是最早的人工智能系統。在早期的智能系統研究中,人們希望用專家系統 來模擬和代替某些領域的人類專家。通過將領域知識組織成形式化的知識庫模型,專家 系統能夠利用基本的邏輯推導規則,對知識庫中的知識進行推理,形成新的知識,從而 模擬人類專家推理和決策的過程。專家系統的推理機制具有很好的可解釋性,在很長段時間里是智能系統的主流形式,給后續的智能模型和系統帶來了很多啟示。
但是,專家系統并不是基于統計理論從經驗數據中進行學習的機器學習方法。實際 上,在構建專家系統的過程中,提取知識是需要工程人員和領域專家人工介入的,知識 庫則是人工制定的規則系統。因此,專家系統可以說是種“人工”學習方法,恰好處 于機器學習的對立面。然而,從專家系統中我們可以看到人們如何從人工制定的規則系 統開始,轉向了基于統計的機器學習方法。
科學用實驗來驗證關于世界的假設。統計學提供了量化這一過程的工具,并提供了將數據(實驗)與概率模型(假設)聯系起來的方法。因為世界是復雜的,我們需要復雜的模型和復雜的數據,因此需要多元統計和機器學習。具體來說,多元統計(與單變量統計相反)涉及隨機向量和隨機矩陣的方法和模型,而不僅僅是隨機單變量(標量)變量。因此,在多元統計中,我們經常使用矩陣表示法。與多元統計(傳統統計學的一個分支)密切相關的是機器學習(ML),它傳統上是計算機科學的一個分支。過去機器學習主要集中在算法上,而不是概率建模,但現在大多數機器學習方法都完全基于統計多元方法,因此這兩個領域正在收斂。多變量模型提供了一種方法來學習隨機變量組成部分之間的依賴關系和相互作用,這反過來使我們能夠得出有關興趣的潛在機制的結論(如生物或醫學)。
兩個主要任務: 無監督學習(尋找結構,聚類) 監督學習(從標記數據進行訓練,然后進行預測)
挑戰: 模型的復雜性需要適合問題和可用數據, 高維使估計和推斷困難 計算問題。
這本書的目的是講述當今世界各地研究人員使用的統計學的故事。這是一個不同的故事,在大多數介紹性的統計書籍,重點教如何使用一套工具,以實現非常具體的目標。這本書的重點在于理解統計思維的基本思想——一種關于我們如何描述世界、如何使用數據做出決定和預測的系統思維方式,所有這些都存在于現實世界的內在不確定性的背景下。它還帶來了當前的方法,這些方法只有在過去幾十年中計算能力的驚人增長才變得可行。在20世紀50年代需要數年時間才能完成的分析,現在在一臺標準的筆記本電腦上只需幾秒鐘就能完成,這種能力釋放了利用計算機模擬以新的、強大的方式提出問題的能力。
這本書也是在2010年以來席卷了許多科學領域的再現危機之后寫成的。這場危機的一個重要根源在于,研究人員一直在使用(和濫用)統計假設檢驗(我將在本書的最后一章詳細說明),這直接與統計教育有關。因此,本書的目標是突出當前統計方法可能存在的問題,并提出替代方案。
在過去的十年里,人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說,這些領域旨在“學習一些有用的東西”,了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段,類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述,但許多都有,它是圖模型的框架(圖和概率論的結合),使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上,現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然,沒有人說這種方法是正確的,也沒有人說這是唯一有用的方法。事實上,有人可能會反駁說,這是沒有必要的,因為“生物有機體不使用概率論”。無論情況是否如此,不可否認的是,圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚,貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。
//www0.cs.ucl.ac.uk/staff/d.barber/brml/
本書結構
本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練,這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時,我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是,計算機科學的學生熟悉的概念,算法為核心。然而,在機器學習中更常見的做法是將模型視為核心,而如何實現則是次要的。從這個角度來看,理解如何將一個數學模型轉換成一段計算機代碼是核心。
第二部分介紹了理解連續分布所需的統計背景,以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然,當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時,他們會感到驚訝。統計學和機器學習之間的一個不同觀點是,我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器),而不是某些技術。因此,我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式,這有助于強調模型是什么,而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術,包括隨機(蒙特卡羅)和確定性(變分)技術。
近年來,機器學習取得了顯著進展,提供了一些新功能,比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品,如基于圖像內容的圖像搜索、多種語言之間的自動翻譯,甚至是真實圖像和聲音的合成。同時,機器學習已經在企業中被廣泛采用,用于經典的用例(例如,預測客戶流失、貸款違約和制造設備故障)。
在機器學習取得成功的地方,它是非常成功的。
在許多情況下,這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說,有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果,并且我們有很多這個結果的例子,以及與它相關的特征時,我們可能會轉向監督學習。
隨著機器學習的普及,它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額,預測制造設備故障,以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時,更多(和更好)的可解釋性方法已經被開發出來,這是非常重要的。
然而,僅僅基于預測的推理有一些基本的限制。例如,如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答,因為它們涉及到客戶選擇的可能變化,作為對信用限額變化的反應。在很多情況下,我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的,純粹相關的預測系統不具備在這種干預下進行推理的能力,因此容易產生偏差。對于干預下的數據決策,我們需要因果關系。
即使對于純粹的預測系統(這是監督學習的強項),應用一些因果思維也會帶來好處。根據因果關系的定義,它們是不變的,這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說,這是一個非常理想的特性,在機器學習系統中,我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。
因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。
本書介紹了因果推理,因為它涉及很多數據科學和機器學習工作。我們引入因果圖,著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法,它給高維問題帶來了因果圖的一些好處。通過附帶的原型,我們展示了即使是經典的機器學習問題,如圖像分類,也可以從因果推理工具中受益。
終身機器學習(LL)是一種先進的機器學習(ML)范式,它不斷學習,積累過去學到的知識,并使用/適應它來幫助未來的學習和問題解決。在這個過程中,學習者變得越來越有知識,學習能力也越來越強。這種持續不斷的學習能力是人類智力的特征之一。然而,目前占主導地位的ML范式是孤立學習的:給定一個訓練數據集,它只在數據集上運行ML算法來生成模型。它不試圖保留所學的知識,并在以后的學習中使用。雖然這種主要基于數據驅動優化的孤立ML范式已經非常成功,但它需要大量的訓練示例,并且只適用于封閉環境中定義明確的狹窄任務。相比之下,我們人類學習有效地與幾個例子,在動態和開放的世界self-supervised方式或環境因為我們的學習也非常知識:知識學習在過去幫助我們學習新事物沒有數據或努力和適應新的/看不見的情況下。這種自我至上(或自我意識)的學習也使我們能夠在工作中,在與他人的互動中,在沒有外部監督的情況下,與現實世界的環境進行學習。LL的目標是實現所有這些能力。諸如聊天機器人、無人駕駛汽車或任何與人類/物理環境交互的人工智能系統都需要這些功能,因為它們需要應對動態和開放的環境,這讓它們別無選擇,只能不斷學習新東西,以便更好地工作。如果沒有LL能力,AI系統就不能被認為是真正智能的,也就是說,LL是智能或AGI(人工一般智能)所必需的。(見我的終身學習研究頁面)。
這篇書冊以技術型的方式介紹了神經網絡結構的三種最常見形式:前饋、卷積和循環。對于每個網絡,它們的基本構建模塊都有詳細說明。然后,完整地推導出反向傳播算法的前向傳遞和更新規則。
知識表示和推理是人工智能挑戰的核心: 要充分理解智能和認知的本質,使計算機能夠表現出類似人類的能力。早在1958年,約翰·麥卡錫(John McCarthy)就考慮過可以運用常識的人工智能系統。從這些早期工作中,研究人員確信(人工)智能可以被形式化為具有明確知識表征的符號推理,而研究的核心挑戰是弄清楚如何在計算機中表示知識,并使用它的算法來解決問題。
多年以后,這本書調研了構成知識表示和推理領域的大量科學和工程見解。在三個方面取得了進展。首先,研究人員探索了知識表示和推理的一般方法,解決了跨越應用領域的基本問題。其次,研究人員開發了專門的知識表示和推理方法來處理核心領域,如時間、空間、因果關系和行動。第三,研究人員處理了知識表示和推理的重要應用,包括查詢回答、規劃和語義網。因此,本書分為三個部分來涵蓋這些主題。
//www.elsevier.com/books/handbook-of-knowledge-representation/van-harmelen/978-0-444-52211-5
第一部分主要介紹人工智能系統中表示知識的一般方法。它從經典邏輯和定理證明的背景開始,然后轉向擴展經典邏輯的新方法——例如,處理定性的或不確定的信息——并改進其計算可處理性。
第二部分探討了用知識的一些核心領域(包括時間、空間、因果關系和行動)來表示和推理的特殊挑戰。這些挑戰在應用程序領域中普遍存在,因此解決方案必須是通用的和可組合的。
第三部分介紹了知識表示和推理的重要應用。應用領域涵蓋了人工智能的廣度,包括問題回答、語義網、計劃、機器人和多智能體系統。每一項應用都廣泛借鑒了第一部分和第二部分中所述的研究結果。
此外,這25章,組織在三個部分“一般方法”,“專門的表示和“應用”,提供了一個獨特的調研,最好的知識表示已經取得,由幫助塑造領域的研究人員寫。我們希望學生,研究人員和從業者在所有領域的人工智能和認知科學將發現這本書是一個有用的資源。
書名: Hands-On Machine Learning with Scikit-Learn and TensorFlow
主要內容:
這本書分為兩個部分。
第一部分,機器學習的基礎知識,涵蓋以下主題:
第二部分,神經網絡和深度學習,包括以下主題:
第一部分主要基于 scikit-learn ,而第二部分則使用 TensorFlow 。 注意:不要太急于深入學習到核心知識:深度學習無疑是機器學習中最令人興奮的領域之 一,但是你應該首先掌握基礎知識。而且,大多數問題可以用較簡單的技術很好地解決(而 不需要深度學習),比如隨機森林和集成方法(我們會在第一部分進行討論)。如果你擁有 足夠的數據,計算能力和耐心,深度學習是最適合復雜的問題的,如圖像識別,語音識別或 自然語言處理。