過去幾十年見證了先進技術的快速發展和應用,導致了第四次工業革命。近年來,信息和通信技術的發展促使工業過程中加入智能,以推動持續改進、知識遷移和基于數據的決策。物聯網(IoT)是用于使工業組織快速自動化和數字化傳統業務流程的主要技術之一。收集的大量數據可以提供人工智能(AI)、大數據分析(Big data Analytics)和決策支持系統(Decision Support Systems, DSS)提供的實時分析解決方案,從而實現最優的工業運營。基于物聯網的現代技術,工業過程各個階段的數據收集、轉換和存儲過程變得更加簡單和高效,推動了大數據時代的到來。人工智能算法為開發物聯網中產生的豐富數據提供了強大的工具。通過從大數據中提取有用的信息和特征,人工智能算法可以智能高效地執行監控和優化生產過程等復雜任務。為了將人類的知識與上述結果相結合,將決策支持系統集成在一起,幫助管理者在工作中做出更好的決策。
在大數據時代,DSS對組織來說已經變得至關重要。機器學習是人工智能的一個子領域,是處理和分析大數據的一個有用的方法,與數據指令和人類驅動分析相結合的DSS。DSS應用程序可用于大量不同的領域,如進行操作決策、醫療診斷和預測性維護。關于決策支持系統的開發和應用,文獻中有大量的研究。在這本書中,章節以這樣一種方式提出,以探索機器學習和決策支持系統的概率圖模型的每一個重要方面。本書介紹了DSS的最新研究進展、新方法和技術,以及機器學習和概率圖模型的應用,這是從大數據中有效提取知識和解釋決策的非常強大的技術。本書致力于促進科學交流,思想和經驗在DSS應用領域。研究人員和從業人員都將受益于這本書,以提高對機器學習、概率圖模型的理解,特別是他們在不確定性決策環境下的DSS中的使用。在各個領域的真實案例研究與指導和這些研究的實際應用的建議,介紹在每一章。討論目前的研究、趨勢、未來的方向、機會等,使其適合初學者和年輕的研究人員。
**機器學習和數據科學, **由一組在該領域的專家撰寫和編輯,這份論文集合反映了機器學習和數據科學的最新和全面的現狀,適用于工業、政府和學術界。
機器學習(ML)和數據科學(DS)是非常活躍的課題,在理論和應用方面都具有廣泛的應用范圍。它們已經成為一個重要的新興科學領域和范式,推動了統計、計算科學和智能科學等學科的研究演變,以及科學、工程、公共部門、商業、社會科學和生活方式等領域的實踐轉型。同時,它們的應用提供了一些重要的挑戰,這些挑戰通常只能通過創新的機器學習和數據科學算法來解決。
這些算法涵蓋了人工智能、數據分析、機器學習、模式識別、自然語言理解和大數據操作等更廣泛的領域。他們還解決了相關的新的科學挑戰,從數據捕獲、創建、存儲、檢索、共享、分析、優化和可視化,到跨異構和相互依賴的復雜資源的集成分析,以更好的決策、協作,并最終創造價值。
聯邦學習:方法和應用的全面概述為研究人員和實踐者提出了聯邦學習最重要的問題和方法的深入討論。
聯邦學習(FL)是一種機器學習方法,其中訓練數據不是集中管理的。數據由參與FL進程的數據方保留,不與任何其他實體共享。這使得FL成為機器學習任務中越來越受歡迎的解決方案,對于這些任務,將數據集中在一個集中存儲庫中是有問題的,無論是出于隱私、監管還是實際原因。
這本書解釋了最近的研究進展和聯邦學習(FL)的最先進的發展,從領域的最初概念到第一個應用和商業使用。為了獲得這一廣泛和深入的概述,領先的研究人員解決了聯邦學習的不同視角:核心機器學習視角、隱私和安全、分布式系統和特定的應用領域。讀者將了解這些領域面臨的挑戰,它們是如何相互聯系的,以及如何用最先進的方法解決它們。
在前言中概述了聯邦學習的基礎知識之后,在接下來的24章中,讀者將深入探討各種主題。第一部分解決了以聯合方式解決不同機器學習任務的算法問題,以及如何高效、大規模和公平地訓練。另一部分重點關注如何以一種可針對特定用例定制的方式選擇隱私和安全解決方案,而另一部分則考慮運行聯邦學習過程的系統的實用主義。本書還介紹了聯邦學習的其他重要用例,如分離學習和垂直聯邦學習。最后,本書包括了一些章節,重點介紹了FL在真實企業環境中的應用。
//link.springer.com/book/10.1007/978-3-030-96896-0
科學用實驗來驗證關于世界的假設。統計學提供了量化這一過程的工具,并提供了將數據(實驗)與概率模型(假設)聯系起來的方法。因為世界是復雜的,我們需要復雜的模型和復雜的數據,因此需要多元統計和機器學習。具體來說,多元統計(與單變量統計相反)涉及隨機向量和隨機矩陣的方法和模型,而不僅僅是隨機單變量(標量)變量。因此,在多元統計中,我們經常使用矩陣表示法。與多元統計(傳統統計學的一個分支)密切相關的是機器學習(ML),它傳統上是計算機科學的一個分支。過去機器學習主要集中在算法上,而不是概率建模,但現在大多數機器學習方法都完全基于統計多元方法,因此這兩個領域正在收斂。多變量模型提供了一種方法來學習隨機變量組成部分之間的依賴關系和相互作用,這反過來使我們能夠得出有關興趣的潛在機制的結論(如生物或醫學)。
兩個主要任務: 無監督學習(尋找結構,聚類) 監督學習(從標記數據進行訓練,然后進行預測)
挑戰: 模型的復雜性需要適合問題和可用數據, 高維使估計和推斷困難 計算問題。
這本書的目的是講述當今世界各地研究人員使用的統計學的故事。這是一個不同的故事,在大多數介紹性的統計書籍,重點教如何使用一套工具,以實現非常具體的目標。這本書的重點在于理解統計思維的基本思想——一種關于我們如何描述世界、如何使用數據做出決定和預測的系統思維方式,所有這些都存在于現實世界的內在不確定性的背景下。它還帶來了當前的方法,這些方法只有在過去幾十年中計算能力的驚人增長才變得可行。在20世紀50年代需要數年時間才能完成的分析,現在在一臺標準的筆記本電腦上只需幾秒鐘就能完成,這種能力釋放了利用計算機模擬以新的、強大的方式提出問題的能力。
這本書也是在2010年以來席卷了許多科學領域的再現危機之后寫成的。這場危機的一個重要根源在于,研究人員一直在使用(和濫用)統計假設檢驗(我將在本書的最后一章詳細說明),這直接與統計教育有關。因此,本書的目標是突出當前統計方法可能存在的問題,并提出替代方案。
這新版本的教科書/參考提供了從工程的角度對概率圖模型(PGMs)的介紹。它提供了關于馬爾科夫決策過程、圖模型和深度學習的新材料,以及更多的練習。
這本書涵蓋了PGM的每個主要類的基礎知識,包括表示、推理和學習原理,并回顧了每種類型的模型的實際應用。這些應用來自廣泛的學科,突出了貝葉斯分類器、隱藏馬爾可夫模型、貝葉斯網絡、動態和時間貝葉斯網絡、馬爾可夫隨機場、影響圖和馬爾可夫決策過程的許多使用。
概率圖模型(PGMs)及其在不確定性下進行智能推理的應用出現于20世紀80年代的統計和人工智能推理領域。人工智能的不確定性(UAI)會議成為這一蓬勃發展的研究領域的首要論壇。20歲的時候,我在圣何塞的UAI-92大學第一次見到了恩里克·蘇卡——我們都是研究生——在那里,他展示了他關于高層次視覺推理的關系和時間模型的研究成果。在過去的25年里,Enrique對我們的領域做出了令人印象深刻的研究貢獻,從客觀概率的基礎工作,到開發時態和事件貝葉斯網絡等高級形式的PGMS,再到PGMS的學習,例如,他的最新研究成果是用于多維分類的貝葉斯鏈分類器。
概率圖模型作為一種強大而成熟的不確定性推理技術已被廣泛接受。與早期專家系統中采用的一些特殊方法不同,PGM基于圖和概率論的強大數學基礎。它們可用于廣泛的推理任務,包括預測、監測、診斷、風險評估和決策。在開源軟件和商業軟件中有許多有效的推理和學習算法。此外,它們的力量和功效已通過其成功應用于大量現實世界的問題領域而得到證明。Enrique Sucar是PGM作為實用和有用技術建立的主要貢獻者,他的工作跨越了廣泛的應用領域。這些領域包括醫學、康復和護理、機器人和視覺、教育、可靠性分析以及從石油生產到發電廠的工業應用。
這本書是關于運用機器和深度學習來解決石油和天然氣行業的一些挑戰。這本書開篇簡要討論石油和天然氣勘探和生產生命周期中不同階段的數據流工業操作。這導致了對一些有趣問題的調查,這些問題很適合應用機器和深度學習方法。最初的章節提供了Python編程語言的基礎知識,該語言用于實現算法;接下來是監督和非監督機器學習概念的概述。作者提供了使用開源數據集的行業示例以及對算法的實際解釋,但沒有深入研究所使用算法的理論方面。石油和天然氣行業中的機器學習涵蓋了包括地球物理(地震解釋)、地質建模、油藏工程和生產工程在內的各種行業主題。
在本書中,重點在于提供一種實用的方法,提供用于實現機器的逐步解釋和代碼示例,以及用于解決油氣行業現實問題的深度學習算法。
你將學到什么
這本書是給誰的