如今,機器學習已廣泛應用于各個領域和眾多問題。在進行機器學習時,一個基本挑戰是將特定機器學習技術的抽象數學與具體、現實世界的問題相結合。本書通過基于模型的機器學習方法來解決這一挑戰。基于模型的機器學習專注于理解編碼假設以及其對系統行為影響的于現實情境中假設從算法所需詳細數學中分離出來,使得更容易理解。有關基于模型的機器學習是什么以及它如何幫助解決問題,請參閱名為“機器學習如何解決我的問題?”介紹章節獲取更多詳細信息。本書獨特之處在于不回顧算法或技術類別,而是通過案例研究介紹所有關鍵思想,并涉及到現實世界應用程序。案例研究在討論建模假設時起著核心作用,因為只有在應用程序上下文中才能有意義地討論它們。每個案例研究章節都介紹了一個現實世界應用,并使用基于模型的方法來解決該問題。此外,第一個教程章節探討了一個虛構謀殺謎團問題。
每一章也會介紹各種機器學習的概念,不是抽象的概念,而是根據應用需求而具體介紹的技術。您可以將這些概念視為構建模型的構件。盡管您將需要投入一些時間來完全理解這些概念,但您很快就會發現,可以從相對較少的構建塊構建各種各樣的模型。通過學習本書中的案例,你將了解這些組件是什么以及如何使用它們。目的是讓您充分了解基于模型的方法的威力和靈活性,以允許您解決機器學習問題。
本書適用于任何想要使用機器學習解決現實問題的技術人員,或者想要理解為什么現有的機器學習系統會這樣運行的技術人員。本書的重點是設計模型來解決實際案例研究中出現的問題。最后一章“如何閱讀模型”將使用基于模型的機器學習來理解現有的機器學習技術。一些更有數學頭腦的讀者會想了解模型如何變成可運行算法的細節。在本書中,我們將這些需要更高級數學知識的部分分成了更深入的部分。深潛部分被標記為如下圖所示的面板。這些部分是可選的——你可以在沒有它們的情況下閱讀本書。推理深入研究算法細節的技術部分將被標記為這樣。如果你只想專注于建模,可以跳過這些部分。
在快速演變的商業和技術領域,為了保持領先地位,我們需要復雜的決策工具。《復雜決策的進步:使用機器學習和面向服務計算的工具》是一本前沿的技術指南,探討了最新的決策技術進展。本書全面概述了機器學習算法,并探討了它們在面向服務框架中的復雜決策系統中的應用。 作者們也深入探討了面向服務的計算以及如何使用它來構建支持決策的復雜系統。本書中討論了許多真實世界的例子,為如何應用所討論的技術在各種領域提供了實際的見解,包括分布式計算、云計算、物聯網和其他在線平臺。
對于研究者、學生、數據科學家和技術實踐者,這本書深入探討了機器學習算法及其在面向服務計算中的應用的最新發展。本書探討了各種話題,包括模糊決策、ELICIT、OWA聚合、有向無環圖、RNN、LSTM、GRU、二型模糊決策、證據推理算法和健壯優化算法。對于任何對機器學習與服務計算在復雜決策系統中的交叉點感興趣的人來說,這本書都是必不可少的。
并行、并發和分布式計算(CPDC)越來越多地融入到幾乎所有的計算機使用環節中。僅僅具備傳統順序編程的能力對于任何級別的程序員來說已經不夠了。甚至初級程序員也需要能做更多的事情。本書討論了并行性的實踐探索,目標讀者是沒有或只有最基礎編程經驗的學生的教師。實踐活動是在Scratch編程語言中開發的。Scratch在各種高等教育機構被用作專業和非專業的第一語言。Scratch的一個優點是,編程是通過拖拽和連接塊來完成的,因此學生可以非常快速地創建有趣的程序。這對于無先決條件的方法來說是至關重要的。隨著大量數據的可用性和同時使用互聯網的人數的持續增加,“并行”進行計算活動也變得越來越重要,這也被稱為并發。并行和分布式計算的概念適用于計算機科學領域的許多子領域。這些子領域包括算法、計算機架構、網絡、操作系統和軟件工程。在21世紀初,多處理器的設計以及其他使復雜程序運行得更快的策略的發展如雨后春筍。并發、互斥、狀態和內存操作的一致性、消息傳輸和共享內存模型構成了并行和分布式計算的基礎。本書包含多個小例子、演示材料和樣本練習,教師可以用它們來教授剛剛接觸基礎編程概念的學生并行編程概念。更具體地說,它解決了Python多處理特性,如fork/join線程、消息傳遞、線程間共享資源和使用鎖。并行性的應用示例來自搜索、排序、模擬和圖像處理等應用領域。這本書總共分為八個不同的章節。第一章為讀者深入介紹了計算模型。并行、并發和分布式計算的發展是第二章的討論主題。第三章詳細討論了并發計算的概念。在第四章中,讀者會全面了解并行計算的概念。分布式計算模型是第五章的主要討論話題。第六章闡述了并發計算、并行計算和分布式計算的應用。在第七章中,討論了計算模型的最新進展。在最后一章,“并發、并行和分布式計算”,我們討論了這三種計算的前景。這本書很好地概述了計算機領域的許多不同方面。書中的材料以一種即使是沒有計算機知識的讀者也能理解并熟悉涉及的基本思想的方式呈現。
深度學習是人工智能的重要組成部分,特別是在圖像分類等應用中,各種神經網絡架構(例如,卷積神經網絡)已經產生了可靠的結果。這本書介紹了用于時間序列分析的深度學習,特別是對于周期性時間序列。它詳細闡述了在其架構深層次進行時間序列分析所采用的方法。周期性時間序列通常具有可以用于更好的分類性能的特殊特征。本書對此進行了討論。處理周期性時間序列也在本書中有所覆蓋。分類隨機時間序列的一個重要因素是與分類方法架構相關的結構風險。本書解決并構建了結構風險,以及為分類方法定義的學習能力。這些公式和數學推導將幫助研究者理解方法,并以客觀的數學方式表達他們的方法。本書設計成為具有不同機器學習背景和理解水平的讀者(包括學生,工程師,研究者和這個領域的科學家)的自學教材。書中提供的大量信息豐富的插圖將引導讀者對時間序列分析的深度學習方法有深入的理解。
大部分科學研究,包括計算機科學,都將學習視為發展的重要元素,其中深度機器學習最近被視為一個新興的領域。深度機器學習方法的應用在過去的五年中受到了研究人員和工程師的熱烈歡迎,當時時間序列分析在生物醫學工程等不同的領域中越來越被視為一個重要的主題。盡管強大的深度學習方法的實施工具的發展在計算機科學和工程領域創造了突破,但是,向這個領域內的抽象理解的轉變明顯可見,尤其在年輕的開發人員中。這可能會在深度學習的一般觀念上留下負面的印象,反過來又會被視為這種進步的缺點。如今,各種深度學習方法被大量開發并發布在高度知名的參考資料中,然而,只有極少數的方法包含足夠的質量,能對相關社區產生真正的影響。原因之一可能是對理論基礎以及實施知識的深入了解不足。這促使作者準備了一本關于深度學習方法的教科書,專為時間序列分析設計,以提出該領域的基本概念以及實施的算法。
這本書專注于一般學習過程,尤其是深度學習的深層概念,更多地關注傳統方法和現代時間序列分析的基本要素。盡管圖像處理被認為是深度學習的重要主題,但作者們決定將此主題從本書中排除,將其分配給未來的單獨出版物。得出這個結論的主要理由是為了避免過多的多樣性和失去核心關注。本書從基本定義和推測平穩過渡到方法構建。書的內容以一種能夠培養和鞏固時間序列分析基本要素的方式進行了教學組織。這種表示方式旨在擴大讀者從科學到工程方面的視野。書中也考慮引出了一些深度學習方法在時間序列分析中的實際示例,隨著生物醫學工程和醫學信息學應用的興起。同時,本書以數學的方式表示深度學習方法,以幫助研究者和開發者以數學方式構建他們自己的方法。顯然,新方法的數學表示相比描述性表示有更好的可讀性。可以看出,新學生更傾向于使用塊狀圖和描述性方法來學習深度學習的概念。沉迷于這種學習方式可能會使他們在數學表示的基本能力上產生誤導,這可能對學習深度學習方法起到退化的作用。此外,在許多情況下都沒有看到一致的圖形表示。這本書也介紹了人工智能中的一些新想法。引入了A-Test驗證方法,并與其他傳統方法進行了比較。讀者可以輕松找到這種方法在提供與其他兩種替代方案相比更為現實的驗證中的詳細闡述。在學習模型方面,周期性時間序列和周期性學習是本書提出的另外兩個新概念,也引入了一些學習方法,如時間增長神經網絡,用于學習周期性時間序列。本書未涉及時間序列分析的生成模型。這些模型很適合納入預測類別,這被視為未來工作的一部分。
這本書涵蓋了凸優化的介紹,凸優化是一種強大且易處理的優化問題,可以在計算機上高效求解。本書的目標是幫助讀者了解凸優化是什么以及如何在不斷擴大的實際應用場景中使用,特別強調在機器學習領域的應用。本書的第一部分涵蓋了凸集、凸函數和相關基本定義,這些概念有助于理解凸優化及其相應的模型。第二部分講述了一個非常有用的理論——對偶性,它使我們能夠:(1)獲得算法洞察;(2)為通常難以解決的非凸優化問題獲得近似解。最后一部分關注機器學習和深度學習的現代應用。這本書的一個特點是,它簡潔地講述了凸優化如何通過歷史示例和當前機器學習應用發揮作用的“故事”。另一個關鍵特點是,它包括了基于優化基礎原理啟發的各種機器學習算法的編程實現,以及所使用編程工具的簡要教程。實現基于Python,CVXPY和TensorFlow。本書并未遵循傳統教科書式的組織結構,而是通過一系列緊密相關的講義進行簡化,圍繞連貫的主題和概念展開。本書主要作為高年級本科生課程教材,同時也適用于一年級研究生課程。讀者需要具備良好的線性代數背景,一定程度的概率知識和對Python的基本熟悉。本書由三部分組成。在第一部分中,我們將學習基本概念和幾個數學定義,以便理解什么是凸優化,以及如何將感興趣的問題轉化為凸問題。然后,我們將探索凸優化問題的五個實例:LP、最小二乘、QP、SOCP和SDP。我們將專注于識別(和轉換)這類問題的技術。我們還將研究一些用于解決這些問題的著名算法。在第二部分中,我們將研究最優化領域中的一個關鍵理論,稱為對偶性。二元性有兩種類型:(1)強二元性;(2)弱對偶性。強對偶性對于獲得凸問題的算法見解是非常有用的。福利對偶性通過提供近似解來幫助處理困難的非凸問題。在最后的第三部分,我們將探討機器學習的應用:(1)監督學習,最流行的機器學習方法之一;(ii)生成對抗網絡(GANs),無監督學習的突破性模型之一;(iii)公平分類器,這是機器學習中的熱門話題之一。
這本教材旨在從數學的角度指出數據分析的最重要的原則。具體來說,它選擇了這些問題進行探索:哪些是理解應用的含義所必需的原則,哪些是理解所使用的方法成功的條件所必需的?理論只在適當應用的必要程度上呈現,力求在過度復雜和過度簡化之間取得平衡。它的主要重點是應用成功的關鍵原則。主題及特點:
雖然這本核心教材直接針對計算機科學和/或數據科學的學生,但它也將對該領域的研究人員具有真正的吸引力,他們希望獲得“超越”唯一計算經驗的數學基礎的正確理解。
//link.springer.com/book/10.1007/978-3-031-19074-2
本書為表示提供了簡明而全面的指南,這是機器學習(ML)的核心。最先進的實際應用涉及許多高維數據分析的挑戰。不幸的是,許多流行的機器學習算法在面對龐大的基礎數據時,在理論和實踐中都無法執行。本書恰當地介紹了這個問題的解決方案。 此外,這本書涵蓋了廣泛的表示技術,對學者和ML從業者都很重要,如局部敏感哈希(LSH),距離度量和分數范數,主成分(PCs),隨機投影和自動編碼器。書中提供了幾個實驗結果來證明所討論技術的有效性。 本書討論了機器學習(ML)中最重要的表示問題。在使用機器從數據中學習類/聚類抽象時,以適合有效和高效機器學習的形式表示數據是很重要的。在本書中,我們建議涵蓋各種在理論和實踐中都很重要的表示技術。在當前興趣的實際應用中,數據通常是高維的。這些應用包括圖像分類、信息檢索、人工智能中的問題解決、生物和化學結構分析以及社會網絡分析。這種高維數據分析的一個主要問題是,大多數流行的工具,如k近鄰分類器、決策樹分類器,以及一些依賴于模式間距離計算的聚類算法都不能很好地工作。因此,在低維空間中表示數據是不可避免的。 常用的降維技術有以下幾種:
機器學習的現實應用通常具有復雜的目標和安全關鍵約束。當代的機器學習系統擅長于在具有簡單程序指定目標的任務中實現高平均性能,但它們在許多要求更高的現實世界任務中很困難。本文致力于開發可信的機器學習系統,理解人類的價值觀并可靠地優化它們。
機器學習的關鍵觀點是,學習一個算法通常比直接寫下來更容易,然而許多機器學習系統仍然有一個硬編碼的、程序指定的目標。獎勵學習領域將這種見解應用于學習目標本身。由于獎勵函數和目標之間存在多對一的映射,我們首先引入由指定相同目標的獎勵函數組成的等價類的概念。
在論文的第一部分,我們將等價類的概念應用于三種不同的情形。首先,我們研究了獎勵函數的可識別性:哪些獎勵函數集與數據兼容?我們首先對誘導相同數據的獎勵函數的等價類進行分類。通過與上述最優策略等價類進行比較,我們可以確定給定數據源是否提供了足夠的信息來恢復最優策略。
其次,我們解決了兩個獎勵函數等價類是相似還是不同的基本問題。我們在這些等價類上引入了一個距離度量,即等價策略不變比較(EPIC),并表明即使在不同的過渡動態下,低EPIC距離的獎勵也會誘導具有相似回報的策略。最后,我們介紹了獎勵函數等價類的可解釋性方法。該方法從等價類中選擇最容易理解的代表函數,然后將代表函數可視化。
在論文的第二部分,我們研究了模型的對抗魯棒性問題。本文首先介紹了一個物理上現實的威脅模型,包括在多智能體環境中行動的對抗性策略,以創建對防御者具有對抗性的自然觀察。用深度強化學習訓練對手,對抗一個凍結的最先進的防御者,該防御者通過自訓練,以對對手強大。這種攻擊可以可靠地戰勝最先進的模擬機器人RL智能體和超人圍棋程序。
最后,研究了提高智能體魯棒性的方法。對抗性訓練是無效的,而基于群體的訓練作為一種部分防御提供了希望:它不能阻止攻擊,但確實增加了攻擊者的計算負擔。使用顯式規劃也有幫助,因為我們發現具有大量搜索的防御者更難利用。
。
強大的統計模型可以從大量數據中有效地學習,目前正在徹底改變計算機視覺。這些模型具有豐富的內部結構,反映了特定于任務的關系和約束。本教程向讀者介紹計算機視覺中最流行的結構化模型類。我們的重點是離散無向圖模型,我們詳細介紹了概率推理和最大后驗推理的算法。我們分別討論了最近在一般結構化模型中成功的預測技術。在本教程的第二部分中,我們將描述參數學習的方法,其中我們將經典的基于最大似然的方法與最新的基于預測的參數學習方法區分開來。我們著重介紹了增強當前模型的發展,并討論了核化模型和潛變量模型。為了使教程具有實用性并提供進一步研究的鏈接,我們提供了計算機視覺文獻中許多方法的成功應用實例。 //www.nowozin.net/sebastian/papers/nowozin2011structured-tutorial.pdf
這本書將理論計算機科學和機器學習連接起來,探索雙方可以相互促進什么。它強調需要靈活、易于處理的模型,以便更好地捕捉機器學習的難點。理論計算機科學家將介紹機器學習的重要模型和該領域的主要問題。機器學習研究人員將以一種可訪問的格式介紹前沿研究,并熟悉現代算法工具包,包括矩的方法,張量分解和凸規劃松弛。最壞情況分析之外的處理是建立對實踐中使用的方法的嚴格理解,并促進發現令人興奮的、解決長期存在的重要問題的新方法。