《淺層與深度》是一系列講義,提供了對神經網絡和機器學習的通俗易懂的介紹。然而,一開始就很明顯,這些筆記無法完全覆蓋這個快速變化和不斷發展的領域。這些講義主要關注經典的機器學習技術,偏重于分類和回歸。其他學習范式和許多最新的發展,例如深度學習,要么沒有涉及,要么只是簡要提及。
比爾(Biehl)認為,對該領域的基礎知識有扎實的了解至關重要,特別是對那些希望探索機器學習世界并且抱有超越僅將某些軟件包應用于某些數據集的雄心的人來說。因此,《淺層與深層》強調基本概念和理論背景。這也涉及深入探討神經網絡的歷史和前史,在那里為大多數最近的發展奠定了基礎。這些筆記旨在揭開機器學習和神經網絡的神秘面紗,同時不失對它們令人印象深刻的力量和多功能性的欣賞。
這些講義的副標題是“對神經網絡和傳統機器學習的偏見介紹”,原因是顯而易見的。盡管目標是提供一個易于接觸的領域介紹,但從一開始就明確了它不會成為一個全面、完整的概述。重點是經典機器學習,許多最新的發展無法涵蓋。個人而言,我最早接觸神經網絡是在我作為物理學家的早期生涯。那時,閱讀少量論文,或許稍后閱讀一本好書[HKP91]就足以保持最新狀態并能夠為大難題貢獻一份力量。我是否夸大其詞,有點懷舊?可能。但情況肯定發生了很大變化。如今,大量的出版物使得篩選相關信息和跟上發展成為難題。這些筆記中的主題選擇在很大程度上是由我自己的研究興趣和早期經歷決定的。這對于最初關注簡單的感知器,正如曼弗雷德·奧珀所說的神經網絡研究的氫原子[Opp90],絕對是真的。此外,這本文本的主要內容是關于淺層系統的監督學習,特別是分類,這反映了我在該領域的主要興趣。這些筆記可能被視為老派,肯定會被一些時尚的忠實追隨者所認為[Dav66]。誠然,文本沒有涉及最新的發展,例如深度學習及其應用。然而,在我謙虛的看法中,在探索機器學習世界并且有著超越僅將某些軟件包應用于某些數據集的雄心之前,擁有對基礎知識的扎實背景知識是無價的。
這段文本可以翻譯為:學習與控制優化 為碩士水平提供關于優化理論和算法的學習與控制的全面資源《學習與控制優化》描述了在這些領域中如何使用優化,為無監督學習、有監督學習和強化學習提供了全面的介紹,重點是大規模的學習和控制問題的優化方法。討論了幾個應用領域,包括信號處理、系統識別、最優控制和機器學習。如今,大多數為碩士水平學生提供的有關深度學習的優化方面的材料都集中在表面級的計算機編程上;這些方法背后的優化方法和權衡并沒有提供更深入的知識。這本書的目標是以連貫的方式為碩士學生提供這些散落的知識,這些知識目前主要在學術期刊的出版物中可獲得。重點是基本的算法原則和權衡。《學習與控制優化》涵蓋了如下樣本主題:- 優化理論和優化方法,涵蓋了像最小二乘問題、二次問題、圓錐優化問題和秩優化等類的優化問題。- 一階方法、二階方法、可變度量方法以及非線性最小二乘問題的方法。- 隨機優化方法、增強的拉格朗日方法、內點方法和圓錐優化方法。- 用于解決最優控制問題的動態規劃及其對強化學習的推廣。- 優化理論如何用于發展統計和學習的理論和工具,例如,最大似然法、期望最大化、k-均值聚類和支持向量機。- 如何在最優控制中使用變分法,并為指數分布族導出。 《學習與控制優化》是一個關于該主題的理想資源,供學習哪些優化方法對學習和控制問題有用的科學家和工程師使用;這本書也將吸引那些在不同實際應用中使用機器學習的行業專家。
人工智能(AI)和機器學習(ML)領域近年來有了顯著的發展,成功應用的范圍也日益廣泛。本書為任何對數學與AI/ML交叉點感興趣的人提供了關鍵參考,概述了當前的研究方向。《工程數學與人工智能:基礎、方法和應用》討論了機器學習的理論,并展示了數學如何應用于AI。本書闡述了如何使用高級數學改進現有算法,并提供了前沿的AI技術。本書繼續討論了機器學習如何支持數學建模,以及如何使用人工神經網絡模擬數據。書中還強調了機器學習與復雜數學技術在未來的整合。本書適合研究人員、實踐者、工程師和AI顧問閱讀。//www.routledge.com/Engineering-Mathematics-and-Artificial-Intelligence-Foundations-Methods/Kunze-Torre-Riccoboni-Galan/p/book/9781032255675
這本書的作者主張,我們所認為的計算機智能具有算法根源,他以一個整體視角來呈現這一觀點,通過工程化的算法解決方案來展示實例并解釋理論計算機科學和機器學習的方法。
書的第一部分介紹了基礎知識。作者從一個解決組合問題的動手編程入門開始,重點在遞歸解決方案。書的第一部分的其它章節解釋了最短路徑、排序、深度學習和蒙特卡羅搜索。
計算工具的一個關鍵功能是高效處理大數據,第二部分的章節檢查了如找出團、顏色、獨立集、頂點覆蓋和擊中集等傳統圖問題,其后的章節涵蓋了多媒體、網絡、圖像和導航數據。
第三部分詳述了熱門的研究領域,如機器學習、問題解決、行動規劃、通用游戲玩家、多智能體系統,以及推薦和配置。 最后,在第四部分,作者使用了模型檢查、計算生物學、物流、增材制造、機器人運動規劃和工業生產等應用領域,來解釋這些技術在現代環境中可能如何被利用。
這本書配備了全面的索引和參考資料,對人工智能和計算智能領域的研究者、實踐者和學生都將具有價值。
深度學習是人工智能的重要組成部分,特別是在圖像分類等應用中,各種神經網絡架構(例如,卷積神經網絡)已經產生了可靠的結果。這本書介紹了用于時間序列分析的深度學習,特別是對于周期性時間序列。它詳細闡述了在其架構深層次進行時間序列分析所采用的方法。周期性時間序列通常具有可以用于更好的分類性能的特殊特征。本書對此進行了討論。處理周期性時間序列也在本書中有所覆蓋。分類隨機時間序列的一個重要因素是與分類方法架構相關的結構風險。本書解決并構建了結構風險,以及為分類方法定義的學習能力。這些公式和數學推導將幫助研究者理解方法,并以客觀的數學方式表達他們的方法。本書設計成為具有不同機器學習背景和理解水平的讀者(包括學生,工程師,研究者和這個領域的科學家)的自學教材。書中提供的大量信息豐富的插圖將引導讀者對時間序列分析的深度學習方法有深入的理解。
大部分科學研究,包括計算機科學,都將學習視為發展的重要元素,其中深度機器學習最近被視為一個新興的領域。深度機器學習方法的應用在過去的五年中受到了研究人員和工程師的熱烈歡迎,當時時間序列分析在生物醫學工程等不同的領域中越來越被視為一個重要的主題。盡管強大的深度學習方法的實施工具的發展在計算機科學和工程領域創造了突破,但是,向這個領域內的抽象理解的轉變明顯可見,尤其在年輕的開發人員中。這可能會在深度學習的一般觀念上留下負面的印象,反過來又會被視為這種進步的缺點。如今,各種深度學習方法被大量開發并發布在高度知名的參考資料中,然而,只有極少數的方法包含足夠的質量,能對相關社區產生真正的影響。原因之一可能是對理論基礎以及實施知識的深入了解不足。這促使作者準備了一本關于深度學習方法的教科書,專為時間序列分析設計,以提出該領域的基本概念以及實施的算法。
這本書專注于一般學習過程,尤其是深度學習的深層概念,更多地關注傳統方法和現代時間序列分析的基本要素。盡管圖像處理被認為是深度學習的重要主題,但作者們決定將此主題從本書中排除,將其分配給未來的單獨出版物。得出這個結論的主要理由是為了避免過多的多樣性和失去核心關注。本書從基本定義和推測平穩過渡到方法構建。書的內容以一種能夠培養和鞏固時間序列分析基本要素的方式進行了教學組織。這種表示方式旨在擴大讀者從科學到工程方面的視野。書中也考慮引出了一些深度學習方法在時間序列分析中的實際示例,隨著生物醫學工程和醫學信息學應用的興起。同時,本書以數學的方式表示深度學習方法,以幫助研究者和開發者以數學方式構建他們自己的方法。顯然,新方法的數學表示相比描述性表示有更好的可讀性。可以看出,新學生更傾向于使用塊狀圖和描述性方法來學習深度學習的概念。沉迷于這種學習方式可能會使他們在數學表示的基本能力上產生誤導,這可能對學習深度學習方法起到退化的作用。此外,在許多情況下都沒有看到一致的圖形表示。這本書也介紹了人工智能中的一些新想法。引入了A-Test驗證方法,并與其他傳統方法進行了比較。讀者可以輕松找到這種方法在提供與其他兩種替代方案相比更為現實的驗證中的詳細闡述。在學習模型方面,周期性時間序列和周期性學習是本書提出的另外兩個新概念,也引入了一些學習方法,如時間增長神經網絡,用于學習周期性時間序列。本書未涉及時間序列分析的生成模型。這些模型很適合納入預測類別,這被視為未來工作的一部分。
這本書的目的是將不確定情況下的決策基礎結果集中在一處。特別的,目標是對序列決策制定問題的算法和理論給出統一的描述,包括強化學習。從基礎的統計決策理論開始,我們進展到強化學習問題和各種解決方法。本書的最后聚焦于模型和近似算法的當前藝術狀態。不確定性下的決策制定問題可以分解為兩部分。首先,我們如何了解世界?這包括了關于我們最初對世界的不確定性建模的問題,以及從證據和我們的初始信仰中得出結論的問題。其次,考慮到可能改變我們結論的未來事件和觀察,我們當前對世界的了解,我們應該如何決定要做什么?通常,這將涉及創建覆蓋可能未來情況的長期計劃。也就是說,在不確定性下規劃時,我們還需要考慮在執行我們的計劃時可能產生的未來知識。直觀地說,執行涉及嘗試新事物的計劃應該提供更多的信息,但很難判斷這些信息是否會有益。在已知能產生好結果的事物和試驗新事物之間的選擇被稱為探索–利用困境,它是學習和規劃互動的根源。這本書的第一部分,第1-4章,專注于非序列設置下的不確定性決策。這包括假設測試等場景,其中決策者必須根據可用證據選擇一個行動。大部分的發展都是通過貝葉斯推理和決策理論的視角給出的,其中決策者對真實情況有一個主觀信仰(以概率分布表示)。本書的第二部分,第5-8章,介紹了序列問題和馬爾可夫決策過程的形式主義。其余章節致力于強化學習問題,這是最通用的不確定性下的序列決策問題之一。最后,我們增加了一些理論和實踐練習,希望能幫助讀者理解這些材料。
本書為表示提供了簡明而全面的指南,這是機器學習(ML)的核心。最先進的實際應用涉及許多高維數據分析的挑戰。不幸的是,許多流行的機器學習算法在面對龐大的基礎數據時,在理論和實踐中都無法執行。本書恰當地介紹了這個問題的解決方案。 此外,這本書涵蓋了廣泛的表示技術,對學者和ML從業者都很重要,如局部敏感哈希(LSH),距離度量和分數范數,主成分(PCs),隨機投影和自動編碼器。書中提供了幾個實驗結果來證明所討論技術的有效性。 本書討論了機器學習(ML)中最重要的表示問題。在使用機器從數據中學習類/聚類抽象時,以適合有效和高效機器學習的形式表示數據是很重要的。在本書中,我們建議涵蓋各種在理論和實踐中都很重要的表示技術。在當前興趣的實際應用中,數據通常是高維的。這些應用包括圖像分類、信息檢索、人工智能中的問題解決、生物和化學結構分析以及社會網絡分析。這種高維數據分析的一個主要問題是,大多數流行的工具,如k近鄰分類器、決策樹分類器,以及一些依賴于模式間距離計算的聚類算法都不能很好地工作。因此,在低維空間中表示數據是不可避免的。 常用的降維技術有以下幾種:
《機器學習:理論與實踐》介紹了機器學習中最流行的方法。本書涵蓋了回歸(包括正則化)、基于樹的方法(包括隨機森林和增強樹)、人工神經網絡(包括卷積神經網絡)、強化學習和專注于聚類的無監督學習。主題以概念的方式以及必要的數學細節介紹。解釋清楚明了,用數字和例子加以說明。對于所討論的每一種機器學習方法,本書都提供了R編程語言的適當庫以及編程示例。 以一種適合高級本科生或剛開始學習的研究生,以及希望自學機器學習的數學和/或面向編程的個人的方式,提供了常用機器學習算法的易于閱讀的介紹。
涵蓋討論的機器學習算法的數學細節,以確保詳實的理解,使進一步的探索成為可能。 給出了合適的編程示例,從而確保對機器學習方法的概念、理論和實踐理解。這本書的目的主要是介紹機器學習的基本主題先進的本科生和開始研究生。題目的數量被控制在很小的范圍內,以便在一個學期或一個季度內涵蓋所有內容。在短時間內所能教授的內容范圍內,這些主題覆蓋得很深入。因此,這本書可以為學生閱讀高級書籍和研究論文提供基礎。
//www.routledge.com/Machine-Learning-Theory-and-Practice/Kalita/p/book/9780367433543
這本書集中在使用企業框架和技術的人工智能的應用方面。本書在本質上是應用的,將使讀者具備交付企業ML技術所需的技能和理解。它將對人工智能和數據科學等學科的本科生和研究生,以及從事數據分析和機器學習任務的工業從業者有價值。這本書涵蓋了該領域的所有關鍵概念方面,并為所有感興趣的方面提供了一個基礎來開發他們自己的人工智能應用程序。
//link.springer.com/book/10.1007/978-3-031-04420-5
我們現在開始看到人工智能(AI)在各行各業的廣泛使用。從家庭中的Alexa到未來無人駕駛汽車的承諾。人工智能的許多方面已經從純理論領域過渡到應用領域。因此,不像傳統的大學課程,這本書提供了一個介紹性的指南,那些希望pick up AI,并應用它解決現實世界的問題。我們從未見過圍繞人工智能應用的這么多框架。隨著谷歌、微軟(Microsoft)、IBM、Facebook和英偉達(NVidia)等許多大型組織提供了廣泛的人工智能技術,隨著我們繼續看到人工智能的發展,爭奪市場份額的競賽正在展開。這意味著大大小小的企業都在越來越多地尋求使用這些技術來開始開發解決方案,以解決他們自己獨特的問題。這本書是及時的,因為它的根本目標是彌合組織提供的良好支持框架與任何有學習應用AI愿望的人之間的差距。
本書將為您提供必要的工具,以快速跟蹤端到端人工智能解決方案的發展。這將幫助你構建AI系統來解決古老的問題,甚至生成具有重大和深遠影響的新產品。對于任何正在考慮從事人工智能職業的人來說,現在是最好的開始時機。這本書將向你展示如何使用Scikit-Learn等框架開發傳統AI應用程序,并向你介紹使用谷歌、TensorFlow Serving和Docker的TensorFlow框架進行深度學習(DL)。傳統的機器學習框架將使用RAPIDS進行擴展,以展示如何加速機器學習管道以加快模型部署。這本書將介紹DL算法的深入概念,如卷積神經網絡(CNNs),長期短期記憶(LSTM)網絡,自動編碼器(AE)和生成對抗神經網絡(GANs)。完成這本書,你將有必要的知識,自信地開始在應用人工智能的職業生涯。
深入機器學習模型的超參數調優,關注什么是超參數以及它們是如何工作的。這本書討論了超參數調優的不同技術,從基礎到高級方法。
這是一個循序漸進的超參數優化指南,從什么是超參數以及它們如何影響機器學習模型的不同方面開始。然后通過一些基本的(蠻力的)超參數優化算法。進一步,作者提出了時間和內存約束的問題,使用分布式優化方法。接下來,您將討論超參數搜索的貝葉斯優化,它從以前的歷史中學習。
這本書討論了不同的框架,如Hyperopt和Optuna,它們實現了基于順序模型的全局優化(SMBO)算法。在這些討論中,您將關注不同的方面,比如搜索空間的創建和這些庫的分布式優化。
機器學習中的超參數優化創建了對這些算法如何工作的理解,以及如何在現實生活中的數據科學問題中使用它們。最后一章總結了超參數優化在自動機器學習中的作用,并以創建自己的AutoML腳本的教程結束。
超參數優化是一項繁瑣的任務,所以請坐下來,讓這些算法來完成您的工作。
//link.springer.com/book/10.1007/978-1-4842-6579-6#about
你會:
了解超參數的變化如何影響模型的性能。
將不同的超參數調優算法應用于數據科學問題
使用貝葉斯優化方法創建高效的機器學習和深度學習模型
使用一組機器來分配超參數優化
利用超參數優化方法實現自動機器學習