本書描述了優化問題的基本組成部分,以及將設計問題表述為數學規劃問題,使用目標函數表示模型的主要目標,以及如何使其最小化或最大化;隨后,優化的概念及其在工程應用中的最優解的相關性,被解釋。本書旨在介紹優化理論、方法和工程應用領域的一些最新發展。重點介紹了系統的隱喻以及各種算法的配置和應用。本書共30章,分為兩部分:第一部分——軟計算和基于進化的優化;第二部分-決策科學和基于仿真的優化,包含基于應用的章節。讀者和用戶將在本書中發現:在科學、工程、技術和數學的幾乎所有應用中都非常流行的優化方法的概述和簡要背景;深入探討對優化學習和優化工程系統的貢獻;列出優化與其他數學主題和學科之間的關系;一個解決問題的方法和大量的說明性的例子,導致一步一步的公式和解決優化問題。
本文以擬合優度為例,重點研究了分布測試中的一些具體問題。特別是,它的目的并不是對該領域的所有題目提供一個全面的摘要;但將提供獨立的證明和主要結果的推導,試圖突出統一的技術。
//ccanonne.github.io/survey-topics-dt.html 內容目錄
What is this survey?
Who is this for? 1. Where can I get it? 1. How do I cite it? 1. Are there solutions to the exercises? 1. I have a question! Actually, more of a comment. 1. About the author
引用和轉述第一章: 本綜述是對分布測試中一些主題的介紹和詳細概述,分布測試是理論計算機科學的一個領域,屬于屬性測試的范疇,位于計算學習、統計學習和假設測試、信息論和機器學習理論的交叉點。 關于這個主題,你可能還想閱讀其他一些資源,首先是Ronitt Rubinfeld的這個簡短的介紹性調查,或者是我自己的另一個調查。這本書與前幾本書的不同之處在于:(1)更近;(2)更具體,專注于一個問題子集,并將它們作為指導示例,而不是描繪盡可能廣泛的風景(但要從遠處看);(3)更詳細,包括證明和推導;當然,我不能保證我成功了;但這就是目的,結果由你來判斷。
使用機器學習進行藥物設計 機器學習算法在藥物發現的使用近年來已經加快,本書提供了一個仍在發展的領域的深入概述。 這本書的目的是把幾個章節的功能作為機器學習和人工智能應用于藥物開發的概述。前幾章討論了通過機器學習來改善藥物輸送、醫療保健和醫療系統的藥物-靶標相互作用。進一步的章節還提供了通過機器學習的藥物再利用的主題,藥物設計,并最終討論了為患有多種或復雜疾病的患者開出的藥物組合。 這個優秀的概述
這本書將是有用的信息技術專業人員,制藥工業工人,工程師,大學研究人員,醫療從業人員,和實驗室工作人員對機器學習和人工智能方法應用于藥物進展的領域有濃厚的興趣。
圖書簡介
本書的主題元學習,作為機器學習研究中增長最快的領域之一,研究了通過調整機器學習和數據挖掘過程來獲得有效模型和解決方案的方法。這種適應能力通常利用來自過去其他任務的經驗信息,并且適應過程可能涉及機器學習方法。作為與元學習相關的領域和當前的熱門話題,自動化機器學習(AutoML)關注的是機器學習過程的自動化。元學習和AutoML可以幫助AI學習控制不同學習方法的應用并更快地獲取新的解決方案,而無需用戶進行不必要的干預。
本書全面而透徹地介紹了元學習和 AutoML的幾乎所有方面,涵蓋了基本概念和架構、評估、數據集、超參數優化、集成和工作流,以及如何使用這些知識來選擇、組合、調整和配置算法和模型,以更快更好地解決數據挖掘和數據科學問題。因此,它可以幫助開發人員開發可以通過經驗改進自己的系統。
本書是2009年第一版的重大更新,共18章,內容幾乎是上一版的兩倍。這使作者能夠更深入地涵蓋最相關的主題,并結合各自領域最近研究的概述。這本書適用于對機器學習、數據挖掘、數據科學和人工智能領域感興趣的研究人員和研究生。
章節瀏覽
圖片
凸優化研究在凸集上最小化凸函數的問題。凸性,以及它的眾多含義,已經被用來為許多類凸規劃提出有效的算法。因此,凸優化已經廣泛地影響了科學和工程的幾個學科。
在過去的幾年里,凸優化算法已經徹底改變了算法設計,無論是離散優化問題還是連續優化問題。對于諸如圖中最大流、二分圖中最大匹配和子函數最小化等問題,已知最快的算法涉及凸優化算法的基本和非平凡使用,例如梯度下降、鏡像下降、內點方法和切割平面方法。令人驚訝的是,凸優化算法也被用來設計離散對象(如擬陣)的計數問題。同時,凸優化算法已經成為許多現代機器學習應用的核心。在越來越大和越來越復雜的輸入實例的驅動下,對凸優化算法的需求也極大地推動了凸優化本身的發展。
//convex-optimization.github.io/
這本書的目標是使讀者能夠深入理解凸優化的算法。重點是從第一性原理導出凸優化的關鍵算法,并根據輸入長度建立精確的運行時間界限。鑒于這些方法的廣泛適用性,單本書不可能展示所有這些方法的應用。這本書展示了各種離散優化和計數問題的快速算法的應用。本書中選擇的應用程序旨在說明連續優化和離散優化之間令人驚訝的橋梁。
全局優化是一個快速發展的領域,在應用數學和物理科學中有著強大的應用。這本書提供了這一領域的全面概述,材料上的關鍵主題,如復雜性;啟發式方法;極小化問題下界的推導分支定界方法和收斂性。最后一章提供了基準測試問題和全局優化的應用,如尋找分子的構造或規劃星際空間旅行的最優軌跡。此外,凸函數和凹函數的基本信息在索引中提供。這本書是為研究生,研究人員,和實踐者尋找困難的優化問題的高級解決方法。它適合作為一個補充文本在一個高級研究生水平的研討會。
這本書致力于全局優化算法,這是為給定問題找到最優解的方法。它特別關注演化計算,通過討論演化算法,遺傳算法,遺傳規劃,學習分類器系統,進化策略,差分演化,粒子群優化,蟻群優化。它還詳細闡述了其他元啟發式算法,如模擬退火、極值優化、Tabu搜索和隨機優化。這本書不是傳統意義上的書:由于頻繁的更新和變化,它不是真正的順序閱讀,而是某種材料收集、百科全書或參考工作,你可以在其中查找內容,找到正確的上下文,并提供基礎知識。
這本書的內容分為四個部分。第一部分將介紹不同的優化技術,并描述它們的特點。為了便于理解,通常會給出一些小例子。在第二部分,從第315頁開始,我們詳細闡述了不同的應用實例。在Sigoa框架中,我們討論了一種用Java實現優化算法的可能方法,并在第3部分(439頁)中展示了如何實現前面問題實例的一些解決方案。最后,在455頁后面的最后一部分,為本書的其余部分提供了背景知識。優化是與隨機密切相關的,因此,可以在這里找到對這一主題的介紹。其他重要的背景信息涉及理論計算機科學和聚類算法。
這本書的目的是全面概述在算法的數學分析中使用的主要技術。涵蓋的材料從經典的數學主題,包括離散數學,基本的真實分析,和組合學,以及從經典的計算機科學主題,包括算法和數據結構。重點是“平均情況”或“概率”分析,但也涵蓋了“最壞情況”或“復雜性”分析所需的基本數學工具。我們假設讀者對計算機科學和實際分析的基本概念有一定的熟悉。簡而言之,讀者應該既能寫程序,又能證明定理。否則,這本書是自成一體的。
這本書是用來作為算法分析高級課程的教科書。它也可以用于計算機科學家的離散數學課程,因為它涵蓋了離散數學的基本技術,以及組合學和重要的離散結構的基本性質,在計算機科學學生熟悉的背景下。傳統的做法是在這類課程中有更廣泛的覆蓋面,但許多教師可能會發現,這里的方法是一種有用的方式,可以讓學生參與到大量的材料中。這本書也可以用來向數學和應用數學的學生介紹與算法和數據結構相關的計算機科學原理。
盡管有大量關于算法數學分析的文獻,但該領域的學生和研究人員尚未直接獲得廣泛使用的方法和模型的基本信息。本書旨在解決這種情況,匯集了大量的材料,旨在為讀者提供該領域的挑戰的欣賞和學習正在開發的先進工具以應對這些挑戰所需的背景知識。補充的論文從文獻,這本書可以作為基礎的介紹性研究生課程的算法分析,或作為一個參考或基礎的研究人員在數學或計算機科學誰想要獲得這個領域的文獻自學。
第 1 章:算法 分析考慮算法分析的一般動機以及研究算法性能特征的各種方法之間的關系。
第 2 章:遞歸關系 專注于各種類型的 遞歸關系的基本數學屬性,這些遞歸關系在通過從程序的遞歸表示到描述其屬性的函數的遞歸表示的直接映射來分析算法時經常出現。
第 3 章:生成函數 在算法的平均情況分析中介紹了一個核心概念:生成函數 ——作為我們研究對象的算法與發現其屬性所必需的分析方法之間的必要且自然的聯系。
第 4 章:漸近逼近 研究了推導問題的近似解或逼近精確解的方法,這使我們能夠 在分析算法時對感興趣的數量進行 簡潔而精確的估計。
第 5 章:分析組合 學介紹了一種研究組合結構的現代方法,其中生成函數是研究的中心對象。這種方法是通過本書其余部分研究特定結構的基礎。
第 6 章:樹 研究了許多不同類型的 樹的屬性,以及在許多實際算法中隱含和顯式出現的基本結構。我們的目標是提供對樹組合分析的廣泛文獻結果的訪問,同時為大量算法應用提供基礎。
第 7 章:排列 調查了排列的組合屬性(數字1到N的排序),并展示了它們如何以自然的方式與基本的和廣泛使用的排序算法相關聯。
第 8 章:字符串和嘗試 研究 字符串、字符序列或從固定字母表中提取的字母的基本組合屬性,并介紹處理字符串的算法,從計算理論核心的基本方法到實用的文本處理方法重要應用程序的主機。
第 9 章:單詞和映射 涵蓋單詞的全局屬性( 來自M 字母字母表的 N 字母字符串),這些屬性在經典組合學(因為它們模擬獨立伯努利試驗的序列)和經典應用算法(因為它們散列算法的模型輸入序列)。本章還涵蓋了隨機映射 ( N個字母表中的N個字母單詞),并討論了與樹和排列的關系。
這本書是為那些對解決優化問題感興趣的人準備的。由于優化在科學、工程、經濟學和工業領域的廣泛(和不斷增長的)應用,對于學生和實踐者來說,發展對優化算法的理解是至關重要的。了解這些算法的能力和局限性有助于更好地理解它們對各種應用的影響,并為改進和擴展優化算法和軟件的未來研究指明了方向。在這本書中,我們的目標是對解決連續優化問題的最強大、最先進的技術進行全面描述。通過展示每個算法的激勵思想,我們試圖激發讀者的直覺,使技術細節更容易遵循。
優化是決策科學和物理系統分析中的一個重要工具。為了使用這個工具,我們必須首先確定一些目標,一個對所研究系統性能的定量度量。這個目標可以是利潤、時間、勢能,或者任何可以用單個數字表示的量或量的組合。目標取決于系統的某些特征,稱為變量或未知數。我們的目標是找到優化目標的變量值。在某些方面,變量通常是受限制的。例如,分子中的電子密度和貸款利率等物理量不能是負的。
藍光輝教授的專著系統地介紹了機器學習算法基礎概念和近期進展,尤其是基于優化方法的算法。 機器學習算法領域近期出現了大量研發進展,但目前社區尚缺乏對機器學習算法基礎概念和近期進展的系統性介紹,尤其是基于隨機優化方法、隨機算法、非凸優化、分布式與在線學習,以及無投影方法的機器學習算法。
佐治亞理工終身教授藍光輝出版的一本關于機器學習算法的專著《First-order and Stochastic Optimization Methods for Machine Learning》。
這本專著具備以下特點:
系統梳理優化算法的進展
在該書序言部分,藍光輝教授介紹了寫作此書的初衷:
優化在數據科學中一直發揮重要作用。很多統計和機器學習模型的分析與解決方法都依賴于優化。但是,近期社區對計算數據分析優化的興趣往往伴隨著一些難題。高維度、大型數據規模、內在不確定性、無法避免的非凸問題,以及實時和分布式設置的要求,給現有的優化方法帶來了大量困難。 在過去十年中,為解決以上挑戰,優化算法在設計和分析方面出現了巨大進步。然而,這些進步分散在多個不同學科的大量文獻中,缺乏系統性的梳理。而這使得年輕研究人員更難進入優化算法領域,更難構建必要的基礎知識、了解目前的前沿成果,以及推動該領域的發展。 這本書嘗試用更有條理的方式介紹領域進展,主要聚焦于已得到廣泛應用或具備大規模機器學習和數據分析應用潛力的優化算法,包括一階方法、隨機優化方法、隨機和分布式方法、非凸隨機優化方法、無投影方法,以及算子滑動和分散式方法。 本書的寫作目標是介紹基礎算法機制,它們能在不同環境設置下提供最優性能保障。不過在探討算法之前,本書首先簡要介紹了多個常見的機器學習模型和一些重要的優化理論,希望借此為初學者提供良好的理論基礎。
此外,藍教授表示這本書的目標讀者是對優化算法及其在機器學習和人工智能中的應用感興趣的研究生和高年級本科生,也可以作為更高階研究人員的參考書目。這本書的最初版本已經作為佐治亞理工學院高年級本科生和博士課程的教材。
核心內容
這本書共包括八個章節,涵蓋機器學習模型、凸優化、非凸優化、無投影方法等內容,是對優化算法近期進展的一次系統性梳理。
書籍鏈接://www.springer.com/gp/book/9783030395674
作者簡介
本書作者藍光輝教授,博士畢業于佐治亞理工學院,目前任教于佐治亞理工 H. Milton Stewart 工業和系統工程學院。此外,他還擔任《Computational Optimization and Applications》、優化算法頂級期刊《Mathematical Programming》和《SIAM Journal on Optimization》等雜志的副主編,是國際機器學習和深度學習算法方向的頂級專家。
藍光輝教授專注于計算機科學領域的基礎研究,他的研究方向包括:隨機優化和非線性規劃的理論、算法和應用,包括隨機梯度下降和加速隨機梯度下降,以及用于解決隨機凸和非凸優化問題。