亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在凸性假設下，幾何算法問題往往變得易于處理。優化，體積計算，幾何學習和尋找質心都是凸集明顯容易的問題的例子。我們將對這一現象進行深入的研究，探索三個相互聯系緊密的路徑。第一個是幾何不等式理論。我們從經典的主題開始，如Brunn-Minkowski不等式，然后處理更近期的發展，如凸體的等周定理及其對對數凹函數的推廣。第二個軌跡的動機是通過隨機游走對幾何分布進行抽樣。這里我們將開發一些通用工具并使用它們來分析幾何隨機游動。第一條軌跡的不等式在限定這些軌跡的收斂速度方面起著關鍵作用。最后一個方面是采樣和各種算法問題之間的聯系，最顯著的是，計算凸體的體積(或更普遍地說，積分一個對數凹函數)。有些令人驚訝的是，隨機抽樣將是用于這些問題的多項式時間算法的常見和基本特征。在某些情況下，包括體積問題，隨機游走采樣是唯一已知的得到多項式時間算法的方法。

//www.cc.gatech.edu/~vempala/acg/notes.pdf

科學和工程中的許多問題都可以換種說法，即具有流形結構的矩陣搜索空間的優化問題。這本書展示了如何利用這些問題的特殊結構來開發有效的數值算法。它是應用數學家和計算機科學家感興趣的。

科學和工程中的許多問題都可以換種說法，即具有流形結構的矩陣搜索空間的優化問題。這本書展示了如何利用這些問題的特殊結構來開發有效的數值算法。它把重點放在了算法的數值公式和它的微分幾何抽象上——說明好的算法是如何從微分幾何、優化和數值分析的洞察力中同等地得出的。另外兩個理論章節為讀者提供了算法發展所必需的微分幾何背景。在其他章節中，幾個著名的優化方法，如最速下降法和共軛梯度法被推廣到抽象流形。這本書提供了這些方法中的每一個的一般發展，建立在幾何章節的材料上。然后，它指導讀者通過計算，把這些幾何公式的方法變成具體的數值算法。在數值線性代數中特征空間問題的選擇問題中，所給出的最先進的算法與現有的最佳算法是有競爭力的。

矩陣流形上的優化算法提供了在線性代數、信號處理、數據挖掘、計算機視覺和統計分析中廣泛應用的技術。它可以作為研究生水平的教科書，對應用數學家、工程師和計算機科學家感興趣。

Optimization Algorithms on Matrix Manifolds

//sites.uclouvain.be/absil/amsbook/

文本無處不在，對社會科學家來說，它是一個極好的資源。然而，由于信息非常豐富，而且語言又是千變萬化的，通常很難提取出我們想要的信息。人工智能的整個子領域與文本分析(自然語言處理)有關。開發的許多基本分析方法現在都可以作為Python實現使用。這本書將告訴您何時使用哪個方法、它如何工作的數學背景以及實現它的Python代碼。

概述：

今天，文本是我們生活中不可或缺的一部分，也是最豐富的信息來源之一。平均每天，我們閱讀約9000字，包括電子郵件、短信、新聞、博客文章、報告、推特，以及街道名稱和廣告。在你一生的閱讀過程中，這會讓你有大約2億字。這聽起來令人印象深刻(事實也的確如此)，然而，我們可以在不到0.5 g的空間里存儲這些信息:我們可以在u盤上隨身攜帶一生都值得閱讀的信息。在我寫這篇文章的時候，互聯網上估計至少有超過1200 TB的文本，或250萬人的閱讀價值。現在，大部分文本都以社交媒體的形式存在:微博、推特、Facebook狀態、Instagram帖子、在線評論、LinkedIn個人資料、YouTube評論等等。然而，文本即使在線下也是豐富的——季度收益報告、專利申請、問卷答復、書面信函、歌詞、詩歌、日記、小說、議會會議記錄、會議記錄，以及成千上萬的其他形式，可以(也正在)用于社會科學研究和數據挖掘。

文本是一個極好的信息來源，不僅僅是因為它的規模和可用性。它(相對)是永久性的，而且——最重要的是——它對語言進行編碼。這一人類能力(間接地，有時甚至直接地)反映了廣泛的社會文化和心理結構:信任、權力、信仰、恐懼。因此，文本分析被用于衡量社會文化結構，如信任(Niculae, Kumar, Boyd-Graber， & danescul - niculescul - mizil, 2015)和權力(Prabhakaran, Rambow， & Diab, 2012)。語言編碼了作者的年齡、性別、出身和許多其他人口統計因素(Labov, 1972;Pennebaker, 2011;Trudgill, 2000)。因此，文本可以用來衡量社會隨著時間推移對這些目標概念的態度(見Garg, Schiebinger, Jurafsky， & Zou, 2018;Hamilton, Leskovec， & Jurafsky, 2016;Kulkarni, Al-Rfou, Perozzi， & Skiena, 2015)。

然而，這種海量數據可能很快就會讓人喘不過氣來，處理這些數據可能會讓人望而生畏。文本通常被稱為非結構化數據，這意味著它不是以電子表格的形式出現，而是整齊地按類別排列。它有不同的長度，如果不首先對其進行格式化，就不能很容易地將其送入您喜歡的統計分析工具。然而，正如我們將看到的，“非結構化”是一個有點用詞不當。文本絕不是沒有任何結構的——它遵循非常規則的結構，受語法規則的控制。如果你知道這些，理解文本就會變得容易得多。

這本書分成兩部分。在前半部分，我們將學習文本和語言的一些基本屬性——語言分析的層次、語法和語義成分，以及如何描述它們。我們還將討論為我們的分析刪除哪些內容，保留哪些內容，以及如何計算簡單、有用的統計數據。在下半部分，我們將著眼于探索，發現數據中的潛在結構。我們將從簡單的統計學習到更復雜的機器學習方法，如主題模型、詞嵌入和降維。

這本書的主要目的是提出一個連貫的介紹圖論，適合作為一本教科書為高等本科和在數學和計算機科學研究生。它提供了一個系統的處理圖的理論，而不犧牲其直觀和審美的吸引力。大量使用的證明技術被描述和說明，并且提供了大量的練習——不同難度的練習——幫助讀者掌握這些技術并加強他們對材料的掌握。

Individual chapters: Preface Contents Chapter 1: Graphs and Subgraphs Chapter 2: Trees Chapter 3: Connectivity Chapter 4: Euler Tours and Hamilton Cycles Chapter 5: Matchings Chapter 6: Edge Colourings Chapter 7: Independent Sets and Cliques Chapter 8: Vertex Colourings Chapter 9: Planar Graphs Chapter 10: Directed Graphs Chapter 11: Networks Chapter 12: The Cycle Space and Bond Space Appendix 1: Hints to Starred Exercises Appendix II: Four Graphs and a Table of their Properties Appendix III: Some Interesting Graphs Appendix IV: Unsolved Problems Appendix V: Suggestions for Further Reading Glossary of Symbols Index

摘要：隨著計算機行業和互聯網時代的不斷發展與進步，圖神經網絡已經成為人工智能和大數據重要研究領域。圖神經網絡是對相鄰節點間信息的傳播和聚合的重要技術，可以有效地將深度學習的理念應用于非歐幾里德空間的數據上。簡述圖計算、圖數據庫、知識圖譜、圖神經網絡等圖技術領域的相關研究歷史，分類介紹不同類型的圖結構。分析對比不同的圖神經網絡技術，重點從頻域和空間與的信息聚合方式上分類比較不同的圖卷積網絡算法。闡述圖生成和圖對抗網絡、圖強化學習、圖遷移學習、神經任務圖和圖零樣本學習等不同的圖網絡與深度學習方法相結合的技術方法，并列舉不同的圖神經網絡技術在文本、圖像、知識圖譜、視頻任務等領域的具體應用。最后，對圖神經網絡未來的發展與研究方向加以展望。

//kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年來隨著計算機行業的快速發展和數據量的井噴式增長，深度學習方法被提出并得到了廣泛的 應用。深度學習通過神經網絡端到端的解決方案， 在圖像處理、語音識別、語義理解[1]等領域取得了 巨大的成功，深度學習的應用往往都是在高維特征 空間上特征規則分布的歐幾里德數據。作為一種關 系型數據結構，圖（Graph）在深度學習中的應用研究近年來受到越來越多的關注，本文將圖的演進歷程分為數學起源、計算應用、神經網絡延伸三個階段。

圖的概念起源于 18 世紀著名的柯尼斯堡七橋問 題，到了 20 世紀中期，擬陣理論、超圖理論、極圖 理論等研究蓬勃發展，使得圖論（Graph Theory）[2] 在電子計算誕生前，就已經成為了重要的數學研究領域。

隨著計算機的出現和機器計算時代的到來和發 展，圖作為一種能夠有效且抽象地表達信息和數據 中的實體以及實體之間關系的重要數據結構被廣泛應用，圖數據庫有效解決了傳統的關系型數據結構 面對大量復雜的數據所暴露出的建模缺陷多、計算速度慢等問題，圖數據庫也成為了非常熱門的研究 領域。圖結構（Graph-structured Data）[3]可以將結構化數據點通過邊的形式，依照數據間的關系將不同類型和結構的數據節點連接起來，因而被廣泛地應用在數據的存儲、檢索以及計算應用中。基于圖結構數據，知識圖譜[4-7]可以通過點和邊的語義關系， 來實現精確地描述現實世界中實體之間的關聯關系， 作為人工智能非常重要的研究領域，知識圖譜的研究方向包括知識抽取、知識推理、知識圖譜可視化等。圖計算（Graph Computing）具有數據規模量大、 局部性低、計算性能高等特性，圖計算算法[8-9]主要 可以分為路徑搜索算法、中心性算法、社群發現算法等三類，實現了在關系復雜型的大規模數據上高 時效性和準確度的表現，在社交網絡、團體反欺詐 和用戶推薦等領域有著重要的應用。

與已經非常成熟圖計算不同，圖神經網絡 （Graph Neural Network）的研究主要是集中在相鄰節點信息的傳播與聚合上，從圖神經網絡的概念提 出，到受深度學習中卷積神經網絡的啟發，2013 年 提出的基于圖論的圖卷積神經網絡 [10-11]研究方向吸 引了大量學者關注。2018 年 DeepMind 提出圖網絡 （Graph Network）[12]的概念，希望能夠將深度學習 端到端的學習方式與圖結構關系歸納推理的理論結 合解決深度學習無法處理關系推理的問題。針對圖 神經網絡存在的問題，不同的學者們也給出了不同 的方案，隨著對圖神經網絡這一新興領域更加深入 的研究與探索，人工智能領域的版圖將得到更大擴展。

文獻[12]在關系歸納偏置和深度學習的研究基礎 上，提出了面向關系推理的圖網絡概念并進行了綜 述，但未對不同圖網絡技術進行分類和對比。文獻 [13]從半監督、無監督方法的角度對圖結構上的深度 學習進行了綜述，但缺少相近的分類和應用的討論。文獻[14]主要從傳播規則、網絡結構等角度分析了圖神經網絡的不同模型以及應用。文獻[15]則是詳細對 比了時域和空間的不同圖卷神經網絡方法結構，但沒有對圖神經網絡之于深度學習領域的探討，如圖強化學習、圖遷移學習等。本文針對圖神經網絡， 分析對比了六種圖神經網絡方法的優劣，首次對處 理異構圖數據的圖神經網絡技術進行了討論和研究， 綜述了五類圖神經網絡的研究領域，并對未來的發展方向進行了展望。

凸優化研究在凸集上最小化凸函數的問題。凸性，連同它的許多含義，已經被用來為許多類凸程序提出有效的算法。因此，凸優化已經廣泛地影響了科學和工程的幾個學科。

過去幾年，凸優化算法徹底改變了離散和連續優化問題的算法設計。對于圖的最大流、二部圖的最大匹配和子模函數最小化等問題，已知的最快算法涉及到對凸優化算法的基本和重要使用，如梯度下降、鏡像下降、內點方法和切割平面方法。令人驚訝的是，凸優化算法也被用于設計離散對象(如擬陣)的計數問題。同時，凸優化算法已經成為許多現代機器學習應用的中心。由于輸入實例越來越大、越來越復雜，對凸優化算法的需求也極大地推動了凸優化技術本身的發展。

這本書的目的是使讀者能夠獲得對凸優化算法的深入理解。重點是從第一性原理推導出凸優化的關鍵算法，并根據輸入長度建立精確的運行時間界限。由于這些方法的廣泛適用性，一本書不可能向所有人展示這些方法的應用。這本書展示了各種離散優化和計數問題的快速算法的應用。本書中所選的應用程序的目的是為了說明連續優化和離散優化之間的一個相當令人驚訝的橋梁。

目標受眾包括高級本科生、研究生和理論計算機科學、離散優化和機器學習方面的研究人員。

//convex-optimization.github.io/

第一章-連續優化和離散優化的銜接

我們提出了連續優化和離散優化之間的相互作用。最大流問題是一個激勵人心的例子。我們也追溯了線性規劃的歷史——從橢球法到現代內點法。最后介紹了橢球法在求解最大熵問題等一般凸規劃問題上的一些最新成果。

第二章 預備知識

我們復習這本書所需的數學基礎知識。這些內容包括多元微積分、線性代數、幾何、拓撲、動力系統和圖論中的一些標準概念和事實。

第三章-凸性

我們引入凸集，凸性的概念，并展示了伴隨凸性而來的能力:凸集具有分離超平面，子梯度存在，凸函數的局部最優解是全局最優解。

第四章-凸優化與效率

我們提出了凸優化的概念，并正式討論了它意味著什么，有效地解決一個凸程序作為一個函數的表示長度的輸入和期望的精度。

第五章-對偶性與最優性

我們引入拉格朗日對偶性的概念，并證明在一個稱為Slater條件的溫和條件下，強拉格朗日對偶性是成立的。隨后，我們介紹了拉格朗日對偶和優化方法中經常出現的Legendre-Fenchel對偶。最后，給出了Kahn-Karush-Tucker(KKT)最優性條件及其與強對偶性的關系。

第六章-梯度下降

我們首先介紹梯度下降法，并說明如何將其視為最陡下降。然后，我們證明了梯度下降法在函數的梯度是連續的情況下具有收斂時間界。最后，我們使用梯度下降法提出了一個快速算法的離散優化問題:計算最大流量無向圖。

第七章-鏡像下降和乘法權值更新

我們推出我們的凸優化的第二個算法-稱為鏡面下降法-通過正則化觀點。首先，提出了基于概率單純形的凸函數優化算法。隨后，我們展示了如何推廣它，重要的是，從它推導出乘法權值更新(MWU)方法。然后利用后一種算法開發了一個快速的近似算法來解決圖上的二部圖匹配問題。

第八章-加速梯度下降

提出了Nesterov的加速梯度下降算法。該算法可以看作是前面介紹的梯度下降法和鏡像下降法的混合。我們還提出了一個應用加速梯度法求解線性方程組。

第九章-牛頓法

IWe開始了設計凸優化算法的旅程，其迭代次數與誤差成對數關系。作為第一步，我們推導并分析了經典的牛頓方法，這是一個二階方法的例子。我們認為牛頓方法可以被看作是黎曼流形上的最速下降，然后對其收斂性進行仿射不變分析。

第十章 線性規劃的內點法

利用牛頓法及其收斂性，推導出一個線性規劃的多項式時間算法。該算法的關鍵是利用障礙函數的概念和相應的中心路徑，將有約束優化問題簡化為無約束優化問題。

第十一章-內點法的變種與自洽

給出了線性規劃中路徑遵循IPM的各種推廣。作為應用，我們推導了求解s-t最小代價流問題的快速算法。隨后，我們引入了自一致性的概念，并給出了多邊形和更一般凸集的障礙函數的概述。

第十二章 線性規劃的橢球法

介紹了凸優化的一類切割平面方法，并分析了一種特殊情況，即橢球體法。然后，我們展示了如何使用這個橢球方法來解決線性程序超過0-1多邊形時，我們只能訪問一個分離oracle的多邊形。

第十三章-凸優化的橢球法

我們展示了如何適應橢球法求解一般凸程序。作為應用，我們提出了子模函數最小化的多項式時間算法和計算組合多邊形上的最大熵分布的多項式時間算法。

當前關于機器學習方面的資料非常豐富：Andrew NG在Coursera上的機器學習教程、Bishop的《機器學習與模式識別》 和周志華老師的《機器學習》都是非常好的基礎教材；Goodfellow等人的《深度學習》是學習深度學習技術的首選資料；MIT、斯坦福等名校的公開課也非常有價值；一些主要會議的Tutorial、keynote也都可以在網上搜索到。然而，在對學生們進行培訓的過程中， 我深感這些資料專業性很強，但入門不易。一方面可能是由于語言障礙，另一個主要原因在于機器學習覆蓋 面廣，研究方向眾多，各種新方法層出不窮，初學者往往在各種復雜的名詞，無窮無盡的 算法面前產生畏難情緒，導致半途而廢。

本書的主體內容是基于該研討班形成的總結性資料。基于作者的研究背景，這本書很難說 是機器學習領域的專業著作，而是一本學習筆記，是從一個機器學習 技術使用者角度對機器學習知識的一次總結，并加入我們在本領域研究中的一些經驗和發現。與其說是一本教材，不如說是一本科普讀物， 用輕松活潑的語言和深入淺出的描述為初學者打開機器學習這扇充滿魔力的大門。打開大門以后，我們會發現這是個多么讓人激動人心的 領域，每天都有新的知識、新的思路、新的方法產生，每天都有令人振奮的成果。我們希望這本書 可以讓更多學生、工程師和相關領域的研究者對機器學習產生興趣，在這片異彩紛呈的海域上找到 屬于自己的那顆貝殼。

強烈推薦給所有初學機器學習的人，里面有： 書籍的pdf 課堂視頻 課堂slides 各種延伸閱讀 MIT等世界名校的slides 學生的學習筆記等

本文推薦來自Emanuele Rodolà博士講述《幾何深度學習》，100頁ppt系統性講述了幾何深度學習基礎知識和最新進展，非常干貨。 //lcsl.mit.edu/courses/regml/regml2020/

幾何深度學習

過去十年在計算機視覺研究已經見證了“深度學習”的重新崛起,特別是卷積神經網絡(CNN)技術, 它允許從大量的樣例中學習強大的圖像特征表示。CNNs在圖像分類、分割、檢測和標注等廣泛的應用中取得了性能上的突破。然而，當試圖將CNN范式應用于三維形狀、點云和圖形(基于特征的描述、相似度、對應、檢索等)時，必須面對圖像與幾何對象之間的根本差異。形狀分析、圖形分析和幾何處理帶來了圖像分析中不存在的新挑戰，而深度學習方法直到最近才開始滲透到這些領域。本教程的目的是概述非歐幾里得數據學習技術的基礎和目前的技術現狀。本教程將特別關注應用于歐氏和非歐氏流形的深度學習技術(CNN)，以完成形狀分類、檢索和對應的任務。本教程將從新的角度介紹3D計算機視覺和幾何數據處理的問題，強調與傳統2D設置的類比和區別，并展示如何適應流行的學習方案，以處理非歐幾里得結構。

這些筆記的第一個版本是為第一年的研究生代數課程編寫的。和大多數這類課程一樣，講義集中在抽象群，特別是有限群。然而，大多數數學家遇到的群并不是抽象的群，而是代數群、拓撲群或李群，而且感興趣的不僅僅是群本身，還有它們的線性表示。我的意圖是(將來的某一天)擴展筆記以考慮到這一點，并制作一本規模適中(c200頁)的書，為數學、物理和相關領域的剛開始學習的研究生提供更全面的關于群論的介紹。

在復雜的以人為中心的系統中，每天的決策都具有決策相關信息不完全的特點。現有決策理論的主要問題是，它們沒有能力處理概率和事件不精確的情況。在這本書中，我們描述了一個新的理論的決策與不完全的信息。其目的是將決策分析和經濟行為的基礎從領域二價邏輯轉向領域模糊邏輯和Z約束，從行為決策的外部建模轉向組合狀態的框架。

這本書將有助于在模糊邏輯，決策科學，人工智能，數學經濟學，和計算經濟學的專業人員，學者，經理和研究生。

讀者:專業人士，學者，管理者和研究生在模糊邏輯，決策科學，人工智能，數學經濟學，和計算經濟學。