亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//www.math.arizona.edu/～hzhang/math574.html

隨著信息技術的飛速發展，在各個領域產生了大量的科學和商業數據。例如，人類基因組數據庫項目已經收集了千兆字節的人類遺傳密碼數據。萬維網提供了另一個例子，它擁有由數百萬人使用的文本和多媒體信息組成的數十億Web頁面。

本課程涵蓋了現代數據科學技術，包括基本的統計學習理論及其應用。將介紹各種數據挖掘方法、算法和軟件工具，重點在概念和計算方面。將涵蓋生物信息學、基因組學、文本挖掘、社交網絡等方面的應用。

本課程著重于現代機器學習的統計分析、方法論和理論。它是為學生誰想要實踐先進的機器學習工具和算法，也了解理論原理和統計性質的算法。主題包括回歸、分類、聚類、降維和高維分析。

圖神經網絡在圖表示學習領域取得了顯著的成功。圖卷積執行鄰域聚合，并表示最重要的圖運算之一。然而，這些鄰域聚合方法的一層只考慮近鄰，當進一步啟用更大的接受域時，性能會下降。最近的一些研究將這種性能下降歸因于過度平滑問題，即重復傳播使得不同類的節點表示無法區分。在這項工作中，我們系統地研究這一觀察結果，并對更深的圖神經網絡發展新的見解。本文首先對這一問題進行了系統的分析，認為當前圖卷積運算中表示變換與傳播的糾纏是影響算法性能的關鍵因素。將這兩種操作解耦后，更深層次的圖神經網絡可用于從更大的接受域學習圖節點表示。在建立深度模型時，我們進一步對上述觀察結果進行了理論分析，這可以作為過度平滑問題的嚴格而溫和的描述。在理論和實證分析的基礎上，我們提出了深度自適應圖神經網絡(DAGNN)，以自適應地吸收來自大接受域的信息。一組關于引文、合著和共購數據集的實驗證實了我們的分析和見解，并展示了我們提出的方法的優越性。

//arxiv.org/abs/2007.09296

最近，人們對在非歐幾里得空間中表示數據的方法(例如雙曲或球面)越來越感興趣，這些方法提供了對某些真實世界數據屬性(例如無尺度、分層或循環)有用的特定歸納偏差。然而，流行的圖神經網絡目前僅限于通過歐幾里得幾何和相關的向量空間操作來建模數據。在這里，我們通過提出將圖卷積網絡(GCN)在數學基礎上推廣為常曲率空間的(乘積)來彌補這一差距。我們通過i)引入一種統一的形式，可以在所有常曲率幾何之間平滑地插入，ii)利用陀螺質心坐標，推廣了經典的歐幾里德質心概念。當曲率從任何一邊變為零時，我們這類模型平滑地恢復它們的歐幾里得對應模型。根據其離散曲率，我們在非歐幾里得行為的符號數據上的節點分類和失真最小化的任務表現優于歐幾里得GCNs。

//arxiv.org/abs/1911.05076

概述

圖卷積網絡 針對圖像數據的卷積網絡和深度學習的成功啟發了對于共享參數與圖形幾何形狀一致的圖推廣。Bruna等人(2014);Henaff等人(2015)是利用圖上的局部譜濾波器在圖傅里葉空間中開發頻譜圖卷積神經網絡的先驅。然而，為了減少對拉普拉斯特征模式的圖依賴，Defferrard等人(2016)利用Hammond等人(2011)的結果使用Chebyshev多項式近似卷積濾波器。所得到的方法(在附錄A中討論)在計算效率和精度和復雜性方面是優越的。此外，Kipf和Welling(2017)通過考慮一階近似來簡化這種方法，從而獲得高可伸縮性。提出的圖卷積網絡(GCN)是通過對稱歸一化鄰接矩陣來插值節點嵌入，而這種權值共享可以理解為一種有效的擴散式正則化器。最近的工作擴展了GCNs，實現了鏈接預測(Zhang & Chen, 2018)、圖分類(Hamilton等，2017;和節點分類(Klicpera et al.， 2019;Velickoviˇc et al .′, 2018)。

ML中的歐幾里得幾何。在機器學習(ML)中，由于各種原因，數據通常在歐幾里得空間中表示。首先，有些數據本質上是歐幾里得的，比如經典力學中三維空間中的位置。其次，直覺在這樣的空間中更容易，因為它們擁有一個吸引人的矢量結構，允許基本的算術和豐富的線性代數理論。最后，許多感興趣的量，如距離和內積在封閉公式中是已知的，可以在現有的硬件上非常有效地計算。這些操作是當今大多數流行的機器學習模型的基本構建模塊。因此，歐幾里得幾何強大的簡單性和效率已經導致許多方法實現了最先進的任務，如機器翻譯(Bahdanau等，2015;wani et al.， 2017)，語音識別(Graves et al.， 2013)，圖像分類(He et al.， 2016)或推薦系統(He et al.， 2017)。

黎曼ML 盡管取得了成功，但某些類型的數據(例如分層數據、無標度數據或球形數據)被證明可以更好地用非歐幾里德幾何表示(Defferrard et al.， 2019;Bronstein等，2017;Nickel & Kiela, 2017;Gu et al.， 2019)，尤其帶來了豐富的流形學習理論(Roweis & Saul, 2000;和信息幾何(Amari & Nagaoka, 2007)。在活力操縱非歐幾里得幾何的數學框架被稱為黎曼幾何(Spivak, 1979)。雖然它的理論導致了許多強而優雅的結果，但它的一些基本量，如距離函數d(·，·)，通常不能以封閉的形式提供，這對許多計算方法都是禁止的。

常曲率幾何的代表性優勢。在一般黎曼流形和歐幾里得空間之間的一個有趣的權衡是由常截面曲率流形給出的。他們一起定義了所謂的雙曲(負曲率)，橢圓(正曲率)和歐幾里得(零曲率)幾何。正如下面和附錄B中所討論的，歐幾里得空間在嵌入某些類型的數據(如樹)時具有局限性，并且會產生很大的失真。在這些情況下，雙曲空間和球面空間具有代表性的優勢，為各自的數據提供了更好的歸納偏差。

雙曲空間可以直觀地理解為一棵連續樹:球的體積隨半徑呈指數增長，類似于二叉樹的節點數隨深度呈指數增長(圖1)。它的樹狀性質已經被數學研究了很長時間(Gromov, 1987;哈曼,2017;與歐幾里得幾何結構相比，它被證明能夠更好地嵌入復雜網絡(Krioukov et al., 2010)、無標度圖和分層數據(Cho et al., 2019; Sala et al., 2018; Ganea et al., 2018b; Gu et al., 2019; Nickel & Kiela, 2018; 2017; Tifrea et al., 2019)。一些重要的工具或方法找到了它們的雙曲線對應物，例如變分自編碼器(Mathieu et al.， 2019;、注意力機制(Gulcehre等，2018)、矩陣乘法、遞歸單位和多項logistic回歸(Ganea等，2018)。

常曲率空間中的GCNs。在這項工作中，我們引入了一個擴展的圖形卷積網絡，它允許學習存在于具有任何曲率符號的常曲率空間(乘積)中的表示。我們通過將導出的統一陀螺框架與GCNs的有效性相結合來實現這一點(Kipf & Welling, 2017)。與我們的工作同時，Chami等人(2019年);Liu等人(2019)考慮了通過切線空間聚合在雙曲空間中學習嵌入的圖神經網絡。他們的方法將在第3.4節中作更詳細的分析。我們的模型更一般化，因為它在一個包含雙曲空間的嚴格超集中產生表示。

隨著開放科學和開放資源的雙重運動將越來越多的科學過程帶入數字領域，科學本身的元科學研究(包括數據科學和統計)出現了新的機會。未來的科學很可能看到機器在處理、組織甚至創造科學知識方面發揮積極作用。為了使這成為可能，必須進行大量的工程努力來將科學工件轉化為有用的計算資源，并且必須在科學理論、模型、實驗和數據的組織方面取得概念上的進展。本論文的目標是將數據科學的兩大主要產物——統計模型和數據分析——數字化和系統化。使用來自代數的工具，特別是分類邏輯，在統計和邏輯的模型之間進行了精確的類比，使統計模型在邏輯意義上被視為理論的模型。統計理論，作為代數結構，服從機器表示，并配備了形式化不同統計方法之間的關系的形態。從數學轉向工程，設計和實現了一個軟件系統，用于以Python或R程序的形式創建數據分析的機器表示。表示的目的是捕獲數據分析的語義，獨立于實現它們的編程語言和庫。

//arxiv.org/abs/2006.08945

商業數據分析

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。

題目： word2vec, node2vec, graph2vec, X2vec: Towards a Theory of Vector Embeddings of Structured Data

摘要：

圖形和關系結構的向量表示，無論是手工制作的特征向量還是學習表示，都使我們能夠將標準的數據分析和機器學習技術應用于這些結構。在機器學習和知識表示的文獻中，對生成這種嵌入的方法進行了廣泛的研究。然而，從理論的角度來看，向量嵌入的研究相對較少。在這篇論文中，我們從一個已經在實踐中使用的嵌入技術的調查開始，提出了兩個我們認為是理解向量嵌入基礎的中心的理論方法。我們總結了各種方法之間的聯系，并為未來的研究提出了方向。

【導讀】近年來，隨著網絡數據量的不斷增加，挖掘圖形數據已成為計算機科學領域的熱門研究課題，在學術界和工業界都得到了廣泛的研究。但是，大量的網絡數據為有效分析帶來了巨大的挑戰。因此激發了圖表示的出現，該圖表示將圖映射到低維向量空間中，同時保持原始圖結構并支持圖推理。圖的有效表示的研究具有深遠的理論意義和重要的現實意義，本教程將介紹圖表示/網絡嵌入的一些基本思想以及一些代表性模型。

關于圖或網絡的文獻有兩個名稱：圖表示和網絡嵌入。我們注意到圖和網絡都指的是同一種結構，盡管它們每個都有自己的術語，例如，圖和網絡的頂點和邊。挖掘圖/網絡的核心依賴于正確表示的圖/網絡，這使得圖/網絡上的表示學習成為學術界和工業界的基本研究問題。傳統表示法直接基于拓撲圖來表示圖，通常會導致許多問題，包括稀疏性，高計算復雜性等，從而激發了基于機器學習的方法的出現，這種方法探索了除矢量空間中的拓撲結構外還能夠捕獲額外信息的潛在表示。因此，對于圖來說，“良好”的潛在表示可以更加精確的表示圖形。但是，學習網絡表示面臨以下挑戰：高度非線性，結構保持，屬性保持，稀疏性。

深度學習在處理非線性方面的成功為我們提供了研究新方向，我們可以利用深度學習來提高圖形表示學習的性能，作者在教程中討論了將深度學習技術與圖表示學習相結合的一些最新進展，主要分為兩類方法：面向結構的深層方法和面向屬性的深層方法。

對于面向結構的方法：

• 結構性深層網絡嵌入（SDNE），專注于保持高階鄰近度。

• 深度遞歸網絡嵌入（DRNE），其重點是維護全局結構。

• 深度超網絡嵌入（DHNE），其重點是保留超結構。

對于面向屬性的方法：

• 專注于不確定性屬性的深度變異網絡嵌入（DVNE）。

• 深度轉換的基于高階Laplacian高斯過程（DepthLGP）的網絡嵌入，重點是動態屬性。

本教程的第二部分就以上5種方法，通過對各個方法的模型介紹、算法介紹、對比分析等不同方面進行詳細介紹。

1、Structural Deep Network Embedding

network embedding，是為網絡中的節點學習出一個低維表示的方法。目的在于在低維中保持高度非線性的網絡結構特征，但現有方法多采用淺層網絡不足以挖掘高度非線性，或同時保留局部和全局結構特征。本文提出一種結構化深度網絡嵌入方法，叫SDNE該方法用半監督的深度模型來捕捉高度非線性結構，通過結合一階相似性(監督)和二階相似性(非監督)來保留局部和全局特征。

2、 Deep recursive network embedding with regular equivalence

網絡嵌入旨在保留嵌入空間中的頂點相似性。現有方法通常通過節點之間的連接或公共鄰域來定義相似性，即結構等效性。但是，位于網絡不同部分的頂點可能具有相似的角色或位置，即規則的等價關系，在網絡嵌入的文獻中基本上忽略了這一點。以遞歸的方式定義規則對等，即兩個規則對等的頂點具有也規則對等的網絡鄰居。因此，文章中提出了一種名為深度遞歸網絡嵌入（DRNE）的新方法來學習具有規則等價關系的網絡嵌入。更具體地說，我們提出了一種層歸一化LSTM，以遞歸的方式通過聚合鄰居的表示方法來表示每個節點。

3、Structural Deep Embedding for Hyper-Networks

是在hyperedge(超邊是不可分解的)的基礎上保留object的一階和二階相似性，學習異質網絡表示。于與HEBE的區別在于，本文考慮了網絡high-oeder網絡結構和高度稀疏性。

傳統的基于clique expansion 和star expansion的方法，顯式或者隱式地分解網絡。也就說，分解后hyper edge節點地子集，依然可以構成一個新的超邊。對于同質網絡這個假設是合理地，因為同質網絡地超邊，大多數情況下都是根據潛在地相似性（共同地標簽等）構建的。

4、** Deep variational network embedding in wasserstein space**

大多數現有的嵌入方法將節點作為點向量嵌入到低維連續空間中。這樣，邊緣的形成是確定性的，并且僅由節點的位置確定。但是，現實世界網絡的形成和發展充滿不確定性，這使得這些方法不是最優的。為了解決該問題，在本文中提出了一種新穎的在Wasserstein空間中嵌入深度變分網絡（DVNE）。所提出的方法學習在Wasserstein空間中的高斯分布作為每個節點的潛在表示，它可以同時保留網絡結構并為節點的不確定性建模。具體來說，我們使用2-Wasserstein距離作為分布之間的相似性度量，它可以用線性計算成本很好地保留網絡中的傳遞性。此外，我們的方法通過深度變分模型隱含了均值和方差的數學相關性，可以通過均值矢量很好地捕獲節點的位置，而由方差可以很好地捕獲節點的不確定性。此外，本文方法通過保留網絡中的一階和二階鄰近性來捕獲局部和全局網絡結構。

5、Learning embeddings of out-of-sample nodes in dynamic networks

迄今為止的網絡嵌入算法主要是為靜態網絡設計的，在學習之前，所有節點都是已知的。如何為樣本外節點（即學習后到達的節點）推斷嵌入仍然是一個懸而未決的問題。該問題對現有方法提出了很大的挑戰，因為推斷的嵌入應保留復雜的網絡屬性，例如高階鄰近度，與樣本內節點嵌入具有相似的特征（即具有同質空間），并且計算成本較低。為了克服這些挑戰，本文提出了一種深度轉換的高階拉普拉斯高斯過程（DepthLGP）方法來推斷樣本外節點的嵌入。DepthLGP結合了非參數概率建模和深度學習的優勢。特別是，本文設計了一個高階Laplacian高斯過程（hLGP）來對網絡屬性進行編碼，從而可以進行快速和可擴展的推理。為了進一步確保同質性，使用深度神經網絡來學習從hLGP的潛在狀態到節點嵌入的非線性轉換。DepthLGP是通用的，因為它適用于任何網絡嵌入算法學習到的嵌入。