亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文首先給出了一種學習節點信息卷積隱含層的圖網學習算法。根據標簽是附著在節點上還是附著在圖上，研究了兩種類型的GNN。在此基礎上，提出了一個完整的GNN訓練算法收斂性設計和分析框架。該算法適用于廣泛的激活函數，包括ReLU、Leaky ReLU、Sigmod、Softplus和Swish。實驗表明，該算法保證了對基本真實參數的線性收斂速度。對于這兩種類型的GNN，都用節點數或圖數來表征樣本復雜度。從理論上分析了特征維數和GNN結構對收斂率的影響。數值實驗進一步驗證了理論分析的正確性。

//arxiv.org/pdf/2012.03429.pdf

我們提出并分析了具有條件風險值(CVaR)的凸損失分布魯棒優化算法和有條件風險值的χ2發散不確定性集。我們證明了我們的算法需要大量的梯度評估，獨立于訓練集的大小和參數的數量，使它們適合大規模的應用。對于χ2的不確定性集，這些是文獻中第一個這樣的保證，對于CVaR，我們的保證在不確定性水平上是線性的，而不是像之前的工作中那樣是二次的。我們還提供了下界來證明我們的CVaR算法的最壞情況的最優性和一個懲罰性的版本的χ2問題。我們的主要技術貢獻是基于[Blanchet & Glynn, 2015]的批量魯棒風險估計偏差的新界和多層蒙特卡洛梯度估計器的方差。

//arxiv.org/abs/2010.05893

近年來，深度學習徹底改變了機器學習和計算機視覺。許多經典的計算機視覺任務(例如目標檢測和語義分割)，傳統上非常具有挑戰性，現在可以使用監督深度學習技術來解決。雖然監督學習是一個強大的工具，當標簽數據是可用的，并考慮的任務有明確的輸出，這些條件并不總是滿足。在這種情況下，生成建模給出了一個很有前途的方法。與純粹的判別型模型相比，生成型模型可以處理不確定性，甚至在沒有標簽訓練數據的情況下也可以學習強大的模型。然而, 雖然目前的方法生成建模取得可喜的成果, 他們遭受兩個方面,限制他們的表現力: (i) 為圖像數據建模的一些最成功的方法不再使用優化算法來訓練，而是使用其動力學尚未被很好理解的算法，(ii) 生成模型往往受到輸出表示的內存需求的限制。我們在本文中解決了這兩個問題:在第一部分中，我們介紹了一個理論，它使我們能夠更好地理解生成式對抗網絡(GANs)的訓練動力學，這是生成式建模最有前途的方法之一。我們通過引入可解析理解的GAN訓練的最小示例問題來解決這個問題。隨后，我們逐漸增加了這些示例的復雜性。通過這樣做，我們對GANs的訓練動力學有了新的認識，并推出了新的正則化器，也適用于一般的GANs。新的正則化器使我們能夠——第一次——以百萬像素的分辨率訓練GAN，而不必逐漸增加訓練分布的分辨率。在本論文的第二部分，我們考慮生成模型的三維輸出表示和三維重建技術。通過將隱式表示法引入深度學習，我們能夠在不犧牲表現力的情況下將許多2D領域的技術擴展到3D領域。

//publikationen.uni-tuebingen.de/xmlui/handle/10900/106074

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

在本章中，我們將訪問圖神經網絡(GNNs)的一些理論基礎。GNNs最有趣的方面之一是，它們是根據不同的理論動機獨立開發的。一方面，基于圖信號處理理論開發了GNN，將歐氏卷積推廣到非歐氏圖域[Bruna et al.， 2014]。然而，與此同時，神經信息傳遞方法(構成了大多數現代GNN的基礎)被類比提出，用于圖模型中的概率推理的信息傳遞算法[Dai等人，2016]。最后，基于GNN與weisfeler - lehman圖同構檢驗的聯系，許多研究對其進行了激發[Hamilton et al.， 2017b]。

將三個不同的領域匯聚成一個單一的算法框架是值得注意的。也就是說，這三種理論動機中的每一種都有其自身的直覺和歷史，而人們所采用的視角可以對模型的發展產生實質性的影響。事實上，我們推遲對這些理論動機的描述直到引入GNN模型本身之后，這并非偶然。在這一章,我們的目標是介紹這些背后的關鍵思想不同理論的動機,這樣一個感興趣的讀者可以自由探索和組合這些直覺和動機,因為他們認為合適的。

這項工作的目標是研發一個訓練圖卷積網絡(GCNs)的完全分布式算法框架。該方法能夠利用輸入數據的有意義的關系結構，這些數據是由一組代理收集的，這些代理通過稀疏網絡拓撲進行通信。在闡述了集中的GCN訓練問題之后，我們首先展示如何在底層數據圖在不同代理之間分割的分布式場景中進行推理。然后，我們提出了一個分布式梯度下降方法來解決GCN訓練問題。得到的模型沿著三條線分布計算:推理、反向傳播和優化。在溫和的條件下，也建立了GCN訓練問題對平穩解的收斂性。最后，我們提出了一個優化準則來設計代理之間的通信拓撲，以匹配描述數據關系的圖。大量的數值結果驗證了我們的想法。據我們所知，這是第一個將圖卷積神經網絡與分布式優化相結合的工作。

//www.zhuanzhi.ai/paper/8a4718497597c36257418a3dd85639f4

工業互聯時代,每天數以億計的傳感器源源不斷生成時間序列,用以記錄工業設備的溫度、振動、壓力、曲度和張力等參數。如何從這些非結構化的時間序列中挖掘出有價值信息,并運用于狀態監測、故障診斷和控制決策,引起了廣泛的關注和研究。隨著數據規模日益增長,能夠提供較為完備數據分析算法庫的主流單機環境如Matlab、R等,已無法較好地應對大規模時間序列分析場景下的數據處理需求。而現有的并行分析算法數量有限,常與平臺相互綁定,更換平臺需對算法進行二次開發,可擴展性較差。本文旨在設計一種通用的近似解分析框架,支持第三方算法快速實現并行化,解決因數據規模過大而導致的算法適用性問題。分析框架主要包含任務劃分、治理和合并三個步驟。任務劃分通過冗余保留了數據的局部相關性,生成相互獨立的子任務,減少分布式節點之間的數據通信和同步開銷。對于任務劃分問題,本文提出了近似解代價模型,得到了最優的任務劃分方案。基于Spark平臺設計并實現了原型系統,實驗結果表明,該系統在確保分析結果準確性的前提下,其加速能力隨著并行程度保持近似線性的增長,解決了單機算法的數據規模受限問題。同時,該系統易于集成與擴展,使數據分析人員免于算法重復開發。

凸優化作為一個數學問題已經被研究了一個多世紀，并在許多應用領域的實踐中應用了大約半個世紀，包括控制、金融、信號處理、數據挖掘和機器學習。本文主要研究凸優化的幾個問題，以及機器學習的具體應用。

論文摘要：本文基于方差縮減、拒絕采樣、訪存優化等技術，研究了隱變量模型和深度表示學習兩類模型的高效算法，并研究了這些算法在文本分析、生成式模型、圖節 點分類等多個任務中的應用。具體地，本文創新點有：

• 提出隱變量模型的方差縮減 EM 算法，并給出了其局部收斂速度和全局收斂性的理論結果。
• 提出了緩存高效的 O(1) 時間復雜度主題模型采樣算法，該算法較之前算法提速了 5-15 倍，且能擴展到數億文檔、數百萬主題、上萬 CPU 核的場景。
• 提出了結構化主題模型的高效算法，具體包括層次化主題模型的部分坍縮吉 布斯采樣算法，將該模型擴展到了比之前大5個數量級的數據集上；以及有監督主題模型的坐標下降、拒絕采樣算法，較之前算法加速4倍。
• 提出了總體匹配差異，一個兩分布之間距離基于樣本的估計；證明了總體匹配差異的一致性，并討論了其在領域自適應、深度生成模型上的應用。
• 提出了一個基于控制變量的圖卷積網絡高效隨機訓練算法，并給出了其收斂性證明和實驗結果，較之前算法收斂速度快了7倍。

關鍵詞：表示學習；隱變量模型；主題模型；采樣算法；圖卷積網絡

作者介紹：陳健飛，他目前是清華大學計算機科學與技術系的博士研究生，他的博士生導師是朱軍。他研究興趣是大規模機器學習，尤其是可擴展的深層生成模型和深層主題模型。之前，他專注于擴展各種主題模型，包括LDA、CTM、DTM等。

論文題目：富信息網絡表示學習及典型應用問題研究

論文作者:楊成，博士，北京郵電大學計算機學院助理教授，2019年7月畢業于清華大學計算機科學與技術系，從事自然語言處理與社會計算相關方向的研究，博士期間在國內外頂級期刊會議上發表多篇論文，Google Scholar累計獲得引用近500次，并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。

指導老師：孫茂松，教授，博士生導師，曾任清華大學計算機科學與技術系系主任，現任教育部在線教育研究中心副主任、清華大學計算機系黨委書記、清華大學大規模在線開放教育研究中心主任。

論文摘要:網絡是表達對象與對象間關系的常用數據形式，在人們的日常生活與工作學 習中無處不在。除去網絡的拓撲結構信息之外，真實的網絡數據中一般還包含著 根據節點的屬性、行為等產生的豐富信息，統稱為富信息網絡。隨著互聯網技術 和移動智能設備的發展，富信息網絡的數據規模飛速增長，并帶來了豐富的應用 任務和巨大的市場價值。在富信息網絡數據的規模及其相關應用的研究需求日益 增長的同時，數據驅動的深度學習技術已經在計算機視覺、自然語言處理等多個 領域取得了巨大的成功。如何讓已經在多個領域展示出其有效性的機器學習，特 別是深度學習技術，服務于富信息網絡數據及其典型應用已經在近年來成為人工 智能領域的研究熱點。 傳統的鄰接矩陣形式的網絡表示具有維度過高和數據稀疏兩大缺點，使得研 究者們無法在網絡數據上應用機器學習和深度學習技術。因此，研究者們轉而將 網絡中的節點編碼為低維稠密的向量表示，稱為網絡表示或者網絡嵌入。為網絡 中的節點學習其向量表示的任務稱為網絡表示學習。本文針對現有的網絡表示學 習工作的缺點和不足，系統性地進行了以下五個工作： 針對缺乏對于已有網絡表示學習算法的理論分析的問題，本文提出了網絡表 示學習的統一框架和增強算法。本工作將大多數現有的只考慮拓撲結構信息的網 絡表示學習方法總結為一個統一的兩步框架：鄰近度矩陣構造和降維，并進一步 提出了網絡嵌入更新（NEU）算法，該算法從理論上隱含地近似了高階鄰近度，可 以應用于已有網絡表示學習方法以提高它們的性能。 針對現有網絡表示學習方法忽略了網絡拓撲結構以外的豐富信息的問題，本 文提出了結合富特征信息的網絡表示學習。受前一工作中得到的最先進的網絡表 示學習算法實際上等同于一種特殊的矩陣分解的結論的啟發，該工作以文本特征 為例，在矩陣分解的框架下將節點的特征信息結合到網絡表示學習中。 針對現有網絡表示學習方法難以應用于相對復雜的典型應用問題的缺點，本 文以網絡表示學習技術作為模型底層，并根據特定的富信息網絡場景利用包括循 環神經網絡、卷積神經網絡在內的深度學習模型進行建模，在推薦系統和傳播預 測兩個富信息網絡典型應用問題中，創新性地提出了基于位置的社交網絡的推薦 系統、微觀層面的信息傳播預測和多層面的信息傳播預測的應用模型。