亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

延遲問題是驅使許多公司從云轉移到邊緣的原因。“邊緣智能”(edge AI)或“邊緣機器學習”指的是，數據通過存儲在硬件設備上的算法在本地進行處理，而不是通過位于云中的算法進行處理。這不僅使實時操作成為可能，而且還有助于顯著降低與處理云數據相關的功耗和安全漏洞。

【導讀】幾何深度學習是當下的研究熱點。如何進行深度理解？ICLR2021大會上，來自倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人Michael Bronstein進行了關于幾何深度學習報告，并以視頻講解，生動形象，值得學習!

Michael Bronstein，倫敦帝國理工學院教授，Twitter 圖機器學習研究負責人，CETI 項目機器學習領導、Twitter 圖機器學習負責人、研究員、教師、企業家和投資者。

//www.imperial.ac.uk/people/m.bronstein

ICLR2021《幾何深度學習》報告

“對稱，無論你如何定義它的意義，是一個概念，古今中外的人類試圖通過它來理解和創造秩序、美和完美。”這個詩意的定義來自于偉大的數學家赫爾曼·韋爾，他被認為奠定了現代宇宙理論的基礎。另一位偉大的物理學家菲利普·安德森(Philip Anderson)說:“把物理學說成是對對稱性的研究只是稍微夸張了一點。”

在數學中，對稱性在19世紀的幾何基礎中起著至關重要的作用。現在，它可能會對另一個新興領域產生類似的影響。深度學習在最近幾十年取得的成功意義重大——從革命性的數據科學，到計算機視覺、棋盤游戲和蛋白質折疊方面的里程碑式成就。與此同時，由于缺乏統一的原則，很難理解不同神經網絡架構之間的關系，從而導致對相同概念的再創造和再品牌化。

邁克爾·布朗斯坦(Michael Bronstein)是倫敦帝國理工學院(Imperial College London)的教授，也是推特(Twitter)圖ML研究的負責人，他致力于通過對稱的視角實現深度學習的幾何統一。在ICLR 2021年的主題演講中，他提出了一個共同的數學框架來研究最成功的網絡架構，給出了一個建設性的程序，以原則性的方式構建未來的機器學習，可以應用于新的領域，如社會科學，生物學和藥物設計。

近兩千年來，“幾何”這個詞一直是歐幾里得幾何的同義詞，因為沒有其他類型的幾何存在。歐幾里得的壟斷在19世紀結束了，當時有多個非歐幾里得幾何的例子被構造出來。然而，這些研究迅速分化到不同的領域，數學家們爭論不同幾何之間的關系和什么定義一個。Felix Klein在他的Erlangen程序中提出了一種擺脫這種困境的方法，他提出將幾何近似為使用群論語言研究不變量或對稱性。在20世紀，這些思想是現代物理學發展的基礎，并在標準模型(Standard Model)中達到頂峰。

深度學習的現狀與19世紀的幾何領域有些相似: 一方面，在過去的十年中，深度學習給數據科學帶來了一場革命，使許多以前被認為是無法實現的任務成為可能，包括計算機視覺、下圍棋或蛋白質折疊。與此同時，我們有各種各樣的神經網絡架構，但很少有統一的原則。在過去，很難理解不同的方法之間的關系，不可避免地導致相同概念的重新發明和重新命名。

幾何深度學習的目標是在Erlangen項目的精神下將幾何統一引入深度學習。它提供了一個共同的數學框架來研究最成功的神經網絡架構，如CNNs、RNNs、GNNs和transformer，并提供了一個建設性的過程來將先前的知識融入到神經網絡中，并以一種原理性的方式構建未來的架構。在這次演講中，我將概述關于網格、圖和流形幾何深度學習的數學原理，并展示這些方法在廣泛的領域中令人興奮和開創性的應用。

常識性知識是人工智能應用的基礎。盡管面向實例的斷言的信息提取和知識庫構建(例如布拉德·皮特的出生日期或安吉麗娜·朱莉的電影獎)已經得到了很多關注，但關于一般概念(政客、自行車、打印機)和活動(吃披薩、修理打印機)的常識直到最近才得到解決。在本教程中，我們為匯編和鞏固這些常識知識(CSK)提供了最先進的方法。我們將介紹基于文本提取、多模態和基于Transformer的技術，特別關注與WSDM社區相關的web搜索和排名問題。

//www.mpi-inf.mpg.de/commonsense-tutorial-wsdm-2021

圖神經網絡(GNNs)已經成為學習某些算法任務的流行工具。但是，它們的泛化性質不太好理解。在經驗上，我們觀察到任務結構(或目標算法)和架構的歸納偏差之間的相互作用:盡管許多網絡可能能夠代表一個任務，但一些架構比其他架構更好地學習它。在這次演講中，我將展示一種形式化這種關系的方法，以及在訓練分布內外推廣的經驗和理論含義。

本文由騰訊 AI Lab 和中國科學院自動化研究所合作完成。圖分類、藥物分子官能團發掘、圖數據去噪等任務都可以歸結為尋找一個與原圖標簽最為相關且濾除噪聲結構的子圖。然而監督學習需要利用子圖層面的標簽，且圖的不規則離散結構對算法優化帶來了挑戰。

本文基于信息瓶頸理論提出了信息瓶頸子圖的概念和圖信息瓶頸算法，并針對圖的不規則離散結構提出了二層互信息優化算法與連續化松弛方法。基于該算法，不需要顯式的子圖標簽即可有效識別這種子圖。

實驗表明，該算法能有效提高多種圖分類算法的精度；在分子數據集上，該算法能夠準確識別最能影響藥物分子屬性的子結構；此外，該算法對于有噪聲的圖分類任務有較好的魯棒性。

本文在圖深度學習中開拓出了一個子圖識別的新的研究領域，并在藥物發現中起到了一定的輔助分析的作用。其中結合信息瓶頸理論來解決圖問題的思路也對今后的相關研究有借鑒意義。

想了解更多關于圖深度學習的信息，可閱讀文章：騰訊AI Lab聯合清華、港中文，萬字解讀圖深度學習歷史、最新進展與應用

//arxiv.org/abs/2010.05563

在這節課中，我們將討論GNN的可遷移性，也就是說能夠在保證性能的情況下遷移機器學習模型。首先，我們深入研究了譜域和節點域的graphon濾波器的收斂性。稍后，我們將以生成模型的形式討論graphon過濾器。我們將繼續介紹graphon 神經網絡(WNNs)，這是解釋為什么graphon 神經網絡可以在從graphon 獲得的確定性圖之間轉換的關鍵元素。我們最后證明GNN繼承了圖濾波器的可遷移性。

不確定性的概念在機器學習中是非常重要的，并且構成了現代機器學習方法論的一個關鍵元素。近年來，由于機器學習與實際應用的相關性越來越大，它的重要性也越來越大，其中許多應用都伴隨著安全要求。在這方面，機器學習學者們發現了新的問題和挑戰，需要新的方法發展。事實上，長期以來，不確定性幾乎被視為標準概率和概率預測的同義詞，而最近的研究已經超越了傳統的方法，也利用了更一般的形式主義和不確定性計算。例如，不確定性的不同來源和類型之間的區別，例如任意不確定性和認知不確定性，在許多機器學習應用中被證明是有用的。講習班將特別注意這方面的最新發展。

綜述論文：

不確定性的概念在機器學習中是非常重要的，并且構成了機器學習方法的一個關鍵元素。按照統計傳統，不確定性長期以來幾乎被視為標準概率和概率預測的同義詞。然而，由于機器學習與實際應用和安全要求等相關問題的相關性穩步上升，機器學習學者最近發現了新的問題和挑戰，而這些問題可能需要新的方法發展。特別地，這包括區分(至少)兩種不同類型的不確定性的重要性，通常被稱為任意的和認知的。在這篇論文中，我們提供了機器學習中的不確定性主題的介紹，以及到目前為止在處理一般不確定性方面的嘗試的概述，并特別將這種區別形式化。

//www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

人類的視覺系統證明，用極少的樣本就可以學習新的類別;人類不需要一百萬個樣本就能學會區分野外的有毒蘑菇和可食用蘑菇。可以說，這種能力來自于看到了數百萬個其他類別，并將學習到的表現形式轉化為新的類別。本報告將正式介紹機器學習與熱力學之間的聯系，以描述遷移學習中學習表征的質量。我們將討論諸如速率、畸變和分類損失等信息理論泛函如何位于一個凸的，所謂的平衡曲面上。我們規定了在約束條件下穿越該表面的動態過程，例如，一個調制速率和失真以保持分類損失不變的等分類過程。我們將演示這些過程如何完全控制從源數據集到目標數據集的傳輸，并保證最終模型的性能。

【導讀】近年來，圖神經網絡(GNNs)已經成為解決大規模圖數據問題的有效工具。然而，GNN并沒有顯式地將先前的邏輯規則合并到模型中，并且可能需要為目標任務添加許多標記示例。來自佐治亞理工學院和螞蟻金服的Le Song給了關于圖神經網絡推理的精煉講解。探討了神經網絡與廣義網絡的結合，并利用圖神經網絡進行廣義網絡的變分推理。