亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

2019年12月23日，百度發布了對2020年10大科學技術趨勢的預測，在過去的一年中，一些新興技術的集成加速。人工智能的發展門檻也有所降低，而工業智能導致了第四次工業革命的到來。2019年把這些種子深埋在科技的土壤里，便可以展望2020年未來藍圖，科技仍然是社會的重要功能，也是未來的關鍵。

十大趨勢包括：

• 趨勢1：人工智能技術將實現大規模生產的工業化。到2020年，將會有很多“人工智能工廠”
• 趨勢2：2020年將是AI芯片大規模實施的關鍵一年
• 趨勢3：深度學習技術將滲透到整個行業并得到大規模應用
• 趨勢4：AutoML，自動機器學習，將大大降低機器學習的門檻
• 趨勢5：多模式深度語義理解將變得更加成熟并被廣泛使用
• 趨勢6：自然語言處理技術將與知識深度融合，并且將廣泛使用用于一般自然語言理解的計算平臺
• 趨勢7：物聯網（IoT）將在三個方向突破：邊界，維度和場景
• 趨勢8：智能交通將加快其在公園和城市等各種場景中的實施
• 趨勢9：區塊鏈技術將以更加務實的方式集成到更多場景中
• 趨勢10：量子計算將迎來新一輪的爆炸式增長，為AI和云計算注入新的活力

【導讀】今年 8 月份，畢業于斯坦福、現就職于英偉達人工智能應用團隊的 Chip Huyen 撰寫了一篇博客，講述她對NeurlPS2019的觀感，講述了研究熱點與發展趨勢，感興趣的三個方向是: 貝葉斯學習、圖神經網絡和凸優化，來看下。

地址： //huyenchip.com/2019/12/18/key-trends-neurips-2019.html

1. 深度學習與貝葉斯原理

正如Emtiyaz Khan在他的《深度學習與貝葉斯原則》演講中所強調的那樣，貝葉斯學習和深度學習是非常不同的。根據Khan的說法，深度學習使用“試錯”的方法——讓我們看看實驗會把我們帶向何方——而貝葉斯原則迫使你事先思考一個假設(先驗)。

與常規的深度學習相比，貝葉斯深度學習主要有兩個優點:不確定性估計和對小數據集的更好的泛化。在實際應用中，僅僅系統做出預測是不夠的。知道每個預測的確定性是很重要的。例如，預測癌癥有50.1%的確定性需要不同的治療，同樣的預測有99.9%的確定性。在貝葉斯學習中，不確定性估計是一個內置特性。

傳統的神經網絡給出單點估計——它們使用一組權值在數據點上輸出預測。另一方面，Bayesian神經網絡使用網絡權值上的概率分布，并輸出該分布中所有權值集的平均預測，其效果與許多神經網絡上的平均預測相同。因此，貝葉斯神經網絡是自然的集合體，它的作用類似于正則化，可以防止過度擬合。

擁有數百萬參數的貝葉斯神經網絡的訓練在計算上仍然很昂貴。收斂到一個后驗值可能需要數周時間，因此諸如變分推論之類的近似方法已經變得流行起來。概率方法-變分貝葉斯推理會議上發表了10篇關于這種變分貝葉斯方法的論文。

我喜歡讀一些關于貝葉斯深度學習的NeurIPS論文:

• Importance Weighted Hierarchical Variational Inference，
• A Simple Baseline for Bayesian Uncertainty in Deep Learning，
• Practical Deep Learning with Bayesian Principles，

2. 圖神經網絡(GNNs)

多年來，我一直在談論圖論是機器學習中最被低估的話題之一。我很高興看到圖機器學習在今年的NeurIPS上非常流行。

對于許多類型的數據，例如社交網絡、知識庫和游戲狀態，圖形是美麗而自然的表示。用于推薦系統的用戶項數據可以表示為一個二部圖，其中一個不相交集由用戶組成，另一個由物品組成。

圖也可以表示神經網絡的輸出。正如 Yoshua Bengio在他的特邀演講中提醒我們的那樣，任何聯合分布都可以表示為一個因子圖。

這使得graph neural network對于組合優化(例如旅行推銷員、日程安排)、身份匹配(這個Twitter用戶和這個Facebook用戶一樣嗎?)、推薦系統等任務來說是完美的。

最流行的圖神經網絡是圖卷積神經網絡(GCNN)，這是預期的，因為它們都對本地信息進行編碼。卷積傾向于尋找輸入相鄰部分之間的關系。圖通過邊編碼與輸入最相關的部分。

• Exact Combinatorial Optimization with Graph Convolutional Neural Networks，
• Yes, there’s a paper that fuses two hottest trends this year: Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels，
• My favorite poster presentation at NeurIPS: (Nearly) Efficient Algorithms for the Graph Matching Problem on Correlated Random Graphs，

推薦閱讀：

• Thomas N. Kipf’s Graph Convolutional Networks blog post，
• Kung-Hsiang, Huang’s A Gentle Introduction to Graph Neural Networks (Basics, DeepWalk, and GraphSage)，

3. 凸優化

我很欣賞Stephen Boyd關于凸優化的工作，所以很高興看到它在NeurIPS上越來越受歡迎——有32篇論文與這個主題相關(1,2)。Stephen Boyd和J. Zico Kolter的實驗室也發表了他們的論文《可微凸優化層》，展示了如何通過凸優化問題的解決方案進行區分，使其有可能嵌入可微程序(如神經網絡)并從數據中學習它們。

凸優化問題是有吸引力的，因為它們可以準確地解決(1e-10的誤差容忍度是可以實現的)和快速。它們也不會產生奇怪的/意料之外的輸出，而這對于真實的應用程序是至關重要的。盡管在開放環境遇到的許多問題都是非凸的，但將它們分解成一系列凸問題是可行的。

利用凸優化算法訓練神經網絡。然而，雖然神經網絡的重點是從頭開始學習，但在端到端的方式中，凸優化問題的應用明確地強調建模系統，使用領域特定的知識。當可以以凸的方式顯式地對系統建模時，通常需要的數據要少得多。可微凸優化層的工作是混合端到端學習和顯式建模的優點的一種方法。

當你想控制一個系統的輸出時，凸優化特別有用。例如，SpaceX使用凸優化來讓火箭著陸，貝萊德(BlackRock)將其用于交易算法。在深度學習中使用凸優化真的很酷，就像現在的貝葉斯學習。

Akshay Agrawal推薦的關于凸優化的NeurIPS論文。

• Acceleration via Symplectic Discretization of High-Resolution Differential Equations，
• Hamiltonian descent for composite objectives，

NeurlPS 2019 研究內容分析

• 強化學習甚至在機器人學之外也越來越流行。有顯著正性變化的關鍵詞有bandit、feedback、regret、control。
• 生成模型仍然很流行。GAN仍然吸引著我們的想象力，但遠沒有那么夸張。
• 遞歸神經網絡和卷積神經網絡在去年確實如此。
• 硬件關鍵字也在上升，信號更多的硬件感知算法。這是對硬件是機器學習瓶頸這一擔憂的回答。
• 我很難過數據在下降。
• Meta learning預計，今年這一比例的增幅最高。
• 盡管貝葉斯定理下降了，不確定性卻上升了。去年，有很多論文使用了貝葉斯原理，但沒有針對深度學習。

參考鏈接：

題目： Representation Learning on Graphs: Methods and Applications

摘要：

圖機器學習是一項重要且普遍存在的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型能夠輕松地利用它。傳統上，機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如，度統計或內核函數)。然而，近年來，使用基于深度學習和非線性降維的技術，自動學習將圖結構編碼為低維嵌入的方法激增。在這里，我們提供了一個概念上的回顧，在這一領域的關鍵進展，圖表示學習，包括基于矩陣分解的方法，隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中，我們開發了一個統一的框架來描述這些最近的方法，并強調了一些重要的應用程序和未來工作的方向。

作者簡介：

William L. Hamilton是麥吉爾大學計算機科學的助理教授，也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前的重點是快速發展的圖表示學習和圖神經網絡。

Rex Ying是斯坦福大學計算機科學二年級的博士生，研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡，應用于推薦系統、異常檢測和生物學。

題目： Graph Neural Networks: A Review of Methods and Applications

摘要： 許多學習任務都需要處理包含元素間豐富關系信息的圖形數據。建模物理系統、學習分子指紋、預測蛋白質界面和疾病分類需要一個模型從圖形輸入中學習。在文本、圖像等非結構化數據的學習等領域，對句子的依存樹、圖像的場景圖等提取的結構進行推理是一個重要的研究課題，同時也需要建立圖形推理模型。圖神經網絡（GNNs）是通過圖節點之間的信息傳遞來獲取圖的依賴性的連接模型。與標準神經網絡不同，圖神經網絡保留了一種狀態，這種狀態可以以任意深度表示來自其鄰域的信息。雖然原始GNNs已經被發現很難訓練到固定的點，但是最近在網絡結構、優化技術和并行計算方面的進展已經使它能夠成功地學習。近年來，基于圖形卷積網絡（GCN）、圖形注意網絡（GAT）、門控圖形神經網絡（GGNN）等圖形神經網絡變體的系統在上述許多任務上都表現出了突破性的性能。在這項調查中，我們提供了一個詳細的檢討現有的圖形神經網絡模型，系統分類的應用，并提出了四個開放的問題，為今后的研究。

作者簡介： Jie Zhou，CS的研究生，從事系統研究，主要研究計算機安全。他畢業于廈門大學，在羅切斯特大學獲得碩士學位及博士學位。

Zhiyuan Liu，清華大學計算機系NLP實驗室副教授。

報告題目： Bayesian Deep Learning

報告摘要： 深度神經網絡是連接主義系統，通過它通過學習例子來完成任務，而不需要事先了解這些任務。它們可以很容易地擴展到數百萬個數據點，并且可以通過隨機梯度下降進行優化。貝葉斯方法可以用于學習神經網絡權重的概率分布。貝葉斯深度學習與貝葉斯深度學習（如何對DNNs進行貝葉斯推理？如何學習分層結構的貝葉斯模型？），本篇報告給出一定解釋。

嘉賓介紹： 朱軍博士是清華大學計算機系長聘副教授、智能技術與系統國家重點實驗室副主任、卡內基梅隆大學兼職教授。2013年，入選IEEE Intelligent Systems的“人工智能10大新星”（AI’s 10 to Watch）。他主要從事機器學習研究，在國際重要期刊與會議發表學術論文80余篇。擔任國際期刊IEEE TPAMI和Artificial Intelligence的編委、國際會議ICML 2014地區聯合主席、以及ICML、NIPS等國際會議的領域主席。

報告簡介： 圖形領域的機器學習是一項重要而普遍的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。該領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型可以很方便地利用它。 報告中介紹了深度學習的技術，自動學習將圖形結構編碼為低維嵌入。以及表示學習的關鍵進展，包括圖形卷積網絡及其表示能力，探討了它在Web級推薦系統、醫療保健、知識表示和推理方面的應用。

嘉賓介紹： 領域的大牛Jure Leskovec，是斯坦福大學計算機學院的副教授，也是圖表示學習方法 node2vec 和 GraphSAGE 作者之一。研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 Jure Leskovec主頁