亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

哈工大訊飛聯合實驗室（HFL）資深級研究員、研究主管崔一鳴受邀在NLPCC 2020會議做題為《Revisiting Pre-trained Models for Natural Language Processing》的講習班報告（Tutorial），介紹了預訓練語言模型的發展歷程以及近期的研究熱點。本期推送文末提供了報告的下載方式。

NLPCC 2020 Tutorials:

//tcci.ccf.org.cn/conference/2020/tutorials.php

預訓練語言模型(PLM)已經成為最近自然語言處理研究的基本元素。在本教程中，我們將回顧文本表示的技術進展，即從一個熱點嵌入到最近的PLMs。我們將介紹幾種流行的PLMs(如BERT、XLNet、RoBERTa、ALBERT、ELECTRA等)及其技術細節和應用。另一方面，我們也將介紹中國plm的各種努力。在演講的最后，我們將分析目前PLMs的不足之處，并展望未來的研究方向。

圖表示學習

近年來，圖神經網絡(GNNs)在結構化數據建模方面取得了巨大的成功。然而，大多數GNN是為同構網絡設計的，即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖，如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中，我將介紹圖神經網絡架構，它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機制，以捕獲真實圖異構和動態性質。接下來，我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最后，為了處理web規模的數據，我將介紹一種異構的小型批處理圖采樣算法，該算法帶有一個歸納的時間戳分配方法，用于高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。

//ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf

【導讀】DeepMind開設了一系列深度學習課程。本次課講述了深度學習自然語言處理。

這個報告由DeepMind研究科學家菲利克斯·希爾(Felix Hill)主持，分為三個部分。首先，他討論了用ANN建模語言的動機:語言是高度上下文相關的，典型的非組合性的，依賴于協調許多競爭的信息來源。本節還涵蓋了Elman的發現結構在時間和簡單遞歸網絡，上下文和transformers的重要性。在第二部分，他探索了從Word2Vec到BERT的語言的無監督和表征學習。最后，Felix討論了情景語言理解，基礎和具體化語言學習。。

深度學習自然語言處理

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。

遷移表示學習最新進展

Recent Advances in Transferable Representation Learning

Tutorial 目標

本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。

概述

許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。

在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。

講者介紹

Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。

Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問

Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.

來自密歇根州立大學的YaoMa, Wei Jin, andJiliang Tang和IBM研究Lingfei Wu與 Tengfei Ma在AAAI2020做了關于圖神經網絡的Tutorial報告，總共305頁ppt，涵蓋使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用，非常值得學習。

摘要

圖結構數據如社交網絡和分子圖在現實世界中無處不在。設計先進的圖數據表示學習算法以方便后續任務的實現，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點層或圖層有效學習圖結構數據的表示開辟了新的途徑。由于其強大的表示學習能力，GNNs在從推薦、自然語言處理到醫療保健的各種應用中都具有實際意義。它已經成為一個熱門的研究課題，近年來越來越受到機器學習和數據挖掘界的關注。這篇關于GNNs的教程對于AAAI 2020來說是非常及時的，涵蓋了相關的和有趣的主題，包括使用GNNs對圖結構數據的表示學習、GNNs的健壯性、GNNs的可伸縮性以及基于GNNs的應用。

目錄：

1. 引言 Introduction

• 圖與圖結構數據 Graphs and Graph Structured Data
• 圖結構數據任務 Tasks on Graph Structured Data
• 圖神經網絡 Graph neural networks

2. 基礎理論Foundations

• Basic Graph Theory
• Graph Fourier Transform

3. 模型 Models

• Spectral-based GNN layers
• Spatial-based GNN layers
• Pooling Schemes for Graph-level Representation Learning
• Graph Neural Networks Based Encoder-Decoder models
• Scalable Learning for Graph Neural Networks
• Attacks and Robustness of Graph Neural Networks

4. 應用 Applications

• Natural Language Processing
• Recommendation
• Healthcare

百度網盤直接下載： 鏈接: //pan.baidu.com/s/1pQC45GLGOtu6T7T-G2Fn4w 提取碼: xrkz

講者介紹

Yao Ma是密歇根州立大學計算機科學與工程專業的博士生。他還在數據科學與工程實驗室(DSE實驗室)擔任研究助理，該實驗室由Tang Jiliang博士領導。他的研究興趣包括網絡嵌入和圖神經網絡在圖結構數據上的表示學習。曾在WSDM、ASONAM、ICDM、SDM、WWW、KDD、IJCAI等頂級會議上發表創新工作。在加入密歇根州立大學之前，他在Eindhoven理工大學獲得碩士學位，在浙江大學獲得學士學位。

Wei Jin是密歇根州立大學計算機科學與工程專業的一年級博士生，導師是Tang Jiliang博士。他的興趣在于圖表示學習。現從事圖神經網絡的理論基礎、模型魯棒性和應用研究。

Jiliang Tang 自2016年秋季以來一直是密歇根州立大學計算機科學與工程系的助理教授。在此之前，他是雅虎研究院的一名研究科學家，2015年在亞利桑那州立大學獲得博士學位。他的研究興趣包括社會計算、數據挖掘和機器學習，以及它們在教育中的應用。他是2019年NSF Career獎、2015年KDD最佳論文亞軍和6個最佳論文獎(或亞軍)的獲得者，包括WSDM2018和KDD2016。他擔任會議組織者(如KDD、WSDM和SDM)和期刊編輯(如TKDD)。他在高排名的期刊和頂級會議上發表多項研究成果，獲得了成千上萬的引用和廣泛的媒體報道。

Lingfei Wu是IBM AI foundation Labs的研究人員，IBM T. J. Watson研究中心的推理小組。

Tengfei Ma現任美國紐約IBM沃森研究中心研究員。

報告主題： Frontiers in Network Embedding and GCN

報告摘要： 如今，越來越多的網絡廣泛地用于應用程序中。 眾所周知，網絡數據既復雜又具有挑戰性。 為了有效地處理圖形數據，第一個關鍵挑戰是網絡數據表示，即如何正確表示網絡，以便可以在時間和空間上高效執行高級分析任務，例如模式發現，分析和預測。 在本次演講中，我將介紹網絡嵌入和GCN的最新趨勢和成就，包括解散的GCN，反攻擊GCN以及用于網絡嵌入的自動機器學習。

邀請嘉賓： 崔鵬 清華大學計算機系長聘副教授，博士生導師。研究興趣聚焦于大規模網絡表征學習以及大數據驅動的因果推理和穩定預測。近5年在數據挖掘及人工智能領域頂級會議發表論文100余篇，先后5次獲得頂級國際會議或期刊論文獎，并先后兩次入選 數據挖掘領域頂級國際會議KDD最佳論文專刊。擔任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等國際期刊編委。曾獲得國家自然科學二等獎、教育部自然科學一等獎、電子學會自然科學一等獎、CCF-IEEE CS青年科學家獎、ACM中國新星獎。入選中組部萬人計劃青年拔 尖人才，并當選中國科協全國委員會委員。

論壇嘉賓：楊成 北京郵電大學 助理教授

報告主題：圖神經網絡在自然語言處理領域的前沿應用

報告摘要：很多真實世界的應用場景需要處理包含著元素間豐富關系信息的圖形式的數據。在例如物理系統建模、化學分子功能預測等領域中，數據都擁有顯式的圖結構；而在另一些例如文本的非結構數據中，如何從數據中抽取推理并利用如句法樹等結構信息，也是相關領域中重要的研究方向。圖神經網絡可以通過節點間的信息傳遞（message passing）有效地捕捉結構信息。自該概念提出以來，圖神經網絡技術已經在自然語言處理、數據挖掘等多個領域得到了廣泛的應用。本報告將重點介紹圖神經網絡技術在自然語言處理領域的前沿應用。

嘉賓簡介：楊成，博士，北京郵電大學計算機學院助理教授，2019年7月畢業于清華大學計算機科學與技術系，從事自然語言處理與社會計算相關方向的研究，博士期間在國內外頂級期刊會議上發表多篇論文，Google Scholar累計獲得引用近500次，并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。