亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： A Survey on Transfer Learning in Natural Language Processing

摘要：

深度學習模型通常需要大量數據。 但是，這些大型數據集并非總是可以實現的。這在許多具有挑戰性的NLP任務中很常見。例如，考慮使用神經機器翻譯，在這種情況下，特別對于低資源語言而言，可能無法整理如此大的數據集。深度學習模型的另一個局限性是對巨大計算資源的需求。這些障礙促使研究人員質疑使用大型訓練模型進行知識遷移的可能性。隨著許多大型模型的出現，對遷移學習的需求正在增加。在此調查中，我們介紹了NLP領域中最新的遷移學習進展。我們還提供了分類法，用于分類文獻中的不同遷移學習方法。

主題： Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning

摘要： 廣義零樣本學習（GZSL）解決了同時涉及可見類和不可見類的實例分類問題。關鍵問題是如何有效地將從可見類學習到的模型轉換為不可見類。GZSL中現有的工作通常假設關于未公開類的一些先驗信息是可用的。然而，當新的不可見類動態出現時，這種假設是不現實的。為此，我們提出了一種新的基于異構圖的知識轉移方法（HGKT），該方法利用圖神經網絡對GZSL、不可知類和不可見實例進行知識轉移。具體地說，一個結構化的異構圖，它是由所見類的高級代表節點構造而成，這些代表節點通過huasstein-barycenter來選擇，以便同時捕獲類間和類內的關系，聚集和嵌入函數可以通過圖神經網絡來學習，它可以用來計算不可見類的嵌入，方法是從它們的內部遷移知識。在公共基準數據集上的大量實驗表明，我們的方法達到了最新的結果。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 于美國紐約舉辦。遷移學習近年來受到了非常大的關注，今年AAAI也有很多相關論文，這場Tutorial全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，還討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示，是一個非常全面的遷移表示學習總結，講者最后也介紹了其未來發展趨勢，值得研究者關注和收藏。

遷移表示學習最新進展

Recent Advances in Transferable Representation Learning

Tutorial 目標

本教程針對有興趣將深度學習技術應用于跨域決策任務的AI研究人員和從業人員。這些任務包括涉及多語言和跨語言自然語言處理，特定領域知識以及不同數據模式的任務。本教程將為聽眾提供以下方面的整體觀點：（i）針對未標記的文本，多關系和多媒體數據的多種表示學習方法；（ii）在有限的監督下跨多種表示對齊和遷移知識的技術；以及（iii）在自然語言理解，知識庫和計算生物學中使用這些技術的大量AI應用程序。我們將通過概述該領域未來的研究方向來結束本教程。觀眾不需要有特定的背景知識。

概述

許多人工智能任務需要跨域決策。例如，許多NLP任務涉及跨多種語言的預測，其中可以將不同的語言視為不同的域;在人工智能輔助的生物醫學研究中，藥物副作用的預測常常與蛋白質和有機體相互作用的建模并行進行。為了支持機器學習模型來解決這種跨域任務，必須提取不同域中數據組件的特征和關系，并在統一的表示方案中捕獲它們之間的關聯。為了滿足這一需求，表示學習的最新進展往往涉及到將不同域的未標記數據映射到共享嵌入空間。這樣，跨域的知識遷移可以通過向量搭配或變換來實現。這種可遷移的表現形式在涉及跨域決策的一系列人工智能應用中取得了成功。然而，這一領域的前沿研究面臨兩大挑戰。一是在學習資源很少的情況下如何有效地從特定領域中提取特性。另一個是在最少的監督下精確地對齊和傳遞知識，因為連接不同域的對齊信息常常是不充分和有噪聲的。

在本教程中，我們將全面回顧可遷移表示學習方法的最新發展，重點介紹文本、多關系和多媒體數據的可遷移表示學習方法。除了介紹域內嵌入學習方法外，我們還將討論各種半監督、弱監督、多視圖和自監督學習技術來連接多個域特定的嵌入表示。我們還將比較域內嵌入算法和跨域對齊算法的改進和聯合學習過程。此外，我們將討論如何利用獲得的可遷移表征來解決低資源和無標簽的學習任務。參會者將了解本主題的最新趨勢和挑戰，了解代表性工具和學習資源以獲取即用型模型，以及相關的模型和技術如何有益于現實世界AI應用程序。

講者介紹

Muhao Chen目前是美國賓夕法尼亞大學研究生院博士后。他于2019年在加州大學洛杉磯分校獲得了計算機科學博士學位。Muhao從事過機器學習和NLP方面的各種課題。他最近的研究也將相關技術應用于計算生物學。更多信息請訪問//muhaochen.github.io。

Kai-Wei Chang是加州大學洛杉磯分校計算機科學系的助理教授。他的研究興趣包括為大型復雜數據設計魯棒的機器學習方法，以及為社會公益應用程序構建語言處理模型。其他信息請訪問

Dan Roth是賓夕法尼亞大學CIS的Eduardo D. Glandt Distinguished Professor，也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然語言理解建模、機器學習和推理方面的重大概念和理論進展而被認可。更多信息可以參考: /.

題目： Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends

簡介： 傳統上，語音處理研究將設計人工工程聲學特征（特征工程）的任務與設計有效的機器學習（ML）模型以做出預測和分類決策的任務分離為一個獨立的問題。這種方法有兩個主要缺點：首先，手工進行的特征工程很麻煩并且需要人類知識。其次，設計的功能可能不是最適合當前目標的。這引發了語音社區中采用表示表達學習技術的最新趨勢，該趨勢可以自動學習輸入信號的中間表示，從而更好地適應手頭的任務，從而提高性能。表示學習的重要性隨著深度學習（DL）的發展而增加，在深度學習中，表示學習更有用，對人類知識的依賴性更低，這有助于分類，預測等任務。本文的主要貢獻在于：通過將跨三個不同研究領域（包括自動語音識別（ASR），說話者識別（SR）和說話者情緒識別（SER））的分散研究匯總在一起，對語音表示學習的不同技術進行了最新和全面的調查。最近針對ASR，SR和SER進行了語音復習，但是，這些復習都沒有集中于從語音中學習表示法，這是我們調查旨在彌補的差距。

【導讀】越來越明顯的是，廣泛采用的機器學習模型可能導致歧視性結果，并可能加劇訓練數據之間的差異。隨著越來越多的機器學習用于現實世界中的決策任務，必須解決機器學習中的偏見和公平問題。我們的動機是，在各種新興方法中，表示學習為評估和潛在地減輕不公平現象提供了獨特的工具集。本教程介紹了現有的研究，并提出了在表示學習和公平的交集中存在的開放性問題。我們將研究學習公平任務不可知表示的可能性（不可能性），公平性和泛化性能之間的聯系，以及利用來自表示形式學習的工具來實現算法上的個人和群體公平性的機會。本教程旨在為廣大的機器學習實踐者提供幫助，并且必要的背景知識是預測性機器學習的工作知識。

作者介紹

Sanmi Koyejo，伊利諾伊大學香檳分校計算機科學系助理教授。

研究綜述: 我們的研究興趣是開發自適應魯棒機器學習的原理和實踐。最近的一些亮點包括：1）可伸縮的、分布式的和容錯的機器學習；2）度量引出;通過人機交互選擇更有效的機器學習指標。我們的應用研究主要集中在認知神經成像和生物醫學成像方面。最近的一些重點包括①生物圖像的生成模型，②時變腦電圖的估計和分析。

//sanmi.cs.illinois.edu/

題目： Representation Learning on Graphs: Methods and Applications

摘要：

圖機器學習是一項重要且普遍存在的任務，其應用范圍從藥物設計到社交網絡中的友情推薦。這個領域的主要挑戰是找到一種表示或編碼圖形結構的方法，以便機器學習模型能夠輕松地利用它。傳統上，機器學習方法依賴于用戶定義的啟發法來提取對圖的結構信息進行編碼的特征(例如，度統計或內核函數)。然而，近年來，使用基于深度學習和非線性降維的技術，自動學習將圖結構編碼為低維嵌入的方法激增。在這里，我們提供了一個概念上的回顧，在這一領域的關鍵進展，圖表示學習，包括基于矩陣分解的方法，隨機漫步的算法和圖神經網絡。我們回顧了嵌入單個節點的方法以及嵌入整個(子)圖的方法。在此過程中，我們開發了一個統一的框架來描述這些最近的方法，并強調了一些重要的應用程序和未來工作的方向。

作者簡介：

William L. Hamilton是麥吉爾大學計算機科學的助理教授，也是加拿大魁北克Mila AI研究所的CIFAR AI主席。William L. Hamilton開發的機器學習模型可以對這個復雜的、相互聯系的世界進行推理。研究興趣集中在機器學習、網絡科學和自然語言處理的交叉領域，目前的重點是快速發展的圖表示學習和圖神經網絡。

Rex Ying是斯坦福大學計算機科學二年級的博士生，研究主要集中在開發應用于圖形結構數據的機器學習算法。曾致力于開發可擴展到網絡規模數據集的廣義圖卷積網絡，應用于推薦系統、異常檢測和生物學。

題目： Network Representation Learning: A Survey

摘要：

隨著信息技術的廣泛應用，信息網絡越來越受到人們的歡迎，它可以捕獲各種學科之間的復雜關系，如社交網絡、引用網絡、電信網絡和生物網絡。對這些網絡的分析揭示了社會生活的不同方面，如社會結構、信息傳播和交流模式。然而，在現實中，大規模的信息網絡往往使網絡分析任務計算昂貴或難以處理。網絡表示學習是近年來提出的一種新的學習范式，通過保留網絡拓撲結構、頂點內容和其它邊信息，將網絡頂點嵌入到低維向量空間中。這有助于在新的向量空間中方便地處理原始網絡，以便進行進一步的分析。在這項調查中，我們全面回顧了目前在數據挖掘和機器學習領域的網絡表示學習的文獻。我們提出了新的分類法來分類和總結最先進的網絡表示學習技術，根據潛在的學習機制、要保留的網絡信息、以及算法設計和方法。我們總結了用于驗證網絡表示學習的評估協議，包括已發布的基準數據集、評估方法和開源算法。我們還進行了實證研究，以比較代表性的算法對常見數據集的性能，并分析其計算復雜性。最后，我們提出有希望的研究方向，以促進未來的研究。

作者簡介：

Xingquan Zhu是佛羅里達大西洋大學計算機與電氣工程和計算機科學系的教授，在中國上海復旦大學獲得了計算機科學博士學位。曾在多家研究機構和大學工作過，包括微軟亞洲研究院(實習)、普渡大學、佛蒙特大學和悉尼科技大學。主要研究方向:數據挖掘、機器學習、多媒體系統、生物信息學。

主題： Causal Confusion in Imitation Learning

簡介： 行為克隆通過訓練判別模型來預測觀察到的專家行為，從而將策略學習轉換為監督學習，這樣的判別模型不是因果關系，因為訓練過程并不了解專家與環境之間相互作用的因果結構。我們認為，由于模仿學習中的分布變化，忽略因果關系尤其有害。特別是，這會導致違反直覺的“因果識別錯誤”現象：訪問更多信息可能會導致性能下降。我們調查了此問題的產生方式，并提出了一種解決方案，可通過有針對性的干預措施（環境互動或專家查詢）來解決，以確定正確的因果模型。

嘉賓介紹： Dinesh Jayaraman，賓夕法尼亞大學的新任助理教授，還是Facebook AI Research的客座研究員，致力于視覺和機器人技術的交叉問題，在此之前，曾是加州大學伯克利分校伯克利人工智能研究實驗室的博士后。

Pim de Haan，高通 AI的助理研究員，研究方向機器學習和數學幾何的交叉。

教程題目：Unsupervised Cross-Lingual Representation Learning

教程簡介：

在本教程中，將會對弱監督、無監督跨語言詞表征領域的最新最前沿成果進行一次完整的綜述。在簡要介紹了監督跨語言詞表示的歷史之后，重點介紹以下內容:

1. 如何在資源非常有限以至于無法保證雙語監督的情況下引入弱監督以及無監督的跨語言詞表征;
2. 在無監督方法無法高效運行的情況下檢驗不同訓練條件和要求的效果;
3. 用于弱關聯性語言之間的更魯棒的方法能夠改善不穩定以及表現不佳的問題;
4. 如何綜合評價這種表述;
5. 介紹能從跨語言詞表征中獲得收益的實際應用(如MT、對話、跨語言序列標記和結構化預測應用、跨語言IR)

組織者：

Sebastian Ruder是倫敦DeepMind的一名研究科學家。在Insight數據分析研究中心完成了自然語言處理和深度學習的博士學位，同時在柏林的文本分析初創公司AYLIEN擔任研究科學家。

Anders S?gaard是哥本哈根大學計算機科學自然語言處理與機器學習教授，同時是柏林谷歌的訪問科學家。

Ivan Vuli?目前擔任劍橋大學詞匯項目(2015-2020年跨語言詞匯習得)的高級研究員。在庫魯汶大學獲得了計算機科學博士學位，研究興趣是自然語言處理、人類語言理解、機器學習理論和應用,信息檢索,主要在多語言/跨語言和多模式設置,包括(但不限于)雙語詞典提取和跨語言語義建模、跨語言和多語言信息檢索,分布語義,跨語言文本挖掘和知識轉移,語言基礎和認知建模的語言,詞匯獲取、文本表示學習、潛在主題模型、文本數據的概率建模、術語挖掘和對齊、機器翻譯、資源稀缺語言的無監督技術、多習慣用法和多模態信息搜索和檢索、多模態和視覺/感知增強語義等。

報告名稱： Deep Geometric Learning of Big Data and Applications

報告摘要： 深度學習技術在計算機視覺，自然語言處理和語音分析方面取得了令人印象深刻的性能。這些任務專注于位于歐幾里得域上的數據，并且針對這些域的數學工具（例如卷積，下采樣，多尺度和局部性）已得到明確定義，并受益于GPU等快速計算硬件。但是，許多基本數據和任務都涉及非歐幾里德領域，而這些領域最初并不是為深度學習方法設計的。例如計算機圖形學中的3D點云和3D形狀，大腦結構連接網絡中的功能性MRI信號，基因組學中基因調控網絡的DNA，量子化學中的藥物設計，高能物理中的中微子檢測以及常見的知識圖理解視覺場景。這一主要局限性促使近年來的研究界將神經網絡推廣到任意的幾何域，例如圖形和流形。卷積，粗化，多分辨率，因果關系等基本操作已通過頻譜和空間方法進行了重新定義。這些非歐氏數據分析問題的最新結果顯示了在許多領域中都有希望的令人振奮的新工具。

該研討會的目標是：1）召集數學家，機器學習科學家和領域專家，以建立這些新興技術的現狀； 2）討論用于分析這些新的深度學習技術的框架； 3）確立新的研究方向以及這些技術在神經科學，社會科學，計算機視覺，自然語言處理，物理學，化學中的應用，以及4）討論了GPU以外的適用于非歐幾里德領域的新計算機處理體系結構。

邀請嘉賓： Jure Leskovec，斯坦福大學計算機科學副教授。 研究重點是對大型社會和信息網絡進行挖掘和建模，它們的演化，信息的傳播以及對它們的影響。 調查的問題是由大規模數據，網絡和在線媒體引起的。

Stanley Osher，加州大學洛杉磯分校 IPAM 數學與計算機科學教授，電氣工程與化學和生物分子工程教授。

報告部分大綱：

• 自動微分，PyTorch和圖形神經網絡
• 深度學習作為稀疏性強制算法
• 語義3D重建
• 高維幾何的視角
• 穩健性與準確性
• 異質分子結構定位中的逆問題和無監督學習