亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

文本數據在網絡上無處不在且海量:新聞報道、社交媒體帖子、維基百科文章等每天都在網上創建和更新。雖然它們包含豐富的信息和知識，但在文本密集型應用中有效利用它們仍然是一個公開的挑戰。預訓練語言模型(PLM)的最新進展已經徹底改變了文本挖掘和處理:通過在從網絡獲得的大規模文本語料庫上預訓練神經架構，然后將其表示轉移到特定任務的數據中，可以有效利用在網絡規模語料庫中編碼的知識，從而顯著提高下游任務的性能。PLM最常見的自適應方法是預訓練-微調范式，其中PLM在下游任務標記的數據上進行進一步訓練。然而，這種范式的主要挑戰是，對PLM的全監督微調通常需要大量的人工標注，而在實踐中獲取這些標注是昂貴的。

在本教程中，我們將介紹從網絡規模的語料庫中學習的預訓練文本表示的最新進展，以及它們在廣泛的文本挖掘任務中的應用。本文專注于不需要大量人工標注的弱監督方法，包括(1)作為下游任務基礎的預訓練語言模型，(2)用于從大規模文本語料庫中發現主題的無監督和種子引導方法，以及(3)用于文本分類和高級文本挖掘任務的弱監督方法。

在過去的幾年中，圖上的深度學習在各個領域取得了顯著的進展。然而，大多數圖學習任務假設圖是靜態的，而現實世界的圖可能會不斷增長或演變。因此，研究如何在不忘記之前學習的知識的情況下，不斷地使圖學習模型適應新的模式/任務是至關重要的。為此，在本教程中，我們將介紹持續圖學習(CGL)的新領域。具體來說，我們將(1)介紹不同的持續圖學習設置，(2)提出CGL中的關鍵挑戰，(3)強調現有的CGL技術，以及(4)討論未來的方向。本教程時長為3小時，包括150分鐘的演示和30分鐘的問答。

現實世界的圖通常是不斷增長或演變的。例如，新類型的論文可能會不斷添加到引文網絡中，而文檔分類器有望不斷適應并能夠對新類型的論文進行分類。在藥物設計研究中，可能會不斷地遇到具有新性質的分子，而分子性質預測器必須不斷地學習新的分子性質。現有的圖學習模型擅長學習新的模式/任務。然而，高可塑性也帶來了災難性遺忘問題，即模型在學習新任務后，對先前學習的任務的性能急劇下降。為此，CGL最近受到越來越多的關注，因此將在本教程中進行深入討論。

由于不同領域的圖形數據形式復雜，我們首先介紹CGL的形式化設置。具體來說，我們將解釋任務增量(task-IL)和類增量(class-IL)場景下的節點級任務和圖級任務。然后，基于這些設置，我們將介紹CGL的關鍵挑戰，以及與傳統的獨立數據(如圖像)上的持續學習的區別。接下來，我們將介紹現有的方法，包括專門為CGL開發的方法，以及適用于CGL的傳統持續學習方法。最后，在分析現有方法優缺點的基礎上，指出尚待解決的挑戰和未來的研究方向。

在我們的社會中，多模態數據的日益流行導致了對機器的需求增加，以全面地理解這些數據。然而，渴望研究此類數據的數據科學家和機器學習工程師面臨著從現有教程中融合知識的挑戰，這些教程通常單獨處理每個模態。根據我們在新加坡政府對多模態城市問題反饋進行分類的經驗，我們進行了一個手工教程，以希望將機器學習應用于多模態數據。 2021年，作為新加坡政府國家人工智能戰略計劃的一部分，新加坡政府技術機構(GovTech)的數據科學和人工智能部門(DSAID)構建了一個反饋分析引擎[1]，根據市政問題反饋，該引擎可以預測:

(1)用戶反饋的案例類型，以便從反饋中提取相關信息，以及 (2)能最有效地處理這個問題的機構。

該引擎由基于歷史數據的深度學習建立的分類模型組成，實現了良好的準確性，可以部署在OneService聊天機器人[2]中。創建這個引擎的最大挑戰之一是處理多模態反饋數據，這些數據包括: (1)文本:對問題的描述， (2)地理位置:問題發生的位置，以及 (3) 圖片:補充文字描述的圖片。

由于通過移動設備捕捉和傳輸圖像的便捷性，多模態數據，尤其是圖文并茂的數據在我們的社會中越來越普遍。除了社交媒體，這類數據在私營和公共部門也都在增長。企業和政府開發了更多、更好的應用程序，這些應用允許人們提交內容(例如，投訴、贊美、建議、技術支持請求、求助電話、產品評論)，而不僅僅是文本形式，還附帶圖片，這樣接收者就可以更好地了解手頭的問題。隨著這類數據的增加，對機器整體理解文本和圖像以幫助人類做出決定的需求也在增加。這反過來又導致了對數據科學家和機器學習工程師的需求增加，他們知道如何構建可以做到這一點的模型。然而，大多數與此問題相關的現有教程分別處理文本和圖像，因為它們傳統上來自不同的領域。對于試圖解決此類問題的初級數據科學家(甚至一些中級數據科學家)和機器學習工程師來說，融合來自這些不同教程的知識是一個挑戰。我們希望通過本教程幫助他們克服這些挑戰。

在本教程中，我們教參與者如何使用Transformer[3]對包含文本和圖像的多模態數據進行分****類。它的目標受眾是對神經網絡有一定的了解，并且能夠輕松地編寫代碼。

(1) 文本分類:使用BERT[4]訓練文本分類模型 (2) 文本和圖像分類(v1):使用BERT和ResNet-50[5]訓練文本和圖像分類模型 (3) 文本與圖像分類(v2):使用Align before Fuse (ALBEF)[6]訓練文本與圖像分類模型

有各種各樣的NLP問題可以用圖結構最好地表達。基于圖的深度學習技術(即圖神經網絡(GNNs))在建模非歐氏數據(如圖)方面的巨大優勢，為解決具有挑戰性的圖類NLP問題打開了一扇新的大門，并取得了巨大的成功。盡管取得了成功，但在圖上的深度學習(DLG4NLP)仍然面臨許多挑戰(如自動圖的構造、復雜圖的圖表示學習、復雜數據結構之間的映射學習)。

本教程將介紹深度學習技術在自然語言處理中的應用，包括自然語言處理的自動圖構造、自然語言處理的圖表示學習、自然語言處理的基于GNN的高級模型(如graph2seq和graph2tree)，以及GNN在各種自然語言處理任務中的應用(如機器翻譯、圖像處理和圖像處理)。自然語言生成、信息提取和語義解析)。此外，還將包括實踐演示會議，以幫助聽眾獲得應用GNNs解決具有挑戰性的NLP問題的實際經驗——使用我們最近開發的開源庫Graph4NLP，這是第一個為研究人員和實踐者提供的用于各種NLP任務的輕松使用GNNs的庫。

//www.aminer.cn/grla_ecmlpkdd2020

圖表示學習為挖掘和學習網絡數據提供了一個革命性的范例。在本教程中，我們將系統地介紹網絡上的表示學習。我們將以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行業案例作為教程的開始，來解釋網絡分析和網絡圖挖掘如何從表示學習中受益。然后，我們將全面介紹圖表示學習的歷史和最新進展，如網絡嵌入、圖神經網絡及其預訓練策略。獨特的是，本教程旨在向讀者提供圖形表示學習的基本理論，以及我們在將這方面的研究轉化為工業應用中的實際應用方面的經驗。最后，我們將為開放和可重現的圖表示學習研究發布公共數據集和基準。

圖表示學習

近年來，圖神經網絡(GNNs)在結構化數據建模方面取得了巨大的成功。然而，大多數GNN是為同構網絡設計的，即所有節點或邊具有相同的特征空間和表示分布。這使得它們無法代表真實世界中不斷演化的異構圖，如知識圖譜、物聯網圖、領英經濟圖、開放學術圖和Facebook實體圖。在這次演講中，我將介紹圖神經網絡架構，它可以建模十億年規模的異構圖形與動態。重點將是我們如何設計圖注意力和相對時間編碼機制，以捕獲真實圖異構和動態性質。接下來，我將進一步討論為一般的圖挖掘任務預先訓練這類GNN的策略。最后，為了處理web規模的數據，我將介紹一種異構的小型批處理圖采樣算法，該算法帶有一個歸納的時間戳分配方法，用于高效和可擴展的訓練。大量的實驗顯示了在實踐中對網絡規模圖進行預訓練的GNNs的前景。

//ericdongyx.github.io/papers/slides-Graph-Rep-Learning-GNN-PreTraining-at-CCF-BAAI-2020.pdf