亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

為了對圖結構數據建模，圖學習，特別是利用圖神經網絡的深度圖學習，最近引起了學術界和工業界的廣泛關注。目前流行的圖學習方法通常依賴于從“大”數據中學習，需要大量標注數據進行模型訓練。然而，通常圖與“小”標記數據關聯，作為數據注釋，在圖上標記總是耗時和消耗資源。因此，在有限甚至沒有標記數據的低資源環境下，研究人力監督下的圖學習是非常必要的。在本教程中，我們將專注于圖最小監督學習的最先進的技術，特別是一系列弱監督學習、少樣本學習和自監督學習方法的圖結構數據及其現實應用。本教程的目標是: (1) 對圖最小監督學習中的問題進行正式的分類，并討論不同學習場景下的挑戰; (2) 全面回顧了圖最小監督學習的現有和最新進展; (3) 闡明有待解決的問題和未來的研究方向。本教程介紹了最小監督學習中的主要主題，并為圖學習的新前沿提供了指南。我們相信本教程對研究人員和實踐者是有益的，允許他們在圖學習上合作。

//sites.google.com/asu.edu/kdd2022-tutorial-gmsl

本教程主要關注圖結構數據的最小監督學習(即弱監督學習、少樣本學習和自監督學習)的問題和技術。我們希望觀眾有機器學習、圖挖掘和圖神經網絡的一般背景知識。目標受眾是對該主題不熟悉或感興趣的學生、研究人員和從業人員。本教程將以研究生水平的講座形式進行。具備深度學習、圖挖掘和機器學習的基礎知識優先考慮，但不是必需的。我們將通過網站和社交媒體發布我們的教程信息。

近年來，我們從網絡世界的眾多平臺和物理世界的各種傳感器中生成和收集數據的能力迅速增長。圖作為一種公共語言，用于建模大量的結構化和關系系統，如社會網絡、知識圖譜和學術圖，其中實體被表示為節點，而它們的關系被表示為邊。最近，圖學習算法，尤其是基于圖神經網絡(GNNs)的算法[27,30]由于其在解決現實問題方面的重大影響而受到了廣泛的研究關注。為了利用數據之間的固有結構，圖學習在方法論上取得了重大進展，在不同領域的應用中產生了有前途的結果，從網絡安全[38]到自然語言處理[9]。

一般來說，現有的圖學習算法都專注于在訓練過程中能夠訪問到大量的人類注釋示例的設置。這種假設往往是不可行的，因為收集這些輔助知識是費力的，需要密集的領域知識，特別是考慮到圖結構數據的異構性[10,31]。因此，在有限或沒有標記訓練數據的不同低資源設置下研究圖學習是具有挑戰性的，但也是勢在必行的。其中，圖最小監督學習領域的三個基本問題引起了越來越多的研究關注: (1)圖弱監督學習(graph weaksupervised learning)，即利用不完整、間接或不準確的監督信號來學習針對特定下游任務的有效GNN;(2)圖少樣本學習(Graph few -shot Learning)，它的目標是在只有少數標簽實例可用的情況下處理不可見的任務(從新的標簽空間);(3)圖自監督學習(Graph Self-supervised Learning)，旨在訓練任務無關的GNN或增強GNN在特定的下游任務上的能力，而不需要任何語義注釋。為了解決上述每個基本問題，最近研究人員將不同的機器學習技術應用于圖域，如數據增強[37]、元學習學習[29]和對比學習[21]。因此，我們組織本教程來回顧和討論圖最小監督學習的最新進展，并討論如何利用它們來解決現實世界的問題。

在本教程中，我們的目標是提供一個全面的審查這個新興的和重要的研究主題: 圖最小監督學習。我們將首先介紹圖學習的理論基礎，特別關注圖神經網絡。然后我們討論了圖最小監督學習的三個基本問題以及近年來的關鍵文獻。結合不同粒度級別上的主要圖挖掘任務(例如，節點分類、鏈接預測和圖分類)，我們在每個類別中介紹了用于節點級、邊緣級和圖級任務的技術。最后，我們將介紹圖最小監督學習在不同領域的應用，并討論該研究領域的未來發展方向。在圖學習社區中，我們認為圖最小監督學習是一個具有重要社會影響的前沿研究課題，將吸引學術界和業界的研究人員和從業者。

**目錄 **

• 介紹和概述。首先，我們將簡要介紹深度圖學習及其在低資源環境下面臨的挑戰，然后我們將涉及圖神經網絡[30]、元學習[13]、對比學習[2]等相關主題的一些基礎知識，并介紹圖最小監督學習的概述。

• 圖弱監督學習。我們將介紹帶有弱監督的圖學習方法和應用。重點抓好監督不到位、間接監督和不準確監督三種薄弱監督。本部分將回顧圖自訓練[8,18]、圖主動學習[5,6,14]和圖遷移學習[7,11,31]等一系列學習技術。

• 我們將介紹圖少樣本學習的方法和應用。具體來說，我們將介紹兩類方法:基于元梯度的方法[22,28,35,36]和基于度量學習的方法[10-12,16,31,34]，以展示如何處理從未見過的節點、邊和圖。此外，我們還將討論圖零樣本學習[19,20,24]。

• 圖自監督學習。我們將介紹圖自監督學習的方法和應用。具體來說，我們將涵蓋三種主要的范式，包括圖生成建模[3,4,17,23]、圖屬性預測[15,26]和圖對比學習[1,25,32,33]。

• 結論和討論。我們將總結所涵蓋的主題并討論它們之間的聯系。并討論了本課題未來的研究方向。

講者：

訓練強化學習(RL)系統在實際任務中表現良好是困難的，原因有很多。一個重要的原因是，工程師和應用研究人員面臨著大量的設計選擇，旨在將現實世界的問題表示為部分可觀察馬爾可夫決策(POMDP)抽象，這不足以捕捉問題的所有方面。因此，工程師通過試驗和錯誤，優化RL系統設計，直到達到令人滿意的性能。這是一個累人、耗時和低效的過程。learn to learn和Auto RL將這個過程的部分自動化，允許用戶專注于更高層次的設計問題。在本教程中，我們將回顧當前建立的技術，如環境、算法、表示和獎勵學習，并討論可用的工具、它們如何以及為什么工作，以及它們何時會失敗。最后，由于這是一個新興的領域，我們將總結該領域的未來前景和面臨的開放問題。

//automl.cc/tutorials/

圖神經網絡(GNN)已被用于解決少樣本學習(FSL)問題，并顯示出在換能器設置下的巨大潛力。但在歸納設置下，現有的基于GNN的方法競爭力較弱。這是因為他們使用一個實例GNN作為標簽傳播/分類模塊，該模塊與一個特征嵌入網絡共同進行元學習。這種設計是有問題的，因為分類器需要快速適應新的任務，而嵌入不需要。為了解決這一問題，本文提出了一種新的混合GNN (HGNN)模型，該模型由兩個GNN、一個實例GNN和一個原型GNN組成。它們代替標簽傳播，作為嵌入特征的適應模塊，使元學習的特征嵌入快速適應新任務。重要的是，它們的設計是為了處理FSL中一個基本但經常被忽視的挑戰，即每個類中只有少量的樣本，任何少量樣本分類器都將對糟糕的采樣樣本敏感，這些樣本要么是異常值，要么會導致類間分布重疊。我們的兩個GNN分別針對這兩種差采樣的少樣本進行設計，并在混合GNN模型中利用它們的互補性。大量實驗表明，我們的HGNN在三個FSL基準測試中取得了新的先進水平。

由于其在非歐幾里德數據(如圖或流形)建模方面的強大能力，圖的深度學習技術(即圖神經網絡(GNNs))為解決具有挑戰性的圖相關NLP問題打開了一扇新的大門。將深度學習技術應用于自然語言處理的研究興趣大增，并在許多自然語言處理任務中取得了相當大的成功，包括句子分類、語義角色標注和關系抽取等分類任務，以及機器翻譯、問題生成和摘要等生成任務。盡管取得了這些成功，但面向NLP的圖深度學習仍然面臨許多挑戰，包括自動將原始文本序列數據轉換為高度圖結構的數據，以及有效地建模復雜數據，這些數據涉及基于圖的輸入和其他高度結構的輸出數據(如序列、樹、樹)之間的映射。以及節點和邊中都有多種類型的圖數據。本教程將涵蓋在圖形技術上應用深度學習的相關和有趣的主題，包括用于NLP的自動圖形構建、用于NLP的圖形表示學習、用于NLP的基于高級GNN模型(例如，graph2seq、graph2tree和graph2graph)，以及GNN在各種NLP任務中的應用(例如，機器翻譯、自然語言生成、信息提取和語義解析)。此外，還將包括動手演示會議，以幫助觀眾獲得使用我們最近開發的開源庫Graph4NLP應用gnn解決具有挑戰性的NLP問題的實踐經驗。Graph4NLP是第一個為研究人員和實踐者方便地使用GNN完成各種NLP任務的庫。

//github.com/dlg4nlp/dlg4nlp.github.io

人類具有不斷從經驗中學習的非凡能力。我們不僅可以把以前學到的知識和技能運用到新的情況下，我們也可以把這些作為以后學習的基礎。人工智能(AI)的宏偉目標之一是構建一個人工的“持續學習”代理，通過自主增量開發越來越復雜的知識和技能，從自身經驗構建對世界的復雜理解(Parisi, 2019年)。然而，盡管有早期的推測和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010)，很少有研究和努力致力于解決這一愿景。當前人工智能系統深受新數據或新環境的影響，這些新數據或新環境與他們所接受的訓練稍有不同(Goodfellow, 2013)。此外，學習過程通常被限制在限定和孤立的任務內的固定數據集，這可能很難導致出現更復雜和自主的智能行為。從本質上講，持續學習和適應能力，雖然經常被認為是每一個智能代理的基本支柱，但大多被排除在主要的人工智能研究重點之外。

在本教程中，我們提出根據機器學習研究和人工智能深度架構(Lomonaco, 2019)的最新進展總結這些想法的應用。從一個動機和一個簡短的歷史開始，我們將最近的持續學習進展與之前在相關主題上的研究努力聯系起來，并總結了主要方法、基準和關鍵結果方面的最新進展。在教程的第二部分，我們計劃涵蓋更多關于低監督信號的持續學習的探索性研究，以及與其他范式的關系，如無監督，半監督和強化學習。我們還將強調神經科學的最新發現對原始持續學習算法設計的影響，以及它們在現實應用中的部署。最后，我們將強調持續學習的概念，作為可持續機器學習的關鍵技術推動者及其社會影響，并概述有趣的研究問題和未來值得解決的方向。

//sites.google.com/view/cltutorial-icml2021

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

圖神經網絡(GNNs)已經成為學習某些算法任務的流行工具。但是，它們的泛化性質不太好理解。在經驗上，我們觀察到任務結構(或目標算法)和架構的歸納偏差之間的相互作用:盡管許多網絡可能能夠代表一個任務，但一些架構比其他架構更好地學習它。在這次演講中，我將展示一種形式化這種關系的方法，以及在訓練分布內外推廣的經驗和理論含義。

GPT-3: Few-Shot Learning with a Giant Language Model

最近的工作表明，通過對大量文本語料庫進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了實質性進展。雖然這種方法在架構中通常與任務無關，但它仍然需要成千上萬個樣例的特定于任務的微調數據集。相比之下，人類通常只通過幾個例子或簡單的指令就能完成一項新的語言任務——這是目前的NLP系統在很大程度上難以做到的。我將討論GPT-3，這是一種具有1750億個參數的自回歸語言模型，它演示了如何擴大語言模型可以極大地改善與任務無關的、少樣本的性能，有時甚至可以達到與先前的最先進的微調方法相媲美的競爭力。GPT-3可以應用于沒有任何漸變更新或微調的任務，與少數樣本演示指定純粹通過文本與模型的交互。我將概述GPT-3是什么以及它是如何工作的，討論我們從這樣一個系統中看到的功能，以及它們如何啟用與語言模型交互的新方式，此外還將關注這些交互帶來的局限性和更廣泛的問題。

//nlp.stanford.edu/seminar/details/melaniesubbiah.shtml

理想情況下，我們希望將兩個幾何對象插入到一個函數中，然后通過函數來說明它們之間的相似性。這將允許我們回答關于下游應用程序中幾何數據的不同層次上的各種問題。然而，對于高級任務，如計算樣式相似度或三維形狀之間的頂點到頂點映射，直接在原始幾何數據上進行這些操作是困難的，因為更抽象的任務需要更結構化的聚合信息。實現這種相似性函數的一種方法是首先計算這些數據到嵌入空間的映射，從而對不同幾何元素之間的有意義的關系進行編碼，例如在風格上，更相似的形狀嵌入得更緊密。通過利用這個嵌入空間，我們可以計算并輸出相似度度量。然而，手工構建保存這些屬性的映射是很困難的，因為為越來越抽象的任務制定顯式規則或模型變得越來越具有挑戰性。因此，我們使用了由人類提供的與任務相關的元信息的幾何數據集合。這允許我們通過使用神經網絡靈活地制定地圖計算，而不用對映射圖本身的形式做太多假設。為了從廣泛可用的機器學習技術中獲益，我們必須首先考慮如何選擇合適的幾何數據表示作為各種學習模型的輸入。具體來說，根據數據源的可用性和任務的特定需求，我們從圖像、點云和三角形網格計算嵌入。一旦我們找到了對輸入進行編碼的合適方法，我們就會探索不同的方法來塑造學習到的中間域(嵌入)，這超越了直接的基于分類分布的交叉熵最小化方法。

//sites.google.com/view/geometry-learning-foundation/schedule#h.p_am99P6ELk_gL

借助現代的高容量模型，大數據已經推動了機器學習的許多領域的革命，但標準方法——從標簽中進行監督學習，或從獎勵功能中進行強化學習——已經成為瓶頸。即使數據非常豐富，獲得明確指定模型必須做什么的標簽或獎勵也常常是棘手的。收集簡單的類別標簽進行分類對于數百萬計的示例來說是不可能的，結構化輸出(場景解釋、交互、演示)要糟糕得多，尤其是當數據分布是非平穩的時候。

自監督學習是一個很有前途的替代方法，其中開發的代理任務允許模型和代理在沒有明確監督的情況下學習，這有助于對感興趣的任務的下游性能。自監督學習的主要好處之一是提高數據效率:用較少的標記數據或較少的環境步驟(在強化學習/機器人技術中)實現可比較或更好的性能。

自監督學習(self-supervised learning, SSL)領域正在迅速發展，這些方法的性能逐漸接近完全監督方法。