亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要： 近年來，新興的圖神經網絡因其強大的圖學習和推理能力，得到學術界和工業界的廣泛關注，被認為是推動人工智能領域邁入“認知智能”階段的核心力量.圖神經網絡融合傳統圖計算和神經網絡的執行過程，形成了不規則與規則的計算和訪存行為共存的混合執行模式.傳統處理器結構設計以及面向圖計算和神經網絡的加速結構不能同時應對2種對立的執行行為，無法滿足圖神經網絡的加速需求.為解決上述問題，面向圖神經網絡應用的專用加速結構不斷涌現，它們為圖神經網絡定制計算硬件單元和片上存儲層次，優化計算和訪存行為，取得了良好的加速效果.以圖神經網絡執行行為帶來的加速結構設計挑戰為出發點，從整體結構設計以及計算、片上訪存、片外訪存層次對該領域的關鍵優化技術進行詳實而系統地分析與介紹.最后還從不同角度對圖神經網絡加速結構設計的未來方向進行了展望，期望能為該領域的研究人員帶來一定的啟發.

人 工 智 能 時 代,包 括 卷 積 神 經 網 絡 (convoluＧ tionalneuralnetworks,CNNs)、循 環 神 經 網 絡 (recurrentneuralnetworks,RNNs)等在內的機器 學習應用為社會與生活的智能化做出了革新性的巨 大貢獻．然而傳統的神經網絡只能處理來自歐幾里 得空間(Euclideanspace)的數據[１],該類分布規整 且結構固定的數據無法靈活地表示事物間的復雜關 系．現實生活中,越來越多的場景采用圖作為表征數 據屬性與關系的結構．非歐幾里得空間中的圖結構 理論上能夠表征世間萬物的互聯關系(如社交網絡、 路線圖、基因結構等)[２],具有極為豐富和強大的數 據表達能力．圖計算是一種能夠對圖進行處理,深入 挖掘圖數據內潛藏信息的重要應用,但其不具備對 圖數據進行學習的能力．

受到傳統神經網絡與圖計算應用的雙重啟發, 圖神經網絡(graph neural networks,GNNs)應運 而生．圖神經網絡使得機器學習能夠應用于非歐幾 里得空間的圖結構中,具備對圖進行學習的能力．目 前圖神經網絡已經廣泛應用到節點分類[３]、風控評 估[４]、推薦系統[５]等眾多場景中．并且圖神經網絡被 認為是推動人工智能從“感知智能”階段邁入“認知 智能”階段的核心要素[６Ｇ８],具有極高的研究和應用 價值．

圖神經網絡的執行過程混合了傳統圖計算和神 經網絡應用的不同特點．圖神經網絡通常包含圖聚 合和圖更新２個主要階段．１)圖聚合階段的執行行 為與傳統圖計算相似,需要對鄰居分布高度不規則 的圖進行遍歷,為每個節點進行鄰居信息的聚合,因 此這一階段具有極為不規則的計算和訪存行為特 點．２)圖更新階段的執行行為與傳統神經網絡相似, 通過多層感知機(multiＧlayerperceptrons,MLPs) 等方式來進行節點特征向量的變換與更新,這一階 段具有規則的計算和訪存行為特點．

圖神經網絡的混合執行行為給應用的加速帶來 極大挑戰,規則與不規則的計算與訪存模式共存使 得傳統處理器結構設計無法對其進行高效處理．圖 聚合階段高度不規則的執行行為使得 CPU 無法從 其多層次緩存結構與數據預取機制中獲益．主要面 向密集規則型計算的 GPU 平臺也因圖聚合階段圖 遍歷的不規則性、圖更新階段參數共享導致的昂貴 數據復制和線程同步開銷等因素無法高效執行圖神 經網絡[９]．而已有的面向傳統圖計算應用和神經網 絡應用的專用加速結構均只關注于單類應用,無法 滿足具有混合應用特征的圖神經網絡加速需求．因 此為圖神經網絡專門設計相應的加速結構勢在必行．

自２０２０年全球首款面向圖神經網絡應用的專 用加速結構 HyGCN [９]發表后,短時間內學術界已 在該領域有多篇不同的硬件加速結構成果產出．為 使讀者和相關領域研究人員能夠清晰地了解圖神經 網絡加速結構的現有工作,本文首先對圖神經網絡 應用的基礎知識、常見算法、應用場景、編程模型以 及主流的基于通用平臺的框架與擴展庫等進行介 紹．然后以圖神經網絡執行行為帶來的加速結構設 計挑戰為出發點,從整體結構設計以及計算、片上訪 存、片外訪存多個層次對該領域的關鍵優化技術進 行詳實而系統的分析與介紹．最后還從不同角度對 圖神經網絡加速結構設計的未來方向進行了展望, 期望能為該領域的研究人員帶來一定的啟發．

當前已有的圖神經網絡應用領域綜述論文從不 同角度對圖神經網絡算法以及軟件框架進行總結與 分析．綜述[１]對應用于數據挖掘和機器學習領域的 主流圖神經網絡算法進行分類,并討論不同類別算 法的關系與異同．綜述[１０]依據圖神經網絡模型的結 構和訓練策略的不同,提出新的分類方法,并以模型 的發展歷史為主線進行介紹與分析．綜述[１１]圍繞圖 的表示學習(representationlearning)方法展開,并建立統一的框架來描述這些相關模型．綜述[１２]關注 于圖神經網絡的理論屬性,總結圖神經網絡的表達 能力(expressivepower)并對比分析克服表達限制 的圖神經網絡模型．綜述[１３]基于計算機的金字塔組 織結構,對面向圖計算的加速結構進行分類和總結, 對于新興的圖神經網絡應用,僅以 HyGCN [９]作為 案例進行了討論．與前述工作側重點不同的是,本文 針對圖神經網絡加速結構設計過程中涉及到的關鍵 優化技術,進行系統性分析和總結,具有重要意義與 啟發價值．

在監督模式下訓練的深度模型在各種任務上都取得了顯著的成功。在標記樣本有限的情況下，自監督學習(self-supervised learning, SSL)成為利用大量未標記樣本的新范式。SSL在自然語言和圖像學習任務中已經取得了很好的效果。最近，利用圖神經網絡(GNNs)將這種成功擴展到圖數據的趨勢。

在本綜述論文中，我們提供了使用SSL訓練GNN的不同方法的統一回顧。具體來說，我們將SSL方法分為對比模型和預測模型。

在這兩類中，我們都為方法提供了一個統一的框架，以及這些方法在框架下的每個組件中的不同之處。我們對GNNs SSL方法的統一處理揭示了各種方法的異同，為開發新的方法和算法奠定了基礎。我們還總結了不同的SSL設置和每個設置中使用的相應數據集。為了促進方法開發和實證比較，我們為GNNs中的SSL開發了一個標準化測試床，包括通用基線方法、數據集和評估指標的實現。

//www.zhuanzhi.ai/paper/794d1d27363c4987efd37c67ec710a18

引言

深度模型以一些數據作為輸入，并訓練輸出期望的預測。訓練深度模型的一種常用方法是使用有監督的模式，在這種模式中有足夠的輸入數據和標簽對。

然而，由于需要大量的標簽，監督訓練在許多現實場景中變得不適用，標簽是昂貴的，有限的，甚至是不可用的。

在這種情況下，自監督學習(SSL)支持在未標記數據上訓練深度模型，消除了對過多注釋標簽的需要。當沒有標記數據可用時，SSL可以作為一種從未標記數據本身學習表示的方法。當可用的標記數據數量有限時，來自未標記數據的SSL可以用作預訓練過程，在此過程之后，標記數據被用來為下游任務微調預訓練的深度模型，或者作為輔助訓練任務，有助于任務的執行。

最近，SSL在數據恢復任務中表現出了良好的性能，如圖像超分辨率[1]、圖像去噪[2,3,4]和單細胞分析[5]。它在語言序列[6,7,8]、圖像[9,10,11,12]、帶有序列模型的圖[13,14]等不同數據類型的表示學習方面也取得了顯著進展。這些方法的核心思想是定義前置訓練任務，以捕獲和利用輸入數據的不同維度之間的依賴關系，如空間維度、時間維度或通道維度，具有魯棒性和平滑性。Doersch等人以圖像域為例，Noroozi和Favaro[16]，以及[17]等人設計了不同的前置任務來訓練卷積神經網絡(CNNs)從一幅圖像中捕捉不同作物之間的關系。Chen等人的[10]和Grill等人的[18]訓練CNN捕捉圖像的不同增強之間的依賴關系。

根據訓練任務的設計，SSL方法可以分為兩類;即對比模型和預測模型。這兩個類別之間的主要區別是對比模型需要數據-數據對來進行訓練，而預測模型需要數據-標簽對，其中標簽是自生成的，如圖1所示。對比模型通常利用自監督來學習數據表示或對下游任務進行預訓練。有了這些數據-數據對，對比模型就能區分出正面對和負面對。另一方面，預測模型是在監督的方式下訓練的，其中標簽是根據輸入數據的某些屬性或選擇數據的某些部分生成的。預測模型通常由一個編碼器和一個或多個預測頭組成。當應用于表示學習或預訓練方法時，預測模型的預測頭在下游任務中被刪除。

在圖數據分析中，SSL可能非常重要，它可以利用大量未標記的圖，如分子圖[19,20]。隨著圖神經網絡的快速發展[21,22,23,24,25,26,27]，圖神經網絡的基本組成[28,29,30,31,32,33]等相關領域[34,35]得到了深入的研究，并取得了長足的進展。相比之下，在GNNs上應用SSL仍然是一個新興領域。由于數據結構的相似性，很多GNN的SSL方法都受到了圖像領域方法的啟發，如DGI[36]和圖自動編碼器[37]。然而，由于圖結構數據的唯一性，在GNN上應用SSL時存在幾個關鍵的挑戰。為了獲得良好的圖表示并進行有效的預訓練，自監督模型可以從圖的節點屬性和結構拓撲中獲取必要的信息。對于對比模型來說，由于自監督學習的GPU內存問題并不是圖形的主要關注點，關鍵的挑戰在于如何獲得良好的圖形視圖以及針對不同模型和數據集的圖形編碼器的選擇。對于預測模型，至關重要的是應該生成什么標簽，以便了解非平凡的表示，以捕獲節點屬性和圖結構中的信息。

為了促進方法論的發展和促進實證比較，我們回顧GNN的SSL方法，并為對比和預測方法提供了統一的觀點。我們對這一問題的統一處理，可以揭示現有方法的異同，啟發新的方法。我們還提供了一個標準化的測試，作為一個方便和靈活的開源平臺，用于進行實證比較。我們將本次綜述論文總結如下:

• 我們提供關于圖神經網絡SSL方法的徹底和最新的回顧。據我們所知，我們的綜述查首次回顧了關于圖數據的SSL。

• 我們將GNN現有的對比學習方法與一般框架統一起來。具體來說，我們從互信息的角度統一對比目標。從這個新的觀點來看，不同的對比學習方式可以看作是進行三種轉換來獲得觀點。我們回顧了理論和實證研究，并提供見解來指導框架中每個組成部分的選擇。

• 我們將SSL方法與自生成標簽進行分類和統一，作為預測學習方法，并通過不同的標簽獲取方式來闡明它們之間的聯系和區別。

• 我們總結了常用的SSL任務設置以及不同設置下常用的各類數據集，為未來方法的發展奠定了基礎。

• 我們開發了一個用于在GNN上應用SSL的標準化測試平臺，包括通用基準方法和基準的實現，為未來的方法提供了方便和靈活的定制。

深度學習在大量領域取得優異成果，但仍然存在著魯棒性和泛化性較差、難以學習和適應未觀測任務、極其依賴大規模數據等問題.近兩年元學習在深度學習上的發展，為解決上述問題提供了新的視野.元學習是一種模仿生物利用先前已有的知識，從而快速學習新的未見事物能力的一種學習定式.元學習的目標是利用已學習的信息，快速適應未學習的新任務.這與實現通用人工智能的目標相契合，對元學習問題的研究也是提高模型的魯棒性和泛化性的關鍵.近年來隨著深度學習的發展，元學習再度成為熱點，目前元學習的研究百家爭鳴、百花齊放. 本文從元學習的起源出發，系統地介紹元學習的發展歷史，包括元學習的由來和原始定義，然后給出當前元學習的通用定義，同時總結當前元學習一些不同方向的研究成果，包括基于度量的元學習方法、基于強泛化新的初始化參數的元學習方法、基于梯度優化器的元學習方法、基于外部記憶單元的元學方法、基于數據增強的元學方法等. 總結其共有的思想和存在的問題，對元學習的研究思想進行分類，并敘述不同方法和其相應的算法.最后論述了元學習研究中常用數據集和評判標準，并從元學習的自適應性、進化性、可解釋性、連續性、可擴展性展望其未來發展趨勢.

引言

隨著計算設備并行計算性能的大幅度 進步，以及近些年深度神經網絡在各個領域 不斷取得重大突破，由深度神經網絡模型衍 生而來的多個機器學習新領域也逐漸成型， 如強化學習、深度強化學習[1] [2] 、深度監督 學習等。在大量訓練數據的加持下，深度神 經網絡技術已經在機器翻譯、機器人控制、 大數據分析、智能推送、模式識別等方面取 得巨大成果[3] [4] [5] 。

實際上在機器學習與其他行業結合的 過程中，并不是所有領域都擁有足夠可以讓 深度神經網絡微調參數至收斂的海量數據， 相當多領域要求快速反應、快速學習，如新 興領域之一的仿人機器人領域，其面臨的現 實環境往往極為復雜且難以預測，若按照傳 統機器學習方法進行訓練則需要模擬所有 可能遇到的環境，工作量極大同時訓練成本 極高，嚴重制約了機器學習在其他領域的擴 展，因此在深度學習取得大量成果后，具有 自我學習能力與強泛化性能的元學習便成 為通用人工智能的關鍵。

元學習（Meta-learning）提出的目的是 針對傳統神經網絡模型泛化性能不足、對新 種類任務適應性較差的特點。在元學習介紹 中往往將元學習的訓練和測試過程類比為 人類在掌握一些基礎技能后可以快速學習并適應新任務，如兒童階段的人類也可以快 速通過一張某動物照片學會認出該動物，即 機 器 學 習 中 的 小 樣 本 學 習 （ Few-shot Learning）[6] [7] ，甚至不需要圖像，僅憑描 述就可學會認識新種類，對應機器學習領域 中的（Zero-shot Learning）[8] ，而不需要大 量該動物的不同照片。人類在幼兒階段掌握 的對世界的大量基礎知識和對行為模式的 認知基礎便對應元學習中的“元”概念，即一 個泛化性能強的初始網絡加上對新任務的 快速適應學習能力，元學習的遠期目標為通 過類似人類的學習能力實現強人工智能，當 前階段體現在對新數據集的快速適應帶來 較好的準確度，因此目前元學習主要表現為 提高泛化性能、獲取好的初始參數、通過少 量計算和新訓練數據即可在模型上實現和 海量訓練數據一樣的識別準確度，近些年基 于元學習，在小樣本學習領域做出了大量研 究[9] [10] [11] [12] [13] [14] [15] [16] [17] ，同時為模擬 人類認知，在 Zero-shot Learning 方向也進行 了大量探索[18] [19] [20] [21] [22] 。

在機器學習盛行之前，就已產生了元學習的相關概念。當時的元學習還停留在認知 教育科學相關領域，用于探討更加合理的教 學方法。Gene V. Glass 在 1976 年首次提出 了“元分析”這一概念[23] ，對大量的分析結 果進行統計分析，這是一種二次分析辦法。G Powell 使用“元分析”的方法對詞匯記憶 進行了研究[24] ，指出“強制”和“誘導”意象有 助于詞匯記憶。Donald B.Maudsley 在 1979 年首次提出了“元學習”這一概念，將其描述 為“學習者意識到并越來越多地控制他們已 經內化的感知、探究、學習和成長習慣的過 程”，Maudsley 將元學習做為在假設、結構、 變化、過程和發展這 5 個方面下的綜合，并 闡述了相關基本原則[25] 。BIGGS J.B 將元學 習描述為“意識到并控制自己的學習的狀 態” [26] ，即學習者對學習環境的感知。P Adey 將元學習的策略用在物理教學上[27] ， Vanlehn K 探討了輔導教學中的元學習方法 [28] 。從元分析到元學習，研究人員主要關 注人是如何意識和控制自己學習的。一個具 有高度元學習觀念的學生，能夠從自己采用 的學習方法所產生的結果中獲得反饋信息，進一步評價自己的學習方法，更好地達到學 習目標[29] 。隨后元學習這一概念慢慢滲透 到機器學習領域。P.Chan 提出的元學習是一 種整合多種學習過程的技術，利用元學習的 策略組合多個不同算法設計的分類器，其整 體的準確度優于任何個別的學習算法[30] [31] [32] 。HilanBensusan 提出了基于元學習的決 策樹框架[33] 。Vilalta R 則認為元學習是通 過積累元知識動態地通過經驗來改善偏倚 的一種學習算法[34] 。

Meta-Learning 目前還沒有確切的定義， 一般認為一個元學習系統需結合三個要求：系統必須包含一個學習子系統；利用以前學 習中提取的元知識來獲得經驗，這些元知識 來自單個數據集或不同領域；動態選擇學習偏差。

元學習的目的就是為了設計一種機器學習模型，這種模型有類似上面提到的人的 學習特性，即使用少量樣本數據，快速學習 新的概念或技能。經過不同任務的訓練后， 元學習模型能很好的適應和泛化到一個新任務，也就學會了“Learning to learn”。

圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。

論文題目： Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要： 元學習作為一種模仿人類智能的可能方法，近來受到了極大的關注，即，學習新的知識和技能。現有的元學習方法多用于解決圖像、文本等少數樣本的學習問題，在歐幾里得域比較常見。然而，將元學習應用于非歐幾里得域的研究工作非常少，最近提出的圖神經網絡(GNNs)模型在處理圖少樣本學習問題時表現不佳。為此，我們提出了一種新的圖元學習框架——元GNN，以解決圖元學習環境中節點分類問題。該算法通過對多個相似的少樣本學習任務進行訓練，獲得分類器的先驗知識，然后利用標記樣本數量較少的新類對節點進行分類。此外，Meta-GNN是一個通用模型，可以直接納入任何現有的最先進的GNN。我們在三個基準數據集上的實驗表明，我們的方法不僅在元學習范式中大大提高了節點分類性能，而且為任務適應提供了一個更通用、更靈活的模型。

論文作者： Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng