亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖結構學習是一個成熟的問題，旨在優化適應特定圖數據集的圖結構，以幫助消息傳遞神經網絡（即GNN）產生有效且魯棒的節點嵌入。然而，現有模型的普遍限制在于基本的封閉世界假設：測試圖與訓練圖相同。這個前提要求對每個圖數據集獨立從頭開始訓練結構學習模型，導致計算成本過高，并可能出現嚴重的過擬合風險。為了緩解這些問題，本文探索了一個新的方向，即學習一個通用的結構學習模型，可以在開放世界中推廣到各種圖數據集。我們首先介紹這個新穎問題設置的數學定義，并從概率數據生成的角度描述模型的構建。然后，我們設計了一個通用框架，協調一個圖共享的結構學習器和多個圖特定的GNN，以捕捉跨數據集的可推廣的最佳消息傳遞拓撲模式。經過良好訓練的結構學習器可以直接為未見過的目標圖生成適應性結構，而無需任何微調。在不同的數據集和各種具有挑戰性的跨圖泛化協議中，我們的實驗證明，即使在目標圖上沒有進行訓練，所提出的模型：i）顯著優于在輸入（非優化）拓撲上訓練的表達能力強大的GNN；ii）令人驚訝地與獨立優化特定目標圖的最先進模型表現相當，并且在目標圖上訓練的速度明顯加快了幾個數量級。 //arxiv.org/abs/2306.11264

圖數據上的持續學習最近引起了廣泛關注，其目的是在使現有模型適應新出現的圖任務的同時，解決現有任務上的災難性遺忘問題。雖然已經有人努力總結歐氏數據(如圖像和文本)上的持續學習研究進展，但仍然缺乏對持續圖學習工作的系統綜述。圖數據在數據結構和應用場景方面要復雜得多，使得持續的圖學習任務設置、模型設計和應用極其復雜。為解決這一差距，本文對現有的持續圖學習工作進行了全面的回顧，闡明了不同的任務設置，并根據所采用的技術對現有工作進行了分類。本文將持續圖學習工作與傳統持續學習工作進行比較，分析傳統持續學習技術對持續圖學習任務的適用性。回顧了對持續圖學習研究至關重要的基準工作。最后，討論了尚存的挑戰，并提出了未來的研究方向。

//github.com/QueuQ/CGL_tut01

1. 引言

傳統的圖學習通常假設圖是靜態的。然而，在現實世界的大多數應用中，包括節點層學習任務和圖層學習任務，圖的規模或數量都會不斷增長，期望模型不斷適應新出現的模式，而不會忘記之前學習過的知識。例如，在引文網絡中，新的研究論文類別(圖節點)和伴隨的引文類別(圖邊)會不斷出現，在其上工作的文檔分類器希望能夠不斷適應新數據的分布，同時保持對以前觀察到的數據分布的學習知識[1]，[2]。在藥物發現研究中，可能會間歇性地發現新的分子性質和分子類別，而分子性質預測器必須在不失去對以前的分子類別或性質[1]、[3]的預測能力的情況下，為新的模式擬合其參數。在這種持續學習場景中，一種樸素的方法是每當有新任務到來時，只使用新數據訓練模型。但不斷適應新任務的模型會遭遇災難性遺忘問題，即學習新任務后對先前任務的性能嚴重下降。另一種直觀的方法是在包含所有先前觀察到的數據的整個數據集上重新訓練模型。然而，由于較高的再訓練成本和潛在的隱私問題，該策略不可行。

鑒于此，持續圖學習(CGL)最近受到越來越多的關注，它旨在不斷地學習新的任務，而不忘記以前已經學習過的知識。由于圖數據的復雜性，現有持續學習工作在目標圖類型、學習設置、基礎技術和評價指標等方面具有高度異構性。首先，技術工作可能提出通用技術或針對特定應用場景(如知識圖譜、推薦系統等)的專用技術。其次，根據測試過程中任務標識的可用性，連續的圖學習工作可能采用不同的設置，包括任務增量(taskIL)、域增量(domain-IL)和類增量(class-IL)。除了增量設置外，圖學習任務還可能關注不同的粒度，包括節點級任務和圖級任務。第三，不同工作采用的技術遵循不同的主流，包括正則化、內存重放和參數隔離。最后，與標準的學習環境不同，連續圖學習模型的性能從整體性能、性能下降(遺忘)、任務間干擾等多個角度考慮。因此，根據研究目標的不同，不同的工作可能會采用不同的指標來評價模型。連續圖學習工作的這些正交維度令人困惑，并為研究人員進入該領域制造了巨大的障礙。

為此，本文從上述角度對現有方法進行了系統綜述。論文的其余部分組織如下。在第3節中，從基本概念、骨干模型框架、任務序列構建、任務粒度、增量場景以及評估指標等角度解釋了持續圖學習的問題設置。在第四部分中，我們首先系統地回顧了持續學習技術的研究進展，包括基于正則化的方法、基于記憶回放的方法和基于參數隔離的方法，然后分析了傳統持續學習技術的適用性;在第6節中，介紹了最近提出的基準工作，旨在提供一致的實驗環境和公平的性能比較平臺。然后，分析了傳統持續學習技術對持續圖學習任務的適用性;最后，我們還介紹了基準工作，為比較不同技術提供了一個公平的平臺。最后，在第7節中，討論了CGL研究面臨的挑戰和有希望的未來方向。

2. 問題設置

與歐氏數據上的持續學習不同，持續圖學習(continuous Graph learning, CGL)關注更復雜的任務配置。例如，在一些應用中，學習是在一個不斷增長的圖上進行的，每個新任務都是附加在現有圖上的一個子圖。而在其他場景中，任務可能是圖級別的任務，每個新任務都是一組獨立的圖。在本節中，我們首先提供持續學習過程的一般性公式，然后根據這些公式推導出不同的特定學習場景。

根據測試過程中是否提供任務標識以及是否需要模型來獲取任務標識，持續圖學習以及經典的持續學習可以分為任務增量學習(task- il)、領域增量學習(domain-IL)和類增量學習(class-IL)。

2.1 Task-IL

在task- il中，任務標識在測試期間顯示給模型，因此模型不需要識別給定的任務。對于分類任務，現有模型通常增加其輸出維度以適應新任務，并且在測試期間僅激活每個給定任務的相應維度。例如，在分子特性預測任務中，每個新任務都可以預測新特性的存在。

2.2 Domain-IL

Domain-IL比task- il更具挑戰性，因為它在測試過程中不提供任務標識。但是它也不需要識別給定的測試任務。在這種情況下，模型輸出維度的語義含義通常是固定的，新任務被視為來自新領域的數據。例如，在知識圖譜上持續學習的一個可能場景是在具有不同實體和關系的圖上連續學習，而預測任務總是三元組的完成。一些工作還考慮了時間增量場景，將時間序列數據劃分為不同的時間段作為不同的任務。然而，由于模型輸出的語義在不同的任務中是相同的，該場景本質上是domain-IL的實例化，不同的時間段本質上是不同的域。

2.3 Class-IL

Class-IL是三種場景中最具挑戰性的。在測試過程中，任務標識是不可訪問的，模型必須識別給定的任務。對于分類任務，當新類別到達時，模型通常增加輸出維度，并必須在所有學習的類別中選擇正確的類別，而不像任務il只需要區分已知任務中的類別。

3. 方法

與傳統的持續學習類似，持續圖學習也從限制模型參數的變化、隔離和保護對先前學習任務重要的參數、重放先前任務中的代表性數據以提醒模型先前學習的模式等角度來解決問題。然而，持續圖學習的一個關鍵挑戰是必須妥善保存數據的拓撲結構，這是圖數據中包含的重要信息。

3.1 基于正則化的方法

由于遺忘的原因是為之前的任務訓練的模型參數在適應新任務后發生了修改，傳統的基于正則化的方法[48]、[49]增加了懲罰項以防止參數發生劇烈變化。然而，這些方法并不能顯式地保留圖數據的拓撲結構。針對這一不足，拓撲感知的權重保持(TWP)[1]提出通過對模型權重的正則化來顯式保留在之前任務中學習到的拓撲.

3.2 基于內存重放的方法

基于記憶回放的方法通過使用前一任務中的代表數據重新訓練模型來防止遺忘。傳統的持續學習方法處理個體數據時無需交互，只需要簡單地采樣并存儲在緩沖區中即可。然而，對于圖的學習，基于內存重放的方法會遇到內存爆炸的挑戰[3]。在生成節點(數據)的表示時，圖神經網絡(GNNs)通常聚合來自多跳鄰居的信息。因此，為了重新生成單個節點的表示，必須存儲來自指數擴展鄰域的信息。在稠密圖上，內存消耗很容易成為難以處理的問題。由于這一挑戰，經驗回放圖神經網絡(ER-GNN)[38]直接忽略圖的拓撲結構，僅存儲單個節點的屬性來重新生成表示。

3.3 參數隔離方法

最后一類是基于參數隔離的方法，通過對不同任務完全或部分分離模型參數來保護模型在之前任務上的性能。現有的基于參數隔離的連續圖學習方法很少，代表性的方法是分層原型網絡(Hierarchical Prototype Networks, HPNs)，它提出動態增加特征提取器和原型以適應新模式。具體來說，HPNs由一組用于從給定數據中提取基本特征的原子特征提取器(AFEs)和3層用于存儲學習到的模式的分層原型組成。對于給定的輸入節點，AFEs首先根據節點屬性及其鄰域關系提取基本特征;因此，AFEs由兩部分組成。一組AFEs，稱為AFEnode，用于根據節點屬性生成原子節點嵌入。另一個集合為AFEstruct，用于捕獲給定節點的鄰域拓撲結構，并據此生成原子結構嵌入。得到的原子嵌入對應于最基本的特征，然后將根據其余弦相似度與現有的原子級原型(A -原型)進行匹配。

4. CGL模型的評估

與標準學習環境只關注一個任務不同，持續學習模型的評價必須考慮模型在所有學習任務上的表現。因此，評價一個持續學習模型最有效的方法就是在學習完一個新任務后，展示它在以前的每一個任務上的表現。 性能矩陣包含整個學習過程中的原始性能。在此基礎上，研究人員采用了多種不同的評價指標。例如，考慮到性能矩陣不適用于不同方法的性能比較，可以使用[3]的平均性能(AP)和平均遺忘(AF)。這兩個指標在CGL以及傳統的持續學習工作中被廣泛采用，但在不同的工作中名稱可能不同。例如，在[53]、[60]中分別命名為平均準確率(ACC)和反向遷移(BWT)，在[3]、[38]中分別命名為平均性能(AP)和平均遺忘(AF)，在[1]中分別命名為性能均值(PM)和遺忘均值(FM)。

**5. 機會、未來方向和討論 **

作為一個新興且快速發展的領域，CGL的研究已經取得了顯著的進展，并進入更具挑戰性和實用性的學習場景。然而，仍有許多挑戰需要解決, 包括效率和空間復雜度的權衡，對任務邊界的依賴，現有任務中節點的概念漂移問題，基于任務的知識遷移，擴展到其他模態。

《持續圖學習》教程

在過去的幾年中，圖上的深度學習在各個領域取得了顯著的進展。然而，大多數圖學習任務假設圖是靜態的，而現實世界的圖可能會不斷增長或演變。因此，研究如何在不忘記之前學習的知識的情況下，不斷地使圖學習模型適應新的模式/任務是至關重要的。為此，在本教程中，我們將介紹持續圖學習(CGL)的新領域。具體來說，我們將(1)介紹不同的持續圖學習設置，(2)提出CGL中的關鍵挑戰，(3)強調現有的CGL技術，以及(4)討論未來的方向。本教程時長為3小時，包括150分鐘的演示和30分鐘的問答。

圖神經網絡(GNNs)已被證明是有前途的解決方案的協同過濾(CF)與用戶項交互圖建模。現有的基于GNN的推薦系統的關鍵思路是遞歸地執行沿用戶-項目交互邊緣傳遞的消息，以細化編碼的嵌入。盡管他們的有效性，但是，目前大多數的推薦模型依賴于足夠的和高質量的訓練數據，這樣學習的表示可以很好地捕捉準確的用戶偏好。在許多實際的推薦場景中，用戶行為數據往往是有噪聲的，并且呈現出偏態分布，這可能導致基于GNN的模型的表現性能欠佳。在本文中，我們提出了一種新的自監督超圖transformer 框架(SHT)，它通過明確地探索全局協作關系來增強用戶表示。具體來說，我們首先賦予圖神經CF范式以超圖transformer 網絡來維持用戶和物品之間的全局協同效果。在提取全局上下文的基礎上，提出了一種跨視圖生成式自監督學習組件，用于用戶-物品交互圖上的數據增強，以增強推薦系統的魯棒性。大量實驗表明，SHT可以顯著提高各種最先進的基線性能。進一步的消融研究表明，我們的SHT推薦框架在緩解數據稀疏性和噪聲問題方面具有卓越的表達能力。源代碼和評估數據集可以在//github.com/akaxlh/SHT上找到。

遷移對抗性攻擊是一種非常難的黑箱對抗性攻擊，其目標是對代理模型制造對抗性擾動，然后將這種擾動應用于受害者模型。然而，現有方法的擾動的可遷移性仍然有限，因為對抗性擾動很容易與單一代理模型和特定的數據模式過擬合。在本文中，我們提出了一種學會學習可遷移攻擊(LLTA)方法，通過從數據和模型增強中學習，使對抗攝動更加一般化。對于數據增強，我們采用簡單的隨機大小和填充。在模型增強方面，我們隨機改變正向傳播而不是反向傳播，以消除對模型預測的影響。通過將特定數據和修正模型的攻擊作為一項任務來處理，我們期望對抗攝動采用足夠的任務來泛化。為此，在擾動生成迭代過程中進一步引入元學習算法。在廣泛應用的數據集上進行的實驗結果表明，該攻擊方法的傳輸攻擊成功率比現有方法提高了12.85%。我們還在現實世界的在線系統，即谷歌云視覺API上對我們的方法進行了評估，以進一步展示我們的方法的實用潛力。

//arxiv.org/abs/2112.06658

圖神經網絡(GNN)已被用于解決少樣本學習(FSL)問題，并顯示出在換能器設置下的巨大潛力。但在歸納設置下，現有的基于GNN的方法競爭力較弱。這是因為他們使用一個實例GNN作為標簽傳播/分類模塊，該模塊與一個特征嵌入網絡共同進行元學習。這種設計是有問題的，因為分類器需要快速適應新的任務，而嵌入不需要。為了解決這一問題，本文提出了一種新的混合GNN (HGNN)模型，該模型由兩個GNN、一個實例GNN和一個原型GNN組成。它們代替標簽傳播，作為嵌入特征的適應模塊，使元學習的特征嵌入快速適應新任務。重要的是，它們的設計是為了處理FSL中一個基本但經常被忽視的挑戰，即每個類中只有少量的樣本，任何少量樣本分類器都將對糟糕的采樣樣本敏感，這些樣本要么是異常值，要么會導致類間分布重疊。我們的兩個GNN分別針對這兩種差采樣的少樣本進行設計，并在混合GNN模型中利用它們的互補性。大量實驗表明，我們的HGNN在三個FSL基準測試中取得了新的先進水平。

在許多數據科學應用中，如推薦系統、在線廣告、醫療等，對表格數據進行預測是一項重要的任務。表格數據被結構成行和列，每一行作為數據樣本，每一列作為特性屬性。表格數據的列和行都帶有可以提高模型預測性能的有用模式。然而，大多數現有模型關注的是跨列模式，而忽略了跨行模式，因為它們獨立處理單個樣本。在這項工作中，我們提出了一個通用的學習框架，名為檢索與交互機(RIM)，它充分利用表格數據中的橫行和橫列模式。具體來說，RIM首先利用搜索引擎技術高效地檢索表中有用的行來輔助目標行標簽預測，然后利用特征交互網絡捕捉目標行與被檢索行之間的跨列模式，從而做出最終的標簽預測。我們對三個重要任務的11個數據集進行了廣泛的實驗，即CTR預測(分類)、top-n推薦(排名)和評分預測(回歸)。實驗結果表明，RIM在不同的基準上取得了顯著的改進，證明了RIM的優越性和有效性。

//www.zhuanzhi.ai/paper/753ed3f1b041ebbb1c804ed9f67590dd

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

神經序列標記被廣泛應用于許多自然語言處理(NLP)任務，如命名實體識別(NER)和用于對話系統和語義分析的槽標記。最近，大規模的預訓練語言模型在這些任務中顯示出了顯著的成功，只要對大量特定任務的標記數據進行微調。然而，獲取這樣大規模的標記訓練數據不僅代價昂貴，而且由于數據訪問和隱私限制，在許多敏感用戶應用中可能不可行。如果序列標記任務需要在標記級進行這樣的注釋，這種情況就會加劇。在這項工作中，我們提出以解決標簽短缺的神經序列標記模型。具體來說，我們提出了一個元自訓練框架，它利用很少的手工標注標簽來訓練神經序列模型。自訓練是一種通過迭代知識交換從大量無標記數據中學習的有效機制，而元學習有助于自適應樣本重加權，以減少噪聲偽標記帶來的誤差傳播。在6個基準數據集上的大量實驗表明了該方法的有效性，其中包括2個用于大規模多語言NER的基準數據集和4個用于面向任務的對話系統的槽標記數據集。在每個任務中，每個類別只有10個標注的例子，該方法比目前最先進的方法提高了10%，證明了其在有限的訓練標簽體系中的有效性。

//www.microsoft.com/en-us/research/uploads/prod/2020/10/MetaST_Few_shot_KDD_2021.pdf

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。