亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這篇文章是基于這篇論文“Meta-Graph: Few Shot Link Prediction via Meta Learning” by Joey Bose, Ankit Jain, Piero Molino, and William L. Hamilton.

許多真實世界的數據都是以圖的結構呈現，因此，多年來基于圖的機器學習研究一直是學術界研究的一個活躍領域。其中，一個流行基于圖數據的機器學習的任務是鏈接預測，它涉及到預測圖數據中節點之間缺失的關系/邊。例如，在一個社交網絡中，我們可能使用鏈接預測來支撐一個朋友推薦系統，或者在生物網絡數據中，我們可能使用鏈接預測來推斷藥物、蛋白質和疾病之間可能的關系。然而，盡管鏈接預測很受歡迎，但是以前的工作通常只關注一個特定的問題設置:它通常假設鏈接預測是在一個大型圖上執行的，并且這個圖是相對完整的，即在訓練過程中，至少有50%的真實邊是可以觀察到的。

在這項工作中，我們考慮了更有挑戰性的小樣本鏈接預測設置，其中的目標是對多個圖執行鏈接預測，這些圖只包含它們的真實、底層邊的一小部分。這個任務的靈感來自于這樣的應用程序:我們可以訪問來自單個域的多個圖，但是每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性；然而，這些估計的關系可能是有噪音的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

我們介紹了一個新的框架元圖，用于小樣本鏈接預測，和以及相應的一系列基準測試。我們采用了經典的基于梯度的元學習公式對圖域進行小樣本分類。具體地說，我們把圖上的分布看作是學習全局參數集的任務上的分布，并將此策略應用于訓練能夠進行小概率鏈路預測的圖神經網絡(GNNs)。為了進一步引導快速適應新圖，我們還引入了圖簽名函數，該函數學習如何將輸入圖的結構映射到GNN鏈路預測模型的有效初始化點。我們在三個鏈接預測基準上對我們的方法進行了實驗驗證。我們發現我們的MetaGraph方法不僅實現了快速適應，而且在許多實驗設置中收斂到更好的整體解決方案，在非元學習基線上收斂的AUC平均提高了5.3%。

小樣本鏈接預測設置

給定一個分布在圖p(G)上的分布，從中我們可以對一個訓練圖Gi = (Vi, Ei, Xi)進行抽樣，其中Vi是節點集合，Ei是邊集合，Xi是一個實值節點屬性矩陣。我們假設每個示例圖Gi都是一個簡單的圖，這意味著它只包含一種類型的關系，沒有自環。我們進一步假設，對于每個圖Gi，我們在訓練期間只能訪問少量的訓練邊E_train (其中|E_train| << |E|)。最后，我們假設p(G)是在一組相關圖上定義的，不管它們是來自一個公共域還是具體的應用設置。

我們的目標是學習一個全局或元鏈接預測模型的樣本訓練圖表Gi~p (G) （其中i=1,2...n）。有了這個元模型，隨后我們可以快速學習局部鏈接預測模型從邊的一個小子集內新采樣圖G*~p (G)。更具體地說，我們想找一個全局的參數θ，它可以在局部鏈接預測模型圖G生成一個有效的參數初始化φ。

請注意，這與標準的鏈接預測設置有很大的不同，后者的目標是從單個圖而不是圖的分布中學習。它也不同于用于小樣本分類的標準元學習，后者通常假設任務中個體預測是獨立且同分布的，而與訓練圖中相互依賴的邊相反。

方法：元圖

我們的方法，元圖，利用了圖神經網絡(GNNs)。原則上，它可以與多種基于GNNs的鏈路預測方法相結合，但我們采用了一種特定的GNN——變分圖自動編碼器(VGAEs)作為我們的基本鏈路預測框架。

Meta-Graph背后的關鍵思想是基于我們使用梯度元學習優化共享全局參數θ,用于初始化VGAE鏈接預測模型的參數。同時，該模型還學習了一個圖簽名函數，這是一個圖的向量表示，我們使用它來調整VGAE模型的參數。如果模型觀察到的圖與當前正在檢查的圖相似，它就能夠相應地調整模型參數。這有助于模型利用梯度下降的幾個步驟來學習有效的參數。

如果我們給出一個采樣的訓練圖Gi，我們使用兩個學習組件的組合初始化VGAE鏈接預測模型的參數：

• 全局參數θ,用于初始化VGAE模型所有的參數φ。φ參數優化的梯度下降的n步，盡管全局參數θ，通過二階梯度下降優化提供一個有效的初始化點的任何圖采樣分布p(G)。
• 圖簽名si =ψ(Gi),用于調節VGAE的激活模式。通過另一個GNN獲得圖的簽名函數。像全局參數θ，類似地，圖簽名模型ψ是通過二階梯度下降優化編碼相似參數初始化的本地鏈接預測模型圖元學習的目的。關于我們的圖簽名函數的更多信息，請參考我們的論文。

總的來說，訓練的算法可以總結如下：

• 采樣一批訓練圖
• 使用全局參數和簽名函數初始化這些訓練圖的VGAE鏈接預測模型
• 運行k個梯度下降步驟來優化這些VGAE模型
• 使用二階梯度下降更新全局參數和基于邊驗證集的簽名函數

我們的論文詳細介紹了元圖的其他幾個變體，它們在如何使用圖形簽名函數的輸出來調節VGAE推理模型的激活方面有所不同。

實驗

為了測試元圖在真實環境中的工作方式，我們設計了三個新的基準來進行小樣本鏈接預測。所有這些基準測試都包含一組從公共域繪制的圖。在所有設置中，我們使用這些圖的80%作為訓練圖，10%作為驗證圖，其中這些訓練圖和驗證圖用于優化全局模型參數(用于元圖)或訓練前權重(用于各種基線方法)。剩下的10%作為測試圖，我們的目標是在這些測試圖上訓練一個模型，以達到較高的鏈接預測精度。

在這個小樣本鏈接預測設置中，在邊層和圖層都有訓練/驗證/測試分割。我們使用訓練邊在每個圖的基礎上預測測試邊的可能性，但我們也同時在多個圖上對模型進行訓練，目的是通過全局模型參數快速適應新的圖。

我們的兩個基準來自于蛋白質相互作用(PPI)網絡和3D點云數據(FirstMM-DB)的標準多圖數據集。第三種是基于AMINER引用數據的新型多圖數據集，其中每個節點對應一篇論文，鏈接代表引用。對于所有數據集，我們通過對一個小子集(即，然后嘗試預測不可見的邊(20%的剩余邊用于驗證)。

一些基線對應于元圖的修改或消融，包括模型無關元學習(MAML)的直接適應，一個微調的基線，在這里我們對VGAE按順序觀察的訓練圖進行預訓練，并對測試圖進行調優（稱為 Finetune）。我們還考慮在每個測試圖上單獨訓練一個VGAE(稱為No Finetune)。我們為鏈接預測任務使用了另外兩個標準基線，即DeepWalk和Adamic-Adar來進行比較，以確保元圖能夠提供實質性的改進。

結果

我們比較了元圖和基線模型在兩種情況下的表現，以了解模型適應新的不可見測試圖的能力和速度。收斂設置，我們訓練模型收斂，和快速適應設置，我們適應模型后，只執行5個梯度更新。在這兩種設置中，我們使用測試圖的10%、20%和30%的邊進行訓練，并對測試圖的測試邊進行測試。我們通過計算鏈路預測AUC來衡量性能。

對于收斂設置。我們發現Meta-Graph獲得了最高的平均AUC，與MAML方法相比，相對改善了4.8%，與Finetune基線相比，相對改善了5.3%。當只使用10%的邊時，元圖的性能更強，這表明在處理非常有限的數據時該方法的潛力。

在快速適應設置中，我們再次發現Meta-Graph在除一個設置外的所有設置中都優于所有基線，與MAML相比平均相對改進9.4%，與Finetune基線相比平均相對改進8%。換句話說，元圖不僅可以從有限的數據中學習，還可以快速地接收新數據，只需要很少的梯度步驟。

展望

在本研究中，我們引入了元圖(Meta-Graph)，這是一種解決小樣本鏈路預測問題的方法，其目標是精確地訓練ML模型，使其能夠快速適應新的稀疏圖數據。在實驗上，我們觀察到使用元圖與在三個小樣本鏈接預測變體基準上的基線相比，有顯著的提高。

總的來說，這項工作適用于研究人員從一個域訪問多個圖，但其中每個單獨的圖只包含真實的底層邊的一小部分。例如，在生物環境中，高通量互作提供了從不同的組織、細胞類型和生物體估計數以千計的生物互作網絡的可能性;然而，這些估計的關系可能是嘈雜的和稀疏的，我們需要學習算法來利用這些多個圖的信息來克服這種稀疏性。類似地，正如前面提到的，在電子商務和社交網絡設置中，當我們必須快速地對稀疏估計的圖進行預測時，比如最近將某個服務部署到新地區時，鏈接預測通常會產生很大的影響。換句話說，新的稀疏圖的鏈接預測可以受益于從其他圖(可能更密集的圖)傳輸知識，假設存在可利用的共享結構。

圖分類的目的是對圖結構數據進行準確的信息提取和分類。在過去的幾年里，圖神經網絡(GNNs)在圖分類任務上取得了令人滿意的成績。然而，大多數基于GNNs的方法側重于設計圖卷積操作和圖池操作，忽略了收集或標記圖結構數據比基于網格的數據更困難。我們利用元學習來進行小樣本圖分類，以減少訓練新任務時標記圖樣本的不足。更具體地說，為了促進圖分類任務的學習，我們利用GNNs作為圖嵌入主干，利用元學習作為訓練范式，在圖分類任務中快速捕獲特定任務的知識并將其轉移到新的任務中。為了提高元學習器的魯棒性，我們設計了一種新的基于強化學習的步進控制器。實驗表明，與基線相比，我們的框架運行良好。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。

論文題目

FEW SHOT LINK PREDICTION VIA META LEARNING

論文摘要

我們考慮了樣本鏈接預測的任務，其目標是僅使用一個小樣本的已知邊來預測多個圖中的未命中邊。但是，目前的鏈路預測方法通常不適合處理這項任務，因為它們無法在多圖環境中有效地在圖之間傳遞知識，也無法有效地從非常稀疏的數據中學習。為了應對這一挑戰，我們引入了一個新的基于梯度的元學習框架meta Graph，它利用高階梯度和一個學習的Graph sig nature函數來有條件地生成一個Graph神經網絡初始化，我們證明，元圖形不僅可以快速適應，而且可以更好地最終收斂，并且僅使用一小部分真實邊緣樣本就可以有效地學習。

論文作者

Avishek Joey Bose*來自麥吉爾大學。

論文題目： Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection

摘要： 事件檢測(Event detection, ED)是事件抽取的一個子任務，包括識別觸發器和對事件提及進行分類。現有的方法主要依賴于監督學習，并且需要大規模的帶標記的事件數據集，不幸的是，這些數據集在許多實際的應用場景中并不容易獲得。在本文中，我們將在有限標記數據條件下的ED任務考慮為一個小概率學習問題。提出了一種基于動態記憶的原型網絡(DMB-PN)，該網絡利用動態記憶網絡(DMN)不僅能更好地學習事件類型的原型，而且能對事件提及產生更健壯的句子編碼。與傳統的通過平均計算事件原型的網絡不同，我們的模型更健壯，并且由于DMNs的多跳機制，能夠多次從事件提及中提取上下文信息。實驗結果表明，DMB-PN不僅比一系列基線模型更能有效地處理樣本稀缺問題，而且在事件類型變化較大、實例數量極少時表現得更為穩健。

作者： Shumin Deng, Ningyu Zhang, Jiaojian Kang, Yichi Zhang, Wei Zhang, Huajun Chen