Active Learning on Attributed Graphs via Graph Cognizant Logistic Regression and Preemptive Query Generation. 基于圖感知邏輯回歸和搶占式查詢候選集生成的屬性圖上主動學習策略
左圖: 常規主動學習算法 vs. 搶占式主動學習.
右圖: GEEM vs PreGEEM 對于下一個打標簽節點risk預估值對比.
對于（含節點屬性）圖網絡中的節點分類問題是分類問題中的一項重要任務，但通常獲取節點標簽較為困難或昂貴，在有限可標注數據的預算下通常通過主動學習可以提高分類性能。在圖網絡結構數據中最好的現有方法是基于圖神經網絡，但是它們通常表現不佳除非有大量可用的標記節點作為驗證集以選擇一組合適的超參數。在這個工作中特別針對屬性圖中的節點分類任務，我們提出了一種基于圖的主動學習算法Graph Expected Error Minimization (GEEM)。我們的算法在預測階段使用了一種不需要依靠驗證集調整超參的線性化圖卷積神經網絡（linear-GCN），并在主動學習查詢標簽階段利用最小化預期誤差的目標函數作為選擇下一目標label節點的標準。算法主要包括兩個階段1）在模型預測階段，我們提出使用線性化的GCN模型獲取經驗標簽（預測標簽） 2）在獲取下一label節點過程中，我們提出通過對未標記集合上節點的平均錯誤概率來計算預期誤差并作為風險預估標準，從而選擇增加此節點后經驗風險最小的節點進行label。
為了減少在為候選節點打標簽過程帶來的延遲（在醫療等需要細節domain knowledge的場景，打每標簽過程潛在會超過10分鐘），我們推導出了GEEM的搶占式查詢候選集生成主動學習算法并稱為PreGEEM，它在查詢/打標簽過程中計算下一個候選打標簽的對象。同時，我們在論文中提供了關于PreGEEM風險誤差的理論邊界。最后，為了解決從幾乎從沒有標簽數據開始學習的情況，我們提供了一種基于標簽傳播和線性化GCN推理的混合算法，進行自適應模型平均。我們在四個公開數據集上進行了實驗驗證，展示出了在各種實驗設定下與SOTA算法相比的明顯提升，特別是當初始標簽集非常有限時我們的模型明顯優于其他方法。此外該技術在通信網絡中具有潛在的實用價值，例如在初始標簽集稀缺時的通信網絡中故障鏈路識別場景中。
付費5元查看完整內容
相關內容
主動學習是通過對最有代表性的樣本進行抽樣，設計標簽有效的算法。在本文中，我們提出了一種狀態重新標記對抗主動學習模型(SRAAL)，該模型利用標注和標記/未標記的狀態信息來獲得信息量最大的未標記樣本。SRAAL由一個表示生成器和一個狀態鑒別器組成。該生成器利用補充標注信息與傳統重建信息生成樣本的統一表示，將語義嵌入到整個數據表示中。然后，我們在鑒別器中設計了一個在線不確定度指標，使未標記樣本具有不同的重要性。因此，我們可以根據鑒別器的預測狀態來選擇信息最豐富的樣本。我們還設計了一個算法來初始化標記池，這使得后續的采樣更加有效。在各種數據集上進行的實驗表明，我們的模型優于現有的主動學習方法，并且我們的初始采樣算法具有更好的性能。
付費5元查看完整內容
元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。
- MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。
-
Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
-
Sequential Scenario-Specific Meta Learner for Online Recommendation
冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。
-
A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。
-
One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level
推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。
付費5元查看完整內容
論文題目： Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection
摘要： 事件檢測(Event detection, ED)是事件抽取的一個子任務，包括識別觸發器和對事件提及進行分類。現有的方法主要依賴于監督學習，并且需要大規模的帶標記的事件數據集，不幸的是，這些數據集在許多實際的應用場景中并不容易獲得。在本文中，我們將在有限標記數據條件下的ED任務考慮為一個小概率學習問題。提出了一種基于動態記憶的原型網絡(DMB-PN)，該網絡利用動態記憶網絡(DMN)不僅能更好地學習事件類型的原型，而且能對事件提及產生更健壯的句子編碼。與傳統的通過平均計算事件原型的網絡不同，我們的模型更健壯，并且由于DMNs的多跳機制，能夠多次從事件提及中提取上下文信息。實驗結果表明，DMB-PN不僅比一系列基線模型更能有效地處理樣本稀缺問題，而且在事件類型變化較大、實例數量極少時表現得更為穩健。
作者： Shumin Deng, Ningyu Zhang, Jiaojian Kang, Yichi Zhang, Wei Zhang, Huajun Chen
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191