亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

題目： M2GRL: A Multi-task Multi-view Graph Representation Learning Framework for Web-scale Recommender Systems

摘要： 將圖表示學習與多視圖數據(邊信息)相結合進行推薦是當前行業的發展趨勢。現有的方法大多可歸納為多視圖表示融合;它們首先構建一個圖，然后將多視圖數據集成到圖中每個節點的一個緊湊表示中。然而，這些方法在工程和算法方面都引起了關注:1)工業中的多視圖數據豐富且信息量大，可能超過單個矢量的能力;2)由于多視圖數據往往來自不同的分布，可能會引入歸納偏差。在本文中，我們使用多視圖表示對齊方法來解決這個問題。特別地，我們提出了一個多任務多視圖圖表示學習框架(M2GRL)，用于從多視圖圖中學習節點表示。M2GRL為每個單視圖數據構造一個圖，從多個圖中學習多個獨立的表達式，并執行與模型跨視圖關系的對齊。M2GRL選擇了多任務學習范式來聯合學習視圖內表示和跨視圖關系。M2GRL運用同方差不確定性自適應調整訓練過程中任務的減重。我們在淘寶上部署了M2GRL，并對它進行了570億例的培訓。根據離線度量和在線A/B測試，M2GRL顯著優于其他最先進的算法。在淘寶上對多樣性推薦的進一步探索表明，利用M2GRL產生的多重表示是有效的，我們認為這是一個很有前途的方向，為各種不同重點的行業推薦任務。

我們介紹了一種通過對比圖的結構視圖來學習節點和圖表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。源代碼發布在:

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

我們介紹了一種通過對比圖的結構視圖來學習節點和圖級表示的自監督方法。我們表明，與視覺表示學習不同，增加視圖數量到兩個以上或對比多尺度編碼不會提高性能，而最佳性能是通過對比一階鄰居編碼和圖擴散來實現的。在線性評估協議下，我們在8個節點中的8個和圖分類基準上實現了新的最先進的自監督學習結果。例如，在Cora(節點)和reddy - binary(圖形)分類基準上，我們實現了86.8%和84.5%的準確率，相對于之前的最先進水平分別提高了5.5%和2.4%。與監督基準相比，我們的方法在8個基準中有4個優于監督基準。

領域適應(DA)提供了重用數據和模型用于新問題領域的有價值的方法。然而，對于具有不同數據可用性的時間序列數據，還沒有考慮到健壯的技術。在本文中，我們做出了三個主要貢獻來填補這一空白。我們提出了一種新的時間序列數據卷積深度域自適應模型(CoDATS)，該模型在現實傳感器數據基準上顯著提高了最先進的DA策略的準確性和訓練時間。通過利用來自多個源域的數據，我們增加了CoDATS的有用性，從而進一步提高了與以前的單源方法相比的準確性，特別是在域之間具有高度可變性的復雜時間序列數據集上。其次，我們提出了一種新的弱監督域自適應(DA-WS)方法，利用目標域標簽分布形式的弱監督，這可能比其他數據標簽更容易收集。第三，我們對不同的真實數據集進行了綜合實驗，以評估我們的域適應和弱監督方法的有效性。結果表明，用于單源DA的CoDATS比最先進的方法有了顯著的改進，并且我們使用來自多個源域和弱監督信號的數據實現了額外的準確性改進。

為了更好的用戶體驗和業務效能，點擊率(CTR)預測一直是電子商務中最重要的任務之一。雖然已經提出了大量的CTR預測模型，但從多模態特征中學習項目的良好表示仍然較少研究，因為電子商務中的一個項目通常包含多個異質模態。以往的作品要么將多個模態特征串聯起來，相當于給每個模態一個固定的重要性權重;或者通過注意力機制等技術學習不同項目不同模式的動態權重。然而，一個問題是，通常存在跨多個模態的公共冗余信息。利用冗余信息計算不同模態的動態權值，可能不能正確反映不同模態的不同重要性。為了解決這個問題，我們通過考慮模態特性和模態不變特性來探索模態的互補性和冗余性。針對CTR預測任務，我們提出了一種新的多模態對抗表示網絡(MARN)。多模態注意網絡首先根據每個項目的模態特征計算其多模態的權重。然后，一個多模態對抗網絡學習模態不變表示，在此基礎上引入雙鑒別器策略。最后，我們將模態特定表示與模態不變表示相結合，實現了多模態項表示。我們在公共數據集和工業數據集上進行了大量的實驗，所提出的方法不斷地對最先進的方法進行顯著的改進。此外，該方法已應用于實際的電子商務系統，并在網上進行了A/B測試，進一步證明了該方法的有效性。

元學習的研究越來越受到學者們的重視，從最初在圖像領域的研究逐漸拓展到其他領域，目前推薦系統領域也出現了相關的研究問題，本文介紹了5篇基于元學習的推薦系統相關論文，包括用戶冷啟動推薦、項目冷啟動推薦等。

1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一種新的推薦系統，解決了基于少量樣本物品來估計用戶偏好的冷啟動問題。為了確定用戶在冷啟動狀態下的偏好，現有的推薦系統，如Netflix，在啟動初向用戶提供物品選擇，我們稱這些物品為候選集。然后根據用戶選擇的物品做出推薦。以往的推薦研究有兩個局限性：(1) 只有少量物品交互行為的用戶推薦效果不佳，(2) 候選集合不足，無法識別用戶偏好。為了克服這兩個限制，我們提出了一種基于元學習的推薦系統MeLU。從元學習中，MeLU可以通過幾個例子快速地應用于新任務，通過幾個消費物品來估計新用戶的偏好。此外，我們提供了一個候選集合選擇策略，以確定自定義偏好估計的區分項目。我們用兩個基準數據集對MeLU進行了驗證，與兩個對比模型相比，該模型的平均絕對誤差至少降低了5.92%。我們還進行了用戶研究實驗來驗證選擇策略的有效性。

2. Meta-Learning for User Cold-Start Recommendation 冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

3. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷啟動問題是對實際推薦系統的長期挑戰。大多數現有的推薦算法依賴于大量的觀測數據，對于很少交互的推薦場景來說是脆弱的。本文用少樣本學習和元學習來解決這些問題。我們的方法是基于這樣一種見解，即從幾個例子中有一個很好的泛化，依賴于一個通用的模型初始化和一個有效的策略來使這個模型適應新出現的任務。為了實現這一點，我們將場景指定的學習與模型無關的序列元學習結合起來，并將它們統一到一個集成的端到端框架中，即場景指定的序列元學習者（或s^2 Meta）。我們的元學習器通過聚合來自各種預測任務的上下文信息來生成一個通用的初始模型，同時通過利用學習到的知識來有效地適應特定的任務。在各種現實世界數據集上的實驗表明，我們提出的模型可以在在線推薦任務中獲得對冷啟動問題的最好效果。

4. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩陣分解（M F）是最流行的項目（item）推薦技術之一，但目前存在嚴重的冷啟動問題。項目冷啟動問題在一些持續輸出項目的平臺中顯得特別尖銳（比如Tweet推薦）。在本文中，我們提出了一種元學習策略，以解決新項目不斷產生時的項目冷啟動問題。我們提出了兩種深度神經網絡體系結構，實現了我們的元學習策略。第一個體系結構學習線性分類器，其權重由項目歷史決定，而第二個體系結構學習一個神經網絡。我們評估了我們在Tweet推薦的現實問題上的效果，實驗證明了我們提出的算法大大超過了MF基線方法。

5. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推薦算法的有效性通常用評價指標來評估，如均方根誤差、F1或點擊率CTR，在整個數據集上計算。最好的算法通常是基于這些總體度量來選擇的，然而，對于所有用戶、項目和上下文來說并沒有一個單獨的最佳算法。因此，基于總體評價結果選擇單一算法并不是最優的。在本文中，我們提出了一種基于元學習的推薦方法，其目的是為每個用戶-項目對選擇最佳算法。我們使用MovieLens 100K和1m數據集來評估我們的方法。我們的方法（RMSE，100K：0.973；1M：0.908）沒有優于單個的最佳算法SVD++（RMSE，100k：0.942；1M：0.887）。我們還探索了元學習者之間的區別，他們在每個實例（微級別），每個數據子集（中級）和每個數據集（全局級別）上進行操作。評估表明，與使用的總體最佳算法相比，一個假設完美的微級元學習器將提高RMSE 25.5%。