亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

推薦系統是當今互聯網上最重要的信息服務之一。近年來，圖神經網絡已成為推薦系統的新技術。在這個調研中，我們對基于圖神經網絡的推薦系統的文獻進行了全面的回顧。我們首先介紹了推薦系統和圖神經網絡的背景和發展歷史。對于推薦系統，一般來說，現有工作的分類分為四個方面: 階段、場景、目標和應用。對于圖神經網絡，現有的方法包括譜模型和空間模型兩大類。然后討論了將圖神經網絡應用于推薦系統的動機，主要包括高階連通性、數據的結構特性和增強的監督信號。然后我們系統地分析了圖構造、嵌入傳播/聚合、模型優化和計算效率方面的挑戰。之后，我們首先按照上面的分類法，全面概述了基于圖神經網絡的推薦系統的大量現有工作。最后，對該領域存在的問題和未來發展方向進行了討論。我們在//github.com/tsinghua-fib-lab/GNN-Recommender-Systems中總結了這些有代表性的論文及其代碼庫。推薦系統，是一種以向用戶呈現個性化信息為目標的過濾系統，可以提高用戶體驗，提高企業利潤。作為由現實世界驅動的機器學習的典型應用之一，它是當今工業界和學術界的一個非常熱門的話題。

引言

推薦系統，是一種以向用戶呈現個性化信息為目標的過濾系統，可以提高用戶體驗，提高企業利潤。作為由現實世界驅動的機器學習的典型應用之一，它是當今工業界和學術界的一個非常熱門的話題。

回顧推薦系統的發展歷程，一般可將其分為三個階段:淺層模型[74,125,126]、神經模型[26,48,56]和基于GNN的模型[55,153,188]。最早的推薦模型通過直接計算交互的相似度來捕捉協同過濾(CF)效應。然后，提出了基于模型的CF方法，如矩陣分解(MF)[74]或分解機[125]，將推薦作為一個表示學習問題來處理。然而，這些方法面臨著復雜的用戶行為或數據輸入等關鍵挑戰。為了解決這個問題，我們提出了基于神經網絡的模型[26,48,56]。例如，神經協同過濾(neural collaborative filtering, NCF)被開發用于擴展多層感知器(multi-layer perceptrons, MLP)內積，以提高其能力。同樣，深度因子分解機(DeepFM)[48]將淺層模型因子分解機(FM)[125]與MLP結合。然而，由于這些方法的預測和訓練模式忽略了觀測數據中的高階結構信息，因此仍然存在很大的局限性。例如，NCF的優化目標是預測用戶-物品交互，訓練樣本包括觀察到的正向用戶-物品交互和未觀察到的負向用戶-物品交互。這意味著在對特定用戶進行參數更新時，只涉及他/她交互的項。

近年來，圖神經網絡的發展為解決推薦系統中的上述問題提供了堅實的基礎和機遇。具體來說，圖神經網絡采用嵌入傳播的方法迭代地聚合鄰域嵌入。通過疊加傳播層，每個節點可以訪問高階鄰居的信息，而不是傳統方法只訪問一階鄰居的信息。基于GNN的推薦方法以其處理結構化數據和挖掘結構化信息的優勢，已成為推薦系統中最先進的方法。為了將圖神經網絡很好地應用到推薦系統中，有一些關鍵的挑戰需要解決。首先，將推薦系統的數據輸入仔細地構造成圖，節點表示元素，邊表示元素之間的關系。其次，對于具體的任務，需要自適應地設計圖神經網絡中的構件，包括如何傳播和聚合，現有的工作在這方面探索了各種各樣的選擇，各有優缺點。第三，基于GNN模型的優化，包括優化目標、損失函數、數據采樣等，應與任務要求一致。最后，由于推薦系統對計算成本有嚴格的限制，而且由于GNN的嵌入傳播操作引入了大量的計算，圖神經網絡在推薦系統中的有效部署是另一個關鍵的挑戰。

在本文中，我們旨在提供一個系統和全面的研究工作，特別是他們如何改進圖神經網絡的推薦和解決相應的挑戰。為了更清晰地理解推薦系統，我們從階段、場景、目標和應用四個方面對推薦系統的研究進行了分類。我們總結了 gnn - recommendation - systems中具有代表性的論文及其代碼庫。 值得一提的是，已有一項基于圖神經網絡的推薦系統的綜述[168]。然而，由于以下原因，它是有限的。首先，它沒有提供廣泛的推薦系統分類。具體來說，它將推薦系統大致分為非序列推薦和序序推薦，但這并不合理。事實上，正如本調研所指出的那樣，序列推薦只是一個具有特殊輸入和輸出設置的特定推薦場景。第二，它沒有提供足夠的動機和原因，現有的工作利用圖神經網絡推薦系統。而在本次調研中，我們對GNN為什么可以和應該被用于推薦系統提供了一個全面的理解，有助于讀者理解這一新的研究領域的地位和價值。第三，它沒有解釋將圖神經網絡應用于推薦的關鍵挑戰以及如何解決這些挑戰，這在本調研中已經充分討論。最后，由于這一領域越來越受歡迎，我們的調研也介紹了許多最近發表的論文[168]沒有涉及。

本次綜述的結構組織如下。在第2節中，我們首先從階段、場景、目標、應用四個方面介紹了推薦系統的背景，以及圖神經網絡的背景。在第三節中，我們從四個方面討論了在推薦系統中應用圖神經網絡所面臨的挑戰。然后我們按照上節的分類，在第4節中詳細闡述了基于圖神經網絡的推薦的代表性方法。在第5節中，我們討論了這一領域中最關鍵的開放問題，并提供了未來方向的想法，在第6節中總結了這個綜述。

機器學習(ML)最近的快速進展提出了一些科學問題，挑戰了該領域長期存在的教條。最重要的謎題之一是過度參數化模型的良好經驗泛化。過度參數化的模型對于訓練數據集的大小來說過于復雜，這導致它們完美地擬合(即插值)訓練數據，而訓練數據通常是有噪聲的。這種對噪聲數據的插值傳統上與有害的過擬合有關，但最近觀察到，從簡單的線性模型到深度神經網絡的各種插值模型在新測試數據上都能很好地泛化。事實上，最近發現的雙下降現象表明，在測試性能上，高度過度參數化的模型往往比最好的欠參數化模型更好。理解這種過度參數化的學習需要新的理論和基礎的實證研究，即使是最簡單的線性模型。這種理解的基礎已經在最近對過度參數化線性回歸和相關統計學習任務的分析中奠定，這導致了雙下降的精確分析特征。本文簡要概述了這一新興的過度參數化ML理論(以下簡稱為TOPML)，并從統計信號處理的角度解釋了這些最新發現。我們強調將TOPML研究領域定義為現代ML理論的一個子領域的獨特方面，并概述了仍然存在的有趣的未決問題。

//www.zhuanzhi.ai/paper/182ad6c4b994aa517d10319504e9bb3a

引言

深度學習技術已經徹底改變了許多工程和科學問題的解決方式，使數據驅動方法成為實踐成功的主要選擇。當前的深度學習方法是經典機器學習(ML)設置的極限開發版本，以前這些設置受到有限的計算資源和訓練數據可用性不足的限制。目前已建立的實踐是從一組訓練示例中學習高度復雜的深度神經網絡(DNN)，這些示例雖然本身很大，但相對于DNN中的參數數量來說相當小。雖然這種過度參數化的DNN在ML實踐中是最先進的，但這種實際成功的根本原因仍不清楚。特別神秘的是兩個經驗觀察結果: 1) 模型中添加更多參數的明顯益處(在泛化方面)，2) 這些模型即使完美地擬合了噪聲訓練數據，也能很好地泛化。這些觀察結果在現代ML的不同結構中都得到了體現——當它們首次被用于復雜的、最先進的DNN時(Neyshabur et al., 2014; Zhang et al., 2017))，它們已經在更簡單的模型家族中出土，包括寬神經網絡、核方法，甚至線性模型(Belkin et al., 2018b; Spigler et al., 2019; Geiger et al., 2020; Belkin et al., 2019a)。

在本文中，我們綜述了最近發展起來的過度參數化機器學習理論(簡稱TOPML)，該理論建立了與訓練數據插值(即完美擬合)相關的現象相關的基本數學原理。我們很快將提供一個過度參數化ML的正式定義，但在這里描述一些模型必須滿足的顯著屬性，以合格為過度參數化。首先，這樣的模型必須是高度復雜的，因為它的獨立可調參數的數量要遠遠高于訓練數據集中的示例數量。其次，這樣的模型絕不能以任何方式被明確地規范化。DNN是過度參數化模型的常見實例，這些模型通常沒有明確的正則化訓練(參見，例如，Neyshabur et al., 2014; Zhang et al., 2017)。這種過度參數化和缺乏顯式正則化的組合產生了一個可插值訓練示例的學習模型，因此在任何訓練數據集上都實現了零訓練誤差。訓練數據通常被認為是來自底層數據類(即噪聲數據模型)的噪聲實現。因此，插值模型完美地擬合了基礎數據和訓練示例中的噪聲。傳統的統計學習總是將噪聲的完美擬合與較差的泛化性能聯系在一起(例如，Friedman et al., 2001, p. 194);因此，值得注意的是，這些插值解決方案通常能很好地泛化到訓練數據集以外的新測試數據。

在本文中，我們回顧了TOPML研究的新興領域，主要關注在過去幾年發展的基本原理。與最近的其他綜述相比(Bartlett et al., 2021; Belkin, 2021)，我們從更基本的信號處理角度來闡明這些原則。形式上，我們將TOPML研究領域定義為ML理論的子領域，其中1. 明確考慮訓練數據的精確或近似插值 2. 相對于訓練數據集的大小，學習模型的復雜性較高。

本文組織如下。在第2節中，我們介紹了過度參數化學習中插值解的基礎知識，作為一個機器學習領域，它超出了經典偏方差權衡的范圍。在第3節中，我們概述了最近關于過度參數化回歸的結果。在這里，我們從信號處理的角度直觀地解釋了過度參數化學習的基本原理。在第4節中，我們回顧了關于過度參數化分類的最新發現。在第5節中，我們概述了最近關于過度參數化子空間學習的工作。在第6節中，我們考察了最近關于回歸和分類以外的過度參數化學習問題的研究。在第7節中，我們討論了過度參數化ML理論中的主要開放問題。

圖神經網絡（GNN）是一類基于深度學習的處理圖域信息的方法，它通過將圖廣播操作和深度學習算法結合，可以讓圖的結構信息和頂點屬性信息都參與到學習中，在頂點分類、圖分類、鏈接預測等應用中表現出良好的效果和可解釋性，已成為一種廣泛應用的圖分析方法.然而現有主流的深度學習框架（如Tensorflow、PyTorch等）沒有為圖神經網絡計算提供高效的存儲支持和圖上的消息傳遞支持，這限制了圖神經網絡算法在大規模圖數據上的應用.目前已有諸多工作針對圖結構的數據特點和圖神經網絡的計算特點，探索了大規模圖神經網絡系統的設計和實現方案.本文首先對圖神經網絡的發展進行簡要概述，總結了設計圖神經網絡系統需要面對的挑戰；隨后對目前圖神經網絡系統的工作進行介紹，從系統架構、編程模型、消息傳遞優化、圖分區策略、通信優化等多個方面對系統進行分析；最后使用部分已開源的圖神經網絡系統進行實驗評估，從精確度、性能、擴展性等多個方面驗證這些系統的有效性.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6311

摘要：

圖機器學習在學術界和工業界都得到了廣泛的研究。然而，隨著圖學習文獻的大量涌現，涌現出大量的方法和技術，對于不同的圖相關任務，人工設計最優的機器學習算法變得越來越困難。為了解決這一關鍵挑戰，圖上的自動機器學習(AutoML)結合了圖機器學習和自動學習的優點，正受到學術界的關注。因此，本文對圖自動學習方法進行了全面的綜述，重點研究了用于圖機器學習的超參數優化(HPO)和神經結構搜索(NAS)。我們進一步概述了與自動圖機器學習相關的庫，并深入討論了AutoGL，這是第一個用于AutoML on graphs的專用開源庫。最后，我們分享了對自動圖機學習未來研究方向的看法。據我們所知，這篇論文是第一個關于圖上的自動機器學習的系統和全面的綜述。

//arxiv.org/abs/2103.00742

引言

圖形數據在我們的日常生活中無處不在。我們可以使用圖表來模擬實體之間的復雜關系和依賴關系，從蛋白質中的小分子和物理模擬中的粒子到大型全國范圍的電網和全球航空公司。因此，關于圖的機器學習一直是學術界和業界的一個重要研究方向[Newman, 2018]。特別是網絡嵌入[Cui et al., 2018; Hamilton et al., 2017; Goyal and Ferrara, 2018b; Cai et al., 2018b]和圖神經網絡(GNNs) [Zhang et al., 2020b; Wu et al., 2020; Zhou et al., 2018]在過去十年中越來越受到關注。已成功應用于推薦系統[Ying et al., 2018a; Ma et al., 2019]，欺詐檢測[Akoglu等人，2015]，生物信息學[Su等人，2020;Zitnik and Leskovec, 2017]，物理模擬[Kipf et .， 2018]，交通預測[Li et .， 2018b;Yu et al.， 2018]，知識表示[Wang et al.， 2017]，藥物再利用[Ioannidis et al., 2020; Gysi et al., 2020]和Covid-19大流行預測[Kapoor et al., 2020]。

盡管圖機器學習算法很受歡迎，但現有的文獻嚴重依賴人工超參數或架構設計來實現最佳性能，導致大量模型出現在各種圖任務時耗費大量人力。以GNNs為例，僅在2020年，就有至少一百種新的通用架構在頂級機器學習和數據挖掘會議上發表，更不用說針對特定任務設計的跨學科研究了。在為目標任務設計最優算法時，如果我們堅持人工的試錯范式，將不可避免地需要越來越多的人力努力。

另一方面，自動化機器學習(AutoML)已被廣泛研究，以減少人類在開發和部署機器學習模型方面的努力[He et al., 2020; Yao et al., 2018]. 完整的AutoML 具有使機器學習的每一個步驟自動化的潛力，包括自動數據收集和清洗、自動特征工程、自動模型選擇和優化等。由于深度學習模型的普及，超參數優化(HPO) [Bergstra and Bengio, 2012; Bergstra et al., 2011; Snoek et al., 2012]和神經結構搜索(NAS) [Elsken et al.， 2019]得到了最廣泛的研究。AutoML已經達到或超過了人類水平的性能[Zoph and Le, 2017; Liu et al., 2018; Pham et al., 2018]在諸如計算機視覺等領域幾乎沒有人類指導[Zoph et al., 2018; Real et al., 2019]。

圖自動機器學習，結合了AutoML和圖機器學習的優點，自然是一個很有前途的研究方向，進一步提升模型的性能，越來越受到社會各界的關注。在這篇文章中，我們提供了一個全面和系統的回顧自動機器學習圖，據我們所知，這是第一次。具體來說，我們關注兩個主要的主題: 圖機器學習的HPO和NAS。對于HPO，我們專注于如何開發可擴展的方法。對于NAS，我們遵循文獻，從搜索空間、搜索策略和性能評估策略比較不同的方法。在此過程中，我們討論了不同的方法如何應對圖自動機器學習的挑戰。然后，我們回顧了與自動圖機器學習相關的庫，并討論了第一個用于圖自動機器學習的專用框架和開源庫AutoGL。本文重點介紹了AutoGL的設計原理，并簡要介紹了它的應用，這些都是專門為圖自動機器學習而設計的。我們相信，本文的綜述將極大地促進和進一步推動自動機器學習在圖上的研究和應用。

近年來，圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力，在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響，而傳統的神經網絡在這些領域的表現并不好。事實上，正如最近的評論可以證明的那樣，GNN領域的研究已經迅速增長，并導致了各種GNN算法變體的發展，以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而，在目前的研究階段，GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外，由于它們依賴于輸入圖，它們的密集和稀疏操作的組合，或者在某些應用中需要伸縮到巨大的圖，GNN很難計算。在此背景下，本文旨在做出兩大貢獻。一方面，從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程，在過去十年中該領域發展的概述，以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面，對現有的軟硬件加速方案進行了深入分析，總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。

圖神經網絡(GNNs)是一種強大的圖表示學習工具。然而，最近的研究表明，GNN很容易受到精心設計的干擾，即所謂的對抗攻擊。對抗攻擊可以很容易地愚弄GNN，使其無法預測后續任務。在對安全性要求很高的應用程序中應用GNN的脆弱性引起了越來越多的關注。因此，開發對抗攻擊的魯棒算法具有重要意義。為對抗攻擊辯護的一個自然的想法是清理受干擾的圖。很明顯，真實世界的圖具有一些內在的特性。例如，許多真實世界的圖是低秩和稀疏的，并且兩個相鄰節點的特征趨于相似。事實上，我們發現，對抗攻擊很可能會破壞這些圖的屬性。因此，在本文中，我們探討這些性質，以防御圖的對抗性攻擊。特別地，我們提出了一個通用的框架Pro-GNN，它可以聯合學習結構圖和魯棒圖神經網絡模型從攝動圖的這些屬性指導。在真實圖上的大量實驗表明，與最先進的防御方法相比，即使在圖受到嚴重干擾的情況下，所提出的框架也能獲得更好的性能。我們將Pro-GNN的實現發布到我們的DeepRobust存儲庫，用于對抗攻擊和防御

//github.com/DSE-MSU/DeepRobust。

復現我們的結果的具體實驗設置可以在

概述

圖是在許多領域中普遍存在的數據結構，例如化學(分子)、金融(交易網絡)和社交媒體(Facebook朋友網絡)。隨著它們的流行，學習有效的圖表示并將其應用于解決后續任務尤為重要。近年來，圖神經網絡(Graph Neural Networks, GNNs)在圖表示學習取得了巨大的成功(Li et al.， 2015;Hamilton，2017;Kipf and Welling, 2016a;Veli?kovi?et al ., 2018)。GNNs遵循消息傳遞方案(Gilmer et al.， 2017)，其中節點嵌入是通過聚合和轉換其鄰居的嵌入來獲得的。由于其良好的性能，GNNs已經應用于各種分析任務，包括節點分類(Kipf和Welling, 2016a)、鏈接預測(Kipf和Welling, 2016b)和推薦系統(Ying et al.， 2018)。

雖然已經取得了令人鼓舞的結果，但最近的研究表明，GNNs易受攻擊(Jin et al.， 2020;Zugner et al.， 2018;Zugner Gunnemann, 2019;Dai et al.， 2018;吳等，2019b)。換句話說，在圖中不明顯的擾動下，GNNs的性能會大大降低。這些模型缺乏健壯性，可能會對與安全和隱私相關的關鍵應用造成嚴重后果。例如，在信用卡欺詐檢測中，詐騙者可以創建多個交易，只有少數高信用用戶可以偽裝自己，從而逃避基于GNNs的檢測。因此，開發抗攻擊的穩健的GNN模型具有重要意義。修改圖數據可以擾亂節點特征或圖結構。然而，由于結構信息的復雜性，現有的對圖數據的攻擊主要集中在修改圖數據結構，特別是添加/刪除/重連邊(Xu et al.， 2019)。因此，在這項工作中，我們的目標是抵御對圖數據的最常見的攻擊設置，即，對圖結構的毒殺攻擊。在這種情況下，圖結構在訓練GNNs之前已經修改了邊，而節點特征沒有改變，這已經擾亂了圖結構。

設計有效防御算法的一個視角是對擾動圖進行清理，如刪除反向邊和恢復被刪除邊(Zhu et al.， 2019;Tang et al., 2019)。從這個角度來看，關鍵的挑戰是我們應該遵循什么標準來清除擾動圖。眾所周知，真實世界的圖通常具有某些特性。首先，許多真實世界的干凈圖是低秩和稀疏的(Zhou et al.， 2013)。例如，在社交網絡中，大多數個體只與少數鄰居連接，影響用戶之間連接的因素很少(Zhou et al., 2013; Fortunato, 2010)。其次，干凈圖中連接的節點可能具有相似的特征或屬性(或特征平滑度)(McPherson et al.， 2001)。例如，在一個引文網絡中，兩個相連的出版物經常共享相似的主題(Kipf Welling, 2016a)。圖1演示了干凈和中毒圖的這些屬性。具體來說，我們用了最先進的圖數據中毒攻擊metattack (Zugner和Gunnemann, 2019a)來擾亂圖數據，并在mettack之前和之后可視化圖的屬性。如圖(a)a所示，metattack擴大了鄰接矩陣的奇異值，圖(b)b說明metattack可以快速地增加鄰接矩陣的秩。此外，當我們分別從攝動圖中刪除對抗性邊和法線時，我們觀察到刪除對抗性邊比刪除法線更快地降低了秩，如圖(c)c所示。另外，我們在圖(d)d中描述了攻擊圖的連通節點特征差異的密度分布。可以看出，metattack傾向于連接特征差異較大的節點。圖1的觀察結果表明，對抗性攻擊可能破壞這些屬性。因此，這些性質有可能作為清除攝動圖的指導。然而，利用這些性質來建立魯棒圖神經網絡的研究還很有限。

本文旨在探討圖的稀疏性、低秩性和特征平滑性，設計魯棒的圖神經網絡。請注意，還有更多的屬性有待探索，我們希望將其作為未來的工作。從本質上講，我們面臨著兩個挑戰:(1)如何在這些屬性的引導下，從中毒的圖數據中學習干凈的圖結構;(二)如何將魯棒圖神經網絡的參數與凈結構聯合學習。為了解決這兩個問題，我們提出了一個通用的框架屬性GNN (Pro-GNN)來同時從攝動圖和GNN參數中學習干凈的圖結構，以抵御對抗攻擊。在各種真實世界圖形上的大量實驗表明，我們提出的模型能夠有效地防御不同類型的對抗攻擊，并優于最先進的防御方法。

對抗性攻擊會對圖數據產生精心設計的擾動。我們把精心設計的擾動稱為對抗性結構。對抗結構會導致GNNs的性能急劇下降。因此，為了防御競爭攻擊，一種自然的策略是消除精心設計的競爭結構，同時保持固有的圖結構。在本工作中，我們的目標是通過探索低秩、稀疏性和特征平滑性的圖結構特性來實現這一目標。該框架的示意圖如圖2所示，其中黑色的邊為普通邊，紅色的邊為攻擊者為降低節點分類性能而引入的對抗性邊。為了抵御攻擊，Pro-GNN通過保持圖的低秩性、稀疏性和特征平滑性，迭代地重構干凈圖，以減少對抗結構的負面影響。同時，為了保證重構圖能夠幫助節點分類，Pro-GNN通過求解交替模式下的優化問題，同時更新重構圖上的GNN參數。

圖神經網絡很容易被圖對抗攻擊所欺騙。為了防御不同類型的圖對抗攻擊，我們引入了一種新的防御方法Pro-GNN，該方法同時學習圖結構和GNN參數。我們的實驗表明，我們的模型始終優于最先進的基線，并提高了在各種對抗攻擊下的整體魯棒性。在未來，我們的目標是探索更多的屬性，以進一步提高GNNs的魯棒性。