亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本論文研究了四元數神經網絡（QNN）的構建、優化以及在美國國防部（DoD）相關問題集中的應用。QNN 是一種神經網絡，其權重、偏置和輸入值均以四元數表示。長期以來，四元數一直被用于信號處理和機器人應用中，越來越多的研究表明，四元數神經網絡在基本任務和高維問題集方面的表現優于實值神經網絡。然而，這種性能提高的許多原因仍有待探索，研究 QNN 優化動態的文獻仍存在很大差距。本論文填補了其中的幾個空白。這項工作對文獻中存在的無數不同的四元數反向傳播推導進行了批判性評估，并在一系列回歸問題集上測試了每種推導的性能。論文探討了 QNN 的優化動態，展示了 QNN 損失面的可視化，以及評估這些損失面 “平滑度 ”的新方法。最后，本論文介紹了深度強化學習（DRL）算法中 QNN 與四元深度 Q 網絡（QDQN）算法的新型集成。QDQN 代表了迄今為止 QNN 研究的頂峰，為進一步的研究和探索奠定了基礎，在先進的自主系統 (AS) 和機器人控制應用中，在充分利用四元數代數結構的問題集中利用 QNN。

美國國防部（DoD）和整個美國政府越來越認識到人工智能/機器學習（AI/ML）和自主應用的潛在影響。這種日益增長的關注是由這些技術對國防行動、美國勞動力所具有的變革潛力以及在作戰中使用此類系統的道德和倫理影響所驅動的。2018 年國防部人工智能戰略》指出："人工智能正在迅速改變各種業務和行業。它還準備改變未來戰場的特征和必須面對的威脅的速度"。近年來，這種轉變的速度不斷加快，推動著人工智能/ML 研究成為國防部戰略發展和投資的最前沿。本論文研究了四元數神經網絡（QNN）的構建和使用，將其作為一種關鍵的使能技術，促進穩健、可靠的機器學習方法和自主系統（AS）的發展。

四元數是復數的四維擴展，包含幾個重要的代數特性。復數在信號處理和電子工程應用中無處不在，因為它能簡潔地表示復平面中的二維矢量旋轉，而四元數同樣能簡潔地表示三維空間中的矢量旋轉。圖 1 舉例說明了當三維空間中的矢量用純四元數表示時，三維矢量旋轉如何簡化為兩個四元數乘法運算。

本論文的結構如下： 第二章簡要回顧了四元數代數并介紹了四元數神經網絡。第三章至第五章介紹了論文的三個主要研究內容。最后，第六章提出了總體結論和未來工作建議。

第三章的重點是對四元神經網絡文獻進行全面而嚴謹的分析，因為它與四元域中的神經網絡反向傳播算法相對應。在進行反向傳播訓練 QNN 時，四元數需要考慮一些特殊因素，文獻中存在無數關于四元反向傳播的推導。這項工作提供了一個精心構建的實驗，以檢驗每種不同反向傳播方法的性能。實驗結果根據各種指標進行評估，并進行了重復，以確保統計的嚴謹性。通過這些重復實驗，可以進行穩健的統計測試，以確定各種指標（包括網絡準確性和計算效率的多種衡量標準）中性能最佳的算法。

第四章研究 QNN 的優化動態。這項研究利用實值神經網絡文獻中的損失面可視化和投影技術，首次探索了基于四元數的優化損失面。研究介紹了利用曲面曲率估計值對損失曲面 “好壞 ”進行穩健定量測量的方法。本章還進行了廣泛的計算測試，以證明曲面曲率估計值的有效性。最后，本章介紹了經過調整的 QNN 模型與經過調整的實值 NN 模型在回歸任務和分類任務中的平均表面曲率的穩健統計比較。實驗證明，QNN 模型的損失曲面在統計上明顯比實值模型更平滑，這為 QNN 在各種問題領域的優化性能提升提供了強有力的支持。

第五章是本論文主要研究的頂點。本章介紹了將 QNN 整合到深度強化學習（DRL）算法中的新方法，即四元數深度 Q 網絡（QDQN）算法。在 OpenAI Gym 測試環境套件中的兩個標準 DRL 基準任務上，檢驗了 QDQN 與實值深度 Q-Network (DQN) 算法的性能對比。實驗設計參數和隨機數種子都經過嚴格控制，因此結果具有可重復性和可辯護性。在這些測試環境中，QDQN 與 DQN 的對比評估證明了 QDQN 在具有挑戰性的 DRL 任務中的有效性和可行性。

最后，第六章對論文進行了總結。論文給出了總體結論，并為今后的工作提供了幾條可行的途徑。

超參數是控制機器學習算法行為的配置變量。在機器學習和人工智能領域中，超參數無處不在，其值的選擇決定了基于這些技術的系統的有效性。手動的超參數搜索往往無法令人滿意，并且當超參數數量較多時變得不可行。自動化搜索是實現機器學習自動化的重要一步，使研究人員和實踐者無需通過反復試驗來尋找理想的超參數組合。在本綜述中，我們對超參數優化進行統一闡述，為讀者提供當前技術前沿的示例和見解。我們涵蓋了自動化超參數搜索的主要技術家族，通常稱為超參數優化或調優，包括隨機和準隨機搜索、強盜算法、基于模型和基于梯度的方法。我們還討論了擴展內容，包括在線、約束和多目標的公式，觸及了與元學習和神經架構搜索等其他領域的聯系，并以開放問題和未來研究方向作為總結。

在過去十年中，機器學習已成為推動科學和工業創新的關鍵動力。人類交互的數字化導致了前所未有的數據規模的生成。由于微電子技術的進步以及云計算的興起，這些數據能夠以更低的成本進行存儲。硬件和低功耗芯片設計的進步也導致了計算能力的指數級提升，包括云基礎設施（如圖形處理單元，GPU）以及邊緣設備（如手機）。這兩種趨勢——更便宜、更強大的存儲和計算硬件，為統計機器學習在實際應用中的成功和人工智能中的應用奠定了基礎。它使得學習算法能夠在大量數據中篩選和提取模式，從而實現數據驅動的決策，減少或限制了人為干預。

機器學習的最新進展最顯著的例子之一是 AlphaGo（Silver 等人，2017），這是一個由倫敦公司 DeepMind 的機器學習專家開發的計算機程序。AlphaGo 于 2016 年戰勝了圍棋世界冠軍之一的李世石。這一事件引起了廣泛的媒體報道（甚至被改編成電影），因為當時人們認為，至少在未來幾十年內，不可能有計算機程序能夠在圍棋比賽中擊敗人類。但鮮為人知的是，AlphaGo 的成功在很大程度上依賴于另一個計算機程序自動調整了一組稱為超參數的配置參數（Chen 等人，2018）。該計算機程序依賴于貝葉斯優化，這是一種算法，通過預測和評估使用特定超參數時算法（如 AlphaGo）的性能來逐步優化。在一定的成本或時間預算耗盡之前，貝葉斯優化會不斷計算探索-利用平衡，以決定基于當前性能觀察的下一個最具吸引力的超參數集。

在實際操作中，任何機器學習算法的泛化能力也依賴于超參數。傳統的機器學習算法（例如支持向量機，Shawe-Taylor 和 Cristianini，2004）需要手工設計的特征來將原始數據轉換為合適的格式，而深度神經網絡則通過直接輸入原始數據，以“端到端”方式學習（LeCun 等人，2015）。然而，在這兩種情況下，模型的組成（例如特征提取器的選擇或神經網絡架構）和優化算法依賴于某些量，這些量將決定算法在自然語言理解、計算機視覺或語音識別任務中的學習效果。

為了說明精心選擇超參數的重要性，我們可以以情感分析問題為例。Yogatama 等人（2015）在此背景下研究了超參數的影響。具體而言，作者將該問題框定為文獻中常見的二元分類問題，即分類器的任務是預測文本表達的是消極還是積極情感。他們將簡單的隨機梯度下降訓練的邏輯回歸與卷積神經網絡進行了比較，后者在發表時達到了最先進的結果。表 1.1a 顯示了所搜索的超參數，包括所使用的文本特征（例如，是否移除停用詞）、正則化類型（例如，?1 或 ?2）以及優化算法參數（例如，收斂容差）。在亞馬遜電子數據集上的實驗結果在表 1.1b 中再現。有趣的是，他們發現，使用詞袋表示文本的調整后邏輯回歸與卷積神經網絡表現相當，僅略遜于序列卷積神經網絡。我們將在下一章中更詳細地回到此示例。

因此，超參數在機器學習中起著關鍵作用，因為它們不僅決定了訓練模型的泛化能力，還可能決定了什么才是當前最先進的水平。確實，實證研究中的結果在選擇不同的超參數時可能會大相徑庭，從而得出不同的結論。不幸的是，發表的結果中常常沒有報告用于運行實驗的特定超參數，例如為了證明所提出的方法優于先前發表的方法，而這些結果因此難以復現，這就對當前機器學習中所謂的“最先進水平”提出了質疑（Haibe-Kains 等人，2020）。

本專著的主題是超參數優化（HPO）。可用的算法工具來自動化這一任務及其廣泛采用將有助于機器學習研究人員以一種原則化的方式處理超參數。更重要的是，這些工具將保證新的研究進展可以復現，從而毫無爭議地為該領域作出貢獻。隨著實驗設置的發展，我們認為研究人員需要發布所使用的 HPO 算法、允許消耗的資源量（Dodge 等人，2019）以及所考慮的超參數搜索空間（Gundersen 和 Kjensmo，2018）。我們的目標是提供關于 HPO 的既定技術和最新進展的全面概述。通過這樣做，我們希望有助于在研究和工業領域系統性地使用自動化 HPO 算法的實踐。

無人駕駛技術的采用促進了對機器人蜂群系統的多學科研究，尤其是在軍事領域。受生物群解決問題能力的啟發，這些系統具有從局部互動中產生全局行為的優勢，從而減少了對集中控制的依賴。在機器人蜂群中創造突發行為的傳統方法要求蜂群具有可預測和可控制的特性，同時具有明確的局部規則和對所有智能體的全面了解。在反蜂群交戰中，蜂群系統需要一種全局策略，這種策略應具有魯棒性并能適應動態環境，同時盡量減少對完整知識的依賴。本研究探討的是一個反向問題：設計局部規則，以近似于通常基于每個無人機的完整知識和通信的突發行為。目標是創建分散區域，在這些區域中，防御方無人機利用在模擬數據基礎上廣泛訓練的神經網絡模型。從涉及三個攻擊方和一個防御方的交戰中提取的數據被組織成代表不同特征的各種輸入集。訓練后的回歸分析確定了與甲骨文算法相比能生成最佳防御方航向角的特征集。結果表明，神經網絡模型比oracle更有效地優化了更短的交戰時間，驗證了使用經過訓練的網絡代替傳統算法的可行性。

基于深度神經網絡的機器學習方法已經取得了長足的進步，并在許多具有挑戰性的應用領域中表現出最先進的水平，包括計算機視覺、自然語言處理、語音識別和強化學習等等。這些結果通常是通過使用非常深入的神經網絡訓練的大型標記數據集獲得的，這些網絡以分層的方式學習原始數據特征的高度非線性抽象。此外，這些方法經常通過神經結構設計的方式納入歸納偏見，以限制可能的解決方案的集合。例如，卷積神經網絡（CNN）廣泛使用具有小感受野的卷積，在一定程度上模仿靈長類動物視覺系統的神經結構。事實上，已經證明，通過CNN學習的表征與從靈長類視覺系統學習的表征相比更有優勢。由于這些成功，神經網絡方法常常被視為在這些領域建立模型時的事實上的方法。

即使在多個應用領域取得了這些進展，神經網絡方法應用于表格數據的可行性仍有一些不確定性。表格數據包括以（行，列）表格式存儲的數據，其中行包含獨立的實例，列包含不同的特征。此外，表中的每一列/特征可能有不同的可能數據類型（例如，二進制與連續與分類），代表了一種高度異質的數據格式。麥肯錫公司最近的一項研究，調查了19個不同行業的400多個應用領域，顯示這種類型的表格數據是工業中最常用的數據格式之一。在表格數據上建立機器學習分類模型的標準方法一般是以決策樹（DTs）的形式出現，這是一個有監督的機器學習模型系列，它建立了一個樹狀圖，節點代表我們挑選特征子集的地方，并根據這些特征提出決策規則/閾值（例如。如果性別=男性和年齡>40歲，對于一個包含性別和年齡特征的表格數據集）；邊代表這個決策規則的結果；葉子代表輸出，可以是另一個具有另一組輸入特征的決策節點，也可以是預測的感興趣的類別標簽。

基于DT的方法有很多好處，包括它們的基本形式具有很強的可解釋性（例如，通過跟蹤決策節點的層次流），這在許多現實世界的應用中是一個重要的關注點，而且它們的訓練計算速度很快。然而，DT方法也有幾個缺點：1）它們容易過度擬合，導致泛化效果差；2）它們對輸入數據的微小擾動非常敏感（在不同的數據子集上訓練時，可能會學到非常不同的樹）；3）它們很難對非常復雜、高度非線性的決策規則建模。這些缺點開啟了使用神經網絡方法的可能性，因為它們有能力對高度非線性關系進行建模，并且對輸入數據的微小偏差具有更好的魯棒性，這一點在其他幾個應用領域中得到了證明。然而，由于之前提出的神經網絡架構并不適合于表格數據，缺乏適當的歸納偏差往往導致它們無法為表格數據找到最佳解決方案。

在過去的幾年里，人們對構建用于表格數據的神經網絡方法的興趣越來越濃厚。特別是，最近的一項研究比較了幾種不同的神經網絡架構和基于DT的方法，發現在對40個不同的表格式數據集進行評估時，神經網絡方法與基于DT的方法具有競爭力，這些數據集具有不同數量的實例（690-418,000）和特征（5-2000）。在許多情況下，這些神經網絡方法的表現超過了基于DT的方法，這表明現在有可行的神經網絡方法可以應用于表格數據。

在這份報告中，我們描述了我們對表格神經網絡方法進行評估的初步結果，該方法使用可穿戴生理傳感器技術，如心電圖（ECG）和皮膚電化學反應（GSR）進行人類情感狀態分類（如壓力、喚醒）。情感狀態分類是人機交互（HCI）界日益關注的領域，因為模擬和預測人類情感狀態的能力開辟了新的研究方向，側重于改善人類與自主智能系統的互動和團隊。

情感狀態分類的最大挑戰之一是跨個體的穩健表現，在這個領域之前沒有多少工作。然而，在這一領域，由于需要進行人體測試，以及個體間潛在的情感狀態存在很大程度的變異，所以很難收集大量的標記數據集。我們假設，在低標簽數據制度下，對預先提取的特征進行訓練的表格神經網絡方法可能是一種可行的替代方法，可以完全替代傳統上需要大量標簽數據集才能有效訓練的深度神經網絡的端到端訓練（即沒有任何先驗的特征處理）。為了測試這一假設，我們使用了模型框架AutoGluon-Tabular，它是一個易于使用且高度準確的Python庫，用于構建表格數據的神經網絡。本報告總結了我們使用三個公開可用數據集的發現。認知負荷、情感和壓力 認知負荷、情感和壓力（CLAS）、ASCERTAIN和AMIGOS。 我們最初的分析集中在這三個數據集內部和之間的主體間分類，因為這仍然是情感狀態分類的關鍵挑戰之一。

過去的研究表明，神經網絡在進行量子糾錯（QEC）解碼時，比算法解碼器更準確、更高效。由于量子計算機中的量子比特是不穩定的，在它們解體之前只能在幾毫秒內使用，為了在量子算法的時間預算內糾正數據量子比特的錯誤，有必要采用快速量子糾錯的方法。算法解碼器善于解決只有幾個數據量子比特的邏輯量子比特的錯誤，但在含有更多數據量子比特的系統中效率較低。有了神經網絡解碼器，實際的量子計算變得更加可實現，因為糾錯操作的計算速度比MWPM或部分查找表的實現方式快得多。這項研究旨在進一步推動神經網絡QEC解碼器的研究，通過使用高性能計算算法生成詳盡和隨機采樣的數據集，評估數據集生成方法對這些神經網絡與類似模型相比的有效性的影響。這項工作的結果表明，不同的數據集會影響各種性能指標，包括準確性、F1得分、接收者操作特征曲線下的面積和QEC周期。

本報告重點討論了如何利用模擬或生成模型創建的合成數據來解決深度學習的數據挑戰。這些技術有很多優點：1）可以為現實世界中難以觀察到的罕見情況創建數據；2）數據可以在沒有錯誤的情況下被自動標記；3）數據的創建可以很少或沒有侵犯隱私和完整性。

合成數據可以通過數據增強等技術整合到深度學習過程中，或者在訓練前將合成數據與真實世界的數據混合。然而，本報告主要關注遷移學習技術的使用，即在解決一個問題時獲得的知識被遷移到更有效地解決另一個相關問題。

除了介紹合成數據的生成和轉移學習技術，本報告還介紹了實驗結果，這些結果對合成數據方法在飛行員行為克隆、車輛檢測和人臉驗證任務中的潛力提供了寶貴的見解。實驗的初步結果表明，軍事模擬器和生成模型可以用來支持深度學習應用。然而，性能往往受限于合成數據和真實世界數據之間的保真度差距。

1 引言

深度學習（DL）是一種技術，它提高了在廣泛的現實世界應用中實現復雜任務自動化的能力。翻譯、轉錄、視頻監控、推薦系統和自動駕駛汽車都是基于DL的解決方案已經被開發和部署用于商業目的的例子。在軍事領域，DL有可能支持人類在所有領域和戰爭級別的決策，其應用包括自動目標識別、預測性維護和無人駕駛車輛的自動控制。

與其他機器學習（ML）技術類似，DL使用算法來從數據中提取知識。在這種情況下，知識被編碼在大容量的深度神經網絡（DNNs）中，這些網絡可能由數千、數百萬甚至數十億的可調整參數組成，這取決于所考慮的任務的復雜性。為了正確調整這些參數，學習算法需要大量的訓練數據。沒有這些數據，DNN將無法泛化，因此，當遇到以前未見過的數據時，它將不會有好的表現。

獲取DL的訓練數據是困難的。這在商業應用中是存在的，而在軍事領域更是如此。瓶頸之一是，學習算法通常需要經過人工標注的數據（即為每個輸入數據點提供一個正確的答案）。因此，即使在獲取大量輸入數據相對低成本的情況下，正確標記所有的數據也往往是高成本和費時的。例如，Cityscapes數據集中的5,000個樣本中，每個樣本平均需要1.5個小時來標注（整個數據集大約需要十個月）[1]。此外，由于標注是由人類來完成的，其結果可能是不正確的、有偏見的甚至是有成見的，這也會反映在訓練過的模型的行為上。

此外，訓練數據往往存在長尾分布的問題。也就是說，對于數量有限的普通案例，訓練數據相對容易獲得，但對于大量重要的邊緣案例，訓練數據本身就很難獲得。例如，考慮一個基于無人機的軍用車輛監視和跟蹤系統。在這種情況下，友好車輛的空中圖像相對容易獲得。車輛數據可以在不同的地點、高度、角度、天氣條件、環境等方面獲得。獲取代表合格敵方車隊的類似現實世界的數據集通常是不可能的，因為這種侵入性的情報行動會導致對手的行動。使用遵循長尾分布的數據集訓練的系統通常實用價值有限，因為它只能在條件理想時使用（即，輸入數據與常見情況相似）。當遇到代表邊緣案例的真實世界的數據時，該系統將不會有好的表現，也不能被依賴。

1.1 目的和范圍

本報告的目的是介紹可用于解決軍事背景下有限訓練數據所帶來的一些挑戰的技術。具體來說，本報告重點討論如何將使用軍事模擬或生成模型創建的合成數據與微調、領域適應、多任務學習和元學習等遷移學習技術結合起來，以加速未來DL在軍事領域應用的開發和部署。

1.2 目標讀者群

本報告的目標讀者是操作、獲取或開發AI/ML/DL技術，用于或嵌入軍事系統的人員。

1.3 閱讀說明

本報告假定讀者具有關于ML和DL概念的基本知識，如監督學習、強化學習、損失函數、梯度下降和反向傳播。鼓勵缺乏此類知識的讀者在繼續閱讀本報告之前，先閱讀FOI-報告FOI-R-4849-SE[2]中的第二章。

1.4 提綱

第2章概述了在深度學習中可以用來生成和整合合成訓練數據的技術和方法。第3章概述了轉移學習技術，可以用來促進知識從一個任務到另一個任務的重用。在第4章中，對這些技術的一個子集進行了評估，并提供了深入了解合成數據方法潛力的實驗結果。第5章中提出了結論。

圖2.2: 一幅戰斗機的圖像（2.2a）通過添加噪聲（2.2b）、濾色器（2.2c）和模糊（2.2d），以及通過縮放（2.2e）和縮放后的旋轉（2.2f）得到增強。每幅圖像都附有所有像素的平均RGB值分布的相應圖表。雖然所有圖像在語義上是不變的，但分布的形狀卻有很大的不同。

圖4.7：從我們的訓練數據集中隨機選擇的合成圖像。對于每一對圖像，左邊顯示的是最初生成的臉，右邊顯示的是編輯過的臉。請注意，所有圖像都在臉部周圍進行了裁剪。

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法，促進下游任務的完成，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力，GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來，它已成為一個熱門的研究課題，越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題，包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。

目錄內容：

• 引言 Introduction
• 基礎 Foundations
• 模型 Models
• 應用 Applications

//cse.msu.edu/~wangy206/tutorials/sdm2021/

社交網絡和分子圖等結構化的圖形數據在現實世界中隨處可見。設計先進的圖結構數據表示學習算法，促進下游任務的完成，具有重要的研究意義。圖神經網絡(GNNs)將深度神經網絡模型推廣到圖結構數據，為從節點級或圖級有效學習圖結構數據表示開辟了一條新途徑。由于其強大的表示學習能力，GNN在從推薦、自然語言處理到醫療保健等各種應用中獲得了實際意義。近年來，它已成為一個熱門的研究課題，越來越受到機器學習和數據挖掘界的關注。本教程涵蓋了相關和有趣的主題，包括使用GNNs在圖結構數據上的表示學習、GNNs的魯棒性、GNNs的可擴展性和基于GNNs的應用程序。

目錄內容： 引言 Introduction 基礎 Foundations 模型 Models 應用 Applications

//cse.msu.edu/~mayao4/tutorials/aaai2021/

隨著網絡信息的爆炸式增長，推薦系統在緩解信息過載方面發揮了重要作用。由于推薦系統具有重要的應用價值，這一領域的研究一直在不斷涌現。近年來，圖神經網絡(GNN)技術得到了廣泛的關注，它能將節點信息和拓撲結構自然地結合起來。由于GNN在圖形數據學習方面的優越性能，GNN方法在許多領域得到了廣泛的應用。在推薦系統中，主要的挑戰是從用戶/項目的交互和可用的邊信息中學習有效的嵌入用戶/項目。由于大多數信息本質上具有圖結構，而網絡神經網絡在表示學習方面具有優勢，因此將圖神經網絡應用于推薦系統的研究十分活躍。本文旨在對基于圖神經網絡的推薦系統的最新研究成果進行全面的綜述。具體地說，我們提供了基于圖神經網絡的推薦模型的分類，并闡述了與該領域發展相關的新觀點。

摘要：

隨著電子商務和社交媒體平臺的快速發展，推薦系統已經成為許多企業不可缺少的工具[78]。用戶依靠推薦系統過濾掉大量的非信息，促進決策。一個高效的推薦系統應該準確地捕捉用戶的偏好，并提出用戶潛在感興趣的內容，從而提高用戶對平臺的滿意度和用戶留存率。

推薦系統根據用戶的興趣和物品屬性來評估他們對物品的偏好。用戶興趣和項目屬性都用壓縮向量表示。因此，如何通過歷史交互以及社會關系、知識圖譜[49]等側面信息來了解用戶/項目嵌入是該領域面臨的主要挑戰。在推薦系統中，大多數信息都具有圖結構。例如，用戶之間的社會關系和與項目相關的知識圖譜，自然就是圖形數據。此外，用戶與項目之間的交互可以看作是二部圖，項目在序列中的轉換也可以構建為圖。因此，圖形學習方法被用來獲得用戶/項目嵌入。在圖學習方法中，圖神經網絡(graph neural network, GNN)目前受到了極大的追捧。

在過去的幾年里，圖神經網絡在關系提取和蛋白質界面預測等許多應用領域取得了巨大的成功[82]。最近的研究表明，推薦器在以圖[41]的形式引入用戶/項目和邊信息的交互時，性能有了很大的提升，并利用圖神經網絡技術得到了更好的用戶/項目表示。圖神經網絡通過迭代傳播能夠捕捉用戶-項目關系中的高階交互。此外，如果社會關系或知識圖譜的信息是可用的，則可以有效地將這些邊信息集成到網絡結構中。

本文旨在全面回顧基于圖神經網絡的推薦系統的研究進展。對推薦系統感興趣的研究者和實踐者可以大致了解基于圖神經網絡的推薦領域的最新發展，以及如何利用圖神經網絡解決推薦任務。本調查的主要貢獻總結如下:

• 新的分類法：我們提出了一個系統的分類模式來組織現有的基于圖神經網絡的推薦模型。我們可以很容易地進入這個領域，并對不同的模型進行區分。

• 對每個類別的全面回顧，我們展示了要處理的主要問題，并總結了模型的總體框架。此外，我們還簡要介紹了代表性模型，并說明它們是如何解決這些問題的。

• 我們討論了當前方法的局限性，并在效率、多圖集成、可擴展性和序列圖構造方面提出了四個潛在的未來方向。