深度神經網絡已經徹底改變了電力系統中的許多機器學習任務,從模式識別到信號處理。這些任務中的數據通常以歐幾里得域表示。然而,在電力系統中有越來越多的應用,其中的數據收集自非歐幾里得域,并表示為具有高維特征和節點間相互依賴的圖結構數據。圖結構數據的復雜性給現有的歐幾里得域深度神經網絡帶來了重大挑戰。近年來,在電力系統圖結構數據的深度神經網絡擴展方面出現了許多研究。本文對電力系統中的圖神經網絡(GNNs)進行了綜述。總結了幾種經典的GNNs結構范式 (圖卷積網絡、圖遞歸神經網絡、圖注意力網絡、圖生成網絡、時空圖卷積網絡以及混合形式的GNNs),并詳細綜述了其在電力系統故障診斷、功率預測、能流計算和數據生成等方面的關鍵應用。此外,還討論了GNN在電力系統中應用的主要問題和一些研究趨勢。
信道建模是設計無線通信系統的基礎,傳統的信道建模方法無法自動學習特定類型信道的規律,特別是在針對特殊應用場景,如物聯網、毫米波通信、車聯網等,存在一定的局限性。此外,機器學習具有有效處理大數據、創建模型的能力,基于此,探討了機器學習如何與信道建模進行有機融合,分別從信道多徑分簇、參數估計、模型的構造及信道的場景識別展開了討論,對當前該領域的重要研究成果進行了闡述,并對未來發展提出了展望。
//www.infocomm-journal.com/txxb/CN/10.11959/j.issn.1000-436x.2021001
交通預測是智能交通系統成功的一個重要因素。深度學習模型包括卷積神經網絡和遞歸神經網絡已被應用于來建模交通預測問題的空間和時間依賴性。近年來,為了對交通系統中的圖結構和上下文信息進行建模,引入了圖神經網絡(GNNs)作為新的工具,在一系列交通預測問題中取得了最先進的性能。在本綜述論文中,我們回顧了近年來快速增長的使用不同GNN的研究,如圖卷積和圖注意力網絡,用于各種交通預測問題,如道路交通流量和速度預測,城市軌道交通系統客流預測,網約車平臺的需求預測等。我們也為每個問題提供了一個開放的數據和資源的集合,以及未來的研究方向。據我們所知,本文是第一次對圖神經網絡在交通預測問題中的應用進行全面的研究。我們還創建了一個Github公共資源庫來更新最新的論文、開放數據和資源。
//www.zhuanzhi.ai/paper/3a297985e3b4ac9f1c395dc78cc5cf03
關于圖信號處理、圖分析、圖機器學習比較全面的一本書,值得關注!
當前強大的計算機和龐大的數據集正在為計算數學創造新的機會,將圖論、機器學習和信號處理的概念和工具結合在一起,創建圖數據分析。
在離散數學中,圖僅僅是連接一些點(節點)和線的集合。這些圖表的強大之處在于,節點可以代表各種各樣的實體,比如社交網絡的用戶或金融市場數據,這些可以轉換成信號,然后使用數據分析工具進行分析。《圖數據分析》是對生成高級數據分析的全面介紹,它允許我們超越時間和空間的標準常規采樣,以促進建模在許多重要領域,包括通信網絡,計算機科學,語言學,社會科學,生物學,物理學,化學,交通,城市規劃,金融系統,個人健康和許多其他。
作者從現代數據分析的角度重新審視了圖拓撲,并著手建立圖網絡的分類。在此基礎上,作者展示了頻譜分析如何引導最具挑戰性的機器學習任務,如聚類,以直觀和物理上有意義的方式執行。作者詳細介紹了圖數據分析的獨特方面,例如它們在處理從不規則域獲取的數據方面的好處,它們通過局部信息處理微調統計學習過程的能力,圖上的隨機信號和圖移位的概念,從圖上觀察的數據學習圖拓撲,以及與深度神經網絡、多路張量網絡和大數據的融合。包括了大量的例子,使概念更加具體,并促進對基本原則的更好理解。
本書以對數據分析的基礎有良好把握的讀者為對象,闡述了圖論的基本原理和新興的數學技術,用于分析在圖環境中獲得的各種數據。圖表上的數據分析將是一個有用的朋友和伙伴,所有參與數據收集和分析,無論應用領域。
地址: //www.nowpublishers.com/article/Details/MAL-078-1
Graph Signal Processing Part I: Graphs, Graph Spectra, and Spectral Clustering
圖數據分析領域預示著,當我們處理數據類的信息處理時,模式將發生改變,這些數據類通常是在不規則但結構化的領域(社交網絡,各種特定的傳感器網絡)獲得的。然而,盡管歷史悠久,目前的方法大多關注于圖本身的優化,而不是直接推斷學習策略,如檢測、估計、統計和概率推理、從圖上獲取的信號和數據聚類和分離。為了填補這一空白,我們首先從數據分析的角度重新審視圖拓撲,并通過圖拓撲的線性代數形式(頂點、連接、指向性)建立圖網絡的分類。這作為圖的光譜分析的基礎,圖拉普拉斯矩陣和鄰接矩陣的特征值和特征向量被顯示出來,以傳達與圖拓撲和高階圖屬性相關的物理意義,如切割、步數、路徑和鄰域。通過一些精心選擇的例子,我們證明了圖的同構性使得基本屬性和描述符在數據分析過程中得以保留,即使是在圖頂點重新排序的情況下,在經典方法失敗的情況下也是如此。其次,為了說明對圖信號的估計策略,通過對圖的數學描述符的特征分析,以一般的方式介紹了圖的譜分析。最后,建立了基于圖譜表示(特征分析)的頂點聚類和圖分割框架,說明了圖在各種數據關聯任務中的作用。支持的例子展示了圖數據分析在建模結構和功能/語義推理中的前景。同時,第一部分是第二部分和第三部分的基礎,第二部分論述了對圖進行數據處理的理論、方法和應用,以及從數據中學習圖拓撲。
Graph Signal Processing Part II: Processing and Analyzing Signals on Graphs
本專題第一部分的重點是圖的基本性質、圖的拓撲和圖的譜表示。第二部分從這些概念著手,以解決圍繞圖上的數據/信號處理的算法和實際問題,也就是說,重點是對圖上的確定性和隨機數據的分析和估計。
Graph Signal Processing -- Part III: Machine Learning on Graphs, from Graph Topology to Applications
許多關于圖的現代數據分析應用都是在圖拓撲而不是先驗已知的領域上操作的,因此它的確定成為問題定義的一部分,而不是作為先驗知識來幫助問題解決。本部分探討了學習圖拓撲。隨著越來越多的圖神經網絡(GNN)和卷積圖網絡(GCN)的出現,我們也從圖信號濾波的角度綜述了GNN和卷積圖網絡的主要發展趨勢。接著討論了格結構圖的張量表示,并證明了張量(多維數據數組)是一類特殊的圖信號,圖的頂點位于高維規則格結構上。本部分以金融數據處理和地下交通網絡建模的兩個新興應用作為結論。
圖片
近年來,圖神經網絡(GNNs)由于具有建模和從圖結構數據中學習的能力,在機器學習領域得到了迅猛發展。這種能力在數據具有內在關聯的各種領域具有很強的影響,而傳統的神經網絡在這些領域的表現并不好。事實上,正如最近的評論可以證明的那樣,GNN領域的研究已經迅速增長,并導致了各種GNN算法變體的發展,以及在化學、神經學、電子或通信網絡等領域的突破性應用的探索。然而,在目前的研究階段,GNN的有效處理仍然是一個開放的挑戰。除了它們的新穎性之外,由于它們依賴于輸入圖,它們的密集和稀疏操作的組合,或者在某些應用中需要伸縮到巨大的圖,GNN很難計算。在此背景下,本文旨在做出兩大貢獻。一方面,從計算的角度對GNNs領域進行了綜述。這包括一個關于GNN基本原理的簡短教程,在過去十年中該領域發展的概述,以及在不同GNN算法變體的多個階段中執行的操作的總結。另一方面,對現有的軟硬件加速方案進行了深入分析,總結出一種軟硬件結合、圖感知、以通信為中心的GNN加速方案。
深度學習算法已經在圖像分類方面取得了最先進的性能,甚至被用于安全關鍵應用,如生物識別系統和自動駕駛汽車。最近的研究表明,這些算法甚至可以超越人類的能力,很容易受到對抗性例子的攻擊。在計算機視覺中,與之相對的例子是惡意優化算法為欺騙分類器而產生的含有細微擾動的圖像。為了緩解這些漏洞,文獻中不斷提出了許多對策。然而,設計一種有效的防御機制已被證明是一項困難的任務,因為許多方法已經證明對自適應攻擊者無效。因此,這篇自包含的論文旨在為所有的讀者提供一篇關于圖像分類中對抗性機器學習的最新研究進展的綜述。本文介紹了新的對抗性攻擊和防御的分類方法,并討論了對抗性實例的存在性。此外,與現有的調查相比,它還提供了相關的指導,研究人員在設計和評估防御時應該考慮到這些指導。最后,在文獻綜述的基礎上,對未來的研究方向進行了展望。
在本章中,我們將關注更復雜的編碼器模型。我們將介紹圖神經網絡(GNN)的形式,它是定義圖數據上的深度神經網絡的一般框架。關鍵思想是,我們想要生成實際上依賴于圖結構的節點的表示,以及我們可能擁有的任何特征信息。在開發復雜的圖結構數據編碼器的主要挑戰是,我們通常的深度學習工具箱不適用。例如,卷積神經網絡(CNNs)只在網格結構的輸入(如圖像)上定義良好,而遞歸神經網絡(RNNs)只在序列(如文本)上定義良好。要在一般圖上定義深度神經網絡,我們需要定義一種新的深度學習架構。
近年來, 隨著海量數據的涌現, 可以表示對象之間復雜關系的圖結構數據越來越受到重視并給已有的算法帶來了極大的挑戰. 圖神經網絡作為可以揭示深層拓撲信息的模型, 已開始廣泛應用于諸多領域,如通信、生命科學和經濟金融等. 本文對近幾年來提出的圖神經網絡模型和應用進行綜述, 主要分為以下幾類:基于空間方法的圖神經網絡模型、基于譜方法的圖神經網絡模型和基于生成方法的圖神經網絡模型等,并提出可供未來進一步研究的問題.
//engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext
圖是對對象及其相互關系的一種簡潔抽象的直觀數學表達. 具有相互關系的數據—圖結構數據在眾多領域普遍存在, 并得到廣泛應用. 隨著大量數據的涌現, 傳統的圖算法在解決一些深層次的重要問題, 如節點分類和鏈路預測等方面有很大的局限性. 圖神經網絡模型考慮了輸入數據的規模、異質性和深層拓撲信息等, 在挖掘深層次有效拓撲信息、 提取數據的關鍵復雜特征和 實現對海量數據的快速處理等方面, 例如, 預測化學分子的特性 [1]、文本的關系提取 [2,3]、圖形圖像的結構推理 [4,5]、社交網絡的鏈路預測和節點聚類 [6]、缺失信息的網絡補全 [7]和藥物的相互作用預測 [8], 顯示了令人信服的可靠性能.
圖神經網絡的概念最早于 2005 年由 Gori 等 [9]提出, 他借鑒神經網絡領域的研究成果, 設計了一種用于處理圖結構數據的模型. 2009 年, Scarselli 等 [10]對此模型進行了詳細闡述. 此后, 陸續有關于圖神經網絡的新模型及應用研究被提出. 近年來, 隨著對圖結構數據研究興趣的不斷增加, 圖神經網絡研究論文數量呈現出快速上漲的趨勢, 圖神經網絡的研究方向和應用領域都得到了很大的拓展.
目前已有一些文獻對圖神經網絡進行了綜述. 文獻 [11]對圖結構數據和流形數據領域的深度學習方法進行了綜述, 側重于將所述各種方法置于一個稱為幾何深度學習的統一框架之內; 文獻[12]將圖神經網絡方法分為三類: 半監督學習、無監督學習和最新進展, 并根據發展歷史對各種方法進行介紹、分析和對比; 文獻[13]介紹了圖神經網絡原始模型、變體和一般框架, 并將圖神經網絡的應用劃分為結構場景、非結構場景和其他場景; 文獻[14]提出了一種新的圖神經網絡分類方法, 重點介紹了圖卷積網絡, 并總結了圖神經網絡方法在不同學習任務中的開源代碼和基準.
本文將對圖神經網絡模型的理論及應用進行綜述, 并討論未來的方向和挑戰性問題. 與其他綜述文獻的不同之處在于, 我們給出新的分類標準, 并且介紹圖神經網絡豐富的應用成果. 本文具體結構如下: 首先介紹三類主要的圖神經網絡模型, 分別是基于空間方法的圖神經網絡、基于譜方法的圖神經網絡和基于生成方法的圖神經網絡等; 然后介紹模型在節點分類、鏈路預測和圖生成等方面的應用; 最后提出未來的研究方向.
最新的技術進步提高了交通運輸的質量。新的數據驅動方法為所有基于控制的系統(如交通、機器人、物聯網和電力系統)帶來了新的研究方向。將數據驅動的應用與運輸系統相結合在最近的運輸應用程序中起著關鍵的作用。本文綜述了基于深度強化學習(RL)的交通控制的最新應用。其中,詳細討論了基于深度RL的交通信號控制(TSC)的應用,這在文獻中已經得到了廣泛的研究。綜合討論了TSC的不同問題求解方法、RL參數和仿真環境。在文獻中,也有一些基于深度RL模型的自主駕駛應用研究。我們的調查廣泛地總結了這一領域的現有工作,并根據應用程序類型、控制模型和研究的算法對它們進行了分類。最后,我們討論了基于深度可編程邏輯語言的交通應用所面臨的挑戰和有待解決的問題。
圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功,但是GNNs的理論局限性最近已經被揭示出來。因此,人們提出了許多GNN模型來克服這些限制。在這次調查中,我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。