摘要:過去幾年,卷積神經網絡因其強大的建模能力引起廣泛關注,在自然語言處理、圖像識別等領域成功應用。然而,傳統的卷積神經網絡只能處理歐氏空間數據,而現實生活中的許多場景,如交通網絡、社交網絡、引用網絡等,都是以圖數據的形式存在。將卷積神經網絡遷移到圖數據分析處理中的核心在于圖卷積算子的構建和圖池化算子的構建。本文對圖卷積神經網絡進行綜述,首先介紹了圖卷積神經網絡的背景并梳理了兩類經典方法——譜方法和空間方法,圖數據上平移不變性的缺失給圖卷積算子的定義帶來困難,譜方法借助卷積定理在譜域定義圖卷積,而空間方法通過在節點域定義節點相關性來實現圖卷積;進而,本文介紹了圖卷積神經網絡的最新進展,這其中包括如何利用圖卷積神經網絡建模圖上的復雜信息,如異質連接、高階連接等,以及如何在大規模圖上實現圖卷積神經網絡;此外,本文介紹了圖卷積神經網絡的相關應用,包括推薦系統領域,交通預測領域等;最后本文對圖卷積神經網絡的發展趨勢進行了總結和展望。
隨著圖像處理,語音識別等人工智能技術的發展,很多學習方法尤其是采用深度學習框架的方法取得了優異的性能,在精度和速度方面有了很大的提升,但隨之帶來的問題也很明顯,這些學習方法如果要獲得穩定的學習效果,往往需要使用數量龐大的標注數據進行充分訓練,否則就會出現欠擬合的情況而導致學習性能的下降。因此,隨著任務復雜程度和數據規模的增加,對人工標注數據的數量和質量也提出了更高的要求,造成了標注成本和難度的增大。同時,單一任務的獨立學習往往忽略了來自其他任務的經驗信息,致使訓練冗余重復因而導致了學習資源的浪費,也限制了其性能的提升。為了緩解這些問題,屬于遷移學習范疇的多任務學習方法逐漸引起了研究者的重視。與單任務學習只使用單個任務的樣本信息不同,多任務學習假設不同任務數據分布之間存在一定的相似性,在此基礎上通過共同訓練和優化建立任務之間的聯系。這種訓練模式充分促進任務之間的信息交換并達到了相互學習的目的,尤其是在各自任務樣本容量有限的條件下,各個任務可以從其它任務獲得一定的啟發,借助于學習過程中的信息遷移能間接利用其它任務的數據,從而緩解了對大量標注數據的依賴,也達到了提升各自任務學習性能的目的。在此背景之下,本文首先介紹了相關任務的概念,并按照功能的不同對相關任務的類型進行劃分后再對它們的特點進行逐一描述。然后,本文按照數據處理模式和任務關系建模過程的不同將當前的主流算法劃分為兩大類:結構化多任務學習算法和深度多任務學習算法。其中,結構化多任務學習算法采用線性模型,可以直接針對數據進行結構假設并且使用原有標注特征表述任務關系,同時,又可根據學習對象的不同將其細分為基于任務層面和基于特征層面兩種不同結構,每種結構有判別式方法和生成式方法兩種實現手段。與結構化多任務學習算法的建模過程不同,深度多任務學習算法利用經過多層特征抽象后的深層次信息進行任務關系描述,通過處理特定網絡層中的參數達到信息共享的目的。緊接著,以兩大類算法作為主線,本文詳細分析了不同建模方法中對任務關系的結構假設、實現途徑、各自的優缺點以及方法之間的聯系。最后,本文總結了任務之間相似性及其緊密程度的判別依據,并且分析了多任務作用機制的有效性和內在成因,從歸納偏置和動態求解等角度闡述了多任務信息遷移的特點。 //gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019
隨著web技術的發展,多模態或多視圖數據已經成為大數據的主要流,每個模態/視圖編碼數據對象的單個屬性。不同的模態往往是相輔相成的。這就引起了人們對融合多模態特征空間來綜合表征數據對象的研究。大多數現有的先進技術集中于如何融合來自多模態空間的能量或信息,以提供比單一模態的同行更優越的性能。最近,深度神經網絡展示了一種強大的架構,可以很好地捕捉高維多媒體數據的非線性分布,對多模態數據自然也是如此。大量的實證研究證明了深多模態方法的優勢,從本質上深化了多模態深特征空間的融合。在這篇文章中,我們提供了從淺到深空間的多模態數據分析領域的現有狀態的實質性概述。在整個調查過程中,我們進一步指出,該領域的關鍵要素是多模式空間的協作、對抗性競爭和融合。最后,我們就這一領域未來的一些方向分享我們的觀點。
卷積神經網絡(Convolutional Neural Network, CNN)是深度學習領域中最重要的網絡之一。由于CNN在計算機視覺和自然語言處理等諸多領域都取得了令人矚目的成就,因此在過去的幾年里,CNN受到了業界和學術界的廣泛關注。現有的綜述主要關注CNN在不同場景下的應用,并沒有從整體的角度來考慮CNN,也沒有涉及到最近提出的一些新穎的想法。在這篇綜述中,我們的目標是在這個快速增長的領域提供盡可能多的新想法和前景。不僅涉及到二維卷積,還涉及到一維和多維卷積。首先,這篇綜述首先簡單介紹了CNN的歷史。第二,我們提供CNN的概述。第三,介紹了經典的和先進的CNN模型,特別是那些使他們達到最先進的結果的關鍵點。第四,通過實驗分析,得出一些結論,并為函數選擇提供一些經驗法則。第五,介紹了一維、二維和多維卷積的應用。最后,討論了CNN的一些有待解決的問題和有發展前景的方向,為今后的工作提供參考。