辨識性特征學習及在細粒度分析中的應用
細粒度分析旨在對粗粒度的大類進行細粒度的子類劃分,如把鳥劃分為里海燕鷗、 北極燕鷗等子類別。其廣泛應用于智能農業、智能醫療等智能產業,具有重要的研究 和應用價值。其挑戰在于類間差異小、類內差異大。以圖像為例,不同子類別在形狀、 顏色上差異細微,難以區分;相同子類別在姿態、視角上差異顯著,容易誤分。因此, 關鍵科學問題是:如何獲取細粒度子類別的辨識性信息并有效表達,突破細粒度分析難題。針對上述問題,本文從減少標注成本、減少人工先驗、提高辨識速度、提高語義 關聯四個方面展開辨識性特征學習研究,并分別應用于細粒度圖像分類和細粒度跨媒 體檢索任務。主要工作總結如下:
在減少標注成本上,提出了基于對象-部件注意力模型的細粒度圖像分類方法。在對象級注意力上,提出注意力選擇和顯著性提取,自動定位對象區域,學習更 精細的對象特征。在部件級注意力上,提出空間關聯約束和部件語義對齊,實現 辨識性部件的有效定位,排除了姿態、視角等差異的干擾。兩者結合能夠學習 到多粒度的辨識性特征,準確率超過了使用對象、部件人工標注的強監督方法。
在減少人工先驗上,提出了基于堆疊式深度強化學習的細粒度圖像分類方法。首 先,層次化地定位圖像中的多粒度辨識性區域,并自適應地確定其數目。然后, 通過多尺度區域的定位及辨識性特征學習,進一步提升細粒度圖像分類準確率。學習過程由語義獎勵函數驅動,能夠有效捕捉圖像中的辨識性、概念性的視覺 信息,實現弱監督甚至無監督條件下的辨識性特征學習。
在提高辨識速度上,提出了基于弱監督快速辨識定位的細粒度圖像分類方法。首 先,提出多級注意力引導的辨識性定位,通過顯著圖生成偽監督信息,實現了 弱監督條件下的辨識性定位。進一步顯著圖驅動二次定位學習,增強了定位的 準確性。然后,提出多路端到端辨識性定位網絡,實現多個辨識性區域的同時 定位,從而提高了辨識速度。多個辨識性區域之間互補促進,提升細粒度圖像 分類準確率。
在提高語義關聯上,引入文本、視頻、音頻等跨媒體數據,提出了基于細粒度 分類的跨媒體檢索方法。建立了首個包含 4 種媒體類型(圖像、文本、視頻和 音頻)的細粒度跨媒體檢索公開數據集和評測基準 PKU FG-XMedia。提出了能 夠同時學習 4 種媒體統一表征的深度模型 FGCrossNet,確保統一表征的辨識性、 類內緊湊性和類間松散性。實現圖像向跨媒體的擴展,分類向檢索的擴展。
面向文本生成的深度序列模型研究
人工智能走向成熟的一個重要標志是賦予計算機“說話” 的能力,實現文本 的自動生成。文本生成范圍很廣,按照不同的輸入劃分,可包括圖像到文本的生 成、音頻到文本的生成、數據到文本的生成以及文本到文本的生成。其中,文本 到文本的生成旨在分析理解輸入文本,撰寫得到新的自然語言文本。文本到文本 生成技術廣泛應用在智能編輯、智能助理、人機對話等領域,悄然融入到人們的 日常生活中,也成為學術界研究的熱點。
文本到文本的生成可以看做是將承載原始信息的文本轉變成符合用戶真實 信息需求的文本。本文根據信息變換方式的不同,將文本到文本的生成劃分成三 類任務:壓縮式生成、對等式生成和多樣化生成。其中壓縮式生成將文本或文本 集合壓縮成簡明扼要的內容;對等式生成中輸入文本和輸出文本在語義上具有 一一對應性;多樣化生成中輸入文本和輸出文本在語義上存在著多種對應關系。近年來,隨著深度學習的崛起,利用深度序列模型,實現序列到序列的學習已然 成為文本到文本生成研究領域的主流。基于深度序列建模的文本到文本生成主 要包含三個環節:輸入文本的語義理解,輸入信息到輸出信息的映射,以及輸出 文本的建模。基于此,本文研究了面向文本生成的深度序列建模過程中三個關鍵 性的挑戰問題:1)輸入文本的語義繁雜性;2)輸入文本和輸出文本間的映射多 樣性;3)輸出文本的結構復雜性。
首先,針對語義繁雜性問題,本文提出了兩種利用深度學習技術進行語義精 簡表征的算法。首先,從無監督方式利用詞向量表達文檔語義的角度,本文提出 了基于聚合和基于生成的文檔表征模型。傳統的詞向量袋模型無法刻畫單詞間 的語義關聯性,并且缺乏合理的概率統計基礎。針對這兩個問題,本文設計了一 個詞向量聚合框架,利用球上連續概率分布建模詞向量間的余弦相似度,以及一 個基于詞向量的概率生成模型,同時建模文本和單詞的生成。其次,從有監督方 式直接利用神經網絡端到端建模文本生成的角度,針對壓縮式生成中輸入文本 較長帶來的復雜語義理解問題,本文設計了層次化的表征模型,捕捉文檔中的層 次組成結構。句子是關于長文檔核心主題的更主要的載體。但是,現有的工作平 等地對待每個句子,并未考慮不同句子所起作用的不同。針對此問題,本文提出了自我注意力機制,自動學習不同句子的權重,以組合得到最終的文檔表達。實 驗結果驗證了本文提出的模型在繁雜語義的精簡表征能力上的有效性。
然后,針對映射多樣性問題,本文提出了基于顯式的控制變量來幫助學習映 射關系的模型。現有工作僅用單模型來學習映射關系,因此只適用于對等式生 成,在多樣化生成中失敗。針對此問題,本文直接面向對話任務,解決 “話語-回 復” 間一對多的具體化映射關系導致單模型傾向生成高頻回復的問題。本文提出 了一種新的可控回復生成機制,將具體化控制變量引入到深度序列模型中,并通 過高斯核層與單詞的使用表達相互作用,以指導模型生成不同具體化程度下的 回復。當變量設為固定值時,模型刻畫的就是一對一關系,適用于對等式生成。實驗結果證明,本文所提模型可以有效地控制目標文本的生成。
最后,針對結構復雜性問題,本文分別從非結構化文本和結構化文本兩個角 度對輸出文本進行了研究。首先,針對非結構化文本中疑問句存在的疑問模式, 本文在基于自我注意力機制的深度序列模型中,引入疑問詞詞表,并在非疑問詞 和疑問詞詞表上使用詞表選擇機制,以更好地學習疑問句模式。其次,相比于非 結構化文本,結構化文本能夠更有條理地組織信息,然而鮮有人關注結構化文本 的生成,比如提綱、信息表和報表等。因此,本文提出了提綱生成任務,識別多 段落文檔中潛在的章節并生成相應的章節標題,并將其形式化為層次化的結構 預測問題,提出了層次化的結構生成模型,捕捉三個級別的一致性。實驗證實, 本文所提模型不僅可以捕捉文本的內在復雜結構,并且可以顯著提升生成效果。
綜上所述,本文研究了壓縮式生成、對等式生成以及多樣化生成三類文本到 文本的生成任務,在深度序列建模的三個環節,理解、映射以及建模上的問題, 并相應的提出了多個新穎的深度模型,在公開的評測數據集上對各個模型的性 能進行了驗證。
深度預測學習問題與方法研究
隨著移動互聯網、傳感器網絡、計算機視覺的快速發展,人們獲得了海量的 時空數據。本文面向這類數據的時間與空間結構特性,系統研究基于神經網絡的 深度預測學習方法。該方法旨在學習時空序列背后的演變規律,并對其未來狀態 給出近似估計。本文討論深度預測學習的以下難點問題:(1)如何在對時空相關 性的統一建模中考慮層次化的深度網絡特征;(2)如何緩解循環網絡深度和梯度 消失的矛盾,平衡短期與長期的時空特征;(3)針對各種確定性時空數據,研究 如何建模其復雜的趨勢非平穩過程與季節性變化;(4)針對開放視覺環境中的感 知不確定性和動態不確定性,研究如何解決概率預測模型的可信度問題;(5)如 何促進深度預測學習特征向下游語義級的有監督任務泛化。圍繞這些問題,本文 的研究過程可分為以下三個階段,呈遞進關系,每個階段包含 2-3 個創新點:
第一階段,本文探索深度預測學習的基礎網絡結構。針對難點(1),研究基于 循環網絡的記憶狀態跨層轉移方法,實現了時間記憶狀態與多層空間特征的融合;在此基礎上,針對難點(2),本文研究如何在延長循環網絡的記憶狀態轉移路徑 的同時,延緩該路徑上的反向梯度消失。
第二階段,本文根據傳統時間序列分析中的 Cramér 分解理論[1],分別從時空 信號的非平穩性、季節性和隨機性的角度出發,針對難點(3-4)研究相應的深度 預測學習方法。這些方法依次適用于存在固有動力學模式但趨勢信息相對復雜的 確定性時空數據(如短時雷達回波序列)、季節性時空數據(如交通流量序列)和 從部分可見的環境中采集的時空數據(如帶有噪聲的視頻片段)。
第三階段,本文在數據級的時空序列預測任務的基礎上更進一步,從時序關 系推理的角度出發,再度審視深度預測學習的特征表達。針對難點(5),本文在 循環網絡的狀態轉移方程中分別引入三維卷積算子和可微分的記憶狀態讀寫機制, 旨在同時促進模型對短期時空特征的感知和對長期語義關系的推理。實驗表明,這 些改進對預測模型的任務泛化大有裨益,進而說明了面向時空數據的深度預測學 習是一種有效的無監督表征學習框架。
此外,本文還設計了一套名為 PredLearn 的模型庫,從系統實現的角度對上述 創新性方法及其特點和適用范圍進行了整理、歸納和對比,以便用戶可以根據具 體的場景特性合理選擇模型。最后,本文以災害天氣短時臨近預報作為一種典型 的應用案例,介紹如何實現從本文方法到實際業務平臺的技術轉化。
復雜場景中的人群行為解析及其應用
隨著人口的不斷增長,行人聚集活動帶來的安全問題日益突出。面向大規模 人群的智能視頻監控受到各國學者的廣泛關注,成為預防突發性群體事件的關鍵 技術。利用計算機視覺與圖像處理技術對監控視頻中的人群行為進行解析,可以 及時發現場景中的潛在危險因素,有助于公共場所安全性的提升。因此,人群行 為解析成為智能視頻監控的一項熱門研究課題,被廣泛應用于公共安全保障中。
人群行為解析的根本任務是掌握人群的行為模式。在復雜、擁擠的場景中, 行人通常會呈現出有序的集體活動,形成群體,每個群體都具備特定的行為模 式。相比于個體行為,群體行為具有連續、穩定的特點,并包含了宏觀層面的語 義信息。因此,群體行為模式的識別與分析成為人群行為解析的主要研究內容, 涉及異常檢測和人群行為預測等多個研究方向。然而,大規模人群的復雜性為群 體行為的研究帶來了諸多挑戰:1. 流形結構難把握。由于個體間的密切交互,人 群中往往存在流形結構,屬于同一群體的個體可能在行為表現上存在較大差異;2. 研究對象難提取。由于場景中存在嚴重的遮擋,個體的準確提取非常困難。已 有方法通常將運動特征點或粒子作為研究對象,但這些特征點和粒子過于局部化, 運動信息不穩定,在某些場景中難以準確反映個體的運動情況;3. 行為特征難挖 掘。在大規模場景中,個體分布非常密集,計算機視覺中常用的顏色、形狀等特 征難以利用,導致難以挖掘群體的行為特征。
圍繞上述難點,本文對復雜場景中的人群行為解析問題進行了深入研究,以 群體行為的識別與分析為研究重點,提出了一系列新方法,主要包括:
為挖掘場景中的流形結構,提出了基于錨點的人群行為解析方法。在人群 場景中,群體中往往包含一些代表性個體,其行為可大致反應所在群體的行為模 式。受此現象啟發,該方法提出了交互度的概念,將與周圍特征點交互頻繁的點 作為錨點,每個錨點對應一個類別。進而,利用流形排序方法,計算特征點在拓 撲結構上的關系,并根據與錨點的拓撲關系,對每個特征點分配群體類別,得到 子群體。最后,提出了連續性合并策略,將在空間、運動方向上表現出連續性的 子群體進行合并,得到最終群體。該方法充分挖掘了特征點在結構層面的拓撲關 系,能夠在結構復雜的人群中準確識別群體行為。
為減輕研究對象局部化問題,提出了基于圖像塊主題的人群行為解析方 法。區別于直接將特征點作為研究對象的工作,該方法對人群圖像進行分割,以 圖像塊為單位研究特征點運動規律,并提出圖像塊描述子,以獲得人群運動的結 構上下文表征。進而,為深入挖掘人群中的潛在行為模式,該方法利用隱狄利克 雷分布模型對圖像塊的語義主題進行推理,找出共享同一主題的圖像塊。同時, 該方法將局部一致性引入隱狄利克雷分布模型中,以挖掘圖像塊的空間關聯線 索。最后,利用類內距離評價標準,自動確定最優的群體數目,并完成群體行為 的識別。該方法通過學習圖像塊的語義主題,在避免研究對象局部化的同時有效 挖掘了群體行為所包含的語義信息。
為處理場景屬性與拍攝視角多樣化的人群視頻,同時減輕研究對象局部化問題,提出了基于多視角聚類的無參數人群行為解析方法。該方法提出了基于鄰 近點運動方向分布的結構上下文描述子,從宏觀層面理解人群行為。所提描述子 對軌跡抖動不敏感,且能夠反映特征點的結構信息。為結合特征點在運動方向和 結構上的關聯信息,提出了權重自適應的多視角聚類算法,對不同視角的相似圖 進行融合,自適應地學習最優相似圖,并得到初步的子群體。考慮到不同子群體 間可能存在較高的關聯,提出了基于緊密度的子群體融合方法,對相似子群體進 行合并。該方法不涉及任何參數,因此適用于密度、結構分布多樣化的人群場景。
為充分挖掘人群行為特征,提出了基于圖像塊多視角聚類的人群行為解析 方法。為充分挖掘人群行為特征,該方法分別從交互關系、空間位置、運動方向 分布和運動規律等四個視角比較圖像塊中特征點的運動相似度。為結合不同視角 的信息,提出了一種基于相似圖多樣性的多視角聚類方法,在多視角學習過程中 引入圖多樣性正則項,強調了不同視角的互補性,并自動地學習不同視角的權重, 得到子群體。最后,提出了基于運動方向和中心位置的子群體合并方法,將被劃 分入不同子群體的相似圖像塊進行合并,得到最終群體。該方法提出了多種人群 行為表征方法,并對圖像塊進行多視角聚類,有效緩解了研究行為特征利用不充 分和對象局部化的問題。
面向物體語義理解的視覺表示學習
在對真實世界中的物體進行描述時,人們通常使用大量抽象的語義概念,如物體的顏色、形狀、類別等。一方面,這些抽象的語義概念在不同的物體間是可以共享的,因此語義概念天然地可以將不同的物體聯系在一起,從而快速、準確地建立真實世界中身邊的物體與已知的物體之間的關聯,方便人們理解周圍的世界。另一方面,不同抽象程度的語義概念之間也并非完全相互獨立,而是存在一定的關聯關系,因此語義概念也是人在進行推理過程中的重要線索之一。綜上所述,語義概念在感知和認知任務中都有重要的作用,因此對于計算機視覺算法來說,掌握和理解語義概念具有巨大的潛在價值。具體來說,算法對于語義概念的理解可以分為以下四個層次:第一,識別物體具有的語義概念,如物體屬性預測、物體識別等;第二,挖掘物體間由語義概念組成的關聯,如統計出多個物體具有相同的屬性;第三,建立多維度的語義關聯知識網絡,如建立起尐馬少這類物體基本都具有尐四足少屬性這樣的知識;第四,利用語義關聯知識進行邏輯推理。近年來,盡管計算機視覺技術取得了長足的發展,但是由于物體語義的高度復雜,上述感知問題仍然沒有被完全解決。而在更高的層面上,只有很少的工作涉及到了挖掘不同抽象程度的語義概念之間的聯系。針對上述物體間及語義概念間的關聯學習,本文利用表示學習的方法,著手解決其中的三個關鍵問題:(就)快速、準確地識別物體間的語義關聯;(尲)在不同的語義抽象程度上挖掘物體間的關聯關系;(尳)使用盡可能少的人工標注,建立不同抽象程度的語義概念之間的關聯。在理論方面,本文提出的方法可以實現對圖像、場景的深層次理解,在一定程度上解決計算機視覺問題中的知其然而不知其所以然的問題。在應用方面,本文提出的方法在多個不同抽象程度的語義概念上建立了物體之間的關聯,并且通過學習的方式建立了不同抽象程度的語義概念之間的關聯,因此本文提出的方法在個性化圖像檢索、知識推理等任務上具有潛在的應用價值。具體地,本文以最常見的語義概念——類別作為出發點,逐漸深入地展開研究工作,圍繞物體間語義關聯及語義概念間的關聯學習開展以下四個主要工作:
(1)提出了一種端到端的有監督二值碼深度學習算法,用來解決大規模依據類別的圖像檢索任務。該任務中,給定一張查詢圖像,系統的目標是檢索屬于同類的數據庫中圖像。為了引入判別性,該方法對圖像對或圖像三元組之間。的距離進行約束,要求相似的圖像具有相似的二值碼,反之亦然。此外,針對哈希編碼學習中的二值量化導致的損失函數不可導問題,該方法提出了一種全新的量化損失約束,在保持判別性約束的同時,通過施加量化損失約束,減少量化損失帶來的檢索精度損失。
(2)提出了一種基于離散優化的兩階段有監督二值碼深度學習方法,主要針對上一個工作中,由于判別性損失與量化損失的優化目標不同而導致的判別性損失難以收斂到最優的問題。其中,在第一階段,通過設計一種離散優化算法,直接在漢明空間中迭代優化,得到具有強判別性的二值碼;在第二階段,通過訓練模型擬合優化得到的二值碼,從而避免判別性損失與量化損失之間的沖突,得到檢索精度更高的二值碼。
(3)提出了一種可以在多個維度的語義概念上建立物體間關聯的二值碼學習方法,從而相比于前兩個工作,可以更好地建模物體間豐富的語義關聯。該方法通過同時使用多個損失函數對模型進行訓練,將多種不同抽象程度的語義概念編碼到同一組二值碼中。因此,該方法可以根據不同用戶的特定需求,按照不同的方式使用學習到的二值編碼,進行相應的圖像檢索任務,找到在特定語義標準下相似的數據庫圖像。另外,考慮到目前公開的數據集中,只有極少數的數據同時具有多種不同抽象程度的語義概念的標注,為了使模型具有更強的泛化性能,該方法被設計為可以使用大量存在的部分標注數據進行訓練。
(4)設計了一種算法來自動地挖掘語義概念間天然存在的關聯,包括物體的類別之間的關聯,以及物體類別與視覺屬性之間的關聯。在前三個方法中,并沒有很好地利用不同語義概念之間的關聯進行模型的學習。其中一個重要原因是語義概念間關聯數據的匱乏。由于目前的公開數據集上幾乎沒有這類標注,該方法基于表示學習技術,自動地從大量圖像中學習視覺屬性的概念,并基于學習到的視覺屬性,建立類別層級結構中不同語義概念之間的關聯,從而構建起語義關聯知識。在應用層面上,該方法可以對物體識別模型的預測結果給出人類可理解的解釋。此外,該方法學習到的語義關聯知識,對于需要進行知識推理的計算機視覺認知任務具有巨大的潛在應用價值。
【導讀】由于深度神經網絡具有強大的學習不同層次視覺特征的能力,因此被廣泛應用于目標檢測,語義分割,圖像描述等計算機視覺應用當中。從ImageNet這樣的大型圖像數據集中訓練得到的模型被廣泛地用作其他任務的預訓練模型,主要有兩個原因:(1)從大規模數據集中學習得到的參數能夠為其他模型提供一個良好的訓練起點,在其他任務上模型網絡可以更快地收斂。(2)在大規模數據集上訓練的網絡已經學習到了層次特征,這有助于減少其他任務訓練過程中的過擬合問題,特別是當其他任務的數據集較小或標注數據不足的情況。
介紹
為了在計算機視覺應用中學習得到更好的圖像和視頻特征,通常需要大規模的標記數據來訓練深度神經網絡。為了避免收集和標注大量的數據所需的巨大開銷,作為無監督學習方法的一個子方法——自監督學習方法,可以在不使用任何人類標注的標簽的情況下,從大規模無標記數據中學習圖像和視頻的一般性特征。本文對基于深度學習的自監督一般性視覺特征學習方法做了綜述。首先,描述了該領域的動機和一些專業性術語。在此基礎上,總結了常用的用于自監督學習的深度神經網絡體系結構。接下來,回顧了自監督學習方法的模式和評價指標,并介紹了常用的圖像和視頻數據集以及現有的自監督視覺特征學習方法。最后,總結和討論了基于標準數據集的性能比較方法在圖像和視頻特征學習中的應用。
用于圖像特征學習的架構
1.AlexNet:與以往的方法相比,AlexNet極大的提高了在ImageNet數據集上的圖像分類性能。AlexNet架構總共有8層,其中的5層是卷積層,3層是全連接層。ReLU激活函數被運用在每一個卷積層后面。
2.VGG:該模型贏得了ILSVRC2013挑戰賽的第一名。其中的VGG-16由于模型尺寸適中,性能優越,被廣泛使用。
3.ResNet:該網絡闡述了網絡越深越能夠獲得良好的性能。但是由于梯度消失和梯度爆炸,深度神經網絡很難訓練。ResNet使用跳躍連接把前一層的特征直接傳遞到下一個卷積塊來克服梯度消失和梯度爆炸的問題。
4.GoogleNet:22層的深度網絡,以93.3%的準確率贏得了ILSVRC-2014挑戰賽。和之前的網絡相比,它擁有更深的網絡。GoogleNet的基礎模塊inception塊由4個平行的卷積層組成,這4個卷積層的卷積核尺寸不同,每層后面都有一個1x1的卷積操作來降低維度。
5.DenseNet:大多數網絡包括AlexNet, VGG和ResNet都遵循層次結構。圖像被輸入到網絡中,由不同的層提取特征。淺層提取低級的一般性特征,而深層提取特定于任務的高級特征。然而,當一個網絡變得越來越深的時候,更深的網絡層可能會記住完成任務所需的底層特征。為了避免這一問題,DenseNet通過稠密連接將一個卷積塊之前的所有特征作為輸入輸送到神經網絡中的下一個卷積塊。
視頻特征學習架構
Spatiotemporal Convolutional Neural Network
三維卷積運算最早是在3DNet中提出的,用于人類行為識別。與2DConvNets分別提取每一幀的空間信息,然后將它們融合為視頻特征相比,3DConvNets能夠同時從多個幀中同時提取空間和時間特征。
隨著三維卷積在視頻分析任務中的成功應用,出現了3DConvNet的各種變體。比如Hara等人提出了3DResNet,將ResNet中所有的2D卷積層替換為3D卷積層。實驗表明,在多個數據集上,3D卷積層的性能更為優異。
Recurrent Neural Network(RNN)
由于RNN能夠對一個時間序列數據進行動態建模,所以RNN通常被應用于視頻的有序幀序列當中。和標準的RNN相比,LSTM使用內存單元來存儲,修改和訪問內部狀態,從而更好的對視頻幀之間的長時間序列進行建模。基于LSTM的優勢,Donahue提出了long-term recurrent convolutional networks (LRCN)用于人類行為識別。
數據集介紹
1.圖像數據集
2.視頻數據集
YFCC100M:該數據集是從Flicker上收集的多媒體數據集,由1億條多媒體數據組成,其中的99200000條數據是圖片,剩余的800000條數據是視頻。
SceneNet RGB-D:該數據集是一個大型的室內視頻合成數據集。
Moment in Time:該數據集是一個用于視頻內容理解的數據集,內容多樣且分布均衡。
Kinetics:該數據集規模大,質量高,用于人類行為識別。
AudioSet:該數據集由來自YouTube的2084320條人工標記10秒的聲音剪輯組成,這些視頻涵蓋了632個音頻事件。
KITTI:該數據集是在駕駛汽車時收集的,收集數據時的裝備有各種傳感器,包括高分辨率RGB相機、灰度立體聲相機、3D激光掃描儀和高精度GPS測量。
UCF101:該數據集被廣泛使用于人類動作識別。
HMDB51:相比于前面的數據集,該數據集是一個小規模的視頻數據集,用于人流動作識別。
論文題目:富信息網絡表示學習及典型應用問題研究
論文作者:楊成,博士,北京郵電大學計算機學院助理教授,2019年7月畢業于清華大學計算機科學與技術系,從事自然語言處理與社會計算相關方向的研究,博士期間在國內外頂級期刊會議上發表多篇論文,Google Scholar累計獲得引用近500次,并擔任國內外頂級會議包括ACL、EMNLP、SMP等在內的程序委員會成員和期刊的審稿人。
指導老師:孫茂松,教授,博士生導師,曾任清華大學計算機科學與技術系系主任,現任教育部在線教育研究中心副主任、清華大學計算機系黨委書記、清華大學大規模在線開放教育研究中心主任。
論文摘要:網絡是表達對象與對象間關系的常用數據形式,在人們的日常生活與工作學 習中無處不在。除去網絡的拓撲結構信息之外,真實的網絡數據中一般還包含著 根據節點的屬性、行為等產生的豐富信息,統稱為富信息網絡。隨著互聯網技術 和移動智能設備的發展,富信息網絡的數據規模飛速增長,并帶來了豐富的應用 任務和巨大的市場價值。在富信息網絡數據的規模及其相關應用的研究需求日益 增長的同時,數據驅動的深度學習技術已經在計算機視覺、自然語言處理等多個 領域取得了巨大的成功。如何讓已經在多個領域展示出其有效性的機器學習,特 別是深度學習技術,服務于富信息網絡數據及其典型應用已經在近年來成為人工 智能領域的研究熱點。 傳統的鄰接矩陣形式的網絡表示具有維度過高和數據稀疏兩大缺點,使得研 究者們無法在網絡數據上應用機器學習和深度學習技術。因此,研究者們轉而將 網絡中的節點編碼為低維稠密的向量表示,稱為網絡表示或者網絡嵌入。為網絡 中的節點學習其向量表示的任務稱為網絡表示學習。本文針對現有的網絡表示學 習工作的缺點和不足,系統性地進行了以下五個工作: 針對缺乏對于已有網絡表示學習算法的理論分析的問題,本文提出了網絡表 示學習的統一框架和增強算法。本工作將大多數現有的只考慮拓撲結構信息的網 絡表示學習方法總結為一個統一的兩步框架:鄰近度矩陣構造和降維,并進一步 提出了網絡嵌入更新(NEU)算法,該算法從理論上隱含地近似了高階鄰近度,可 以應用于已有網絡表示學習方法以提高它們的性能。 針對現有網絡表示學習方法忽略了網絡拓撲結構以外的豐富信息的問題,本 文提出了結合富特征信息的網絡表示學習。受前一工作中得到的最先進的網絡表 示學習算法實際上等同于一種特殊的矩陣分解的結論的啟發,該工作以文本特征 為例,在矩陣分解的框架下將節點的特征信息結合到網絡表示學習中。 針對現有網絡表示學習方法難以應用于相對復雜的典型應用問題的缺點,本 文以網絡表示學習技術作為模型底層,并根據特定的富信息網絡場景利用包括循 環神經網絡、卷積神經網絡在內的深度學習模型進行建模,在推薦系統和傳播預 測兩個富信息網絡典型應用問題中,創新性地提出了基于位置的社交網絡的推薦 系統、微觀層面的信息傳播預測和多層面的信息傳播預測的應用模型。