中文關系抽取任務旨在識別中文文本中實體對的語義關系。基于預訓練語言模型的方法達到了當前最優 結果。得益于大規模的訓練語料,預訓練語言模型能夠學習到訓練語料中的語言知識,提高了中文關系抽取模型 的泛化能力,但其龐大的參數規模需要消耗大量的存儲和計算資源。為此,該文提出了基于語言模型增強的中文 關系抽取方法,該方法基于多任務學習范式,促進輕量級的中文關系抽取模型學習預訓練語言模型中的語言知識。 該文在三個中文關系抽取數據集上的實驗結果表明了基于語言模型增強的中文關系抽取方法的有效性,僅使用預 訓練語言模型1%的參數即可達到其95%的性能。
仿真想定的開發, 存在著專業性強、定制要求高、遷移性差等問題. 針對這一系列問題, 設計并實現一種基于知識圖譜的 仿真想定智能生成方法. 通過基于強化學習的全局特征鏈接多源仿真模型實體, 構建了知識圖譜;基于該知識圖譜, 設計了適用 于仿真模型匹配的實體對齊算法和基于文檔對象模型(document object model,DOM)的腳本生成方法, 實現仿真想定的智能映射, 以 “立體投送”行動為實例展開實驗, 實驗結果表明:生成的仿真想定能夠驅動仿真系統按照預定行動時序運行, 方法有效。
隨著戰爭復雜性的不斷加劇, 模擬仿真系統已 被廣泛應用于作戰理論創新、作戰方案設計優化、 作戰能力評估, 以及各類演習演訓和裝備采辦活動 中[1-2] . 作為初始化并驅動模擬仿真系統運行的基礎 支撐, 仿真想定的質量直接影響系統運行效率和仿 真結果的真實可信[3] . 由于仿真系統存在仿真層級(平 臺級、聚合級)、仿真模式(人在回路、人不在回路)、 仿真模型等差異, 對仿真想定的需求、可驅動運行的 想定腳本的要求等并不完全一致. 因此, 仿真想定的 開發, 普遍存在專業性強、定制要求高、遷移性差的 問題. 針對這一系列問題, 提出了一種基于知識圖譜 的仿真想定智能生成方法. 該方法通過多源仿真模 型的實體鏈接, 構建支撐仿真想定生成的知識圖譜, 提升仿真系統模型的重用性[4];研究適用于仿真模型 匹配的實體對齊算法, 提高數據匹配度[5] . 方法中待 解決的核心關鍵技術包括:1)仿真想定的形式化描 述. 與軍事想定不同, 仿真想定用以驅動仿真系統運 行, 應表示為結構化、形式化的想定數據, 并確保其 能被仿真系統識別、理解和使用;2)知識圖譜的構 建. 為支撐仿真想定的映射匹配, 知識圖譜構建過程 中, 要按照仿真想定的要素需求, 搭建知識圖譜框架, 并有效鏈接主流仿真系統模型實體;3)實體對齊算 法的選擇. 在不同的仿真推演系統中, 相同實體可能 對應不同仿真模型, 或擁有不同模型屬性, 需要選擇 有效的實體對齊算法, 提高仿真想定與知識圖譜的 匹配速度和精度.
為了應對在未來復雜的戰場環境下, 由于通信受限等原因導致的集中式決策模式難以實施的情況, 提出了一個基于多智 能體深度強化學習的分布式作戰體系任務分配算法, 該算法為各作戰單元均設計一個獨立的策略網絡, 并采用集中式訓練、分布 式執行的方法對智能體的策略網絡進行訓練, 結果顯示, 經過學習訓練后的各作戰單元具備一定的自主協同能力, 即使在沒有中 心指揮控制節點協調的情況下, 依然能夠獨立地實現作戰任務的高效分配.
馬賽克戰[1]、聯合全域指揮控制[2]等新型作戰概 念所構想的未來作戰場景中, 傳統的多任務平臺被 分解為了眾多的小型作戰單元, 這些小型作戰單元 通常具備更高的靈活性, 能夠根據戰場環境的變化 快速對自身所承擔的任務進行調整, 以實現更好的 整體作戰效果. 在未來的新型作戰場景中, 傳統的集 中式指揮控制模式存在著指揮鏈路過長、決策復雜 度過高等問題, 從而導致決策時效性和決策質量難 以滿足要求[3] . 近年來, 邊緣指揮控制等新型指揮控制 模式應運而生, 邊緣節點也即各作戰實體將具備一 定程度的自主決策能力[4] . 由于戰場環境的復雜多變 特性, 以及作戰實體的小型化、智能化發展趨勢, 分 布式決策的模式將在未來的戰場決策中發揮越來越 重要的作用. 作戰體系是為了完成特定的作戰任務由一系列 具備各項能力的作戰單元動態構建而成, 在以往的 集中式決策模式下, 體系設計人員會根據作戰任務 的能力需求以及作戰單元所具備的各項能力, 以最 大化作戰效能或最小化作戰單元的使用成本等為目 標, 來統一地對各作戰任務和作戰單元進行匹配. 作 戰體系的“作戰任務—作戰單元”匹配問題可以建模 為一個優化問題, 當問題規模較小時, 可以采用集中 式決策的模式運用整數線性規劃等運籌學方法快速 得到全局最優解[5] , 而當問題規模較大時可以采用遺 傳算法等啟發式算法[6]或者強化學習算法[7] , 得到問 題的近似最優解. 采用集中式決策的一個重要前提 條件是中心決策節點和作戰單元葉節點之間的通信 暢通, 因為葉節點需要將自身的狀態信息和觀測信 息發送給中心決策節點, 而中心節點需要將決策命 令發送給葉節點. 然而在未來的作戰場景中, 由于敵 方的通信干擾等原因, 中心節點和葉節點之間的通 信鏈接很難保證連續暢通, 同時頻繁的信息交互會 造成一定的通信負載和通信延遲, 因此, 在未來很多 的任務場景中, 需要作戰單元根據自身的狀態信息 和觀測到的信息獨立地進行決策.
強化學習是一種利用智能體與環境的交互信息 不斷地對智能體的決策策略進行改進的方法, 隨著深度強化學習技術的快速發展, 強化學習算法在無 人機路徑規劃[8]、無線傳感器方案調度[9]等領域都取 得了非常成功的應用, 同時近年來多智能體強化學 習算法在 StarCraft域[10]等環境中也取得了很好的效 果. 在作戰體系任務分配場景中, 可以將各作戰單元 視為多個決策智能體, 那么“作戰任務—作戰單元” 的匹配任務可以視為一個多智能體強化學習任務. 而當前尚未有將多智能體強化學習方法應用到類似 作戰體系的任務分配環境中的先例. 本文的主要工 作如下: 1)建立一個通信受限情況下的作戰體系“作 戰任務—作戰單元”匹配的任務場景;2)提出了一 個基于多智能體強化學習技術的作戰體系任務分配 算法;3)通過實驗驗證了采用上述算法訓練的各智 能體, 可以在通信受限的場景下, 實現一定程度的自 主協同, 在沒有中心決策節點的情況下依然能夠實 現作戰體系任務的有效分配
圖分析用于深入挖掘圖數據的內在特征,然而圖作為非歐幾里德數據,傳統的數據分析方法普遍存在較高的計算量和空間開銷。圖嵌入是一種解決圖分析問題的有效方法,其將原始圖數據轉換到低維空間并保留關鍵信息,從而提升節點分類、鏈接預測、節點聚類等下游任務的性能。與以往的研究不同,同時對靜態圖和動態圖嵌入文獻進行全面回顧,我們提出一種靜態圖嵌入和動態圖嵌入通用分類方法, 即基于矩陣分解的圖嵌入、基于隨機游走的圖嵌入、基于自編碼器的圖嵌入、基于圖神經網絡(GNN)的圖嵌入和基于其他方法的圖嵌入。其次,對靜態圖和動態圖方法的理論相關性進行分析,對模型核心策略、下游任務和數據集進行全面總結。最后,提出了四個圖嵌入的潛在研究方向。
//fcst.ceaj.org/article/2022/1673-9418/1673-9418-16-1-59.shtml
圖是復雜系統中常用的信息載體,可以表示現實中許多復雜關系,如社交網絡[1]、犯罪網絡[2]、交通網絡[3]等。圖結構作為一種非歐幾里德數據,很難直接應用卷積神經網絡(convolutional neural network,CNN)[4]和循環神經網絡(recurrent neural network,RNN)[5]等深度學習方法[6]。為了構造用于圖數據挖掘的特征表示,圖嵌入將節點映射到低維空間,生成保留原始圖中某些重要信息的低維向量。目前,圖嵌入不僅在節點分類[7]、鏈接預測[8]、節點聚類[9]、可視化[10]等復雜網絡上的機器學習任務中獲得成功,還廣泛用于社交影響力建模[11]、內容推薦[12]等現實任務。
早期的圖嵌入算法主要用于數據降維,通過鄰域關系構建相似度圖,將節點嵌入低維向量空間,并保持相連節點向量的相似性。這類方法通常時間復雜度高,很難擴展到大型圖上。近年來,圖嵌入算法轉向擴展性強的方法。例如,矩陣分解方法[13]使用鄰接矩陣的近似分解作為嵌入;隨機游走法[14]將游走序列輸入到Skip-Gram[15]生成嵌入。這些方法利用圖的稀疏性降低了時間復雜度。當前,很多綜述[16,17,18,19,20,21]對圖嵌入方法進行了歸納與總結,但存在兩大局限:一是部分綜述僅涉及傳統方法介紹,許多新模型沒有納入研究;二是這些綜述只關注靜態圖嵌入或動態圖嵌入,忽略了二者之間的關聯性。
本文對圖嵌入方法進行全面系統性綜述,有以下三方面的貢獻:(1)提出一種新的圖嵌入分類法,同時對靜態圖和動態圖方法進行分類;(2)對現有模型進行系統性分析,為理解現有方法提供新視角;(3)提出了四個圖嵌入的潛在研究方向。
細粒度圖像分類旨在從某一類別的圖像中區分出其子類別,通常細粒度數據集具有類間相似和類內差異大的特點,這使得細粒度圖像分類任務更加具有挑戰性。隨著深度學習的不斷發展,基于深度學習的細粒度圖像分類方法表現出更強大的特征表征能力和泛化能力,能夠獲得更準確、穩定的分類結果,因此受到了越來越多研究人員的關注和研究。首先,從細粒度圖像分類的研究背景出發,介紹了細粒度圖像分類的難點和研究意義。其次,從基于強監督和弱監督兩個角度,綜述了基于深度學習的細粒度圖像分類算法的研究進展,并介紹了多種典型的分類性能優秀的算法。此外,進一步論述了目前關于YOLO、多尺度CNN和生成對抗網絡(GAN)等前沿深度學習模型在細粒度圖像識別方面的應用,并且對比了最新的相關細粒度圖像的數據增強方法的分類效果以及在復雜場景下不同類型的細粒度識別方法的性能特點分析。最后,通過對算法的分類性能進行對比和總結,探討了未來發展方向和面臨的挑戰。
為了追求精度,深度學習模型框架的結構越來越復雜,網絡越來越深。參數量的增加意味著訓練模型需要更多的數據。然而人工標注數據的成本是高昂的,且受客觀原因所限,實際應用時可能難以獲得特定領域的數據,數據不足問題非常常見。數據增強通過人為地生成新的數據增加數據量來緩解這一問題。數據增強方法在計算機視覺領域大放異彩,讓人們開始關注類似方法能否應用在序列數據上。除了翻轉、裁剪等在時間域進行增強的方法外,也描述了在頻率域實現數據增強的方法;除了人們基于經驗或知識而設計的方法以外,對一系列基于GAN的通過機器學習模型自動生成數據的方法也進行了詳細的論述。介紹了應用在自然語言文本、音頻信號和時間序列等多種序列數據上的數據增強方法,亦有涉及它們在醫療診斷、情緒判斷等問題上的表現。盡管數據類型不同,但總結了應用在這些類型上的數據增強方法背后的相似的設計思路。以這一思路為線索,梳理應用在各類序列數據類型上的多種數據增強方法,并進行了一定的討論和展望。
//cea.ceaj.org/CN/abstract/abstract39198.shtml
近年來,深度學習技術被廣泛應用于各個領域,基于深度學習的預處理模型將自然語言處理帶入一個新時代。預訓練模型的目標是如何使預訓練好的模型處于良好的初始狀態,在下游任務中達到更好的性能表現。對預訓練技術及其發展歷史進行介紹,并按照模型特點劃分為基于概率統計的傳統模型和基于深度學習的新式模型進行綜述;簡要分析傳統預訓練模型的特點及局限性,重點介紹基于深度學習的預訓練模型,并針對它們在下游任務的表現進行對比評估;梳理出具有啟發意義的新式預訓練模型,簡述這些模型的改進機制以及在下游任務中取得的性能提升;總結目前預訓練的模型所面臨的問題,并對后續發展趨勢進行展望。
復雜網絡在現實場景中無處不在,高效的復雜網絡分析技術具有廣泛的應用價值,比如社區檢測、鏈路預測等.然而直接對大規模的復雜網絡鄰接矩陣進行分析需要較高的時間、空間復雜度,網絡表征學習是一種解決此問題的有效方法.該類方法將高維稀疏的網絡信息轉化為低維稠密的實值向量,可以作為機器學習算法的輸入,便于后續應用的高效計算.傳統的網絡表征學習方法將實體對象嵌入到低維歐氏向量空間中,但復雜網絡是一類具有近似樹狀層次結構、冪率度分布、強聚類特性的網絡,該結構更適合用具有負曲率的雙曲空間來描述. 本文將針對復雜網絡的雙曲空間表征學習方法進行系統性的介紹和總結.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6092&flag=1
目標檢測的任務是從圖像中精確且高效地識別、定位出大量預定義類別的物體實例。隨著深度學習的廣泛應用,目標檢測的精確度和效率都得到了較大提升,但基于深度學習的目標檢測仍面臨改進與優化主流目標檢測算法的性能、提高小目標物體檢測精度、實現多類別物體檢測、輕量化檢測模型等關鍵技術的挑戰。針對上述挑戰,本文在廣泛文獻調研的基礎上,從雙階段、單階段目標檢測算法的改進與結合的角度分析了改進與優化主流目標檢測算法的方法,從骨干網絡、增加視覺感受野、特征融合、級聯卷積神經網絡和模型的訓練方式的角度分析了提升小目標檢測精度的方法,從訓練方式和網絡結構的角度分析了用于多類別物體檢測的方法,從網絡結構的角度分析了用于輕量化檢測模型的方法。此外,對目標檢測的通用數據集進行了詳細介紹,從4個方面對該領域代表性算法的性能表現進行了對比分析,對目標檢測中待解決的問題與未來研究方向做出預測和展望。目標檢測研究是計算機視覺和模式識別中備受青睞的熱點,仍然有更多高精度和高效的算法相繼提出,未來將朝著更多的研究方向發展。