隨著人工智能技術的深入發展,自動駕駛已經成為人工智能技術的典型應用,近十年得到了長足的發展,作為一類非確定性系統,自動駕駛車輛的質量和安全性得到越來越多的關注.對自動駕駛系統,特別是自動駕駛智能系統(如感知模塊,決策模塊,綜合功能及整車)的測試技術得到了業界和學界的深入研究.本文調研了56篇相關領域的學術論文,分別就感知模塊、決策模塊、綜合功能模塊及整車系統的測試技術、用例生成方法和測試覆蓋度量等維度對目前已有的研究成果進行了梳理,并描述了自動駕駛智能系統測試中的數據集及工具集.最后,對自動駕駛智能系統測試的未來工作進行了展望,為該領域的研究人員提供參考.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6266&flag=1
摘要: 基于視覺和語言的跨媒體問答與推理是人工智能領域的研究熱點之一,其目的是基于給定的視覺內容和相關問題,模型能夠返回正確的答案。隨著深度學習的飛速發展及其在計算機視覺和自然語言處理領域的廣泛應用,基于視覺和語言的跨媒體問答與推理也取得了較快的發展。文中首先系統地梳理了當前基于視覺和語言的跨媒體問答與推理的相關工作,具體介紹了基于圖像的視覺問答與推理、基于視頻的視覺問答與推理以及基于視覺常識推理模型與算法的研究進展,并將基于圖像的視覺問答與推理細分為基于多模態融合、基于注意力機制和基于推理3類,將基于視覺常識推理細分為基于推理和基于預訓練2類;然后總結了目前常用的問答與推理數據集,以及代表性的問答與推理模型在這些數據集上的實驗結果;最后展望了基于視覺和語言的跨媒體問答與推理的未來發展方向。
摘要: 當前,以網絡數據為代表的跨媒體數據呈現爆炸式增長的趨勢,呈現出了跨模態、跨數據源的復雜關聯及動態演化特性,跨媒體分析與推理技術針對多模態信息理解、交互、內容管理等需求,通過構建跨模態、跨平臺的語義貫通與統一表征機制,進一步實現分析和推理以及對復雜認知目標的不斷逼近,建立語義層級的邏輯推理機制,最終實現跨媒體類人智能推理。文中對跨媒體分析推理技術的研究背景和發展歷史進行概述,歸納總結視覺-語言關聯等任務的關鍵技術,并對研究應用進行舉例。基于已有結論,分析目前跨媒體分析領域所面臨的關鍵問題,最后探討未來的發展趨勢。
自動駕駛系統(autonomous driving system,ADS)是一種集成高精度傳感器、人工智能和地圖導航系統等模塊的信息—物理融合系統。該類系統中的自動駕駛軟件完成了從高級輔助駕駛到無人駕駛任務中關鍵的感知、定位、預測、規劃和控制任務。隨著深度學習和強化學習等人工智能技術的發展和車載硬件設備的不斷升級,高級別的自動駕駛軟件已經逐漸應用于多種安全攸關的場景中,保障其運行穩定性與可靠性的測試技術逐漸成為學術界和產業界的研究重點。本文在廣泛調研國內外文獻基礎上,對自動駕駛軟件測試技術進行了深入分析與梳理。結合自動駕駛軟件的架構特點及系統特征,討論了面向自動駕駛系統的仿真測試和實景測試,以及面向組件的測試技術。其中,在仿真方法方面,分析了軟件仿真、半實體仿真和在環仿真等技術;在仿真對象方面,討論了靜態環境仿真、動態場景仿真、傳感器仿真和車輛動力學仿真等。同時,本文介紹了當前實景測試的進展與情況,重點分析了實景測試案例中的得失優劣。在面向自動駕駛軟件組件的測試技術方面,重點討論了當前數據驅動技術在感知組件、決策規劃組件,以及控制組件測試方面的進展。最后,本文總結分析了自動駕駛軟件測試當前面臨的挑戰,并對未來自動駕駛軟件測試技術的研究方向和研究重點進行了展望。
自動駕駛車輛的本質是輪式移動機器人,是一個集模式識別、環境感知、規劃決策和智能控制等功能于一體的綜合系統。人工智能和機器學習領域的進步極大推動了自動駕駛技術的發展。當前主流的機器學習方法分為:監督學習、非監督學習和強化學習3種。強化學習方法更適用于復雜交通場景下自動駕駛系統決策和控制的智能處理,有利于提高自動駕駛的舒適性和安全性。深度學習和強化學習相結合產生的深度強化學習方法成為機器學習領域中的熱門研究方向。首先對自動駕駛技術、強化學習方法以及自動駕駛控制架構進行簡要介紹,并闡述了強化學習方法的基本原理和研究現狀。隨后重點闡述了強化學習方法在自動駕駛控制領域的研究歷史和現狀,并結合北京聯合大學智能車研究團隊的研究和測試工作介紹了典型的基于強化學習的自動駕駛控制技術應用,討論了深度強化學習的潛力。最后提出了強化學習方法在自動駕駛控制領域研究和應用時遇到的困難和挑戰,包括真實環境下自動駕駛安全性、多智能體強化學習和符合人類駕駛特性的獎勵函數設計等。研究有助于深入了解強化學習方法在自動駕駛控制方面的優勢和局限性,在應用中也可作為自動駕駛控制系統的設計參考。
//www.cjig.cn/jig/ch/reader/view_abstract.aspx?file_no=20210103&flag=1
深度學習是當前機器學習和人工智能興起的核心。隨著深度學習在自動駕駛、門禁安檢、人臉支付等嚴苛的安全領域中廣泛應用,深度學習模型的安全問題逐漸成為新的研究熱點。深度模型的攻擊根據攻擊階段可分為中毒攻擊和對抗攻擊,其區別在于前者的攻擊發生在訓練階段,后者的攻擊發生在測試階段。本文首次綜述了深度學習中的中毒攻擊方法,回顧深度學習中的中毒攻擊,分析了此類攻擊存在的可能性,并研究了現有的針對這些攻擊的防御措施。最后,對未來中毒攻擊的研究發展方向進行了探討。
//jcs.iie.ac.cn/xxaqxb/ch/reader/view_abstract.aspx?file_no=20200403&flag=1
零樣本學習旨在通過運用已學到的已知類知識去認知未知類.近年來,“數據+知識驅動”已經成為當下的新潮流,而在計算機視覺領域內的零樣本任務中,“知識”本身卻缺乏統一明確的定義.本文針對這種情況,嘗試從知識的角度出發,梳理了本領域內“知識”這一概念所覆蓋的范疇,共劃分為初級知識、抽象知識以及外部知識.基于前面對知識的定義和劃分梳理了當前的零樣本學習(主要是圖像分類任務的模型)工作,分為基于初級知識的零樣本模型、基于抽象知識的零樣本模型以及引入外部知識的零樣本模型.本文還對領域內存在的域偏移和樞紐點問題進行了闡述,并基于問題對現有工作進行了總結歸納.最后總結了目前常用的圖像分類任務的數據集和知識庫,圖像分類實驗評估標準以及代表性的模型實驗結果;并對未來工作進行了展望.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6146&flag=1
小樣本學習旨在通過少量樣本學習到解決問題的模型.近年來在大數據訓練模型的趨勢下,機器學習和深度學習在許多領域中取得了成功.但是在現實世界中的很多應用場景中,樣本量很少或者標注樣本很少,而對大量無標簽樣本進行標注工作將會耗費很大的人力.所以,如何用少量樣本進行學習就成為了目前人們需要關注的問題.本文系統梳理了當前小樣本學習的相關工作,具體介紹了基于模型微調、基于數據增強和基于遷移學習三大類小樣本學習模型與算法的研究進展;本文將基于數據增強的方法細分為基于無標簽數據、基于數據合成和基于特征增強三類,將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡三類.本文還總結了目前常用的小樣本數據集,以及代表性的小樣本學習模型在這些數據集上的實驗結果,隨后對小樣本學習的現狀和挑戰進行了概述,最后展望了小樣本學習的未來發展方向.
//www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6138&journal_id=jos
隨著大數據時代的到來,深度學習模型已經在圖像分類、文本分類等任務中取得了先進成果.但深度學習模型的成功很大程度 上依賴于大量訓練數據,而在現實世界的真實場景中某些類別只有少量數據或少量標注數據,而對無標簽數據進行標注將會消耗 大量的時間和人力.與此相反,人類只需要通過少量數據就能做到快速學習.例如一個五六歲的小孩子從未見過企鵝,但如果給他看 過一張企鵝的圖像,當他進入動物園看到真正的企鵝時,就會馬上認出這是自己曾經在圖像上見過的“企鵝”,這就是機器學習和人類學習之間存在的差距.受到人類學習觀點的啟發[1],小樣本學習[2] [3](few-shot learning)的概念被提出,使得機器學習更加靠近人類思維.
早在 20 世紀八九十年代,就有一些研究人員注意到了單樣本學習(one-shot learning)的問題,直到 2003 年 Li 等[4]才正式提出了 單樣本學習的概念.他們認為當新的類別只有一個或幾個帶標簽的樣本時,已經學習到的舊類別可以幫助預測新類別[5].小樣本學 習也叫作少樣本學習(low-shot learning) [7],其目標是從少量樣本中學習到解決問題的方法.與小樣本學習相關的概念還有零樣本學 習(zero-shot learning)等.零樣本學習是指在沒有訓練數據的情況下,利用類別的屬性等信息訓練模型,從而識別新類別.
小樣本學習的概念最早從計算機視覺(Computer Vision) [8]領域興起,近幾年受到廣泛關注,在圖像分類任務中已有很多性能優 異的算法模型[34][37][45].但是在自然語言處理領域(Natural Language Processing) [9]的發展較為緩慢,原因在于圖像和語言特性不同.圖 像相比文本更為客觀,所以當樣本數量較少時,圖像的特征提取比文本更加容易[87].不過近年來小樣本學習在自然語言處理領域也 有了一些研究和發展[10][46][48].根據所采用方法的不同,本文將小樣本學習分為基于模型微調、基于數據增強和基于遷移學習三種. 基于模型微調的方法首先在含有大量數據的源數據集上訓練一個分類模型,然后在含有少量數據的目標數據集上對模型進行微 調.但這種做法可能導致模型過擬合,因為少量數據并不能很好地反映大量數據的真實分布情況.為解決上述過擬合的問題,基于數 據增強和基于遷移學習的小樣本學習方法被提出.基于數據增強的方法是利用輔助數據集或者輔助信息增強目標數據集中樣本的 特征或擴充對目標數據集,使模型能更好地提取特征.本文根據學習方法不同,將基于數據增強的小樣本學習方法進一步細分為基 于無標簽數據、基于數據合成和基于特征增強三類方法.基于遷移學習的方法是目前比較前沿的方法,是指將已經學會的知識遷移 到一個新的領域中.本文根據學習框架將基于遷移學習的方法細分為基于度量學習、基于元學習和基于圖神經網絡(Graph Neural Networks)的方法.在度量學習的框架下目前已有許多性能較好的小樣本學習模型,例如比較著名的原型網絡(Prototypical Networks) [34]和匹配網絡(Matching Networks) [31]等.基于元學習的方法不僅在目標任務上訓練模型,而是從許多不同的任務中學習 元知識,當一個新的任務到來時,利用元知識調整模型參數,使模型能夠快速收斂.近年來隨著圖神經網絡的興起,研究者將圖神經網 絡也應用到小樣本學習中,取得了先進的結果.
除了圖像分類和文本分類這兩個主要任務,許多其他任務也面臨著小樣本問題.在計算機視覺應用中,利用小樣本學習進行人臉識別[8][60][82]、食品識別[61]、表情識別[66]、手寫字體識別[70][79]以及其他的圖像識別[65]. 在自然語言處理應用中,使用小樣本方法 實現對話系統[67]、口語理解[62],或者完成 NLP 的基本任務,例如 word embedding[63].在多媒體領域應用中,可以使用小樣本方法實現 影像提取[73]和聲紋識別[80]等.在生物與醫學領域,可以應用于疾病診斷[71][72]、臨床實驗[84]、護士能力評價[75]、農作物病害識別[69][81]、 水量分析[76]等.在經濟領域,可應用于產品銷量預測[77]等.在工業與軍事領域,可應用于齒輪泵壽命預測[78]、軍事目標識別[74]和目標 威脅評估[83]等.
本文首先從基于模型微調、基于數據增強和基于遷移學習三種方法介紹小樣本學習的研究進展,總結小樣本學習的幾個著名數據集以及已有模型在這些數據集上的實驗結果;接下來,本文對小樣本學習的研究現狀和主要挑戰進行總結;最后展望了未來的 發展趨勢.
我們生活在一個由大量不同模態內容構建而成的多媒體世界中,不同模態信息之間具有高度的相關性和互補性,多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性,產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作,包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征,其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1
在大數據時代下,深度學習、強化學習以及分布式學習等理論和技術取得的突破性進展,為機器學習提供了數據和算法層面的強有力支撐,同時促進了機器學習的規模化和產業化發展.然而,盡管機器學習模型在現實應用中有著出色的表現,但其本身仍然面臨著諸多的安全威脅.機器學習在數據層、模型層以及應用層面臨的安全和隱私威脅呈現出多樣性、隱蔽性和動態演化的特點.機器學習的安全和隱私問題吸引了學術界和工業界的廣泛關注,一大批學者分別從攻擊和防御的角度對模型的安全和隱私問題進行了深入的研究,并且提出了一系列的攻防方法. 在本綜述中,我們回顧了機器學習的安全和隱私問題,并對現有的研究工作進行了系統的總結和科學的歸納,同時明確了當前研究的優勢和不足. 最后,我們探討了機器學習模型安全與隱私保護研究當前所面臨的挑戰以及未來潛在的研究方向,旨在為后續學者進一步推動機器學習模型安全與隱私保護研究的發展和應用提供指導.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1
近年來,隨著web2.0的普及,使用圖挖掘技術進行異常檢測受到人們越來越多的關注.圖異常檢測在欺詐檢測、入侵檢測、虛假投票、僵尸粉絲分析等領域發揮著重要作用.本文在廣泛調研國內外大量文獻以及最新科研成果的基礎上,按照數據表示形式將面向圖的異常檢測劃分成靜態圖上的異常檢測與動態圖上的異常檢測兩大類,進一步按照異常類型將靜態圖上的異常分為孤立個體異常和群組異常檢測兩種類別,動態圖上的異常分為孤立個體異常、群體異常以及事件異常三種類型.對每一類異常檢測方法當前的研究進展加以介紹,對每種異常檢測算法的基本思想、優缺點進行分析、對比,總結面向圖的異常檢測的關鍵技術、常用框架、應用領域、常用數據集以及性能評估方法,并對未來可能的發展趨勢進行展望.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6100&flag=1