摘要: 人臉識別是生物特征識別領域的一項關鍵技術,長期以來得到研究者的廣泛關注。視頻人臉識別任務特指從一段視頻中提取出人臉的關鍵信息,從而完成身份識別。相較于基于圖像的人臉識別任務來說,視頻數據中的人臉變化模式更為多樣且視頻幀之間存在較大差異,如何從冗長而復雜的視頻中抽取到人臉的關鍵特征成為當前的研究重點。以視頻人臉識別技術為研究對象,首先介紹了該技術的研究價值和存在的挑戰;接著對當前研究工作的發展脈絡進行了系統的梳理,依據建模方式將傳統基于圖像集合建模的方法分為線性子空間建模、仿射子空間建模、非線性流形建模、統計建模四大類,同時對深度學習背景下基于圖像融合的方法進行了介紹;另外對現有視頻人臉識別數據集進行分類整理并簡要介紹了常用的評價指標;最后分別采用灰度特征和深度特征在YTC數據集及IJB-A數據集上對代表性工作進行評測。實驗結果表明:神經網絡可以從大規模數據中提取到魯棒的視頻幀特征,從而帶來識別性能的大幅提升,而有效的視頻數據建模能夠挖掘出人臉潛在的變化模式,從視頻序列包含的大量樣本中找到更具判別力的關鍵信息,排除噪聲樣本的干擾,因此基于視頻的人臉識別具有廣泛的通用性和實用價值。
摘要: 圖像修復是計算機視覺領域中極具挑戰性的研究課題。近年來,深度學習技術的發展推動了圖像修復性能的顯著提升,使得圖像修復這一傳統課題再次引起了學者們的廣泛關注。文章致力于綜述圖像修復研究的關鍵技術。由于深度學習技術在解決“大面積缺失圖像修復”問題時具有重要作用并帶來了深遠影響,文中在簡要介紹傳統圖像修復方法的基礎上,重點介紹了基于深度學習的修復模型,主要包括模型分類、優缺點對比、適用范圍和在常用數據集上的性能對比等,最后對圖像修復潛在的研究方向和發展動態進行了分析和展望。
隨著人臉表情識別任務逐漸從實驗室受控環境轉移至具有挑戰性的真實世界環境,在深度學習技術的迅猛發展下,深度神經網絡能夠學習出具有判別能力的特征,逐漸應用于自動人臉表情識別任務。目前的深度人臉表情識別系統致力于解決以下兩個問題:1)由于缺乏足量訓練數據導致的過擬合問題;2)真實世界環境下其他與表情無關因素變量(例如光照、頭部姿態和身份特征)帶來的干擾問題。本文首先對近十年深度人臉表情識別方法的研究現狀以及相關人臉表情數據庫的發展進行概括。然后,將目前基于深度學習的人臉表情識別方法分為兩類:靜態人臉表情識別和動態人臉表情識別,并對這兩類方法分別進行介紹和綜述。針對目前領域內先進的深度表情識別算法,對其在常見表情數據庫上的性能進行了對比并詳細分析了各類算法的優缺點。最后本文對該領域的未來研究方向和機遇挑戰進行了總結和展望:考慮到表情本質上是面部肌肉運動的動態活動,基于動態序列的深度表情識別網絡往往能夠取得比靜態表情識別網絡更好的識別效果。此外,結合其他表情模型如面部動作單元模型以及其他多媒體模態,如音頻模態和人體生理信息能夠將表情識別拓展到更具有實際應用價值的場景。
傳統圖像修復算法在修復區域涉及復雜非重復結構(如面部)時,不能準確捕捉到高級語義。近三年來基于深度學習的方法被應用于圖像修復中,其修復結果的結構相似性較傳統方法提高了10%以上。首先闡述了面部修復技術的研究發展歷程,主要介紹了基于深度學習的面部修復算法,將其分為無監督和有監督兩大類方法,在每一類中重點對近年來涌現的各種面部修復算法進行分析和總結;然后歸納了當前主流的六類圖像數據集,以及算法性能評價指標;最后討論了面部修復技術的未來研究方向。
近年來,三維人臉識別研究取得了較大進展.相比 二維人臉識別,三維人臉識別更具有優勢,主要特點是在識 別中利用了三維形狀數據.該文首先根據三維形狀數據的 來源,將三維人臉識別分為基于彩色圖像的三維人臉識別、 基于高質 量 三 維 掃 描 數 據 的 三 維 人 臉 識 別、基 于 低 質 量 RGBGD圖像的三維人臉識別,分別闡述了各自具有代表性 的方法及其優缺點;其次分析了深度學習在三維人臉識別 中的應用方式;然后分析了三維人臉數據與二維圖像在雙 模態人臉識別中的融合方法,并介紹了常用的三維人臉數 據庫;最后 討 論 了 三 維 人 臉 識 別 面 臨 的 主 要 困 難 及 發 展 趨勢.
深度學習在計算機視覺領域取得了重大成功,超越了眾多傳統的方法.然而,近年來深度學習技術被濫用在假視頻的制作上,使得以Deepfakes為代表的偽造視頻在網絡上泛濫成災.這種深度偽造技術通過篡改或替換原始視頻的人臉信息,并合成虛假的語音,來制作色情電影、虛假新聞、政治謠言等.為了消除此類偽造技術帶來的負面影響,眾多學者對假視頻的鑒別進行了深入的研究,并提出一系列的檢測方法幫助機構或社區來識別此類偽造視頻.盡管如此,目前的檢測技術仍然存在依賴特定分布數據、特定壓縮率等眾多的局限性,遠遠落后于假視頻的生成技術.并且,不同的學者解決問題的角度不同,使用的數據集和評價指標均不統一.迄今為止,學術界對深度偽造與檢測技術仍缺乏統一的認識,深度偽造和檢測技術研究的體系架構尚不明確.在本綜述中,我們回顧了深度偽造與檢測技術的發展,并對現有研究工作進行了系統的總結和科學的歸類.最后,我們討論了深度偽造技術蔓延帶來的社會風險,分析了檢測技術的諸多局限性,并探討了檢測技術面臨的挑戰和潛在研究方向,旨在為后續學者進一步推動深度偽造檢測技術的發展和部署提供指導.
近年來,以 Deepfakes [1]為代表的換臉技術開始在網絡興起.此類技術可將視頻中的人臉替換成目標人物, 從而制作出目標人物做特定動作的假視頻.隨著深度學習技術的發展,自動編碼器、生成對抗網絡等技術逐漸 被應用到深度偽造中.由于 Deepfakes 技術只需要少量的人臉照片便可以實現視頻換臉,一些惡意用戶利用互聯網上可獲取的數據生成眾多的假視頻并應用在灰色地帶,如將色情電影的女主角替換成女明星,給政客、公司高管等有影響力的人偽造一些視頻內容,從而達到誤導輿論,贏得選取,操縱股價等目的.這些虛假視頻內容 極其逼真,在制作的同時往往伴隨著音頻的篡改,使得互聯網用戶幾乎無法鑒別.如果這些深度偽造的內容作為新聞素材被制作傳播,這會損害新聞機構的聲譽和公眾對媒體的信心.更深層次的,當遇到案件偵查和事故取證時,如果缺乏對 Deepfakes 類虛假影像資料的鑒別,將對司法體系產生巨大的挑戰.盡管深度偽造技術有其積極的一面,如“復活”一些去世的人進行影視創作,以及 Zao APP[2]提供大眾換臉娛樂服務等,但是目前負面影響遠遠大于正面,擁有鑒別此類深度偽造視頻的能力變得尤為重要.
為了盡量減少深度偽造技術帶來的影響,消除虛假視頻的傳播,學術界和工業界開始探索不同的深度偽 造檢測技術.相繼有學者構造數據集,展開對 Deepfakes 檢測的多角度研究.臉書公司也聯合微軟一起舉辦全 球 Deepfakes 檢測競賽[3]以推動檢測技術的發展.然而這些 Deepfakes 檢測工作各有側重,存在眾多局限性.針 對本領域的綜述工作還比較缺乏,只有針對早期圖像篡改工作的一些總結[4][5],亟需對現有工作進行系統的整 理和科學的總結、歸類,以促進該領域的研究.
本文首先在第1節中介紹深度偽造的各種相關技術,在第2節中列舉了當下深度偽造研究的數據集,接著 在第 3 節中對現有的深度偽造檢測技術進行系統的總結和歸類.第 4 節我們討論了深度偽造生成和檢測技術 的雙面對抗性,第 5 節我們總結了面臨的挑戰和未來可行的研究方向.最后,在第 6 節,我們對全文的工作進行 總結.
//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6140&flag=1
The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances
人臉識別是計算機視覺領域中最基本、最長期存在的研究課題之一。隨著深度卷積神經網絡和大規模數據集的發展,深度人臉識別取得了顯著的進展,并在實際應用中得到了廣泛的應用。以自然圖像或視頻幀作為輸入,端到端深度人臉識別系統輸出人臉特征進行識別。為了實現這一目標,整個系統通常由三個關鍵要素構建:人臉檢測、人臉預處理和人臉表示。人臉檢測在圖像或幀中定位人臉。然后,對人臉進行預處理,將人臉標定為標準視圖,并將其裁剪為標準化像素大小。最后,在人臉表示階段,從預處理后的人臉中提取識別特征進行識別。深度卷積神經網絡滿足了這三個要素。摘要隨著深度學習技術的蓬勃發展,端到端深度人臉識別技術的能力得到了極大的提高,本文對端到端深度人臉識別技術中各個方面的最新進展進行了綜述。首先,我們介紹端到端深度人臉識別的概述,如前所述,它包括人臉檢測、人臉預處理和人臉表示。然后,我們分別回顧了基于深度學習的每個元素的進展,包括許多方面,如最新的算法設計、評估指標、數據集、性能比較、存在的挑戰和未來的研究方向。我們希望這一調查可以為我們更好地理解端到端人臉識別的大圖和更系統的探索帶來有益的想法。
行人再識別的主要任務是利用計算機視覺對特定行人進行跨視域匹配和檢索。相比于傳統算法,由數據驅 動的深度學習方法所提取的特征更能表征行人之間的區分性。對行人再識別的背景及研究歷史、主要面臨的挑 戰、主要方法、數據集及評價指標進行了梳理和總結。主要從特征表達、局部特征、生成對抗網絡三個方面對行人 再識別的算法進行分析,列舉了行人再識別9個常用數據集、3個評價標準和14種典型方法在 Market1501數據集 上取得的準確率,最后對行人再識別的未來研究方向進行展望。