基于內容的圖像檢索旨在針對查詢圖像從大規模數據集中找到相似的圖像。通常利用查詢圖像的代表性特征與數據集圖像之間的相似性對檢索圖像進行排序。在早期，各種手工設計的特征描述符被研究，基于視覺線索如顏色、紋理、形狀等代表圖像。然而，深度學習在過去的十年里已經成為了手工設計功能工程的替代選擇。它自動從數據中學習特征。本文綜述了近十年來基于深度學習的圖像檢索技術的發展。還從不同的角度對現有的最先進的方法進行分類，以便更好地了解進展情況。本綜述所使用的分類方法包括不同監督、不同的網絡、不同的描述符類型和不同的檢索類型。性能分析也使用最先進的方法進行。提出的見解也有利于研究人員觀察進展和做出最佳選擇。本文的研究將有助于利用深度學習進行圖像檢索的進一步研究。
論文： A Decade Survey of Content Based Image Retrieval using Deep Learning //www.zhuanzhi.ai/paper/11f7f2ea558530e3c96c5d71ab1fd477
概述
圖像檢索是一個被廣泛研究的圖像匹配問題，即從數據庫w.r.t中檢索相似的圖像。基本上，利用查詢圖像與數據庫圖像之間的相似度對數據庫圖像按相似度[3]的降序進行排序。因此，任何圖像檢索方法的性能都依賴于圖像之間的相似度計算。理想情況下，兩幅圖像間相似度評分的計算方法應具有鑒別性、魯棒性和有效性。計算兩幅圖像之間相似度最簡單的方法是求兩幅圖像中對應像素的絕對差的和，即L1距離。這種方法也稱為模板匹配。然而，該方法對圖像幾何和光度變化(如平移、旋轉、視點、光照等)的魯棒性不強。利用Corel數據集[4]中同一類別的兩幅圖片和對應的一個窗口的代表性強度值，如圖1所示。該方法的另一個問題是，由于圖像的高維性，導致查找查詢圖像與數據庫圖像之間的相似性需要很高的計算量，因此效率不高。
1.1 基于手工描述符的圖像檢索
為了使檢索對幾何和光度變化具有魯棒性，基于圖像內容計算圖像之間的相似性。基本上，圖像的顏色、紋理、形狀、梯度等內容(即視覺外觀)都以特征描述符[6]的形式表示。對應圖像特征向量之間的相似性被視為圖像之間的相似性。因此，任何基于內容的圖像檢索(CBIR)方法的性能在很大程度上依賴于圖像的特征描述符表示。任何特征描述符表示方法都希望具有識別能力、魯棒性和低維數。圖2說明了描述符函數在魯棒性方面的效果。旋轉和比例混合描述符(RSHD)函數[7]用于顯示從corell數據集[4]獲取的圖像與其旋轉后的版本之間的旋轉不變性。從圖2中可以看出，基于原始強度值的比較是無效的，但是基于描述符的比較是有效的，因為描述符函數能夠從圖像中捕獲相關信息。在基于內容的圖像檢索中，研究了不同的特征描述符表示方法來計算兩幅圖像之間的相似度。特征描述符表示利用了基于需要[18]1、[18]0、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]手動選擇的圖像的視覺線索。這些方法也被稱為手工設計或手工工程的特性描述。此外，這些方法通常是無監督的，因為它們不需要數據來設計特征表示方法。各種研究也不時地進行，以展示基于內容的圖像檢索的進展，包括2000年的[2]，2002年的[20]，2004年的[21]，2006年的[22]，2007年的[23]，2008年的[24]，2014年的[25]，2017年的[26]。圖像檢索的手工特征是一個非常活躍的研究領域。然而，由于人工設計的特征不能準確地表征圖像特征，其性能受到了限制。
1.2 基于距離度量學習的圖像檢索
距離度量學習也被廣泛地用于特征向量表示[27]。在[28]圖像檢索方面也有較好的研究。基于深度度量學習的圖像檢索方法有:上下文約束距離度量學習[29]、基于核的距離度量學習[30]、保持視覺的距離度量學習[31]、基于排序的距離度量學習[32]、半監督距離度量學習[33]等。一般來說，基于深度度量學習的方法與手工制作特征的方法相比，顯示了有前途的檢索性能。然而，現有的基于深度度量學習的圖像檢索方法大多依賴于線性距離函數，這限制了其識別能力和魯棒性，不能代表非線性數據。此外，該算法還不能有效地處理多通道檢索問題。
1.3 基于深度學習的圖像檢索
在十年間，深度學習[34]、[35]出現后，我們觀察到特征表示從手工工程到基于學習的轉變。這種轉變如圖3所示，基于特征學習的卷積神經網絡取代了傳統手工特征表示的最先進的管道。深度學習是一種層次特征表示技術，從數據中學習對數據集和應用[36]非常重要的抽象特征。根據所要處理的數據類型，產生了不同的架構，如:1維數據[37]、[38]、[39]的人工神經網絡(ANN)/多層感知器(multi - layer Perceptron, MLP)，圖像數據[40]、[41]、[42]的卷積神經網絡(Convolutional Neural Networks, CNN)，時序數據[43]、[44]、[45]的Reurrent神經網絡(RNN)。就[34]的鑒別能力和魯棒性而言，現有的CNN特性在對象識別和檢索任務中表現出了非常有前途的性能。在這十年里，利用深度學習的力量進行基于內容的圖像檢索[46]，[47]，[48]，[49]取得了巨大的進展。因此，本綜述主要關注基于內容的圖像檢索的最先進的基于深度學習的模型和特征的進展。圖4描述了用于圖像檢索的最新深度學習方法的分類。
本綜述論文的主要貢獻w.r.t.現有文獻概述如下:
-
這個綜述論文可以被視為首次覆蓋基于深度學習的圖像檢索方法，包括不同的監督類型、網絡類型、描述符類型、檢索類型和其他方面。
-
與[47]、[28]、[48]最近的綜述不同，本綜述論文特別涵蓋了2011-2020十年中使用深度學習技術進行圖像檢索的進展。此外，與最近的綜述[49]相比，我們提供了一個非常有用的分類(見圖4)，廣泛覆蓋了現有的基于深度學習的圖像檢索方法。
-
通過對不同角度的分析，豐富了使用深度學習方法的最新圖像檢索技術。
-
本文還介紹了簡要的重點和重要的討論，以及使用最先進的基于深度學習的圖像檢索方法在基準數據集上的綜合比較(見表3、4和5)。
付費5元查看完整內容
相關內容
近年來，從社交媒體平臺、醫學圖像和機器人等各個領域產生和分享了大量的視覺內容。大量的內容創造和分享帶來了新的挑戰。特別是，對相似內容的數據庫進行搜索，即基于內容的圖像檢索(CBIR)，是一個長期存在的研究領域，需要更有效和準確的方法來實現實時檢索。人工智能在CBIR方面取得了很大進展，極大地促進了智能搜索的進程。在本綜述論文中，我們組織和回顧了基于深度學習算法和技術的CBIR研究，包括來自近期論文的見解和技術。我們識別并呈現了該領域常用的數據庫、基準和評估方法。我們收集共同的挑戰，并提出有希望的未來方向。更具體地說，我們關注深度學習的圖像檢索，并根據深度網絡結構的類型、深度特征、特征增強方法和網絡微調策略來組織目前最先進的方法。我們的綜述論文查考慮了各種各樣的最新方法，旨在促進基于類別的信息檢索領域的全部視角。
//www.zhuanzhi.ai/paper/01b0e04eb5d1eeb53be30aa761b7cd12
基于內容的圖像檢索(CBIR)是通過分析大型圖庫中的可視內容來搜索語義匹配或相似圖像的問題，給定描述用戶需求的查詢圖像，如圖1(a)所示。CBIR是計算機視覺和多媒體領域長期存在的研究課題[1,2]。隨著當前圖像和視頻數據的指數級增長，迫切需要開發一種合適的信息系統來有效地管理這樣的大型圖像集合，圖像搜索是與可視化集合交互的最不可或缺的技術之一。因此，CBIR的應用潛力幾乎是無限的，如人員再識別[3]、遙感[4]、醫學圖像搜索[5]、在線市場購物推薦[6]等。
CBIR可以大致分為實例級檢索和類別級檢索，如圖1(b)所示。在實例級圖像檢索中，給定一個特定對象或場景(如埃菲爾鐵塔)的查詢圖像，目標是找到包含相同對象或場景的圖像，這些圖像可能在不同的視點、光照條件或受遮擋情況下捕獲[7,8]。相反，對于類別級別的圖像檢索，目標是找到與查詢相同類的圖像(例如，狗、汽車等)。實例級檢索更有挑戰性，也更有前景，因為它滿足許多應用程序的特定目標。請注意，我們將本文的重點限制在實例級的圖像檢索上，如果沒有進一步指定，則認為“圖像檢索”和“實例檢索”是等價的，可以互換使用。
要找到想要的圖像，可能需要在數千張、數百萬張甚至數十億張圖像中搜索。因此，高效搜索與準確搜索同等重要，并為此不斷付出努力[7,8,9,10,11]。為了實現對海量圖像的準確高效檢索，緊湊而豐富的特征表示是CBIR的核心。
近二十年來，圖像特征表示取得了顯著進展，主要包括兩個重要階段: 特征工程和特征學習(特別是深度學習)。在特征工程時代(即前深度學習時代)，該領域被具有里程碑意義的手工工程特征描述符所主導，如尺度不變特征變換(SIFT)[19]。特征學習階段，即自2012年開始的深度學習時代，從人工神經網絡開始，特別是ImageNet和深度卷積神經網絡(DCNN) AlexNet[20]的突破。從那以后，深度學習技術影響了廣泛的研究領域，因為DCNNs可以直接從數據中學習具有多層抽象的強大特征表示，繞過了傳統特征工程中的多個步驟。深度學習技術引起了人們的極大關注，并在許多計算機視覺任務中取得了長足的突破，包括圖像分類[20,21,22]、目標檢測[23]、語義分割[24]、圖像檢索[10,13,14]。
[1, 2, 8]對傳統圖像檢索方法進行了優秀的研究。相比之下，本文側重于基于深度學習的方法，我們的工作與其他發表的綜述[8,14,15,16]比較如表1所示。圖像檢索的深度學習包含了如圖2所示的關鍵階段，為了提高檢索的準確性和效率，已經提出了針對一個或多個階段的多種方法。在本綜述中，我們對這些方法進行了全面的詳細介紹，包括深度網絡的結構、特征融合、特征增強方法和網絡微調策略，動機是以下問題一直在推動這一領域的研究:
1)通過只使用現成的模型，深度特征如何勝過手工制作特征?
2)在跨訓練數據集的領域遷移的情況下，我們如何適應現成的模型來維持甚至提高檢索性能?
3)由于深度特征通常是高維的，我們如何有效地利用它們進行高效的圖像檢索，特別是針對大規模數據集?
在基于AlexNet[20]的圖像檢索實現非常成功之后，對檢索任務的DCNNs進行了重要的探索，大致沿循了上述三個問題。也就是說，DCNN方法被分為(1)現成的模型和(2)經過微調的模型，如圖3所示，并并行處理(3)有效的特征。DCNN是現成的還是微調的，取決于DCNN的參數是[25]更新還是基于參數固定的DCNN[25,26,27]。對于特征圖，研究人員提出了R-MAC[28]、CroW[10]、SPoC[7]等編碼和聚合方法。
最近在改進圖像檢索方面的進展可以分為網絡級和特征級兩類，圖4給出了詳細的分類。這項綜述大致包括以下四個范疇:
(1) 網絡架構的改進 (第2節)
利用堆疊線性濾波器(如卷積)和非線性激活函數(ReLU等)，不同深度的深度網絡獲得不同層次的特征。層次越深的網絡能夠提供更強大的學習能力，從而提取高層次的抽象和語義感知特征[21,46]。并行地連接多尺度特性是可能的，例如GoogLeNet [47]中的Inception模塊，我們將其稱為“擴展”。
(2) 深度特征提取(3.1節)
FC層和卷積層的神經元具有不同的接受域，這提供了三種提取特征的方法:卷積層的局部特征[7,59]，FC層的全局特征[32,60]，以及兩種特征的融合[61,62]，融合方案包括層級和模型級方法。深度特征可以從整幅圖像中提取，也可以從圖像小塊中提取，分別對應于單通道和多通道的前饋方案。
(3) 深度特征增強
通過特征增強來提高深度特征的判別能力。直接使用深度網絡[17]同時訓練聚合特征;另外，特征嵌入方法包括BoW[63]、VLAD[64]和FV[65]將局部特征嵌入到全局特征中。這些方法分別使用深度網絡(基于codebook)或聯合(無codebook)進行訓練。另外，采用哈希方法[18]將實值特征編碼為二進制碼，提高檢索效率。特征增強策略會顯著影響圖像檢索的效率。
(4) 學習表示的網絡微調(第4節)
在源數據集上預先訓練的用于圖像分類的深度網絡被轉移到新的數據集上進行檢索任務。然而，檢索性能受到數據集之間的域轉移的影響。因此，有必要對深度網絡進行微調到特定的領域[34,56,66]，這可以通過有監督的微調方法來實現。然而，在大多數情況下，圖像標記或標注是耗時和困難的，因此有必要開發無監督的方法進行網絡微調。
本文綜述了近年來用于圖像檢索的深度學習方法的研究進展，并根據深度網絡的參數更新，將其分為現成的深度圖像檢索模型和微調模型。
付費5元查看完整內容
圖核方法
·
圖結構數據是許多應用領域的組成部分，包括化學信息學、計算生物學、神經成像和社會網絡分析。在過去的二十年中，人們提出了許多圖的核函數，即圖之間的核函數，來解決圖之間的相似性評估問題，從而使分類和回歸設置中進行預測成為可能。這篇手稿提供了對現有圖內核、它們的應用、軟件和數據資源的回顧，并對最先進的圖內核進行了實證比較。
摘要：
在機器學習中常用的數據結構中，圖可以說是最通用的一種。圖允許將復雜對象建模為實體(節點)和這些實體(邊)之間關系的集合，每個實體都可以通過元數據(如分類或矢量節點和邊特征)進行注釋。許多普遍存在的數據類型可以被理解為圖形的特殊情況，包括非結構化矢量數據以及結構化數據類型，例如時間序列、圖像、體積數據、點云或實體包等。最重要的是，許多應用程序受益于基于圖形表示提供的額外靈活性。
本文共分為兩部分: 第一部分是對常見圖核的理論描述。在第2章簡要介紹了圖理論和內核之后，我們在第3章對相關的圖內核進行了詳細的描述、類型和分析。我們將詳細介紹不同內核之間的關系，并簡要介紹它們對某些類型數據的適用性。第4章的第二部分著重于對圖核的大規模經驗評估，以及對基準數據集的理想屬性和需求的描述。在第5章中，我們概述了圖核的未來趨勢和面臨的挑戰，以此來結束我們的綜述。
付費5元查看完整內容
摘要: 行人重識別是近年來計算機視覺領域的熱點問題, 經過多年的發展, 基于可見光圖像的一般行人重識別技術已經趨近成熟. 然而, 目前的研究多基于一個相對理想的假設, 即行人圖像都是在光照充足的條件下拍攝的高分辨率圖像. 因此雖然大多數的研究都能取得較為滿意的效果, 但在實際環境中并不適用. 多源數據行人重識別即利用多種行人信息進行行人匹配的問題. 除了需要解決一般行人重識別所面臨的問題外, 多源數據行人重識別技術還需要解決不同類型行人信息與一般行人圖片相互匹配時的差異問題, 如低分辨率圖像、紅外圖像、深度圖像、文本信息和素描圖像等. 因此, 與一般行人重識別方法相比, 多源數據行人重識別研究更具實用性, 同時也更具有挑戰性. 本文首先介紹了一般行人重識別的發展現狀和所面臨的問題, 然后比較了多源數據行人重識別與一般行人重識別的區別, 并根據不同數據類型總結了5 類多源數據行人重識別問題, 分別從方法、數據集兩個方面對現有工作做了歸納和分析. 與一般行人重識別技術相比, 多源數據行人重識別的優點是可以充分利用各類數據學習跨模態和類型的特征轉換. 最后, 本文討論了多源數據行人重識別未來的發展.
//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190278
付費5元查看完整內容
行人再識別的主要任務是利用計算機視覺對特定行人進行跨視域匹配和檢索。相比于傳統算法,由數據驅 動的深度學習方法所提取的特征更能表征行人之間的區分性。對行人再識別的背景及研究歷史、主要面臨的挑 戰、主要方法、數據集及評價指標進行了梳理和總結。主要從特征表達、局部特征、生成對抗網絡三個方面對行人 再識別的算法進行分析,列舉了行人再識別9個常用數據集、3個評價標準和14種典型方法在 Market1501數據集 上取得的準確率,最后對行人再識別的未來研究方向進行展望。
付費5元查看完整內容
由于計算和存儲效率的提高，哈希被廣泛應用于大規模數據庫檢索中的近似近鄰搜索。深度哈希技術是一種利用卷積神經網絡結構來挖掘和提取圖像語義信息或特征的技術，近年來受到越來越多的關注。在這個綜述中，我們對幾種圖像檢索的深度監督哈希方法進行了評估，總結出深度監督哈希方法的三個主要不同方向。最后提出了幾點意見。此外，為了突破現有哈希方法的瓶頸，我提出了一種影子周期性哈希(SRH)方法作為嘗試。具體來說，我設計了一個CNN架構來提取圖像的語義特征，并設計了一個loss function來鼓勵相似的圖像投影接近。為此，我提出了一個概念: CNN輸出的影子。在優化的過程中，CNN的輸出和它的shadow互相引導，盡可能的達到最優解。在數據集CIFAR-10上的實驗表明，該算法具有良好的性能。
付費5元查看完整內容
簡介： 在許多將數據表示為圖形的領域中，學習圖形之間的相似性度量標準被認為是一個關鍵問題，它可以進一步促進各種學習任務，例如分類，聚類和相似性搜索。 最近，人們對深度圖相似性學習越來越感興趣，其中的主要思想是學習一種深度學習模型，該模型將輸入圖映射到目標空間，以使目標空間中的距離近似于輸入空間中的結構距離。 在這里，我們提供對深度圖相似性學習的現有文獻的全面回顧。 我們為方法和應用提出了系統的分類法。 最后，我們討論該問題的挑戰和未來方向。
在特征空間上學習足夠的相似性度量可以顯著確定機器學習方法的性能。從數據自動學習此類度量是相似性學習的主要目的。相似度/度量學習是指學習一種功能以測量對象之間的距離或相似度，這是許多機器學習問題（例如分類，聚類，排名等）中的關鍵步驟。例如，在k最近鄰（kNN）中分類[25]，需要一個度量來測量數據點之間的距離并識別最近的鄰居；在許多聚類算法中，數據點之間的相似性度量用于確定聚類。盡管有一些通用度量標準（例如歐幾里得距離）可用于獲取表示為矢量的對象之間的相似性度量，但是這些度量標準通常無法捕獲正在研究的數據的特定特征，尤其是對于結構化數據。因此，找到或學習一種度量以測量特定任務中涉及的數據點的相似性至關重要。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191