開放環境下的度量學習研究
利用對象之間的相似性關系,度量學習為樣本學到有效的特征表示,使得 在該表示空間中,樣本之間的距離度量能夠精確反映樣本之間的相似與不相 似關系。有效的距離度量與表示空間極大地輔助了后續的多樣化任務。在度 量學習的研究中,傳統的方法依賴于靜態的、封閉的環境,需要無干擾、不變 化的特征,大量的訓練樣本,且只能處理單一的對象語義。而實際應用場景 比較復雜,是開放的,并存在“輸入噪聲多”、“訓練樣本少”、“特征變化 快”、“語義表示廣”等特點。本文從模型在開放環境下輸入、輸出層面上面 臨的挑戰作為切入點,提出針對或利用度量學習特性的具體算法,從理論和應 用等多個角度使得度量學習的研究能夠契合開放的環境。
本文的主要內容有:
從理論上分析了度量學習的泛化能力,并提出策略以降低其樣本復雜度。傳統機器學習方法要求大量有標記的訓練樣本,而實際場景中,對于某些 類別,考慮到樣本搜集和標注的代價,只能獲取極少量的有標記的樣本。本文從目標函數性質以及度量重用兩個角度進行泛化能力的理論分析,相 對于以往的分析結果,提出如何能獲得更快的泛化收斂率,即如何利用更 少的樣本得到同樣的泛化誤差。同時,本文通過大量實驗進行驗證,說明 滿足理論假設時,各因素對樣本復雜度的影響與理論中給出的趨勢一致。
提出一種應用度量語義變換在小樣本情況下應對特征變化的學習方法。除了僅有少量的訓練樣本,當在開放環境下處理新的任務時,模型也會 面臨特征空間變化的挑戰。本文利用特征之間的關聯性,提出構建特征的 “元表示”空間,利用在該空間中學習的度量,將已有特征空間的分類器 轉換到新的特征空間上,以“重用”已有的訓練好的異構分類器。提出的 ReForm 方法也降低了學習算法的樣本和計算需求。值得一提的是,在ReForm 方法重用分類器的過程中,沒有歷史訓練數據的傳輸,而僅僅需 要已有的模型,這也保護了不同階段、不同任務之間數據的隱私性。
提出能夠靈活挖掘并自適應利用開放環境中復雜語義的多度量學習框架。圖片、文本等對象在不同場景下往往存在豐富的語義。以往的度量學習 方法只針對對象的單一語義進行建模,而忽略了語義的多樣性。本文提出 “語義度量”這一概念以及統一的框架 U?2 ?,學習多個局部度量,不但能 統一已有的方法、靈活挖掘出對象本身的不同語義,也能夠提升后續眾多 實際問題的性能。針對度量數目的選擇,本文也提出自適應的多度量學習 框架 L???,利用全局度量的輔助,動態地為不同的語義分配度量的數目。L??? 一方面防止模型過擬合、提升分類能力,一方面也降低了存儲開銷。
提出一種利用分布擾動以適應輸入特征和對象關系噪聲的度量學習方法。開放動態的環境容易受到噪聲的影響。一方面,輸入的樣本特征容易附帶 噪聲,導致樣本特征的描述不夠精確;另一方面,對象之間的關聯關系也 會不準確,使后續相似性的學習更加困難。針對這一難點,本文首先對樣 本之間的距離做概率化分析,指出上述兩種噪聲都來源于樣本特征的擾 動。并提出一種基于“期望距離”的度量學習方法 Drift。該方法在學習 過程中動態地引入噪聲,有效地增廣數據,使模型有更好的泛化能力。利 用 Drift 學到的距離度量更加魯棒,能夠更真實地反映對象之間的關系。
機器學習中的標記增強理論與應用研究
標記端多義性是當今機器學習的熱點問題。多標記學習中,每個樣本都被賦予一組 標記子集來表示其多種語義信息。然而,標記強度差異現象在多義性機器學習任務中廣 泛存在,而既有多標記學習研究中普遍采用的相關/無關兩個子集的邏輯劃分法幾乎完 全忽視了這種現象,造成學習過程中不可避免的信息損失。針對這一突出問題,有必要 用一種稱為標記分布的標注結構來代替邏輯標記對示例的類別信息進行描述。標記分布 通過連續的描述度來顯式表達每個標記與數據對象的關聯強度,很自然地解決了標記強 度差異的問題,而在以標記分布標注的數據集上學習的過程就稱為標記分布學習。由于 描述度的標注成本更高且常常沒有客觀的量化標準,現實任務中大量的多義性數據仍然 是以簡單邏輯標記標注的,為此本文提出了標記增強這一概念。標記增強在不增加額外 數據標注負擔的前提下,挖掘訓練樣本中蘊含的標記重要性差異信息,將邏輯標記轉化 為標記分布。
本文對標記增強進行研究,主要工作包括:構建標記增強基礎理論框架。該理論框架回答了以下三個問題:第一,標記增強所 需的類別信息從何而來?即標記分布的內在生成機制;第二,標記增強的結果如何評價?即標記增強所得標記分布的質量評價機制;第三,標記增強為何有效?即標記增強對后 續分類器的泛化性能提升機制。理論分析和實驗結果驗證了標記增強的有效性。
提出一種面向標記分布學習的標記增強專用算法。以面向標記分布學習的標記增強 為目標專門設計的算法十分重要,其關鍵是如何設計能夠充分挖掘數據中隱藏的標記信 息的優化目標函數。因此,本文提出一種面向標記分布學習的標記增強方法 GLLE。該 方法利用訓練樣本特征空間的拓撲結構以及標記間相關性,挖掘了標記強度信息,從而 生成了標記分布。實驗結果驗證了 GLLE 對邏輯標記數據集進行標記增強處理后使用標 記分布學習的有效性。
標記增強在其他學習范式上的應用。本文提出了基于標記增強的多標記學習方法 LEMLL,該方法將標記增強與多標記預測模型統一到同一學習目標中,使得預測模型可 以在更為豐富的監督信息下進行訓練,有效地提升了學習效果。本文提出了基于標記增 強的偏標記學習方法 PLLE,該方法利用標記增強恢復候選標記的描述度,使得后續的 學習問題轉化為多輸出回歸問題。在多標記數據集和偏標記數據集上的實驗結果顯示, 相較于對比算法,基于標記增強方法取得了顯著更優的表現。
隨著互聯網的興起,每天都有不同形式的大量的文本數據產生:新聞、研究文獻、 博客、論壇文字以及社交媒體評論等。很多重要有用的信息隱藏在其中,如何從這些自 由文本中自動抽取所需要的信息是一個關鍵并且重要的一步。信息抽取任務就是為此目 標而誕生。本文主要研究信息抽取子任務之一的實體關系抽取任務。該任務旨在識別文 本中出現的實體,并判斷出實體之間存在的關系。
傳統的有監督實體關系抽取通常采用基于流水線的方法,即實體模型和關系模型 分開訓練。在測試階段,先用實體模型識別出實體,然后關系模型找出這些實體之間的 關系。這種流水線的方法存在著錯誤傳播的缺點,前一個任務的錯誤會累積到后一個任 務。為了緩解這一問題,研究人員提出了聯合模型。聯合模型將兩個子模型統一建模, 可以進一步利用兩個任務之間的潛在信息,以緩解錯誤傳播的缺點。聯合模型的難點是 如何加強實體模型和關系模型之間的交互,比如實體模型和關系模型的輸出之間存在著 一定的約束,在建模的時候考慮到此類約束將有助于聯合模型的性能。
另一方面,為了解決實體關系抽取數據集難以獲得的問題,遠程監督的方法也被提 出來。其主要思想是利用知識庫和大規模文本數據對齊,自動構建大規模的訓練集。然 而,遠程監督方法的缺點是自動構建的訓練集中存在著很多的噪音數據,這些噪音數據 的存在對遠程監督實體關系抽取有著很大的負面影響。此外,在有些應用場景中可能沒 有現成的知識庫可以用來進行遠程監督,如何解決類似的數據噪音和數據缺失問題也是 一大挑戰。
根據實體關系抽取方法的研究現狀,本文從數據和聯合模型兩個角度探索了幾種實 體關系抽取聯合模型,并且探究了所提出模型的優勢和不足。具體來說,本文的主要貢 獻有
常見的圖像編輯方法側重于低級特征。在本論文中,我利用機器學習使圖像編輯在更高的概念層次上運行。從根本上說,所提出的方法旨在通過結合通用的視覺知識,從可能被編輯的信息中提取出必須在編輯過程中維護的視覺信息。因此,新方法可以以人類可理解的方式轉換圖像,比如將一個物體轉換為另一個物體,將照片程式化到特定藝術家的畫作中,或將日落加到白天拍攝的照片中。我們探索在不同的設置和不同數量的監督設計這樣的方法: 逐像素標簽,逐圖像標簽,和沒有標簽。首先,利用逐像素監督,我提出了一種新的深度神經網絡架構,可以從場景布局和可選目標風格合成逼真的圖像。其次,使用每個圖像監督,我探索了域翻譯的任務,其中一個類的輸入圖像被轉換為另一個類。最后,我設計了一個框架,可以從一組未標記的圖像中發現結構和紋理的分離操作。我們在廣泛的應用中提供令人信服的視覺效果,包括交互式照片繪圖工具、對象變形、虛擬和真實環境之間的域間隙減少,以及圖像紋理的逼真操作
多層圖分析技術研究
近年來,越來越多的領域都使用“圖”來表示和管理數據,稱為“圖數據”。針對 圖數據的分析可以發現其中的結構特征、頻繁模式、演變規律等有用的知識,具有 重要的科研意義和應用價值。隨著研究的深入,人們發現現實世界的圖數據往往 包含數據對象間多種類型的關系。例如,社交網絡數據包括多個社交媒體組成的 網絡;交通網絡數據涵蓋了多種交通工具組成的網絡。這種圖數據稱為“多層圖”, 其每一層包含了數據對象間某種特定類型的關系。
多層圖分析可以發現準確可靠、價值更高的知識。然而,多層圖分析面臨兩 方面的挑戰:一方面,單層圖上的計算語義在多層圖場景下不再適用,多層圖上 的計算語義更加復雜;另一方面,多層圖分析涉及多個圖層上的計算任務,使得 問題的固有計算復雜性大大增加。現有的多層圖分析方法在計算語義和算法設計 兩個方面都存在缺陷,不能很好的解決多層圖分析的有關問題。
本文綜合運用數據分析的相關理論、技術和方法,對于多層圖分析進行了系統研究。本文同時考慮了無概率的普通多層圖和帶概率的多層圖,從圖數據的稠 密性、可靠性、傳播性和相似性四方面重要性質出發,對多層圖分析領域中的一 系列重要問題進行了深入研究,主要研究成果如下:
本文研究了多層圖上的多樣化稠密區域發現問題,該問題在生物蛋白復合 體檢測和社區發現上具有重要應用。在無概率的普通多層圖模型基礎上,本文提 出了一種新的稠密區域概念 d-Coherent-Core(簡稱 d-CC),設計了兩種近似比為 1/4 的高效搜索算法來求解該 NP-難問題,算法在結果質量和執行時間兩個方面 均優于基于準團的傳統算法。d-CC 概念同時刻畫了稠密區域的稠密度和支持度兩 方面重要特性,滿足唯一性、包含性和層次性 3 個重要數學性質。自底向上和自 頂向下兩種搜索算法采用了高效的搜索策略和剪枝方法,分別適用于支持度參數 較小和較大兩種情況。真實數據上的實驗結果表明:自底向上和自頂向下兩種搜 索算法是高效、準確的。
本文研究了多層圖上的 top-k 可靠頂點搜索問題,該問題在通信網絡中具 有重要的研究意義,相比基于閾值的搜索問題自適應性更好。本文給出了一種圖 層帶概率的多層圖模型,提出了一種新的多層圖計算框架——共享計算,其可以 有效利用多層圖不同圖層間的重疊結構以減少搜索代價、提高算法效率。基于此,本文設計了求解 top-k 可靠頂點搜索問題的共享 BFS 精確算法和隨機算法。真實 數據上的實驗結果表明:共享 BFS 精確算法具有很高的效率和擴展性;共享 BFS 隨機算法具有很高的準確率。
本文研究了多層圖上的影響力最大化問題,該問題在病毒式營銷和輿情控 制中應用廣泛。為描述影響力最大化問題中的圖數據,本文給出了一種帶概率的 多層圖模型,其可以表示由于邊的不確定性而形成的多層圖。針對已有算法的缺 陷,本文設計了一種能夠同時達到高時間效率、高結果質量、低內存開銷和高健 壯性的影響力最大化算法,具有線性的時間和空間復雜度。該算法采用高質量的 分數估計方法和增量式的分數更新方法,在實際社交網絡中表現出良好的性能和 很高的擴展性。
本文研究了多層圖上 SimRank 頂點相似性測度問題,該問題是推薦系統、 實體識別等眾多應用的基礎。在帶概率的多層圖模型基礎上,本文嚴格給出了符 合其可能世界語義的 SimRank 相似性測度定義,設計了高效、準確的計算頂點間 SimRank 相似性的方法。同時,作為 SimRank 相似性測度的基礎,本文提出了多 層圖上隨機游走的定義,嚴格證明了這一定義滿足馬爾可夫性,設計了計算隨機 游走概率的高效算法。真實數據上的實驗結果表明:本文提出的 SimRank 算法是 高效、準確的;本文提出的 SimRank 測度比傳統測度在實際應用中效果更好。
深度預測學習問題與方法研究
隨著移動互聯網、傳感器網絡、計算機視覺的快速發展,人們獲得了海量的 時空數據。本文面向這類數據的時間與空間結構特性,系統研究基于神經網絡的 深度預測學習方法。該方法旨在學習時空序列背后的演變規律,并對其未來狀態 給出近似估計。本文討論深度預測學習的以下難點問題:(1)如何在對時空相關 性的統一建模中考慮層次化的深度網絡特征;(2)如何緩解循環網絡深度和梯度 消失的矛盾,平衡短期與長期的時空特征;(3)針對各種確定性時空數據,研究 如何建模其復雜的趨勢非平穩過程與季節性變化;(4)針對開放視覺環境中的感 知不確定性和動態不確定性,研究如何解決概率預測模型的可信度問題;(5)如 何促進深度預測學習特征向下游語義級的有監督任務泛化。圍繞這些問題,本文 的研究過程可分為以下三個階段,呈遞進關系,每個階段包含 2-3 個創新點:
第一階段,本文探索深度預測學習的基礎網絡結構。針對難點(1),研究基于 循環網絡的記憶狀態跨層轉移方法,實現了時間記憶狀態與多層空間特征的融合;在此基礎上,針對難點(2),本文研究如何在延長循環網絡的記憶狀態轉移路徑 的同時,延緩該路徑上的反向梯度消失。
第二階段,本文根據傳統時間序列分析中的 Cramér 分解理論[1],分別從時空 信號的非平穩性、季節性和隨機性的角度出發,針對難點(3-4)研究相應的深度 預測學習方法。這些方法依次適用于存在固有動力學模式但趨勢信息相對復雜的 確定性時空數據(如短時雷達回波序列)、季節性時空數據(如交通流量序列)和 從部分可見的環境中采集的時空數據(如帶有噪聲的視頻片段)。
第三階段,本文在數據級的時空序列預測任務的基礎上更進一步,從時序關 系推理的角度出發,再度審視深度預測學習的特征表達。針對難點(5),本文在 循環網絡的狀態轉移方程中分別引入三維卷積算子和可微分的記憶狀態讀寫機制, 旨在同時促進模型對短期時空特征的感知和對長期語義關系的推理。實驗表明,這 些改進對預測模型的任務泛化大有裨益,進而說明了面向時空數據的深度預測學 習是一種有效的無監督表征學習框架。
此外,本文還設計了一套名為 PredLearn 的模型庫,從系統實現的角度對上述 創新性方法及其特點和適用范圍進行了整理、歸納和對比,以便用戶可以根據具 體的場景特性合理選擇模型。最后,本文以災害天氣短時臨近預報作為一種典型 的應用案例,介紹如何實現從本文方法到實際業務平臺的技術轉化。
軟件系統網絡化建模、質量度量與保證
軟件開發活動中,質量問題層出不窮。例如軟件功能沒有滿足用戶的需求,軟件 不健壯,由于低可靠性而引起的經常性失效,交付有缺陷的軟件產品,需求不完整 亦或概念模糊等。多數情況下,軟件產品問題發生原因是質量監控人員沒有及時發 現問題并且修正,包括未對設計與需求進行評審或者評審方案不具備有效性,導致 開發過程中常常帶著問題進入下一階段的研發。因此需要花費更多的人力物力和時 間來糾正問題。因而,軟件質量保證是解決上述問題的有效手段之一。
經過長期的研究和實際案例分析,雖然現有軟件質量度量方法的有效性已經在 實踐中得到了檢驗,它們依然存在著許多不足之處,如傳統的方法側重于微觀層面 的統計,使得開發人員難以在較高層次分析和度量軟件體系結構的全局特性;現有 的質量模型企圖以單一模型廣泛地應用于軟件和信息系統的開發過程,但這與質量 本身的特征多樣性相背離;軟件質量模型設計的初衷沒有考慮其在軟件開發過程中 的應用場景,并未對軟件開發中的特定活動提供相應支持。因此開發出一個操作性 強,具有較高應用價值且能夠高效地發現質量隱患的模型仍是一個開發性的課題。本文圍繞著軟件質量模型構建、質量保證及質量改善開展工作,主要的研究內容包括:
(1) 針對現有的軟件質量模型均以靜態視角描述軟件某單一維度結構特征的局 限性,本文從多粒度、多類型依賴關系及多功能剖面等角度出發,提出了多維度軟 件網絡模型。并結合概率風險分析理論評估軟件設計的缺陷及軟件模塊的風險,借 助于多維度網絡模型將軟件系統映射為多功能剖面,使用故障樹模型分析不同功能 剖面上節點的組合失效因果鏈,給出了一種基于故障樹分析的可靠性度量方法。通 過實驗分析,驗證了上述方法可以有效檢測軟件高風險的關鍵節點,詮釋了軟件系 統拓撲結構因素與系統可靠性的相關性,可作為軟件設計早期階段確保軟件設計質 量的指導準則。
(2) 在軟件集成測試的場景之中,基于多維度軟件網絡模型,結合軟件風險分析 方法提出了一種兼顧測試成本與測試效率的集成測試序列生成算法。利用成本收益。分析方法,在生成測試用例的過程中保證兩條原則:一是為高風險的類賦予較高權 重,二是最小化測試樁復雜度。在此基礎上,我們從構造測試樁的成本和測試序列 對軟件系統運行風險的影響兩個方面,提出了評估測試序列優劣的度量方案及針對 集成測試序列合理分配測試資源的方法。通過與現有算法的實驗對比分析,證明了 所提出算法生成的類級集成測試序列,既能夠保證風險因子高的節點優先被測試, 又降低了構造測試樁的總復雜度,有效地降低了測試代價。
(3) 將本文提出的軟件質量模型應用于軟件回歸測試的場景之中,以保障軟件產 品質量。在多維度軟件網絡模型基礎上,結合可靠性度量方法提出了一種基于動態 反饋機制的自適應測試用例優先級排序技術。在計算測試用例優先級的過程中,利 用已經執行的測試用例對軟件可靠性變化信息進行動態反饋,以不斷更新系統的可 靠性數值,進而高效地定位到軟件缺陷,提高故障檢測效率。通過在不同的軟件系 統的實驗分析,驗證了所提出的自適應優先級排序技術具有較高的穩定性,尤其對 于嚴重故障具有較強的檢測能力,同時可以兼顧最大化軟件系統的可靠性。
(4) 為了從軟件體系結構的角度得到最佳的功能分布,基于多維度軟件網絡模型 提出了一種系統級別的自動化重構技術。將軟件系統映射成多依賴關系類型網絡和 方法級加權依賴網絡,借助于前者我們完成了重構預處理操作,借助于后者我們利 用加權聚類算法,根據“高內聚、低耦合”原則對系統的模塊進行重新劃分。為了移除 非繼承體系和繼承體系內部由內聚和耦合性引起的代碼壞味道,提出三種不同類型 的重構建議(包括搬移函數、搬移方法和提煉類重構的操作)。經過世界知名軟件公司 軟件質量評估專家的評估和驗證,證明了自動化重構算法的有效性。
新型深度學習模型的研究
深度學習是近年來機器學習領域中的熱點研究領域。深度森林模型是一 種新型深度學習模型,擴展了深度學習的內涵和適用范圍。本文開展深度森 林方面的相關研究工作,主要取得了以下創新結果:
1.基于森林的多層分布表示。多層分布式表示學習被認為是神經網絡獨有的 特性,本文提出了基于森林的多層模型 mGBDT,第一次顯示出多層分布 式表示通過森林模型也能進行。在表格數據和混合數據等各類建模任務 上,mGBDT 展示了其兼具表示學習和離散數據建模的能力。
2.基于森林的自編碼器模型。自編碼器被認為是只能通過神經網絡實現的獨 有模型,本文工作提出了第一個基于森林的自編碼器 eForest,在多類數 據上均取得了優異的性能體現。與此同時,還利用 Intel 眾核芯片 KNL, 通過多進程,向量化和編譯器優化等技術,獲得了近線性加速比,為大規 模應用提供了基礎。
面向物體語義理解的視覺表示學習
在對真實世界中的物體進行描述時,人們通常使用大量抽象的語義概念,如物體的顏色、形狀、類別等。一方面,這些抽象的語義概念在不同的物體間是可以共享的,因此語義概念天然地可以將不同的物體聯系在一起,從而快速、準確地建立真實世界中身邊的物體與已知的物體之間的關聯,方便人們理解周圍的世界。另一方面,不同抽象程度的語義概念之間也并非完全相互獨立,而是存在一定的關聯關系,因此語義概念也是人在進行推理過程中的重要線索之一。綜上所述,語義概念在感知和認知任務中都有重要的作用,因此對于計算機視覺算法來說,掌握和理解語義概念具有巨大的潛在價值。具體來說,算法對于語義概念的理解可以分為以下四個層次:第一,識別物體具有的語義概念,如物體屬性預測、物體識別等;第二,挖掘物體間由語義概念組成的關聯,如統計出多個物體具有相同的屬性;第三,建立多維度的語義關聯知識網絡,如建立起尐馬少這類物體基本都具有尐四足少屬性這樣的知識;第四,利用語義關聯知識進行邏輯推理。近年來,盡管計算機視覺技術取得了長足的發展,但是由于物體語義的高度復雜,上述感知問題仍然沒有被完全解決。而在更高的層面上,只有很少的工作涉及到了挖掘不同抽象程度的語義概念之間的聯系。針對上述物體間及語義概念間的關聯學習,本文利用表示學習的方法,著手解決其中的三個關鍵問題:(就)快速、準確地識別物體間的語義關聯;(尲)在不同的語義抽象程度上挖掘物體間的關聯關系;(尳)使用盡可能少的人工標注,建立不同抽象程度的語義概念之間的關聯。在理論方面,本文提出的方法可以實現對圖像、場景的深層次理解,在一定程度上解決計算機視覺問題中的知其然而不知其所以然的問題。在應用方面,本文提出的方法在多個不同抽象程度的語義概念上建立了物體之間的關聯,并且通過學習的方式建立了不同抽象程度的語義概念之間的關聯,因此本文提出的方法在個性化圖像檢索、知識推理等任務上具有潛在的應用價值。具體地,本文以最常見的語義概念——類別作為出發點,逐漸深入地展開研究工作,圍繞物體間語義關聯及語義概念間的關聯學習開展以下四個主要工作:
(1)提出了一種端到端的有監督二值碼深度學習算法,用來解決大規模依據類別的圖像檢索任務。該任務中,給定一張查詢圖像,系統的目標是檢索屬于同類的數據庫中圖像。為了引入判別性,該方法對圖像對或圖像三元組之間。的距離進行約束,要求相似的圖像具有相似的二值碼,反之亦然。此外,針對哈希編碼學習中的二值量化導致的損失函數不可導問題,該方法提出了一種全新的量化損失約束,在保持判別性約束的同時,通過施加量化損失約束,減少量化損失帶來的檢索精度損失。
(2)提出了一種基于離散優化的兩階段有監督二值碼深度學習方法,主要針對上一個工作中,由于判別性損失與量化損失的優化目標不同而導致的判別性損失難以收斂到最優的問題。其中,在第一階段,通過設計一種離散優化算法,直接在漢明空間中迭代優化,得到具有強判別性的二值碼;在第二階段,通過訓練模型擬合優化得到的二值碼,從而避免判別性損失與量化損失之間的沖突,得到檢索精度更高的二值碼。
(3)提出了一種可以在多個維度的語義概念上建立物體間關聯的二值碼學習方法,從而相比于前兩個工作,可以更好地建模物體間豐富的語義關聯。該方法通過同時使用多個損失函數對模型進行訓練,將多種不同抽象程度的語義概念編碼到同一組二值碼中。因此,該方法可以根據不同用戶的特定需求,按照不同的方式使用學習到的二值編碼,進行相應的圖像檢索任務,找到在特定語義標準下相似的數據庫圖像。另外,考慮到目前公開的數據集中,只有極少數的數據同時具有多種不同抽象程度的語義概念的標注,為了使模型具有更強的泛化性能,該方法被設計為可以使用大量存在的部分標注數據進行訓練。
(4)設計了一種算法來自動地挖掘語義概念間天然存在的關聯,包括物體的類別之間的關聯,以及物體類別與視覺屬性之間的關聯。在前三個方法中,并沒有很好地利用不同語義概念之間的關聯進行模型的學習。其中一個重要原因是語義概念間關聯數據的匱乏。由于目前的公開數據集上幾乎沒有這類標注,該方法基于表示學習技術,自動地從大量圖像中學習視覺屬性的概念,并基于學習到的視覺屬性,建立類別層級結構中不同語義概念之間的關聯,從而構建起語義關聯知識。在應用層面上,該方法可以對物體識別模型的預測結果給出人類可理解的解釋。此外,該方法學習到的語義關聯知識,對于需要進行知識推理的計算機視覺認知任務具有巨大的潛在應用價值。