亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

 計算機視覺（CV）領域面臨著許多挑戰。最初，它依賴于手工設計的特征和基于規則的算法，導致精度有限。機器學習（ML）的引入帶來了進展，特別是遷移學習（TL），通過重用預訓練模型解決了各種CV問題。遷移學習需要較少的數據和計算資源，同時提供接近相同的精度，使其成為CV領域的重要技術。我們的研究重點在于遷移學習的發展，以及CV應用如何利用它來解決現實世界中的問題。我們討論了最近的發展、局限性和機會。

1 引言

近年來，存儲容量和計算能力大幅提升，尤其是在互聯網和云服務的擴展下。人工智能（AI）是這一擴展的主要受益者之一。然而，即使在這些令人印象深刻的發展下，AI模型仍然面臨數據和計算能力不足的問題。因此，能夠有效利用這些能力的公司最終處于有利的競爭地位，正如Verizon研究中77%的企業所證實的那樣[5]。此外，隨著互聯網的日益普及，企業可用的數據量爆炸式增長。據諾基亞報道，從2017年到2022年，互聯網流量增長了30%[33]。如今，充足的數據和計算資源使研究人員和公司能夠嘗試解決以前無法解決的復雜問題。其中之一就是計算機視覺（CV）問題，涉及圖像處理[52]。在使用機器學習（ML）的計算機視覺問題中，數據量至關重要，更多的圖像通常能讓ML模型學習得更好。然而，在某些計算機視覺問題領域，獲取訓練數據可能非常困難且昂貴。因此，人們正在努力在一個CV領域中重用已訓練的ML模型，并將其應用于相關的CV領域。將一個領域中訓練的模型重新用于另一個領域的努力被稱為遷移學習（TL）[56]。盡管TL可以應用于許多問題領域，例如使用遺傳算法的自然語言處理（NLP），但我們的研究論文僅關注TL在CV問題中的應用。 在本研究論文中，我們介紹了TL和CV的概念，回顧了一些研究這些主題的論文，并分別在背景、文獻回顧和結論部分概述我們的研究工作。本研究旨在探討通過遷移學習技術解決各種計算機視覺問題的最新進展。值得注意的是，這并不是Kitchenham等人[30]定義的系統化文獻綜述，涵蓋所有發展性工作。相反，我們著重于幾個影響當前研究格局的熱門類別。

2 背景

在本節中，我們嘗試通過相關背景提供對該主題的初步理解。接下來我們將概述人工智能（AI）、機器學習（ML）、神經網絡（NN）、深度神經網絡（DNN）、卷積神經網絡（CNN）、遞歸神經網絡（RNN）和遷移學習（TL）之間的關系。請參考圖1以增強讀者的理解。為了保持研究的范圍，我們將背景部分限制在必要的細節上。人工智能（AI）是一個利用機器學習和模擬多種智能行為來解決現實問題的科學領域[8]。該領域分為基于規則的專家系統（ES）、模糊系統和機器學習（ML）。專家系統（ES）側重于通過基于人類推理和邏輯的規則創建決策算法來模擬決策能力[50]。與此相反，模糊邏輯是一種數學/統計方法，它處理基于真理度的推理，而不是傳統的布爾邏輯中的真或假。它為處理不確定性和模糊性提供了框架，取決于數據，可以在現實世界問題中實現更接近人類的決策。前兩者的結合引入了機器學習（ML）的發展，其重點是從現有數據集中學習，并通過開發算法和統計模型進行預測/決策，而無需顯式的基于規則的編程。機器學習有不同的子領域/分類。一種分類[31]包括監督學習（如線性回歸、邏輯回歸）、無監督學習（如k均值聚類）、強化學習（如Q學習）、基于邏輯的學習（如決策樹）、感知機技術、統計學習算法（如貝葉斯網絡）和支持向量機（SVM）。在所有機器學習技術中，神經網絡（NN）是一個子集，旨在模仿人腦中生物神經元的互連。它們由排列成層的互連節點（神經元）組成。當激活時，每個神經元處理輸入數據并將其傳遞到下一層。這個過程使神經網絡能夠學習并做出決策，而無需明確編程[44]。在這個范式中，深度學習（DL）是一種主要方法，它涉及開發具有多個隱藏層的復雜人工神經網絡（ANN）架構，以實現模式識別和問題解決。深度學習架構的例子包括遞歸神經網絡（RNN）、卷積神經網絡（CNN）等。每種神經網絡架構都有其獨特的特征，并適用于不同的數據類型和任務。例如，RNN擅長處理序列數據，而CNN在計算機視覺任務中表現優異。這些先進的神經網絡技術已經革新了許多領域，包括機器人技術[12, 41]、圖像[39]和語音識別[15]、自然語言處理（NLP）[37]、網絡安全[36, 38]、醫學診斷[42]等。 卷積神經網絡（CNN）是一種高級架構，最初用于在圖像中準確分類字符或郵政編碼[25]。該架構專門設計用于顯著加快圖像分類和模式識別的訓練和執行過程，使其異常高效。CNN已廣泛應用于計算機視覺任務，如人臉識別、目標檢測、機器人視覺以及自動駕駛的實現[54]。CNN通常包括三種主要類型的層：卷積層、池化層和全連接層，也稱為全連接神經網絡（FCN）。 圖3展示了為目標檢測定制的CNN架構。深度學習技術的成功取決于感知機，它是神經網絡的基本構建塊。感知機接收二進制輸入并生成二進制輸出。在基于感知機的人工神經網絡中，多個感知機排列成層次結構。它們接收輸入，處理后生成中間輸出，并將這些輸出傳遞到下一層，最終得到最終輸出。神經網絡的層次結構被稱為其架構（CNN、RNN、Transformer等）。深度神經網絡（DNN）中的“深度”一詞表示使用多個層次將輸入數據轉化為輸出，代表復雜的轉換過程，詳見圖2中的示意。 遷移學習（TL）是一種機器學習技術，它利用在一個領域中獲得的知識來加速另一個領域的學習過程。這種方法在獲得足夠大的數據集來訓練特定問題領域的模型時尤其有價值。例如，在COVID-19疫情初期，缺乏標注的胸部X光數據來訓練網絡以檢測該疾病。然而，通過應用遷移學習，研究人員成功開發出一種檢測COVID-19的模型[26]。此外，在Guo等人[20]的研究中，通過遷移學習，預先訓練的深度神經網絡模型在目標任務的數據上進行了微調。遷移學習可以應用于多種問題領域，使用不同的技術。為了舉例，不同的自然啟發優化算法如粒子群優化、引力搜索算法、帶電系統搜索算法和灰狼優化算法被用于優化簡單Takagi-Sugeno比例積分模糊控制器在伺服系統位置控制中的參數調整[46]。我們可以采用遺傳算法來優化模糊邏輯控制器設計階段的模糊規則庫。在訓練階段之前，我們可以通過遷移學習減少不同神經模糊系統的學習時間。據文獻[14]，模糊邏輯、神經網絡和遺傳算法可以用于改進基于圖像處理的模式識別。然而，我們的研究僅限于使用DNN的TL在CV問題中的應用。換句話說，我們將其他領域中使用不同技術的應用排除在本研究范圍之外。遷移學習的復雜性將在文獻回顧部分（第3節）中詳細探討。

物體姿態估計是計算機視覺領域的一個基本問題，廣泛應用于增強現實和機器人技術中。在過去的十年中，由于其出色的準確性和魯棒性，基于深度學習的模型已逐漸取代依賴于工程化點對特征的傳統算法。然而，現代方法中仍存在幾個挑戰，包括對標記訓練數據的依賴、模型的緊湊性、在挑戰條件下的魯棒性，以及對新穎未見物體的泛化能力。近期關于這一領域不同方面的進展、突出挑戰和未來有希望的方向的綜述尚缺失。為填補這一空白，我們討論了基于深度學習的物體姿態估計的最新進展，涵蓋問題的所有三種表述，即實例級、類別級和未見物體姿態估計。我們的綜述還涵蓋了多種輸入數據模態、輸出姿態的自由度、物體屬性和下游任務，為讀者提供了該領域的全面理解。此外，它討論了不同領域的訓練范式、推理模式、應用領域、評估指標和基準數據集，以及報告了當前最先進方法在這些基準上的表現，從而幫助讀者選擇最適合其應用的方法。最后，該綜述識別了關鍵挑戰，回顧了當前趨勢及其優缺點，并確定了未來研究的有希望的方向。我們也持續追蹤Awesome-Object-Pose-Estimation上的最新作品。

物體姿態估計是計算機視覺中的一個基本問題，目的是估計給定圖像中物體相對于拍攝該圖像的相機的姿態。物體姿態估計對于增強現實[1]、[2]、[3]、機器人操控[4]、[5]、手-物體互動[6]、[7]等領域至關重要。根據應用需求，物體姿態可估計到不同的自由度（DoF），例如只包括3D旋轉的3DoF，還包括3D平移的6DoF，或者除了3D旋轉和3D平移外還包括估計物體的3D大小的9DoF。 在深度學習出現之前，許多基于手工制作特征的方法如SIFT [8]、FPFH [9]、VFH [10]和點對特征（PPF）[11]、[12]、[13]、[14]被設計用于物體姿態估計。然而，當面對復雜場景時，這些方法在準確性和魯棒性上表現不足[15]、[16]。這些傳統方法現已被基于數據的深度學習方法所取代，后者利用深度神經網絡的力量從數據中學習高維特征表示，從而提高準確性和魯棒性，以應對復雜環境。

基于深度學習的物體姿態估計方法可以根據問題表述分為實例級、類別級和未見物體方法。圖1顯示了這三種方法的比較。早期方法主要是實例級[16]、[17]、[18]、[19]、[20]，訓練用于估計特定物體實例的姿態。實例級方法可以進一步分為基于對應關系、基于模板、基于投票和基于回歸的方法。由于實例級方法是在特定實例數據上訓練的，它們可以為給定的物體實例精確估計姿態。然而，它們的泛化性能較差，因為它們僅適用于訓練它們的實例。此外，許多實例級方法[18]、[21]需要物體的CAD模型。鑒于這些限制，Wang等[22]提出了首個類別級物體姿態和大小估計方法。它們可以泛化到類內未見物體，無需重新訓練和在推理期間使用CAD模型。隨后的類別級方法[23]、[24]、[25]、[26]、[27]可以分為基于形狀先驗和無形狀先驗的方法。雖然這些類別級方法提高了類別內的泛化能力，但仍需要為每個物體類別收集和標記大量訓練數據。此外，這些方法無法泛化到未見的物體類別。

最近，一些未見物體姿態估計方法[1]、[3]、[28]、[29]、[30]已經被提出，可以進一步分為基于CAD模型和基于手動參考視圖的方法。這些方法進一步增強了物體姿態估計的泛化性，即它們可以泛化到未見的物體而無需重新訓練。然而，它們仍然需要獲取物體的CAD模型或標注物體的幾張參考圖像。 盡管在物體姿態估計領域取得了顯著進展，但當前方法中仍存在幾個挑戰，例如依賴標記訓練數據、難以泛化到新穎未見物體、模型緊湊性以及在挑戰性場景中的魯棒性。為了使讀者能迅速掌握物體姿態估計的當前最先進（SOTA）水平并促進這一方向的進一步研究，提供對所有相關問題表述的全面審查至關重要。對現有學術文獻的仔細審查顯示，對物體姿態估計各種問題表述的綜合性審查存在顯著差距。當前流行的審查[31]、[32]、[33]、[34]、[35]往往表現出狹窄的焦點，要么局限于特定輸入模態[32]、[33]，要么限于特定應用領域[34]、[35]。此外，這些審查主要審查實例級和類別級方法，因此忽視了該領域最實際的問題表述——未見物體姿態估計的探索。這阻礙了讀者對該領域的全面了解。

例如，Fan等[33]提供了有關基于RGB圖像的物體姿態估計的寶貴見解。然而，他們的焦點限于單一模態，阻礙了讀者對不同輸入模態的方法的全面了解。相反，Du等[34]僅檢查了機器人抓取任務背景下的物體姿態估計，這限制了讀者僅從單一特定應用的角度理解物體姿態估計。

為了解決上述問題，我們提出了一份全面的關于基于深度學習方法的物體姿態估計的最新進展的綜述。我們的綜述涵蓋了所有問題表述，包括實例級、類別級和未見物體姿態估計，旨在為讀者提供該領域的全面理解。此外，我們還討論了不同領域的訓練范式、應用領域、評估指標和基準數據集，以及報告了現有最先進方法在這些基準上的表現，幫助讀者選擇最適合其應用的方法。此外，我們還強調了流行趨勢，并討論了它們的優點和缺點，同時確定了仍存在的關鍵挑戰和未來研究的有希望方向。本綜述的分類在圖2中顯示。

我們的主要貢獻和亮點如下： ? 我們提出了一份關于基于深度學習的物體姿態估計方法的全面綜述。這是第一份涵蓋該領域所有三種問題表述的綜述，包括實例級、類別級和未見物體姿態估計。 ? 我們的綜述涵蓋了流行的輸入數據模態（RGB圖像、深度圖像、RGBD圖像）、輸出姿態的不同自由度（3DoF、6DoF、9DoF）、用于姿態估計和跟蹤任務的物體屬性（剛性、關節）。涵蓋所有這些方面對于提供給讀者一個完整的圖景至關重要，這是現有綜述所忽視的一個方面，它們僅涵蓋了其中的幾個方面。 ? 我們討論了不同領域的訓練范式、推理模式、應用領域、評估指標和基準數據集，以及報告現有最先進方法在這些基準上的表現，以幫助讀者選擇最適合部署在其應用中的方法。 ? 我們突出了過去十年中物體姿態估計技術的演變中的流行趨勢，并討論了它們的優點和缺點。我們還確定了在物體姿態估計中仍存在的關鍵挑戰，以及指導未來努力的有希望研究方向。 本文的其余部分安排如下。第2節回顧了用于評估三類物體姿態估計方法的數據集和指標。然后我們在第3節回顧實例級方法，在第4節回顧類別級方法，在第5節回顧未見物體姿態估計方法。在上述三個部分中，我們還討論了與特定類別中代表性方法相關的訓練范式、推理模式、挑戰和流行趨勢。接下來，第6節回顧了物體姿態估計的常見應用。最后，第7節總結了本文并根據該領域的挑戰提供了未來研究方向的展望。

數據可視化以圖表形式在數據分析中發揮著關鍵作用，提供關鍵洞察并輔助做出知情決策。隨著近年來大型基礎模型的興起，自動圖表理解取得了顯著進展。基礎模型，如生成預訓練變換器（Generative Pre-trained Transformers, GPT），已經革新了多種自然語言處理（NLP）任務，并越來越多地應用于圖表理解任務中。這篇綜述文章提供了這些基礎模型背景下圖表理解最近發展、挑戰和未來方向的全面概覽。文章從背景部分開始，定義圖表理解，概述問題表述，并討論研究圖表理解任務至關重要的基本構建塊，包括視覺編碼器、圖表到表格的翻譯、OCR模塊、文本編碼器和文本解碼器。在任務和數據集部分，我們探討了圖表理解內的各種任務，包括圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正。我們討論了評價指標和圖表及文本輸入的來源。然后檢視了建模策略，包括分類基礎和生成基礎的方法，以及增強圖表理解性能的工具增強技術。此外，我們討論了每項任務的最新性能并探討如何提升性能。在一個專門的部分中，我們討論了挑戰和未來方向，強調了諸如特定領域圖表、以及關于真實性、覆蓋范圍、相關性、穩健性、公平性和數據偏見的評價標準等問題。我們還深入探討了這些多模態基礎模型的組成部分，包括調整LM主干的必要性、多階段訓練過程的有效性，以及合成數據的潛在充分性。探索了與用戶或其他系統交互的代理導向設置。最后，我們討論了如自然圖像理解、表格理解和文檔理解等相關任務，提供了對視覺和文本數據理解更廣闊景觀的洞察。這篇綜述文章為自然語言處理、計算機視覺和數據分析領域的研究人員和實踐者提供了一個全面的資源，為利用大型基礎模型進行圖表理解的未來研究提供了寶貴的見解和方向。本文提及的研究以及新興的研究將持續更新于： //github.com/khuangaf/Awesome-Chart-Understanding。

在信息交流中圖表理解的重要性：在我們當代的多媒體信息世界里，數據的體量和復雜性持續膨脹，圖表在促進事實信息的連貫且富有洞察力的交流、傳達見解和做出決策中的角色至關重要。跨越學術界、科學研究、數字媒體和商業領域，圖表作為將原始數據轉換成可理解的視覺敘事的不可或缺的工具。它們能夠以簡潔直觀的格式封裝復雜的數據集，使決策者能夠迅速把握關鍵見解，輔助知情推理和戰略規劃。認識到圖表在現代信息傳播中的關鍵作用，計算社區持續對自動圖表理解表現出興趣，如自動圖表理解的大量研究所證明。特別是，關于圖表問答、圖表字幕制作、圖表到表格轉換、圖表事實核查和圖表字幕事實錯誤校正的工作奠定了探索圖表理解技術中圖表語義復雜性的基礎框架。

在大型基礎模型時代的圖表理解挑戰與機遇：傳統的圖表理解工作聚焦于微調方法，通常在領域可移植性和推理魯棒性方面遇到限制。令人興奮的是，大視覺-語言基礎模型（例如，GPT-4V、LLaVA）的出現引發了在自動推理能力上的范式轉變，催化了包括通過基于文本的提示實現強零/少次推理能力在內的各種多媒體認知任務的前所未有的進步。但在這一變革性創新的景觀中，圖表理解領域仍舊深陷固有的復雜性和巨大挑戰。圖表因其多面向的視覺表現和細膩的語義呈現出一系列獨特的障礙。從條形圖、折線圖到餅圖和散點圖，每種圖表類型都采用獨特的視覺語法來傳達數據關系，需要超越簡單的像素級模式識別的復雜解釋機制。圖表作為揭示如新興趨勢、挑戰假設的異常值和變量間可能不會從僅僅是表格形式的原始數據立即顯現的關系的深刻見解的渠道。它們使得可以進行跨數據點的比較分析，為簡潔地并置不同實體或時間段提供一個視覺平臺。此外，從簡單的數字關系到復雜的多維實體，底層數據集的內在多樣性為圖表理解任務增加了另一層復雜性。盡管面臨這些挑戰，自動圖表理解位于機遇與影響的交匯處，提供了一扇解鎖埋藏在視覺敘事像素中的可行動見解的大門。通過利用大型基礎模型的能力，圖表理解展示了在彌合原始視覺數據與有意義見解之間的差距方面的提升潛力，從而使技術可擴展地用于易于訪問的應用和增強人類認知。

盡管已有數項研究綜述了圖表理解研究的領域，但這些綜述往往在全面性或特定性上表現出一定的缺口。一些綜述沒有涵蓋在圖表理解研究中使用的現代數據集，以及最新的建模方法，如涉及預訓練的視覺-語言模型和大型基礎模型。相反，其他綜述主要集中在可視化方面（即數據轉換為圖表的過程），因此忽視了圖表解釋的細膩任務。本綜述旨在彌合這些缺口。我們首先在第2節定義自動圖表理解和問題表述的基本構建塊。我們討論了圖表理解的多面性，包括從解釋圖表視覺到分析底層數據的任務，以及概述了圖表理解的結構性建模組件，如視覺編碼器、OCR模塊、文本解碼器及其在將原始圖表圖像和文本查詢轉換為有意義見解中的角色。然后，在第3節，我們檢查了推動圖表理解研究的數據集和模型評估指標。本節分析了這些數據集的來源、多樣性和局限性，提供了對當前圖表理解數據景觀的見解。它還回顧了各種評估指標，強調了魯棒且細膩的評估方法的必要性。有了這些特征的見解，我們進一步提供了自動圖表理解的流行建模策略。第4節深入探討了圖表理解中的多樣化建模策略，包括從自然圖像理解、視覺-語言預訓練和基礎模型，如大型語言模型（LLMs）和大型視覺-語言模型（LVLMs）的調整。特別是，我們強調了視覺編碼器和文本解碼器在模型有效性上的選擇影響，并討論了工具增強在圖表理解中的作用。我們通過展示不同圖表理解任務上的最新性能以及我們如何改進它們來結束這一部分。最后，第5節討論了圖表理解中的挑戰和未來方向。我們強調了特定領域圖表的重要性、對全面評估指標的需求，以及對增強模型魯棒性和多功能性的敵對設置的潛力。我們還在第6節討論了圖表理解如何位于與自然圖像理解、表格理解和文檔理解相關工作的交匯處。本綜述文章通過確定未來研究的關鍵領域結束，如為復雜圖表開發模型、完善評估指標和多樣化數據集。我們不僅提供了對圖表理解當前狀態的深入概覽，而且為這一激動人心的數據可視化與機器學習交叉領域的未來進展奠定了基礎。

語義分割作為計算機視覺領域的重要研究方向之一，應用十分廣泛，其目的是根據預先定義好的類別對輸入圖像進行像素級別的分類，實時語義分割則在一般語義分割的基礎上又增加了對速度的要求，被廣泛應用于如無人駕駛、醫學圖像分析、視頻監控與航拍圖像等領域。其要求分割方法不僅要取得較高的分割精度，且分割速度也要快。隨著深度學習和神經網絡的快速發展，實時語義分割也取得了一定的研究成果。本文在前人已有工作的基礎上對基于深度學習的實時語義分割算法進行系統地歸納總結，特別是最新的基于transformer和剪枝的方法，全面介紹實時語義分割方法在各領域中的應用。本文首先介紹實時語義分割的概念，再根據標簽的數量和質量，將現有的基于深度學習的實時語義分割方法分為強監督學習、弱監督學習和無監督學習三個類別；在分類的基礎上，結合各個類別中最具有代表性的方法，對其優缺點展開分析，并從多個角度進行比較。隨后介紹目前實時語義分割常用的數據集和評價指標，并對比分析各算法在各數據集上的實驗效果。闡述現階段實時語義分割的應用場景。最后，討論了基于深度學習的實時語義分割存在的挑戰，并對實時語義分割未來值得研究的方向進行展望，為研究者們解決存在的問題提供便利。

三維重建是指從單幅或多幅二維圖像中重建出物體的三維模型并對三維模型進行紋理映射的過程。三維重建可獲取從任意視角觀測并具有色彩紋理的三維模型，是計算機視覺領域的一個重要研究方向。傳統的三維重建方法通常需要輸入大量圖像，并進行相機參數估計、密集點云重建、表面重建和紋理映射等多個步驟。近年來，深度學習背景下的圖像三維重建受到了廣泛關注，并表現出了優越的性能和發展前景。本文對深度學習背景下的圖像三維重建的技術方法、評測方法和數據集進行全面綜述。首先對三維重建進行分類，根據三維模型的表示形式可將圖像三維重建方法分類為基于體素的三維重建、基于點云的三維重建和基于網格的三維重建；根據輸入圖像的類型可將圖像三維重建分類為單幅圖像三維重建和多幅圖像三維重建。隨后介紹了不同類別的三維重建方法，從三維重建方法的輸入、三維模型表示形式、模型紋理顏色、重建網絡的基準值類型和特點等方面進行總結，歸納了深度學習背景下的圖像三維重建方法的常用數據集和實驗對比，最后總結了當前圖像三維重建領域的待解決問題以及未來的研究方向。

三維重建的目標是從單幅或多幅二維圖像中重 建出物體和場景的三維模型并對三維模型進行紋理 映射。三維重建是計算機視覺領域的一個重要研究 方向，利用計算機重建出物體的三維模型，已經成為 眾多領域進行深入研究前不可或缺的一部分。在醫 療領域中，利用三維模型診斷身體狀況；在歷史文化 領域中，將文物進行立體重建，供科學研究及游客參 觀。除此之外，在游戲開發、工業設計以及航天航海 等領域，三維重建技術具有重要的應用前景。目前， 研究人員主要利用 3 類方法來重建三維模型，1）直 接操作的人工幾何建模技術；2）利用三維掃描設備 對目標進行掃描，然后重建目標的三維模型；3）圖像 三維重建，采集單幅或多幅圖像，運用計算機視覺技 術來重建三維模型。在上述 3 種方法中，圖像三維 重建成本低、操作簡單，可以對不規則的自然或人工 合成物體進行建模，重建真實物體的三維模型。傳 統的圖像三維重建是從多視圖幾何（Andrew，2001） 的角度進行處理，從幾何上理解和分析從三維到 二維的投影過程，設計從二維到三維的逆問題解決方案進行三維重建。傳統的三維重建通常需要大量 已知相機參數的圖像，并進行相機參數估計、密集點 云重建和表面重建等多個步驟。隨著卷積神經網絡 （convolutional neural network，CNN）的發展，深度學 習廣泛應用于計算機視覺中的各種領域，基于深度 學習的技術方法利用先驗知識來解決各種復雜問 題。人們通常能夠對物體和場景建立豐富的先驗知 識，便于從單一視角重建物體的立體模型，推斷物體 的大小和其他視角的形狀。深度學習背景下的圖像 三維重建方法利用大量數據建立先驗知識，將三維 重建轉變為編碼與解碼問題，從而對物體進行三維 重建。隨著三維數據集的數量不斷增加，計算機的 計算能力不斷提升，深度學習背景下的圖像三維重 建方法能夠在無需復雜的相機校準的情況下從單幅 或多幅二維圖像中重建物體的三維模型。 三維模型的表示形式有3種：體素模型、網格模 型和點云模型。體素是三維空間中的正方體，相當 于三維空間中的像素；網格是由多個三角形組成的 多面體結構，可以表示復雜物體的表面形狀；點云是 坐標系中的點的集合，包含了三維坐標、顏色和分類 值等信息。三維模型的表示形式如圖1所示。 根據三維模型的表示形式可以將圖像三維重建 方法分類為基于體素的三維重建、基于點云的三維 重建和基于網格的三維重建。其中，基于網格的三 維重建方法包含單一顏色的網格三維重建和具有色 彩紋理的網格三維重建。根據輸入圖像的類型可將 圖像三維重建分類為單幅圖像三維重建和多幅圖像 三維重建。圖像三維重建方法分類如圖2所示。典 型的三維重建算法時間順序概述如圖3所示。 盡管目前已有一些三維重建相關綜述文獻（鄭 太 雄 等，2020；吳 博 劍 和 黃 惠，2020；龍 霄 瀟 等， 2021），但已有的綜述文獻主要介紹傳統方法或特殊 物體的三維重建，介紹深度學習背景下的圖像三維 重建技術的文獻相對偏少。本文主要對近年來深度 學習背景下的圖像三維重建的分類和研究現狀進行 總結。

圖像恢復（IR）一直是低級視覺領域中不可或缺且具有挑戰性的任務，旨在提高由各種形式的退化所扭曲的圖像的主觀質量。近期，擴散模型在AIGC的視覺生成方面取得了顯著進展，從而引起了一個直觀的問題，“擴散模型是否可以提升圖像恢復”。為了回答這個問題，一些開創性的研究試圖將擴散模型整合到圖像恢復任務中，從而取得了比先前基于GAN的方法更好的表現。盡管如此，關于基于擴散模型的圖像恢復的全面而有啟發性的綜述仍然很少。在本文中，我們是第一個全面回顧近期基于擴散模型的圖像恢復方法的，涵蓋了學習范例、條件策略、框架設計、建模策略和評估。具體來說，我們首先簡要介紹擴散模型的背景，然后介紹兩種在圖像恢復中利用擴散模型的流行工作流。隨后，我們分類并強調使用擴散模型進行IR和盲/實際世界IR的創新設計，旨在激發未來的發展。為了徹底評估現有的方法，我們總結了常用的數據集、實施細節和評估指標。此外，我們為開源方法在三個任務中提供了客觀的比較，包括圖像超分辨率、去模糊和修復。最后，受到現有工作中的限制的啟發，我們為基于擴散模型的IR提出了五個潛在的并且具有挑戰性的未來研究方向，包括采樣效率、模型壓縮、扭曲模擬和估計、扭曲不變學習和框架設計。

資源庫將在 //github.com/lixinustc/Awesome-diffusion-model-for-image-processing/ 上發布。

圖像恢復（IR）一直是低層次視覺任務中的長期研究主題，在提高圖像的主觀質量方面發揮著不可替代的作用。流行的IR任務包括圖像超分辨率（SR）[1-10]、去模糊[11-17]、去噪[18-25]、修復[26-31]和壓縮偽影去除[32-38]等。一些IR任務的視覺示例顯示在圖1中。為了恢復扭曲的圖像，傳統的IR方法將恢復視為信號處理，并從空間或頻率的角度使用手工制作的算法減少偽影[18, 39-44]。隨著深度學習的發展，眾多IR工作為各種IR任務定制了一系列數據集，例如，用于SR的DIV2K [45]、Set5 [46]和Set14 [47]，用于去雨的Rain800 [48]、Rain200 [?]、Raindrop [49]和DID-MDN [50]，以及用于運動去模糊的REDS [51]和Gopro [52]等。利用這些數據集，大多數近期的工作[1-3, 7-11, 13, 16, 19, 21-23, 32-34, 53-55]專注于通過基于卷積神經網絡（CNNs）[56]或Transformer [57]的精心設計的骨干網絡來提高IR網絡針對復雜退化的表示能力。盡管這些工作在客觀質量（例如，PSNR和SSIM）上取得了卓越的進展，但恢復的圖像仍然受到不滿意的紋理生成的困擾，這阻礙了IR方法在實際場景中的應用。

得益于生成模型的發展[58-66]，尤其是生成對抗網絡（GAN）[64]，一些開創性的IR研究[5, 6, 67-70]指出，先前的像素級損失，例如MSE損失和L1損失容易受到模糊紋理的影響，并將GAN的對抗損失引入到IR網絡的優化中，從而增強其紋理生成能力。例如，SRGAN [5] 和DeblurGAN [12]分別使用像素級損失和對抗損失的組合來實現以感知為導向的SR網絡和去模糊網絡。在他們之后，改進基于GAN的IR的兩個主要方向是增強生成器（即恢復網絡）[5, 6, 71-73]和鑒別器[74-77]。特別是，ESRGAN [6]引入了強大的RRDB [6]作為基于GAN的SR任務的生成器。三種流行的鑒別器，包括像素級鑒別器（U-Net形狀）[74]、塊級鑒別器[75, 78-80]和圖像級鑒別器[76, 77]（即VGG類似的架構）被設計來關注不同粒度級別的主觀質量（即從局部到全局）。盡管有上述進展，但大多數基于GAN的IR研究仍然面臨兩個不可避免但至關重要的問題：1) 基于GAN的IR的訓練容易受到模式腐敗和不穩定優化的影響；2) 大多數生成的圖像的紋理似乎是假的和與事實不符的。

近年來，擴散模型作為生成模型的一個新分支浮現出來，為視覺生成任務帶來了一系列的突破。擴散模型的原型可以追溯到工作[81]，并由DDPM [82]、NCSN [83]和SDE [84]進一步發展。一般來說，擴散模型由前向/擴散過程和反向過程組成，其中前向過程逐漸增加像素級噪聲到圖像，直到它滿足高斯噪聲，而反向過程旨在通過估算得分的去噪[83]或噪聲預測[82]來重建圖像。與GANs相比，擴散模型產生高保真度和多樣化的生成結果，從而成功地替代了在一系列領域中的GANs，如視覺生成[82-86]和條件視覺生成[86-97]。隨著視覺-語言模型的進步，擴散模型已被擴展到跨模態生成，如StableDiffusion [98]和DALLE-2 [99]。這極大地推動了人工智能生成內容（AIGC）的發展。我們已經在圖2中根據時間線列出了基于擴散模型的代表性作品。

受到擴散模型優越的生成能力的啟發，許多研究探索了它們在圖像恢復任務中的應用，目標是促進紋理的恢復。根據訓練策略，這些工作大致可以分為兩類：1) 第一類[100–109]致力于通過有監督學習從零開始優化用于IR的擴散模型；2) 第二類（即零樣本類）[110–117]努力利用預訓練擴散模型中的生成先驗用于IR。典型地，基于有監督學習的方法需要收集大規模的扭曲/清晰的圖像對，而基于零樣本的方法主要依賴已知的退化模式。這些局限性阻礙了這些基于擴散模型的方法在真實世界場景中的應用，其中的扭曲通常是多種多樣和未知的。為了進一步解決上述問題，一些研究[118–123]已經擴展了擴散模型，通過結合真實世界的扭曲模擬、核估計、領域轉換和扭曲不變學習來處理盲目/真實世界的圖像恢復。

盡管擴散模型在圖像恢復方面已經顯示出顯著的效果，但相關的技術和基準測試顯示出相當的多樣性和復雜性，這使它們難以被追蹤和改進。此外，缺乏一個基于擴散模型的IR的綜合性審查進一步限制了其發展。在本文中，我們首次回顧并總結了基于擴散模型的圖像恢復方法的工作，旨在為圖像恢復社區提供一個結構良好且深入的知識庫，并促進其在該社區內的演變。

在這次綜述中，我們首先在第2部分介紹擴散模型的背景，重點介紹三種基本的建模方法，即NCSN [83]、DDPM [82]和SDE [84]，并從優化策略、采樣效率、模型架構和條件策略的角度對擴散模型進行進一步的改進。基于這些初步信息，我們在第3部分從兩個不同的方向闡明了擴散模型在圖像恢復中的進展：1) 基于監督的擴散模型IR，和2) 基于零樣本的擴散模型IR。在第4部分，我們總結了在更實用和具有挑戰性的場景下基于擴散模型的IR，即盲目/真實世界的退化。這旨在進一步增強基于擴散模型的IR方法滿足實際應用需求的能力。為了促進合理和詳盡的比較，在第5部分，我們闡明了在不同的基于擴散模型的IR任務中常用的數據集和實驗設置。此外，還提供了不同任務之間基準的綜合比較。在第6部分，我們深入分析了基于擴散模型的IR的主要挑戰和潛在方向。本次審查的最終結論總結在第7部分。

基于擴散模型的圖像恢復方法

根據擴散模型(DMs)是否針對IR進行無需訓練，我們初步將基于DM的IR方法分類為兩大類，即監督型DM-based方法 [100, 105, 107, 108, 121, 191-194] 和零樣本型DM-based方法 [112, 114, 115, 195-200]。特別地，監督型DM-based IR方法需要從頭開始使用IR數據集的成對的扭曲/干凈圖像來訓練擴散模型。與之前直接將扭曲圖像作為輸入的基于GAN的方法 [201–209] 不同，基于DM的IR采用精心設計的條件機制在反向過程中將扭曲的圖像作為指導。盡管這種方法產生了有希望的紋理生成結果，但它遇到了兩個顯著的限制：1) 從零開始訓練擴散模型依賴于大量的成對訓練數據。2) 在現實世界中收集成對的扭曲/干凈圖像是具有挑戰性的。相反，零樣本型DM-based方法只需扭曲的圖像，無需重新訓練擴散模型，從而提供了一個吸引人的選擇。它不是從IR的訓練數據集中獲得恢復能力，而是從預訓練的擴散模型中挖掘并利用圖像恢復的結構和紋理先驗知識。這一核心思想源于直覺：預訓練的生成模型可以被視為使用大量真實世界數據集（如ImageNet [210] 和FFHQ [211]）構建的結構和紋理倉庫。因此，零樣本型DM-based IR方法面臨的一個關鍵挑戰是：如何在保持數據結構的同時提取相應的感知先驗。在接下來的小節中，我們首先簡要回顧代表性的監督型DM-based IR方法：SR3 [100]，以及零樣本型DM-based IR方法：ILVR [195]。然后，我們從條件策略、擴散建模和框架的角度對這兩種方法進行進一步分類，這些總結在表1和表2中。此外，擴散模型的整體分類在圖4中進行了說明。

擴散模型用于盲/真實世界的圖像恢復

盡管第3節中的方法在圖像恢復方面取得了巨大的突破，但其中大多數方法 [100, 101, 104, 112–114, 197, 218, 219] 都集中在解決合成扭曲問題上，它們通常在分布外（OOD）的真實世界/盲目退化條件下表現不佳。原因在于真實世界IR的固有挑戰：1) 未知的退化模式很難被識別。2) 在現實世界中收集扭曲/干凈的圖像對是微不足道的，甚至是不可用的。為了克服這一點，先前的工作 [241–248] 嘗試通過模擬真實世界的退化 [72, 241–244, 246] 和無監督學習 [245, 247, 248] 等方法來解決它。受此啟發，一些開創性的工作 [117, 118, 120, 123, 221] 開始探索如何利用擴散模型解決真實世界的退化問題。在本文中，我們將基于DM的盲/真實世界IR [108, 109, 118–121, 123, 220–222, 226] 分為四類，即扭曲模擬 [118, 226]，核估計 [119, 120]，域轉換 [122, 226]，以及扭曲不變的擴散模型 [123, 222, 237]。

結論

本文為圖像恢復 (IR) 的最近受歡迎的擴散模型提供了一個全面的評述，深入探討了其顯著的生成能力以增強結構和紋理恢復。首先，我們闡述了擴散模型的定義和演變。隨后，我們從培訓策略和退化場景的角度提供了現有作品的系統分類。具體來說，我們將現有的工作分為三個主要流程：有監督的 DM-based IR、零鏡頭的 DM-based IR 和基于盲/真實世界的 DM-based IR。對于每一個流程，我們基于技術提供了細粒度的分類，并詳細描述了它們的優點和缺點。對于評估，我們總結了 DM-based IR 常用的數據集和評估指標。我們還在三個典型任務上，包括圖像SR、去模糊和修復，使用扭曲和感知度量比較了開源的 SOTA 方法。為了克服 DMbased IR 中的潛在挑戰，我們強調了未來有望探索的五個潛在方向。

圖像融合技術旨在將不同源圖像中的互補信息整合到單幅融合圖像中以全面表征成像場景，并促進后續的視覺任務。隨著深度學習的興起，基于深度學習的圖像融合算法如雨后春筍般涌現，特別是自編碼器、生成對抗網絡以及Transformer等技術的出現使圖像融合性能產生了質的飛躍。本文對不同融合任務場景下的前沿深度融合算法進行全面論述和分析。首先，介紹圖像融合的基本概念以及不同融合場景的定義。針對多模圖像融合、數字攝影圖像融合以及遙感影像融合等不同的融合場景，從網絡架構和監督范式等角度全面闡述各類方法的基本思想，并討論各類方法的特點。其次，總結各類算法的局限性，并給出進一步的改進方向。再次，簡要介紹不同融合場景中常用的數據集，并給出各種評估指標的具體定義。對于每一種融合任務，從定性評估、定量評估和運行效率等多角度全面比較其中代表性算法的性能。本文提及的算法、數據集和評估指標已匯總至//github.com/Linfeng-Tang/Image-Fusion。最后，給出了本文結論以及圖像融合研究中存在的一些嚴峻挑戰，并對未來可能的研究方向進行了展望。

知識圖譜(KG)是一種用圖模型來描述知識和建模事物之間關聯關系的技術. 知識圖譜嵌入(KGE)作為一 種被廣泛采用的知識表示方法,其主要思想是將知識圖譜中的實體和關系嵌入到連續的向量空間中,用來簡化操作, 同時保留 KG 的固有結構.它可以使得多種下游任務受益,例如 KG 補全和關系提取等. 本文首先對現有的知識圖譜嵌入技術進行全面回顧,不僅包括使用 KG 中觀察到的事實進行嵌入的技術,還包括添加時間維度的動態 KG 嵌入方法, 以及融合多源信息的 KG 嵌入技術.對相關模型從實體嵌入、關系嵌入、評分函數等方面進行分析、對比與總結. 然后簡要介紹 KG 嵌入技術在下游任務中的典型應用,包括問答系統、推薦系統和關系提取等.最后闡述知識圖譜 嵌入面臨的挑戰,對未來的研究方向進行展望.

引言

知識圖譜(Knowledge Graph,KG)作為人工智能的一個分支,引起了學術界和工業界的廣泛關注,其構建與應用也得到了迅速發展.例如 Freebase[1] ,DBpedia[2] ,YAGO[3] ,NELL[4] ,Wikidata[5]等知識圖譜已經被成功創建并 應用于許多現實世界應用,從語義分析[6,7]、命名實體消歧[8,9] ,到信息提取[10,11]和問答系統[12,13]等.知識圖譜是以 現實世界的實體為節點,實體之間的關系為邊的有向圖.在這個圖中,每個有向邊連同其頭實體與尾實體構成了 一個三元組,即(頭實體,關系,尾實體),表示頭實體與尾實體通過關系進行連接.盡管知識圖譜在表示結構化數據 方面非常有效,但這種三元組的基本符號性質使 KG 難以操作[14] .

為了解決這個問題,近年來提出了一個新的研究方向,稱為知識圖譜嵌入(Knowledge Graph Embedding, KGE)或知識表示學習(Knowledge Representation Learning, KRL),旨在將 KG 的組成部分(包括實體和關系)嵌入 到連續的向量空間中,以在簡化操作的同時保留 KG 的固有結構.與傳統的表示方法相比,KGE 為 KG 中的實體 和關系提供了更加密集的表示,降低了其應用中的計算復雜度.此外,KGE 可以通過度量實體和關系低維嵌入的 相似性來顯式地捕獲實體和關系之間的相似性.

盡管研究者已提出多種模型來學習 KG 中的實體和關系表示,但是目前大多數可用的技術仍然僅根據知識 圖譜中觀察到的事實來執行嵌入任務.具體地說,給定一個 KG,首先在低維向量空間中表示實體和關系,并為每 個三元組定義一個評分函數以衡量其在該空間中的合理性.然后通過最大化觀察到的三元組的總合理性來學 習實體和關系的嵌入.這些學習的嵌入還可以進一步用于實現各種任務,例如 KG 補全[15,16] ,關系提取[10,17] ,實體 分類[18,19] ,實體解析[18,20]等.由于在整個過程中僅要求學習的嵌入在每個單獨的事實中兼容,因此對下游任務可 能沒有足夠的預測性[21,22] .近年來,越來越多的研究者開始進一步考慮利用其他類型的信息,例如實體類型 [23,24] ,文本描述[25-28] ,關系路徑[29-31] ,甚至邏輯規則[32,33]來學習更多的預測嵌入.

本文內容結構組織如下:第 1 節介紹相關工作調查與基本符號定義;第 2 節對僅使用 KG 中觀察到的事實進 行嵌入的技術進行全面回顧,具體介紹基于距離的模型,語義匹配模型以及最新的 KGE 技術;第 3 節主要討論了 融合時間信息的動態知識圖譜嵌入技術,詳細介紹 t-TransE、Know-Evolve、HyTE、TDG2E 等代表性的動態 KGE 方法;第 4 節歸納了除 KG 中觀察到的事實以外的結合附加信息的 KGE 技術,例如實體類別、文本描述、 關系路徑等.第 5 節介紹 KGE 技術在下游任務中的典型應用.第 6 節對 KGE 技術面臨的挑戰與未來研究方向 進行討論.最后,第 7 節對全文工作進行總結.

1 符號定義

知識圖譜嵌入旨在將 KG 中的實體和關系嵌入到一個低維連續的語義空間中.為了便于說明,本小節定義 幾種基本符號.首先,定義知識圖譜為 G=（E,R,S）.

2. 使用事實進行知識圖譜嵌入

本節對僅使用事實進行知識圖譜嵌入的方法采用評分函數進行劃分.評分函數用于衡量事實的合理性,在 基于能量的學習框架中也被稱為能量函數.典型類型的評分函數分為兩種:基于距離的評分函數(如圖 1(a))與基 于相似性的評分函數(如圖 1(b)).

2.1 基于距離的模型

基于距離的模型使用基于距離的評分函數,即通過計算實體之間的距離來衡量事實的合理性,在這種情況 下,翻譯原理 h+r=t, 被廣泛使用.也就是說,基于距離的模型通常由關系執行翻譯后,根據兩個實體之間的距離 來度量一個事實的合理性.本小節將基于距離的模型進一步細分為基本距離模型,翻譯模型和復雜關系建模.

基于距離的模型總結

2.2 語義匹配模型

語義匹配模型利用基于相似性的評分函數,即通過語義匹配來衡量事實的合理性.語義匹配通常采用乘法 公式圖片來變換表示空間中的頭實體,使其與尾實體相近.本節根據實體和關系編碼的不同模型結構來 介紹代表性的語義匹配模型.

語義匹配模型總結

2.3 最新的知識圖譜嵌入模型

大多數翻譯模型和雙線性模型是 2016 年之前提出的方法,而最近幾年研究 KGE 的方法眾多.本小節簡要 介紹其中的主流方法,具體劃分為卷積神經網絡模型,旋轉模型,雙曲幾何模型和其他模型.

最新的知識圖譜嵌入模型總結

第 2 節主要介紹了 3 大類知識圖譜嵌入方法,即:基于距離的模型,語義匹配模型與最新的 KGE 模型,并結 合已有的研究成果對其進行了分析.根據上述分析結果,表 5 從類別,方法,提出年份及優缺點四方面對這幾類知 識圖譜嵌入方法的部分代表模型進行對比.

3 動態知識圖譜嵌入

當前 KGE 的研究主要集中于靜態知識圖譜,其中事實不會隨時間發生變化,例如:TransE,TransH,TransR, RESCAL 等等.但是,在實際應用中,知識圖譜通常是動態的,例如 Twitter 中的社交知識圖,DBLP 中的引文知識 圖等,其中事實隨時間演變,僅在特定時間段內有效.以往的靜態 KGE 方法完全忽略了時間信息,這使得靜態 KGE 方法無法在這些實際場景中工作.因此,有必要設計一種用于動態知識圖譜嵌入的方法.

4 融合多源信息的知識圖譜嵌入

多源信息提供了知識圖譜中三元組事實以外的信息,能夠幫助構建更加精準的知識表示,僅使用事實進行 知識圖譜嵌入的方法忽略了蘊含在多源信息中的豐富知識,例如:實體類別信息、文本描述信息、關系路徑等. 充分利用這些多源信息對于降低實體與關系之間的模糊程度,進而提高推理預測的準確度至關重要.

5 知識圖譜嵌入的應用

近年來,知識驅動的應用在信息檢索和問答等領域取得了巨大成功,這些應用有望幫助準確深入地了解用 戶需求,并給出適當響應.知識圖譜嵌入方法的核心思想是將每個實體、關系表示為一個低維向量,而學習到的 實體、關系嵌入可以受益于多種下游任務.在本節中,我們將介紹 KGE 的典型應用.

5.1 基于知識圖譜嵌入的問答

隨著大規模知識圖譜的興起,基于知識圖譜的問答(QA)成為重要的研究方向,引起了人們的廣泛關注.現實 世界的領域中通常包含數百萬到數十億個事實,其龐大的數據量和復雜的數據結構使得用戶很難訪問其中有 價值的知識.為了緩解這個問題,提出了基于知識圖譜的問答(QA-KG). QA-KG 旨在利用知識圖譜中的事實來回答自然語言問題.可以幫助普通用戶在不知道 KG 數據結構的情 況下,高效地訪問 KG 中對自己有價值的知識.然而,由于涉及到語義分析[114]和實體鏈接[115,116]等多個具有挑戰 性的子問題,QA-KG 的問題還遠未得到解決.近年來,隨著 KGE 在不同的實際應用中表現出的有效性,人們開始 探索其在解決 QA-KG 問題中的一些潛在作用. Bordes 等人[117]基于訓練問題和問題釋義學習單詞,關系和實體的低維表示,以便將新問題和候選事實投影 到同一空間中進行比較.Yang 等人[118,119]利用問題和潛在事實的邏輯性質,將問題和候選答案投影到統一的低 維度空間中.還有一些基于深度學習的模型[120-124]通過將問題中的單詞輸入神經網絡來實現這種投影.

值得注意的是,最近,Huang 等人[125]提出了一個簡單有效的基于知識圖譜嵌入的問答框架(KEQA),旨在解 決簡單問題,即 QA-KG 中最常見的問題類型.KEQA 不是直接推斷問題的頭實體和謂詞,而是在 KGE 空間中聯 合恢復自然語言問題的頭實體,關系和尾實體表示來回答問題.最后,基于知識圖譜子集(FB2M、FB5M[125] )和問 答數據集 SimpleQuestions[117]進行實驗,通過與七個??最新提出的 QA-KG 算法進行對比,KEQA憑借在簡單問題 上獲得 20.3%的準確性改進獲得了優于所有基線的性能. 此外,為了驗證在使用不同的 KGE 算法時 KEQA 的 通用性,分別使用 TransE [15]、TransH [16]、TransR [43]執行知識圖譜嵌入,實驗結果表明 KGE算法顯著提高了 KEQA 的性能,與 KEQA_noEmbed??相比,KEQA 基于 TransE 時實現了 3.1%的改進,并且 KEQA 在使用不同的 KGE 算 法時性能相近,證明了 KEQA 的通用性,此外,即使不使用 KGE,KEQA 仍然可以獲得與最先進的 QA-KG 方法相 當的性能,驗證了 KEQA 的健壯性。

5.2 推薦系統

在過去的幾年中,利用知識圖譜的推薦系統已被證明與最先進的協作過濾系統具有競爭力,能有效地解決 新項目和數據稀疏性等問題[126-130] .最近,KGE 的流行促進了利用 KGE 捕獲實體語義進行推薦這一研究熱點, 使用 KGE 已被證明對推薦系統有效. Zhang 等人提出使用 TransR[43]的協作知識圖嵌入(collaborative knowledge base embedding,CKE)[131] ,以學 習結合視覺和文本嵌入的項目結構表示.深度知識感知網絡(deep knowledge-aware network,DKN) [132]利用 TransD[44]學習實體嵌入,并通過將它們與詞嵌入相結合來設計 CNN 框架,用于新聞推薦.但是,由于需要提前學 習實體嵌入,DKN 不能以端到端的方式進行訓練.為了實現端到端的訓練,MKR(multi-task feature learning approach for knowledge graph)[133]通過共享潛在特征和建模高階項-實體交互,將多任務知識圖譜表示和推薦關 聯起來.Ai 等人[134]通過 TransE[15]方法學習用戶和項目嵌入,并基于投影空間中的用戶-項目相似度評分進行推 薦.文獻[135]為優惠推薦任務提出了一個神經分解(neural factorization,NF)模型,以 KG 的形式對可用數據進行 建模,并使用 TransE 學習實體和關系的嵌入. 最近,Sha 等人提出了一種新穎的注意力知識圖譜嵌入(attentive knowledge graph embedding,AKGE)框架 [136] ,以更好地利用 KG 進行有效推薦.該框架以交互特定的方式充分利用了 KG 的語義和拓撲,為推薦結果提供 了可解釋性.此外,Ni 等人描述了一種用于 Wikipedia 的基于嵌入的實體推薦框架[137] ,該框架將 Wikipedia 組織 成一系列彼此重疊的圖,從它們的拓撲結構和內容中學習互補的實體表示,并將其與輕量級的學習方法相結合, 以推薦 Wikipedia 上的相關實體.通過使用 Wikipedia 作為框架的輸入,兩個實體推薦數據集??作為基礎事實,進 行離線和在線評估,證明了所產生的嵌入和推薦在質量和用戶參與度方面表現良好.

5.3 關系提取 關系提取(relation extraction,RE)是信息提取中的一項重要任務,旨在根據兩個給定實體的上下文來提取它 們之間的關系.由于 RE 具有提取文本信息的能力,并使許多自然語言處理應用受益(例如:信息檢索,對話生成, 問答等),因此受到很多研究者的青睞. 常規的監督模型已經在關系提取任務中得到深入研究,但是,它們的性能在很大程度上依賴于訓練數據的 規模和質量.為了構建大規模數據,Mintz 等人[138]提出了一種新穎的遠程監督(distant supervision,DS)機制,通過 將現有知識圖譜與文本對齊來自動標記訓練實例.DS 使 RE 模型能夠在大規模的訓練語料庫上工作,因此遠程 監督的 RE 模型[139-141]已經成為從純文本中提取新事實的主流方法.但是,這些方法僅在知識獲取中使用純文本 中的信息,而忽略了 KG 結構所包含的豐富信息.

受 KG 豐富的知識啟發,很多研究工作在 KG 的指導下擴展了 DS 模型.Weston 等人[142]提出將 TransE 與現 有的遠程監督的 RE 模型相結合以提取新的事實,并且獲得了較大改進.此外,Han 等人[143]提出了一種針對 KRL和 RE 的聯合表示學習框架,文獻[37]證實了現有的 KRL 模型可以有效增強遠程監督的 RE 模型.最近,Han 等人 [144]提出了一個通用的聯合表示學習框架,用于知識圖譜補全(knowledge graph completion,KGC)和從文本中提 取關系(relation extraction,RE)兩個任務,該框架適用于非嚴格對齊的數據.此外,Lei 等人[145]提出了一種具有雙 向知識提煉的神經關系提取框架,以協同使用不同的信息源,減輕了遠程監督關系提取中的噪聲標簽問題.但 是,這些工作忽略了關系之間的豐富關聯.Zhang 等人[146]提出 KG 中的關系符合三層層次關系結構(hierarchical relation structure,HRS),并擴展了現有的 KGE 模型:TransE,TransH 和 DistMult,以利用 HRS 的信息學習知識表 示.Zhang 等人在 FB15k[15]、FB15k237[147]、FB13 [78]、WN18[15]和 WN11[78]數據集上進行了鏈接預測和三元組 分類任務的實驗評估,結果表明,相比于原始模型以及其他基線模型 TransE、TransH、DistMult,擴展模型 (TransE-HRS、TransH-HRS、DistMult-HRS)始終獲得最佳性能,驗證了模型的有效性,同時也證明了考慮關系結 構對于 KG 補全非常有效.

6 挑戰與展望

目前,KGE 作為處理大型知識圖譜的一種方便有效的工具,被廣泛探索并應用于多種知識驅動型任務,極大 地提高了任務的性能,同時也存在許多可能的有待探索的領域.在本小節中,我們將討論 KGE 面臨的挑戰及其 未來研究方向.

6.1 面臨的挑戰 6.1.1 探索 KG 的內部和外部信息 KG 中的實體和關系具有復雜的特性和豐富的信息,而這些信息尚未得到充分考慮.本小節將討論為增強 KGE 方法的性能而需要進一步探索的內部和外部信息.

知識類型:不同的 KGE 方法在處理 1-1,1-N,N-1 和 N-N 關系時具有不同的性能,這表明針對不同類型的知 識或關系需要設計不同的 KGE 框架.然而,現有的 KGE 方法簡單地將所有關系分為 1-1,1-N,N-1 和 N-N 關系, 不能有效地描述知識的特征.根據知識的認知和計算特性,現有知識可分為以下幾種類型:(1)表示實體之間從屬 關系(如 has part).(2)表示實體屬性信息(如 nationality).(3)表示實體之間的相互關系(如 friend of).這些不同類型 的關系應該采用不同的方式建模.

多語言嵌入:文獻[40]觀察到不同語言的向量空間之間對應概念的幾何排列具有很強的相似性,并提出兩個 向量空間之間的跨語言映射在技術上是可行的.多語言 KG 對于知識共享具有重要意義,并且在跨語言信息檢 索,機器翻譯,問答等領域發揮著重要作用.然而,現有的關于多語言 KG 嵌入的研究很少,因此多語言 KGE 的研 究是一項有待解決的有意義但又具有挑戰性的工作.

多源信息學習:隨著網絡技術的快速發展,如今的互聯網不僅包含頁面和超鏈接,音頻、圖片和視頻等多源 信息也越來越多地出現在網絡上.因此,如何高效地利用從文本到視頻的多源信息已成為 KGE 中的一個關鍵且 具有挑戰性的問題.現有的利用多源信息的方法尚處于初步階段,諸如社交網絡之類的其他形式的多源信息仍 然獨立于知識圖譜表示的構建,因此還有待進一步研究.

One-shot/Zero-shot 學習:近年來,One-shot/Zero-shot 學習在單詞表示,情感分類,機器翻譯等各個領域中蓬 勃發展.One-shot/Zero-shot 學習的目的是從一個只有少量實例的類或一個從未見過的類的實例中學習,在知識 圖譜表示中,一個實際的問題是低頻實體和關系的學習比高頻實體和關系的學習更差.然而,借助實體和關系的 多語言和多模態表示,低頻實體和關系的表示可以在一定程度上得到改善.此外,有必要設計新的 KGE 框架,使 其更適合于低頻實體和關系的表示學習.

6.1.2 知識應用的復雜性

KG 在各種應用中發揮著重要的作用,例如 Web 搜索,知識推理和問答.但是,由于現實世界中知識應用的復 雜性,難以高效地利用 KG.在本小節中,將討論在實際應用中使用 KG 時遇到的問題. KG 質量低:知識應用的主要挑戰之一是大型 KG 本身的質量問題.Freebase,DBpedia,Yago,Wikidata 等典型 的 KG 通常是從互聯網上的大量純文本中自動獲取知識來獲取事實三元組.由于缺乏人工標注,這些 KG 遭受噪 音和矛盾的問題.當涉及到實際應用時,這些噪音和矛盾將導致錯誤傳播.因此,如何自動檢測現有 KG 中的矛盾 或錯誤已成為將 KG 的信息納入實際應用中的重要問題. KG 體積過大:現有的 KG 過于繁瑣,無法有效地部署在實際應用中.此外,由于 KG 的體積過大,現有的一些 方法由于計算復雜度的問題也并不實用.因此,有必要在現有的方法上進行改進. KG 不斷變化:隨著時間推移,不斷有新的知識產生.現有的 KGE 方法由于其優化目標與 KG 中的所有事實 三元組相關,因此每次 KG 發生變化時都需要從頭開始重新學習模型.如果在實際應用中使用 KG,那么它既費時 又不實用.因此,設計一種可以進行在線學習并逐步更新模型參數的 KGE 框架對 KG 的應用至關重要.

6.2 未來方向 6.2.1 統一框架 一些知識圖譜表明學習模型已經被證明是等價的.例如,文獻[68]證明 HolE 和 ComplEx 在數學上等價于具 有某些約束的鏈接預測.ANALOGY[69]提供了包括 DistMult,ComplEx 和 HolE 在內的幾種代表性模型的統一視 圖.Wang 等人[62]探討了幾種雙線性模型之間的聯系.Chandrahas 等人[159]探索了加法和乘法 KGE 模型的幾何理 解.大多數工作使用不同的模型來描述知識獲取和關系提取.然而,以類似于圖網絡統一框架的方式進行的統一 研究[158]是彌合研究差距的一種有價值的方法.

6.2.2 可解釋性 知識表示的可解釋性是知識獲取和實際應用中的關鍵問題.現有方法已為可解釋性作出了初步努力. ITransF[51]采用稀疏向量進行知識遷移,通過注意力可視化進行解釋.CrossE[92]利用基于嵌入的路徑搜索生成對 鏈接預測的解釋,探索了知識圖譜的解釋方案.然而,這些神經模型在透明度和可解釋性方面受到了限制,一些 方法結合邏輯規則來提高互操作性,從而將黑盒神經模型與符號推理相結合.因此,應該進一步研究可解釋性并 提高預測知識的可靠性.

6.2.3 可擴展性 在大規模知識圖譜中,可擴展性非常重要.幾種嵌入方法利用簡化來降低計算代價,例如,通過循環相關運 算簡化張量積[66] .但是,這些方法仍然難以擴展到數以百萬計的實體和關系中.最近的神經邏輯模型[161]中的規 則是由簡單的蠻力搜索產生的,這使得它們在大規模知識圖上表現不足.ExpressGNN[162]試圖使用 NeuralLP [163] 進行有效的規則歸納.但是,要處理繁瑣的深層架構和不斷增長的知識圖還需要進一步完善. 6.2.4 自動構建 當前的 KG 高度依賴于人工構建,這是勞動密集且昂貴的.知識圖譜在不同認知智能領域的廣泛應用需要 從大規模的非結構化內容中自動構建知識圖譜.最近的研究主要是在現有知識圖的監督下進行半自動構建.面 對多模態,異構性和大規模應用,自動構建仍然是未來亟待解決的重要問題.

7 總結

知識圖譜作為一種語義網絡擁有極強的表達能力和建模靈活性,可以對現實世界中的實體、概念、屬性以 及它們之間的關系進行建模.隨著最近出現的知識表示學習、知識獲取方法和各種知識圖譜應用,知識圖譜引 起了越來越多的研究關注.知識圖譜嵌入旨在將實體和關系嵌入到連續向量空間中,在各種面向實體的任務中得到了重要應用.本文圍繞知識圖譜嵌入技術的研究現狀,通過回顧僅使用事實進行知識圖譜嵌入的方法、添 加時間維度的動態 KGE 方法以及融合多源信息的 KG E 技術介紹了現有的知識圖譜嵌入技術.并簡要討論了 KGE 技術在下游任務中的實際應用.最后總結了知識圖譜嵌入領域所面臨的挑戰,并對其未來的方向做出展望. 我們進行這項調查的目的是對當前 KGE 的代表性研究工作進行總結,并且希望這一探索可以為 KGE 的未來研 究提供幫助.

生成對抗網絡（GAN）是無監督學習領域最近幾年快速發展的一個研究方向，其主要特點是能夠以一種間接的方 式對一個未知分布進行建模。在計算機視覺研究領域中，生成對抗網絡有著廣泛的應用，特別是在圖像生成方面，與其他的 生成模型相比，生成對抗網絡不僅可以避免復雜的計算，而且生成的圖像質量也更好。因此，本文將對生成對抗網絡及其在 圖像生成中的研究進展做一個小結和分析；本文首先從模型的架構、目標函數的設計、生成對抗網絡在訓練中存在的問題， 以及如何處理模式崩潰問題等角度對生成對抗網絡進行一個詳細的總結和歸納；其次介紹生成對抗網絡在圖像生成中的兩 種方法；隨后對一些典型的、用來評估生成圖像質量和多樣性的方法進行小結；并且對基于圖像生成的應用進行詳細分析；最后對生成對抗網絡和圖像生成進行總結，同時對其發展趨勢進行一個展望。