亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

雖然強化學習(RL)在許多領域的連續決策問題上取得了巨大的成功，但它仍然面臨著數據效率低下和缺乏可解釋性的關鍵挑戰。有趣的是，近年來，許多研究人員利用因果關系文獻的見解，提出了大量統一因果關系優點的著作，并很好地解決了RL帶來的挑戰。因此，整理這些因果強化學習(CRL)著作，回顧CRL方法，研究因果強化學習的潛在功能是非常必要和有意義的。**特別是，我們根據現有CRL方法是否預先給出基于因果關系的信息，將其分為兩類。我們從不同模型的形式化方面進一步分析了每個類別，包括馬爾可夫決策過程(MDP)、部分觀察馬爾可夫決策過程(POMDP)、多臂賭博機(MAB)和動態處理制度(DTR)。**此外，我們總結了評估矩陣和開源，同時我們討論了新興的應用程序。

//www.zhuanzhi.ai/paper/2831beac5d3d0e0e8a42fa338f171c62

強化學習(RL)是智能體在[1]-[3]環境中學習最大化期望獎勵的策略(從狀態到動作的映射函數)的通用框架。當智能體與環境交互時，它試圖通過試錯方案來解決序列決策問題。由于其在性能上的顯著成功，已在各種真實世界應用中得到快速開發和部署，包括游戲[4]-[6]、機器人控制[7]、[8]，以及推薦系統[9]、[10]等，受到不同學科研究人員的越來越多的關注。

然而，強化學習仍有一些關鍵挑戰需要解決。例如，**(一)數據效率低下。以前的方法大多需要交互數據，而在現實世界中，例如在醫療或醫療健康[11]中，只有少量記錄數據可用，這主要是由于昂貴、不道德或困難的收集過程。(二)缺乏可解釋性。**現有的方法往往通過深度神經網絡將強化學習問題形式化，將序列數據作為輸入，策略作為輸出，屬于黑盒理論。它們很難揭示數據背后的狀態、動作或獎勵之間的內部關系，也很難提供關于策略特征的直覺。這種挑戰將阻礙其在工業工程中的實際應用。有趣的是，因果關系可能在處理上述強化學習[12]，[13]的挑戰中發揮著不可或缺的作用。因果關系考慮兩個基本問題[14]:(1)因果關系的合法推斷需要什么經驗證據?利用證據發現因果關系的過程簡稱為因果發現。(2)給定一個現象的公認的因果信息，我們可以從這些信息中得出什么推論，如何推斷?這種推斷因果效果或其他利益的過程稱為因果推斷。因果關系可以授權智能體進行干預或通過因果階梯進行反事實推理，放松了對大量訓練數據的要求;它還能夠描述世界模型，可能為智能體如何與環境交互提供可解釋性。

**在過去的幾十年里，因果學習和強化學習各自取得了巨大的理論和技術發展，而它們本可以相互融合。**Bareinboim[15]通過將它們放在相同的概念和理論框架下，開發了一個名為因果強化學習的統一框架，并提供了一個在線介紹教程;Lu[16]受當前醫療健康和醫學發展的啟發，將因果強化學習與強化學習相結合，引入因果強化學習并強調其潛在的適用性。近年來，一系列與因果強化學習相關的研究相繼提出，需要對其發展和應用進行全面的綜述。本文致力于為讀者提供關于因果強化學習的概念、類別和實際問題的良好知識。 盡管已有相關綜述，如Grimbly等人對[17]因果多智能體強化學習進行了綜述;Bannon等人，[18]關于批量強化學習中的因果效應估計和策略外評估，本文考慮了但不限于多智能體或策略外評估的情況。最近，Kaddour等人，[19]在arXiv上上傳了一篇關于因果機器學習的綜述，其中包括一章關于因果強化學習的內容。他們根據因果關系可以帶來的不同強化學習問題總結了一些方法，例如因果匪類、基于模型的強化學習、off-policy策略評估等。這種分類方法可能不完整或不完整，從而遺漏了其他一些強化學習問題，例如多智能體強化學習[18]。本文只是但完整地為這些因果強化學習方法構建了一個分類框架。我們對這份調研綜述的貢獻如下:

**本文正式定義了因果強化學習，并首次從因果性的角度將現有方法分為兩類。**第一類是基于先驗因果信息，通常這樣的方法假設關于環境或任務的因果結構是由專家給出的先驗信息，而第二類是基于未知的因果信息，其中相對的因果信息必須為策略學習。對每個類別上的當前方法進行了全面的回顧，并有系統的描述(和草圖)。針對第一類，CRL方法充分利用了策略學習中的先驗因果信息，以提高樣本效率、因果解釋能力或泛化能力。對于因果信息未知的CRL，這些方法通常包含因果信息學習和策略學習兩個階段，迭代或依次進行。進一步分析和討論了CRL的應用、評估指標、開源以及未來方向。

因果強化學習

定義18(因果強化學習，CRL): CRL是一套算法，旨在將因果知識嵌入到RL中，以實現更高效的模型學習、策略評估或策略優化。它被形式化為元組(M, G)，其中M代表RL模型設置，如MDP、POMDP、MAB等，G代表關于環境或任務的基于因果的信息，如因果結構、因果表示或特征、潛在混雜因素等。

根據因果信息是否由經驗提供，因果強化學習方法大致分為兩類:(i)基于已知或假設的因果信息的方法;(2)基于技術學習的未知因果信息的方法。因果信息主要包括因果結構、因果表示或因果特征、潛在混淆因素等。

CRL框架的示意圖如上圖所示，概述了規劃和因果啟發學習程序之間可能的算法聯系。因果關系啟發的學習可以發生在三個地方:在學習因果表示或抽象(箭頭a)，學習動態因果模型(箭頭b)，以及學習策略或值函數(箭頭e和f)。大多數CRL算法只實現與因果關系的可能聯系的子集，在數據效率、可解釋性、魯棒性或模型或策略的泛化方面享受潛在好處。例如，t時刻的所有狀態會影響(t + 1)時刻的所有狀態。對于離線策略的學習和評估，因果信息未知的CRL會評估不同行為的影響，而因果信息已知的CRL通常通過敏感性分析來研究混淆對策略的影響。傳統的強化學習不會對混淆效應進行建模。對于數據增強問題，經典RL有時基于基于模型的RL，而CRL基于結構因果模型。CRL在學習到這樣的模型后，可以進行反事實推理來實現數據增強。在泛化方面，經典RL試圖探索不變性，而CRL試圖利用因果信息來產生因果不變性，例如結構不變性、模型不變性等。在理論分析方面，經典強化學習通常關注收斂性問題，包括學習策略的樣本復雜度、后悔界或模型誤差;CRL關注的是收斂性，但關注的是因果信息，側重于因果結構的可識別性分析。

近年來，深度學習推動的視覺內容創作取得了顯著進展。這包括3D感知的生成圖像合成，以3D一致的方式產生高保真圖像，同時從純圖像集合中捕獲緊湊的物體表面，而不需要任何3D監督，從而彌合了2D圖像和3D現實之間的差距。3D感知生成模型表明，3D信息的引入可以使生成的圖像更加可控**。3D圖像合成的任務已經席卷了計算機視覺領域，近年來(主要是在過去兩年)有數百篇論文被頂級期刊和會議接受，但缺乏對這一顯著而迅速的進展的全面調研**。本文旨在介紹新的研究人員，為相關工作提供有用的參考，并通過討論部分激發未來的研究方向。除了現有的論文，我們還將在//weihaox.github.io/projects/awesome-3d-aware上不斷更新最新的相關論文和相應的實現。

引言

深度生成模型已經取得了巨大的進展，導致了逼真的圖像合成。盡管取得了令人信服的結果，但大多數方法專注于二維(2D)圖像，忽略了物理世界的三維(3D)本質。因此，三維結構的缺乏不可避免地限制了它們的一些實際應用。因此，最近的一些工作提出了3D感知的生成模型，即場景在3D中建模，然后在圖像平面上進行差異化渲染。與2D生成模型相比，最近開發的3D感知生成模型[1]、[2]在2D圖像和3D物理世界之間架起了橋梁。我們周圍的物理世界本質上是三維的，圖像在一定的幾何、材料和照明條件下描繪現實，因此在三維空間中建模圖像生成過程是很自然的。如圖1所示，經典渲染(a)在給定人類設計或掃描的3D形狀模型的特定相機位置渲染圖像;逆渲染(b)從2D圖像中恢復3D物理世界的潛在內在屬性;2D圖像生成(c)主要由生成模型驅動，在真實感圖像合成方面取得了令人印象深刻的成果;3D感知的圖像合成(d)提供了用直接從圖像學習的有效模型取代經典渲染管道的可能性。

盡管近年來三維圖像合成的研究取得了驚人的進展，但對這一進展缺乏及時和系統的綜述。在這項工作中，我們通過呈現三維感知圖像合成方法的最新研究的全面調研來填補空白。我們的工作將闡明三維感知圖像合成的設計考慮因素和先進方法，展示其不同種類的優缺點，并提出未來的研究方向。我們在圖2中提供了這次調研的大綱和分類。我們建議將3D感知的圖像合成方法分為三類:二維生成模型的3D控制(第3節)、來自多個視圖的3D新視圖合成(第4節)和來自單個視圖的3D生成模型(第5節)。然后，根據實驗設置或3D信息的具體利用，將每一類進一步劃分為一些子類別。具體而言，二維生成模型的三維控制進一步分為1)三維控制潛在方向(第3.1節)，2)三維參數作為控制(第3.2節)，3)三維先驗知識作為約束(第3.3節)。第4和第5節都總結了通過學習3D表示來生成逼真和多視點一致圖像的方法。一般來說，這兩類都是利用神經3D表示來表示場景，使用可微神經渲染器將場景渲染到圖像平面，并通過最小化渲染圖像與觀察圖像之間的差異來優化網絡參數。然而，由于它們的應用場景截然不同，它們在多視圖和單視圖圖像集合上的訓練存在顯著差異。此外，為了直觀地展示這些代表性的生成式3D感知圖像合成方法，我們將它們組織成前面提到的三個范例，在圖3中按時間順序概述了它們。

在這里，我們提出了一個及時的最新綜述的三維圖像合成的發展領域。考慮到缺乏全面的調查和日益增長的興趣和普及，我們認為有必要組織一個幫助計算機視覺從業者與這一新興課題。本次調研的目的是為該領域的新研究人員提供對3d感知圖像合成方法的全面了解，并展示其優于現有方法的優越性能。最后，我們強調了幾個有待進一步研究的研究方向和問題。這一迅速發展的領域的范圍是相當廣泛的，全面的綜述將是具有挑戰性的。我們將只介紹具有代表性的3D感知圖像合成方法，而不是列出所有的文獻。因此，這篇綜述可以作為一種教學工具，為研究人員提供關于3D感知圖像合成的典型方法的關鍵信息。研究人員可以使用這些通用的指導方針，為自己的特定研究開發最合適的技術。這項工作的主要技術貢獻如下：

層次分類。我們為三維圖像合成研究提出了一個系統的分類法。我們將現有的模型分為三類:2D生成模型的3D控制、單視圖的3D生成模型和多視圖的新視圖合成。

全面地綜述。我們提供了現有的最先進的三維圖像合成方法的全面概述。我們比較和分析每種類型的主要特點和改進，評估它們的優缺點。

出色的挑戰。在此基礎上，提出了三維感知圖像合成的若干研究問題，并對其未來發展提出了一些建議。

為了持續跟蹤這一快速發展領域的最新發展，我們提供了一個相應的網頁，根據我們的基于問題的分類: /項目/ awesome-3d-aware。

聚類分析在機器學習和數據挖掘中起著不可或缺的作用。學習一個好的數據表示方法對于聚類算法是至關重要的。近年來，利用深度神經網絡學習聚類友好表示的深度聚類已經廣泛應用于各種聚類任務中。現有的深度聚類研究主要集中在單一視圖領域和網絡架構上，忽略了聚類的復雜應用場景。為了解決這個問題，在本文中，我們從數據源的角度對深度聚類進行了全面的考察。在不同的數據源和初始條件下，我們從方法論、先驗知識和體系結構方面系統地區分了聚類方法。具體地，將深度聚類方法分為傳統的單視圖深度聚類、半監督深度聚類、深度多視圖聚類和深度轉移聚類四大類。最后，討論了深度聚類在不同領域的開放挑戰和潛在的未來機遇。

引言

隨著網絡媒體的發展，可以很容易地收集到大量的、復雜度高的數據。通過對這些數據的精確分析，我們可以挖掘出這些結論的價值，并將這些結論應用于許多領域，如人臉識別[1]，[2]，情感分析[3]，[4]，智能制造[5]，[6]等。可用于對具有不同標簽的數據進行分類的模型是許多應用程序的基礎。對于有標簽的數據，理所當然地使用標簽作為最重要的信息作為指導。對于未標記的數據，尋找一個可量化的目標作為模型構建過程的指導是聚類的關鍵問題。在過去的幾十年里，人們提出了大量的淺層模型聚類方法，包括基于質心的聚類[7]、[8]，基于密度的聚類[9]、[10]、[11]、[12]、[13]，基于分布的聚類[14]，分層聚類[15]，集成聚類[16]、[17]，多視圖聚類[18]、[19]、[20]、[21]、[22]、[23]等。這些淺層模型只有在特征具有代表性的情況下才有效，而在復雜數據上，由于特征學習能力較差，其性能往往受到限制。**為了將原始復雜數據映射到易于聚類的特征空間，許多聚類方法都側重于特征提取或特征變換，如PCA[24]、核方法[25]、譜方法[26]、深度神經網絡[27]等。**在這些方法中，深度神經網絡由于其出色的非線性映射能力和在不同場景下的靈活性，是一種很有前途的方法。一種設計良好的基于深度學習的聚類方法(簡稱深度聚類)旨在有效地從數據中提取更多對聚類友好的特征，并同時對學習到的特征進行聚類。在深度聚類領域已經做了大量的研究，也有一些關于深度聚類方法[28]，[29]，[30]，[31]的綜述。具體而言，現有的深度聚類系統綜述主要集中在單視圖聚類任務和神經網絡的體系結構上。例如，Aljalbout等人[28]只關注基于深度自編碼器(AE或DAE)的深度單視圖聚類方法。Min等人[29]從不同深度網絡的角度對深度聚類方法進行了分類。Nutakki等[30]根據訓練策略將深度單視圖聚類方法分為三大類:多步順序深度聚類、聯合深度聚類和閉環多步深度聚類。Zhou等人[31]通過特征學習與聚類模塊的交互方式對深度單視圖聚類方法進行分類。但在現實世界中，用于聚類的數據集總是相關聯的，例如，閱讀的品味與電影的品味相關聯，同一個人的側臉和正面應該被標記為相同的。針對這些數據，基于半監督學習、多視圖學習和遷移學習的深度聚類方法也取得了顯著進展。不幸的是，現有的綜述并沒有過多地討論它們。因此，從數據源和初始條件的角度對深度聚類進行分類非常重要。本文從數據初始設置的角度結合深度學習方法對深度聚類進行了總結。我們從網絡和數據結構的角度介紹了深度聚類的最新進展，如圖1所示。具體來說，我們將深度聚類方法組織為以下四類:

深度單視圖聚類

在傳統的聚類任務中，通常假設數據具有相同的形式和結構，稱為singleview或單模態數據。用深度神經網絡(DNNs)提取這些數據的表示形式是深度聚類的一個重要特征。然而，更值得注意的是不同的應用深度學習技術，這些技術與dnn的結構高度相關。為了比較具體DNN的技術路線，我們將這些算法分為五類:** 基于深度自編碼器(DAE)的深度聚類、基于深度神經網絡(DNN)的深度聚類、基于變分自編碼器(VAE)的深度聚類、基于生成對抗網絡(GAN)的深度聚類和基于圖神經網絡(GNN)的深度聚類**。

** 基于半監督學習的深度聚類**

當待處理數據包含少量先驗約束時，傳統的聚類方法無法有效利用這些先驗信息，而半監督聚類是解決這一問題的有效方法。目前，深度半監督聚類的研究還沒有得到很好的探索。然而，半監督聚類是不可避免的，因為通過向模型中添加額外的約束損失信息，使聚類方法成為半監督聚類方法是可行的。

基于多視圖學習的深度聚類

在現實世界中，數據往往來自不同的特征收集器或具有不同的結構。我們稱這些數據為“多視圖數據”或“多模態數據”，其中每個樣本都有多個表示。基于多視圖學習的深度聚類的目的是利用多視圖數據中所包含的一致性和互補性信息來提高聚類性能。此外，多視圖學習的思想可能對深度單視圖聚類具有指導意義。本文將深度多視圖聚類歸納為三大類:基于深度嵌入聚類、基于子空間聚類和基于圖神經網絡聚類。

基于遷移學習的深度聚類

對于實例數量有限且維度較高的任務，有時我們可以找一個助手來提供額外的信息。例如，如果任務A與另一個任務B相似，而任務B比任務A具有更多的信息用于聚類(B是有標記的或B比A更容易聚類)，那么將信息從B轉移到A是有用的。無監督域適應(unsupervised domain adaption, UDA)轉移學習包括兩個域:有標記的源域和無標記的目標域。遷移學習的目標是將從源任務中學到的知識或模式應用到不同但相關的目標任務。基于遷移學習的深度聚類方法旨在利用相關任務的信息提高當前聚類任務的性能。 在研究相應的聚類方法之前，有必要注意聚類數據的不同特征和條件。本文從數據來源和初始條件兩個方面對現有的深度聚類方法進行了系統的分類。分析了不同聚類方法的優缺點和適用條件。最后，我們提出了深度聚類領域的一些有趣的研究方向

【導讀】聚類是機器學習的一項基本任務。深度學習的發展催生了深度聚類。來自浙江大學等學者發布了關于深度聚類的最新綜述論文，35頁pdf涵蓋246篇文獻概述了深度聚類的概念、方法、體系與應用，值得關注！

聚類是一種基本的機器學習任務，在文獻中得到了廣泛的研究。經典的聚類方法遵循這樣的假設:通過各種表示學習技術，數據被表示為向量化的特征。隨著數據變得越來越復雜和復雜，淺層(傳統)聚類方法不再能夠處理高維數據類型。隨著深度學習，尤其是深度無監督學習的巨大成功，在過去的十年中，許多具有深度架構的表示學習技術被提出。融入深度學習好處的一種直接方法是，在將其輸入淺層聚類方法之前，首先學習深度表示。然而，這是次優的，因為: 1) 表示不是直接學習的聚類，限制了聚類性能;(2)聚類依賴于實例間的復雜關系而非線性關系;3)聚類和表示學習是相互依賴的，應該相互促進。為了應對上述挑戰，深度聚類(Deep Clustering)的概念被提出，即聯合優化表征學習和聚類，因此受到越來越多的關注。基于深度學習在聚類(最基本的機器學習任務之一)中的巨大成功，以及該方向最近的大量進展，本文通過提出不同最新方法的新分類，對深度聚類進行了全面的調研。我們總結了深度聚類的基本組成部分，并通過設計深度表示學習和聚類之間的交互方式對現有方法進行分類。此外，該綜述還提供了流行的基準數據集、評估指標和開源實現，以清楚地說明各種實驗設置。最后，我們討論了深度聚類的實際應用，并提出了值得進一步研究的具有挑戰性的主題作為未來的方向。

//www.zhuanzhi.ai/paper/c46ee4cd4877641a916a18dd389c017e

聚類是機器學習中的一個基本問題，也是許多數據挖掘任務中的一個重要預處理步驟。聚類的主要目的是將實例分配到組中，使相似的樣本屬于同一個集群，而不同的樣本屬于不同的集群。樣本的聚類提供了數據實例的全局表征，可以顯著地促進對整個數據集的進一步分析，如異常檢測[166,201]、域適應[180,240]、社區檢測[121,178]和鑒別表示學習[133,164,214]等。

雖然淺聚類方法已經取得了巨大的成功，但它們假設實例已經在一個具有良好形狀的潛在矢量空間中表示。隨著過去幾十年互聯網和web服務的快速發展，研究人員對發現新的機器學習模型越來越感興趣，這些模型能夠處理沒有明確特征的非結構化數據，如圖像，以及具有數千維的高維數據等。因此，淺聚類方法不能再直接用于處理此類數據。近年來，深度學習的表示學習取得了成功，特別是在非結構化和高維數據中[166,201]。然而，在聚類過程中并沒有探索深度學習技術。由于不能很好地捕捉到實例間復雜的關系，導致聚類結果欠佳。

為了解決這一問題，深度聚類(Deep Clustering)技術應運而生，它旨在將深度表示學習和聚類聯合優化。更具體地說，深度聚類方法關注以下研究挑戰:(1)如何學習能夠產生更好聚類性能的判別表示?(2)如何在一個統一的框架下高效地進行聚類和表示學習?(3)如何打破聚類和表示學習之間的壁壘，使它們以交互迭代的方式相互增強?

為了解決上述挑戰，已經提出了許多具有不同深度架構和數據類型的深度聚類方法。受聚類(最基本的機器學習任務之一)中深度學習的巨大成功以及該方向最近取得的大量進展的激勵，本文通過提出各種最新方法的新分類，對深度聚類進行了全面的調研。

綜上所述，本文旨在從以下幾個方面為潛在讀者理解深度聚類全景圖提供支持:

• 深度集群的基石。我們總結了深度聚類的兩個基礎模塊，即表示學習模塊和聚類模塊。對于每個模塊，我們強調了從現有方法中總結出的具有代表性和通用性的設計，這些設計很容易推廣到新的模型中。

• 系統的分類。基于表示學習模塊和聚類模塊之間的交互方式，我們對現有的深度聚類方法進行了系統的分類，提出了四個具有代表性的方法分支。我們還在不同的場景中比較和分析每個分支的屬性。

• 豐富的資源和參考資料。我們收集了各種類型的基準數據集、評估指標和深度聚類最新論文的開源實現，這些數據與Github (1.8K Star)上的參考文獻一起組織。

• 未來的發展方向。基于表示學習模塊和聚類模塊的特性及其相互作用，我們討論了現有方法的局限性和挑戰，并對未來值得研究的有前景的研究方向提出了自己的見解和想法。

在這個調研中，我們關注深度學習技術的聚類，特別是深度表示學習和深度神經網絡聚類之間的相互作用。對于其他基礎研究問題，如初始化聚類、自動識別聚類數量等，我們在第8節中進行了討論，并將其留待以后的工作。關于淺聚類、深聚類和表示學習的調研比較見表1。

摘要: 在大數據時代下, 以高效自主隱式特征提取能力聞名的深度學習引發了新一代人工智能的熱潮, 然而其背后黑箱不可解釋的“捷徑學習”現象成為制約其進一步發展的關鍵性瓶頸問題. 解耦表征學習通過探索大數據內部蘊含的物理機制和邏輯關系復雜性, 從數據生成的角度解耦數據內部多層次、多尺度的潛在生成因子, 促使深度網絡模型學會像人類一樣對數據進行自主智能感知, 逐漸成為新一代基于復雜性的可解釋深度學習領域內重要研究方向, 具有重大的理論意義和應用價值. 本文系統地綜述了解耦表征學習的研究進展, 對當前解耦表征學習中的關鍵技術及典型方法進行了分類闡述, 分析并匯總了現有各類算法的適用場景并對此進行了可視化實驗性能展示, 最后指明了解耦表征學習今后的發展趨勢以及未來值得研究的方向.

論文 1：A Survey on Curriculum Learning

作者：Xin Wang、 Yudong Chen、 Wenwu Zhu

論文鏈接：//arxiv.org/pdf/2010.13166.pdf

摘要：課程學習是一種訓練策略，它模仿了人類課程中有意義的學習順序，從較容易的數據開始訓練機器學習模型，并逐步加入較難的數據。課程學習策略作為一個易于使用的插件，在計算機視覺和自然語言處理等廣泛的場景中，提高了模型的泛化能力和收斂速度。本文從動機、定義、理論和應用等各個方面全面回顧了課程學習。研究者在一個通用的課程學習框架中討論課程學習方法，詳細闡釋如何設計一個預定義的課程或自動的課程。具體來說，研究者基于 “難度評分器 + 訓練調度器” 的總體框架，總結了現有的課程學習設計，并進一步將自動課程學習的方法分為四類，即自步學習、基于遷移教師的課程學習、基于強化教師的課程學習、其他自動課程學習。最后，研究者簡要討論了課程學習與機器學習概念的聯系，并指出了未來值得進一步研究的潛在方向。

許多自然場景圖像中都包含著豐富的文本,他們對于場景理解有著重要的作用。隨著移動互聯網技術的飛速發展,許多新的應用場景都需要利用這些文本信息,例如招牌識別和自動駕駛等。因此,自然場景文本的分析與處理也越來越成為計算機視覺領域的研究熱點之一,該任務主要包括文本檢測與識別。傳統的文本檢測和識別方法依賴于人工設計的特征和規則,且模型設計復雜、效率低、泛化性能差。近年來隨著深度學習的發展,自然場景文本檢測、自然場景文本識別以及端到端的自然場景文本檢測與識別都取得了突破性的進展,其性能和效率都得到了顯著提高。本文介紹了該領域相關的研究背景,對近幾年基于深度學習的自然場景文本檢測、識別以及端到端自然場景文本檢測與識別的方法進行整理分類、歸納和總結,闡述了各類方法的基本思想和優缺點。并針對隸屬于不同類別下的方法,進一步論述和分析這些主要模型的算法流程、適用場景和他們的技術發展路線。此外還列舉說明了一些主流公開數據集,并對比了各個模型方法在代表性數據集上的性能情況。最后本文總結了目前不同場景數據下的自然場景文本檢測、識別以及端到端自然場景文本檢測與識別算法的局限性以及未來的挑戰和發展趨勢。

//www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=2023&journal_id=jig

我們生活在一個由大量不同模態內容構建而成的多媒體世界中，不同模態信息之間具有高度的相關性和互補性，多模態表征學習的主要目的就是挖掘出不同模態之間的共性和特性，產生出可以表示多模態信息的隱含向量.該文章主要介紹了目前應用較廣的視覺語言表征的相應研究工作，包括傳統的基于相似性模型的研究方法和目前主流的基于語言模型的預訓練的方法.目前比較好的思路和解決方案是將視覺特征語義化然后與文本特征通過一個強大的特征抽取器產生出表征，其中Transformer[1]作為主要的特征抽取器被應用表征學習的各類任務中.文章分別從研究背景、不同研究方法的劃分、測評方法、未來發展趨勢等幾個不同角度進行闡述.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6125&flag=1

最近深度神經網絡已經在監督識別任務上取得了令人振奮的突破，但是深度神經網絡要求每個類都有足夠 多的且完全標注的訓練數據。如何從少數訓練樣本中學習并識別新的類別，對于深度神經網絡來說是一個具有挑戰性的問題。針對如何解決少樣本學習的問題，全面總結了現有的基于深度神經網絡的少樣本學習方法，涵蓋了方法 所用模型、數據集及評估結果等各個方面。具體地，針對基于深度神經網絡的少樣本學習方法，提出將其分為四種 類別，即數據增強方法、遷移學習方法、度量學習方法和元學習的方法；對于每個類別，進一步將其分為幾個子類 別，并且在每個類別與方法之間進行一系列比較，以顯示各種方法的優劣和各自的特點。最后，強調了現有方法的局限性，并指出了少樣本學習研究領域的未來研究方向。