亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。

題目： The Creation and Detection of Deepfakes: A Survey

摘要： 本文綜述了元學習在圖像分類、自然語言處理和機器人等領域的應用。與深度學習不同，元學習使用小樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類:黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

題目： Anomalous Instance Detection in Deep Learning: A Survey

摘要：

深度學習(DL)容易受到分布不均勻和對抗性示例的影響，從而導致不正確的輸出。為了使DL更具有魯棒性，最近提出了幾種方法:異常檢測技術來檢測(并丟棄)這些異常樣本。本研究試圖為基于DL的應用程序異常檢測的研究提供一個結構化的、全面的概述。我們根據現有技術的基本假設和采用的方法為它們提供了一個分類。我們討論了每個類別中的各種技術，并提供了這些方法的相對優勢和劣勢。我們在這次調查中的目標是提供一個更容易并且更好理解的技術，這項技術是在這方面已經做過研究的，且屬于不同的類別的。最后，我們強調了在DL系統中應用異常檢測技術所面臨的未解決的研究挑戰，并提出了一些具有重要影響的未來研究方向。

深度學習(DL)容易受到分布外出和對抗性樣本的影響，從而導致不正確的輸出。為了使DL更健壯，最近提出了幾種后方法異常檢測技術來檢測(并丟棄)這些異常樣本。本研究試圖為基于DL的應用程序異常檢測的研究提供一個結構化的、全面的綜述。我們根據現有技術的基本假設和采用的方法為它們提供了一個分類。我們討論了每個類別中的各種技術，并提供了這些方法的相對優勢和劣勢。我們在這次調查中的目標是提供一個更容易，但更好地理解技術屬于不同的類別，在這方面的研究已經做了。最后，我們強調了在DL系統中應用異常檢測技術所面臨的未解決的研究挑戰，并提出了一些具有重要影響的未來研究方向。

題目： A Survey of the Recent Architectures of Deep Convolutional Neural Networks

摘要：

深度卷積神經網絡(CNNs)是一種特殊類型的神經網絡，在計算機視覺和圖像處理等領域的多項競賽中均有出色的表現。CNN有趣的應用領域包括圖像分類與分割、目標檢測、視頻處理、自然語言處理、語音識別等。深度卷積神經網絡強大的學習能力很大程度上是由于它使用了多個特征提取階段，可以從數據中自動學習表示。大量數據的可用性和硬件技術的改進加速了CNNs的研究，最近出現了非常有趣的深度卷積神經網絡架構。事實上，人們已經探索了幾個有趣的想法來促進CNNs的發展，比如使用不同的激活和丟失函數、參數優化、正則化和架構創新。然而，深度卷積神經網絡的代表性能力的主要提升是通過架構上的創新實現的。特別是利用空間和信道信息、建筑的深度和寬度以及多路徑信息處理的思想得到了廣泛的關注。同樣，使用一組層作為結構單元的想法也越來越流行。因此，本次調查的重點是最近報道的深度CNN架構的內在分類，因此，將CNN架構的最新創新分為七個不同的類別。這七個類別分別基于空間開發、深度、多路徑、寬度、特征圖開發、通道提升和注意力。對CNN的組成部分、當前CNN面臨的挑戰和應用進行了初步的了解。

論文題目： Salient Object Detection in the Deep Learning Era: An In-Depth Survey

論文摘要： 作為計算機視覺中的一個重要問題，圖像中的顯著目標檢測（SOD）近年來得到了越來越多的研究。最近在超氧化物歧化酶方面的進展主要是基于深度學習的解決方案（稱為深超氧化物歧化酶）。為了便于深入理解深層SODs，本文提供了一個全面的綜述，涵蓋了從算法分類到未解決的開放問題的各個方面。特別是，我們首先從網絡結構、監控級別、學習范式和對象/實例級別檢測等不同角度對深度超氧化物歧化酶算法進行了綜述。在此基礎上，總結了現有的SOD評價數據集和指標體系。然后，在前人工作的基礎上，認真編寫了一個完整的SOD方法的基準測試結果，并對對比結果進行了詳細的分析。另外，通過構造一個新的具有豐富屬性標注的SOD數據集，研究了不同屬性下的SOD算法的性能，這在以前的研究中是很少的。我們首次在現場進一步分析了deep-SOD模型的魯棒性和可轉移性。我們還研究了輸入擾動的影響，以及現有SOD數據集的通用性和硬度。最后，討論了超氧化物歧化酶存在的問題和挑戰，并指出了未來可能的研究方向。

論文主題： Deep Learning for Image Super-resolution: A Survey

論文摘要： 圖像超分辨率（SR）是提高圖像分辨率的一類重要的圖像處理技術以及計算機視覺中的視頻。近年來，基于深度學習的圖像超分辨率研究取得了顯著進展技術。在這項調查中，我們旨在介紹利用深度學習的圖像超分辨率技術的最新進展系統的方法。一般來說，我們可以粗略地將現有的SR技術研究分為三大類：監督SR、非監督SR和領域特定SR。此外，我們還討論了一些其他重要問題，如公開可用的基準數據集和性能評估指標。最后，我們通過強調幾個未來來結束這項調查未來社區應進一步解決的方向和公開問題.

論文題目： Deep Learning in Video Multi-Object Tracking: A Survey

論文摘要： 多目標跟蹤（MOT）的問題在于遵循序列中不同對象（通常是視頻）的軌跡。 近年來，隨著深度學習的興起，提供解決此問題的算法得益于深度模型的表示能力。 本文對采用深度學習模型解決單攝像機視頻中的MOT任務的作品進行了全面的調查。 確定了MOT算法的四個主要步驟，并對這些階段的每個階段如何使用深度學習進行了深入的回顧。 還提供了對三個MOT數據集上提出的作品的完整實驗比較，確定了表現最好的方法之間的許多相似之處，并提出了一些可能的未來研究方向。

論文題目： Object Detection in 20 Years: A Survey

論文簡介：
 目標檢測作為計算機視覺中最基本和最具挑戰性的問題之一，近年來受到了極大的關注。它在過去二十年的發展可以看作是計算機視覺歷史的縮影。如果我們將當今的物體檢測視為在深度學習的力量下的技術美學，那么將時光倒流到20年前，我們將見證冷武器時代的智慧。鑒于目標檢測技術的技術發展，本文跨越了四分之一世紀的時間（從1990年代到2019年）廣泛地審查了400多篇論文。本文涵蓋了許多主題，包括歷史上的里程碑檢測器，檢測數據集，度量，檢測系統的基本構建塊，加速技術以及最新的檢測技術水平。本文還回顧了一些重要的檢測應用程序，例如行人檢測，面部檢測，文本檢測等，并對它們的挑戰以及近年來的技術改進進行了深入分析。

論文題目： A Survey of Deep Learning-based Object Detection

論文摘要： 目標檢測是計算機視覺中最重要和最具挑戰性的分支之一，它已廣泛應用于人們的生活中，例如監視安全性，自動駕駛等。隨著用于檢測任務的深度學習網絡的迅速發展，對象檢測器的性能得到了極大的提高。為了深入地了解目標檢測的主要發展狀況，在本次調查中，我們首先分析了現有典型檢測模型的方法并描述了基準數據集。之后，我們以系統的方式全面概述了各種目標檢測方法，涵蓋了一級和二級檢測器。此外，我們列出了傳統和新的應用程序。還分析了對象檢測的一些代表性分支。最后，我們討論了利用這些對象檢測方法來構建有效且高效的系統的體系結構，并指出了一組發展趨勢，以更好地遵循最新的算法和進一步的研究。

作者介紹： Licheng Jiao 1982年獲得中國上海交通大學博士學位，并分別于1984年和1990年獲得西安交通大學的博士學位。 1990年至1991年，他是西安電子科技大學雷達信號處理國家重點實驗室的博士后研究員。自1992年以來，焦博士一直是中國西安電子科技大學電子工程學院的教授，目前是電子工程學院的院長，也是智能感知與圖像理解重點實驗室的主任。 西安電子科技大學中國教育部 1992年，焦博士獲得了青年科學技術獎。 1996年，他獲得了中國教育部跨世紀專家基金的資助。 從1996年起，他被選為“中國第一級人才計劃”的成員。2006年，他被霍英東教育基金會授予高中青年教師獎一等獎。 從2006年起，他被選為陜西省特別貢獻專家。