亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

近年來，神經網絡在解決許多問題方面有了巨大的發展。不同類型的神經網絡被引入來處理不同類型的問題。然而，任何神經網絡的主要目標是將非線性可分的輸入數據轉換為更線性可分的抽象特征，使用層次結構。這些層是線性和非線性函數的組合。最流行和常見的非線性層是激活函數(AFs)，如Logistic Sigmoid、Tanh、ReLU、ELU、Swish和Mish。本文對深度學習神經網絡中的激活函數AFs進行了全面的綜述和研究。不同類別的AFs，如Logistic Sigmoid和基于Tanh，基于ReLU，基于ELU，和基于Learning。指出了AFs的輸出范圍、單調性和平滑性等特點。并對18種最先進的AFs在不同網絡上的性能進行了比較。本文提出了AFs的見解，以幫助研究者進行進一步的研究，并幫助實踐者在不同的選擇中進行選擇。用于實驗比較的代碼。

近年來，深度學習在解決人臉分析[2][113]、預測評級[74]、情感分析[143]、[152]、高光譜圖像分析[144]、圖像合成和語義處理[1]、數字圖像增強[72]、圖像檢索[33]等具有挑戰性的問題方面取得了巨大的增長。深度學習中已經發展了各種類型的神經網絡來從數據中學習抽象特征，如多層感知器(Multilayer Perceptron, MLP)[30]，卷積神經網絡(CNN)[82]，[73]，循環神經網絡(RNN)[54]，生成對抗網絡(Generative Adversarial networks, GAN)[12]。神經網絡的重要方面包括權值初始化[104]、損失函數[130]、正則化[102]、過擬合控制[18]、激活函數[136]和優化[35]。

激活函數在神經網絡[36]中起著非常重要的作用，它通過非線性變換學習抽象的特征。AFs的一些共同性質如下: A)在優化中增加非線性曲率以提高網絡的訓練收斂性; B)它不應該廣泛地增加模型的計算復雜性; C)不妨礙訓練過程中的梯度流動;d)它應該保留數據的分布，以便更好地訓練網絡。近年來，為了實現上述特性，人們已經探索了幾種用于深度學習的AFs。本綜述致力于神經網絡中AFs領域的發展。不同AFs的見解和推理被提出，以使深度學習社區受益。這項綜述的主要貢獻概述如下:

1. 本綜述為廣泛的AFs提供了詳細的分類。它還非常全面地包括了AFs，包括Logistic Sigmoid/Tanh, Rectified Unit, Exponential Unit, 和Adaptive AFs。

2. 本綜述從不同角度對AFs進行分析，為讀者提供最新的AFs。它特別涵蓋了用于深度學習的AFs的進展。

3. 本綜述還通過簡要的重點和重要的討論總結了AFs，以描述其對不同類型數據的適用性(參見表VI)。

4. 將本次綜述與現有綜述/分析進行比較，顯示其重要性(見表七)。

5. 本文還介紹了使用18種最先進的AFs和不同類型網絡在4個不同模式的基準數據集上的性能比較(參見表VIII, IX和XI)。

單圖像超分辨率(SISR)是圖像處理中的一項重要任務，其目的是提高成像系統的分辨率。近年來，在深度學習(deep learning, DL)的幫助下，SISR取得了巨大的飛躍，并取得了可喜的成果。在本文中，我們概述了基于深度學習的SISR方法，并根據它們的目標，如重建效率、重建精度和感知精度進行分組。具體地，首先介紹了問題的定義、研究背景和研究意義。其次，介紹了相關工作，包括基準數據集、上采樣方法、優化目標和圖像質量評價方法。第三，詳細介紹了系統集成研究的基本原理，并給出了系統集成研究的一些具體應用。第四，我們給出了一些經典的SISR方法的重構結果，直觀地了解了它們的性能。最后，本文還討論了該研究中存在的一些問題，并總結了一些新的發展趨勢和未來的發展方向。這是對SISR的詳細調研，有助于研究者更好地理解SISR，并激發更多的研究。關于SISR的調研項目見//github.com/CV-JunchengLi/SISR-Survey。

引言

圖像超分辨率，特別是單圖像超分辨率是一種圖像轉換任務，受到了學術界和工業界的越來越多的關注。如圖1所示，SISR的目標是從退化的低分辨率(LR)圖像重建超分辨率(SR)圖像。它被廣泛應用于各種計算機視覺應用，包括安全和監控圖像、醫學圖像重建、視頻增強和圖像分割。

許多SISR方法的研究由來已久，如基于插值的雙三次插值和Lanczos重采樣[1]。然而，SISR是一個固有的不適定問題，總是存在多個HR圖像對應一個原始LR圖像。為了解決這一問題，一些數值方法利用先驗信息來限制重構的解空間，如基于邊緣的方法[2]和基于圖像統計的方法[3]。同時，也有一些被廣泛使用的學習方法，如鄰居嵌入方法[4]和稀疏編碼方法[5]，這些方法假設LR和HR patch之間存在轉換。

最近，深度學習(DL)[6]在許多人工智能領域表現出比傳統機器學習模型更好的性能，包括計算機視覺[7]和自然語言處理[8]。隨著DL技術的快速發展，許多基于DL的方法被提出用于SISR，不斷地推動了SOTA的發展。與其他圖像變換任務一樣，SISR任務一般分為三個步驟:特征提取與表示、非線性映射和圖像重構[9]。在傳統的數值模型中，設計滿足這些過程的算法既費時又低效。相反，DL可以將SISR任務轉移到一個幾乎端到端的框架中，包含所有這三個過程，這可以大大減少人工和計算費用[10]。此外，考慮到SISR的病態性質會導致結果不穩定和難以收斂，DL可以通過有效的網絡結構和損失函數設計來緩解這個問題。此外，現代GPU使更深、更復雜的DL模型能夠快速訓練，表現出比傳統數值模型更強的表示能力。

眾所周知，基于深度學習的方法可以分為監督方法和非監督方法。這是最簡單的分類標準，但這個分類標準的范圍太大，不清楚。因此，許多技術上不相關的方法可能被歸為同一類型，而策略相似的方法可能被歸為完全不同的類型。不同于以往的基于DL的SISR調研[11]、[12]以監督為分類標準或以純文獻的方式介紹方法，本次調研試圖對基于DL的SISR方法進行全面概述，并根據其具體目標進行分類。在圖2中，我們展示了這次調研查的內容和分類。顯然，我們將基于DL的SISR方法分為四類:重構效率方法、重構精度方法、感知質量方法和進一步改進方法。本調研有明確的背景，便于讀者查閱。具體來說，本文首先介紹了SISR的問題定義、研究背景和意義。然后介紹了相關的工作，包括基準數據集、上樣本方法、優化目標和評價方法。在此基礎上，詳細介紹了各種方法，并給出了它們的重建結果。最后，本文還討論了該技術存在的一些問題，并提出了一些新的發展方向和方向。總的來說，本次綜述的主要貢獻如下:

• (1) 根據基于dl的SISR方法的目標，對其進行了全面的概述。這是一個新的視角，使調研有一個清晰的背景，便于讀者查閱。

• (2) 本綜述涵蓋了100多種SR方法，并介紹了近年來SISR擴展的一系列新任務和特定領域的應用。

• (3) 我們提供了詳細的重構結果對比，包括經典的、最新的和SOTA SISR方法，幫助讀者直觀地了解它們的性能。

• (4) 討論了SISR存在的一些問題，總結了一些新的發展趨勢和未來的發展方向。

由于神經網絡的日益普及，對神經網絡預測的信心變得越來越重要。然而，基本的神經網絡不會給出確定性估計，也不會受到信心過度或不足的影響。許多研究人員一直致力于理解和量化神經網絡預測中的不確定性。因此，不同類型和來源的不確定性已被識別，并提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全面的概述，綜述了該領域的最新進展，突出了當前的挑戰，并確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹，而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全面的介紹，并將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基于確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模，并討論了這些領域的不同分支和最新進展。對于實際應用，我們討論不確定性的不同措施，校準神經網絡的方法，并給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子，提供了實際應用中有關不確定性的需求和挑戰的概念。此外，討論了當前用于任務和安全關鍵的現實世界應用的方法的實際限制，并展望了未來的步驟，以更廣泛地使用這些方法。

//www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa

本文是南開大學程明明與南洋理工大學Chen ChangeLoy等人關于深度學習時代的低光圖像增強的綜述。本文從低光圖像增強的數據集、網絡架構、損失函數、學習機制等不同角度對其進行了系統性的總數；為評估不同方法的泛化性與魯棒性還提出了一個大尺度低光圖像數據集；與此同時，針對低光圖像增強存在的挑戰以及未來有研究價值的方向進行了探討。強烈推薦給各位low-level領域的同學！

低光圖像增強(Low-light image enhancement, LLIE)旨在提升低光環境下所采集圖像的感知質量。該領域的近期進展主要由深度學習方法(包含不同學習策略、網絡架構、損失函數、訓練數據等)主導。本文進行了系統性綜述以覆蓋更多角度的理解，涵蓋算法以及未解決問題。

為最大化驗證現有方法的泛化性能，我們提出了一個大尺度低光圖像與視頻數據，這些圖像/視頻采用不同的收集在不同亮度條件下拍攝所得。除此之外，我們首次提供了一個包含多種主流LLIE方法的在線平臺，它可以通過用戶友好的交互方式重現不同方法的效果。除了在公開數據與本文所提數據上驗證所提方法定量與定性性能，我們還驗證了他們對于低光人臉檢測的性能。

該綜述、所提出的數據集以及在線平臺可以作為進一步研究的參考資源，并促進該領域的進一步發展。所提平臺與所收集的算法、數據集、評估準則等等均已公開到github，鏈接如下：

//github.com/Li-Chongyi/Lighting-the-Darkness-in-the-Deep-Learning-Era-Open

本文主要有以下幾個方面的特性：

• 本文首個系統而全面的對基于深度學習的LLIE方法進行了綜述；
• 本文提出一個包含不同收集在不同亮度條件下鎖舌的大尺度低光圖像/視頻數據集并用于評估現有方法的泛化性能；
• 本文提供了一個包含多種主流LLE方法的在線平臺，它可以讓用戶以更友好交互方式重現不同方法的效果。

人體姿態估計的目的是通過圖像、視頻等輸入數據定位人體部位，構建人體表征(如人體骨架)。在過去的十年中，它受到了越來越多的關注，并被廣泛應用于人機交互、運動分析、增強現實和虛擬現實等領域。盡管最近開發的基于深度學習的解決方案在人體姿態估計方面取得了很高的性能，但由于訓練數據不足、深度模糊和遮擋，仍然存在挑戰。本綜述論文的目的是通過對基于輸入數據和推理的解決方案進行系統的分析和比較，對最近基于深度學習的二維和三維姿態估計解決方案進行全面的回顧。這項綜述涵蓋了自2014年以來的240多篇研究論文。此外，還包括了二維和三維人體姿態估計數據集和評估指標。本文總結和討論了現有方法在流行數據集上的定量性能比較。最后，對所涉及的挑戰、應用和未來的研究方向進行了總結。

//www.zhuanzhi.ai/paper/7459265d2fbd81f9b91bf0f7b461bcc7

序列標記是一個基礎性研究問題，涉及詞性標記、命名實體識別、文本分塊等多種任務。盡管在許多下游應用(如信息檢索、問題回答和知識圖譜嵌入)中普遍和有效，傳統的序列標記方法嚴重依賴于手工制作或特定語言的特征。最近，深度學習已經被用于序列標記任務，因為它在自動學習實例的復雜特征和有效地產生藝術表現的強大能力。在本文中，我們旨在全面回顧現有的基于深度學習的序列標記模型，這些模型包括三個相關的任務，如詞性標記、命名實體識別和文本組塊。然后，在科學分類的基礎上，結合SL領域中廣泛使用的實驗數據集和常用的評價指標，系統地介紹了現有的方法。此外，我們還對不同的SL模型進行了深入分析，分析了可能影響SL領域性能和未來發展方向的因素。

//arxiv.org/abs/2011.06727

序列標記是自然語言處理(NLP)中重要的一種模式識別任務。從語言學的角度來看，語言中最小的意義單位通常被認為是語素，因此每句話都可以看作是語素構成的序列。相應的，NLP領域中的序列標記問題可以將其表述為一種任務，目的是為一類在句子語法結構中通常具有相似角色和相似語法屬性的語素分配標簽，所分配標簽的意義通常取決于特定任務的類型，經典任務的例子有詞性標注[71]、命名實體識別(NER)[52]、文本分塊[65]等，在自然語言理解中起著至關重要的作用，有利于各種下游應用，如句法解析[81]、關系提取[64]和實體共指解析[78]等，并因此迅速得到廣泛關注。

通常，傳統的序列標記方法通常基于經典的機器學習技術，如隱馬爾科夫模型(HMM)[3]和條件隨機字段(CRFs)[51]，這些技術通常嚴重依賴于手工制作的特征(如一個單詞是否大寫)或特定于語言的資源(如地名詞典)。盡管實現了卓越的性能，但對大量領域知識的需求和對特征工程的努力使得它們極難擴展到新的領域。在過去的十年中，深度學習(DL)由于其在自動學習復雜數據特征方面的強大能力而取得了巨大的成功。因此，對于如何利用深度神經網絡的表示學習能力來增強序列標記任務的研究已經有了很多，其中很多方法已經陸續取得了[8]，[1]，[19]的先進性能。這一趨勢促使我們對深度學習技術在序列標記領域的現狀進行了全面的綜述。通過比較不同深度學習架構的選擇，我們的目標是識別對模型性能的影響，以便后續研究人員更好地了解這些模型的優缺點。

本綜述的目的是全面回顧深度學習在序列標記(SL)領域的最新應用技術，并提供一個全景，以啟發和指導SL研究社區的研究人員和從業者快速理解和進入該領域。具體來說，我們對基于深度學習的SL技術進行了全面的調研，并按照嵌入模塊、上下文編碼器模塊和推理模塊三個軸進行了科學的分類，系統地總結了目前的研究現狀。此外，我們還概述了序列標記領域中常用任務的實驗設置(即數據集或評價指標)。此外，我們討論和比較了最具代表性的模型給出的結果，以分析不同因素和建筑的影響。最后，我們向讀者展示了當前基于dll的序列標記方法所面臨的挑戰和開放問題，并概述了該領域的未來發展方向。

本綜述旨在全面回顧深度學習技術在序列標注中的應用，并提供一個全景視圖，以便讀者對這一領域有一個全面的了解。我們以科學的分類學對文獻進行了總結。此外，我們提供了一般研究的序列標記問題的數據集和評價指標的概述。此外，我們還討論和比較了不同模型的結果，并分析了影響性能的因素和不同架構。最后，我們向讀者展示了當前方法面臨的挑戰和開放問題，并確定了該領域的未來方向。我們希望這項調查能對序列標記感興趣的研究者、從業者和教育者有所啟發和指導。

The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人臉識別是計算機視覺領域中最基本、最長期存在的研究課題之一。隨著深度卷積神經網絡和大規模數據集的發展，深度人臉識別取得了顯著的進展，并在實際應用中得到了廣泛的應用。以自然圖像或視頻幀作為輸入，端到端深度人臉識別系統輸出人臉特征進行識別。為了實現這一目標，整個系統通常由三個關鍵要素構建:人臉檢測、人臉預處理和人臉表示。人臉檢測在圖像或幀中定位人臉。然后，對人臉進行預處理，將人臉標定為標準視圖，并將其裁剪為標準化像素大小。最后，在人臉表示階段，從預處理后的人臉中提取識別特征進行識別。深度卷積神經網絡滿足了這三個要素。摘要隨著深度學習技術的蓬勃發展，端到端深度人臉識別技術的能力得到了極大的提高，本文對端到端深度人臉識別技術中各個方面的最新進展進行了綜述。首先，我們介紹端到端深度人臉識別的概述，如前所述，它包括人臉檢測、人臉預處理和人臉表示。然后，我們分別回顧了基于深度學習的每個元素的進展，包括許多方面，如最新的算法設計、評估指標、數據集、性能比較、存在的挑戰和未來的研究方向。我們希望這一調查可以為我們更好地理解端到端人臉識別的大圖和更系統的探索帶來有益的想法。

//arxiv.org/abs/2009.13290

深度學習利用多個處理層來學習具有多個層次特征的數據表示。自2014年以來，隨著Deepface和DeepID方法的突破，這一新興技術已經重塑了人臉識別的研究領域。從那時起，深度人臉識別(FR)技術，利用層次結構學習區分的人臉表示，已經極大地提高了最先進的性能，并培養了許多成功的現實世界的應用。在這篇論文中，我們提供了一個全面深度學習人臉識別綜述。首先，我們總結了在快速發展的深度FR方法中提出的不同的網絡結構和損耗函數。其次，相關的人臉處理方法被分為兩個類:“一對多增強”和“多對一歸一化”。然后，對常用的模型訓練和評價數據庫進行了總結和比較。第三，對跨因素場景、異質場景、多媒體場景和行業場景進行了深入分析。最后，指出了現有方法的潛在不足和未來的發展方向。

在海量大數據的幫助下，深度學習在許多領域都取得了顯著的成功。但是，數據標簽的質量是一個問題，因為在許多現實場景中缺乏高質量的標簽。由于帶噪標簽嚴重降低了深度神經網絡的泛化性能，從帶噪標簽中學習(魯棒訓練)已成為現代深度學習應用的一項重要任務。在這個綜述中，我們首先從監督學習的角度來描述標簽噪聲的學習問題。接下來，我們提供了對46種最先進的魯棒訓練方法的全面回顧，所有這些方法根據其方法上的差異被歸類為7組，然后系統地比較用于評價其優越性的6種屬性。然后，總結了常用的評價方法，包括公共噪聲數據集和評價指標。最后，我們提出了幾個有前景的研究方向，可以作為未來研究的指導。

//arxiv.org/abs/2007.08199

語義圖像分割任務包括將圖像的每個像素分類為一個實例，其中每個實例對應一個類。這個任務是場景理解或更好地解釋圖像的全局上下文概念的一部分。在醫學圖像分析領域，圖像分割可用于圖像引導干預、放療或改進的放射診斷。本綜述將基于深度學習的醫學和非醫學圖像分割解決方案分為六大組:深度架構、基于數據合成、基于損失函數、排序模型、弱監督和多任務方法，并對每一組的貢獻進行全面綜述。然后，針對每一組，我們分析了每一組的不同，并討論了當前方法的局限性和未來語義圖像分割的研究方向。