亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖是連接數據網絡結構的一種常用表示形式。圖數據可以在廣泛的應用領域中找到，如社會系統、生態系統、生物網絡、知識圖譜和信息系統。隨著人工智能技術的不斷滲透發展，圖學習(即對圖進行機器學習)越來越受到研究者和實踐者的關注。圖學習對許多任務都非常有效，如分類，鏈接預測和匹配。圖學習方法通常是利用機器學習算法提取圖的相關特征。在這個綜述中，我們提出了一個關于圖學習最全面的概述。特別關注四類現有的圖學習方法，包括圖信號處理、矩陣分解、隨機游走和深度學習。分別回顧了這些類別下的主要模型和算法。我們研究了諸如文本、圖像、科學、知識圖譜和組合優化等領域的圖學習應用。此外，我們還討論了該領域幾個有前景的研究方向。

真實的智能系統通常依賴于機器學習算法處理各種類型的數據。盡管圖數據無處不在，但由于其固有的復雜性，給機器學習帶來了前所未有的挑戰。與文本、音頻和圖像不同，圖數據嵌入在一個不規則的領域，使得現有機器學習算法的一些基本操作不適用。許多圖學習模型和算法已經被開發出來解決這些挑戰。本文系統地綜述了目前最先進的圖學習方法及其潛在的應用。這篇論文有多種用途。首先，它作為不同領域(如社會計算、信息檢索、計算機視覺、生物信息學、經濟學和電子商務)的研究人員和從業者提供圖學習的快速參考。其次，它提供了對該領域的開放研究領域的見解。第三，它的目的是激發新的研究思路和更多的興趣在圖學習。

圖，又稱網絡，可以從現實世界中豐富的實體之間的各種關系中提取。一些常見的圖表已經被廣泛用于表達不同的關系，如社會網絡、生物網絡、專利網絡、交通網絡、引文網絡和通信網絡[1]-[3]。圖通常由兩個集合定義，即頂點集和邊集。頂點表示圖形中的實體，而邊表示這些實體之間的關系。由于圖學習在數據挖掘、知識發現等領域的廣泛應用，引起了人們的廣泛關注。由于圖利用了頂點[4]，[5]之間的本質和相關關系，在捕獲復雜關系方面，圖學習方法變得越來越流行。例如，在微博網絡中，通過檢測信息級聯，可以跟蹤謠言的傳播軌跡。在生物網絡中，通過推測蛋白質的相互作用可以發現治療疑難疾病的新方法。在交通網絡中，通過分析不同時間戳[6]的共現現象，可以預測人類的移動模式。對這些網絡的有效分析很大程度上取決于網絡的表示方式。

一般來說，圖學習是指對圖進行機器學習。圖學習方法將圖的特征映射到嵌入空間中具有相同維數的特征向量。圖學習模型或算法直接將圖數據轉換為圖學習體系結構的輸出，而不將圖投影到低維空間。由于深度學習技術可以將圖數據編碼并表示為向量，所以大多數圖學習方法都是基于或從深度學習技術推廣而來的。圖學習的輸出向量在連續空間中。圖學習的目標是提取圖的期望特征。因此，圖的表示可以很容易地用于下游任務，如節點分類和鏈接預測，而無需顯式的嵌入過程。因此，圖學習是一種更強大、更有意義的圖分析技術。

在這篇綜述論文中，我們試圖以全面的方式檢驗圖機器學習方法。如圖1所示，我們關注現有以下四類方法:基于圖信號處理(GSP)的方法、基于矩陣分解的方法、基于隨機游走的方法和基于深度學習的方法。大致來說，GSP處理圖的采樣和恢復，并從數據中學習拓撲結構。矩陣分解可分為圖拉普拉斯矩陣分解和頂點接近矩陣分解。基于隨機游動的方法包括基于結構的隨機游動、基于結構和節點信息的隨機游動、異構網絡中的隨機游動和時變網絡中的隨機游動。基于深度學習的方法包括圖卷積網絡、圖注意力網絡、圖自編碼器、圖生成網絡和圖時空網絡。基本上，這些方法/技術的模型架構是不同的。本文對目前最先進的圖學習技術進行了廣泛的回顧。

傳統上，研究人員采用鄰接矩陣來表示一個圖，它只能捕捉相鄰兩個頂點之間的關系。然而，許多復雜和不規則的結構不能被這種簡單的表示捕獲。當我們分析大規模網絡時，傳統的方法在計算上是昂貴的，并且很難在現實應用中實現。因此，有效地表示這些網絡是解決[4]的首要問題。近年來提出的網絡表示學習(NRL)可以學習低維表示[7]-[9]的網絡頂點潛在特征。當新的表示被學習后，可以使用以前的機器學習方法來分析圖數據，并發現數據中隱藏的關系。

當復雜網絡被嵌入到一個潛在的、低維的空間中時，結構信息和頂點屬性可以被保留[4]。因此，網絡的頂點可以用低維向量表示。在以往的機器學習方法中，這些向量可以看作是輸入的特征。圖學習方法為新的表示空間中的圖分析鋪平了道路，許多圖分析任務，如鏈接預測、推薦和分類，都可以有效地解決[10]，[11]。網絡的圖形化表現方式揭示了社會生活的各個方面，如交流模式、社區結構和信息擴散[12]，[13]。根據頂點、邊和子圖的屬性，可以將圖學習任務分為基于頂點、基于邊和基于子圖三類。圖中頂點之間的關系可以用于分類、風險識別、聚類和社區檢測[14]。通過判斷圖中兩個頂點之間的邊的存在，我們可以進行推薦和知識推理。基于子圖[15]的分類，該圖可用于聚合物分類、三維可視化分類等。對于GSP，設計合適的圖形采樣方法以保持原始圖形的特征，從而有效地恢復原始圖形[16]具有重要意義。在存在不完整數據[17]的情況下，可以使用圖恢復方法構造原始圖。然后利用圖學習從圖數據中學習拓撲結構。綜上所述，利用圖學習可以解決傳統的圖分析方法[18]難以解決的以下挑戰。

近年來，自然語言處理的研究方法取得了一些突破。這些突破來源于兩個新的建模框架以及在計算和詞匯資源的可用性的改進。在這個研討會小冊子中，我們將回顧這些框架，以一種可以被視為現代自然語言處理開端的方法論開始:詞嵌入。我們將進一步討論將嵌入式集成到端到端可訓練方法中，即卷積神經網絡和遞歸神經網絡。這本小冊子的第二章將討論基于注意力的模型的影響，因為它們是最近大多數最先進的架構的基礎。因此，我們也將在本章中花很大一部分時間討論遷移學習方法在現代自然語言處理中的應用。最后一章將會是一個關于自然語言生成的說明性用例，用于評估最先進的模型的訓練前資源和基準任務/數據集。

//compstat-lmu.github.io/seminar_nlp_ss20/

在過去的幾十年里，人工智能技術的重要性和應用不斷得到關注。在當今時代，它已經與構成人類塑造環境的大部分環境密不可分。因此，商業、研究和開發、信息服務、工程、社會服務和醫學等無數部門已經不可逆轉地受到人工智能能力的影響。人工智能有三個主要領域組成了這項技術:語音識別、計算機視覺和自然語言處理(見Yeung (2020))。在這本書中，我們將仔細研究自然語言處理(NLP)的現代方法。

這本小冊子詳細介紹了用于自然語言處理的現代方法，如深度學習和遷移學習。此外，本研究亦會研究可用于訓練自然語言處理任務的資源，并會展示一個將自然語言處理應用于自然語言生成的用例。

為了分析和理解人類語言，自然語言處理程序需要從單詞和句子中提取信息。由于神經網絡和其他機器學習算法需要數字輸入來進行訓練，因此應用了使用密集向量表示單詞的詞嵌入。這些通常是通過有多個隱藏層的神經網絡學習的，深度神經網絡。為了解決容易的任務，可以應用簡單的結構神經網絡。為了克服這些簡單結構的局限性，采用了遞歸和卷積神經網絡。因此，遞歸神經網絡用于學習不需要預先定義最佳固定維數的序列的模型，卷積神經網絡用于句子分類。第二章簡要介紹了NLP中的深度學習。第三章將介紹現代自然語言處理的基礎和應用。在第四章和第五章中，將解釋和討論遞歸神經網絡和卷積神經網絡及其在自然語言處理中的應用。

遷移學習是每個任務或領域的學習模型的替代選擇。在這里，可以使用相關任務或領域的現有標記數據來訓練模型，并將其應用到感興趣的任務或領域。這種方法的優點是不需要在目標域中進行長時間的訓練，并且可以節省訓練模型的時間，同時仍然可以(在很大程度上)獲得更好的性能。遷移學習中使用的一個概念是注意力，它使解碼器能夠注意到整個輸入序列，或自注意，它允許一個Transformer 模型處理所有輸入單詞，并建模一個句子中所有單詞之間的關系，這使得快速建模一個句子中的長期依賴性成為可能。遷移學習的概念將在小冊子的第6章簡要介紹。第七章將通過ELMo、ULMFiT和GPT模型來描述遷移學習和LSTMs。第八章將詳細闡述注意力和自注意力的概念。第九章將遷移學習與自注意力相結合，介紹了BERT模型、GTP2模型和XLNet模型。

為NLP建模，需要資源。為了找到任務的最佳模型，可以使用基準測試。為了在基準實驗中比較不同的模型，需要諸如精確匹配、Fscore、困惑度或雙語評估替補學習或準確性等指標。小冊子的第十章簡要介紹了自然語言處理的資源及其使用方法。第11章將解釋不同的指標，深入了解基準數據集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA，以及可以找到資源的預訓練模型和數據庫，如“帶代碼的論文”和“大壞的NLP數據庫”。

在小冊子的最后一章中，介紹了生成性NLP處理自然語言生成，從而在人類語言中生成可理解的文本。因此，不同的算法將被描述，聊天機器人和圖像字幕將被展示，以說明應用的可能性。

本文對自然語言處理中各種方法的介紹是接下來討論的基礎。小冊子的各個章節將介紹現代的NLP方法，并提供了一個更詳細的討論，以及各種示例的潛力和限制。

時尚是我們向世界展示自己的方式，已經成為世界上最大的產業之一。時尚主要通過視覺來傳達，因此近年來受到了計算機視覺研究者的廣泛關注。鑒于智能時尚的快速發展，本文對200多部主要時尚相關工作進行了全面的綜述，涵蓋了實現智能時尚的四個主要方面: (1)時尚檢測包括地標檢測、時尚解析、時尚條目檢索等。(2)時尚分析包含屬性識別、風格學習和流行度預測，(3)時尚合成包括風格轉換、姿勢變換、物理模擬等，(4)時尚推薦包括時尚搭配、服裝搭配、發型建議。針對每個任務，總結了基準數據集和評估協議。展望了未來的研究方向。

導論

時尚是我們向世界展示自己的方式。我們的著裝和化妝方式定義了我們獨特的風格，并將我們與他人區分開來。時尚在現代社會已經成為了我這個人不可或缺的一部分。不出所料，僅全球服裝市場就已超過3萬億美元，占世界國內生產總值的近2%。具體來說，到2020年，時尚領域的收入將超過7180億美元，預計每年增長8.4%。

隨著計算機視覺與人工智能(AI)的革命正在進行，人工智能開始沖擊寬宏大量的時尚領域，從電子零售到個性化設計師，再到服裝設計流程，各種應用創新正在重塑我們的時尚生活。在本文中，我們將計算機視覺驅動的時尚技術稱為智能時尚。從技術上講，智能時尚是一項具有挑戰性的任務，因為與一般對象不同，時尚項目在風格和設計上存在顯著差異，最重要的是，可計算的低級特性和它們所編碼的高級語義概念之間存在著長期存在的語義鴻溝。

之前很少有工作[120,165]與時尚綜述相關。2014年，Liu等[120]提出了一項以人臉美容和服裝分析為重點的智能時尚分析的初步文獻調查，介紹了2006-2013年發表的代表著作。然而，由于計算機視覺的快速發展，智能時尚的領域遠遠不止這兩個領域，如風格遷移、物理模仿、時尚預測。有很多相關的工作需要更新。2018年，Song and Mei[165]介紹了多媒體時尚研究的進展，將時尚任務分為三個方面: 低級像素計算、中級時尚理解和高級時尚分析。低像素計算的目的是在圖像上生成像素級標簽，如人體分割、地標檢測和人體姿態估計。中級時尚理解旨在識別時尚形象，如時尚物品和時尚風格。高級時尚分析包括時尚推薦、時尚綜合、時尚趨勢預測。然而，目前還缺乏一個系統、全面的綜述來描繪智能時尚的全貌，從而總結和分類最先進的方法，討論數據集和評價指標，并為未來的研究方向提供見解。

目前關于智能時尚的研究課題不僅包括檢測以圖像形式呈現的時尚物品，還包括對其進行分析，綜合創意新產品，最后給出個性化的建議。因此，在本文中，我們將相應的研究主題組織起來，分類如圖1所示，包括時尚圖像檢測、分析、合成和推薦。此外，我們還概述了智能時尚在時尚領域的主要應用，展示了智能時尚在時尚行業的力量。總的來說，我們工作的貢獻可以總結如下:

• 我們提供時尚領域的最新研究進展的全面綜述，并將時尚研究主題分為四個主要類別:檢測、分析、合成和推薦。

• 對于智能時尚研究中的每個類別，我們提供了一個深入和有組織的回顧，其中最重要的方法及其貢獻。同時, 我們總結基準數據集以及相應的門戶網站的鏈接。

• 我們為不同的問題收集評估指標，并對不同的方法進行性能比較。

• 我們列出了可能的未來方向，這將有助于即將到來的進步，并激勵研究社區。

本綜述的組織部分如下。第二節回顧了時尚檢測任務，包括地標檢測、時尚解析和條目檢索。第3節說明了包含屬性識別、風格學習和流行度預測的時裝分析工作。第4節提供了時裝合成任務的概述，包括風格轉換、人體姿勢轉換和物理紋理模擬。第五節介紹時尚推薦作品，包括時尚搭配、服裝搭配、發型建議。此外，第6節展示了選定的應用和未來的工作。最后但并非最不重要的是，結束語在第7節給出。

近年來，從社交媒體平臺、醫學圖像和機器人等各個領域產生和分享了大量的視覺內容。大量的內容創造和分享帶來了新的挑戰。特別是，對相似內容的數據庫進行搜索，即基于內容的圖像檢索(CBIR)，是一個長期存在的研究領域，需要更有效和準確的方法來實現實時檢索。人工智能在CBIR方面取得了很大進展，極大地促進了智能搜索的進程。在本綜述論文中，我們組織和回顧了基于深度學習算法和技術的CBIR研究，包括來自近期論文的見解和技術。我們識別并呈現了該領域常用的數據庫、基準和評估方法。我們收集共同的挑戰，并提出有希望的未來方向。更具體地說，我們關注深度學習的圖像檢索，并根據深度網絡結構的類型、深度特征、特征增強方法和網絡微調策略來組織目前最先進的方法。我們的綜述論文查考慮了各種各樣的最新方法，旨在促進基于類別的信息檢索領域的全部視角。

//www.zhuanzhi.ai/paper/01b0e04eb5d1eeb53be30aa761b7cd12

基于內容的圖像檢索(CBIR)是通過分析大型圖庫中的可視內容來搜索語義匹配或相似圖像的問題，給定描述用戶需求的查詢圖像，如圖1(a)所示。CBIR是計算機視覺和多媒體領域長期存在的研究課題[1,2]。隨著當前圖像和視頻數據的指數級增長，迫切需要開發一種合適的信息系統來有效地管理這樣的大型圖像集合，圖像搜索是與可視化集合交互的最不可或缺的技術之一。因此，CBIR的應用潛力幾乎是無限的，如人員再識別[3]、遙感[4]、醫學圖像搜索[5]、在線市場購物推薦[6]等。

CBIR可以大致分為實例級檢索和類別級檢索，如圖1(b)所示。在實例級圖像檢索中，給定一個特定對象或場景(如埃菲爾鐵塔)的查詢圖像，目標是找到包含相同對象或場景的圖像，這些圖像可能在不同的視點、光照條件或受遮擋情況下捕獲[7,8]。相反，對于類別級別的圖像檢索，目標是找到與查詢相同類的圖像(例如，狗、汽車等)。實例級檢索更有挑戰性，也更有前景，因為它滿足許多應用程序的特定目標。請注意，我們將本文的重點限制在實例級的圖像檢索上，如果沒有進一步指定，則認為“圖像檢索”和“實例檢索”是等價的，可以互換使用。

要找到想要的圖像，可能需要在數千張、數百萬張甚至數十億張圖像中搜索。因此，高效搜索與準確搜索同等重要，并為此不斷付出努力[7,8,9,10,11]。為了實現對海量圖像的準確高效檢索，緊湊而豐富的特征表示是CBIR的核心。

近二十年來，圖像特征表示取得了顯著進展，主要包括兩個重要階段: 特征工程和特征學習(特別是深度學習)。在特征工程時代(即前深度學習時代)，該領域被具有里程碑意義的手工工程特征描述符所主導，如尺度不變特征變換(SIFT)[19]。特征學習階段，即自2012年開始的深度學習時代，從人工神經網絡開始，特別是ImageNet和深度卷積神經網絡(DCNN) AlexNet[20]的突破。從那以后，深度學習技術影響了廣泛的研究領域，因為DCNNs可以直接從數據中學習具有多層抽象的強大特征表示，繞過了傳統特征工程中的多個步驟。深度學習技術引起了人們的極大關注，并在許多計算機視覺任務中取得了長足的突破，包括圖像分類[20,21,22]、目標檢測[23]、語義分割[24]、圖像檢索[10,13,14]。

[1, 2, 8]對傳統圖像檢索方法進行了優秀的研究。相比之下，本文側重于基于深度學習的方法，我們的工作與其他發表的綜述[8,14,15,16]比較如表1所示。圖像檢索的深度學習包含了如圖2所示的關鍵階段，為了提高檢索的準確性和效率，已經提出了針對一個或多個階段的多種方法。在本綜述中，我們對這些方法進行了全面的詳細介紹，包括深度網絡的結構、特征融合、特征增強方法和網絡微調策略，動機是以下問題一直在推動這一領域的研究:

1)通過只使用現成的模型，深度特征如何勝過手工制作特征?

2)在跨訓練數據集的領域遷移的情況下，我們如何適應現成的模型來維持甚至提高檢索性能?

3)由于深度特征通常是高維的，我們如何有效地利用它們進行高效的圖像檢索，特別是針對大規模數據集?

在基于AlexNet[20]的圖像檢索實現非常成功之后，對檢索任務的DCNNs進行了重要的探索，大致沿循了上述三個問題。也就是說，DCNN方法被分為(1)現成的模型和(2)經過微調的模型，如圖3所示，并并行處理(3)有效的特征。DCNN是現成的還是微調的，取決于DCNN的參數是[25]更新還是基于參數固定的DCNN[25,26,27]。對于特征圖，研究人員提出了R-MAC[28]、CroW[10]、SPoC[7]等編碼和聚合方法。

最近在改進圖像檢索方面的進展可以分為網絡級和特征級兩類，圖4給出了詳細的分類。這項綜述大致包括以下四個范疇:

(1) 網絡架構的改進 (第2節)

利用堆疊線性濾波器(如卷積)和非線性激活函數(ReLU等)，不同深度的深度網絡獲得不同層次的特征。層次越深的網絡能夠提供更強大的學習能力，從而提取高層次的抽象和語義感知特征[21,46]。并行地連接多尺度特性是可能的，例如GoogLeNet [47]中的Inception模塊，我們將其稱為“擴展”。

(2) 深度特征提取(3.1節)

FC層和卷積層的神經元具有不同的接受域，這提供了三種提取特征的方法:卷積層的局部特征[7,59]，FC層的全局特征[32,60]，以及兩種特征的融合[61,62]，融合方案包括層級和模型級方法。深度特征可以從整幅圖像中提取，也可以從圖像小塊中提取，分別對應于單通道和多通道的前饋方案。

(3) 深度特征增強

通過特征增強來提高深度特征的判別能力。直接使用深度網絡[17]同時訓練聚合特征;另外，特征嵌入方法包括BoW[63]、VLAD[64]和FV[65]將局部特征嵌入到全局特征中。這些方法分別使用深度網絡(基于codebook)或聯合(無codebook)進行訓練。另外，采用哈希方法[18]將實值特征編碼為二進制碼，提高檢索效率。特征增強策略會顯著影響圖像檢索的效率。

(4) 學習表示的網絡微調(第4節)

在源數據集上預先訓練的用于圖像分類的深度網絡被轉移到新的數據集上進行檢索任務。然而，檢索性能受到數據集之間的域轉移的影響。因此，有必要對深度網絡進行微調到特定的領域[34,56,66]，這可以通過有監督的微調方法來實現。然而，在大多數情況下，圖像標記或標注是耗時和困難的，因此有必要開發無監督的方法進行網絡微調。

本文綜述了近年來用于圖像檢索的深度學習方法的研究進展，并根據深度網絡的參數更新，將其分為現成的深度圖像檢索模型和微調模型。

The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人臉識別是計算機視覺領域中最基本、最長期存在的研究課題之一。隨著深度卷積神經網絡和大規模數據集的發展，深度人臉識別取得了顯著的進展，并在實際應用中得到了廣泛的應用。以自然圖像或視頻幀作為輸入，端到端深度人臉識別系統輸出人臉特征進行識別。為了實現這一目標，整個系統通常由三個關鍵要素構建:人臉檢測、人臉預處理和人臉表示。人臉檢測在圖像或幀中定位人臉。然后，對人臉進行預處理，將人臉標定為標準視圖，并將其裁剪為標準化像素大小。最后，在人臉表示階段，從預處理后的人臉中提取識別特征進行識別。深度卷積神經網絡滿足了這三個要素。摘要隨著深度學習技術的蓬勃發展，端到端深度人臉識別技術的能力得到了極大的提高，本文對端到端深度人臉識別技術中各個方面的最新進展進行了綜述。首先，我們介紹端到端深度人臉識別的概述，如前所述，它包括人臉檢測、人臉預處理和人臉表示。然后，我們分別回顧了基于深度學習的每個元素的進展，包括許多方面，如最新的算法設計、評估指標、數據集、性能比較、存在的挑戰和未來的研究方向。我們希望這一調查可以為我們更好地理解端到端人臉識別的大圖和更系統的探索帶來有益的想法。

//arxiv.org/abs/2009.13290

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

流處理作為一個活躍的研究領域已經有20多年了，但是由于最近研究社區和眾多世界范圍的開源社區的成功努力，它現在正見證著它的黃金時期。本綜述提供了流處理系統的基本方面的全面概述，以及流處理系統在無序數據管理、狀態管理、容錯、高可用性、負載管理、彈性和重新配置等功能領域的發展。我們回顧了過去值得注意的研究成果，概述了早期(00- 10)和現代(11- 18)流媒體系統之間的異同，并討論了最近的趨勢和開放問題。

由于計算和存儲效率的提高，哈希被廣泛應用于大規模數據庫檢索中的近似近鄰搜索。深度哈希技術是一種利用卷積神經網絡結構來挖掘和提取圖像語義信息或特征的技術，近年來受到越來越多的關注。在這個綜述中，我們對幾種圖像檢索的深度監督哈希方法進行了評估，總結出深度監督哈希方法的三個主要不同方向。最后提出了幾點意見。此外，為了突破現有哈希方法的瓶頸，我提出了一種影子周期性哈希(SRH)方法作為嘗試。具體來說，我設計了一個CNN架構來提取圖像的語義特征，并設計了一個loss function來鼓勵相似的圖像投影接近。為此，我提出了一個概念: CNN輸出的影子。在優化的過程中，CNN的輸出和它的shadow互相引導，盡可能的達到最優解。在數據集CIFAR-10上的實驗表明，該算法具有良好的性能。

//arxiv.org/abs/2006.05627

盡管在深度學習方面取得了最近的進展，但大多數方法仍然采用類似“筒倉”的解決方案，專注于孤立地學習每個任務:為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實問題需要多模態方法，因此需要多任務模型。多任務學習(MTL)旨在利用跨任務的有用信息來提高模型的泛化能力。在這個綜述中，我們提供了一個最先進的在深度神經網絡的背景下MTL技術的全面觀點。我們的貢獻涉及以下方面。首先，我們從網絡架構的角度來考慮MTL。我們包括了一個廣泛的概述，并討論了最近流行的MTL模型的優缺點。其次，我們研究了解決多任務聯合學習的各種優化方法。我們總結了這些工作的定性要素，并探討了它們的共性和差異。最后，我們在各種數據集上提供了廣泛的實驗評估，以檢查不同方法的優缺點，包括基于架構和優化的策略。

//arxiv.org/abs/2004.13379

概述

在過去的十年中，神經網絡在許多任務中都顯示了令人印象深刻的結果，例如語義分割[1]，實例分割[2]和單目深度估計[3]。傳統上，這些任務是單獨處理的，即為每個任務訓練一個單獨的神經網絡。然而，許多現實世界的問題本質上是多模態的。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，定位它們，了解它們是什么，估計它們的距離和軌跡，等等，以便在它的周圍安全導航。同樣的，一個智能廣告系統應該能夠在它的視點上檢測到人們的存在，了解他們的性別和年齡，分析他們的外貌，跟蹤他們正在看的地方，等等，從而提供個性化的內容。與此同時，人類非常擅長同時解決許多任務。生物數據處理似乎也遵循多任務處理策略: 不同的處理過程似乎共享大腦中相同的早期處理層，而不是將任務分開單獨處理。上述觀察結果促使研究人員開發了多任務學習(MTL)模型，即給定一個輸入圖像可以推斷出所有所需的任務輸出。

在深度學習時代之前，MTL工作試圖對任務之間的共同信息進行建模，希望通過聯合任務學習獲得更好的泛化性能。為了實現這一點，他們在任務參數空間上放置了假設，例如:任務參數應該彼此靠近w.r.t.一些距離度量[5]，[6]，[16]0，[16]2，共享一個共同的概率先驗[16]1，[10]，[11]，[12]，[13]，或駐留在一個低維子空間[14]，[15]，[16]或流形[17]。當所有任務都是相關的[5]、[14]、[18]、[19]時，這些假設可以很好地工作，但是如果在不相關的任務之間發生信息共享，則可能導致性能下降。后者是MTL中已知的問題，稱為負轉移。為了緩解這一問題，其中一些研究人員選擇根據先前對任務的相似性或相關性的認識將任務分組。

在深度學習時代，MTL轉化為能夠從多任務監控信號中學習共享表示的網絡設計。與單任務情況下，每個單獨的任務由自己的網絡單獨解決相比，這種多任務網絡理論上給表帶來了幾個優點。首先，由于它們固有的層共享，結果內存占用大大減少。其次，由于他們明確地避免重復計算共享層中的特征，每次都要計算一次，因此他們的推理速度有所提高。最重要的是，如果相關的任務能夠分享互補的信息，或者互相調節，它們就有可能提高績效。對于前者，文獻已經為某些對任務提供了證據，如檢測和分類[20]，[21]，檢測和分割[2]，[22]，分割和深度估計[23]，[24]，而對于后者，最近的努力指向了那個方向[25]。這些工作導致了第一個深度多任務網絡的發展，歷史上分為軟或硬參數共享技術。

在本文中，我們回顧了在深度神經網絡范圍內的MTL的最新方法。首先，我們對MTL基于架構和優化的策略進行了廣泛的概述。對于每種方法，我們描述了其關鍵方面，討論了與相關工作的共性和差異，并提出了可能的優點或缺點。最后，我們對所描述的方法進行了廣泛的實驗分析，得出了幾個關鍵的發現。我們在下面總結了我們的一些結論，并提出了未來工作的一些可能性。

• 首先，MTL的性能在很大程度上取決于任務字典。它的大小、任務類型、標簽源等等，都影響最終的結果。因此，最好根據每個案例選擇合適的架構和優化策略。盡管我們提供了具體的觀察結果，說明為什么某些方法在特定設置中工作得更好，但是MTL通常可以從更深的理論理解中獲益，從而在每種情況下最大化預期收益。例如，這些收益似乎取決于多種因素，例如數據量、任務關系、噪音等。未來的工作應該嘗試分離和分析這些不同因素的影響。

• 其次，當使用單一MTL模型處理多個密集預測任務時，基于解碼器的架構目前在多任務性能方面提供了更多優勢，與基于編碼器的架構相比，其計算開銷有限。如前所述，這是由于基于解碼器的體系結構促進了常見的跨任務模式的對齊，這自然很適合密集的預測任務。基于編碼器的架構在密集預測任務設置中仍然具有一定的優勢，但其固有的層共享似乎更適合處理多個分類任務。

• 最后，我們分析了多種任務均衡策略，并分離出對任務均衡學習最有效的要素，如降低噪聲任務的權重、平衡任務梯度等。然而，許多優化方面仍然缺乏了解。與最近的研究相反，我們的分析表明避免任務之間的梯度競爭會損害性能。此外，我們的研究顯示，一些任務平衡策略仍然存在不足，突出了現有方法之間的一些差異。我們希望這項工作能促進對這一問題的進一步研究。

模態是指事物發生或存在的方式，如文字、語言、聲音、圖形等。多模態學習是指學習多個模態中各個模態的信息，并且實現各個模態的信息的交流和轉換。多模態深度學習是指建立可以完成多模態學習任務的神經網絡模型。多模態學習的普遍性和深度學習的熱度賦予了多模態深度學習鮮活的生命力和發展潛力。旨在多模態深度學習的發展前期，總結當前的多模態深度學習，發現在不同的多模態組合和學習目標下，多模態深度學習實現過程中的共有問題，并對共有問題進行分類，敘述解決各類問題的方法。具體來說，從涉及自然語言、視覺、聽覺的多模態學習中考慮了語言翻譯、事件探測、信息描述、情緒識別、聲音識別和合成，以及多媒體檢索等方面研究，將多模態深度學習實現過程中的共有問題分為模態表示、模態傳譯、模態融合和模態對齊四類，并對各問題進行子分類和論述，同時列舉了為解決各問題產生的神經網絡模型。最后論述了實際多模態系統，多模態深度學習研究中常用的數據集和評判標準，并展望了多模態深度學習的發展趨勢。