亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

盡管深度學習取得了理論成就和令人鼓舞的實踐結果，但在推理、因果推理、可解釋性和可解釋性等許多領域仍然存在局限性。從應用程序的角度來看，最有效的限制之一與這些系統的魯棒性有關。事實上，目前的深度學習解決方案都沒有告知它們是否能夠在推理過程中對一個例子進行可靠的分類。現代神經網絡通常過于自信，即使它們是錯誤的。因此，構建魯棒的深度學習應用是當前計算機視覺、自然語言處理和許多其他領域的前沿研究課題。構建更可靠的深度學習解決方案最有效的方法之一是提高它們在所謂分布外檢測任務中的性能，所謂分布外檢測任務本質上是由“知道你不知道”或“知道未知”組成的。換句話說，當提交神經網絡未訓練的類實例時，具有分布外檢測能力的系統可能會拒絕執行無意義的分類。本文通過提出新的損失函數和檢測分數來解決目標性分布不均檢測任務。不確定性估計也是構建更魯棒的深度學習系統的關鍵輔助任務。因此，我們也處理這個與魯棒性相關的任務，它評估由深度神經網絡呈現的概率有多真實。為了證明我們的方法的有效性，除了大量的實驗，其中包括最新的結果，我們使用基于最大熵原理的論點來建立所提出的方法的理論基礎。與大多數當前的方法不同，我們的損失和得分是無縫的和有原則的解決方案，除了快速和有效的推斷，還能產生準確的預測。此外，我們的方法可以并入到當前和未來的項目中，只需替換用于訓練深度神經網絡的損失，并計算一個快速的檢測評分。

盡管深度神經網絡(DNNs)在許多領域都表現出了強大的解決大規模問題的能力，但這種具有大量參數的DNNs很難部署在實時系統中。為了解決這個問題，教師-學生體系結構首先被用于知識蒸餾，其中簡單的學生網絡可以實現與深度教師網絡相當的性能。近年來，師生體系結構在各種知識學習目標上得到了有效和廣泛的應用，包括知識蒸餾、知識擴展、知識適應和多任務學習。在師生體系結構的幫助下，目前的研究能夠通過輕量級和有效的學生網絡實現多種知識學習目標。與現有的知識蒸餾綜述不同，該綜述詳細討論了具有多個知識學習目標的師生體系結構。此外，我們系統地介紹了知識學習過程中的知識構建和優化過程，然后分析了各種師生架構和有效的學習方案，以學習具有代表性和魯棒性的知識。本文還總結了基于不同目的(即分類、識別和生成)的師生體系結構的最新應用。最后，分別從師生架構設計、知識質量和回歸學習理論研究三個方面探討了知識學習的潛在研究方向。通過這個全面的綜述，行業從業者和學術界都可以了解到關于多個知識學習目標的師生架構的有見地的指導方針。 //arxiv.org/abs/2210.17332

1. 概述

深度神經網絡(DNNs)在許多領域都取得了成功，如計算機視覺1、通信系統[2]和自然語言處理(NLP)[3]等。具體地說，為了滿足大規模任務中的魯棒性能，dnn通常使用復雜的體系結構進行過度參數化。然而，這種繁瑣的模型同時需要大量的訓練時間和計算成本，這對在邊緣設備和實時系統中部署這些模型提出了重大挑戰。為了加速訓練過程，Hinton等人[4]首先提出了知識蒸餾來訓練輕量級模型，以達到與深度模型相當的性能，這是通過將信息知識從一個計算成本高的大型模型(即教師模型)壓縮到一個計算效率高的小型模型(即學生模型)來實現的。使用這樣的師生體系結構，可以在教師模型的監督下訓練學生模型。在學生模型的訓練過程中，學生模型不僅要盡可能接近地預測ground truth標簽，而且要匹配教師模型的軟化標簽分布。因此，壓縮后的學生模型能夠獲得與繁瑣的教師模型相當的性能，并且可以有效地部署在實時應用程序和邊緣設備中。

師生架構在模型壓縮的知識蒸餾中得到了廣泛的應用，[5]，[6]，[7]的一些綜述總結了近年來基于師生架構的各種知識蒸餾技術的進展。具體來說，Gou等人從以下角度對知識蒸餾進行了全面調查:知識類型、蒸餾方案和師生架構。Wang等人[6]對CV應用中的師生架構知識蒸餾提供了系統的概述和見解。Alkhulaifi等人[7]總結了多種蒸餾指標來比較不同蒸餾方法的性能。但是，上述綜述并沒有討論在蒸餾過程中的知識構建和優化，知識類型和優化目標是為學生學習提供信息性知識的重要因素。此外，現有的調查也沒有介紹知識蒸餾在各種應用場景下的目的。

與知識蒸餾不同的是，師生體系結構在知識擴展、知識適應、多任務學習等其他知識學習目標上得到了有效和廣泛的應用。在師生體系結構的幫助下，我們能夠通過輕量級和有效的學生網絡實現多種知識學習目標。隨著模型能力的增強和訓練環境的困難，學生網絡可以從教師網絡中學習擴展的知識，使學生能夠在更復雜的任務中取得比教師更好的表現和泛化能力[8]、[9]、[10]。在知識適應中，學生網絡在一個或多個目標域上進行訓練，教師網絡的適應知識在源域[11]、[12]上進行訓練。此外，構建多任務學生網絡，在多個專業教師網絡的監督下學習更多的通用特征表示，使這種通用學生網絡可以有效地應用于多個任務[13]。

因此，本綜述提供了一個全面和深刻的指南，關于知識學習的師生架構。不同于現有的知識蒸餾[5]、[6]、[7]的綜述，本文首先介紹了針對多個知識學習目標(包括知識蒸餾、知識擴展、知識適應和多任務學習)的師生架構，然后討論了知識構建和優化過程。此外，我們系統地總結了各種師生體系結構和學習方案，可用于學習具有代表性和魯棒性的知識。本文還從分類、識別和生成等不同目的的角度討論了師生體系結構的最新應用。最后，分別從師生架構設計、知識質量和基于回歸學習的理論研究三個方面探討了知識學習的潛在研究方向。本次綜述的總體分類框架如圖1所示。這項綜述的主要貢獻可以總結如下。

• 與現有的知識蒸餾綜述不同，我們介紹了針對多個知識學習目標的師生架構，包括知識蒸餾、知識擴展、知識適應和多任務學習。

• 我們對知識學習過程中的知識形成進行了詳細的回顧，包括知識的構建和優化。

• 我們基于不同的目的總結了師生體系結構的最新應用，包括分類、識別和生成。

• 討論了知識學習的研究方向，包括師生架構設計、知識質量和基于回歸學習的理論研究

第二節描述了針對不同學習目標的師生架構，包括知識蒸餾、知識擴展、知識適應和多任務學習。第三部分介紹了在學習過程中知識是如何構建和優化的。第4節分別討論了單個和多個教師網絡的各種學生網絡;第五部分進一步介紹了師生網絡的在線學習和自學方案。第6節總結了針對不同目的的師生體系結構的最新應用。未來的工作和結論將分別在第7節和第8節中得出。

2. 學習目標

2.1 知識蒸餾

知識蒸餾專注于訓練學生模型，使用來自更大規模的教師模型的預測。知識蒸餾的目的是擁有一個緊湊的學生模型，同時保持與教師模型相當的性能。Hinton等[4]首先提出將知識從多個模型中提取到單個學生模型中，以完成模型壓縮和遷移學習的任務。Tang等[14]將BERT[15]壓縮為非常輕量級的Bi-LSTM[16]，用于自然語言處理任務。Romero等人[17]認為，深度神經網絡的成功在很大程度上歸功于深度層次結構。因此，他們建議將寬的(每層有大量的神經元)和深的教師模型壓縮成更窄的(每層神經元更少)和更深的學生模型。Yim等人[18]將學生和教師的體系結構設計為n部分模塊，其中每個模塊包含不同數量的卷積層。學生模型一般有比較簡單的設計，學生的任務是學習老師每一層的輸出。

2.2 知識擴展

知識擴展與知識蒸餾的不同之處在于，它不是將大的教師模型壓縮成一個更小的學生模型，而是側重于訓練一個比教師模型具有更好的泛化性和性能的學生模型。學生模型的容量與教師模型相同或更大。

2.3 知識適應

在[11]中，教師模型監控學生的學習進度，并決定每個學生應該進行哪些任務的訓練。一般來說，學生應該接受訓練，以使他的表現得到最大的提高。但為了防止災難性遺忘[25]，應該對學生進行成績下降的任務訓練。

2.4 多任務學習

師生訓練模式在各個領域都得到了驗證。然而，適應多任務環境仍然具有挑戰性。Ghiasi等[13]提出了一種多任務自訓練(MuST)策略，該策略使用多個獨立的教師模型來訓練一個多任務學生模型。特別地，它們采用了四個教師模型，每個模型負責對四個不同的數據集進行分類、檢測、分割和深度估計。經過訓練后，這些教師模型用于為更大的數據集生成四種類型的偽標簽。然后用四種類型的偽標簽在數據集中訓練學生模型。

3 知識形式化

Hinton等人[4]提出了一種方法，通過迫使學生網絡學習產生軟化的softmax輸出以及預測樣本標簽，將集成深度網絡壓縮到具有類似深度的學生網絡中。軟化的softmax引入一個溫度τ來表示來自教師網絡的豐富信息。該方法成功地將復雜教師網絡的泛化能力轉移到小型學生模型上。 在知識優化中，知識蒸餾的優化目標通常由3部分組成:正則交叉熵(regular cross entropy, LCE)項、Kullback-Leibler (Kullback-Leibler, KL)散度(divergence, LKL)項和距離(distance, LD)項。

4 師生架構

5 學習方案****5.1在線學習表3從教師和學生的學習狀態以及各自的角色狀態對不同的學習方案進行了比較。經典的學習方案是離線學習[4]，它表示學生網絡從預先訓練好的教師網絡中學習遷移的知識。具體來說，強大的教師網絡首先在大規模數據集上得到完全良好的訓練，然后將知識轉移到指導緊湊學生網絡的訓練。在學生訓練過程中，教師和學生網絡的角色沒有交換。需要注意的是，線下學習不包括在這份調查報告的范圍內，我們建議讀者參考現有的關于線下學習[5]、[7]的全面綜述。

5.2 自主學習

自學方案是在線學習的一種特殊方案。與經典的在線學習方法不同的是，在迭代學習過程中，學生網絡和教師網絡的角色是動態的，這說明在自主學習方案中，學生網絡和教師網絡可以相互交換，或者學生網絡可以從自己身上學習知識(即無教師知識學習)。

6 應用

本節介紹知識學習的應用。知識學習應用于深度學習的各個應用領域，如計算機視覺、自然語言處理、模型壓縮、推薦系統等。我們根據網絡框架對知識學習的應用進行分類，可分為分類、識別和生成體系結構。分類體系結構是指輸出層最常用的直接對圖像進行分類的方法。識別體系結構是指從圖像中提取關鍵信息的基礎。它包括人臉識別、物體檢測、動作識別、醫學圖像識別等。生成體系結構包括文本、語音和圖像合成。

摘要

將多個領域的軍事能力融合以提高效能的學說預示著國防的新時代，其特點是能夠承受更高的作戰規模和節奏，這得益于戰場自動化和協作水平的提高。然而，要獲得這些技術進步的潛在好處，前提是要找到應對無數挑戰的成功解決方案，以便在競爭環境中實現智能、異構、交互資源的更高效和可擴展的操作。換句話說，提高防御能力的自動化和協作需要更智能的“戰場操作系統”——一個在排除人類參與時間尺度上管理復雜自動化任務的系統，同時賦予作戰人員足夠的控制權。我們將此操作系統稱為戰場物聯網 (IoBT)。

在本文中，我們將重點關注維護 IoBT 所依據的三個優勢原則（在現代沖突中）所面臨的挑戰。即，

• (i) 時間是武器；贏家是那些將傳感器和行動者之間的延遲最小化的人

• (ii) IoBT 是一個戰斗網絡；所有功能都必須經受住主動、堅定和技術成熟的對手

• (iii) 需要機器智能；需要一種新型的 AI 解決方案，可以快速預測到需要的點，在那里它們可以在嚴酷的現場操作環境中生存，而不是將 AI 限制運行在更高級別數據中心的解決方案中。

戰場物聯網協作研究聯盟（由政府和學術界研究機構組成的聯盟，由美國陸軍作戰能力發展司令部資助，稱為 DEVCOM，陸軍研究實驗室 (ARL)）針對上述挑戰制定的解決方案是討論了：

• (i) 映射能力范圍（即，幫助理解設想的 IoBT 能力的基本可行性限制）
• (ii) 優化性能（即，通過以更低的成本提供智能能力來改進 IoBT 成本/價值權衡）
• (iii) 確保彈性（即，提高已開發的 IoBT 能力，以在具有挑戰性的戰場環境中抵御廣泛的威脅）。

我們特別關注涉及機器自動化和危害人工智能本身的威脅。雖然國防科學在研究保護有形資源的解決方案方面有著悠久的歷史，但一旦自動化進入循環并被依賴作為手動操作的優越替代方案，自動化或人工智能 (AI) 就需要同樣強調保護，因為它對作戰優勢至關重要。因此，戰場物聯網解決的一個關鍵挑戰是保護 IoBT 本身的效率、功效和完整性。

圖1:多域作戰(MDO)效應循環圖

圖2：分布式虛擬試驗場(DVPG)的概念架構

【導讀】由于深度神經網絡具有強大的學習不同層次視覺特征的能力，因此被廣泛應用于目標檢測，語義分割，圖像描述等計算機視覺應用當中。從ImageNet這樣的大型圖像數據集中訓練得到的模型被廣泛地用作其他任務的預訓練模型，主要有兩個原因：(1)從大規模數據集中學習得到的參數能夠為其他模型提供一個良好的訓練起點，在其他任務上模型網絡可以更快地收斂。(2)在大規模數據集上訓練的網絡已經學習到了層次特征，這有助于減少其他任務訓練過程中的過擬合問題，特別是當其他任務的數據集較小或標注數據不足的情況。

介紹

為了在計算機視覺應用中學習得到更好的圖像和視頻特征，通常需要大規模的標記數據來訓練深度神經網絡。為了避免收集和標注大量的數據所需的巨大開銷，作為無監督學習方法的一個子方法——自監督學習方法，可以在不使用任何人類標注的標簽的情況下，從大規模無標記數據中學習圖像和視頻的一般性特征。本文對基于深度學習的自監督一般性視覺特征學習方法做了綜述。首先，描述了該領域的動機和一些專業性術語。在此基礎上，總結了常用的用于自監督學習的深度神經網絡體系結構。接下來，回顧了自監督學習方法的模式和評價指標，并介紹了常用的圖像和視頻數據集以及現有的自監督視覺特征學習方法。最后，總結和討論了基于標準數據集的性能比較方法在圖像和視頻特征學習中的應用。

用于圖像特征學習的架構

1.AlexNet:與以往的方法相比，AlexNet極大的提高了在ImageNet數據集上的圖像分類性能。AlexNet架構總共有8層，其中的5層是卷積層，3層是全連接層。ReLU激活函數被運用在每一個卷積層后面。

2.VGG:該模型贏得了ILSVRC2013挑戰賽的第一名。其中的VGG-16由于模型尺寸適中，性能優越，被廣泛使用。

3.ResNet:該網絡闡述了網絡越深越能夠獲得良好的性能。但是由于梯度消失和梯度爆炸，深度神經網絡很難訓練。ResNet使用跳躍連接把前一層的特征直接傳遞到下一個卷積塊來克服梯度消失和梯度爆炸的問題。

4.GoogleNet:22層的深度網絡，以93.3%的準確率贏得了ILSVRC-2014挑戰賽。和之前的網絡相比，它擁有更深的網絡。GoogleNet的基礎模塊inception塊由4個平行的卷積層組成，這4個卷積層的卷積核尺寸不同，每層后面都有一個1x1的卷積操作來降低維度。

5.DenseNet:大多數網絡包括AlexNet, VGG和ResNet都遵循層次結構。圖像被輸入到網絡中，由不同的層提取特征。淺層提取低級的一般性特征，而深層提取特定于任務的高級特征。然而，當一個網絡變得越來越深的時候，更深的網絡層可能會記住完成任務所需的底層特征。為了避免這一問題，DenseNet通過稠密連接將一個卷積塊之前的所有特征作為輸入輸送到神經網絡中的下一個卷積塊。

視頻特征學習架構

Spatiotemporal Convolutional Neural Network

三維卷積運算最早是在3DNet中提出的，用于人類行為識別。與2DConvNets分別提取每一幀的空間信息，然后將它們融合為視頻特征相比，3DConvNets能夠同時從多個幀中同時提取空間和時間特征。

隨著三維卷積在視頻分析任務中的成功應用，出現了3DConvNet的各種變體。比如Hara等人提出了3DResNet，將ResNet中所有的2D卷積層替換為3D卷積層。實驗表明，在多個數據集上，3D卷積層的性能更為優異。

Recurrent Neural Network(RNN)

由于RNN能夠對一個時間序列數據進行動態建模，所以RNN通常被應用于視頻的有序幀序列當中。和標準的RNN相比，LSTM使用內存單元來存儲，修改和訪問內部狀態，從而更好的對視頻幀之間的長時間序列進行建模。基于LSTM的優勢，Donahue提出了long-term recurrent convolutional networks (LRCN)用于人類行為識別。

數據集介紹

1.圖像數據集

2.視頻數據集

YFCC100M:該數據集是從Flicker上收集的多媒體數據集，由1億條多媒體數據組成，其中的99200000條數據是圖片，剩余的800000條數據是視頻。

SceneNet RGB-D:該數據集是一個大型的室內視頻合成數據集。

Moment in Time:該數據集是一個用于視頻內容理解的數據集，內容多樣且分布均衡。

Kinetics:該數據集規模大，質量高，用于人類行為識別。

AudioSet：該數據集由來自YouTube的2084320條人工標記10秒的聲音剪輯組成，這些視頻涵蓋了632個音頻事件。

KITTI:該數據集是在駕駛汽車時收集的，收集數據時的裝備有各種傳感器，包括高分辨率RGB相機、灰度立體聲相機、3D激光掃描儀和高精度GPS測量。

UCF101:該數據集被廣泛使用于人類動作識別。

HMDB51:相比于前面的數據集，該數據集是一個小規模的視頻數據集，用于人流動作識別。