亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

【導讀】知識蒸餾是一種典型的模型壓縮和加速方法，在很多應用場景對此有需求。來自悉尼大學的學者發布了《知識蒸餾》的綜述論文，值的關注。

//arxiv.org/abs/2006.05525

近年來，深度神經網絡在工業和學術界取得了巨大的成功，特別是在視覺識別和神經語言處理方面的應用。深度學習的巨大成功，主要歸功于其巨大的可擴展性，既有大規模的數據樣本，也有數十億的模型參數。然而，在資源有限的設備如移動電話和嵌入式設備上部署這些笨重的深模型也帶來了巨大的挑戰，不僅因為計算量大，而且存儲空間大。為此，開發了各種模型壓縮和加速技術，如剪枝、量化和神經結構搜索。知識蒸餾是一種典型的模型壓縮和加速方法，旨在從大教師模型中學習小學生模型，越來越受到社會的關注。本文從知識分類、訓練方案、知識提取算法以及應用等方面對知識提取進行了綜述。此外，我們簡要回顧了知識提煉的挑戰，并對未來的研究課題提供了一些見解。

概述

在過去的幾年里，深度學習在人工智能領域取得了巨大的成功，包括計算機視覺(Krizhevsky et al.， 2012)、強化學習(Silver et al.， 2016)和神經語言處理(Devlin et al.， 2018)的各種應用。借助最近許多技術，包括殘差連接(He et al.， 2016)和批處理歸一化(Ioffe and Szegedy, 2015)，我們可以輕松地在強大的GPU或TPU集群上訓練具有數千層的深度模型。例如，只需不到10分鐘就可以在數百萬張圖像的數據集上訓練ResNet模型(Deng et al. , 2009 ; Sun et al. , 2019); 訓練一個強大的BERT模型進行語言理解只需要不到一個半小時 (Devlin et al., 2018; You et al., 2019).。雖然大規模的深度模型帶來了令人難以置信的性能，但其龐大的計算復雜度和海量的存儲需求給實時應用的部署帶來了巨大的挑戰，特別是對于那些資源有限的設備，比如嵌入式人臉識別系統和自動駕駛汽車。

為了開發高效的深度模型，最近的工作通常集中在1)基于深度可分離卷積的高效基本塊，如MobileNets (Howard et al. , 2017 ; Sandler et al. , 2018) 和ShuffleNets (Zhang et al. , 2018a ; Ma et al. , 2018); (2)模型壓縮和加速技術，主要包括以下類別(Cheng et al.， 2018)。

• 參數修剪和共享: 這些方法主要是去除深層神經網絡中不重要的參數，去除的參數對性能影響不大。該類別又分為模型量化(Wu et al.， 2016)和二值化(Courbariaux et al.， 2015)、參數共享(Han et al.， 2015)和結構矩陣(Sindhwani et al.， 2015)。

• 低秩分解: 這些方法通過矩陣/張量分解來探索深度神經網絡參數的冗余性(Denton et al.， 2014)。

• 傳輸/壓縮卷積濾波器: 這些方法通過傳輸/壓縮卷積濾波器來減少不必要的參數(Zhai et al.， 2016)。

• 知識蒸餾(KD): 這些方法通常將知識從一個較大的深度神經網絡提取到一個較小的網絡中(Hinton et al.， 2015)。

對模型壓縮和加速的全面回顧超出了本文涵蓋的范圍，而我們關注的是知識蒸餾，這已經得到越來越多的研究社區關注。在實踐中，大型深度模型往往會取得非常好的性能，因為過參數化提高了泛化性能 (Brutzkus and Globerson, 2019; Allen-Zhu et al., 2019; Arora et al., 2018)。知識蒸餾通過在大教師模型的監督下學習小學生模型，從而探究深度模型中參數的冗余性，用于推理(Bucilua et al., 2006; Ba and Caruana, 2014; Hinton et al., 2015; Urban et al., 2016)，而知識蒸餾的關鍵問題是如何將知識從大教師模型轉移到小學生模型。一般情況下，知識蒸餾的師生框架如圖1所示。雖然在實踐中取得了巨大的成功，但在理論或經驗上理解知識提煉方法的工作并不多(Cheng et al., 2020; Phuong and Lampert, 2019; Cho and Hariharan, 2019)。具體來說，為了理解知識蒸餾的工作機制，Phuong和Lampert在深度線性分類器的情況下，從理論上證明了學習精餾學生網絡快速收斂的泛化邊界(Phuong和Lampert, 2019)。這一解釋理論上回答了學生學習的內容和速度，并揭示了決定蒸餾成功的因素。蒸餾的成功依賴于數據幾何、蒸餾目標的優化偏差和學生分類器的強單調性。Cheng等人量化了來自深度神經網絡中間層的視覺概念知識，以解釋知識蒸餾(Cheng et al., 2020）。Cho和Hariharan對知識蒸餾的有效性進行了詳細的實證分析(Cho和Hariharan, 2019)。實證分析發現，由于模型容量的差距，較大的模型不一定是更好的老師(Mirzadeh et al.， 2019)，而精餾會對學生的學習產生不利影響。據我們所知，(Cho and Hariharan, 2019)忽略了對教師和學生之間不同知識、不同蒸餾和相互感情的經驗評價。此外，通過實證分析，從標簽平滑、教師和先驗對最優輸出層幾何形狀的預測置信度等角度探討了對知識蒸餾的理解(Tang et al.， 2020)。

模型壓縮的知識蒸餾思想與人類的學習方案非常相似。為此，近年來的知識蒸餾方法不僅擴展到了師生學習(Hinton et al.， 2015)，還擴展到了相互學習(Zhang et al.， 2018b)、自學(Yuan et al.， 2019)、輔助教學(Mirzadeh et al.， 2019)和終身學習(Zhai et al.， 2019)。知識蒸餾的大部分擴展集中于壓縮深度神經網絡，因此輕量級的學生網絡可以很容易地部署在諸如視覺識別、語音識別和自然語言處理(NLP)等應用程序中。此外，知識蒸餾中從一個模型到另一個模型的知識轉移符號也可以擴展到其他任務，如對抗攻擊(Papernot et al.， 2016b)、數據增強(Lee et al.， 2019a;Gordon和Duh, 2019)，數據隱私和安全(Wang等，2019a)。

本文對知識蒸餾的研究進行了綜述。本綜述的主要目的是1) 全面概述知識蒸餾，包括動機的背景，基本符號和公式，以及幾種典型知識，蒸餾和算法; 2) 全面回顧知識蒸餾的最新進展，包括理論、應用和在不同現實場景下的擴展; 3) 從知識遷移的不同角度，包括不同類型的知識、訓練方案、知識提煉算法/結構和應用，闡述知識蒸餾的一些挑戰和見解。本文組織概況如圖2所示。具體地說，本文的其余部分結構如下。第二節給出了知識蒸餾的重要概念和常規模型。知識和蒸餾的種類分別在第3節和第4節中進行了總結。現有的關于知識提煉中的師生結構的研究在第5部分進行了說明。第6節對許多最新的知識蒸餾方法進行了全面的總結和介紹。知識蒸餾的廣泛應用將在第7節的不同方面加以說明。第8節討論了知識蒸餾中具有挑戰性的問題和未來的方向。最后，在第9節給出結論。

智能視頻監控(IVS)是當前計算機視覺和機器學習領域的一個活躍研究領域，為監控操作員和取證視頻調查者提供了有用的工具。人的再識別(PReID)是IVS中最關鍵的問題之一，它包括識別一個人是否已經通過網絡中的攝像機被觀察到。PReID的解決方案有無數的應用，包括檢索顯示感興趣的個體的視頻序列，甚至在多個攝像機視圖上進行行人跟蹤。文獻中已經提出了不同的技術來提高PReID的性能，最近研究人員利用了深度神經網絡(DNNs)，因為它在類似的視覺問題上具有令人信服的性能，而且在測試時執行速度也很快。鑒于再識別解決方案的重要性和廣泛的應用范圍，我們的目標是討論在該領域開展的工作，并提出一項最先進的DNN模型用于這項任務的調查。我們提供了每個模型的描述以及它們在一組基準數據集上的評估。最后，我們對這些模型進行了詳細的比較，并討論了它們的局限性，為今后的研究提供了指導。

卷積神經網絡(Convolutional Neural Network, CNN)是深度學習領域中最重要的網絡之一。由于CNN在計算機視覺和自然語言處理等諸多領域都取得了令人矚目的成就，因此在過去的幾年里，CNN受到了業界和學術界的廣泛關注。現有的綜述主要關注CNN在不同場景下的應用，并沒有從整體的角度來考慮CNN，也沒有涉及到最近提出的一些新穎的想法。在這篇綜述中，我們的目標是在這個快速增長的領域提供盡可能多的新想法和前景。不僅涉及到二維卷積，還涉及到一維和多維卷積。首先，這篇綜述首先簡單介紹了CNN的歷史。第二，我們提供CNN的概述。第三，介紹了經典的和先進的CNN模型，特別是那些使他們達到最先進的結果的關鍵點。第四，通過實驗分析，得出一些結論，并為函數選擇提供一些經驗法則。第五，介紹了一維、二維和多維卷積的應用。最后，討論了CNN的一些有待解決的問題和有發展前景的方向，為今后的工作提供參考。

【導讀】對抗攻擊防御研究用于提升深度學習的魯棒性，是當下的關注焦點。最近，中山大學等學者發布了最新關于圖對抗學習綜述論文，19頁pdf83篇文獻，對在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。

圖數據的深度學習模型在節點分類、鏈路預測、圖數據聚類等各種圖數據分析任務中都取得了顯著的效果。然而，它們暴露了對于設計良好輸入的不確定性和不可靠性, 對抗樣本。因此，在不同的圖數據分析任務中，出現了各種攻擊和防御的研究，從而導致了圖數據對抗學習中的競爭。例如，攻擊者有投毒和逃避攻擊，防御組相應地有基于預處理和對抗的方法。

盡管工作蓬勃發展，但仍然缺乏統一的問題定義和全面的調研綜述。為了彌補這一不足，我們對已有的關于圖對抗學習任務的研究進行了系統的總結。具體來說，我們在圖形分析任務中對現有的攻防工作進行了梳理和統一，同時給出了適當的定義和分類。此外，我們強調了相關評價指標的重要性，并對其進行了全面的調查和總結。希望我們的工作可以為相關研究者提供參考，為他們的研究提供幫助。更多關于我們工作的細節，

請訪問

//github.com/gitgiter/Graph-Adversarial-Learning

在過去的幾十年里，深度學習已經成為人工智能領域的皇冠上的寶石，在語音和語言處理[72,18]、人臉識別[45]和目標檢測[33]等各種應用中都表現出了令人印象深刻的表現。然而，最近頻繁使用的深度學習模型被證明是不穩定和不可靠的，因為它們容易受到干擾。例如，一張圖片上幾個像素的細微變化，對于人眼來說是難以察覺的，但是對于深度學習模型[44]的輸出卻有很大的影響。此時，定義良好并通過反向傳播學習的深度學習模型具有固有的盲點和非直觀特征，應該以明顯的[59]方式推廣到數據分布中。

圖作為一種強大的表示方法，在現實的[25]中有著重要的作用和廣泛的應用。當然，深度學習對圖形的研究也是一個熱門話題，并在不同的領域帶來了許多令人耳目一新的實現，如社交網絡[46]、電子商務網絡[64]和推薦系統[14,71]。不幸的是，作為機器學習關鍵領域的圖分析領域也暴露了深度學習模型在受到精心設計的攻擊時的脆弱性[81,83]。例如，考慮到節點分類的任務，攻擊者通常控制多個假節點，目的是欺騙目標分類器，通過在這些節點與其他良性節點之間添加或刪除邊緣，從而導致誤分類。通常，這些惡意節點被稱為“攻擊者節點”，而其他受害節點被稱為“受影響節點”。如圖1所示，在一個干凈的圖上執行了小的擾動(增加了兩個鏈接，改變了幾個節點的特征)，這導致了圖學習模型的錯誤分類。

隨著對圖數據模型安全性的日益關注，圖數據對抗學習的研究也隨之興起。，一個研究圖數據模型安全性和脆弱性的領域。一方面，從攻擊圖數據學習模型的角度出發，[81]首先研究了圖數據的對抗性攻擊，在節點特征和圖結構受干擾較小的情況下，目標分類器容易對指定的節點進行欺騙和誤分類。另一方面，[65]提出了一種改進的圖卷積網絡(GCNs)模型，該模型具有對抗防御框架，以提高魯棒性。此外，[55]研究了現有的圖數據攻防對抗策略的工作，并討論了它們的貢獻和局限性。然而，這些研究主要集中在對抗性攻擊方面，而對防御方面的研究較少。

挑戰 盡管關于圖表對抗學習的研究大量涌現，但仍然存在一些需要解決的問題。i) 統一與具體的形式化。目前的研究都是將圖對抗學習的問題定義和假設用自己的數學形式化來考慮，大多沒有詳細的解釋，這使得比較和跟進更加困難。ii) 相關評價指標。而對于不同的任務，對應性能的評價指標也有很大的不同，甚至有不同的標準化。此外，圖對抗學習場景的特殊度量還沒有被探索，例如，對攻擊影響的評估。

對于公式和定義不一致的問題，我們考察了現有的攻防工作，給出了統一的定義，并從不同的角度進行了劃分。雖然已經有了一些努力[81,37,19]來概括定義，但大多數公式仍然對自己的模型進行定制。到目前為止，只有一篇文章[55]從綜述的角度概述了這些概念，這不足以全面總結現有的工作。在前人研究的基礎上，我們總結了不同類型的圖，并按層次介紹了三個主要任務，分別在3.1節和4.1節給出了攻擊和防御的統一公式。

自然地，不同的模型伴隨著許多量化的方法，其中提供了一些新的度量。為了幫助研究人員更好地量化他們的模型，也為了系統地總結度量標準，我們在第5節中對度量標準進行了更詳細的討論。特別地，我們首先介紹了防御和攻擊的一些常見度量，然后介紹了它們各自工作中提供的三個類別的度量:有效性、效率和不可感知性。例如，攻擊成功率(ASR)[9]和平均防御率(ADR)[10]分別被用來衡量攻擊和防御的有效性。

綜上所述，我們的貢獻如下:

• 我們深入研究了這一領域的相關工作，并對當前防御和攻擊任務中不統一的概念給出了統一的問題公式和明確的定義。
• 我們總結了現有工作的核心貢獻，并根據防御和攻擊任務中合理的標準，從不同的角度對其進行了系統的分類。
• 我們強調了相關指標的重要性，并對其進行了全面的調查和總結。
• 針對這一新興的研究領域，我們指出了現有研究的局限性，并提出了一些有待解決的問題

題目： A Survey of Deep Learning Techniques for Neural Machine Translation

摘要： 近年來，隨著深度學習技術的發展，自然語言處理(NLP)得到了很大的發展。在機器翻譯領域，出現了一種新的方法——神經機器翻譯(NMT)，引起了學術界和工業界的廣泛關注。然而，在過去的幾年里提出的大量的研究，很少有人研究這一新技術趨勢的發展過程。本文回顧了神經機器翻譯的起源和主要發展歷程，描述了神經機器翻譯的重要分支，劃分了不同的研究方向，并討論了未來該領域的一些研究趨勢。

題目： The Deep Learning Compiler: A Comprehensive Survey

摘要： 在不同的DL硬件上部署各種深度學習（deep learning，DL）模型的困難，推動了DL編譯器在社區中的研究和開發。業界和學術界都提出了一些DL編譯器，如Tensorflow XLA和TVM。類似地，DL編譯器將不同DL框架中描述的DL模型作為輸入，然后為不同的DL硬件生成優化代碼作為輸出。然而，現有的調查沒有全面分析DL編譯器的獨特設計。在本文中，我們對現有DL編譯器進行了全面的調查，通過對常用設計的詳細剖析，著重介紹了面向DL的多級IRS，以及前端/后端優化。具體來說，我們提供了一個全面的比較現有的DL編譯器從各個方面。此外，我們還詳細分析了多級IR設計和編譯器優化技術。最后，提出了DL編譯器潛在的研究方向。這是第一篇針對DL編譯器獨特設計的綜述性論文，希望能為以后的研究鋪平道路。

//www.manning.com/books/deep-learning-with-javascript

深度學習已經改變了計算機視覺、圖像處理和自然語言應用領域。多虧了TensorFlow.js，現在JavaScript開發人員可以無需依賴Python或R就能構建深度學習應用程序。使用JavaScript的深度學習向開發人員展示了如何將DL技術引入web。本書由TensorFlow庫的主要作者編寫，為在瀏覽器或Node上使用JavaScript進行深度學習的應用程序提供了有趣的用例和深入的指導。

關于技術

在瀏覽器或基于Node的后端中運行深度學習應用程序，為智能web應用程序開辟了令人興奮的可能性。使用TensorFlow.js庫，您可以用JavaScript構建和訓練深度學習模型。TensorFlow.js具有無與倫比的可擴展性，模塊化和響應能力，其可移植性確實令人眼前一亮。它的模型可以在JavaScript運行的任何地方運行，從而將ML推向應用程序堆棧的更上層。

關于這本書

在Deep Learning with JavaScript這本書中，您將學習使用TensorFlow.js來構建直接在瀏覽器中運行的深度學習模型。這本快節奏的書由Google工程師撰寫，是實用的，引人入勝且易于閱讀。通過以文本分析，語音處理，圖像識別和自學習游戲AI為特色的各種示例，您將掌握深度學習的所有基礎知識并探索高級概念，例如對現有模型進行再訓練以進行遷移學習和圖像生成。

書里面有什么

在瀏覽器中的圖像和語言處理

用客戶端數據調優ML模型

通過生成式深度學習創建文本和圖像

源代碼示例以進行測試和修改

簡介：

近年來，由于機器學習（ML）/深度學習（DL）技術使用多維醫學圖像，在從一維心臟信號的心臟驟停的預測到計算機輔助診斷（CADx）的各種醫療保健應用中的卓越性能，見證了機器學習（ML）/深度學習（DL）技術的廣泛采用。盡管ML / DL的性能令人印象深刻，但對于ML / DL在醫療機構中的健壯性仍然存有疑慮（由于涉及眾多安全性和隱私問題，傳統上認為ML / DL的挑戰性很大），尤其是鑒于最近的研究結果表明ML / DL容易受到對抗性攻擊。在本文中，我們概述了醫療保健中各個應用領域，這些領域從安全性和隱私性的角度利用了這些技術，并提出了相關的挑戰。此外，我們提出了潛在的方法來確保醫療保健應用程序的安全和隱私保護機器學習。最后，我們提供了有關當前研究挑戰的見解以及未來研究的有希望的方向。

內容大綱：

Attention模型目前已經成為神經網絡中的一個重要概念，注意力模型（AM）自機器翻譯任務【Bahdanau et al 2014】首次引入進來，現在已經成為主流的神經網絡概念。這一模型在研究社區中非常受歡迎，適用領域非常廣泛，包括自然語言處理、統計學習、語音和計算機視覺方面的應用。本篇綜述提供了關于注意力模型的全面概述，并且提供了一種將現有注意力模型進行有效分類的分類法，調查了用于不同網絡結構的注意力模型，并顯示了注意力機制如何提高模型的可解釋性，最后，討論了一些受到注意力模型較大影響的應用問題。

在過去的幾年里，自然語言處理領域由于深度學習模型的大量使用而得到了發展。這份綜述提供了一個NLP領域的簡要介紹和一個快速的深度學習架構和方法的概述。然后，篩選了大量最近的研究論文，并總結了大量相關的貢獻。NLP研究領域除了計算語言學的一些應用外，還包括幾個核心的語言處理問題。然后討論了目前的技術水平，并對該領域今后的研究提出了建議。