亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在人類中，注意力是所有感知和認知操作的核心屬性。考慮到我們處理競爭性信息來源的能力有限，注意力機制選擇、調整和關注與行為最相關的信息。

幾十年來，哲學、心理學、神經科學和計算機科學都在研究注意力的概念和功能。在過去的六年中，這一特性在深度神經網絡中得到了廣泛的研究。目前，深度學習的研究進展主要體現在幾個應用領域的神經注意力模型上。

本研究對神經注意力模型的發展進行了全面的概述和分析。我們系統地回顧了該領域的數百個架構，識別并討論了那些注意力顯示出重大影響的架構。我們亦制訂了一套自動化方法體系，并將其公諸于眾，以促進這方面的研究工作。通過批判性地分析650部文獻，我們描述了注意力在卷積、循環網絡和生成模型中的主要用途，識別了使用和應用的共同子組。

此外，我們還描述了注意力在不同應用領域的影響及其對神經網絡可解釋性的影響。最后，我們列出了進一步研究的可能趨勢和機會，希望這篇綜述能夠對該領域的主要注意力模型提供一個簡明的概述，并指導研究者開發未來的方法，以推動進一步的改進。

深度神經網絡已經徹底改變了電力系統中的許多機器學習任務，從模式識別到信號處理。這些任務中的數據通常以歐幾里得域表示。然而，在電力系統中有越來越多的應用，其中的數據收集自非歐幾里得域，并表示為具有高維特征和節點間相互依賴的圖結構數據。圖結構數據的復雜性給現有的歐幾里得域深度神經網絡帶來了重大挑戰。近年來，在電力系統圖結構數據的深度神經網絡擴展方面出現了許多研究。本文對電力系統中的圖神經網絡(GNNs)進行了綜述。總結了幾種經典的GNNs結構范式 (圖卷積網絡、圖遞歸神經網絡、圖注意力網絡、圖生成網絡、時空圖卷積網絡以及混合形式的GNNs)，并詳細綜述了其在電力系統故障診斷、功率預測、能流計算和數據生成等方面的關鍵應用。此外，還討論了GNN在電力系統中應用的主要問題和一些研究趨勢。

//www.zhuanzhi.ai/paper/4b5bc1768a01d1a9dccfc5dc32885c63

在大數據時代下，深度學習、強化學習以及分布式學習等理論和技術取得的突破性進展，為機器學習提供了數據和算法層面的強有力支撐，同時促進了機器學習的規模化和產業化發展.然而，盡管機器學習模型在現實應用中有著出色的表現，但其本身仍然面臨著諸多的安全威脅.機器學習在數據層、模型層以及應用層面臨的安全和隱私威脅呈現出多樣性、隱蔽性和動態演化的特點.機器學習的安全和隱私問題吸引了學術界和工業界的廣泛關注，一大批學者分別從攻擊和防御的角度對模型的安全和隱私問題進行了深入的研究，并且提出了一系列的攻防方法. 在本綜述中，我們回顧了機器學習的安全和隱私問題，并對現有的研究工作進行了系統的總結和科學的歸納，同時明確了當前研究的優勢和不足. 最后，我們探討了機器學習模型安全與隱私保護研究當前所面臨的挑戰以及未來潛在的研究方向，旨在為后續學者進一步推動機器學習模型安全與隱私保護研究的發展和應用提供指導.

//www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

題目

A Survey on Large-scale Machine ：大規模機器學習綜述

關鍵詞

機器學習，綜述調查

摘要

機器學習可以提供對數據的深刻見解，從而使機器能夠做出高質量的預測，并已廣泛用于諸如文本挖掘，視覺分類和推薦系統之類的實際應用中。 但是，大多數復雜的機器學習方法在處理大規模數據時會耗費大量時間。 這個問題需要大規模機器學習（LML），其目的是從具有可比性能的大數據中學習模式。 在本文中，我們對現有的LML方法進行了系統的調查，為該領域的未來發展提供了藍圖。 我們首先根據提高可伸縮性的方式來劃分這些LML方法：1）簡化計算復雜度的模型，2）優化計算效率的近似值，以及3）提高計算的并行性。 然后，根據目標場景對每種方法進行分類，并根據內在策略介紹代表性方法。最后，我們分析其局限性并討論潛在的方向以及未來有望解決的開放問題。

簡介

機器學習使機器能夠從數據中學習模式，從而無需手動發現和編碼模式。 盡管如此，相對于訓練實例或模型參數的數量，許多有效的機器學習方法都面臨二次時間復雜性[70]。 近年來，隨著數據規模的迅速增長[207]，這些機器學習方法變得不堪重負，難以為現實應用服務。 為了開發大數據的金礦，因此提出了大規模機器學習（LML）。 它旨在解決可用計算資源上的常規機器學習任務，特別著重于處理大規模數據。 LML可以以幾乎線性（甚至更低）的時間復雜度處理任務，同時獲得可比的精度。 因此，它已成為可操作的見解的大數據分析的核心。 例如，Waymo和Tesla Autopilot等自動駕駛汽車在計算機視覺中應用了卷積網絡，以實時圖像感知周圍環境[115]； 諸如Netflix和Amazon之類的在線媒體和電子商務站點從用戶歷史到產品推薦都建立了有效的協作過濾模型[18]。總而言之，LML在我們的日常生活中一直扮演著至關重要的和不可或缺的角色。

鑒于對從大數據中學習的需求不斷增長，對此領域的系統調查變得非常科學和實用。 盡管在大數據分析領域已經發表了一些調查報告[12]，[33]，[54]，[193]，但它們在以下方面還不夠全面。 首先，它們大多數只專注于LML的一個觀點，而忽略了互補性。它限制了它們在該領域的價值，并無法促進未來的發展。例如，[12]專注于預測模型而沒有發現優化問題，[33]在忽略并行化的同時回顧了隨機優化算法，[193]僅關注了 大數據處理系統，并討論系統支持的機器學習方法。 其次，大多數調查要么失去對所審查方法的洞察力，要么忽視了最新的高質量文獻。 例如，[12]缺乏討論模型的計算復雜性的討論，[33]忽略了處理高維數據的優化算法，[120]將其研究限于Hadoop生態系統中的分布式數據分析。 從計算角度回顧了200多篇Paperson LML，并進行了更深入的分析，并討論了未來的研究方向。 我們為從業者提供查找表，以根據他們的需求和資源選擇預測模型，優化算法和處理系統。 此外，我們為研究人員提供了有關當前策略的見解，以更有效地開發下一代LML的指南。

我們將貢獻總結如下。 首先，我們根據三個計算角度對LML進行了全面概述。 具體來說，它包括：1）模型簡化，通過簡化預測模型來降低計算復雜性； 2）優化近似，通過設計更好的優化算法來提高計算效率； 3）計算并行性，通過調度多個計算設備來提高計算能力。其次，我們對現有的LML方法進行了深入的分析。 為此，我們根據目標場景將每個角度的方法劃分為更精細的類別。 我們分析了它們促進機器學習過程的動機和內在策略。 然后，我們介紹了具有代表性的成就的特征。此外，我們還回顧了混合方法，這些方法共同改善了協同效應的多個視角。 第三，我們從各個角度分析了LML方法的局限性，并根據其擴展提出了潛在的發展方向。 此外，我們討論了有關LML未來發展的一些相關問題。

本文的結構如下。 我們首先在第2節中介紹了機器學習的一般框架，然后對其有效性和效率進行了高層次的討論。在第3節中，我們全面回顧了最新的LML方法并深入了解了它們的好處和優勢。 局限性。 最后，在第5節結束本文之前，我們討論了解決第4節中的局限性和其他有希望的未解決問題的未來方向。

在海量大數據的幫助下，深度學習在許多領域都取得了顯著的成功。但是，數據標簽的質量是一個問題，因為在許多現實場景中缺乏高質量的標簽。由于帶噪標簽嚴重降低了深度神經網絡的泛化性能，從帶噪標簽中學習(魯棒訓練)已成為現代深度學習應用的一項重要任務。在這個綜述中，我們首先從監督學習的角度來描述標簽噪聲的學習問題。接下來，我們提供了對46種最先進的魯棒訓練方法的全面回顧，所有這些方法根據其方法上的差異被歸類為7組，然后系統地比較用于評價其優越性的6種屬性。然后，總結了常用的評價方法，包括公共噪聲數據集和評價指標。最后，我們提出了幾個有前景的研究方向，可以作為未來研究的指導。

//arxiv.org/abs/2007.08199

摘要：卷積神經網絡在廣泛的應用中取得了優秀的表現，但巨大的資源消耗量使得其應用于移動端和嵌入式設備成為了挑戰。為了解決此類問題，需要對網絡模型在大小、速度和準確度方面做出平衡。首先，從模型是否預先訓練角度，簡要介紹了網絡壓縮與加速的兩類方法——神經網絡壓縮和緊湊的神經網絡。具體地，闡述了緊湊的神經網絡設計方法，展示了其中不同運算方式，強調了這些運算特點，并根據基礎運算不同，將其分為基于空間卷積的模型設計和基于移位卷積模型設計兩大類，然后每類分別選取三個網絡模型從基礎運算單元、核心構建塊和整體網絡結構進行論述。同時，分析了各網絡以及常規網絡在ImageNet數據集上的性能。最后，總結了現有的緊湊神經網絡設計技巧，并展望了未來的發展方向。

最新的技術進步提高了交通運輸的質量。新的數據驅動方法為所有基于控制的系統(如交通、機器人、物聯網和電力系統)帶來了新的研究方向。將數據驅動的應用與運輸系統相結合在最近的運輸應用程序中起著關鍵的作用。本文綜述了基于深度強化學習(RL)的交通控制的最新應用。其中，詳細討論了基于深度RL的交通信號控制(TSC)的應用，這在文獻中已經得到了廣泛的研究。綜合討論了TSC的不同問題求解方法、RL參數和仿真環境。在文獻中，也有一些基于深度RL模型的自主駕駛應用研究。我們的調查廣泛地總結了這一領域的現有工作，并根據應用程序類型、控制模型和研究的算法對它們進行了分類。最后，我們討論了基于深度可編程邏輯語言的交通應用所面臨的挑戰和有待解決的問題。

近年來，移動設備得到了越來越大的發展，計算能力越來越強，存儲空間越來越大。一些計算密集型的機器學習和深度學習任務現在可以在移動設備上運行。為了充分利用移動設備上的資源，保護用戶的隱私，提出了移動分布式機器學習的思想。它使用本地硬件資源和本地數據來解決移動設備上的機器學習子問題，只上傳計算結果而不是原始數據來幫助全局模型的優化。該體系結構不僅可以減輕服務器的計算和存儲負擔，而且可以保護用戶的敏感信息。另一個好處是帶寬的減少，因為各種各樣的本地數據現在可以參與培訓過程，而不需要上傳到服務器。本文對移動分布式機器學習的研究現狀進行了綜述。我們調查了一些廣泛使用的移動分布式機器學習方法。我們還就這一領域的挑戰和未來方向進行了深入的討論。我們相信這項調查能夠清晰地展示移動分布式機器學習的概況，并為移動分布式機器學習在實際應用中的應用提供指導。