隨著深度學習在移動端的興起，推理延遲（inference latency）已經成為在各種移動和邊緣設備上運行深度神經網絡（DNN）模型的一個重要指標。為此，預測DNN模型推理的延遲非常必要，尤其是對于無法在真實設備上測試延遲或者代價太高的任務，例如從巨大的模型設計空間中尋找具有延遲約束的有效的DNN模型。然而，由于不同邊緣設備上運行時（runtime）的不同優化導致了模型推理延遲的巨大差異，準確預測推理延遲仍然非常具有挑戰性。目前，現有方法無法實現高精度的預測。
//air.tsinghua.edu.cn/Uploads/UEditor/Files/20210709/63766118804429.pdf
在本文中，我們提出并開發了 nn-Meter，可高效、準確地預測 DNN 模型在不同邊緣設備上的推理延遲。它的關鍵思想是將整個模型推理劃分為內核（kernel），即設備上的執行單元，然后執行內核級預測。nn-Meter 建立在兩個關鍵技術之上：
內核檢測：通過一組設計好的測試用例來自動檢測模型推理的執行單元； 自適應采樣：從大空間中有效地采樣最有益的配置，以構建準確的內核級延遲預測器。
我們在三個常用的邊緣硬件平臺（移動 CPU、移動 GPU 和Intel VPU）上實現了nn-Meter系統、并使用包含26,000個模型的大型數據集進行評估，結果nn-Meter的表現明顯優于先前的最好方法。
付費5元查看完整內容
相關內容
隨著移動設備上存儲和計算能力的快速發展，在設備上部署模型以節省繁重的通信延遲和獲取實時特性變得至關重要和流行。雖然已經有很多研究致力于促進設備上的學習和推斷，但大多數研究都集中在處理響應延遲或隱私保護方面。對設備和云建模之間的協作進行建模并使雙方共同受益的工作很少。為了彌補這一差距，我們是研究設備-云協作學習(DCCL)框架的首批嘗試之一。具體來說，我們在設備端提出了一種新穎的MetaPatch學習方法，以便在一個集中式的云模型下有效地實現“成千上萬的人擁有成千上萬的模型”。然后，針對數十億更新的個性化設備模型，我們提出了一種“模型-超模型”的蒸餾算法，即MoMoDistill，來更新集中式云模型。我們在一系列不同設置的數據集上進行了大量實驗，證明了這種協作在云和設備上的有效性，特別是它在建模長尾用戶方面的優越性。
付費5元查看完整內容
雖然預訓練語言模型(例如BERT)在不同的自然語言處理任務上取得了令人印象深刻的結果，但它們有大量的參數，并承受著巨大的計算和內存成本，這使得它們難以在現實世界中部署。因此，為了降低預訓練模型的計算和存儲成本，需要對模型進行壓縮。在這項工作中，我們的目標是壓縮BERT，并解決以下兩個具有挑戰性的實際問題: (1)壓縮算法應該能夠輸出多個不同大小和延遲的壓縮模型，以支持不同內存和延遲限制的設備;(2)算法應與下游任務無關，這樣壓縮模型一般適用于不同的下游任務。我們利用神經結構搜索(NAS)中的技術，提出了一種有效的BERT壓縮方法NAS-BERT。NAS-BERT在精心設計的搜索空間上訓練一個大型超級網絡，該搜索空間包含各種架構，并輸出具有自適應大小和延遲的多個壓縮模型。此外，NAS-BERT的訓練是在標準的自監督的訓練前任務(如掩體語言模型)上進行的，不依賴于特定的下游任務。因此，壓縮的模型可以跨任務使用。NAS-BERT的技術挑戰在于，在訓練前的任務上訓練一個大型超級網絡是極其昂貴的。我們采用了塊搜索、搜索空間剪枝和性能逼近等技術來提高搜索效率和準確性。對GLUE和SQuAD基準數據集的大量實驗表明，NAS-BERT可以找到比以前的方法更精確的輕量級模型，并可以直接應用于不同的下游任務，這些任務具有適應的模型規模，以滿足不同的內存或延遲需求。
付費5元查看完整內容
時空圖是描述城市感知數據(如交通速度和空氣質量)的重要結構。基于時空圖的預測為智慧城市提供了許多重要的應用，如交通管理和環境分析。近年來，已有許多用于時空圖預測的深度學習模型被提出，并取得了顯著的效果。然而，設計神經網絡需要豐富的領域知識和專家的努力。為此，我們研究了時空圖的自動神經結構搜索在城市交通預測中的應用，面臨兩個挑戰:1)如何定義搜索空間來捕獲復雜的時空關聯;2)如何學習一個時空圖對應的屬性圖的網絡權值參數。為了解決這些挑戰，我們提出了一個新的框架，名為AutoSTG，用于自動時空圖預測。在我們的AutoSTG中，我們的搜索空間采用了空間圖卷積和時間卷積操作來捕獲復雜的時空相關性。此外，我們利用元學習技術從屬性圖的元知識中學習空間圖卷積層的鄰接矩陣和時間卷積層的核。具體地說，這種元知識是由一個圖元知識學習器來學習的，這個圖元知識學習器在屬性圖上迭代地聚集知識。最后，在兩個真實的基準數據集上進行了廣泛的實驗，證明AutoSTG可以找到有效的網絡架構并取得最先進的結果。據我們所知，我們是第一個研究神經結構搜索的時空圖。
付費5元查看完整內容
隨著人工智能和物聯網的快速發展與融合, 智能物聯網AIoT 正成長為一個極具前景的新興前 沿領域, 其中深度學習模型的終端運行是其主要特征之一. 針對智能物聯網應用場景動態多樣, 以及物聯網終端 (智能手機、可穿戴及其他嵌入式設備等) 計算和存儲資源受限等問題, 深度學習模型環境自適應正成為一種新的模型演化方式. 其旨在確保適當性能的條件下, 能自適應地根據環境變化動態調 整模型, 從而降低資源消耗、提高運算效率. 具體來說, 它需要主動感知環境、任務性能需求和平臺資源約束等動態需求, 進而通過終端模型的自適應壓縮、云邊端模型分割、領域自適應等方法, 實現深度學習模型對終端環境的動態自適應和持續演化. 本文圍繞深度學習模型自適應問題, 從其概念、系統架構、研究挑戰與關鍵技術等不同方面進行闡述和討論, 并介紹我們在這方面的研究實踐.
//scis.scichina.com/cn/2020/SSI-2020-0067.pdf
付費5元查看完整內容
下一代移動網絡將變得越來越復雜，因為越來越多的連接設備在吞吐量、延遲和可靠性方面有著不同的性能要求，這些設備將難以適應巨大的數據流量需求。這使得對眾多網絡元素的監控和管理很難用現有的工具進行，而傳統的機器學習算法依賴于手工制作的特征工程，這也不現實。在這種情況下，將機器智能嵌入移動網絡變得十分必要，因為這樣可以系統地從移動大數據中挖掘有價值的信息，并自動發現那些人類專家難以提取的相關性。特別是，基于深度學習的解決方案可以自動從原始數據中提取特征，而無需人類的專門知識。人工智能(AI)在其他領域的表現吸引了學術界和產業界對使用深度學習方法解決移動網絡技術挑戰前所未有的興趣。本文利用深度神經網絡的最新進展，從不同的角度研究移動網絡領域的重要問題。
本文利用深度神經網絡的最新進展，從不同的角度研究移動網絡領域的重要問題。作為開場白，我們通過一項關于深度學習和移動網絡之間交叉關系的調查，來縮小深度學習和移動網絡之間的差距。其次，我們設計了專門的深度學習架構來預測城市規模的移動流量消費。特別是，我們針對不同的移動流量數據結構(即來自城市網格和地理空間點云天線部署的數據)定制了我們的深度神經網絡模型，以提供精確的預測。接下來，我們提出了一種移動流量超分辨率(MTSR)技術，利用生成對抗網絡架構實現移動流量測量的粗到細粒度轉換。這可以為移動運營商提供關于移動流量分布的深度知識，同時有效地減少數據后處理開銷。隨后，提出了基于深度學習的移動流量分解(MTD)技術，將聚合的移動流量測量數據分解為服務級時間序列。使用MTD，移動運營商可以為網絡切片(即物理基礎設施的邏輯分區)執行更有效的資源分配，并減輕深度包檢查的廣泛使用帶來的隱私問題。最后，我們以一個真實的黑箱威脅模型研究了網絡特定深度異常檢測器的魯棒性，并提出了可靠的解決方案，以防御那些試圖顛覆現有的基于深度學習的網絡入侵檢測系統(NIDS)的攻擊。
最后,根據獲得的結果,我們識別重要的研究方向,是值得追求的未來,包括 (1) 服務深度學習與大規模的高質量數據；(2) 深度學習時空移動數據挖掘；(3) 深度學習幾何移動數據挖掘(iv)無監督學習在移動網絡和移動網絡；(4) 強化學習控制。總的來說，本文證明了深度學習可以支持強大的工具，解決移動網絡領域的數據驅動問題。有了這樣的智能，未來的移動網絡可以更有效地監控和管理，從而保證更高的用戶體驗質量。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191