亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Searching Parameterized AP Loss for object detection 為目標檢測搜索參數化平均準確率損失函數

背景介紹： 損失函數（loss function）在基于深度學習的目標檢測領域一直起著至關重要的作用。對于目標檢測任務一般使用的則是一個同時考慮定位和分類子任務的評估指標：平均準確率（AP）。然而由于AP計算的不可導性，傳統的目標檢測網絡對兩個子任務采用分離的可導損失函數，這一不對齊問題導致了網絡表現的退化。為了解決該問題，一些現有的工作人為地設計了一系列AP的替代損失函數，這一過程一般需要專業知識且結果通常仍是次優的。本工作中我們提出參數化平均準確率損失函數（Parameterized AP Loss），使用參數化損失函數替代AP計算中的不可導部分，將不同的AP近似方法統一到一個參數化函數族下，之后利用搜索算法搜索最優的參數形式。我們的貢獻有以下幾點：

1. 通過數學上推導AP計算并引入可導的參數化損失函數，提出的Parameterized AP Loss可以在一個統一的形式下表示大量的可能的AP近似，該近似式即可作為一個同時優化目標檢測任務的定位子任務與分類子任務的損失函數。

2. 不同于手工設計AP損失函數或損失函數梯度的近似，我們的方法框架通過在一個目標檢測網絡訓練的搜索任務上迭代優化，自動地搜索損失函數中參數化函數族需要的最優參數。

3. 基于不同的目標檢測網絡結構的實驗證明，搜索到的Parameterized AP Loss的表現可以穩定地超過一系列現有的損失函數。

基于雙流更新的視覺

Transformer動態加速方法

Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer

視覺Transformer 通過自注意力機制捕獲短程和長程視覺依賴的能力使其在各種計算機視覺任務中顯示出巨大的潛力，但是長程感受野同樣帶來了巨大的計算開銷，特別是對于高分辨率視覺任務。為了能夠在保持原有模型準確率的前提下，降低模型計算復雜度，從而使得視覺 Transformer成為一種更加通用、高效、低廉的解決框架，我們提出了Evo-ViT，基于雙流token更新的視覺transformer動態加速方法。

該方法在保持了完整空間結構的同時給高信息量token和低信息量token分配不同的計算通道。從而在不改變網絡結構的情況下，以極低的精度損失大幅提升直筒狀和金字塔壓縮型的Transformer模型推理性能。

其中，我們提出的基于全局class attention的token選擇策略通過增強層間的通信聯系實現穩定token選擇，相比以往方法，無需依靠外部的可學習網絡來對每一層的token進行選擇，也無需基于訓練好的網絡進行token裁剪。在ImageNet 1K數據集下，Evo-ViT可以提升DeiT-S 60%推理速度的同時僅僅損失0.4%的精度。

//www.zhuanzhi.ai/paper/7a1101e877530fa0dc16f1315fe9c019

自從ViT提出之后，許多基于Transformer的改進工作在圖像分類中取得了不錯的結果。然而，很少有工作對Transformer結構的有效性進行研究并解釋，同時也尚未有工作采用統一的思想探究如何使用一個模型來解決多模態問題。我們首次通過進化算法的角度對Transformer結構進行解釋，并提出了一個統一的序列模型范式去解決多模態問題。我們的貢獻有以下幾點：

1. 理論上，我們通過類比進化算法（EA）來解釋Vision Transformer（TR）的合理性，并推導出它們具有一致的數學表示。

2. 方法上，類比EA中的動態局部種群概念，我們對ViT模型進行改進，設計了一個效率更高、效果更好的EAT模型，并提出了Task-related Head模塊來更靈活、更優雅地處理多個任務。

3. 框架上，我們引入了空間填充曲線（SFC）模塊作為二維圖像數據和一維序列數據之間的橋梁，使得僅用一個統一模型解決多模態任務的統一范式成為可能，同時將網絡架構設計和數據結構獨立開來。

4. 分類和多模態實驗證明了我們方法的優越性和靈活性。

人類通過視覺概念學習獲得圖像分類的能力，概念形成的過程涉及到共同屬性的搜索和概念描述的交織。然而，在大多數使用深度卷積神經網絡(ConvNet)的圖像分類算法中，表示空間是在概念描述固定為單熱點代碼的前提下構造的，這限制了屬性的挖掘和對未見樣本的識別能力。受此啟發，我們提出了一種基于ConvNet的視覺概念形成(visual concept formation, LSOVCF)學習策略，該策略將概念形成的兩個相互交織的部分，即特征提取和概念描述一起學習。首先，LSOVCF在ConvNet的最后一層取樣本響應，引入假設為高斯分布的概念描述，這是訓練過程的一部分。其次，對探索和經驗損失進行優化設計，采用經驗緩存池加速收斂。實驗表明，LSOVCF提高了cifar10、STL10、flower17和ImageNet上從經典VGG到SOTA Ghostnet的幾種骨架樣本識別未見樣本的能力。

代碼可在\url{//github.com/elvintanhust/LSOVCF}。

雖然預訓練語言模型(例如BERT)在不同的自然語言處理任務上取得了令人印象深刻的結果，但它們有大量的參數，并承受著巨大的計算和內存成本，這使得它們難以在現實世界中部署。因此，為了降低預訓練模型的計算和存儲成本，需要對模型進行壓縮。在這項工作中，我們的目標是壓縮BERT，并解決以下兩個具有挑戰性的實際問題: (1)壓縮算法應該能夠輸出多個不同大小和延遲的壓縮模型，以支持不同內存和延遲限制的設備;(2)算法應與下游任務無關，這樣壓縮模型一般適用于不同的下游任務。我們利用神經結構搜索(NAS)中的技術，提出了一種有效的BERT壓縮方法NAS-BERT。NAS-BERT在精心設計的搜索空間上訓練一個大型超級網絡，該搜索空間包含各種架構，并輸出具有自適應大小和延遲的多個壓縮模型。此外，NAS-BERT的訓練是在標準的自監督的訓練前任務(如掩體語言模型)上進行的，不依賴于特定的下游任務。因此，壓縮的模型可以跨任務使用。NAS-BERT的技術挑戰在于，在訓練前的任務上訓練一個大型超級網絡是極其昂貴的。我們采用了塊搜索、搜索空間剪枝和性能逼近等技術來提高搜索效率和準確性。對GLUE和SQuAD基準數據集的大量實驗表明，NAS-BERT可以找到比以前的方法更精確的輕量級模型，并可以直接應用于不同的下游任務，這些任務具有適應的模型規模，以滿足不同的內存或延遲需求。

//www.zhuanzhi.ai/paper/6f115ce6f43323f92838b15e0030f2a4

Neural Architecture Search with Random Labels 現有的主流NAS算法通過子網絡在驗證集上的預測性能來進行模型搜索，但是在參數共享機制下，驗證集上的預測性能和模型真實性能存在較大的差異。我們首次打破了這種基于預測性能進行模型評估的范式，從模型收斂速度的角度來進行子網絡評估并假設：模型收斂速度越快，其對應的預測性能越高。

基于模型收斂性框架，我們發現模型收斂性與圖像真實標簽無關，便進一步提出使用隨機標簽進行超網絡訓練的新NAS范式-RLNAS。RLNAS在多個數據集（NAS-Bench-201，ImageNet）以及多個搜索空間（DARTS，MobileNet-like）進行了驗證，實驗結果表明RLNAS僅使用隨機標簽搜索出來的結構便能達到現有的NAS SOTA的水平。RLNAS初聽比較反直覺，但其出乎意料的好結果為NAS社區提出了一組更強的基線，同時也進一步啟發了對NAS本質的思考。 //www.zhuanzhi.ai/paper/73ff2aa2c413ba1035d0c205173ca72a

權值共享的神經結構搜索通過訓練一個包含所有分支的超網絡來復用不同操作上的計算量，以子網絡采樣的方式評估網絡結構，大幅度提高了搜索速度。然而，這種子網絡采樣的方式并不能保證子網絡的評估性能準確反映其真實屬性。本文認為產生這一現象的原因是使用共享權值構建子網絡的過程中產生了權值失配，使得評估性能中混入了一個隨機噪聲項。本論文提出使用一個圖卷積網絡來擬合采樣子網絡的評估性能，從而將這個隨機噪聲的影響降至最低。實驗結果表明，使用本方案后，子網絡的擬合性能與真實性能間的排序相關性得到有效提高，最終搜索得到的網絡結構性能也更加優異。此外，本方案通過圖卷積網絡擬合了整個搜索空間中子網絡的評估性能，因此可以很方便地選取符合不同硬件約束的網絡結構。

//www.zhuanzhi.ai/paper/552ac305907809721f9f1fd86b8943c9

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

神經結構搜索（NAS）旨在以全自動的方式找到表現出色且新穎的神經網絡結構。然而現有的搜索空間設計過度依賴于研究者的專業知識，所涵蓋的神經網絡相對比較單一，導致搜索策略雖然能找到表現不錯的結構，卻無法發現突破性的新型神經網絡。在這篇工作中，我們 1）首次提出了搜索最優的神經網絡結構生成分布（architecturegenerator）而不僅僅是單個神經網絡(single architecture) 的概念，2）并針對這個概念提出了一個全新的，多階層的，基于圖的搜索空間。該搜索空間不但能生成非常多樣化的網絡結構，而且只由幾個超參來定義。這極大減少了結構搜索的維度，使得我們能高效地使用貝葉斯優化作為搜索策略。與此同時，因為我們拓廣了搜索空間（包含眾多性能和存儲需求差異巨大的有效網絡結構），這使得多目標學習在我們的場景下更有意義。我們在六個圖像數據集上驗證了我們方法（NAGO）的高效性， 并展示了我們的方法能找到非常輕便且性能卓越的網絡結構。

//www.zhuanzhi.ai/paper/32eaa4b0ef54865420bd74ec5d831f7c

本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。