亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

手工設計深度神經網絡需要花費大量的時間和精力。這促使了神經結構搜索(NAS)技術的發展，以實現這種設計的自動化。然而，NAS算法往往是緩慢和昂貴的;他們需要訓練大量的候選網絡，為搜索過程提供信息。如果我們能從網絡的初始狀態部分預測其訓練的準確性，這就可以緩解。在這項工作中，我們檢查了未經過訓練的網絡中數據點之間的激活重疊，并激勵它如何能給出一個有用的衡量指標，以表明網絡的訓練性能。我們將這種方法整合到一個簡單的算法中，該算法允許我們無需任何訓練就能在單個GPU上搜索強大的網絡，并在NAS-Bench-101、NAS-Bench-201、NATS-Bench和Network Design Spaces上驗證其有效性。我們的方法可以很容易地與更昂貴的搜索方法相結合;我們研究了一種規則化進化搜索的簡單適應。復制我們實驗的代碼可以在//github.com/BayesWatch/nas-without-training上找到。

在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。

對抗性例子的威脅激發了訓練可靠的魯棒神經網絡的工作，以便在推理時有效地驗證局部魯棒性。我們形式化了全局魯棒的概念，它捕獲了在線局部魯棒認證的操作特性，同時為魯棒訓練提供了一個自然學習目標。我們證明，通過將有效的全局Lipschitz邊界合并到網絡中，通過構建達到最先進的可驗證精度的可靠模型，廣泛使用的體系結構可以很容易地適應這一目標。值得注意的是，與最近的認證訓練方法相比，這種方法需要更少的時間和記憶，并且在在線認證點時成本可以忽略不計;例如，我們的評估表明，在大約幾小時內訓練一個大型魯棒的Tiny-Imagenet模型是可能的。我們的模型有效地利用了便宜的全局Lipschitz邊界來進行實時認證，盡管之前的建議是為了良好的性能需要更緊密的局部邊界;我們假設這是可能的，因為我們的模型經過專門訓練，以實現更緊密的全局邊界。也就是說，我們證明了對于給定的數據集，最大可實現的可驗證精度不能通過使用局部邊界來提高。

//arxiv.org/abs/2102.08452

用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。

//www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

?遷移學習作為機器學習領域的關鍵核心技術，能夠有效地緩解訓練模型時對訓練數據規模以及計算能力的需求。近年來，研究人員針對遷移學習進行了大量的研究，主要集中在提高遷移后模型在目標域上的準確率，而忽略了遷移后模型面對對抗樣本攻擊時的魯棒性。該論文針對人工智能系統安全問題，分析了在遷移學習場景下，當深度神經網絡面臨對抗樣本攻擊時，遷移策略對神經網絡魯棒性的影響。

該論文彌補了現有分析的缺陷，在基于多種常用的圖像數據集構建的遷移學習場景中，細致地探討了在目標域上微調的模型層數對模型準確率及魯棒性的影響，并揭示了兩者之間存在的平衡問題，即隨著模型微調的層數增加，其在目標域上的準確率與魯棒性出現了不同步的變化（如圖1所示，左右分別為在不同數據集上的實驗結果）。同時，該論文針對目前普遍采用的批歸一化層，分析了其對于遷移學習后模型性能的影響，并通過大量實驗證明：在遷移學習中有選擇地重用批歸一化層的參數，可以有效地提高系統魯棒性。

更進一步地，對于遷移學習過程中準確率與魯棒性的平衡問題，該論文針對性地提出協同對抗魯棒的遷移學習框架（如圖2所示），分別針對源域模型（文中稱為TeacherModel）的對抗訓練階段以及目標域模型（文中稱為StudentModel）的微調階段設計了新算法：考慮源域模型中的部分網絡層會被目標域模型重用—被用于提取輸入的特征—對此該論文提出特征距離最小化，通過減少源域模型對正常樣本與對抗樣本所提取特征的差異程度，使其魯棒性能夠更加容易地被目標域模型繼承；對于在目標域上的微調過程，該論文提出非拓展微調算法，通過限制微調部分網絡參數的利普希茨常數，降低模型對于對抗樣本的敏感程度，從而使微調后的模型能夠更好地從源域繼承魯棒性。作者在多個圖像數據集（CIFAR、SVHN、GTSRB）上進行了大量實驗和分析，實驗結果充分驗證了該方案的有效性。

//arxiv.org/pdf/2106.06667.pdf

元強化學習(Meta - reinforcement learning, Meta - rl)從以前的任務中提取知識，實現對新任務的快速適應。盡管最近取得了一些進展，但對元強化學習的有效探索仍然是稀疏獎勵任務中的一個關鍵挑戰，因為它需要在元訓練和適應中快速找到與任務相關的信息性經驗。針對這一挑戰，我們明確建模了一個元強化學習的探索策略學習問題，該問題與開發策略學習分離，并引入了一個新的賦權驅動的探索目標，該目標旨在最大限度地獲取信息以進行任務識別。我們得到了相應的內在獎勵，并開發了一個新的非策略元強化學習框架，通過共享任務推理知識，有效地學習獨立的上下文感知的探索和開發策略。實驗結果表明，在不同的稀疏獎勵MuJoCo運動任務和更復雜的稀疏獎勵元世界任務中，我們的meta-RL方法顯著優于最先進的基線。

//www.zhuanzhi.ai/paper/8972d5b6f921acf471ca8b89afc45759

少樣本數據集泛化是研究良好的少樣本分類問題的一種具有挑戰性的變體，其中給出了多個數據集的不同訓練集，目的是訓練一個可適應的模型，然后可以通過僅使用幾個例子從新數據集學習類。為此，我們提出利用不同的訓練集來構建一個通用模板:通過插入適當的組件，可以定義廣泛的數據集專用模型的部分模型。因此，對于每個新的幾桿分類問題，我們的方法只需要推斷少量參數插入到通用模板中。我們設計了一個單獨的網絡，為每個給定的任務生成這些參數的初始化，然后我們通過梯度下降的幾個步驟來微調其提出的初始化。與以前的方法相比，我們的方法參數效率更高，可擴展性更強，適應性更強，并在具有挑戰性的Meta-Dataset基準測試上達到了最好的性能。

//arxiv.org/abs/2105.07029

高維黑盒優化仍然是一個重要但卻極富挑戰性的問題。盡管貝葉斯優化方法在連續域上取得了成功，但對于分類域，或者混合了連續變量和分類變量的域，仍然具有挑戰性。我們提出了一種新的解決方案——我們將局部優化與定制的內核設計相結合，有效地處理高維分類和混合搜索空間，同時保持樣本效率。我們進一步推導了該方法的收斂性保證。最后，我們通過經驗證明，我們的方法在性能、計算成本或兩者方面都優于當前的各種合成和現實任務基準。

//www.zhuanzhi.ai/paper/caddcda9300c2842d75559e1b57a8304

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

本文通過最小化驗證損失代理來搜索最佳神經網絡結構。現有的神經結構搜索（NAS）方法在給定最新的網絡權重的情況下發現基于驗證樣本的最佳神經網絡結構。但是，由于在NAS中需要多次重復進行反向傳播，使用大量驗證樣本進行反向傳播可能會非常耗時。在本文中，我們建議通過學習從神經網絡結構到對應的損失的映射來近似驗證損失情況。因此，可以很容易地將最佳神經網絡結構識別為該代理驗證損失范圍的最小值。同時，本文進一步提出了一種新的采樣策略，可以有效地近似損失情況。理論分析表明，與均勻采樣相比，我們的采樣策略可以達到更低的錯誤率和更低的標簽復雜度。在標準數據集上的實驗結果表明，通過本方法進行神經結構搜索可以在較低的搜索時間內搜索到精度很高的網絡結構。