亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。

人類通過視覺概念學習獲得圖像分類的能力，概念形成的過程涉及到共同屬性的搜索和概念描述的交織。然而，在大多數使用深度卷積神經網絡(ConvNet)的圖像分類算法中，表示空間是在概念描述固定為單熱點代碼的前提下構造的，這限制了屬性的挖掘和對未見樣本的識別能力。受此啟發，我們提出了一種基于ConvNet的視覺概念形成(visual concept formation, LSOVCF)學習策略，該策略將概念形成的兩個相互交織的部分，即特征提取和概念描述一起學習。首先，LSOVCF在ConvNet的最后一層取樣本響應，引入假設為高斯分布的概念描述，這是訓練過程的一部分。其次，對探索和經驗損失進行優化設計，采用經驗緩存池加速收斂。實驗表明，LSOVCF提高了cifar10、STL10、flower17和ImageNet上從經典VGG到SOTA Ghostnet的幾種骨架樣本識別未見樣本的能力。

代碼可在\url{//github.com/elvintanhust/LSOVCF}。

深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。

//arxiv.org/abs/2102.07078

用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。

//www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

摘要： 卷積神經網絡(convolutional neural network, CNN)在圖像處理、語音識別、自然語言處理等領域實現了很好的性能.大規模的神經網絡模型通常遭遇計算、存儲等資源限制，稀疏神經網絡的出現有效地緩解了對計算和存儲的需求.盡管現有的領域專用加速器能夠有效處理稀疏網絡，它們通過算法和結構的緊耦合實現高能效，卻喪失了結構的靈活性.粗粒度數據流架構通過靈活的指令調度可以實現不同的神經網絡應用.基于該架構，密集卷積規則的計算特性使不同通道共享相同的一套指令執行，然而稀疏網絡中存在權值稀疏，使得這些指令中存在0值相關的無效指令，而現有的指令執行方式無法自動跳過它們從而產生無效計算.同時在執行不規則的稀疏網絡時，現有的指令映射方法造成了計算陣列的負載不均衡.這些問題阻礙了稀疏網絡性能的提升.基于不同通道共享一套指令的前提下,根據稀疏網絡的數據和指令特征增加指令控制單元實現權值數據中0值相關指令的檢測和跳過，同時使用負載均衡的指令映射算法解決稀疏網絡中指令執行不均衡問題.實驗表明：與密集網絡相比稀疏網絡實現了平均1.55倍的性能提升和63.77%的能耗減少.同時比GPU(cuSparse)和Cambricon-X實現的稀疏網絡分別快2.39倍(Alexnet)、2.28倍(VGG16)和1.14倍(Alexnet)、1.23倍(VGG16).

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20200112

在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。

//www.zhuanzhi.ai/paper/5b09e4a225a2ba1040ba9848b5a5cd24

圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。

?遷移學習作為機器學習領域的關鍵核心技術，能夠有效地緩解訓練模型時對訓練數據規模以及計算能力的需求。近年來，研究人員針對遷移學習進行了大量的研究，主要集中在提高遷移后模型在目標域上的準確率，而忽略了遷移后模型面對對抗樣本攻擊時的魯棒性。該論文針對人工智能系統安全問題，分析了在遷移學習場景下，當深度神經網絡面臨對抗樣本攻擊時，遷移策略對神經網絡魯棒性的影響。

該論文彌補了現有分析的缺陷，在基于多種常用的圖像數據集構建的遷移學習場景中，細致地探討了在目標域上微調的模型層數對模型準確率及魯棒性的影響，并揭示了兩者之間存在的平衡問題，即隨著模型微調的層數增加，其在目標域上的準確率與魯棒性出現了不同步的變化（如圖1所示，左右分別為在不同數據集上的實驗結果）。同時，該論文針對目前普遍采用的批歸一化層，分析了其對于遷移學習后模型性能的影響，并通過大量實驗證明：在遷移學習中有選擇地重用批歸一化層的參數，可以有效地提高系統魯棒性。

更進一步地，對于遷移學習過程中準確率與魯棒性的平衡問題，該論文針對性地提出協同對抗魯棒的遷移學習框架（如圖2所示），分別針對源域模型（文中稱為TeacherModel）的對抗訓練階段以及目標域模型（文中稱為StudentModel）的微調階段設計了新算法：考慮源域模型中的部分網絡層會被目標域模型重用—被用于提取輸入的特征—對此該論文提出特征距離最小化，通過減少源域模型對正常樣本與對抗樣本所提取特征的差異程度，使其魯棒性能夠更加容易地被目標域模型繼承；對于在目標域上的微調過程，該論文提出非拓展微調算法，通過限制微調部分網絡參數的利普希茨常數，降低模型對于對抗樣本的敏感程度，從而使微調后的模型能夠更好地從源域繼承魯棒性。作者在多個圖像數據集（CIFAR、SVHN、GTSRB）上進行了大量實驗和分析，實驗結果充分驗證了該方案的有效性。

//arxiv.org/pdf/2106.06667.pdf

學生作者：王希梅，高敬涵

//www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1

摘要：大規模標記數據集推動深度學習獲得廣泛應用，但在現實場景中收集足量的標記數據往往耗時耗力。為了降低對標記數據的需求，半監督學習側重于同時探索標記和未標記數據，而遷移學習旨在將預訓練模型微調到目標數據中。然而，從頭訓練的半監督自訓練模型容易被錯誤的偽標簽所誤導，而僅僅挖掘有限標記數據的遷移學習方法則面臨模型漂移的挑戰。為了實現數據高效的深度學習，本文提出的Self-Tuning方法設計了一種新的“偽標簽組對比”機制，將標記和未標記數據的探索與預訓練模型的遷移統一起來。在多個基準數據集中，Self-Tuning的性能取得大幅提升，例如，在標簽比例為15%的Stanford Cars中，Self-Tuning相較標準fine-tuning獲得了翻倍的準確率。

arxiv鏈接：

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf