亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

手工設計深度神經網絡需要花費大量的時間和精力。這促使了神經結構搜索(NAS)技術的發展，以實現這種設計的自動化。然而，NAS算法往往是緩慢和昂貴的;他們需要訓練大量的候選網絡，為搜索過程提供信息。如果我們能從網絡的初始狀態部分預測其訓練的準確性，這就可以緩解。在這項工作中，我們檢查了未經過訓練的網絡中數據點之間的激活重疊，并激勵它如何能給出一個有用的衡量指標，以表明網絡的訓練性能。我們將這種方法整合到一個簡單的算法中，該算法允許我們無需任何訓練就能在單個GPU上搜索強大的網絡，并在NAS-Bench-101、NAS-Bench-201、NATS-Bench和Network Design Spaces上驗證其有效性。我們的方法可以很容易地與更昂貴的搜索方法相結合;我們研究了一種規則化進化搜索的簡單適應。復制我們實驗的代碼可以在//github.com/BayesWatch/nas-without-training上找到。

我們定義了深度核過程，其中正定格拉姆矩陣由非線性核函數和(逆)Wishart分布的采樣逐步變換。值得注意的是，我們發現深度高斯過程(DGPs)，貝葉斯神經網絡(BNNs)，無限的BNNs和無限的有瓶頸的BNNs都可以寫成深度核過程。對于DGPs，產生等價是因為由特征的內積形成的格拉姆矩陣是Wishart分布的，正如我們所示，標準的各向同性核完全可以用這個格拉姆矩陣來表示——我們不需要關于底層特征的知識。我們定義了一個可處理的深度核過程，即深度逆Wishart過程，并給出了一個雙隨機誘導點變分推理方案，該方案作用于Gram矩陣，而不是像DGPs中那樣作用于特征。結果表明，在全連通基線上，深度逆Wishart過程的性能優于DGPs和無限BNN網絡。

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

我們提出并分析了一種基于動量的梯度方法，用于訓練具有指數尾損失(例如，指數或logistic損失)的線性分類器，它以O (1/t2)的速率最大化可分離數據的分類邊緣。這與標準梯度下降的速率O(1/log(t))和標準化梯度下降的速率O(1/t)形成對比。這種基于動量的方法是通過最大邊際問題的凸對偶，特別是通過將Nesterov加速度應用于這種對偶，從而在原函數中得到了一種簡單而直觀的方法。這種對偶觀點也可以用來推導隨機變量，通過對偶變量進行自適應非均勻抽樣。

//www.zhuanzhi.ai/paper/9fd848dc95d2b0a9a5da37dbbd79d4ed

我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。

//www.zhuanzhi.ai/paper/3daeb1dc335f94ac104faf7abb027f98

基于注意力的神經網絡已經在許多任務上取得了最先進的成果。這類模型大多采用確定性注意力，而隨機注意力由于優化困難或模型設計復雜，研究較少。本文介紹了貝葉斯注意力信念網絡，該網絡通過將非歸一化的注意力權值建立在伽馬分布的層次上來構造解碼器網絡，通過將具有確定性-向上-隨機-向下結構的Weibull分布疊加來近似后變分布來構造編碼器網絡。所得到的自編碼網絡可以以一種變分下界的可微方式進行優化。任何具有確定性注意力的模型，包括預訓練過的模型，都可以簡單地轉換為所提出的貝葉斯注意力信念網絡。在各種語言理解任務中，我們證明了我們的方法在準確性、不確定性估計、跨域泛化和對抗攻擊的魯棒性方面優于確定性注意和最新的隨機注意力。我們進一步證明了該方法在神經機器翻譯和視覺問答方面的普遍適用性，顯示了將該方法整合到各種注意力相關任務中的巨大潛力。

//www.zhuanzhi.ai/paper/0488b7f68e55c8ab23e726bc5b66d5f5

殘差網絡(ResNets)在模式識別方面顯示了令人印象深刻的結果，最近，由于與神經常微分方程(neural ODEs)的感知聯系，獲得了相當大的理論興趣。隨著層數的增加，這條鏈路依賴于網絡權值的收斂到平滑的函數。我們通過詳細的數值實驗研究了隨機梯度下降訓練權值的性質，以及它們隨網絡深度的變換。我們觀察到有明顯不同于神經ODE文獻中假設的標度區存在。根據網絡結構的某些特征，如激活函數的光滑性，人們可以得到另一個ODE極限，一個隨機微分方程或兩者都不能。這些發現對神經ODE模型作為深度ResNets的充分漸近描述的有效性提出了質疑，并指出了另一類微分方程作為深度網絡極限的更好描述。

//www.zhuanzhi.ai/paper/74bb9f3249e109282560f46658d244eb

Yang (2020a)最近指出，神經切線核(NTK)在初始化時具有無限寬的限制，適用于許多架構，包括現代的主要架構，如ResNet和Transformer。然而，他們的分析并不適用于訓練。在這里，我們展示了同樣的神經網絡(在所謂的NTK參數化中)在訓練過程中遵循函數空間中的核梯度下降動力學，其中核是無限寬NTK。這就完成了NTK行為體系結構通用性的證明。為了得到這個結果，我們運用張量程序技術:在一個張量程序中編寫整個SGD動態，并通過主定理分析它。為了便于證明，我們開發了一個張量程序的圖形符號。

GNN的表示能力和泛化能力得到了廣泛的研究。但是，它們的優化其實研究的很少。通過研究GNN的梯度動力學，我們邁出分析GNN訓練的第一步。具體來說，首先，我們分析線性化（linearized）的GNN，并證明了：盡管它的訓練不具有凸性，但在我們通過真實圖驗證的溫和假設下，可以保證以線性速率收斂到全局最小值。其次，我們研究什么會影響GNN的訓練速度。我們的結果表明，通過跳過（skip）連接，更深的深度和/或良好的標簽分布，可以隱式地加速GNN的訓練。實驗結果證實，我們針對線性GNN的理論結果與非線性GNN的訓練行為一致。我們的結果在優化方面為具有跳過連接的GNN的成功提供了第一個理論支持，并表明具有跳過連接的深層GNN在實踐中將很有希望。

//www.zhuanzhi.ai/paper/609aef10a18ac8eb66f1d1873c8ec445

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf