亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文將圖上定義的神經網絡轉換為消息傳遞神經網絡(MPNNs)，以研究這類模型的不同分類的區分能力。我們感興趣的是某些架構何時能夠根據作為圖輸入的特征標簽區分頂點。我們考慮了兩種不同的MPNNs: 匿名MPNNs，其消息函數只依賴于所涉及的頂點的標簽; 以及程度感知的MPNNs，其消息函數可以額外使用關于頂點度數的信息。前一類涵蓋了流行的圖神經網絡(GNN)形式，其優異的能力是已知的。后者包括Kipf和Welling提出的圖卷積網絡(GCNs)，其區分能力未知。利用Weisfeiler-Lehman (WL)算法的辨識能力，得到了(匿名和程度感知)多神經網絡辨識能力的上界和下界。我們的主要結果表明: (1) GCNs的分辨能力受到WL算法的限制，但它們可能領先一步; (ii) WL算法不能用普通的GCNs模擬，但通過在頂點和其鄰居的特征之間添加一個權衡參數(Kipf和Welling提出的)可以解決這個問題。

//proceedings.mlr.press/v139/geerts21a

貝葉斯范式有潛力解決深度神經網絡的核心問題，如校準差和數據效率低。唉，將貝葉斯推理擴展到大權重空間通常需要限制性的近似。在這項工作中，我們證明，為了獲得準確的預測后驗，對模型權重的一個小子集進行推理是足夠的。其他權重保留為點估計值。這個子網絡推理框架使我們能夠在這些子集上使用表達性的，否則難以處理的后驗近似。特別地，我們將子網絡線性化拉普拉斯作為一種簡單的、可擴展的貝葉斯深度學習方法來實現:我們首先獲得所有權重的MAP估計，然后使用線性化拉普拉斯近似來推斷子網絡上的全協方差高斯后程。我們提出了一種子網絡選擇策略，旨在最大限度地保持模型的預測不確定性。

本文研究了無監督圖表示學習，這在許多任務中至關重要，如藥物和材料中分子特性預測。現有方法主要側重于保留不同圖實例之間的局部相似性，但是沒有考慮整個數據集的全局語義結構。在本文中，作者提出了一個統一的框架，GraphLoG，用于自監督的全圖表示學習。

具體來說，除了局部相似性之外，GraphLoG 還引入了層次原型來捕獲全局語義。進一步提出了一種有效的在線期望最大化 (EM) 算法來學習模型。本文評估的方法是通過在未標記圖預訓練，然后對下游任務進行微調來進行。對化學和生物基準數據集的大量實驗證明了所提出方法的有效性。

Learning Diverse-Structured Networks for Adversarial Robustness

該文針對對抗訓練(adversarial training)提出了一種輕量級的結構多樣化的網絡結構, 該網絡結構以現有可以直接使用的有效網絡模型作為原子模塊，并引入注意力權重來動態地對這些原子模塊進行加權，從而增加了整體網絡結構的多樣性以提高模型的對抗魯棒性。

在對抗訓練 (adversarial training, AT) 中，目前學術界主要的研究重點是訓練目標函數和優化器，而對于魯棒的網絡結構研究較少，因此目前多數文獻使用的仍然是標準訓練（standard training, ST）中的那些經典的網絡結構。在標準訓練中，經典的網絡結構是通常比搜索得到的網絡結構表現差的，這樣的趨勢在對抗訓練中應該是一樣的。

在本文中，我們認為網絡結構和訓練的方式，即對抗訓練AT，不能獨立處理，由于給定一個數據集，標準訓練ST中的表現最佳的網絡結構在對抗訓練中不一定是最優的。話雖如此，由于需要在線生成對抗樣本，對抗訓練本身是非常耗時，如果我們在超大搜索空間中直接搜索網絡結構，計算復雜度將幾乎無法接受。因此，在這篇文章里，我們提出一個多樣化的網絡結構（DS-Net），以顯著減少搜索空間的大小，相比于細粒度搜索空間里的網絡前向傳播操作，我們只考慮預定義的原子模塊的設計，其中原子模塊是像殘差塊（residual block）一樣經過時間考驗的網絡結構。

由于只有幾個原子模塊，因此在計算網絡任意位置的輸入和輸出時，我們可以加權所有原子模塊而不是找到DS-Net所有原子模塊中最好的一個。在這樣的過程中，DS-Net可以實現探索（explore）多樣化網絡結構和利用（exploit）最好的網絡結構之間的重要權衡。本文中的實驗結果證明了 DS-Net 的優勢，即對原子模塊進行加權。

用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。

//www.zhuanzhi.ai/paper/867b3834167694dab97cf812135dc273

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

我們提出了一個嚴格的方法，使用一組任意相關的弱監督源，以解決多類分類任務時，只有一個非常小的標記數據集可用。我們的學習算法可證明收斂于一個模型，該模型對于一組未標記數據的可行標記的對抗性選擇具有最小的經驗風險，其中標記的可行性是通過對弱監督源的嚴格估計統計量定義的約束來計算的。我們為這種依賴于弱監督來源提供的信息的方法提供了理論保障。值得注意的是，該方法不要求弱監督源具有與多類分類任務相同的標注空間。我們通過實驗證明了我們的方法在各種圖像分類任務中的有效性。

當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。

//www.zhuanzhi.ai/paper/beffdb76305bfa324433d64e6975ec76

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

大數據分析的一個關鍵挑戰是如何收集大量(標記)數據。眾包旨在通過聚合和估算來自廣泛的客戶/用戶的高質量數據(如文本的情感標簽)來解決這一挑戰。現有的眾包研究集中于設計新的方法來提高來自不可靠/嘈雜客戶端的聚合數據質量。然而，迄今為止，這種眾包系統的安全方面仍未得到充分的探索。我們的目標是在這項工作中填補這一缺口。具體來說，我們表明眾包很容易受到數據中毒攻擊，即惡意客戶端提供精心制作的數據來破壞聚合數據。我們將我們所提議的數據中毒攻擊規劃為一個優化問題，使聚合數據的錯誤最大化。我們在一個合成的和兩個真實的基準數據集上的評估結果表明，所提出的攻擊可以顯著地增加聚合數據的估計誤差。我們還提出了兩種防御來減少惡意客戶端的影響。我們的實證結果表明，所提出的防御方法可以顯著降低數據中毒攻擊的估計誤差。

//www.zhuanzhi.ai/paper/d25992f7a7df3ee1468f244f05a8ba03