亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深入研究置換敏感的圖神經網絡

論文鏈接： //www.zhuanzhi.ai/paper/da818de2d710f7cb9087582587f6240f 代碼鏈接： 演示鏈接：

圖與鄰接矩陣的置換不變性是圖神經網絡（GNN）的首要要求，傳統模型通過置換不變的聚合操作來滿足這一前提條件。然而，這種高度對稱的置換不變聚合方式假定所有鄰居結點的地位均等，可能會忽略鄰居結點與鄰居結點之間的相互關系，進而阻礙 GNN 的表達能力。

與置換不變相反，置換敏感的聚合函數對于結點順序非常敏感，可以看作是一種“對稱性破缺”機制，打破了鄰居結點的均等地位。這樣一來，聚合函數可以顯式地建模鄰居結點之間的內在關系（如二元依賴），捕獲兩個鄰居結點之間是否存在連接，從而識別并利用局部的圖子結構來提高表達能力。

盡管置換敏感的聚合函數比置換不變的聚合函數具有更加強大的表達能力，但是還需要額外考慮所有n!種置換來保證泛化能力，在計算復雜度上面臨著巨大的挑戰。為了解決這一問題，本文利用置換群（permutation group）設計了一種新穎的置換敏感聚合機制，通過置換采樣策略采樣少量具有代表性的置換，捕獲鄰居與鄰居之間的二元依賴，從而高效地提升 GNN 的表達能力：研究員們證明了所提出的方法嚴格地比二維 Weisfeiler-Lehman（2-WL）圖同構測試更強大，并且能夠區分一些 3-WL 測試無法區分的非同構圖對；此外，相比于傳統方法需要考慮所有 n! 種置換，本文所提出的方法能夠達到線性的置換采樣復雜度。

圖2：考慮中心結點 v 和5個鄰居結點的簡單模型示例

綜合而言，本文基于置換敏感的聚合機制設計了一種強大而高效的圖神經網絡，它在保證表達能力的同時，先后借助近似置換不變性的思想與線性置換采樣策略，顯著降低了計算復雜度。如何利用置換敏感的圖神經網絡在表達能力上的天然優勢，在表達能力和計算復雜度之間尋找均衡，將是未來富有前景的研究方向。

理解視頻的時間動態是學習更好的視頻表現的一個重要方面。最近，基于transformer的架構設計在視頻任務中得到了廣泛的探索，因為它們能夠捕獲輸入序列的長期依賴性。然而，我們發現這些視頻transformer在學習空間動力學而不是時間動力學時仍然是有偏的，去偏偽相關對它們的性能至關重要。基于觀察結果，我們為視頻模型設計了簡單而有效的自監督任務，以更好地學習時間動態。具體來說，為了消除空間偏差，我們的方法學習視頻幀的時間順序作為額外的自監督，并強制隨機洗牌的幀具有低置信輸出。此外，我們的方法學習連續幀之間視頻標記的時間流方向，以增強與時間動態的相關性。在各種視頻動作識別任務下，我們證明了我們的方法的有效性，以及它與最先進的視頻transformer的兼容性。

//www.zhuanzhi.ai/paper/0a5edd1d139682ad788b64f4f65b968e

自注意力機制利用所有輸入標記之間的成對注意力對長上下文進行建模。在此過程中，他們假設單個標記(例如，文本字符或圖像像素)定義了固定的注意力粒度，這對于在更高級別上建模復雜依賴關系可能不是最優的。在本文中，我們提出了ContextPool，通過調整每個標記的注意粒度來解決這個問題。受ConvNets成功結合池化來捕獲遠程依賴的啟發，我們學會了在給定的注意力層中計算注意力之前，為每個令牌池化鄰近的特性。池權和支持大小是自適應確定的，允許池特性以不同的規模編碼有意義的上下文。我們表明，ContextPool使注意力模型更具表現力，通常用更少的層實現強大的性能，從而顯著降低成本。實驗驗證，當我們的ContextPool模塊插入transformer 模型時，在幾種語言和圖像基準上使用較少的計算，匹配或超過了最先進的性能，在學習上下文大小或稀疏注意力模式方面優于最近的工作，也適用于ConvNets的高效特征學習。

近年來，Transformer架構和變體在許多機器學習任務中取得了顯著的成功。這種成功本質上與處理長序列的能力以及注意力機制中上下文相關的權重的存在有關。我們認為這些能力符合元強化學習算法的核心作用。事實上，元強化學習代理需要從一系列軌跡推斷任務。此外，它需要一個快速適應策略來適應新的任務，這可以通過使用自我注意機制來實現。在這項工作中，我們提出了TrMRL(transformer 元強化學習)，一個元強化學習l代理，模仿記憶恢復機制使用transformer 架構。它將最近過去的工作記憶聯系起來，遞歸地通過transformer層建立情景記憶。我們展示了自注意力計算出一種共識表示，在每一層將貝葉斯風險降到最低，并提供了有意義的特征來計算最佳行動。我們在運動和靈巧操作的高維連續控制環境中進行了實驗。結果表明，在這些環境中，與基線相比，TrMRL具有可比或更好的漸近性能、樣本效率和分布外泛化。

//www.zhuanzhi.ai/paper/1a6668cdd5003fa2b3f7803489661a0d

近幾年來，Transformer模型在學界和工業界正受到越來越廣泛的關注，它的一大特點就是可以根據附近上下文信息的內容賦予不同的注意力權重。Transformer的優越性也促使研究者們希望將其應用到其它的研究領域上，例如計算機視覺或者圖網絡學習等。

現在我們希望將Transformer結構應用到流形（Manifold）上。先回憶一種簡單的情況：當Transformer應用到2D圖片上時，它會以一個像素為中心點，綜合考慮附近鄰域中每一個像素的內容并進行加權信息聚合。在這個過程中，附近鄰域中的每一個像素相對中心像素都有一個明確而清晰的位置，并且這個相對位置有一個統一的參數化模式。然而，對于流形這種不規則的數據結構，在Transformer進行信息聚合時，鄰域點的相對位置信息存在無數種參數化模式，這種不唯一性會影響計算機進行數據處理和模式識別的結果。

//openreview.net/pdf?id=fyL9HD-kImm

本文主要貢獻如下：

• 我們首次提出了規范等變的注意力機制模型（Gauge Equivariant Transformer，簡稱為GET）。我們從數學上證明了GET對于旋轉角度為（N為正整數）的規范改變上是完全等變的，并且對其它的旋轉角度給出了等變誤差的上界。
• 我們精心設計了一種與全局坐標系無關的模型輸入。這種輸入與規范等變性相結合可以實現三維空間內物體的旋轉不變性。
• 我們提出了一種新的平行移動方法，即把循環群的正規表示擴展到了2D空間任意旋轉群的表示。相比傳統的截斷或插值方法，我們的方法可以保留更多的流形幾何信息。
• 我們使用泰勒級數來求解等變的限制條件，從而在鄰域中有更好的近似效果。
• 我們通過實驗證明了模型的有效性。在SHREC數據集上，GET比最好的baseline模型HSN有3.1%的準確率提升；在Human Body Segmentation數據集上，GET比最好的baseline模型MeshCNN有0.3%的準確率提升。

近期工作(White et al.， 2020a;Yan et al.， 2020)證明了架構編碼在神經架構搜索(NAS)中的重要性。這些編碼對神經結構的結構或計算信息進行編碼。與結構感知編碼相比，計算感知編碼以相似的精度映射到同一區域的架構，提高了下游架構搜索性能(Zhang et al., 2019; White et al., 2020a)。在本文中，我們介紹了一種基于計算感知Transformer的編碼方法，稱為CATE。與現有基于固定變換的計算感知編碼(如路徑編碼)不同，CATE采用了成對的預訓練方案，使用交叉注意的transformer來學習計算感知編碼。這種學習編碼包含神經結構的密集和上下文化計算信息。在小搜索空間和大搜索空間中，我們比較了在三個主要的編碼依賴NAS子程序下，CATE和11種編碼方式。我們的實驗表明，CATE有利于下游搜索，特別是在大的搜索空間中。此外，外部搜索空間實驗證明了它在訓練所處的搜索空間之外具有優越的泛化能力。

//arxiv.org/abs/2102.07108

雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。

//www.zhuanzhi.ai/paper/09bea7a76036948cbbba30e86af56ef8

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf