近幾年來，Transformer模型在學界和工業界正受到越來越廣泛的關注，它的一大特點就是可以根據附近上下文信息的內容賦予不同的注意力權重。Transformer的優越性也促使研究者們希望將其應用到其它的研究領域上，例如計算機視覺或者圖網絡學習等。
現在我們希望將Transformer結構應用到流形（Manifold）上。先回憶一種簡單的情況：當Transformer應用到2D圖片上時，它會以一個像素為中心點，綜合考慮附近鄰域中每一個像素的內容并進行加權信息聚合。在這個過程中，附近鄰域中的每一個像素相對中心像素都有一個明確而清晰的位置，并且這個相對位置有一個統一的參數化模式。然而，對于流形這種不規則的數據結構，在Transformer進行信息聚合時，鄰域點的相對位置信息存在無數種參數化模式，這種不唯一性會影響計算機進行數據處理和模式識別的結果。
//openreview.net/pdf?id=fyL9HD-kImm
本文主要貢獻如下：
- 我們首次提出了規范等變的注意力機制模型（Gauge Equivariant Transformer，簡稱為GET）。我們從數學上證明了GET對于旋轉角度為（N為正整數）的規范改變上是完全等變的，并且對其它的旋轉角度給出了等變誤差的上界。
- 我們精心設計了一種與全局坐標系無關的模型輸入。這種輸入與規范等變性相結合可以實現三維空間內物體的旋轉不變性。
- 我們提出了一種新的平行移動方法，即把循環群的正規表示擴展到了2D空間任意旋轉群的表示。相比傳統的截斷或插值方法，我們的方法可以保留更多的流形幾何信息。
- 我們使用泰勒級數來求解等變的限制條件，從而在鄰域中有更好的近似效果。
- 我們通過實驗證明了模型的有效性。在SHREC數據集上，GET比最好的baseline模型HSN有3.1%的準確率提升；在Human Body Segmentation數據集上，GET比最好的baseline模型MeshCNN有0.3%的準確率提升。
付費5元查看完整內容
相關內容
最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。
付費5元查看完整內容
論文鏈接：//www.zhuanzhi.ai/paper/3d04de5c54e6026e7a6090e9b64017d3
Transformer 模型已被廣泛應用于自然語言處理、計算機視覺、語音等諸多領域，并且取得了卓越的結果。但對于超長序列輸入，Transformer 模型受到了極大的限制，因為其核心組件“自注意力機制”導致計算和記憶復雜度隨序列長度呈二次增長。為了限制這種增長，微軟亞洲研究院提出了一種新穎的兩級注意模式：PoolingFormer，經驗證，該機制在 Natural Question、TyDi QA、Arxiv 摘要生成數據集上，都取得了較好的效果。
在自注意力機制中，token 的表征計算可以簡述為其視野范圍內鄰居表征的加權和。一般來說，令牌“看”得越遠，性能就越好，但計算復雜度也更高。微軟亞洲研究院的研究員們觀察到，對于一個 token 的表征，離它最近的鄰居更重要，而越遠距離的鄰居，包含的冗余信息就越多。根據這一觀察，研究員們探索了更有效的自注意力機制。
PoolingFormer 將原始的全注意力機制修改為一個兩級注意力機制：第一級采用滑動窗口注意力機制，限制每個詞只關注近距離的鄰居；第二級采用池化注意力機制，采用更大的窗口來增加每個 token 的感受野，同時利用池化操作來壓縮鍵和值向量，以減少要參加注意力運算的令牌數量。這種結合滑動注意力機制和池化注意力機制的多級設計可以顯著降低計算成本和內存消耗，同時還能獲得優異的模型性能。與原始的注意力機制相比，PoolingFormer 的計算和內存復雜度僅隨序列長度線性增加。
付費5元查看完整內容
圖神經網絡
·
雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。
付費5元查看完整內容
本文提出了一種基于框架小波變換（framelet transforms）的圖神經網絡。這種方法為結構化的圖數據提供了多尺度表示。我們利用這種變換方式把圖數據特征分解到低通和高通頻率（low-pass and high-pass frequency）空間上，并利用這些頻率信息定義相應的框架小波圖卷積層（graph framelet convolutional layer）。此外，圖上的特征通過框架小波分解，聚合出了低通和高通光譜（spectra）的信息。我們利用這一特征，進一步提出了相應的圖池化（graph pooling）方法。這種池化方法同時考慮了圖數據的特征信息（feature information）和幾何信息（topology information）。
我們在多種節點預測和圖預測任務上對本文提出的框架小波卷積和池化方法的圖神經網絡進行了測試。實驗結果表明，我們的方法在多種應用下都可以達到SOTA的表現。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
我們介紹了Colorization Transformer，這是一種基于自注意力，多樣化的高保真圖像著色的新穎方法。給定灰度圖像，著色過程分三個步驟進行。我們首先使用條件自回歸Transformer產生灰度圖像的低分辨率粗色。我們的體系結構采用條件transformer層來有效調節灰度輸入。隨后的兩個完全并行網絡將粗糙的彩色低分辨率圖像上采樣為精細的彩色高分辨率圖像。從Colorization Transformer進行采樣可生成多種顏色，其保真度優于基于FID結果和在Mechanical Turk測試中的人工評估為ImageNet著色的最新技術。值得注意的是，在超過60％的情況下，人類評估師更喜歡三種生成的著色中評分最高的事實，而不是事實。
//openreview.net/forum?id=5NA1PinlGFu
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191