亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

本文研究如何更好聚合網絡拓撲信息和特征信息。中心思想是，構造了結構圖，特征圖(feature graph)，以及兩者的組合來提取特定的和通用的嵌入，并使用注意機制來學習嵌入的自適應重要性權重。實驗發現，AM-GCN可以從節點特征和拓撲結構中提取自適應地提取相關的信息，對應不同的參數取值。 //arxiv.org/abs/2007.02265

摘要：圖卷積網絡(GCNs)在處理圖數據和網絡數據的各種分析任務方面得到了廣泛的應用。然而，最近的一些研究提出了一個問題，即GCNs是否能夠在一個信息豐富的復雜圖形中優化地整合節點特征和拓撲結構。在本文中，我們首先提出一個實驗研究。令人驚訝的是，我們的實驗結果清楚地表明，當前的GCNs融合節點特征和拓撲結構的能力遠遠不是最優的，甚至是令人滿意的。由于GCNs無法自適應地學習拓撲結構與節點特征之間的一些深層次關聯信息，這一弱點可能會嚴重阻礙GCNs在某些分類任務中的能力。我們能否彌補這一缺陷，設計出一種新型的GCNs，既能保留現有GCNs的優勢，又能大幅度提高拓撲結構和節點特征融合的能力?為了解決這個問題，我們提出了一種自適應多通道半監督分類圖卷積網絡。其核心思想是同時從節點特征、拓撲結構及其組合中提取具體的和常見的嵌入，并利用注意機制學習嵌入的自適應重要度權值。我們在基準數據集上進行的大量實驗表明，AM-GCN從節點特征和拓撲結構中提取了最多的相關信息，顯著提高了分類精度。

題目： Adaptive Graph Encoder for Attributed Graph Embedding

簡介： 從圖拓撲和節點特征中學習向量表示的屬性圖嵌入是圖分析的一項艱巨任務。近年來，基于圖卷積網絡（GCN）的方法在此任務上取得了很大的進步。但是，現有的基于GCN的方法具有三個主要缺點。首先，我們的實驗表明圖卷積濾波器和權重矩陣的糾纏將損害性能和魯棒性。其次，我們證明了這些方法中的圖卷積濾波器是廣義拉普拉斯平滑濾波器的特例，但它們并未保留最佳的低通特性。最后，現有算法的訓練目標通常是恢復與現實應用并不總是一致的鄰接矩陣或特征矩陣，為了解決這些問題，我們提出了一種新型的屬性圖嵌入框架Adaptive Graph Encoder（AGE）。 AGE由兩個模塊組成：（1）為了更好地減輕節點特征中的高頻噪聲，AGE首先應用了精心設計的拉普拉斯平滑濾波器。 （2）AGE采用了自適應編碼器，該編碼器迭代地增強了濾波后的特征，以實現更好的節點嵌入。我們使用四個公共基準數據集進行實驗，以驗證AGE在節點群集和鏈接預測任務上的作用。實驗結果表明，AGE在這些任務上始終優于最新的圖形嵌入方法。

題目： Continuous Graph Neural Networks

摘要：

本文建立了圖神經網絡與傳統動力系統之間的聯系。我們提出了持續圖神經網絡(CGNN)，它將現有的圖神經網絡與離散動力學進行了一般化，因為它們可以被視為一種特定的離散化方案。關鍵思想是如何表征節點表示的連續動力學，即關于時間的節點表示的導數。受現有的基于擴散的圖方法(如社交網絡上的PageRank和流行模型)的啟發，我們將導數定義為當前節點表示、鄰節點表示和節點初始值的組合。我們提出并分析了兩種可能的動態圖，包括節點表示的每個維度(又名特征通道)各自改變或相互作用的理論證明。所提出的連續圖神經網絡在過度平滑方面具有很強的魯棒性，因此允許我們構建更深層次的網絡，進而能夠捕獲節點之間的長期依賴關系。在節點分類任務上的實驗結果證明了我們提出的方法在和基線對比的有效性。

介紹

圖神經網絡(GNNs)由于其在節點分類等多種應用中的簡單性和有效性而受到越來越多的關注;、鏈接預測、化學性質預測、自然語言理解。GNN的基本思想是設計多個圖傳播層，通過聚合鄰近節點的節點表示和節點本身的表示，迭代地更新每個節點表示。在實踐中，對于大多數任務，幾層(兩層或三層)通常就足夠了，更多的層可能導致較差的性能。

改進GNNs的一個關鍵途徑是能夠建立更深層次的網絡，以了解數據和輸出標簽之間更復雜的關系。GCN傳播層平滑了節點表示，即圖中相鄰的節點變得更加相似。當我們堆疊越來越多的層時，這會導致過度平滑，這意味著節點表示收斂到相同的值，從而導致性能下降。因此，重要的是緩解節點過平滑效應，即節點表示收斂到相同的值。

此外，對于提高我們對GNN的理論理解，使我們能夠從圖結構中描述我們可以學到的信號，這是至關重要的。最近關于理解GCN的工作(Oono和Suzuki, 2020)認為GCN是由離散層定義的離散動力系統。此外，Chen等人(2018)證明了使用離散層并不是構建神經網絡的唯一視角。他們指出，帶有剩余連接的離散層可以看作是連續ODE的離散化。他們表明，這種方法具有更高的記憶效率，并且能夠更平滑地建模隱藏層的動態。

我們利用基于擴散方法的連續視角提出了一種新的傳播方案，我們使用來自常微分方程(即連續動力系統)的工具進行分析。事實上，我們能夠解釋我們的模型學習了什么表示，以及為什么它不會遭受在GNNs中常見的過度平滑問題。允許我們建立更深層次的網絡，也就是說我們的模型在時間價值上運行良好。恢復過平滑的關鍵因素是在連續設置中使用了最初在PageRank中提出的原始分布。直觀上，重新開始分布有助于不忘記鄰接矩陣的低冪次信息，從而使模型收斂到有意義的平穩分布。

本文的主要貢獻是:

• 基于PageRank和擴散方法，提出了兩個連續遞增模型容量的ODEs;
• 我們從理論上分析了我們的層學習的表示，并表明當t → ∞我們的方法接近一個穩定的不動點，它捕獲圖結構和原始的節點特征。因為我們在t→∞時是穩定的，我們的網絡可以有無限多個“層”，并且能夠學習遠程依賴關系;
• 我們證明了我們的模型的記憶是高效的，并且對t的選擇是具有魯棒性的。除此之外，我們進一步證明了在節點分類任務上，我們的模型能夠比許多現有的最先進的方法表現更好。

題目： Laplacian Regularized Few-Shot Learning

簡介：

我們為小樣本學習提出了一個拉普拉斯正則化推斷。給定從基類中學習到的任何特征嵌入，我們將包含兩個項的二次二進制賦值函數最小化：（1）將查詢樣本分配給最近的類原型的一元項，以及（2）鼓勵附近查詢樣本成對使用的成對拉普拉斯項具有一致的標簽。我們的推論不會重新訓練基本模型，并且可以將其視為查詢集的圖形聚類，但要受到支持集的監督約束。我們導出了函數松弛的計算有效邊界優化器，該函數在保證收斂的同時為每個查詢樣本計算獨立（并行）更新。在基礎類上進行簡單的交叉熵訓練，并且沒有復雜的元學習策略后，我們對五個基準進行了全面的實驗。我們的LaplacianShot在不同模型，設置和數據集上具有顯著優勢，始終優于最新方法。此外，我們的歸納推理非常快，其計算時間接近于歸納推理，可用于大規模的一次性任務。

最近的研究表明，自注意力可以作為圖像識別模型的基本構件。我們探討了自注意力的變化，并評估了它們在圖像識別中的有效性。我們認為自注意力有兩種形式。一種是成對的自注意力，它概括了標準的點積注意，本質上是一個集合算子。另一種是拼湊式的自注意力，嚴格來說，它比卷積更強大。我們的成對自注意力網絡匹配或優于卷積網絡，補丁式網絡的性能大大優于卷積基線。我們還進行了實驗，探討了學習表征的魯棒性，并得出結論，自注意力網絡在魯棒性和泛化方面可能具有顯著的優勢。

主題： Principal Neighbourhood Aggregation for Graph Nets

摘要： 圖神經網絡（GNN）已被證明是針對圖結構數據的不同預測任務的有效模型。 關于它們表現力的最新工作集中在同構任務和可數特征空間上。 我們擴展了該理論框架，使其包含連續的功能（在現實世界的輸入域中以及在GNN的隱藏層中定期發生），并說明了在這種情況下對多個聚合函數的需求。 將多個聚合器與度標度器結合在一起（可以對總和聚合器進行概括）。 最后，我們通過基準測試比較了不同模型捕獲和利用圖形結構的能力，該基準包含了經典圖形理論中的多個任務，這證明了我們模型的能力。

題目： Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要： 圖像級弱監督語義分割是近年來深入研究的一個具有挑戰性的問題。大多數高級解決方案都利用類激活映射(CAM)。然而，由于監督的充分性和弱監督的差距，CAMs很難作為目標掩模。在這篇論文中，我們提出了一個自我監督的等變注意機制(SEAM)來發現額外的監督并縮小差距。我們的方法是基于等方差是完全監督語義分割的一個隱含約束，其像素級標簽在數據擴充過程中與輸入圖像進行相同的空間變換。然而，這種約束在圖像級監控訓練的凸輪上丟失了。因此，我們提出了對不同變換圖像的預測凸輪進行一致性正則化，為網絡學習提供自監督。此外，我們提出了一個像素相關模塊(PCM)，它利用上下文外觀信息，并改進當前像素的預測由其相似的鄰居，從而進一步提高CAMs的一致性。在PASCAL VOC 2012數據集上進行的大量實驗表明，我們的方法在同等監督水平下表現優于最先進的方法。

圖卷積運算符將深度學習的優勢引入到各種以前認為無法實現的圖和網格處理任務中。隨著他們的不斷成功，人們希望設計更強大的架構，通常是通過將現有的深度學習技術應用于非歐幾里德數據。在這篇論文中，我們認為在新興的幾何深度學習領域，幾何應該保持創新的主要驅動力。我們將圖神經網絡與廣泛成功的計算機圖形學和數據近似模型:徑向基函數(RBFs)聯系起來。我們推測，與RBFs一樣，圖卷積層將受益于將簡單函數添加到強大的卷積內核中。我們引入了仿射跳躍連接，這是一種將全連通層與任意圖卷積算子相結合而形成的新型構造塊。通過實驗驗證了該方法的有效性，表明改進的性能不僅僅是參數數目增加的結果。在我們評估的每一項任務中，配備了仿射跳躍連接的操作人員都顯著地優于他們的基本性能。形狀重建，密集形狀對應，和圖形分類。我們希望我們的簡單而有效的方法將作為一個堅實的基線，并有助于緩解未來在圖神經網絡的研究。

主題： Exploring Categorical Regularization for Domain Adaptive Object Detection

摘要： 在本文中，我們解決了域自適應對象檢測問題，其中主要挑戰在于源域和目標域之間的顯著域間隙。先前的工作試圖使圖像級別和實例級別的轉換明確對齊，以最終將域差異最小化。但是，它們仍然忽略了跨域匹配關鍵圖像區域和重要實例，這將嚴重影響域偏移緩解。在這項工作中，我們提出了一個簡單但有效的分類正則化框架來緩解此問題。它可以作為即插即用組件應用于一系列領域自適應快速R-CNN方法，這些方法在處理領域自適應檢測方面非常重要。具體地，通過將??圖像級多標簽分類器集成到檢測主干上，由于分類方式的定位能力較弱，我們可以獲得與分類信息相對應的稀疏但至關重要的圖像區域。同時，在實例級別，我們利用圖像級別預測（通過分類器）和實例級別預測（通過檢測頭）之間的分類一致性作為規則化因子，以自動尋找目標域的硬對齊實例。各種域移位方案的大量實驗表明，與原始的域自適應快速R-CNN檢測器相比，我們的方法獲得了顯著的性能提升。此外，定性的可視化和分析可以證明我們的方法參加針對領域適應的關鍵區域/實例的能力。

弱監督語義分割是一項具有挑戰性的任務，因為沒有提供像素級的標簽信息供訓練使用。最近的方法利用分類網絡，通過選擇具有強響應的區域來定位目標。然而，雖然這種響應映射提供了稀疏信息，但在自然圖像中像素之間存在很強的兩兩關系，可以利用這種兩兩關系將稀疏映射傳播到更密集的區域。本文提出了一種迭代算法來學習這種兩兩關系，它由兩個分支組成，一個是學習每個像素的標簽概率的一元分割網絡，另一個是學習親和矩陣并細化由一元網絡生成的概率圖的兩兩親和網絡。將兩兩網絡的細化結果作為監督，對一元網絡進行訓練，通過迭代的方法逐步獲得較好的分割效果。為了在不需要精確標注的情況下獲得可靠的像素親和力，我們還提出了可信區域的挖掘方法。我們證明了迭代訓練這個框架等價于優化一個收斂到局部最小值的能量函數。在PASCAL VOC 2012和COCO數據集上的實驗結果表明，所提出的算法在性能上優于目前最先進的方法。