在多源知識圖譜(KGs)中尋找等價實體是KGs集成的關鍵步驟，也稱為實體對齊(EA)。然而，現有的EA方法大多效率低下，伸縮性差。最近的總結指出，其中一些甚至需要幾天的時間來處理包含20萬個節點(DWY100K)的數據集。我們認為過于復雜的圖編碼器和低效的負采樣策略是造成這種現象的兩個主要原因。本文提出了一種新的KG編碼器-雙注意匹配網絡(Dual- AMN)，該網絡不僅能對圖內和圖間信息進行智能建模，而且大大降低了計算復雜度。此外，我們提出了歸一化的硬樣本挖掘損失來平滑選擇硬負樣本，減少了損失偏移。在廣泛應用的公共數據集上的實驗結果表明，該方法具有較高的精度和效率。在DWY100K上，我們的方法的整個運行過程可以在1100秒內完成，比之前的工作至少快10倍。我們的方法在所有數據集上的性能也優于之前的工作，其中????????@1和??????從6%提高到13%。
//www.zhuanzhi.ai/paper/3d0a0bf7905b28afbdffaa48e0d640c3
付費5元查看完整內容
相關內容
題目： Lorentzian Graph Convolutional Networks 會議： WWW 2021
圖卷積神經網絡（GCN）最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示，但是對于具有無標度或層次結構的圖，歐幾里得幾何可能會產生較高的失真。近來，一些GCN使用非歐幾里得幾何，例如雙曲幾何，解決以上問題。盡管雙曲GCN展示了其性能，但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何，這可能會限制雙曲幾何的能力，從而損害雙曲GCN的性能。 在本文中，我們提出了一種新穎的洛倫茲圖卷積網絡（LGCN），它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作，包括特征變換和非線性激活，以確保變換后的節點特征遵循雙曲幾何。此外，基于洛倫茲距離的質心，我們提出了一種優雅的雙曲鄰居聚合方式，以確保被聚合的節點特征滿足數學意義。并且，我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義，表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。
付費5元查看完整內容
知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。
付費5元查看完整內容
時空圖是描述城市感知數據(如交通速度和空氣質量)的重要結構。基于時空圖的預測為智慧城市提供了許多重要的應用，如交通管理和環境分析。近年來，已有許多用于時空圖預測的深度學習模型被提出，并取得了顯著的效果。然而，設計神經網絡需要豐富的領域知識和專家的努力。為此，我們研究了時空圖的自動神經結構搜索在城市交通預測中的應用，面臨兩個挑戰:1)如何定義搜索空間來捕獲復雜的時空關聯;2)如何學習一個時空圖對應的屬性圖的網絡權值參數。為了解決這些挑戰，我們提出了一個新的框架，名為AutoSTG，用于自動時空圖預測。在我們的AutoSTG中，我們的搜索空間采用了空間圖卷積和時間卷積操作來捕獲復雜的時空相關性。此外，我們利用元學習技術從屬性圖的元知識中學習空間圖卷積層的鄰接矩陣和時間卷積層的核。具體地說，這種元知識是由一個圖元知識學習器來學習的，這個圖元知識學習器在屬性圖上迭代地聚集知識。最后，在兩個真實的基準數據集上進行了廣泛的實驗，證明AutoSTG可以找到有效的網絡架構并取得最先進的結果。據我們所知，我們是第一個研究神經結構搜索的時空圖。
付費5元查看完整內容
近年來，人們致力于提高推薦系統的準確性和相關性。多樣性是衡量所推薦項目之間差異的一個關鍵因素，但很少受到仔細研究。與用戶滿意度直接相關的是，在生成候選條目后，多樣化通常被考慮在內。然而，這種多樣化和候選生成的解耦設計使得整個系統處于次優狀態。在本文中，我們的目標是利用圖卷積網絡(GCN)將多元化推至上游候選生成階段。盡管基于GCN的推薦算法在建模復雜的協同過濾效果以提高推薦的準確性方面表現出了巨大的能力，但在這些先進的工作中，多樣性變化是如何被忽略的。我們提出在GCN的基礎上執行重新平衡的鄰居發現、類別增強的負采樣和對抗學習。我們在真實世界的數據集上進行大量的實驗。實驗結果驗證了本文方法的有效性。進一步的消融研究驗證了我們提出的方法顯著緩解了準確性-多樣性的困境。
//fi.ee.tsinghua.edu.cn/public/publications/b344fd48-92b0-11eb-96bc-0242ac120003.pdf
付費5元查看完整內容
本文提出一種新的卷積操作----動態區域注意卷積（DRConv: Dynamic Region-Aware Convolution），該卷積可以根據特征相似度為不同平面區域分配定制的卷積核。這種卷積方式相較于傳統卷積極大地增強了對圖像語義信息多樣性的建模能力。標準卷積層可以增加卷積核的數量以提取更多的視覺元素，但會導致較高的計算成本。DRConv使用可學習的分配器將逐漸增加的卷積核轉移到平面維度，這不僅提高了卷積的表示能力，而且還保持了計算成本和平移不變性。 圖片 DRConv是一種用于處理語義信息分布復雜多變的有效而優雅的方法，它可以以其即插即用特性替代任何現有網絡中的標準卷積，且對于輕量級網絡的性能有顯著提升。本文在各種模型（MobileNet系列，ShuffleNetV2等）和任務（分類，面部識別，檢測和分割）上對DRConv進行了評估，在ImageNet分類中，基于DRConv的ShuffleNetV2-0.5×在46M計算量的水平下可實現67.1％的性能，相對基準提升6.3％。
付費5元查看完整內容
題目：Graph Structure Estimation Neural Networks
作者：Ruijia Wang, Shuai Mou, Xiao Wang, Wanpeng Xiao, Qi Ju, Chuan Shi and Xing Xie
簡介：盡管現有的GNN已成功應用于各種場景，但存在一個基本的假設：所觀察到的圖結構是正確的且符合GNN的性質。實際上，由于圖通常抽取自復雜的交互系統，該假設總是被違反。原因之一是這些交互系統通常包含不確定性或錯誤。例如，在蛋白質相互作用圖中，傳統的實驗誤差是錯誤的主要來源。另一個原因是數據缺失是不可避免的。例如，Internet構建的圖通過檢查路由表或跟蹤路由路徑集合確定，而這兩個表僅給出了邊的子集。已經有研究表明不可靠的圖結構可能會嚴重限制GNN的表示能力，其中一個典型的例子是GNN的性能會在同配性（即同一社區內的節點傾向于相互連接）差的圖上大大降低。簡而言之，在實際的圖中普遍存在缺失、無意義甚至錯誤的邊，這導致其與GNN的性質不匹配，并對結果的準確性或正確性產生影響。因此，迫切需要探索適宜于GNN的圖結構。
然而，有效學習適合于GNN的圖結構在技術上具有挑戰性。我們認為，需要解決兩個障礙。（1）應考慮圖生成機制。網絡科學的很多文獻中已經證明圖的生成可能受某些基本原則的約束，如隨機塊模型模型。考慮這些原則，可以從根本上驅使學得的圖保持規則的全局結構，并對實際觀測中的噪聲更魯棒。不幸的是，大多數當前方法對每條邊進行參數化，沒有考慮全局結構和圖的基礎生成機制，因此學得的圖對噪聲和稀疏性的容忍度較低。（2）應該利用多方面信息以減少偏差。從一個信息源學習圖結構不可避免地會導致偏差和不確定性。合理的假設是如果一條邊在多次測量中存在，則邊存在的置信度會更大。因此，一個可靠的圖結構應該考慮全面的信息，盡管要獲得多視圖的信息并描述它們與GNN的關系是很復雜的。現有的方法主要利用特征相似性，從而使學得的圖易受單一視圖偏差的影響。
為了解決上述問題，在本文中我們提出了圖結構估計神經網絡（GEN），通過估計適宜于GNN的圖結構來提高節點分類性能。我們首先分析GNN的性質以匹配適當的圖生成機制。GNN作為低通濾波器，平滑鄰域以使相鄰節點表示相似，適用于具有社區結構的圖。因此，我們提出結構模型約束圖生成過程，假設圖是從隨機塊模型（SBM）中產生的。此外，除觀察到的圖結構和節點特征外，我們還創造性地利用多階鄰域信息來規避偏差，并提出觀測模型將上述多視圖信息作為最佳圖結構的觀測共同建模。為了估計最佳圖結構，我們在GNN訓練期間構造觀測集合，并基于結構和觀測模型應用貝葉斯推斷來計算圖結構的后驗分布。最后，估計的圖結構和GNN的參數通過精心設計的迭代優化實現彼此增強。
付費5元查看完整內容
雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入，這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近，有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是，這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面，圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中，我們提出了一個用于協同過濾的雙曲線GCN模型，以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習，并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時，我們的模型使用雙曲距離來進行推理，雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析，并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果，并超過領先的基線，包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質，并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。
付費5元查看完整內容
多標簽文本分類涉及到從標簽集中為每個給定文檔分配其最相關標簽的問題。通常，給定文檔的元數據和標簽的層次結構在實際應用是可用的。然而，現有的研究大多只關注于文本信息的建模，也有少數嘗試使用元數據或層次信號，但沒有同時使用它們。在本文中，我們通過在一個大的標簽層次結構(例如，有成千上萬個標簽)中形式化元數據感知文本分類的問題來彌補這一差距。為了解決這個問題，我們提出了MATCH解決方案——一個利用元數據和層次結構信息的端到端框架。為了整合元數據，我們預先訓練文本和元數據在同一空間的嵌入，并利用完全連接的注意力來捕捉它們之間的相互關系。為了充分利用標簽層次結構，我們提出了不同的方法來規整每個子標簽的參數和輸出概率。在兩個具有大規模標簽層次的大規模文本數據集上進行的大量實驗證明了在最先進的深度學習基線上匹配的有效性。
付費5元查看完整內容
權值共享的神經結構搜索通過訓練一個包含所有分支的超網絡來復用不同操作上的計算量，以子網絡采樣的方式評估網絡結構，大幅度提高了搜索速度。然而，這種子網絡采樣的方式并不能保證子網絡的評估性能準確反映其真實屬性。本文認為產生這一現象的原因是使用共享權值構建子網絡的過程中產生了權值失配，使得評估性能中混入了一個隨機噪聲項。本論文提出使用一個圖卷積網絡來擬合采樣子網絡的評估性能，從而將這個隨機噪聲的影響降至最低。實驗結果表明，使用本方案后，子網絡的擬合性能與真實性能間的排序相關性得到有效提高，最終搜索得到的網絡結構性能也更加優異。此外，本方案通過圖卷積網絡擬合了整個搜索空間中子網絡的評估性能，因此可以很方便地選取符合不同硬件約束的網絡結構。
//www.zhuanzhi.ai/paper/552ac305907809721f9f1fd86b8943c9
付費5元查看完整內容
圖神經網絡(GNNs)在各種網絡相關任務已被證明是非常有效的。大多數現有的GNN通常利用節點特征的低頻信號，這就產生了一個基本的問題: 低頻信息是我們在現實應用中所需要的全部嗎?在本文中，我們首先提出了一個實驗研究來評估低頻和高頻信號的作用，結果清楚地表明，探索低頻信號與在不同場景下學習有效的節點表示是遙遠的。在GNN中，我們如何自適應地學習低頻信息以外的更多信息?一個可行的方案可以幫助GNNs增強適應性。針對這一問題，我們提出了一種具有自適應機制的頻率自適應圖卷積網絡(FAGCN)，該網絡能夠在消息傳遞過程中自適應地整合不同的信號。為了加深理解，我們從理論上分析了低頻信號和高頻信號在學習節點表示上的作用，進一步解釋了為什么FAGCN能在不同類型的網絡上表現良好。在六個真實網絡上的廣泛實驗證實，FAGCN不僅緩解了過度平滑的問題，而且比最先進的技術有優勢。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191