亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在預訓練和微調范式下，預訓練語言模型(PLMs)在各種自然語言處理(NLP)任務中取得了巨大的成功。由于具有大量的參數，PLM需要大量的計算和資源。因此，模型剪枝被引入到大規模PLM的壓縮中。然而，以往的方法大多只考慮下游任務的特定知識，而忽略了修剪過程中基本的任務不可知知識，這可能會導致災難性遺忘問題，導致泛化能力較差。為了在我們的剪枝模型中保持任務不可知論和任務特定的知識，我們提出了對比剪枝(CAP)在預訓練和微調范式下。它被設計成一個通用框架，兼容結構化和非結構化剪枝。CAP統一于對比學習，使得經過修剪的模型能夠從預訓練的任務不可知知識模型和精細調整的任務特定知識模型中學習。此外，為了更好地保留剪枝模型的性能，快照(即每次剪枝迭代時的中間模型)也可以作為剪枝的有效監督。我們大量的實驗表明，采用CAP能夠持續地產生顯著的改進，特別是在非常高的稀疏性場景中。在只保留3%模型參數(即97%稀疏度)的情況下，CAP在QQP和MNLI任務中分別成功地實現了原BERT算法的99.2%和96.3%的性能。此外，我們的探索性實驗表明，經過CAP修剪的模型具有較好的泛化能力。

//www.zhuanzhi.ai/paper/d2442bf43a31aaa81587f38a17e6c85d

圖神經網絡(GNN)已經在廣泛的應用領域取得了良好的效果。大多數對GNN的實證研究都直接將觀察到的圖作為輸入，假設觀察到的結構完美地描述了節點之間準確完整的關系。然而，現實世界中的圖不可避免地是嘈雜的或不完整的，這甚至會惡化圖表示的質量。本文從信息論的角度提出了一種新的變分信息瓶頸引導的圖結構學習框架VIB-GSL。VIB-GSL提出了圖結構學習的信息瓶頸(Information Bottleneck, IB)原則，為挖掘底層任務相關關系提供了一個更優雅和通用的框架。VIB-GSL學習了一種信息豐富的壓縮圖結構，為特定的下游任務提取可操作的信息。VIB-GSL對不規則圖數據進行變分逼近，形成易處理的IB目標函數，有利于訓練的穩定性。大量的實驗結果表明，VIB-GSL具有良好的有效性和魯棒性。

//www.zhuanzhi.ai/paper/8f506a32b4b05f9ea8a5d651eb1b27f1

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年來，利用圖神經網絡解決藥物相關問題在生物醫學領域得到了迅速發展。然而，就像任何其他深度架構一樣，GNN是數據需求型的。雖然在現實世界中要求標簽通常是昂貴的，但以一種無監督的方式對GNN進行預處理已經被積極地探索。其中，圖對比學習通過最大化成對圖增強之間的互信息，已被證明對各種下游任務是有效的。然而，目前的圖對比學習框架有兩個局限性。首先，增強是為一般圖設計的，因此對于某些領域可能不夠合適或不夠強大。第二，對比方案只學習對局部擾動不變的表示，因此不考慮數據集的全局結構，這也可能對下游任務有用。因此，本文研究生物醫學領域中存在分子圖的圖對比學習。我們提出了一個新的框架MoCL，利用領域知識在局部和全局水平上幫助表示學習。局部層次的領域知識指導擴展過程，這樣在不改變圖語義的情況下引入變體。全局層次的知識對整個數據集圖之間的相似性信息進行編碼，并幫助學習具有更豐富語義的表示。整個模型通過雙對比目標學習。我們評估了在線性和半監督設置下的多種分子數據集上的MoCL，結果表明MoCL達到了最先進的性能。

題目： Lorentzian Graph Convolutional Networks 會議： WWW 2021

圖卷積神經網絡（GCN）最近受到了大量研究者的關注。大多數GCN使用歐幾里得幾何學習節點的特征表示，但是對于具有無標度或層次結構的圖，歐幾里得幾何可能會產生較高的失真。近來，一些GCN使用非歐幾里得幾何，例如雙曲幾何，解決以上問題。盡管雙曲GCN展示了其性能，但是現有的雙曲圖操作實際上不能嚴格遵循雙曲幾何，這可能會限制雙曲幾何的能力，從而損害雙曲GCN的性能。 在本文中，我們提出了一種新穎的洛倫茲圖卷積網絡（LGCN），它在雙曲空間的雙曲面模型上設計了統一的圖操作框架。從該框架派生出嚴格的雙曲圖操作，包括特征變換和非線性激活，以確保變換后的節點特征遵循雙曲幾何。此外，基于洛倫茲距離的質心，我們提出了一種優雅的雙曲鄰居聚合方式，以確保被聚合的節點特征滿足數學意義。并且，我們從理論上證明了一些提出的操作等同于在另一類雙曲幾何中的定義，表明所提出的方法填補了雙曲面模型缺乏嚴謹的圖操作的空白。

知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。

//www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238

題目：Graph Structure Estimation Neural Networks

作者：Ruijia Wang, Shuai Mou, Xiao Wang, Wanpeng Xiao, Qi Ju, Chuan Shi and Xing Xie

簡介：盡管現有的GNN已成功應用于各種場景，但存在一個基本的假設：所觀察到的圖結構是正確的且符合GNN的性質。實際上，由于圖通常抽取自復雜的交互系統，該假設總是被違反。原因之一是這些交互系統通常包含不確定性或錯誤。例如，在蛋白質相互作用圖中，傳統的實驗誤差是錯誤的主要來源。另一個原因是數據缺失是不可避免的。例如，Internet構建的圖通過檢查路由表或跟蹤路由路徑集合確定，而這兩個表僅給出了邊的子集。已經有研究表明不可靠的圖結構可能會嚴重限制GNN的表示能力，其中一個典型的例子是GNN的性能會在同配性（即同一社區內的節點傾向于相互連接）差的圖上大大降低。簡而言之，在實際的圖中普遍存在缺失、無意義甚至錯誤的邊，這導致其與GNN的性質不匹配，并對結果的準確性或正確性產生影響。因此，迫切需要探索適宜于GNN的圖結構。

然而，有效學習適合于GNN的圖結構在技術上具有挑戰性。我們認為，需要解決兩個障礙。（1）應考慮圖生成機制。網絡科學的很多文獻中已經證明圖的生成可能受某些基本原則的約束，如隨機塊模型模型。考慮這些原則，可以從根本上驅使學得的圖保持規則的全局結構，并對實際觀測中的噪聲更魯棒。不幸的是，大多數當前方法對每條邊進行參數化，沒有考慮全局結構和圖的基礎生成機制，因此學得的圖對噪聲和稀疏性的容忍度較低。（2）應該利用多方面信息以減少偏差。從一個信息源學習圖結構不可避免地會導致偏差和不確定性。合理的假設是如果一條邊在多次測量中存在，則邊存在的置信度會更大。因此，一個可靠的圖結構應該考慮全面的信息，盡管要獲得多視圖的信息并描述它們與GNN的關系是很復雜的。現有的方法主要利用特征相似性，從而使學得的圖易受單一視圖偏差的影響。

為了解決上述問題，在本文中我們提出了圖結構估計神經網絡（GEN），通過估計適宜于GNN的圖結構來提高節點分類性能。我們首先分析GNN的性質以匹配適當的圖生成機制。GNN作為低通濾波器，平滑鄰域以使相鄰節點表示相似，適用于具有社區結構的圖。因此，我們提出結構模型約束圖生成過程，假設圖是從隨機塊模型（SBM）中產生的。此外，除觀察到的圖結構和節點特征外，我們還創造性地利用多階鄰域信息來規避偏差，并提出觀測模型將上述多視圖信息作為最佳圖結構的觀測共同建模。為了估計最佳圖結構，我們在GNN訓練期間構造觀測集合，并基于結構和觀測模型應用貝葉斯推斷來計算圖結構的后驗分布。最后，估計的圖結構和GNN的參數通過精心設計的迭代優化實現彼此增強。

//www.shichuan.org/doc/103.pdf

圖神經網絡（GNNs）在各種圖分析任務中得到了廣泛的關注，設計良好的消息傳播機制是GNNs中最基本的組成部分，并且被證明是十分有效的。雖然傳播機制多種多樣，但基本上都是以沿網絡拓撲傳播聚合節點特征的方式來利用拓撲與特征這兩種信息的。鑒于此，一個問題自然會被提出：盡管不同圖神經網絡有不同的傳播策略，是否存在統一的數學準則，能夠從本質上指導著不同的傳播機制？如果有的話，是什么？對這個問題較為完善的回答，可以幫助我們從宏觀的角度考察不同圖神經網絡之間的關系與差異。這樣的數學準則一旦被發現，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發更多新的圖神經網絡被設計出來。

本文中，我們首先分析了幾個具有代表性的圖神經網絡（例如GCN，SGC，PPNP）的傳播過程，并抽象出他們的共性。我們發現它們均可以歸結到一個統一的優化目標框架下，該優化目標由一個帶有靈活圖卷積核的特征擬合約束項和一個圖拉普拉斯正則項組成。特征擬合約束項旨在建立節點表示與原始節點特征之間的關系，而圖拉普拉斯正則項則起到拓撲平滑特征的作用。而對應圖神經網絡傳播后的節點表示則可以隱式地看做這個統一優化目標的最優解。

同時，基于該統一優化目標框架也較容易發現現有圖神經網絡傳播策略的不足之處，為設計新的圖神經網絡也提供了機會。通常來說，設計新的圖神經網絡往往側重于設計特定的譜圖濾波器或者空域聚合策略，而該統一框架為實現這一目標提供了另一種新的途徑，即通過設計傳播過程對應的優化目標函數來得到新的GNNs。這樣，我們就能夠清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。

本文的主要貢獻總結如下：

提出了一個包含特征擬合項與圖正則化項的統一優化目標框架，并從理論上證明了該框架能夠解釋多個圖神經網絡的傳播策略，為理解圖神經網絡提供了一個較宏觀的視角，也為設計新的圖神經網絡帶來新思路。 基于該統一優化框架，我們設計了兩種具有靈活圖卷積核擬合項的圖神經網絡傳播目標，并給出相應的網絡模型。同時對他們的收斂性，表達能力等進行了理論分析。 我們在六個數據集上驗證了提出兩種圖神經網絡模型的效果，實驗也表明他們具有較好的緩解過平滑的能力。這進一步驗證了基于該統一框架設計新圖神經網絡的可行性。