亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在自然語言處理和知識圖構造的信息提取中，三次提取是必不可少的任務。在本文中，我們將重新審視用于序列生成的端到端三重提取任務。由于生成三元組提取可能難以捕獲長期依賴關系并生成不忠實的三元組，因此我們引入了一種新穎的模型，即使用生成Transformer的對比三元組提取。具體來說，我們介紹了一個共享的Transformer模塊，用于基于編碼器-解碼器的生成。為了產生忠實的結果，我們提出了一種新穎的三重態對比訓練對象。此外，我們引入了兩種機制來進一步提高模型性能（即，批量動態注意遮罩和三級校準）。在三個數據集（即NYT，WebNLG和MIE）上的實驗結果表明，我們的方法比基線具有更好的性能。

//www.zhuanzhi.ai/paper/b8ed53721b7162af43614d558adb9c58

//www.zhuanzhi.ai/paper/3696ec78742419bdaa9c23dce139b3d4

消息傳遞圖神經網絡(GNNs)為關系數據提供了強大的建模框架。曾經，現有GNN的表達能力上界取決于1- Weisfeiller -Lehman (1-WL)圖同構測試，這意味著gnn無法預測節點聚類系數和最短路徑距離，無法區分不同的d-正則圖。在這里，我們提出了一類傳遞消息的GNN，稱為身份感知圖神經網絡(ID- GNNs)，具有比1-WL測試更強的表達能力。ID-GNN為現有GNN的局限性提供了一個最小但強大的解決方案。ID-GNN通過在消息傳遞過程中歸納地考慮節點的身份來擴展現有的GNN體系結構。為了嵌入一個給定的節點，IDGNN首先提取以該節點為中心的自我網絡，然后進行輪次異構消息傳遞，中心節點與自我網絡中其他周圍節點應用不同的參數集。我們進一步提出了一個簡化但更快的ID-GNN版本，它將節點標識信息作為增強節點特征注入。總之，ID-GNN的兩個版本代表了消息傳遞GNN的一般擴展，其中實驗表明，在具有挑戰性的節點、邊緣和圖屬性預測任務中，將現有的GNN轉換為ID-GNN平均可以提高40%的準確率;結點和圖分類在基準測試上提高3%精度;在實際鏈路預測任務提高15%的ROC AUC。此外，與其他特定于任務的圖網絡相比，ID- GNN表現出了更好的或相當的性能。

生成式常識推理是文本生成的一個關鍵瓶頸，它旨在使機器能夠根據一組概念生成具有推理能力的句子。即使是最先進的預訓練語言生成模型也難以完成這一任務，而且常常產生不合邏輯和異常的句子。其中一個原因是，他們很少考慮將知識圖譜整合進來，因為知識圖譜可以在常識概念之間提供豐富的關系信息。為了提高常識性推理生成文本的能力，我們提出了一種新的知識圖譜增強的預訓練語言生成模型KG-BART，該模型通過知識圖譜包含了復雜的概念關系，并生成了更符合邏輯和自然的句子作為輸出。此外，KG-BART可以利用圖上的注意力來聚集豐富的概念語義，從而增強對看不見的概念集的模型泛化。在基準commonen數據集上進行的實驗驗證了本文方法的有效性，并與幾個強的預訓練語言生成模型進行了比較，特別是在BLEU - 3,4方面，KG-BART的性能比BART高出5.80、4.60。此外，我們還表明，通過我們的模型生成的上下文可以作為背景場景，從而有利于下游的常識性QA任務。

//www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a

圖神經網絡(GNNs)在各種網絡相關任務已被證明是非常有效的。大多數現有的GNN通常利用節點特征的低頻信號，這就產生了一個基本的問題: 低頻信息是我們在現實應用中所需要的全部嗎?在本文中，我們首先提出了一個實驗研究來評估低頻和高頻信號的作用，結果清楚地表明，探索低頻信號與在不同場景下學習有效的節點表示是遙遠的。在GNN中，我們如何自適應地學習低頻信息以外的更多信息?一個可行的方案可以幫助GNNs增強適應性。針對這一問題，我們提出了一種具有自適應機制的頻率自適應圖卷積網絡(FAGCN)，該網絡能夠在消息傳遞過程中自適應地整合不同的信號。為了加深理解，我們從理論上分析了低頻信號和高頻信號在學習節點表示上的作用，進一步解釋了為什么FAGCN能在不同類型的網絡上表現良好。在六個真實網絡上的廣泛實驗證實，FAGCN不僅緩解了過度平滑的問題，而且比最先進的技術有優勢。

//www.zhuanzhi.ai/paper/7cfc3401bf12182d85c24e8231e760ec

多元序列學習的本質是如何提取數據中的相關性。這些數據集，如重癥監護病房的每小時醫療記錄和多頻語音時間序列，通常不僅在個別成分中表現出強烈的序列依賴性(“邊緣”記憶)，而且在橫剖面依賴性中也表現出不可忽略的記憶(“聯合”記憶)。由于聯合分布演化的多元復雜性是數據生成過程的基礎，我們采用數據驅動的方法，構建了一種新的循環網絡結構，稱為記憶門控循環網絡(mGRN)，門顯式地調節兩種不同類型的記憶:邊緣記憶和聯合記憶。通過對一系列公共數據集的綜合模擬研究和經驗實驗的結合，我們表明我們提出的mGRN架構始終優于針對多元時間序列的最先進架構。

//www.zhuanzhi.ai/paper/4236df35ff33a6911c4913ac13bb78e0

由于不同道路間交通流時空分布格局具有復雜的空間相關性和動態趨勢，交通流時空數據預測是一項具有挑戰性的任務。現有框架通常利用給定的空間鄰接圖和復雜的機制為空間和時間相關性建模。然而，具有不完全鄰接連接的給定空間圖結構的有限表示可能會限制模型的有效時空依賴學習。此外，現有的方法在解決復雜的時空數據時也束手無策:它們通常利用獨立的模塊來實現時空關聯，或者只使用獨立的組件捕獲局部或全局的異構依賴關系。為了克服這些局限性，本文提出了一種新的時空融合圖神經網絡(STFGNN)用于交通流預測。首先，提出一種數據驅動的“時序圖”生成方法，以彌補空間圖可能無法反映的幾種現有相關性。SFTGNN通過一種新的時空圖融合操作，對不同的時間段進行并行處理，可以有效地學習隱藏的時空依賴關系。同時，該融合圖模塊與一種新的門控卷積模塊集成到一個統一的層中，SFTGNN可以通過層堆疊學習更多的時空依賴關系來處理長序列。在幾個公共交通數據集上的實驗結果表明，我們的方法達到了最先進的性能比其他基準一致。

//arxiv.org/pdf/2012.09641.pdf

圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而，現有的gnn在獲取層次圖表示方面的能力有限，而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN)，該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說，解糾纏圖膠囊是通過識別每個節點下的異構因素建立的，這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示，HGCN通過顯式地考慮部件之間的結構信息，刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。

//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa

屬性網絡嵌入的目的是結合網絡的拓撲結構和節點屬性學習低維節點表示。現有的大多數方法要么通過網絡結構傳播屬性，要么通過編碼-解碼器框架學習節點表示。然而，基于傳播的方法傾向于選擇網絡結構而不是節點屬性，而編碼-解碼器方法傾向于忽略近鄰之外的長連接。為了解決這些限制，同時得到這兩個方面的優點，我們設計了交叉融合層的無監督屬性網絡嵌入。具體來說，我們首先構建兩個獨立的視圖來處理網絡結構和節點屬性，然后設計跨融合層來實現兩視圖之間靈活的信息交換和集成。交叉融合層的關鍵設計目標有三方面:1)允許關鍵信息沿著網絡結構傳播;2)在傳播過程中對每個節點的局部鄰域進行異構編碼;3)加入額外的節點屬性通道，使屬性信息不被結構視圖所掩蓋。在三個數據集和三個下游任務上的大量實驗證明了該方法的有效性。

//cs.nju.edu.cn/yuanyao/static/wsdm2021.pdf

在場景圖分類的一個主要挑戰是，物體的外觀和關系可以明顯不同于另一幅圖像。以前的工作通過對圖像中所有物體的關系推理，或將先驗知識納入分類來解決這個問題。與之前的工作不同，我們不考慮感知和先驗知識的分離模型。相反，我們采用多任務學習方法，其中分類被實現為一個注意力層。這允許先驗知識在感知模型中出現和傳播。通過使模型也代表先驗，我們實現了歸納偏差。我們表明，我們的模型可以準確地生成常識性知識，并且將這些知識迭代注入到場景表示中可以顯著提高分類性能。此外，我們的模型可以根據作為三元組的外部知識進行微調。當與自監督學習相結合時，這將獲得僅對1%的帶注釋的圖像進行準確的預測。