亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

Code：//github.com/Shen-Lab/GraphCL Paper:

對于當前的圖神經網絡(GNNs)來說，圖結構數據的可泛化、可遷移和魯棒表示學習仍然是一個挑戰。與為圖像數據而開發的卷積神經網絡(CNNs)不同，自監督學習和預訓練很少用于GNNs。在這篇文章中，我們提出了一個圖對比學習(GraphCL)框架來學習圖數據的無監督表示。我們首先設計了四種類型的圖擴充來包含不同的先驗。然后，我們在四種不同的環境下系統地研究了圖擴充的各種組合對多個數據集的影響:半監督、無監督、遷移學習和對抗性攻擊。結果表明，與最先進的方法相比，即使不調優擴展范圍，也不使用復雜的GNN架構，我們的GraphCL框架也可以生成類似或更好的可泛化性、可遷移性和健壯性的圖表示。我們還研究了參數化圖增強的范圍和模式的影響，并在初步實驗中觀察了性能的進一步提高。

開放域對話系統由于潛在回復數量過大而存在著訓練數據不足的問題。我們在本文中提出了一種利用反事實推理來探索潛在回復的方法。給定現實中觀測到的回復，反事實推理模型會自動推理：如果執行一個現實中未發生的替代策略會得到什么結果？這種后驗推理得到的反事實回復相比隨機合成的回復質量更高。在對抗訓練框架下，使用反事實回復來訓練模型將有助于探索潛在回復空間中的高獎勵區域。在DailyDialog數據集上的實驗結果表明，我們的方法顯著優于HRED模型和傳統的對抗訓練方法。

確定輸入是否在分布外(OOD)是在開放世界中安全部署機器學習模型的一個重要基石。然而，以往依賴softmax置信評分的方法對OOD數據存在過自信的后驗分布。我們提出了一個使用能量分數的OOD檢測的統一框架。我們表明，能量分數比使用softmax分數的傳統方法更好地區分分布內和分布外的樣本。與softmax信心分數不同，能量分數理論上與輸入的概率密度一致，不太容易受到過度自信問題的影響。在這個框架內，能量可以被靈活地用作任何預訓練的神經分類器的評分函數，也可以作為可訓練的代價函數來明確地塑造能量表面，用于OOD檢測。在CIFAR-10預訓練的WideResNet中，使用能量分數比softmax信心分數降低平均FPR (TPR 95%) 18.03%。在以能量為基礎的訓練中，我們的方法在一般的基準上比最先進的方法表現得更好。

//arxiv.org/abs/2010.03759

持續學習和適應新任務的能力，同時又不失去對已經獲得的知識的掌握，是生物學習系統的一個特征，這是目前的深度學習系統所欠缺的。在這項工作中，我們提出了一種新的持續學習方法，稱為MERLIN:持續學習的元鞏固。

我們假設一個用于解決任務t的神經網絡的權值是來自于一個元分布p(lenian| t)。這種元分布是逐步學習和鞏固的。我們在具有挑戰性的在線持續學習設置中操作，其中一個數據點只被模型看到一次。

我們對MNIST、CIFAR-10、CIFAR-100和Mini-ImageNet數據集的持續學習基準進行的實驗顯示，在五個基線上，包括最近的最先進水平，都證明了MERLIN的前景。

//arxiv.org/abs/2010.00352

圖神經網絡(GNNs)已被證明是有效的模型，用于對圖結構數據的不同預測任務。最近關于它們表達能力的工作集中在同構任務和可數特征空間。我們對這個理論框架進行了擴展，使其包含連續的特性——在真實世界的輸入域和gnn的隱藏層中定期出現——并演示了在此上下文中對多個聚合函數的需求。為此，我們提出了一種新的聚合器結構——主鄰域聚合(PNA)，它將多個聚合器與度標器相結合，從而推廣了總和聚合器。最后，我們通過一個新的基準來比較不同模型捕獲和利用圖結構的能力，該基準包含了來自經典圖理論的多個任務，以及來自現實領域的現有基準，所有這些都證明了我們模型的強大。通過這項工作，我們希望引導一些GNN研究轉向新的聚合方法，我們認為這對于尋找強大和健壯的模型至關重要。

//www.zhuanzhi.ai/paper/bee47b0e291d163fae01c

圖神經網絡(GNNs)通常應用于靜態圖，這些靜態圖可以認為是預先已知的。這種靜態輸入結構通常完全由機器學習從業者的洞察力決定，對于GNN正在解決的實際任務可能不是最佳的。在缺乏可靠的領域專家知識的情況下，人們可能求助于推斷潛在的圖結構，但由于可能的圖的搜索空間很大，這往往是困難的。這里我們引入了點針圖網絡(PGNs)，它增加了集合或圖的推斷邊的能力，以提高模型的表達能力。PGNs允許每個節點動態地指向另一個節點，然后通過這些點針傳遞消息。這種可適應圖結構的稀疏性使學習變得容易處理，同時仍然具有足夠的表現力來模擬復雜的算法。關鍵的是，指向機制可以直接監督的，以對經典數據結構上的長期操作序列建模，并結合了來自理論計算機科學的有用的結構歸納偏差。定性地說，我們證明了PGNs可以學習基于點針的數據結構的可并行變體，即不相交集并和鏈接/修剪樹。PGNs在動態圖連通性任務中將分布外概括為5個較大的測試輸入，優于不受限制的GNNs和深度集合。

【導讀】2020 年 2 月 7 日-2 月 12 日，AAAI 2020 在美國紐約舉辦。Michael Galkin撰寫了AAAI2020知識圖譜論文相關研究趨勢包括：KG-Augmented語言模型，異構KGs中的實體匹配，KG完成和鏈路預測，基于kg的會話人工智能和問題回答，包括論文，值得查看！

Hiroaki Hayashi, Zecong Hu, Chenyan Xiong, Graham Neubig: Latent Relation Language Models. AAAI 2020

• 潛在關系語言模型：本文提出了一種潛在關系語言模型(LRLMs)，這是一類通過知識圖譜關系對文檔中詞語的聯合分布及其所包含的實體進行參數化的語言模型。該模型具有許多吸引人的特性:它不僅提高了語言建模性能，而且能夠通過關系標注給定文本的實體跨度的后驗概率。實驗證明了基于單詞的基線語言模型和先前合并知識圖譜信息的方法的經驗改進。定性分析進一步證明了該模型的學習能力，以預測適當的關系在上下文中。

題目： Quaternion Knowledge Graph Embeddings

摘要： 在本篇論文中，我們引入了更具表現力的超復數表示來為知識圖嵌入建模實體和關系。更具體地說，四元數嵌入是一種具有三個虛分量的超復數值嵌入，用來表示實體。關系被建模為四元數空間中的旋轉。該方法的優點是：（1）利用Hamilton積有效地捕捉了各分量之間的潛在相互依賴關系，鼓勵了實體與關系之間更緊密的相互作用；（2）四元數在四維空間中實現了表示旋轉，比在復平面上的旋轉具有更大的自由度；（3）利用Hamilton積可以有效地捕捉各分量之間的潛在相互依賴關系該框架是超復數空間上復數的推廣，同時提供了更好的幾何解釋，同時滿足了關系表示學習（即建模對稱、反對稱和反演）的關鍵要求。

作者簡介： Shuai Zhang，羅切斯特大學激光能量學實驗室科學家。個人主頁：//eps.berkeley.edu/~szhang/