亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖表示學習已經成為解決現實問題的一種強大的技術。節點分類、相似度搜索、圖分類和鏈接預測等各種下游圖學習任務都受益于它的最新發展。然而，現有的圖表示學習技術側重于特定領域的問題，并為每個圖訓練專用的模型，這些模型通常不能轉移到域外數據。受最近自然語言處理和計算機視覺的預訓練進展的啟發，我們設計了圖對比編碼(GCC)——一種無監督圖表示學習框架——來捕獲跨多個網絡的通用網絡拓撲屬性。我們將GCC的預訓練任務設計為網絡中或跨網絡的子圖級實例識別，并利用對比學習來授權模型學習內在的和可轉移的結構表示。我們對三個圖學習任務和十個圖數據集進行了廣泛的實驗。結果表明，在一組不同的數據集上進行預訓練的GCC可以取得與任務相關的從零開始訓練的GCC具有競爭力或更好的性能。這表明，預訓練和微調范式為圖表示學習提供了巨大的潛力。

//arxiv.org/abs/2006.09963

圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而，其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析，GCN最初是為圖分類任務而設計的，并配備了許多神經網絡操作。然而，我們實證發現，兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是，包括他們增加了訓練的難度，降低了推薦的效果。在這項工作中，我們的目標是簡化GCN的設計，使其更簡潔，更適合推薦。我們提出了一個新的模型LightGCN，它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說，LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們，并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練，在完全相同的實驗設置下，比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。

深度和大型的預訓練語言模型是各種自然語言處理任務的最新技術。然而，這些模型的巨大尺寸可能會阻礙在實踐中使用它們。最近的一些并行工作使用知識蒸餾來將這些龐大的模型壓縮成小型模型。在這項工作中，我們以多語言命名實體識別(NER)為重點來研究知識蒸餾。特別地，我們研究了幾種提煉策略，并提出了一種利用教師內部表征的階段性優化方案，該方案不考慮教師體系結構，并證明其優于以往工作中所采用的策略。此外，我們還研究了幾個因素的作用，比如未標記數據的數量、注釋資源、模型架構和推理延遲等等。我們證明，我們的方法可以將類mbert教師模型的參數壓縮高達35倍，批量推理的延遲壓縮51倍，而NER超過41種語言的95%的f1分都保留下來。

語言模型的預訓練已經被證明能夠獲取大量的世界知識，這對于NLP任務(如回答問題)是至關重要的。然而，這些知識隱式地存儲在神經網絡的參數中，需要更大的網絡來覆蓋更多的事實。

為了以更模塊化和可解釋性的方式捕獲知識，我們在語言模型前訓練中增加了一個潛在的知識檢索器，它允許模型從一個大型語料庫(如Wikipedia)中檢索和處理文檔，這些語料庫在前訓練、微調和推理期間使用。我們第一次展示了如何以一種無監督的方式預先訓練這種知識檢索器，

使用掩碼語言建模作為學習信號，并通過一個考慮數百萬文檔的檢索步驟進行反向傳播。

通過對具有挑戰性的開放領域問題回答(Open-QA)任務進行微調，我們證明了增強語言模型預訓練(REALM)的有效性。我們比較了三種流行的開放qa基準上的最先進的顯式和隱式知識存儲模型，發現我們的性能顯著優于所有以前的方法(4-16%的絕對準確性)，同時還提供了定性的好處，如可解釋性和模塊化。

地址：

//kentonl.com/pub/gltpc.2020.pdf