亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

圖神經網絡(GNNs)已被證明在建模圖結構的數據方面是強大的。然而，訓練GNN通常需要大量指定任務的標記數據，獲取這些數據的成本往往非常高。減少標記工作的一種有效方法是在未標記數據上預訓練一個具有表達能力的GNN模型，并進行自我監督，然后將學習到的模型遷移到只有少量標記的下游任務中。在本文中，我們提出了GPT-GNN框架，通過生成式預訓練來初始化GNN。GPT-GNN引入了一個自監督屬性圖生成任務來預訓練一個GNN，使其能夠捕獲圖的結構和語義屬性信息。我們將圖生成的概率分解為兩部分:1)屬性生成和2)邊生成。通過對兩個組件進行建模，GPT-GNN捕捉到生成過程中節點屬性與圖結構之間的內在依賴關系。在10億規模的開放學術圖和亞馬遜推薦數據上進行的綜合實驗表明，GPT-GNN在不經過預訓練的情況下，在各種下游任務中的表現顯著優于最先進的GNN模型，最高可達9.1%。

**關鍵詞：**生成式預訓練，圖神經網絡，圖表示學習，神經嵌入，GNN預訓練

由于硬件資源有限，深度學習模型的訓練目標通常是在訓練和推理的時間和內存限制下最大化準確性。在這種情況下，我們研究了模型大小的影響，關注于計算受限的NLP任務的Transformer模型:自監督的預訓練和高資源機器翻譯。我們首先展示了，盡管較小的Transformer模型在每次迭代中執行得更快，但更廣、更深入的模型在顯著更少的步驟中收斂。此外，這種收斂速度通常超過了使用更大模型的額外計算開銷。因此，計算效率最高的訓練策略是反直覺地訓練非常大的模型，但在少量迭代后停止。

這導致了大型Transformer 模型的訓練效率和小型Transformer 模型的推理效率之間的明顯權衡。然而，我們表明大模型比小模型在壓縮技術(如量化和剪枝)方面更健壯。因此，一個人可以得到最好的兩個好處: 重壓縮，大模型比輕壓縮，小模型獲得更高的準確度。

//www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

概述：

在當前的深度學習范式中，使用更多的計算(例如，增加模型大小、數據集大小或訓練步驟)通常會導致更高的模型準確度(brock2018large;raffel2019exploring)。最近自監督預訓練的成功進一步論證了這種趨勢經模型。因此，計算資源日益成為提高模型準確度的關鍵制約因素。這個約束導致模型訓練的(通常是隱含的)目標是最大化計算效率:如何在固定的硬件和訓練時間下達到最高的模型準確度。

最大化計算效率需要重新考慮關于模型訓練的常見假設。特別是，有一個典型的隱式假設，即模型必須經過訓練直到收斂，這使得較大的模型在有限的計算預算下顯得不太可行。我們通過展示以收斂為代價來增加模型大小的機會來挑戰這一假設。具體地說，我們表明，訓練Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小，但很早停止訓練。

在我們的實驗中，我們改變了Transformer模型的寬度和深度，并在自監督的預訓練(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上訓練)和機器翻譯(WMT14英語→法語)上評估了它們的訓練時間和準確性。對于這些任務，我們首先展示了更大的模型比更小的模型在更少的梯度更新中收斂到更低的驗證錯誤(第3節)。此外，這種收斂速度的增加超過了使用更大模型所帶來的額外計算開銷——計算效率最高的模型是非常大的，并且遠遠不能收斂(例如，圖2，左)。我們還表明，收斂的加速主要是參數計數的函數，只有模型寬度、深度和批大小的微弱影響。

雖然較大的模型訓練速度更快，但它們也增加了推理的計算和內存需求。這種增加的成本在現實應用中尤其成問題，推理成本占訓練成本的主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而，對于RoBERTa來說，這種明顯的權衡可以與壓縮相協調:與小型模型相比，大型模型在壓縮方面更加健壯(第4節)。因此，使用可比較的推理成本，大型重壓縮的模型優于小型輕壓縮的模型(例如，圖2，右)。