亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： DEEP LEARNING FOR SYMBOLIC MATHEMATICS

摘要： 神經網絡在解決統計或近似問題上比執行計算或處理符號數據更好。 在本文中，我們證明了它們在數學上更精細的任務上表現出令人驚訝的出色表現，例如符號積分和解決微分方程式。我們提出了一種表示數學問題的語法，以及生成可用于訓練序列到序列的大型數據集的方法。我們取得的結果優于Matlab或Mathematica等商業計算機代數系統。

主題： A New Meta-Baseline for Few-Shot Learning

摘要： 近年來，元學習已經成為小樣本學習的流行框架，其目標是從少拍分類任務的集合中學習模型。雖然提出了越來越多的新穎元學習模型，但我們的研究發現了被忽視的簡單基準。我們通過在所有基類上預先訓練分類器，并在基于最近質心的少數鏡頭分類算法上進行元學習，提出了一種Meta-Baseline方法，該方法以較大的優勢勝過了最新的方法。為什么這個簡單的方法這么好？在元學習階段，我們觀察到在基礎類的未見任務上更好地推廣的模型在新型類任務上的性能可能會下降，這表明存在潛在的客觀差異。我們發現預訓練和從預訓練的分類器繼承良好的幾次快照分類法對于元基線都很重要，這可能有助于模型更好地利用具有更強可傳遞性的預訓練表示。此外，我們研究了何時需要在此元基線中進行元學習。我們的工作為該領域建立了一個新的基準，并為進一步了解元學習框架中的幾次學習現象提供了啟示。

為了更好的用戶體驗和業務效能，點擊率(CTR)預測一直是電子商務中最重要的任務之一。雖然已經提出了大量的CTR預測模型，但從多模態特征中學習項目的良好表示仍然較少研究，因為電子商務中的一個項目通常包含多個異質模態。以往的作品要么將多個模態特征串聯起來，相當于給每個模態一個固定的重要性權重;或者通過注意力機制等技術學習不同項目不同模式的動態權重。然而，一個問題是，通常存在跨多個模態的公共冗余信息。利用冗余信息計算不同模態的動態權值，可能不能正確反映不同模態的不同重要性。為了解決這個問題，我們通過考慮模態特性和模態不變特性來探索模態的互補性和冗余性。針對CTR預測任務，我們提出了一種新的多模態對抗表示網絡(MARN)。多模態注意網絡首先根據每個項目的模態特征計算其多模態的權重。然后，一個多模態對抗網絡學習模態不變表示，在此基礎上引入雙鑒別器策略。最后，我們將模態特定表示與模態不變表示相結合，實現了多模態項表示。我們在公共數據集和工業數據集上進行了大量的實驗，所提出的方法不斷地對最先進的方法進行顯著的改進。此外，該方法已應用于實際的電子商務系統，并在網上進行了A/B測試，進一步證明了該方法的有效性。

題目： Factorized Graph Representations for Semi-Supervised Learning from Sparse Data

簡介：

節點分類是圖數據管理中的一個重要問題。它通常由不同的標簽傳播方法來解決，這些方法從幾個有標簽的種子節點開始迭代地工作。對于具有類之間任意兼容性的圖，這些方法主要依賴于了解必須由領域專家或啟發式提供的兼容性矩陣。我們能否以一種有原則和可伸縮的方式，從一個稀疏標記的圖中直接估計正確的兼容性?我們肯定地回答了這個問題，并提出了一種稱為遠程兼容性評估的方法，這種方法甚至可以在標記極為稀疏的圖(例如，標記了10,000個節點中的1個)上工作，而這只是標記其余節點所需時間的一小部分。我們的方法首先創建多個因式圖表示(大小與圖無關)，然后對這些更小的圖進行估計。我們將代數放大定義為利用算法更新方程的代數性質來放大稀疏信號的一般思想。我們證明了我們的估計器要比其他方法快幾個數量級，并且端到端的分類精度與使用標準兼容性相當。這使得它對于任何現有的標簽傳播方法都是一個廉價的預處理步驟，并且消除了當前對啟發式的依賴。

節點分類是圖數據管理中的一個重要問題。它通常由不同的標簽傳播方法來解決，這些方法從幾個有標簽的種子節點開始迭代地工作。對于具有類之間任意兼容性的圖，這些方法主要依賴于了解必須由領域專家或啟發式提供的兼容性矩陣。我們能否以一種有原則和可伸縮的方式，從一個稀疏標記的圖中直接估計正確的兼容性?我們肯定地回答了這個問題，并提出了一種稱為遠程兼容性評估的方法，這種方法甚至可以在標記極為稀疏的圖(例如，標記了10,000個節點中的1個)上工作，而這只是標記其余節點所需時間的一小部分。我們的方法首先創建多個因式圖表示(大小與圖無關)，然后對這些更小的圖草圖進行估計。我們將代數放大定義為利用算法更新方程的代數性質來放大稀疏信號的更一般的思想。我們證明了我們的估計器要比其他方法快幾個數量級，并且端到端的分類精度與使用真實標準兼容性相當。這使得它對于任何現有的標簽傳播方法都是一個廉價的預處理步驟，并且消除了當前對啟發式的依賴。

題目

上下文感知推薦系統的圖卷積機：Graph Convolution Machine for Context-aware Recommender System

關鍵字

圖卷積，編碼器與解碼器，上下文感知，深度學習，推薦系統

簡介

推薦的最新進展表明，可以通過在用戶項目交互圖上執行圖卷積來學習更好的用戶和項目表示形式。但是，這種發現主要限于協作過濾（CF）場景，在該場景中無法使用交互上下文。在這項工作中，我們將圖卷積的優勢擴展到了上下文感知推薦系統（CARS，代表了可以處理各種輔助信息的通用類型的模型）。我們提出了圖卷積機（GCM），它是一個由以下組成的端到端框架：三個組件：編碼器，圖卷積（GC）層和解碼器。編碼器將用戶，項目和上下文投影到嵌入向量中，然后將其傳遞到GC層，以利用上下文感知的圖卷積在用戶項圖中對用戶和項目嵌入進行細化。解碼器通過考慮用戶，項目和上下文嵌入之間的交互，提取經過精煉的嵌入以輸出預測分數。我們對Yelp的三個真實數據集進行了實驗，驗證了GCM的有效性以及對CARS執行圖形卷積的好處。

作者

Jiancan Wu,Xiangnan He,Xiang Wang,Qifan Wang,Weijian Chen,JianxunLian,Xing Xie,Yongdong Zhang來自中國科學技術大學

主題： Deep Sequence Modeling

簡介：

• 一個序列建模問題：預測下一個單詞

• 循環神經網絡（RNNs）

• 時間反向傳播（BPTT）

• 長短期記憶（LSTM）網絡

• RNN應用

簡介： 主導圖神經網絡（GNN）完全依賴圖連接，已經存在幾個嚴重的性能問題，例如，過度平滑問題。此外，由于內存限制了節點之間的批處理，因此固定連接的特性會阻止圖形內的并行化，這對于大型數據輸入至關重要。在本文中，引入一種新的圖神經網絡，即GRAPH-BERT（基于圖的BERT），該網絡僅基于注意力機制而無需任何圖卷積或聚合算法。本文在局部上下文中使用采樣的無連接子圖訓練GRAPH-BERT。此外，如果有任何監督的標簽信息或某些面向應用的目標，則可以使用其他最新的輸出層對預訓練的GRAPH-BERT模型進行微調。我們已經在多個基準圖數據集上測試了GRAPH-BERT的有效性。在預訓練的GRAPH-BERT具有節點屬性重構和結構恢復任務的基礎上，我們進一步針對節點分類和圖聚類任務進一步調整GRAPH-BERT。

論文摘要：

圖無處不在，從引文和社交網絡到知識圖譜(KGs)。它們是最富表現力的數據結構之一，已被用于建模各種問題。知識圖譜是圖中事實的結構化表示，其中節點表示實體，邊表示實體之間的關系。最近的研究已經開發出幾種大型知識圖譜;例如DBpedia、YAGO、NELL和Freebase。然而，它們都是稀疏的，每個實體只有很少的事實。例如，每個實體只包含1.34個事實。在論文的第一部分，我們提出了緩解這一問題的三個解決方案:(1)KG規范化，即(2)關聯提取，它涉及到從非結構化文本中提取實體之間的語義關系的自動化過程;(3)鏈接預測，它包括基于KG中的已知事實推斷缺失的事實。KG的規范化,我們建議CESI(規范化使用嵌入和邊信息),一個新穎的方法執行規范化學習嵌入開放KG。KG嵌入的方法擴展了最新進展將相關NP和關系詞信息原則的方式。對于關系提取，我們提出了一種遠程監督神經關系提取方法，該方法利用KGs中的附加邊信息來改進關系提取。最后，對于鏈路預測，我們提出了擴展ConvE的InteractE，這是一種基于卷積神經網絡的鏈路預測方法，通過三個關鍵思想:特征置換、新穎的特征重塑和循環卷積來增加特征交互的次數。通過對多個數據集的大量實驗，驗證了所提方法的有效性。

傳統的神經網絡如卷積網絡和遞歸神經網絡在處理歐幾里得數據時受到限制。然而，在自然語言處理(NLP)中圖形是很突出的。最近，圖卷積網絡(Graph Convolutional Networks, GCNs)被提出來解決這一缺點，并成功地應用于多個問題。在論文的第二部分，我們利用GCNs來解決文檔時間戳問題，它是文檔檢索和摘要等任務的重要組成部分。

為此，我們提出利用GCNs聯合開發文檔語法和時態圖結構的NeuralDater，以獲得該問題的最新性能。提出了一種靈活的基于圖卷積的詞嵌入學習方法——SynGCN，該方法利用詞的依賴上下文而不是線性上下文來學習更有意義的詞嵌入。在論文的第三部分，我們討論了現有GCN模型的兩個局限性，即(1)標準的鄰域聚合方案對影響目標節點表示的節點數量沒有限制。這導致了中心節點的噪聲表示，中心節點在幾個躍點中幾乎覆蓋了整個圖。為了解決這個缺點，我們提出了ConfGCN(基于信任的GCN)，它通過估計信任來確定聚合過程中一個節點對另一個節點的重要性，從而限制其影響鄰居。(2)現有的GCN模型大多局限于處理無向圖。然而，更一般和更普遍的一類圖是關系圖，其中每條邊都有與之關聯的標簽和方向。現有的處理此類圖的方法存在參數過多的問題，并且僅限于學習節點的表示。我們提出了一種新的圖卷積框架CompGCN，它將實體和關系共同嵌入到一個關系圖中。CompGCN是參數有效的，并且可以根據關系的數量進行擴展。它利用了來自KG嵌入技術的各種實體-關系組合操作，并在節點分類、鏈接預測和圖分類任務上取得了明顯的優勢結果。