亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目：Interpreting and Unifying Graph Neural Networks with An Optimization Framework

作者：Meiqi Zhu, Xiao Wang, Chuan Shi, Houye Ji, Peng Cui

簡介：圖神經網絡(GNNs)在各種圖分析任務中得到了相當廣泛的關注。設計良好的消息傳遞機制是經典圖神經網絡中最基本的組成成分，并且經驗與實驗證明該部分是非常有效的。雖然傳播機制多種多樣，但基本都是通過沿著網絡拓撲結構聚合節點特征來利用網絡結構與特征信息的。鑒于此，一個問題自然產生：”盡管圖神經網絡有著不同的傳播策略，是否存在一個統一的數學準則，從本質上指導這不同圖神經網絡的傳播過程？如果有的話，是什么？“ 對這個問題較為完善的答案，可以幫助我們從宏觀上有原則地考察不同圖神經網絡之間的關系和差異，并且這樣的數學準則一旦被提出，就能夠幫助我們發現現有圖神經網絡的不足之處，進而激發設計更多新的圖神經網絡。

在本文中，我們致力于建立不同圖神經網絡傳播機制之間的聯系，將他們的傳播過程建模成一個統一的優化問題。分析表明，多種經典圖神經網絡的傳播機制實際上是在優化一個結合了特征擬合約束項和圖拉普拉斯正則化約束項的優化目標，而他們傳播后的節點表示可以隱式地看作是這個統一優化目標的最優解。特征擬合項旨在建立節點表示與原始節點特征之間的關系，通常用于滿足特定圖神經網絡的不同需求。圖拉普拉斯正則化項則是這些圖神經網絡所共享的，它起到拓撲平滑特征的作用。

我們提出的統一優化目標框架，總結了幾種最具代表性的GNN之間的共性，不僅為探索不同GNN之間的關系提供了一個宏觀的視角，也進一步為靈活設計GNN提供了新的機會。傳統上，在提出一種新的圖神經網絡模型時，我們通常側重于設計特定的譜域濾波器或空域聚合策略。現在，統一的優化目標框架為實現這一目標提供了另一種新的途徑，即通過設計傳播目標函數而得到新的圖神經網絡。這樣，我們就清楚地知道傳播過程背后的優化目標，使新設計的圖神經網絡更具有可解釋性和可靠性。舉例來說，本文我們發現現有的工作通常使用非常簡單的圖卷積核來設計特征擬合約束項，因此基于現有的不足開發出兩個具有可調低通和高通濾波器性質的靈活優化目標函數。此外，我們提供了收斂證明和表達能力的比較。在基準數據集上進行的大量實驗表明，基于本文優化框架提出的GNN模型不僅性能優于現有的優化方法，而且能夠很好地緩解過度平滑問題，進一步驗證了采用統一優化框架設計GNN的可行性。

圖神經網絡(GNNs)在各種網絡相關任務已被證明是非常有效的。大多數現有的GNN通常利用節點特征的低頻信號，這就產生了一個基本的問題: 低頻信息是我們在現實應用中所需要的全部嗎?在本文中，我們首先提出了一個實驗研究來評估低頻和高頻信號的作用，結果清楚地表明，探索低頻信號與在不同場景下學習有效的節點表示是遙遠的。在GNN中，我們如何自適應地學習低頻信息以外的更多信息?一個可行的方案可以幫助GNNs增強適應性。針對這一問題，我們提出了一種具有自適應機制的頻率自適應圖卷積網絡(FAGCN)，該網絡能夠在消息傳遞過程中自適應地整合不同的信號。為了加深理解，我們從理論上分析了低頻信號和高頻信號在學習節點表示上的作用，進一步解釋了為什么FAGCN能在不同類型的網絡上表現良好。在六個真實網絡上的廣泛實驗證實，FAGCN不僅緩解了過度平滑的問題，而且比最先進的技術有優勢。

//www.zhuanzhi.ai/paper/7cfc3401bf12182d85c24e8231e760ec

從異步視頻面試(AVI)中的自動語音識別(ASR)轉錄中，我們解決了基于文本特征自動為候選人的能力評分的任務。問題的關鍵在于如何構建問題與答案之間的依賴關系，并對每個問答(QA)對進行語義級交互。然而，目前AVI的研究大多集中在如何更好地表示問題和答案上，而忽視了它們之間的依賴信息和相互作用，而這是QA評估的關鍵。在這項工作中，我們提出了一種層次推理圖神經網絡(HRGNN)用于問答對的自動評估。具體來說，我們構建了一個句子級關系圖神經網絡來捕獲問題和答案之間的句子依賴信息。基于這些圖，我們采用語義級推理圖注意網絡對當前QA會話的交互狀態進行建模。最后，我們提出了一種門控遞歸單元編碼器來表示用于最終預測的時間問答對。在CHNAT(一個真實數據集)上進行的實證結果驗證了我們提出的模型顯著優于基于文本匹配的基準模型。消融研究和10個隨機種子的實驗結果也表明了我們模型的有效性和穩定性。

//www.zhuanzhi.ai/paper/5c766d478e8b7fae79e95f2a09e5bdd1

本文探討了元學習在序列推薦中的應用，以緩解項目冷啟動問題。序列推薦旨在根據用戶的歷史行為序列捕獲用戶的動態偏好，是大多數在線推薦場景的關鍵組成部分。然而，大多數以前的方法難以推薦冷啟動項目，這在這些情況下是普遍存在的。由于在序列推薦任務的設置中通常沒有附加信息，所以當只有用戶-項目交互可用時，不能運用以前的冷啟動方法。因此，我們提出了一種基于元學習的冷啟動序列推薦框架，即Mecos，以緩解序列推薦中項目冷啟動問題。這項任務不是微不足道的，因為它的目標是一個重要的問題，在一個新穎的和具有挑戰性的背景下。Mecos有效地從有限的交互中提取用戶偏好，并學習將目標冷啟動項目與潛在用戶匹配。此外，我們的框架可以輕松地集成基于神經網絡的模型。在三個真實世界的數據集上進行的大量實驗驗證了Mecos的優越性，與最先進的基線方法相比，在HR@10的平均改進高達99%，91%和70%。

在大規模無標簽文本上預訓練語言模型，然后在下游任務微調的學習模式已經在自然語言處理（NLP）領域取得了廣泛的應用。盡管當前的預訓練語言模型在大部分NLP任務上取得了顯著的進展，然而，研究人員發現當預訓練任務的目標更接近于下游任務的目標時，模型在下游任務上能取得更大幅度的性能提升，例如針對文本摘要設計的Gap Sentence Prediciton預訓練任務[1]、面向機器閱讀理解設計的Span Selection預訓練任務[2]、以及為情感分析設計的Label-aware MLM預訓練任務[3]，都取得了相較于原始預訓練語言模型更好的性能。近年來，在信息檢索（IR）中，預訓練語言模型在文檔排序任務上取得了一定的效果，然而，如何設計更符合信息檢索需求的預訓練目標，是一個值得探索的新領域。

在這項工作中，我們提出了一個新穎的針對信息檢索的預訓練任務，叫做“代表詞預測”任務（Representative Words Prediction）。這個任務是受到了IR中經典統計語言模型——查詢似然模型的啟發，在查詢似然模型的基本假設中，查詢被認為是由“理想”文檔“生成”出來的具有代表性的文本，因此通過貝葉斯定理推導，查詢的相關性強度可由其代表性或者說是其似然值表征。鑒于此，我們就構建了這樣一個新的代表詞預測任務（簡稱為ROP任務），具體來說，對于一個給定的文檔，我們根據文檔語言模型（狄利克雷平滑的多項式語言模型）采樣出該文檔的代表性詞集，然后預訓練語言模型使其能夠有效地區分出其中哪些詞項更具有代表性。為了同時建模查詢和文檔內容理解以及二者關系的預測，我們結合ROP與MLM一起在無標簽的文檔語料上進行預訓練，我們把通過這種預訓練方式得到的語言模型命名為PROP。

//www.zhuanzhi.ai/paper/57435651043bb840be881c8e7a71c70d

邊緣流通常用于捕獲動態網絡中的交互，如電子郵件、社交或計算機網絡。邊緣流異常或罕見事件的檢測問題有著廣泛的應用。然而，由于缺乏標簽，交互的高度動態特性，以及網絡中時間和結構變化的糾纏，它提出了許多挑戰。目前的方法在解決上述挑戰和有效處理大量交互方面能力有限。在此，我們提出了一種檢測邊緣流異常的新方法- F-FADE，它使用一種新的頻率因子分解技術來有效地模擬節點對間相互作用頻率的時間演化分布。然后，根據觀測到的每一次相互作用頻率的可能性來確定異常。F-FADE能夠在在線流媒體設置中處理時間和結構變化的各種異常，而只需要恒定的內存。我們在一個合成和六個真實世界動態網絡上的實驗表明，F-FADE達到了最先進的性能，可以檢測出以前的方法無法發現的異常。

//arxiv.org/pdf/2011.04723.pdf

圖神經網絡具有很強的圖表示學習能力，在各種實際應用中取得了巨大的成功。GNN通過聚集和轉換節點鄰域內的信息來探索圖的結構和節點特征。但是，通過理論和實證分析，我們發現GNN的聚集過程會破壞原始特征空間中的節點相似性。在許多場景中，節點相似性起著關鍵作用。因此，本文提出的SimP-GCN框架可以在利用圖結構的同時有效地保持節點相似性。具體地說，為了平衡圖結構和節點特征信息，我們提出了一種自適應地集成圖結構和節點特征的特征相似性保持聚合。此外，我們使用自監督學習來顯式地捕捉復雜特征之間的相似性和差異性關系。在包括3個同選型圖和4個異選型圖的7個基準數據集上驗證了SimP-GCN的有效性。結果表明SimP-GCN優于代表性基線。進一步的研究顯示了所提議的框架的各種優點。

//arxiv.org/abs/2011.09643

會話搜索的任務主要是使用交互數據來提高用戶在會話級別上的下一個查詢的相關性。在本文中，我們將會話搜索作為一個個性化任務，在學習排序的框架下進行。個性化方法重新排列結果以匹配用戶模型。這種用戶模型通常是根據用戶的瀏覽行為隨著時間的推移而積累起來的。我們使用一套預先計算的、透明的基于社會科學文獻概念的用戶模型。交互數據用于將每個會話映射到這些用戶模型。然后根據這些模型和sessions的交互數據來估計新特性。從TREC會話軌跡的測試收集上進行的廣泛實驗顯示，在統計上比當前會話搜索算法有顯著的改進。

//www.zhuanzhi.ai/paper/3cd6afe65db82a0f6e0fa3a45d1fda73

為了推動網絡廣告的購買行為，優化序列廣告策略是廣告商非常關心的問題，而序列廣告策略的性能和可解釋性都非常重要。現有的深度強化學習方法缺乏可解釋性，使得策略不易被理解、診斷和進一步優化。在本文中，我們提出了我們的深度意圖序列廣告(DISA)方法來解決這些問題。可解釋性的關鍵部分是了解消費者的購買意圖，而這種意圖是不可觀察的(稱為隱藏狀態)。在本文中，我們將意圖建模為一個潛在變量，并將問題表述為一個部分可觀察的馬爾可夫決策過程(POMDP)，其中潛在意圖是根據可觀察行為推斷出來的。大規模的工業離線和在線實驗證明了我們的方法在多個基線上的優越性能。對推導出的隱狀態進行了分析，結果證明了推理的合理性。

標簽傳播(LPA)和圖卷積神經網絡(GCN)都是圖上的消息傳遞算法。兩者都解決了節點分類的任務，但是LPA將節點標簽信息傳播到圖的邊緣，而GCN傳播并轉換節點特征信息。然而，雖然概念相似，LPA和GCN之間的理論關系還沒有得到研究。這里我們從兩個方面研究了LPA和GCN之間的關系:(1)特征/標簽平滑，分析一個節點的特征/標簽如何擴散到它的鄰居;(2)一個節點的初始特征/標簽對另一個節點的最終特征/標簽的影響程度。在理論分析的基礎上，提出了一種統一GCN和LPA的節點分類端到端模型。在我們的統一模型中，邊緣權值是可學習的，LPA作為正則化幫助GCN學習合適的邊緣權值，從而提高分類性能。我們的模型也可以看作是基于節點標簽的注意力學習權重，它比現有的基于特征的注意力模型更面向任務。在真實圖數據的大量實驗中，我們的模型在節點分類準確度方面顯示出優于目前最先進的基于gcn的方法。