亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在大規模開放在線課程（MOOCs）中，知識概念推薦是一個受到廣泛關注的重要問題。現有方法主要依賴于MOOC平臺上用戶與知識概念之間的顯式關系進行推薦。然而，在MOOC平臺上用戶的學習活動中產生了許多隱式關系（例如，用戶之間的共同興趣或相同的知識水平）。現有方法未能考慮這些隱式關系，這些關系本身難以學習和表示，導致知識概念推薦性能不佳，無法滿足用戶的個性化需求。為了解決這個問題，我們提出了一個基于對比學習的新框架，可以表示和平衡MOOCs中知識概念推薦的顯式和隱式關系（CL-KCRec）。具體來說，我們首先通過建模MOOC平臺的數據來構建一個MOOCs異質信息網絡（HIN）。然后，我們分別利用一個關系更新的圖卷積網絡和堆疊的多通道圖神經網絡來表示HIN中的顯式和隱式關系。考慮到在MOOCs中顯式關系的數量相對較少，我們提出了一個帶有原型圖的對比學習，以增強兩種關系的表示，捕獲它們豐富的內在關系知識，這可以指導學生偏好在HIN中的傳播。基于這些增強的表示，為了確保兩者對最終推薦的平衡貢獻，我們提出了一個雙頭注意力機制進行平衡融合。實驗結果表明，CL-KCRec在真實世界數據集上的HR、NDCG和MRR方面超越了幾個最先進的基線。

開創性的工作已經驗證了擴散模型在探索推薦系統中信息不確定性方面的有效性。考慮到推薦任務與圖像合成任務之間的差異，現有方法對擴散和逆過程進行了針對性的改進。然而，這些方法通常使用語料庫中得分最高的項目來預測用戶興趣，導致忽視了用戶在其他項目中包含的泛化偏好，從而仍受限于數據稀疏問題。為了解決這個問題，本文提出了一種新穎的推薦用插件擴散模型（PDRec）框架，該框架將擴散模型作為一個靈活的插件，共同充分利用在所有項目上擴散生成用戶偏好的優勢。具體而言，PDRec首先通過時間間隔擴散模型推斷用戶在所有項目上的動態偏好，并提出了歷史行為重新加權（HBR）機制，以識別高質量行為并抑制噪聲行為。除了觀察到的項目，PDRec提出了基于擴散的正向增強（DPA）策略，利用排名靠前的未觀察項目作為潛在正樣本，引入信息豐富且多樣化的軟信號來緩解數據稀疏。為了緩解假陰性采樣問題，PDRec采用無噪聲負采樣（NNS）來選擇穩定的負樣本，以確保有效的模型優化。在四個數據集上的廣泛實驗和分析驗證了所提出的PDRec相較于最先進的基準模型的優越性，并展示了PDRec作為常用順序編碼器的靈活插件在不同推薦場景下的普遍性。代碼可在//github.com/hulkima/PDRec獲得。

學習適用于各種下游任務的通用時間序列表征是具有挑戰性但在實際應用中極具價值的。最近，研究人員嘗試利用自監著學習（SSCL）在計算機視覺（CV）和自然語言處理（NLP）中的成功來解決時間序列表征的問題。然而，由于時間序列的特殊時序特性，僅依賴于其他領域的經驗指導可能對時間序列無效，且難以適應多個下游任務。為此，我們審查了SSCL涉及的三個部分，包括1）設計正樣本對的增強方法，2）構建（困難的）負樣本對，以及3）設計SSCL損失函數。對于1）和2），我們發現不合適的正、負樣本對構建可能引入不適當的歸納偏見，既不能保留時序屬性，也不能提供足夠的判別特征。對于3），僅探索片段級或實例級的語義信息對于學習通用表征是不夠的。為解決上述問題，我們提出了一種名為TimesURL的新型自監著框架。具體來說，我們首先引入一種基于頻率-時序的增強方法，以保持時序屬性不變。然后，我們構建雙重“Universum”作為一種特殊的困難負樣本，以指導更好的對比學習。此外，我們引入時間重構作為與對比學習的聯合優化目標，以捕獲片段級和實例級信息。結果表明，TimesURL能夠學習高質量的通用表征，并在6種不同的下游任務中實現最先進的性能，包括短期和長期預測、插值、分類、異常檢測和遷移學習。

圖神經網絡（GNNs）越來越多地應用于許多高風險任務中，因此，近來人們對它們的公平性越來越關注。研究表明，GNNs往往會對某些由敏感屬性如性別和種族劃分的人群做出歧視性決策。盡管近期的工作致力于提高它們的公平性能，但這通常需要可以獲取的人口統計信息。由于法律限制，這在現實世界場景中極大地限制了它們的適用性。為解決這個問題，我們提出了一種不依賴人口統計信息的方法，通過知識蒸餾來學習公平的GNNs，即FairGKD。我們的工作是由這樣一個實證觀察所激發的：在部分數據（即，只有節點屬性或拓撲數據）上訓練GNNs可以提高它們的公平性，盡管這犧牲了一定的效用。為了在公平性和效用性能之間做出平衡的權衡，我們采用了一組公平專家（即，在不同部分數據上訓練的GNNs）來構建合成教師，該教師蒸餾出更公平且富有信息的知識以指導GNN學生的學習。在幾個基準數據集上的實驗表明，FairGKD不需要訪問人口統計信息，顯著提高了GNNs的公平性，同時保持了它們的效用。

傳統的靜態知識圖譜將關系數據中的實體作為節點，由特定關系類型的邊連接。然而，信息和知識不斷演變，時間動態的出現，預計這將影響未來的情況。在時序知識圖譜中，通過在每條邊上設置時間戳或時間范圍，將時間信息集成到圖中。基于嵌入的方法已經被引入到時間知識圖的鏈接預測中，但它們大多缺乏可解釋的和可理解的推理鏈。特別是，它們通常不是設計來處理鏈接預測——涉及未來時間戳的事件預測。我們解決了時序知識圖譜上的鏈接預測任務，并引入了TLogic，一個基于時間隨機漫步提取的時間邏輯規則的可解釋框架。我們在三個基準數據集上將TLogic與最先進的基線進行了比較，顯示了更好的總體性能，同時我們的方法還提供了保持時間一致性的解釋。此外，與大多數最先進的基于嵌入的方法相比，TLogic在歸納設置中工作得很好，在歸納設置中，已經學習的規則被轉移到具有公共詞匯表的相關數據集。

//arxiv.org/abs/2112.08025

用戶建模是各項個性化服務（如推薦系統）中的關鍵技術。基于用戶行為的用戶建模，是實際推薦系統中的主要建模方法。已有的基于用戶行為的用戶建模方法，通常將用戶建模為他們行為的集合或序列，亦或是用戶-物品二分圖上的節點。但是這些建模方法難以對行為之間的復雜聯系和上下文信息進行充分建模。為了解決這一問題，微軟亞洲研究院的研究員們提出了 User-as-Graph 方法。該方法將用戶建模為一個由行為組成的異構圖，這樣就可以更好地理解行為之間復雜的關系和上下文信息，進而更加準確地表示用戶，以實現“一人一圖，千圖千面”。

在 User-as-Graph 方法中，每個用戶都被表示為一個個性化異構圖。圖7展示了一個構建示例。圖中的節點是一個用戶的異構行為，邊是行為之間的關系。

此外，用戶建模的任務可以轉化為一個異構圖池化的問題，即從個性化的異構圖中學習用戶的表示。然而，對異構圖池化方面的研究非常稀缺，并且現有的同構圖池化方法對于異構圖池化可能不是最優的。基于此，研究員們又提出了一種名為 HG-Pool 的異構圖池化方法，如圖8所示。該方法的核心思想是經過多次迭代，將一個大的異構圖池化，并不斷壓縮為一個更小的異構圖，直到獲得最終的用戶表示。在每次迭代中，研究員們使用類型特定的 GNN 模型從整個異構圖的信息中學習每種節點的池化函數，這樣能夠充分考慮異構節點的特性。

HG-Pool 方法的框架如圖9所示。對于每種節點，首先使用一個不同的池化 GNN 模型來學習類型特定的節點表示。然后使用帶 softmax 激活函數的線性變換，將這些節點表示轉換為類型特定的池化矩陣。最后使用 padding 后的池化矩陣，將當前鄰接矩陣和節點特征矩陣轉換為更小的矩陣。

研究員們基于 MIND 新聞推薦數據集進行了實驗。表4的結果顯示 User-as-Graph 可以顯著提升新聞推薦中用戶建模的效果，從而取得更好的個性化新聞推薦的性能。

深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。

//arxiv.org/abs/2102.07078

近年來，圍繞著圖卷積網絡(GCN)這一主題的文獻大量涌現。如何有效地利用復雜圖(如具有異構實體和關系類型的知識圖譜)中豐富的結構信息是該領域面臨的主要挑戰。大多數GCN方法要么局限于具有同質邊類型的圖(例如，僅引用鏈接)，要么只專注于節點的表示學習，而不是針對目標驅動的目標共同傳播和更新節點和邊的嵌入。本文提出了一種新的框架，即基于知識嵌入的圖卷積網絡(KE-GCN)，該框架結合了基于圖的信念傳播中知識嵌入的能力和高級知識嵌入(又稱知識圖嵌入)方法的優勢，從而解決了這些局限性。我們的理論分析表明，KE-GCN作為具體案例提供了幾種著名的GCN方法的優雅統一，并提供了圖卷積的新視角。在基準數據集上的實驗結果表明，與強基線方法相比，KE-GCN方法在知識圖譜對齊和實體分類等任務中具有明顯的優勢。

//www.zhuanzhi.ai/paper/3404ccd79333da7c1cbf8e013f258a64

最近，終身學習在構建不斷積累和轉移知識以幫助未來學習的機器學習系統方面引起了關注。無監督主題建模廣泛用于從文檔集合中發現主題。然而，由于數據稀疏性，例如，在一個小的(短)文檔集合中，會產生不連貫的主題和次優的文檔表示，主題建模的應用具有挑戰性。為了解決這個問題，我們提出了一個神經主題建模的終身學習框架，它可以連續處理文檔集流，積累主題，并通過從多個來源的知識轉移來指導未來的主題建模任務，以更好地處理稀疏的數據。在終身學習過程中，我們特別共同研究:(1)終生共享生成同源性(潛在話題)以轉移先驗知識，(2)通過新穎的選擇性數據增強、聯合訓練和話題正則化方法最小化保留過去學習的災難性遺忘。在給定一個文檔集合流的情況下，我們應用所提出的終身神經主題建模(LNTM)框架，將三個稀疏文檔集合建模為未來任務，并通過perplexity、Topic coherence和information retrieval task量化，證明了性能的提高。

圖卷積網絡(GCN)已經成為協同過濾的最新技術。然而，其推薦的有效性的原因還沒有很好地理解。現有的將GCN用于推薦的工作缺乏對GCN的深入消融分析，GCN最初是為圖分類任務而設計的，并配備了許多神經網絡操作。然而，我們實證發現，兩種最常見的設計-特征轉換和非線性激活-對協同過濾的性能貢獻很小。更糟糕的是，包括他們增加了訓練的難度，降低了推薦的效果。在這項工作中，我們的目標是簡化GCN的設計，使其更簡潔，更適合推薦。我們提出了一個新的模型LightGCN，它只包含GCN中最重要的組件——鄰域聚合——用于協同過濾。具體來說，LightGCN通過在用戶-項目交互圖上線性傳播用戶和項目嵌入來學習它們，并使用在所有層上學習到的嵌入的加權和作為最終的嵌入。這種簡單、線性、簡潔的模型更容易實現和訓練，在完全相同的實驗設置下，比神經圖協同過濾(NGCF)——一種最先進的基于GCN的推薦模型——有了顯著的改進(平均大約16.0%的相對改進)。從分析和實證兩方面進一步分析了簡單LightGCN的合理性。我們的實現在TensorFlow和PyTorch中都可用。