亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖神經網絡在許多基于圖的任務中得到了廣泛的應用，如節點分類、鏈路預測和節點聚類。GNNs的性能優勢主要來自于對圖的邊緣執行特征傳播和平滑，因此需要足夠的連接性和標簽信息來進行有效傳播。不幸的是，許多現實世界的網絡在邊緣和標簽方面都是稀疏的，這導致了GNN的次優性能。最近對這個稀疏問題的興趣集中在自訓練方法上，它用偽標簽擴展監督信號。然而，由于偽標簽的質量和數量都不理想，自訓練方法本身并不能充分發揮提煉稀疏圖學習性能的潛力。在本文中，我們提出了ROD，一種新的接收感知的在線知識提取方法用于稀疏圖學習。我們為ROD設計了三種監督信號:多尺度接收感知的圖知識、基于任務的監督和豐富的提煉知識，允許知識以同行教學的方式在線遷移。為了提取隱藏在多尺度接收領域中的知識，ROD明確要求個體學生模型保持不同層次的位置信息。對于給定的任務，每個學生根據自己的接受量表知識進行預測，同時結合多尺度知識動態地建立一個強大的教師。我們的方法已經在9個數據集和各種基于圖的任務上進行了廣泛的評估，包括節點分類、鏈接預測和節點聚類。結果表明，ROD算法達到了最先進的性能，對圖稀疏性具有更強的魯棒性。

//www.zhuanzhi.ai/paper/ff1be0c70de3f486fcb3bc2166e469e9

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

藥物的發現往往依賴于對蛋白配體結合親合性的成功預測。近年來，圖神經網絡(GNNs)通過學習蛋白質-配體配合物的表示來實現更好的親合性預測具有廣闊的應用前景。然而，現有的解決方案通常將蛋白質-配體配合物作為拓撲圖數據處理，因此沒有充分利用生物分子的結構信息。在GNN模型中也忽略了原子間基本的遠距離相互作用。為此，我們提出了一種結構感知的交互式圖神經網絡(SIGN)，它由兩部分組成: 極性啟發圖注意力層(PGAL)和成對交互池(PiPool)。PGAL迭代執行節點邊緣聚合過程，更新節點和邊緣的嵌入，同時保留原子之間的距離和角度信息。然后，采用PiPool方法收集交互邊，并進行后續的重構損失，以反映全局交互。在兩個基準上進行了詳盡的實驗研究，驗證了SIGN算法的優越性。

//www.zhuanzhi.ai/paper/92285a2e24c0fced612de

內容流(Content feed)是一種向用戶推薦一系列內容以供用戶瀏覽和參與的產品，在社交媒體平臺上受到了極大的歡迎。在本文中，我們提出使用時間序列分析技術從項目序列的角度來研究這種情況下的多樣性問題。我們提出了一種稱為滑動譜分解(SSD)的方法，該方法可以捕捉用戶在瀏覽一個長項目序列時的多樣性感知。我們也分享了我們在設計和實現一種合適的項目嵌入方法來精確測量長尾效應下的相似度的經驗。如今，這兩款產品已經在小紅書App的產品推薦系統中得到了全面的實現和部署，該系統每天為數千萬用戶提供主要的和有效性。Explore Feed產品。通過理論分析、離線實驗和在線A/B測試，驗證了該方法的有效性。

//arxiv.org/abs/2107.05204

協同過濾(CF)作為推薦系統的一種基本方法，通常建立在具有可學習參數的潛在因子模型上，預測用戶對產品的偏好。但是，為給定的數據設計適當的CF模型并不容易，因為數據集的屬性是高度多樣化的。在本文中，基于自動機器學習(AutoML)的最新進展，我們提出利用AutoML技術設計一個數據特定的CF模型。這里的關鍵是一個新的框架，它將最先進的CF方法統一起來，并將它們劃分為輸入編碼、嵌入函數、交互函數和預測函數等不相交的階段。我們進一步開發了一種易于使用、健壯和高效的搜索策略，它利用隨機搜索和性能預測器在上述框架內進行高效搜索。通過這種方式，我們可以從SOTA模型中組合概括出文獻中沒有訪問過的特定于數據的CF模型。在五個真實數據集上的大量實驗表明，對于各種CF任務，我們的方法可以持續優于SOTA方法。進一步的實驗驗證了所提框架的合理性和搜索策略的有效性。搜索的CF模型還可以為將來探索更有效的方法提供見解。

//www.zhuanzhi.ai/paper/9f6f6b9ea06d5249f6a1e91d9635a429

雖然預訓練語言模型(例如BERT)在不同的自然語言處理任務上取得了令人印象深刻的結果，但它們有大量的參數，并承受著巨大的計算和內存成本，這使得它們難以在現實世界中部署。因此，為了降低預訓練模型的計算和存儲成本，需要對模型進行壓縮。在這項工作中，我們的目標是壓縮BERT，并解決以下兩個具有挑戰性的實際問題: (1)壓縮算法應該能夠輸出多個不同大小和延遲的壓縮模型，以支持不同內存和延遲限制的設備;(2)算法應與下游任務無關，這樣壓縮模型一般適用于不同的下游任務。我們利用神經結構搜索(NAS)中的技術，提出了一種有效的BERT壓縮方法NAS-BERT。NAS-BERT在精心設計的搜索空間上訓練一個大型超級網絡，該搜索空間包含各種架構，并輸出具有自適應大小和延遲的多個壓縮模型。此外，NAS-BERT的訓練是在標準的自監督的訓練前任務(如掩體語言模型)上進行的，不依賴于特定的下游任務。因此，壓縮的模型可以跨任務使用。NAS-BERT的技術挑戰在于，在訓練前的任務上訓練一個大型超級網絡是極其昂貴的。我們采用了塊搜索、搜索空間剪枝和性能逼近等技術來提高搜索效率和準確性。對GLUE和SQuAD基準數據集的大量實驗表明，NAS-BERT可以找到比以前的方法更精確的輕量級模型，并可以直接應用于不同的下游任務，這些任務具有適應的模型規模，以滿足不同的內存或延遲需求。

//www.zhuanzhi.ai/paper/6f115ce6f43323f92838b15e0030f2a4

知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。

//www.zhuanzhi.ai/paper/a63903c464665db631cd3167d395a238

雙曲空間提供了豐富的設置來學習具有優越屬性的嵌入，這些屬性在計算機視覺、自然語言處理和計算生物學等領域得到了利用。最近，有人提出了幾種雙曲線方法來學習推薦設置中的用戶和項目的魯棒表示。但是，這些方法不能捕獲推薦領域中通常存在的高階關系。另一方面，圖卷積神經網絡(GCNs)則擅長通過對局部表示應用多層聚合來捕獲更高階的信息。在本文中，我們提出了一個用于協同過濾的雙曲線GCN模型，以一種新穎的方式將這些框架結合起來。我們證明了我們的模型可以在邊緣損失的情況下有效學習，并證明了雙曲空間在邊緣設置下具有理想的性質。在測試時，我們的模型使用雙曲距離來進行推理，雙曲距離保留了學習空間的結構。我們對三個公共基準進行了廣泛的實證分析，并與一組大型基線進行比較。我們的方法實現了非常具有競爭力的結果，并超過領先的基線，包括歐幾里德GCN對等物。我們進一步研究了雙曲線嵌入的性質，并表明它們對數據提供了有意義的見解。該工作的完整代碼可以在這里://github.com/layer6ai-labs/HGCF。

點擊率(CTR)預測在推薦系統和在線廣告中起著至關重要的作用。這些應用程序中使用的數據是多字段類別數據，其中每個特征屬于一個字段。字段信息被證明是重要的，在他們的模型中有一些考慮字段的工作。在本文中，我們提出了一種新的方法來有效和高效地建模場信息。該方法是對FwFM的直接改進，被稱為場矩陣分解機(FmFM，或FM2)。在FmFM框架下，我們對FM和FwFM提出了新的解釋，并與FFM進行了比較。除了對交叉項進行修剪外，我們的模型還支持特定領域的可變維度的嵌入向量，這是一種軟修剪。在保持模型性能的同時，我們還提出了一種有效的最小化維數的方法。FmFM模型還可以通過緩存中間向量來進一步優化，它只需要數千次浮點運算(FLOPs)就可以做出預測。實驗結果表明，該算法的性能優于復雜的FFM算法。FmFM模型的性能也可以與DNN模型相媲美，DNN模型在運行時需要更多FLOPs 。

//www.zhuanzhi.ai/paper/39df3ac3e3acb641f86294a4d6acb39f

推薦系統作為人工智能的一個重要應用，是最普遍的計算機輔助系統之一，幫助用戶找到潛在的興趣項目。近年來，人工智能應用的公平性問題引起了研究人員的廣泛關注。這些方法大多假定實例獨立，并設計復雜的模型來消除敏感信息，以促進公平。然而，推薦系統與這些方法有很大的不同，因為用戶和商品自然形成一個用戶-商品二部圖，并且在圖結構中相互協作。在本文中，我們提出了一種新的基于圖的技術來保證任何推薦模型的公平性。這里的公平性要求指的是在用戶建模過程中不暴露敏感特性集。具體來說，給定任何推薦模型的原始嵌入，我們學習一組過濾器，這些過濾器將每個用戶和每個物品的原始嵌入轉換為一個基于敏感特征集的過濾嵌入空間。對于每個用戶，這種轉換是在以用戶為中心的圖的對抗學習下實現的，以便在過濾后的用戶嵌入和該用戶的子圖結構之間模糊每個敏感特征。最后，大量的實驗結果清楚地表明了我們所提出的模型在公平推薦方面的有效性。

//github.com/newlei/FairGo