亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖上的不平衡分類是普遍存在的，但在許多現實世界的應用(如欺詐節點檢測)中具有挑戰性。近年來，圖神經網絡在許多網絡分析任務中顯示出良好的性能。然而，現有的GNN大多只關注平衡網絡，在不平衡網絡上的性能不理想。為了彌補這一缺陷，本文提出了生成式對抗圖網絡模型ImGAGN來解決圖上的不平衡分類問題。介紹了一種新的圖結構數據生成器GraphGenerator，它可以通過生成一組合成的少數節點來模擬少數類節點的屬性分布和網絡拓撲結構分布，從而使不同類中的節點數量達到均衡。然后訓練一個圖卷積網絡(GCN)識別器來區分合成平衡網絡上的真實節點和虛假節點(即生成節點)，以及少數節點和多數節點。為了驗證該方法的有效性，在四個真實的不平衡網絡數據集上進行了大量的實驗。實驗結果表明，在半監督不平衡節點分類任務中，該方法優于現有的算法。

//www.zhuanzhi.ai/paper/33880c15714dc3d8d5411efc239ddd66

在許多數據科學應用中，如推薦系統、在線廣告、醫療等，對表格數據進行預測是一項重要的任務。表格數據被結構成行和列，每一行作為數據樣本，每一列作為特性屬性。表格數據的列和行都帶有可以提高模型預測性能的有用模式。然而，大多數現有模型關注的是跨列模式，而忽略了跨行模式，因為它們獨立處理單個樣本。在這項工作中，我們提出了一個通用的學習框架，名為檢索與交互機(RIM)，它充分利用表格數據中的橫行和橫列模式。具體來說，RIM首先利用搜索引擎技術高效地檢索表中有用的行來輔助目標行標簽預測，然后利用特征交互網絡捕捉目標行與被檢索行之間的跨列模式，從而做出最終的標簽預測。我們對三個重要任務的11個數據集進行了廣泛的實驗，即CTR預測(分類)、top-n推薦(排名)和評分預測(回歸)。實驗結果表明，RIM在不同的基準上取得了顯著的改進，證明了RIM的優越性和有效性。

//www.zhuanzhi.ai/paper/753ed3f1b041ebbb1c804ed9f67590dd

圖神經網絡在許多基于圖的任務中得到了廣泛的應用，如節點分類、鏈路預測和節點聚類。GNNs的性能優勢主要來自于對圖的邊緣執行特征傳播和平滑，因此需要足夠的連接性和標簽信息來進行有效傳播。不幸的是，許多現實世界的網絡在邊緣和標簽方面都是稀疏的，這導致了GNN的次優性能。最近對這個稀疏問題的興趣集中在自訓練方法上，它用偽標簽擴展監督信號。然而，由于偽標簽的質量和數量都不理想，自訓練方法本身并不能充分發揮提煉稀疏圖學習性能的潛力。在本文中，我們提出了ROD，一種新的接收感知的在線知識提取方法用于稀疏圖學習。我們為ROD設計了三種監督信號:多尺度接收感知的圖知識、基于任務的監督和豐富的提煉知識，允許知識以同行教學的方式在線遷移。為了提取隱藏在多尺度接收領域中的知識，ROD明確要求個體學生模型保持不同層次的位置信息。對于給定的任務，每個學生根據自己的接受量表知識進行預測，同時結合多尺度知識動態地建立一個強大的教師。我們的方法已經在9個數據集和各種基于圖的任務上進行了廣泛的評估，包括節點分類、鏈接預測和節點聚類。結果表明，ROD算法達到了最先進的性能，對圖稀疏性具有更強的魯棒性。

//www.zhuanzhi.ai/paper/ff1be0c70de3f486fcb3bc2166e469e9

圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。

//www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

神經序列標記被廣泛應用于許多自然語言處理(NLP)任務，如命名實體識別(NER)和用于對話系統和語義分析的槽標記。最近，大規模的預訓練語言模型在這些任務中顯示出了顯著的成功，只要對大量特定任務的標記數據進行微調。然而，獲取這樣大規模的標記訓練數據不僅代價昂貴，而且由于數據訪問和隱私限制，在許多敏感用戶應用中可能不可行。如果序列標記任務需要在標記級進行這樣的注釋，這種情況就會加劇。在這項工作中，我們提出以解決標簽短缺的神經序列標記模型。具體來說，我們提出了一個元自訓練框架，它利用很少的手工標注標簽來訓練神經序列模型。自訓練是一種通過迭代知識交換從大量無標記數據中學習的有效機制，而元學習有助于自適應樣本重加權，以減少噪聲偽標記帶來的誤差傳播。在6個基準數據集上的大量實驗表明了該方法的有效性，其中包括2個用于大規模多語言NER的基準數據集和4個用于面向任務的對話系統的槽標記數據集。在每個任務中，每個類別只有10個標注的例子，該方法比目前最先進的方法提高了10%，證明了其在有限的訓練標簽體系中的有效性。

//www.microsoft.com/en-us/research/uploads/prod/2020/10/MetaST_Few_shot_KDD_2021.pdf

論文題目：Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models

論文概述：本文研究如何自動生成描述知識圖譜（KG）中事實的自然語言文本。借助預訓練語言模型（PLMs）在語言理解和生成方面的能力，我們主要考慮少樣本場景。我們提出了三個主要的技術貢獻，即用于彌合KG編碼和PLM之間語義差距的表示對齊，用于生成更好的輸入表示的基于關系的KG線性化策略，以及用于學習KG和文本之間對應關系的多任務學習。在三個基準數據集上進行的大量實驗證明了我們的模型在KG到文本生成任務上的有效性。特別是，我們的模型可以實現在只有幾百個標記樣本的情況下取得非常好的效果。

從上下文中識別和理解高質量短語是文本挖掘的一項基本任務。可以說，這項任務中最具挑戰性的部分在于不常見的、新興的和特定領域的短語。這些短語的不頻繁性嚴重影響了依賴于輸入語料庫中大量短語出現的短語挖掘方法的性能。上下文感知的標簽模型，雖然不受頻率的限制，但嚴重依賴領域專家的大量句子級真實標簽或手工地名詞典。在這項工作中，我們提出了UCPhrase，一個新的無監督上下文感知質量短語標記器。具體來說，我們從每個文檔中一致同時出現的單詞序列中歸納出高質量的短語跨度作為silver標簽。與典型的基于現有知識庫(KBs)的上下文無關的遠監督相比，我們的silver標簽深深扎根于輸入域和上下文，因此在保持上下文完整性和捕獲新興的、非知識庫短語方面具有獨特的優勢。訓練一個基于silver標簽的傳統神經標記器通常會面臨過擬合短語表面名稱的風險。另外，我們觀察到，上下文注意力圖從基于Transformer的神經語言模型中生成，有效地揭示了詞匯之間的聯系，而不涉及表面。因此，我們將這種注意力圖與silver標簽配對，以訓練一個輕量級跨度預測模型，該模型可以應用于新的輸入，以識別(看不見的)質量短語，而不考慮它們的表面名稱或頻率。對各種任務和數據集進行的全面實驗，包括語料庫級短語排序、文檔級關鍵短語提取和句子級短語標注，證明了我們的設計優于最先進的預處理、無監督和遠程監督方法。

該工作針對基于半監督的醫學圖像算法，提出了一種利用雙任務一致性約束的新方法，將同一個分割問題表示成兩個不同的任務，并鼓勵兩個任務在預定義的表示空間內保持一致，進而充分利用未標注的數據提升深度神經網絡的性能，同時大大降低訓練網絡模型所需要的標注成本。圖片

基于深度學習的方法因為在圖像處理上優越表現而受到廣泛的關注，近年來在圖像識別、人工智能領域不斷取得了性能突破。但是由于深度神經網絡需要依賴大量良好標注的數據，在小數據上很難達到比較好的效果。在醫學圖像領域，數據標注通常需要大量的時間，也需要醫學領域的專業知識，但醫生通常很忙，沒有充足的時間來標注大量的數據，因此從少量標注數據和大量未標注數據來學習以獲得高性能模型變得尤為重要。

基于這樣的問題，本文提出了一種基于雙任務一致性的半監督學習算法，在現有全監督醫學圖像分割算法基礎上，該算法可以充分利用沒有標注的數據進行進一步學習，進而大大提高未標注數據的利用率和促進網絡分割性能。實驗表明，通過引入雙任務一致性，網絡能更穩定的從少量標注數據和大量未標注數據中學習，并顯著提高分割結果。同時與最新的半監督分割算法相比，此方法需要的訓練成本更低，所取得的效果也更好，從而降低了深度神經網絡對標注數據的依賴。

本文提出了一個簡潔而有效的基于知識到文本轉換的常識問答模型框架，在多個標準的常識問答數據集上進行了深入的測試和分析，并為知識增強的常識問答提供了高性能的基準模型。實驗顯示：①基于知識到文本轉換的常識問答模型是有效且魯棒的；②融合外部知識對于常識問答任務依然有較大潛力；③目前的常識問答模型還遠不能充分發揮知識的潛力——與使用標準知識解釋的模型相比，現有模型均有較大性能差距。