在許多實際情況中（例如，學術網絡、社交平臺），不同類型的實體不僅與文本關聯，而且還通過各種關系相互連接，這可以被抽象為文本屬性異構圖（TAHGs）。當前的語言模型（LMs）預訓練任務主要集中在分開學習每個實體的文本信息，并忽視了捕捉TAHGs中實體之間的拓撲關系的重要方面。在這篇論文中，我們提出了一個新的針對LMs的預訓練框架，明確地考慮TAHGs中的拓撲和異構信息。首先，我們定義了一個上下文圖為特定順序內的目標節點的鄰域，并提議一個拓撲意識的預訓練任務，通過聯合優化LM和一個輔助的異構圖神經網絡來預測參與上下文圖的節點。其次，基于觀察到一些節點文本豐富，而其他節點文本很少的現象，我們設計了一種文本增強策略，通過其鄰居的文本來豐富沒有文本的節點，以處理不平衡問題。我們在三個來自不同領域的數據集上進行鏈接預測和節點分類任務。實驗結果證明了我們的方法相對于現有方法的優越性和每種設計的合理性。我們的代碼可在以下鏈接找到：//github.com/Hope-Rita/THLM。
付費5元查看完整內容
相關內容
基于知識庫的問題生成(KBQG)任務旨在將邏輯形式轉換為自然語言問題。由于大規模問題標注的成本昂貴，迫切需要開發低資源場景下的KBQG方法。然而，現有方法嚴重依賴于標注數據進行微調，不適合少樣本問題生成。大型語言模型(LLM)的出現在小樣本任務中表現出了令人印象深刻的泛化能力。受思維鏈(CoT)提示的啟發，該文將KBQG任務表述為一個推理問題，將一個完整問題的生成分解為一系列子問題的生成。所提出的提示方法KQG-CoT首先考慮邏輯形式的特征，從未標記的數據池中選擇支持邏輯形式。然后，構建一個特定于任務的提示，以指導LLM基于所選邏輯形式生成復雜的問題。為了進一步確保提示質量，我們通過對邏輯形式的復雜性進行排序，將KQG-CoT擴展為KQG-CoT+。在三個公開的KBQG數據集上進行了廣泛的實驗。結果表明，我們的提示方法在評估數據集上始終優于其他提示基線。值得注意的是，我們的KQG-CoT+方法可以在BLEU-4、METEOR和ROUGE-L上分別超過PathQuestions數據集現有的少樣本SoTA結果18.25、10.72和10.18個絕對點。
付費5元查看完整內容
大型文本到圖像生成模型在生成性AI中已經取得了突破性的發展，擴散模型展現了根據輸入文本提示合成令人信服的圖像的驚人能力。圖像編輯研究的目標是通過修改文本提示來賦予用戶對生成圖像的控制。目前的圖像編輯技術容易在目標區域之外的區域，例如背景或與目標對象具有某種語義或視覺關系的干擾物體上，發生無意的修改。根據我們的實驗發現，不準確的交叉注意圖是這個問題的根源。基于這一觀察，我們提出了動態提示學習（Dynamic Prompt Learning, DPL）以強制交叉注意圖集中于文本提示中的正確名詞詞匯。通過使用所提出的漏洞修復損失更新文本輸入中的名詞的動態代幣，我們實現了對特定對象的細粒度圖像編輯，同時防止了對其他圖像區域的不希望的變化。我們的方法DPL基于公開可用的穩定擴散（Stable Diffusion）進行了廣泛的評估，在大量圖像上一致獲得了優越的結果，無論是量化（CLIP得分，Structure-Dist）還是定性（用戶評估）都是如此。我們展示了對于詞匯交換（Word-Swap）、提示細化（Prompt Refinement）和注意力重新加權（Attention Re-weighting），尤其是在復雜的多對象場景中，改進了的提示編輯結果。
付費5元查看完整內容
視覺信息提取（VIE）在文檔智能領域中扮演著重要角色。通常，它可以分為兩個任務：語義實體識別（SER）和關系抽取（RE）。最近，針對文檔的預訓練模型在 VIE 方面取得了顯著進展，特別是在 SER 領域。然而，大多數現有模型以隱式方式學習幾何表示，這對 RE 任務來說被認為是不夠的，因為幾何信息對 RE 尤為關鍵。此外，我們發現限制 RE 性能的另一個因素在于預訓練階段與 RE 微調階段之間的目標差距。為了解決這些問題，我們在本文中提出了一種用于 VIE 的多模態框架，名為 GeoLayoutLM。GeoLayoutLM 在預訓練階段顯式地對幾何關系進行建模，我們稱之為幾何預訓練。幾何預訓練通過三個專門設計的與幾何相關的預訓練任務來實現。此外，我們精心設計了新穎的關系頭，這些關系頭通過幾何預訓練任務進行預訓練，并針對 RE 進行微調，以豐富和增強特征表示。根據對標準 VIE 基準的廣泛實驗，GeoLayoutLM 在 SER 任務中獲得了非常具有競爭力的分數，并在 RE 任務中顯著優于先前的最先進方法（例如，RE 在 FUNSD 上的 F1 分數從 80.35% 提高到 89.45%）。
//www.zhuanzhi.ai/paper/ae145d71d4b8a928e02dd161f0f851db
付費5元查看完整內容
視覺語言表征學習在很大程度上受益于圖像-文本的對比損失(例如InfoNCE損失)。這種對齊策略的成功是由于它能夠最大化圖像與匹配文本之間的互信息(MI)。然而，簡單地執行跨模態對齊(CMA)忽略了每個模態中的數據潛力，這可能導致表示的退化。例如，盡管基于CMA的模型能夠將圖像-文本對在嵌入空間中緊密地映射在一起，但它們不能確保來自相同模態的相似輸入保持在一起。當訓練前的數據有噪聲時，這個問題會變得更糟。在本文中，我們提出了利用跨模態和內模態自監督的三重對比學習(TCL)來進行視覺語言預訓練。除了CMA之外，TCL還引入了一個模態內對比目標，以在表示學習中提供互補的好處。為了利用來自圖像和文本輸入的局部和結構信息，TCL進一步最大化了圖像/文本局部區域和它們的全局摘要之間的平均MI。據我們所知，我們的工作是第一個考慮到局部結構信息的多模態表示學習。實驗評估表明，我們的方法在各種常見的下游視覺語言任務，如圖像-文本檢索和視覺問題回答上具有競爭力，達到了最新的技術水平。
//www.zhuanzhi.ai/paper/12af4807da28b56ef7ef66423f27cce9
付費5元查看完整內容
受BERT的成功啟發，人們提出了幾種聯合表示圖像和文本的多模態表示學習方法。這些方法通過從大規模的多模態預訓練中獲取高級語義信息來獲得更好的性能。其中LXMERT和UNITER采用視覺區域特征回歸和標簽分類作為前置任務。然而，在語義標注有限且不一致的眾包數據集上預先訓練的視覺特征往往存在標簽噪聲過大和語義標注稀疏的問題。為了克服這些問題，我們提出了無偏密集對比視覺語言預訓練(unbiased Dense contrast visual - language Pretraining, DCVLP)，它用不需要注釋的跨通道區域對比學習代替區域回歸和分類。為了提高對比學習中負樣本的質量，我們提出了兩種數據增強策略(掩模擾動和對抗內/對抗間擾動)。總之，DCVLP允許在獨立于任何對象注釋的自監督設置中跨模態密集區域對比學習。我們將該方法與以往的視覺-語言前訓練框架進行了比較，驗證了密集對比學習在多模態表征學習中的優越性。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。
基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。
//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4
該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。
兩種用于表征學習的對比學習范式的概念描述圖。
現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。
具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。
付費5元查看完整內容
盡管主動學習在圖像識別方面取得了長足的進步，但仍然缺乏一種專門適用于目標檢測的示例級的主動學習方法。在本文中，我們提出了多示例主動目標檢測（MI-AOD），通過觀察示例級的不確定性來選擇信息量最大的圖像用于檢測器的訓練。MI-AOD定義了示例不確定性學習模塊，該模塊利用在已標注集上訓練的兩個對抗性示例分類器的差異來預測未標注集的示例不確定性。MI-AOD將未標注的圖像視為示例包，并將圖像中的特征錨視為示例，并通過以多示例學習（MIL）方式對示例重加權的方法來估計圖像的不確定性。反復進行示例不確定性的學習和重加權有助于抑制噪聲高的示例，來縮小示例不確定性和圖像級不確定性之間的差距。實驗證明，MI-AOD為示例級的主動學習設置了堅實的基線。在常用的目標檢測數據集上，MI-AOD和最新方法相比具有明顯的優勢，尤其是在已標注集很小的情況下。
代碼地址為//github.com/yuantn/MI-AOD
付費5元查看完整內容
在大規模無標簽文本上預訓練語言模型，然后在下游任務微調的學習模式已經在自然語言處理（NLP）領域取得了廣泛的應用。盡管當前的預訓練語言模型在大部分NLP任務上取得了顯著的進展，然而，研究人員發現當預訓練任務的目標更接近于下游任務的目標時，模型在下游任務上能取得更大幅度的性能提升，例如針對文本摘要設計的Gap Sentence Prediciton預訓練任務[1]、面向機器閱讀理解設計的Span Selection預訓練任務[2]、以及為情感分析設計的Label-aware MLM預訓練任務[3]，都取得了相較于原始預訓練語言模型更好的性能。近年來，在信息檢索（IR）中，預訓練語言模型在文檔排序任務上取得了一定的效果，然而，如何設計更符合信息檢索需求的預訓練目標，是一個值得探索的新領域。
在這項工作中，我們提出了一個新穎的針對信息檢索的預訓練任務，叫做“代表詞預測”任務（Representative Words Prediction）。這個任務是受到了IR中經典統計語言模型——查詢似然模型的啟發，在查詢似然模型的基本假設中，查詢被認為是由“理想”文檔“生成”出來的具有代表性的文本，因此通過貝葉斯定理推導，查詢的相關性強度可由其代表性或者說是其似然值表征。鑒于此，我們就構建了這樣一個新的代表詞預測任務（簡稱為ROP任務），具體來說，對于一個給定的文檔，我們根據文檔語言模型（狄利克雷平滑的多項式語言模型）采樣出該文檔的代表性詞集，然后預訓練語言模型使其能夠有效地區分出其中哪些詞項更具有代表性。為了同時建模查詢和文檔內容理解以及二者關系的預測，我們結合ROP與MLM一起在無標簽的文檔語料上進行預訓練，我們把通過這種預訓練方式得到的語言模型命名為PROP。
付費5元查看完整內容
盡管生成式預訓練語言模型在一系列文本生成任務上取得了成功，但在生成過程中需要對基本常識進行推理的情況下，它們仍然會受到影響。現有的將常識知識整合到生成的預訓練語言模型中的方法，只是簡單地通過對單個知識三元組的后訓練來遷移關系知識，而忽略了知識圖譜中豐富的連接。我們認為，利用知識圖譜的結構和語義信息有助于常識感知文本的生成。在本文中，我們提出用多跳推理流(GRF)進行生成，使預訓練的模型能夠在從外部常識知識圖譜中提取的多關系路徑上進行動態多跳推理。我們的經驗表明，我們的模型在三個文本生成任務上優于現有的基線，這些任務需要推理而非常識知識。通過模型推導出的推理路徑，證明了動態多跳推理模塊的有效性，為生成過程提供了理論依據。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191