異常檢測（AD）在許多基于網絡的應用中扮演著關鍵角色，包括惡意軟件檢測、反洗錢、設備故障檢測以及網絡故障分析。大多數方法依賴于無監督學習，由于缺乏標簽，難以達到令人滿意的檢測精度。弱監督異常檢測（WSAD）通過引入有限數量的標記異常樣本來增強模型性能。然而，對于在標記數據不足的情況下訓練的模型來說，泛化到未見異常仍然是一個挑戰。在本文中，我們引入了一種新穎的框架知識-數據對齊（KDAlign），以整合人類專家通常總結的規則知識來補充有限的標記數據。具體來說，我們將這些規則轉換到知識空間，并隨后將知識的整合視為知識與數據的對齊。為了促進這種對齊，我們采用最優傳輸（OT）技術。然后，我們將OT距離作為額外的損失項加到WSAD方法的原始目標函數中。在五個真實世界數據集上的全面實驗結果表明，我們提出的KDAlign框架顯著超越了其最先進的對手，實現了跨不同異常類型的優越性能。
付費5元查看完整內容
相關內容
目前大多數異常檢測模型都假定正常模式一直保持不變。然而，Web服務的正常模式經常發生劇烈變化。在舊分布數據上訓練的模型在這些變化后已經過時。每次重新訓練整個模型都是昂貴的。此外，在正常模式發生變化的初期，新分布的觀察數據不足。使用有限數據重新訓練大型神經網絡模型容易出現過擬合。因此，我們提出了一種基于深度變分自編碼器的輕量級防過擬合重新訓練方法（LARA）用于時間序列異常檢測。本工作旨在做出三個新穎的貢獻：1）重新訓練過程被形式化為一個凸問題，可以快速收斂并防止過擬合；2）設計了一個反思塊，利用歷史數據而無需存儲它們；3）在數學上和實驗上證明，當微調潛在向量和重構數據時，線性形式可以實現地面真實值和微調值之間的最小調整誤差。此外，我們進行了許多實驗來驗證，即使使用來自新分布的43個時間槽的數據重新訓練LARA，其在與使用充分數據訓練的最先進的異常檢測模型進行比較時也能實現競爭性的F1分數。此外，我們驗證了它的輕量級開銷。
付費5元查看完整內容
基于知識庫的問題生成(KBQG)任務旨在將邏輯形式轉換為自然語言問題。由于大規模問題標注的成本昂貴，迫切需要開發低資源場景下的KBQG方法。然而，現有方法嚴重依賴于標注數據進行微調，不適合少樣本問題生成。大型語言模型(LLM)的出現在小樣本任務中表現出了令人印象深刻的泛化能力。受思維鏈(CoT)提示的啟發，該文將KBQG任務表述為一個推理問題，將一個完整問題的生成分解為一系列子問題的生成。所提出的提示方法KQG-CoT首先考慮邏輯形式的特征，從未標記的數據池中選擇支持邏輯形式。然后，構建一個特定于任務的提示，以指導LLM基于所選邏輯形式生成復雜的問題。為了進一步確保提示質量，我們通過對邏輯形式的復雜性進行排序，將KQG-CoT擴展為KQG-CoT+。在三個公開的KBQG數據集上進行了廣泛的實驗。結果表明，我們的提示方法在評估數據集上始終優于其他提示基線。值得注意的是，我們的KQG-CoT+方法可以在BLEU-4、METEOR和ROUGE-L上分別超過PathQuestions數據集現有的少樣本SoTA結果18.25、10.72和10.18個絕對點。
付費5元查看完整內容
半監督對象檢測(Semi-supervised object detection, SSOD)的目的是在大量未標記數據的幫助下，方便對象檢測器的訓練和部署。雖然已經提出了各種基于自訓練和一致性正則化的SSOD方法，但大多數都是基于錨的檢測器，忽略了在許多實際應用中對無錨檢測器的要求更高的事實。在本文中，我們打算彌補這一差距，并提出了一種基于密集學習(DSL)的無錨SSOD算法。具體來說，我們通過引入一些新技術來實現這一目標，包括用于分配多層次和精確的密集像素級偽標簽的自適應過濾策略，用于生成穩定和精確的偽標簽的聚合教師，并在尺度和洗牌塊之間引入不確定性-一致性-正則化項，以提高檢測器的泛化能力。在MS-COCO和PASCAL-VOC上進行了大量實驗，結果表明，我們提出的DSL方法記錄了最先進的SSOD性能，大大超過了現有方法。
//www.zhuanzhi.ai/paper/1af41e315bfa76b66bf7b771a9c069ed
付費5元查看完整內容
弱監督目標定位(WSOL)只關注在圖像級分類掩碼的監督下進行對象定位。以前的大多數WSOL方法都遵循分類激活映射(classification activation map, CAM)，它使用多實例學習(MIL)機制基于分類結構對目標進行本地化。然而，MIL機制使得CAM只能激活識別目標的部分而不能激活整個目標，削弱了其本地化目標的性能。**為了避免這一問題，本文提出了一種新的視角，將WSOL建模為域適應(DA)任務，即在源/圖像域上訓練的分數估計器在目標/像素域上進行測試以定位目標。**在此視角下，DA-WSOL流程設計可以更好地將DA方法引入到WSOL中，以提高本地化性能。利用所提出的目標采樣策略來選擇不同類型的目標樣本。基于這些類型的目標樣本，對域自適應定位(DAL)損耗進行了闡述。該方法通過DA對兩個域之間的特征分布進行對齊，并通過Universum正則化使估計器感知目標域線索。實驗表明，該方法在多基準測試上的性能優于SOTA方法。代碼發布在 //github.com/zh460045050/DA-WSOL_CVPR2022。
付費5元查看完整內容
可學習知識引導的事件因果關系識別數據增強方法
事件因果關系識別（Event Causality Identification, ECI）旨在識別文本中事件之間的因果關系，可以為許多自然語言處理任務提供重要線索，如邏輯推理、問答系統等。ECI任務通常被建模為一個分類問題，即識別一個句子中兩個事件之間是否存在因果關系。
目前大多數ECI方法采用監督學習的范式。雖然這些方法取得了很好的性能，但通常需要大規模的標注訓練數據。然而，現有的事件因果關系識別數據集相對較少。小規模的標注數據集阻礙了高性能事件因果關系識別模型的訓練，無法提供充足的訓練數據支撐模型準確理解文本中的事件關系語義。
本文探索了一個知識融合的數據增強方法，利用大量抽取的因果相關事件生成新訓練數據，解決ECI任務訓練數據缺失問題。該方法包含兩個框架，知識增強的事件因果關系數據自動標注框架和知識引導的事件因果關系數據生成框架。其中，知識引導的事件因果關系數據生成框架（Learnable Data Augmentation framework, LearnDA），利用對偶學習機制，將事件因果關系識別器和數據生成器對偶約束，從識別過程中學習如何生成任務相關的新數據，從生成過程中學習如何更準確地理解因果語義，生成高質量表達事件因果語義的新訓練數據。
付費5元查看完整內容
基于耦合語義注意力的弱監督目標定位
TS-CAM: Token Semantic Coupled ttention
Map for Weakly Supervised Object Localization
弱監督目標定位是指僅根據圖像層面的類別標簽學習目標位置的任務。基于卷積神經網絡 (CNN)的分類模型往往僅會激活目標的局部判別區域，而忽略完整的目標范圍，稱為局部激活問題。在這篇文章中，我們認為局部激活問題是由于CNN的內在特性導致。CNN由一系列卷積操作組成，導致模型僅具有局部的感受野，無法獲取長距離的特征依賴性。基于此，我們提出我們提出基于Transformer的耦合語義類別激活圖（TS-CAM）方法，借助自注意力機制提取長距離特征相似性。TS-CAM 首先將圖像分割為一系列子塊，通過位置編碼學習不同子塊間全局的注意力。之后，對每個子塊進行重新排列得到得到類別語義圖。最后，融合模型學習的全局注意力圖與類別語義圖得到類別激活圖。在 ILSVRC/CUB-200-2011 數據集上的實驗表明，TS-CAM 的性能超過其他基于CNN-CAM結構的方法約 7.1%/27.1%，達到SOTA。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。
基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。
//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4
該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。
兩種用于表征學習的對比學習范式的概念描述圖。
現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。
具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。
付費5元查看完整內容
知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。
付費5元查看完整內容
盡管主動學習在圖像識別方面取得了長足的進步，但仍然缺乏一種專門適用于目標檢測的示例級的主動學習方法。在本文中，我們提出了多示例主動目標檢測（MI-AOD），通過觀察示例級的不確定性來選擇信息量最大的圖像用于檢測器的訓練。MI-AOD定義了示例不確定性學習模塊，該模塊利用在已標注集上訓練的兩個對抗性示例分類器的差異來預測未標注集的示例不確定性。MI-AOD將未標注的圖像視為示例包，并將圖像中的特征錨視為示例，并通過以多示例學習（MIL）方式對示例重加權的方法來估計圖像的不確定性。反復進行示例不確定性的學習和重加權有助于抑制噪聲高的示例，來縮小示例不確定性和圖像級不確定性之間的差距。實驗證明，MI-AOD為示例級的主動學習設置了堅實的基線。在常用的目標檢測數據集上，MI-AOD和最新方法相比具有明顯的優勢，尤其是在已標注集很小的情況下。
代碼地址為//github.com/yuantn/MI-AOD
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191