生成型大型語言模型（LLMs）如 GPT-3 能夠為各種用戶提示生成流暢的響應。但是，LLMs 有時會產生錯誤的事實，這可能會損害人們對它們輸出的信任。現有的事實檢查方法要么需要訪問輸出概率分布（這對于如 ChatGPT 這樣的系統可能不可用），要么需要通過復雜的模塊接口外部數據庫。在這項工作中，我們提出了 "SelfCheckGPT"，一個簡單的基于抽樣的方法，可用于在不需要外部數據庫的情況下對黑盒模型進行事實檢查。SelfCheckGPT 的核心思想是，如果LLM知道某個概念，抽樣的響應很可能會類似并包含一致的事實。但對于錯誤的事實，隨機抽樣的響應可能會有所不同并互相矛盾。我們使用 GPT-3 生成 WikiBio 數據集中的個人文章，并手動注釋生成的文章的事實性。我們證明 SelfCheckGPT 可以：i) 檢測非事實性和事實性的句子；以及 ii) 根據事實性對文章進行排名。我們將我們的方法與幾種基線方法進行比較，結果顯示在句子錯誤檢測中，我們的方法的 AUC-PR 分數與灰盒方法相當或更好，而 SelfCheckGPT 在文章事實性評估方面表現最佳。
付費5元查看完整內容
相關內容
近期，自動化機器學習（AutoML）技術被引入，用以根據數據特定方式設計協同過濾（CF）模型。然而，現有的工作或是搜索架構，或是搜索超參數，而忽略了它們之間的內在關系，應該一同考慮。這激發了我們考慮一種結合超參數和架構搜索的方法來設計CF模型。但由于搜索空間巨大和評估成本高昂，這并不容易。為解決這些挑戰，我們通過對單個超參數的全面了解，篩選出有用的超參數選擇來減少搜索空間。接下來，我們提出了一個兩階段搜索算法，從減少的空間中找到合適的配置。在第一階段，我們利用從子樣本數據集中獲取的知識來減少評估成本；在第二階段，我們高效地在整個數據集上對頂級候選模型進行微調。在真實世界數據集上的大量實驗表明，與手工設計的和以前搜索的模型相比，我們的模型可以達到更好的性能。此外，消融和案例研究都證明了我們搜索框架的有效性。
付費5元查看完整內容
半監督對象檢測(Semi-supervised object detection, SSOD)的目的是在大量未標記數據的幫助下，方便對象檢測器的訓練和部署。雖然已經提出了各種基于自訓練和一致性正則化的SSOD方法，但大多數都是基于錨的檢測器，忽略了在許多實際應用中對無錨檢測器的要求更高的事實。在本文中，我們打算彌補這一差距，并提出了一種基于密集學習(DSL)的無錨SSOD算法。具體來說，我們通過引入一些新技術來實現這一目標，包括用于分配多層次和精確的密集像素級偽標簽的自適應過濾策略，用于生成穩定和精確的偽標簽的聚合教師，并在尺度和洗牌塊之間引入不確定性-一致性-正則化項，以提高檢測器的泛化能力。在MS-COCO和PASCAL-VOC上進行了大量實驗，結果表明，我們提出的DSL方法記錄了最先進的SSOD性能，大大超過了現有方法。
//www.zhuanzhi.ai/paper/1af41e315bfa76b66bf7b771a9c069ed
付費5元查看完整內容
在預訓練和微調范式下，預訓練語言模型(PLMs)在各種自然語言處理(NLP)任務中取得了巨大的成功。由于具有大量的參數，PLM需要大量的計算和資源。因此，模型剪枝被引入到大規模PLM的壓縮中。然而，以往的方法大多只考慮下游任務的特定知識，而忽略了修剪過程中基本的任務不可知知識，這可能會導致災難性遺忘問題，導致泛化能力較差。為了在我們的剪枝模型中保持任務不可知論和任務特定的知識，我們提出了對比剪枝(CAP)在預訓練和微調范式下。它被設計成一個通用框架，兼容結構化和非結構化剪枝。CAP統一于對比學習，使得經過修剪的模型能夠從預訓練的任務不可知知識模型和精細調整的任務特定知識模型中學習。此外，為了更好地保留剪枝模型的性能，快照(即每次剪枝迭代時的中間模型)也可以作為剪枝的有效監督。我們大量的實驗表明，采用CAP能夠持續地產生顯著的改進，特別是在非常高的稀疏性場景中。在只保留3%模型參數(即97%稀疏度)的情況下，CAP在QQP和MNLI任務中分別成功地實現了原BERT算法的99.2%和96.3%的性能。此外，我們的探索性實驗表明，經過CAP修剪的模型具有較好的泛化能力。
付費5元查看完整內容
圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。
付費5元查看完整內容
知識圖譜(KG)是一種靈活的結構，能夠描述數據實體之間的復雜關系。目前，大多數KG嵌入模型都是基于負采樣進行訓練的，即模型的目標是最大限度地增加KG內被連接實體的某些相似度，同時最小化被采樣的斷開實體的相似度。負抽樣通過只考慮負實例的子集，降低了模型學習的時間復雜度，這可能會由于抽樣過程的不確定性而無法提供穩定的模型性能。為了避免這一缺陷，我們提出了一種新的KG嵌入高效非采樣知識圖譜嵌入框架(NS-KGE)。其基本思想是在模型學習中考慮KG中的所有負面實例，從而避免負面抽樣。框架可應用于基于平方損失的知識圖譜嵌入模型或其損失可轉換為平方損失的模型。這種非抽樣策略的一個自然副作用是增加了模型學習的計算復雜度。為了解決這一問題，我們利用數學推導來降低非采樣損失函數的復雜度，最終為我們提供了比現有模型更好的KG嵌入效率和精度。在基準數據集上的實驗表明，NS-KGE框架在效率和準確率方面均優于傳統的基于負采樣的模型，該框架適用于大規模知識圖譜嵌入模型。
付費5元查看完整內容
時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時，這是特別具有挑戰性的。該模型必須適應TKG的變化，以便進行有效的訓練和推理，同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而，使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如，政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰，我們提出了時間感知增量嵌入(TIE)框架，該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性，并提出一個約束，將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明，本文提出的TIE框架減少了大約10倍的訓練時間，并在提出的指標上有所改進。對于任何傳統的度量方法，它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡，這對于真實世界的TKG應用的決策是至關重要的。
付費5元查看完整內容
異構網絡的表示學習方法為每個節點產生一個低維向量嵌入，通常在所有涉及節點的任務中都是固定的。許多現有的方法關注于以一種與下游應用程序無關的方式獲取節點的靜態向量表示。然而，在實踐中，下游任務(如鏈接預測)需要特定的上下文信息，這些信息可以從與節點相關的子圖中提取出來，作為任務的輸入。為了解決這一挑戰，我們提出了SLiCE，這是一個使用整個圖的全局信息和局部注意驅動機制來學習上下文節點表示的靜態表示學習方法的框架。我們首先通過引入高階語義關聯和屏蔽節點以自監督的方式預訓練我們的模型，然后針對特定的鏈接預測任務微調我們的模型。我們不再通過聚合所有通過元路徑連接的語義鄰居的信息來訓練節點表示，而是自動學習不同元路徑的組合，這些元路徑表征了特定任務的上下文，而不需要任何預先定義的元路徑。SLiCE在幾個公開可用的基準網絡數據集上顯著優于靜態和上下文嵌入學習方法。通過廣泛的評價，我們也證明了上下文學習的可解釋性、有效性和SLiCE的可擴展性。
付費5元查看完整內容
在大規模無標簽文本上預訓練語言模型，然后在下游任務微調的學習模式已經在自然語言處理（NLP）領域取得了廣泛的應用。盡管當前的預訓練語言模型在大部分NLP任務上取得了顯著的進展，然而，研究人員發現當預訓練任務的目標更接近于下游任務的目標時，模型在下游任務上能取得更大幅度的性能提升，例如針對文本摘要設計的Gap Sentence Prediciton預訓練任務[1]、面向機器閱讀理解設計的Span Selection預訓練任務[2]、以及為情感分析設計的Label-aware MLM預訓練任務[3]，都取得了相較于原始預訓練語言模型更好的性能。近年來，在信息檢索（IR）中，預訓練語言模型在文檔排序任務上取得了一定的效果，然而，如何設計更符合信息檢索需求的預訓練目標，是一個值得探索的新領域。
在這項工作中，我們提出了一個新穎的針對信息檢索的預訓練任務，叫做“代表詞預測”任務（Representative Words Prediction）。這個任務是受到了IR中經典統計語言模型——查詢似然模型的啟發，在查詢似然模型的基本假設中，查詢被認為是由“理想”文檔“生成”出來的具有代表性的文本，因此通過貝葉斯定理推導，查詢的相關性強度可由其代表性或者說是其似然值表征。鑒于此，我們就構建了這樣一個新的代表詞預測任務（簡稱為ROP任務），具體來說，對于一個給定的文檔，我們根據文檔語言模型（狄利克雷平滑的多項式語言模型）采樣出該文檔的代表性詞集，然后預訓練語言模型使其能夠有效地區分出其中哪些詞項更具有代表性。為了同時建模查詢和文檔內容理解以及二者關系的預測，我們結合ROP與MLM一起在無標簽的文檔語料上進行預訓練，我們把通過這種預訓練方式得到的語言模型命名為PROP。
付費5元查看完整內容
Transformer 模型的自監督預訓練已經徹底改變了NLP的應用。這種語言建模目標的預訓練為參數提供了一個有用的初始化，這些參數可以很好地推廣到新的任務中。然而，微調仍然是數據效率低下的——當有標記的例子很少時，準確性可能會很低。數據效率可以通過優化預訓練;這可以看作是一個元學習問題。然而，標準的元學習技術需要許多訓練任務才能泛化;不幸的是，找到一組不同的這樣的監督任務通常是困難的。本文提出了一種自監督的方法，從無標記文本生成一個龐大的，豐富的元學習任務分布。這是使用closize風格的目標實現的，但是通過從少數詞匯表術語中收集待刪除的標記來創建單獨的多類分類任務。這產生的唯一元訓練任務與詞匯術語子集的數量一樣多。我們使用最近的元學習框架對任務分配的transformer模型進行元訓練。在17個NLP任務中，我們表明，這種元訓練比語言模型前訓練后的精細化能產生更好的少樣本泛化效果。此外，我們還展示了如何將自監督任務與監督任務結合起來進行元學習，從而比之前的監督元學習獲得了更大的準確性。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191