通過將時間序列編碼為一串數字字符，我們可以將時間序列預測視為文本中的下一個標記預測。發展這種方法，我們發現大型語言模型 (LLMs) 如 GPT-3 和 LLaMA-2 可以令人驚訝地零次推斷時間序列，其水平與或超過專門為下游任務訓練的時間序列模型的性能。為了促進這種性能，我們提出了有效標記化時間序列數據的程序，并將標記上的離散分布轉化為連續值上的高度靈活密度。我們認為LLMs在時間序列中的成功來源于它們能夠自然地表示多模態分布，與簡單性、重復性的偏見相結合，這與許多時間序列中的突出特征，如重復的季節性趨勢，是一致的。我們還展示了LLMs如何能夠通過非數字文本自然處理缺失數據而不需要估計，適應文本的邊際信息，并回答問題以幫助解釋預測。雖然我們發現增加模型大小通常會提高時間序列的性能，但我們顯示GPT-4在如何標記數字和較差的不確定性校準方面可能比GPT-3表現得更差，這可能是對齊干預如RLHF的結果。
付費5元查看完整內容
相關內容
視覺推理需要多模態感知和對世界的常識認知。近期，有多個視覺-語言模型（VLMs）提出，它們在各個領域都表現出出色的常識推理能力。但如何利用這些互補的VLMs的集體能力卻鮮有探討。現有的方法，如集成，仍難以以期望的高階通信來聚合這些模型。在這項工作中，我們提出了一種新的范例Cola，用于協調多個VLMs進行視覺推理。我們的關鍵見解是，大型語言模型（LLM）可以通過促進自然語言通信來有效地協調多個VLMs，利用它們的獨特和互補能力。大量實驗表明，我們的指令調整變體，Cola-FT，在視覺問題回答（VQA），外部知識VQA，視覺蘊涵和視覺空間推理任務上都達到了業界領先的性能。此外，我們證明，我們的上下文學習變種，Cola-Zero，在零和少樣本設置中表現出競爭性的性能，無需微調。通過系統的消融研究和可視化，我們驗證了協調器LLM確實理解了指令提示以及VLMs的單獨功能；然后協調它們，實現了令人印象深刻的視覺推理能力。
付費5元查看完整內容
在這項工作中，我們旨在在兩大重要的機器學習研究領域之間建立緊密聯系：持續學習和序列建模。也就是說，我們建議將持續學習表述為一個序列建模問題，從而允許使用先進的序列模型來進行持續學習。在此表述下，持續學習過程變成了序列模型的前向傳遞。通過采用元持續學習（MCL）框架，我們可以在元級上訓練序列模型，處理多個持續學習情節。作為我們新表述的一個具體示例，我們展示了Transformers及其高效變體作為MCL方法的應用。我們在七個基準測試上的實驗，涵蓋了分類和回歸，顯示序列模型可以成為一般MCL的有吸引力的解決方案。
付費5元查看完整內容
時間序列分類在金融、醫療和傳感器數據分析等多個領域都是一個關鍵任務。無監督的對比學習在從標簽有限的時間序列數據中學習有效表示方面引起了廣泛關注。現有的對比學習方法中普遍的方法包括兩個獨立的階段：在無標簽數據集上預訓練編碼器，然后在小規模有標簽數據集上對經過良好訓練的模型進行微調。然而，這種兩階段方法存在幾個缺點，例如：無監督預訓練對比損失不能直接影響下游的微調分類器，以及缺乏利用由有價值的真實標簽指導的分類損失。在本文中，我們提出了一個名為SLOTS（半監督時間分類學習）的端到端模型。SLOTS接收半標簽數據集，其中包含大量的無標簽樣本和少量的有標簽樣本，并通過編碼器將它們映射到一個嵌入空間。我們不僅計算無監督的對比損失，而且在具有真實標簽的樣本上測量有監督的對比損失。學到的嵌入被送入一個分類器，并使用可用的真實標簽計算分類損失。無監督、有監督對比損失和分類損失被聯合用來優化編碼器和分類器。我們通過與五個數據集上的十種最先進方法進行比較來評估SLOTS。結果表明，與兩階段框架相比，我們的端到端SLOTS使用相同的輸入數據，消耗類似的計算成本，但提供了明顯優化的性能。我們在 //anonymous.4open.science/r/SLOTS-242E 發布了代碼和數據集。
付費5元查看完整內容
隨著時間的推移，對反事實結果的估計有可能幫助決策者回答“如果”問題，從而解鎖個性化醫療保健。現有的因果推斷方法通常考慮觀察和處理決定之間的規則的、離散的時間間隔，因此無法自然地對不規則采樣數據建模，而這是實踐中常見的設置。為了處理任意的觀察模式，我們將數據解釋為一個連續時間過程的樣本，并提出使用控制微分方程數學對其潛在軌跡進行顯式建模。這導致了一種新的方法，即治療效果神經控制微分方程(TE-CDE)，它允許在任何時間點評估潛在的結果。此外，對抗性訓練用于調整時間依賴性混淆，這在縱向設置中是至關重要的，是傳統時間序列中沒有遇到的額外挑戰。為了評估這個問題的解決方案，我們提出了一個基于tumor生長模型的可控模擬環境，用于一系列場景，不規則抽樣反映各種臨床場景。TE-CDE在不規則采樣的所有模擬場景中都優于現有方法。 //www.zhuanzhi.ai/paper/ea43838ec44c8c99431d950f48ed55d4
付費5元查看完整內容
最近提出了一些查詢和評分來解釋ML模型上的個人預測。考慮到ML模型需要靈活、可靠和易于應用的可解釋性方法，我們預計需要開發聲明性語言來自然地指定不同的可解釋性查詢。我們以一種有原則的方式來實現這一點，將這種語言根植于一個名為FOIL的邏輯中，該邏輯允許表達許多簡單但重要的可解釋性查詢，并可能作為更具表現力的可解釋性語言的核心。我們研究了FOIL查詢在兩類ML模型上的計算復雜性，這兩類模型通常被認為是容易解釋的: 策樹和OBDDs。由于ML模型的可能輸入的數量在其維數上是指數級的，因此FOIL評估問題的可處理性是微妙的，但可以通過限制模型的結構或被評估的FOIL片段來實現。我們還提出了一個用高級聲明性語言包裝的FOIL的原型實現，并進行了實驗，表明這種語言可以在實踐中使用。
付費5元查看完整內容
圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時，這是特別具有挑戰性的。該模型必須適應TKG的變化，以便進行有效的訓練和推理，同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而，使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如，政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰，我們提出了時間感知增量嵌入(TIE)框架，該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性，并提出一個約束，將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明，本文提出的TIE框架減少了大約10倍的訓練時間，并在提出的指標上有所改進。對于任何傳統的度量方法，它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡，這對于真實世界的TKG應用的決策是至關重要的。
付費5元查看完整內容
在多源知識圖譜(KGs)中尋找等價實體是KGs集成的關鍵步驟，也稱為實體對齊(EA)。然而，現有的EA方法大多效率低下，伸縮性差。最近的總結指出，其中一些甚至需要幾天的時間來處理包含20萬個節點(DWY100K)的數據集。我們認為過于復雜的圖編碼器和低效的負采樣策略是造成這種現象的兩個主要原因。本文提出了一種新的KG編碼器-雙注意匹配網絡(Dual- AMN)，該網絡不僅能對圖內和圖間信息進行智能建模，而且大大降低了計算復雜度。此外，我們提出了歸一化的硬樣本挖掘損失來平滑選擇硬負樣本，減少了損失偏移。在廣泛應用的公共數據集上的實驗結果表明，該方法具有較高的精度和效率。在DWY100K上，我們的方法的整個運行過程可以在1100秒內完成，比之前的工作至少快10倍。我們的方法在所有數據集上的性能也優于之前的工作，其中????????@1和??????從6%提高到13%。
//www.zhuanzhi.ai/paper/3d0a0bf7905b28afbdffaa48e0d640c3
付費5元查看完整內容
在大規模無標簽文本上預訓練語言模型，然后在下游任務微調的學習模式已經在自然語言處理（NLP）領域取得了廣泛的應用。盡管當前的預訓練語言模型在大部分NLP任務上取得了顯著的進展，然而，研究人員發現當預訓練任務的目標更接近于下游任務的目標時，模型在下游任務上能取得更大幅度的性能提升，例如針對文本摘要設計的Gap Sentence Prediciton預訓練任務[1]、面向機器閱讀理解設計的Span Selection預訓練任務[2]、以及為情感分析設計的Label-aware MLM預訓練任務[3]，都取得了相較于原始預訓練語言模型更好的性能。近年來，在信息檢索（IR）中，預訓練語言模型在文檔排序任務上取得了一定的效果，然而，如何設計更符合信息檢索需求的預訓練目標，是一個值得探索的新領域。
在這項工作中，我們提出了一個新穎的針對信息檢索的預訓練任務，叫做“代表詞預測”任務（Representative Words Prediction）。這個任務是受到了IR中經典統計語言模型——查詢似然模型的啟發，在查詢似然模型的基本假設中，查詢被認為是由“理想”文檔“生成”出來的具有代表性的文本，因此通過貝葉斯定理推導，查詢的相關性強度可由其代表性或者說是其似然值表征。鑒于此，我們就構建了這樣一個新的代表詞預測任務（簡稱為ROP任務），具體來說，對于一個給定的文檔，我們根據文檔語言模型（狄利克雷平滑的多項式語言模型）采樣出該文檔的代表性詞集，然后預訓練語言模型使其能夠有效地區分出其中哪些詞項更具有代表性。為了同時建模查詢和文檔內容理解以及二者關系的預測，我們結合ROP與MLM一起在無標簽的文檔語料上進行預訓練，我們把通過這種預訓練方式得到的語言模型命名為PROP。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191