亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

預訓練的對比視覺-語言模型在廣泛的任務中展示了卓越的性能。然而，它們經常在未在預訓練期間充分代表的類別上的微調數據集中遇到困難，這使得適應變得必要。近期的研究通過使用來自網絡規模數據庫的樣本進行檢索增強適應，尤其在數據稀缺的情況下，顯示了有希望的結果。盡管經驗上取得了成功，理解檢索如何影響視覺-語言模型的適應仍然是一個開放的研究問題。在這項工作中，我們通過呈現一個系統研究來采用反思性視角，以理解檢索增強適應中關鍵組件的角色。我們揭示了關于單模態和跨模態檢索的新見解，并強調了對有效適應至關重要的邏輯整合的關鍵作用。我們進一步提出了直接支持我們經驗觀察的理論基礎。 //www.zhuanzhi.ai/paper/115cd78619f4df0ed80226da85a630f3

視頻異常檢測（VAD）旨在視頻中臨時定位異常事件。現有工作大多依賴于訓練深度模型學習正常性的分布，無論是通過視頻級監督、單類監督，還是在無監督設置中。基于訓練的方法傾向于是領域特定的，因此對于實際部署而言成本高昂，因為任何領域的變化都將涉及數據收集和模型訓練。在本文中，我們從根本上脫離之前的努力，提出了一種基于語言的VAD（LAVAD）方法，這是一種新穎的、無需訓練的范式，利用了預訓練的大型語言模型（LLMs）和現有的視覺-語言模型（VLMs）。我們利用基于VLM的字幕模型為任何測試視頻的每一幀生成文本描述。有了文本場景描述，我們然后設計了一個提示機制，以解鎖LLMs在時間聚合和異常評分估計方面的能力，將LLMs轉變為一個有效的視頻異常檢測器。我們進一步利用模態對齊的VLMs，并提出了基于跨模態相似性的有效技術，用于清理噪聲字幕和優化LLM-based的異常分數。我們在兩個大型數據集上評估了LAVAD，這些數據集展示了現實世界中的監控場景（UCF-Crime和XD-Violence），顯示它在不需要任何訓練或數據收集的情況下，就超過了無監督和單類方法。

在測試時使用預訓練的視覺-語言模型進行適應性調整已經吸引了越來越多的關注，以解決測試時的分布偏移問題。盡管之前的研究已經取得了非常有希望的表現，但它們涉及到的計算量非常大，這與測試時間的適應性調整嚴重不符。我們設計了TDA，一個無需訓練的動態適配器，使視覺-語言模型能夠有效且高效地進行測試時間的適應性調整。TDA利用輕量級的鍵-值緩存，維護一個動態隊列，隊列中的值為少量樣本的偽標簽，對應的測試樣本特征作為鍵。利用鍵-值緩存，TDA允許通過逐步精煉偽標簽來逐漸適應測試數據，這種方式超級高效，不需要任何反向傳播。此外，我們引入了負偽標簽，通過為某些負類分配偽標簽來減輕偽標簽噪聲的不利影響，當模型對其偽標簽預測不確定時采用。在兩個基準測試上的廣泛實驗表明，與最先進的方法相比，TDA展示出了更高的有效性和效率。代碼已在//kdiaaa.github.io/tda/ 發布。

近期，自動化機器學習（AutoML）技術被引入，用以根據數據特定方式設計協同過濾（CF）模型。然而，現有的工作或是搜索架構，或是搜索超參數，而忽略了它們之間的內在關系，應該一同考慮。這激發了我們考慮一種結合超參數和架構搜索的方法來設計CF模型。但由于搜索空間巨大和評估成本高昂，這并不容易。為解決這些挑戰，我們通過對單個超參數的全面了解，篩選出有用的超參數選擇來減少搜索空間。接下來，我們提出了一個兩階段搜索算法，從減少的空間中找到合適的配置。在第一階段，我們利用從子樣本數據集中獲取的知識來減少評估成本；在第二階段，我們高效地在整個數據集上對頂級候選模型進行微調。在真實世界數據集上的大量實驗表明，與手工設計的和以前搜索的模型相比，我們的模型可以達到更好的性能。此外，消融和案例研究都證明了我們搜索框架的有效性。

最近的研究揭示了預訓練語言模型（PLMs）的有趣的少樣本學習能力：他們可以在微調了少量標記數據后快速適應新任務，這些數據被構造成提示，無需大量的任務特定注解。盡管他們的表現很有希望，但大多數只從小型訓練集中學習的少樣本方法的表現仍然遠低于完全監督的訓練。在這項工作中，我們從不同的角度研究了PLMs的少樣本學習：我們首先調整一個自回歸PLM在少樣本樣本上，然后用它作為生成器來生成大量的新的訓練樣本，這些樣本增加了原始的訓練集。為了鼓勵生成器產生標簽判別樣本，我們通過加權最大似然訓練它，其中每個token的權重根據判別元學習目標自動調整。然后，一個分類PLM可以在少樣本和合成樣本上進行微調，并進行正則化以獲得更好的泛化和穩定性。我們的方法FewGen在GLUE基準測試的七個分類任務中，比現有的少樣本學習方法取得了更好的整體結果，平均提高了無增強方法5+個百分點，超過了增強方法3+個百分點。Tuning Language Models as Training Data Generators for Augmentation-Enhanced Few-Shot Learning

最近，CLIP引導的圖像合成在將預訓練的源域生成器適應于未見過的目標域方面表現出了誘人的性能。它不需要任何目標域樣本，只需要文本域標簽。訓練是非常高效的，例如，幾分鐘。然而，現有方法在生成圖像的質量方面仍然存在一定的局限性，并且可能會出現模式崩潰的問題。一個關鍵的原因是對所有的跨域圖像對應用固定的自適應方向，從而導致相同的監督信號。為了解決這個問題，本文提出了一種圖像特定提示學習(image -specific Prompt Learning, IPL)方法，為每個源域圖像學習特定的提示向量。為每個跨域圖像對生成一個更精確的自適應方向，使目標域生成器具有更大的靈活性。不同領域的定性和定量評估表明，IPL有效地提高了合成圖像的質量和多樣性，緩解了模式崩潰。此外，IPL獨立于生成模型的結構，如生成對抗網絡或擴散模型。代碼可以在//github.com/Picsart-AI-Research/IPLZero-Shot-Generative-Model-Adaptation上找到。

在不斷增長的分析服務領域上運行的生產系統通常需要為具有有限數據的新任務生成熱啟動解決方案模型。解決這一暖啟動挑戰的一個潛在方法是采用元學習來生成一個基礎模型，該模型可以通過最小的微調來解決看不見的任務。然而，這需要同步現有任務的以前解決方案模型的訓練過程。如果這些模型在不同實體擁有的私有數據上分別進行預訓練，并且不能同步地重新訓練，那么就不可能做到這一點。為了適應這種情況，我們開發了一種新的個性化學習框架，通過融合相關任務的獨立預訓練模型，為未見任務綜合定制模型。我們建立了該框架的性能保證，并在合成和真實數據集上證明了其有效性。

//proceedings.mlr.press/v139/lam21a.html

預訓練已被證實能夠大大提升下游任務的性能。傳統方法中經常利用大規模的帶圖像標注分類數據集（如 ImageNet）進行模型監督預訓練，近年來自監督學習方法的出現，讓預訓練任務不再需要昂貴的人工標簽。然而，絕大多數方法都是針對圖像分類進行設計和優化的。但圖像級別的預測和區域級別 / 像素級別存在預測差異，因此這些預訓練模型在下游的密集預測任務上的性能可能不是最佳的。

基于此，來自阿德萊德大學、同濟大學、字節跳動的研究者設計了一種簡單且有效的密集自監督學習方法，不需要昂貴的密集人工標簽，就能在下游密集預測任務上實現出色的性能。目前該論文已被 CVPR 2021 接收。

//www.zhuanzhi.ai/paper/4b31c2807b7c37ca49ca8f7c43b4b7d4

該研究提出的新方法 DenseCL（Dense Contrastive Learning）通過考慮局部特征之間的對應關系，直接在輸入圖像的兩個視圖之間的像素（或區域）特征上優化成對的對比（不相似）損失來實現密集自監督學習。

兩種用于表征學習的對比學習范式的概念描述圖。

現有的自監督框架將同一張圖像的不同數據增強作為一對正樣本，利用剩余圖像的數據增強作為其負樣本，構建正負樣本對實現全局對比學習，這往往會忽略局部特征的聯系性與差異性。該研究提出的方法在此基礎上，將同一張圖像中最為相似的兩個像素（區域）特征作為一對正樣本，而將余下所有的像素（區域）特征作為其負樣本實現密集對比學習。

具體而言，該方法去掉了已有的自監督學習框架中的全局池化層，并將其全局映射層替換為密集映射層實現。在匹配策略的選擇上，研究者發現最大相似匹配和隨機相似匹配對最后的精度影響非常小。與基準方法 MoCo-v2[1] 相比，DenseCL 引入了可忽略的計算開銷（僅慢了不到 1%），但在遷移至下游密集任務（如目標檢測、語義分割）時，表現出了十分優異的性能。

時序知識圖譜推理是信息檢索和語義搜索的關鍵任務。當TKG頻繁更新時，這是特別具有挑戰性的。該模型必須適應TKG的變化，以便進行有效的訓練和推理，同時保持其對歷史知識的表現。最近的工作通過增加一個時間感知編碼函數來實現TKG補全(TKGC)。然而，使用這些方法在每個時間步驟中直接微調模型并不能解決以下問題:1)災難性遺忘;2)模型不能識別事實的變化(例如，政治派別的變化和婚姻的結束);3)缺乏訓練效率。為了解決這些挑戰，我們提出了時間感知增量嵌入(TIE)框架，該框架結合了TKG表示學習、經驗回放和時間正則化。我們引入一組度量標準來描述模型的不妥協性，并提出一個約束，將刪除的事實與負面標簽相關聯。在Wikidata12k和YAGO11k數據集上的實驗結果表明，本文提出的TIE框架減少了大約10倍的訓練時間，并在提出的指標上有所改進。對于任何傳統的度量方法，它都不會造成性能上的重大損失。廣泛的消融研究揭示了不同評估指標之間的性能權衡，這對于真實世界的TKG應用的決策是至關重要的。

對于推薦系統來說，用戶冷啟動推薦是一個長期存在的挑戰，因為只有很少的冷啟動用戶交互可以被利用。最近的研究試圖從元學習的角度解決這一挑戰，大多數研究遵循參數初始化的方式，即通過幾個步驟的梯度更新來學習模型參數。雖然這些基于梯度的元學習模型在一定程度上取得了良好的性能，但其中的一個根本問題是如何將從以前任務中學習到的全局知識更有效地用于冷啟動用戶的推薦。

本文提出了一種新的元學習推薦方法——任務自適應神經過程(TaNP)。TaNP是神經過程家族中的一個新成員，為每個用戶作出推薦都與相應的隨機過程相關聯。TaNP直接將每個用戶觀察到的交互作用映射到一個預測分布，避開了基于梯度的元學習模型中的一些訓練問題。更重要的是，為了平衡模型容量和適應可靠性之間的平衡，我們引入了一種新的任務適應機制。它使我們的模型能夠學習不同任務的相關性，并自定義全局知識到與任務相關的解碼器參數，以估計用戶的偏好。在不同的實驗設置下，我們在多個基準數據集上驗證了TaNP。實證結果表明，TaNP對幾個最先進的元學習推薦器產生了一致的改進。

//www.zhuanzhi.ai/paper/6e268c251725b797f632dec7d4b6ceef