現有的推理任務通常有一個重要的假設，即在推理時總是可以訪問輸入內容，這需要無限的存儲資源，并且在長序列上存在嚴重的時間延遲。為了在有限的存儲資源下對長序列進行有效的推理，記憶增強神經網絡引入了一種類似人類的寫-讀存儲器，以一次壓縮和記憶長輸入序列，嘗試只基于該存儲器回答后續的查詢。但它們有兩個嚴重的缺點: 1)不斷地根據當前的信息更新記憶，不可避免地忘記早期的內容; 2)他們不區分什么信息是重要的，平等對待所有內容。在本文中，我們提出了一種基于歷史采樣器的自監督復述來增強長序列記憶的復述記憶方法。為了緩解早期信息的逐漸遺忘，我們設計了回憶和熟悉任務的自監督預演訓練。此外，我們設計了一個歷史采樣器來選擇有信息的片段進行排練訓練，使記憶集中在關鍵信息上。我們通過綜合bAbI任務和幾個下游任務(包括文本/視頻問答和長序列推薦)來評估我們的排練記憶性能。
付費5元查看完整內容
相關內容
傳統的無監督多源域適應（Domain Adaptation）方法假設所有源域都可以直接訪問。然而，該假設忽略了隱私保護政策，即所有數據和計算都必須在本地進行。在隱私保護要求下進行域適應存在三個挑戰：首先，最小化域間距離需獲取源域和目標域的數據并進行成對計算，而源域數據本地存儲，不可訪問。其次，通信成本和隱私安全限制了現有域適應方法的應用，例如域對抗訓練。最后，由于無法鑒別源域數據質量，更易出現不相關或惡意的源域，從而導致負遷移。為解決上述問題，我們提出一種滿足隱私保護要求的去中心化無監督域適應范式，稱為基于知識蒸餾的去中心化域適應（KD3A），通過對來自多個源域的模型進行知識蒸餾來進行知識遷移。大量實驗表明，KD3A顯著優于其他前沿域適應方法。此外，與其他去中心化的域適應方法相比，KD3A 對負遷移具有魯棒性，并可將通信成本降低100倍。
付費5元查看完整內容
在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。
付費5元查看完整內容
無監督多對象表示學習依賴于歸納偏差來指導發現以對象為中心的表示。然而，我們觀察到，學習這些表征的方法要么是不切實際的，因為長時間的訓練和大量的記憶消耗，要么是放棄了關鍵的歸納偏見。在這項工作中，我們引入了EfficientMORL，一個有效的無監督學習框架的對象中心表示。我們證明了同時要求對稱性和解纏性所帶來的優化挑戰實際上可以通過高成本的迭代攤銷推理來解決，通過設計框架來最小化對它的依賴。我們采用兩階段的方法進行推理:首先，分層變分自編碼器通過自底向上的推理提取對稱的解纏表示，其次，輕量級網絡使用自頂向下的反饋來改進表示。在訓練過程中所采取的細化步驟的數量根據課程減少，因此在測試時零步驟的模型達到了99.1%的細化分解性能。我們在標準多目標基準上演示了強大的對象分解和解纏，同時實現了比以前最先進的模型快一個數量級的訓練和測試時間推斷。
付費5元查看完整內容
雖然預訓練語言模型(例如BERT)在不同的自然語言處理任務上取得了令人印象深刻的結果，但它們有大量的參數，并承受著巨大的計算和內存成本，這使得它們難以在現實世界中部署。因此，為了降低預訓練模型的計算和存儲成本，需要對模型進行壓縮。在這項工作中，我們的目標是壓縮BERT，并解決以下兩個具有挑戰性的實際問題: (1)壓縮算法應該能夠輸出多個不同大小和延遲的壓縮模型，以支持不同內存和延遲限制的設備;(2)算法應與下游任務無關，這樣壓縮模型一般適用于不同的下游任務。我們利用神經結構搜索(NAS)中的技術，提出了一種有效的BERT壓縮方法NAS-BERT。NAS-BERT在精心設計的搜索空間上訓練一個大型超級網絡，該搜索空間包含各種架構，并輸出具有自適應大小和延遲的多個壓縮模型。此外，NAS-BERT的訓練是在標準的自監督的訓練前任務(如掩體語言模型)上進行的，不依賴于特定的下游任務。因此，壓縮的模型可以跨任務使用。NAS-BERT的技術挑戰在于，在訓練前的任務上訓練一個大型超級網絡是極其昂貴的。我們采用了塊搜索、搜索空間剪枝和性能逼近等技術來提高搜索效率和準確性。對GLUE和SQuAD基準數據集的大量實驗表明，NAS-BERT可以找到比以前的方法更精確的輕量級模型，并可以直接應用于不同的下游任務，這些任務具有適應的模型規模，以滿足不同的內存或延遲需求。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
當演示專家的潛在獎勵功能在任何時候都不能被觀察到時，我們解決了在連續控制的背景下模仿學習算法的超參數(HPs)調優的問題。關于模仿學習的大量文獻大多認為這種獎勵功能適用于HP選擇，但這并不是一個現實的設置。事實上，如果有這種獎勵功能，就可以直接用于策略訓練，而不需要模仿。為了解決這個幾乎被忽略的問題，我們提出了一些外部獎勵的可能代理。我們對其進行了廣泛的實證研究(跨越9個環境的超過10000個代理商)，并對選擇HP提出了實用的建議。我們的結果表明，雖然模仿學習算法對HP選擇很敏感，但通常可以通過獎勵功能的代理來選擇足夠好的HP。
付費5元查看完整內容
本文提出一種Transformer輔助跟蹤框架，可與判別式跟蹤器結合(如組成：TrDiMP)，表現SOTA！性能優于SiamRPN++等，代碼剛剛開源！
在視頻目標跟蹤中，連續幀之間存在豐富的時間上下文，在現有的跟蹤器中已大大忽略了這些上下文。在這項工作中，我們橋接單個視頻幀，并通過一個用于穩固對象跟蹤的Transformer架構探索跨它們的時間上下文。與在自然語言處理任務中使用轉換器的經典用法不同，我們將其編碼器和解碼器分為兩個并行分支，并在類似于Siamese的跟蹤pipeline中精心設計它們。Transformer編碼器通過基于注意力的特征增強來促進目標模板，這有利于高質量跟蹤模型的生成。Transformer解碼器將跟蹤提示從先前的模板傳播到當前幀，從而簡化了對象搜索過程。我們的Transformer輔助跟蹤框架整潔并以端到端的方式進行了訓練。使用提出的Transformer，一種簡單的連體匹配方法就可以勝過當前表現最佳的跟蹤器。通過將我們的Transformer與最新的判別式跟蹤pipeline相結合，我們的方法在流行的跟蹤基準上創下了一些新的最新記錄。
//www.zhuanzhi.ai/paper/c862787c6e21054a17ed51c178372f5e
付費5元查看完整內容
當前的大規模語言模型可能由于其訓練數據而產生政治偏見，當將它們部署在現實環境中時可能會導致嚴重的問題。
在本文中，我們提出了用于衡量GPT-2生成中的政治偏見的指標，并提出了一種強化學習（RL）框架，用于緩解生成的文本中的政治偏見。通過使用來自詞嵌入或分類器的獎勵，我們的RL框架無需訪問訓練數據或要求對模型進行重新訓練即可指導去偏見生成。
在對政治偏見敏感的三個屬性（性別、位置和主題）的實證實驗中，我們的方法根據我們的指標和人工評估很好地減少了偏見，同時保持了可讀性和語義一致性。
付費5元查看完整內容
通過在終身學習中存儲舊知識來尋求提醒模型，是緩解災難性遺忘最有效的方法之一，即在轉向新任務時對先前知識的偏差遺忘。然而，在訓練新任務時，以往大多數基于預演的舊任務存在不可預測的域偏移問題。這是因為這些方法總是忽略兩個重要的因素。首先，新任務和舊任務之間的數據不平衡，使得舊任務的域容易移位。其次，所有任務之間的任務隔離會使領域向不可預測的方向移動;針對不可預測的領域遷移問題，本文提出多領域多任務排練，對新老任務進行并行、平等的訓練，打破任務之間的隔離狀態。具體地說，提出了一個兩級的角裕度損失模型，以促進類內/任務的緊湊性和類間/任務的差異，使模型避免領域混亂。此外，為了進一步解決舊任務的領域轉移問題，我們在記憶上提出了一個可選的情景蒸餾損失來錨定每個舊任務的知識。在基準數據集上的實驗驗證了該方法能夠有效地抑制不可預測的領域漂移。
付費5元查看完整內容
我們解決了監督學習的特征化和尋找最優表示的問題。傳統上，這個問題通過使用信息瓶頸來解決，即壓縮輸入，同時保留關于目標的信息，這種方式與解碼器無關。然而，在機器學習中，我們的目標不是壓縮而是泛化，這與我們感興趣的預測族或譯碼器(例如線性分類器)密切相關。我們提出了可解碼信息瓶頸(DIB)，它從預期預測族的角度考慮信息的保留和壓縮。因此，DIB產生了預期測試性能方面的最優表示，并且可以在保證的情況下進行估計。實驗表明，該框架可以在下游分類器上施加一個小的泛化間隙，并預測神經網絡的泛化能力。
//www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191