在不斷增長的分析服務領域上運行的生產系統通常需要為具有有限數據的新任務生成熱啟動解決方案模型。解決這一暖啟動挑戰的一個潛在方法是采用元學習來生成一個基礎模型，該模型可以通過最小的微調來解決看不見的任務。然而，這需要同步現有任務的以前解決方案模型的訓練過程。如果這些模型在不同實體擁有的私有數據上分別進行預訓練，并且不能同步地重新訓練，那么就不可能做到這一點。為了適應這種情況，我們開發了一種新的個性化學習框架，通過融合相關任務的獨立預訓練模型，為未見任務綜合定制模型。我們建立了該框架的性能保證，并在合成和真實數據集上證明了其有效性。
付費5元查看完整內容
相關內容
解糾纏方法的重點一直是識別數據中的獨立變異因素。然而，真實世界觀察的因果變量在統計上往往不是獨立的。在這項工作中，我們通過分析大規模實證研究(包括4260個模型)中對相關數據最突出的解糾纏方法的行為，彌合了與現實場景的差距。我們展示并量化了從數據集中系統導出的相關性被學習并反映在潛在表示中，這對解糾纏的下游應用(如公平)有影響。我們還演示了如何解決這些潛在的相關性，要么在訓練期間使用弱監督，要么通過事后糾正帶有少量標簽的預訓練模型。
付費5元查看完整內容
持續學習是一種學習模式，在這種模式下，學習系統按照一系列任務進行訓練。這里的目標是在當前任務上執行得很好，而不會受到前面任務的性能下降的影響。在神經網絡持續學習的最新進展中，有兩個值得注意的方向: (1) 基于變分貝葉斯的正則化，通過學習先前任務的先驗信息，以及(2)學習深度網絡的結構以適應新的任務。到目前為止，這兩種方法在很大程度上是相互正交的。我們提出了一個新的貝葉斯框架，基于不斷學習深度神經網絡的結構，以統一這些不同但互補的方法。該框架通過學習任務所使用的權值來學習任務的深層結構，并通過不同任務學習的權值的不同稀疏子集的重疊來支持任務間的遷移。我們提出的持續學習框架的一個吸引人的方面是，它既適用于甄別(有監督的)設置，也適用于生成(無監督的)設置。在有監督和無監督基準上的實驗結果表明，我們的方法在持續學習方面的表現與最近的進展相當或更好。
付費5元查看完整內容
半監督學習(SSL)由于成功地使用了未標記數據，在許多機器學習任務中受到了極大的關注，而現有的SSL算法在訓練過程中要么使用所有未標記的示例，要么使用具有固定高置信度預測的未標記示例。然而，可能會有太多正確/錯誤的偽標簽示例被刪除/選擇。在本工作中，我們提出一個簡單但強大的訓練示例子集，以便只使用與已標記數據相關的偽標簽的未標記示例來訓練模型。在每次更新迭代中，只保留損失小于給定閾值(通過迭代動態調整)的示例，從而執行選擇。我們提出的Dash方法在無標記數據選擇方面具有自適應性，并具有理論保障。具體地，我們從非凸優化的角度從理論上建立了Dash的收斂速度。最后，我們通過與最先進的基準比較，證明了該方法的有效性。
付費5元查看完整內容
最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。
付費5元查看完整內容
卷積神經網絡(cnn)在計算機視覺任務中表現出了出色的性能，尤其是分類任務。為了在真實場景中增加魯棒性或贏得Kaggle競賽，cnn通常會采用兩種實用策略:數據增強 和模型集成 。
數據增強可以減少過擬合并提升模型的泛化性。傳統的圖像增強是保留標簽的:例如翻轉、裁剪等。然而，最近的混合樣本數據增強(MSDA)改變了這種方式：多個輸入和它們的標簽按比例混合來創建人工樣本，代表工作有MixUp，CutMix等等。
模型集成證明了聚合來自多個神經網絡的不同預測能夠顯著提高了泛化能力，尤其是不確定性估計。從經驗上講，幾個小網絡的集成通常比一個大網絡性能更好。然而，在訓練和推理方面，集成在時間和顯存消耗方面都是昂貴的：這往往限制了模型集成的適用性。
在本文，作者提出了多輸入多輸出框架MixMo。為了解決傳統集成中出現的這些開銷，作者將M個獨立子網放入一個單一的base網絡中。這也是合理的，因為在模型集成時，“最終采納的網絡”其實就和整體的網絡表現差不多。
所以，現在最大的問題是如何在沒有結構差異的情況下加強subnet之間的多樣性。
如上圖，作者在訓練過程中同時考慮了M個輸入，M個輸入被M個參數不共享的Encoder編碼到共享空間中，然后將特征送到核心網絡，核心網絡最終分成M個分支；這個M個分支用來預測不同輸入信息的label。在inference的時候，同一圖像重復M次：通過平均M個預測獲得“免費”的集成效果。
與現有的MSDA相比，MixMo最大的不同就是multi-input mixing block。如果合并是一個基本的求和，MixMo將變成到MIMO[1]。作者對比了大量的MSDA的工作，設計了更合適的混合塊，因此作者采用binary masking的方法來確保子網絡的多樣性。（如上圖所示，作者對不同樣本采用了一個binary masking方法，這一點就類似CutMix，而不是像MIMO那樣直接相加 ）。
這種不對稱的混合也會造成網絡特征中的信息不平衡的新問題，因此作者通過一個新的加權函數來解決多個分類訓練任務之間的不平衡問題。
付費5元查看完整內容
發現目標產物的合成路線在許多應用中發揮著重要作用。其中，逆合成面臨的主要挑戰包含兩方面：(1)找到一個準確的單步逆合成模型來預測給定產物的單步反應；(2)設計一種有效的搜索算法設計完整的合成路線。目前已提出的用于單步逆合成的模型可分為三類：對產物分子應用模板以預測反應物、從頭生成每種反應物、修改產物原子數目或更改化學鍵以獲得反應物。而用于規劃完整路線的搜索算法主要包含兩類：將其視為順序決策的過程、應用樹搜索算法。逆合成框架的評估可以從以下兩個方面出發：（1）模型提出的反應路線是否是現實世界中的反應；（2）模型預測的路線(從分子構建塊開始合成)的成功率。目前的逆合成設計框架不是端到端的，而是朝著上述兩個目標分別優化單步逆合成模型和搜索策略，因此模型的性能可能并未達到最佳。受此啟發，作者提出了一個新的端到端逆合成框架，該框架在訓練過程中同時考慮最大化搜索算法的成功率以及在真實世界中存在的反應。
付費5元查看完整內容
圖神經網絡(GNNs)被廣泛用于學習一種強大的圖結構數據表示。最近的研究表明，將知識從自監督任務遷移到下游任務可以進一步改善圖的表示。然而，自監督任務與下游任務在優化目標和訓練數據上存在內在的差距。傳統的預訓練方法可能對知識遷移不夠有效，因為它們不能適應下游任務。為了解決這一問題，我們提出了一種新的遷移學習范式，該范式可以有效地將自監督任務作為輔助任務來幫助目標任務。在微調階段，我們的方法將不同的輔助任務與目標任務進行自適應的選擇和組合。我們設計了一個自適應輔助損失加權模型，通過量化輔助任務與目標任務之間的一致性來學習輔助任務的權重。此外，我們通過元學習來學習權重模型。我們的方法可以運用于各種遷移學習方法，它不僅在多任務學習中有很好的表現，而且在預訓練和微調中也有很好的表現。在多個下游任務上的綜合實驗表明，所提出的方法能夠有效地將輔助任務與目標任務相結合，與現有的方法相比，顯著提高了性能。
付費5元查看完整內容
在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
元強化學習(Meta - reinforcement learning, Meta - rl)從以前的任務中提取知識，實現對新任務的快速適應。盡管最近取得了一些進展，但對元強化學習的有效探索仍然是稀疏獎勵任務中的一個關鍵挑戰，因為它需要在元訓練和適應中快速找到與任務相關的信息性經驗。針對這一挑戰，我們明確建模了一個元強化學習的探索策略學習問題，該問題與開發策略學習分離，并引入了一個新的賦權驅動的探索目標，該目標旨在最大限度地獲取信息以進行任務識別。我們得到了相應的內在獎勵，并開發了一個新的非策略元強化學習框架，通過共享任務推理知識，有效地學習獨立的上下文感知的探索和開發策略。實驗結果表明，在不同的稀疏獎勵MuJoCo運動任務和更復雜的稀疏獎勵元世界任務中，我們的meta-RL方法顯著優于最先進的基線。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191