我們提出了一種新的在線元學習算法，在有限的監督下順序揭示任務實例，并期望學習器在每一輪中對它們進行元學習，從而允許學習器在很少的任務級監督下快速定制特定任務模型。在線元學習中出現的一個基本問題是，隨著時間的推移，學習任務越來越多，記憶的可擴展性也越來越強。到目前為止，之前的工作都允許完美的回憶，導致記憶隨時間線性增加。與之前的工作不同，在我們的方法中，先前的任務實例是允許被刪除的。我們建議通過固定大小的狀態向量來利用之前的任務實例，狀態向量是按順序更新的。我們的理論分析表明，我們提出的記憶高效在線學習(MOML)方法具有凸損失函數的次線性遺憾和非凸損失的次線性局部遺憾。在基準數據集上，我們證明了我們的方法可以超越之前的方法，即使它們允許完美的回憶。
付費5元查看完整內容
相關內容
圖匹配深度學習由于其優于傳統方法的性能和為解決其他圖上的組合問題提供的見解而成為一個重要的研究課題。雖然最近的通用深度方法廣泛研究了有效的節點/邊緣特征學習或給出這些學習特征的下游通用求解器，但很少有現有工作質疑固定連通性/拓撲是否通常使用啟發式構建(例如，從學習的角度來看，我們認為固定的拓撲可能會限制模型的容量，從而潛在地阻礙性能。為了解決這個問題，我們提出學習潛在拓撲的分布，這樣可以更好地支持下游GM任務。我們設計了兩種潛在圖生成程序，一個是確定性的，一個是生成的。特別地，生成過程強調跨圖的一致性，因此可以看作是一個匹配引導的共生成模型。我們的方法在公共基準上的表現優于以往的先進水平，因此支持了我們的假設。
付費5元查看完整內容
半監督學習(SSL)由于成功地使用了未標記數據，在許多機器學習任務中受到了極大的關注，而現有的SSL算法在訓練過程中要么使用所有未標記的示例，要么使用具有固定高置信度預測的未標記示例。然而，可能會有太多正確/錯誤的偽標簽示例被刪除/選擇。在本工作中，我們提出一個簡單但強大的訓練示例子集，以便只使用與已標記數據相關的偽標簽的未標記示例來訓練模型。在每次更新迭代中，只保留損失小于給定閾值(通過迭代動態調整)的示例，從而執行選擇。我們提出的Dash方法在無標記數據選擇方面具有自適應性，并具有理論保障。具體地，我們從非凸優化的角度從理論上建立了Dash的收斂速度。最后，我們通過與最先進的基準比較，證明了該方法的有效性。
付費5元查看完整內容
經過數百萬種不同序列訓練的無監督蛋白質語言模型可以學習蛋白質的結構和功能。迄今為止，研究的蛋白質語言模型都是經過訓練的，可以從單個序列進行推斷。長期以來，計算生物學的方法一直是通過獨立地將一個模型擬合到每個家族中，從一個進化相關的序列家族中做出推論。在這項工作中，我們結合了兩種范式。我們引入了一種蛋白質語言模型，它以多序列比對的形式將一組序列作為輸入。該模型在輸入序列中穿插行和列注意力，并使用跨許多蛋白質家族的掩碼語言建模目標的變體進行訓練。該模型的性能大大超過了目前最先進的無監督結構學習方法，參數效率遠高于之前的最先進的蛋白質語言模型。
付費5元查看完整內容
與線下工作方式不同，在線學習有兩種研究模式: (1) 在線元學習(OML)[6, 20, 26]在任務依次揭示的序列設置中學習模型參數的良好先驗(或學習學習)。盡管它提供了一個次線性遺憾界限，這種技術完全忽略了公平學習的重要性，而公平學習是人類智能的一個重要標志。(2) 在線公平感知學習[1,8,21]。這種設置捕獲了許多涉及公平性的分類問題。但它的目標是在沒有任何特定任務適應性的情況下實現零概率泛化。因此，這限制了模型適應新到達數據的能力。為了克服這些問題，彌補這一差距，本文首次提出了一種新的在線元學習算法，即FFML，該算法是在不公平預防的背景下進行的。FFML的關鍵部分是學習在線公平分類模型的原始參數和對偶參數的良好先驗，它們分別與模型的準確性和公平性有關。這個問題的形式是一個雙層次的凸-凹優化。理論分析提供了損失后悔的次線性上界??(log??)，違反累積公平約束的上界??(p??log??)。我們的實驗通過將FFML應用于三個真實數據集上的分類，證明了它的通用性，并在公平性和分類準確性之間的權衡上顯示了比最好的預先工作的實質性改進。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
無監督多對象表示學習依賴于歸納偏差來指導發現以對象為中心的表示。然而，我們觀察到，學習這些表征的方法要么是不切實際的，因為長時間的訓練和大量的記憶消耗，要么是放棄了關鍵的歸納偏見。在這項工作中，我們引入了EfficientMORL，一個有效的無監督學習框架的對象中心表示。我們證明了同時要求對稱性和解纏性所帶來的優化挑戰實際上可以通過高成本的迭代攤銷推理來解決，通過設計框架來最小化對它的依賴。我們采用兩階段的方法進行推理:首先，分層變分自編碼器通過自底向上的推理提取對稱的解纏表示，其次，輕量級網絡使用自頂向下的反饋來改進表示。在訓練過程中所采取的細化步驟的數量根據課程減少，因此在測試時零步驟的模型達到了99.1%的細化分解性能。我們在標準多目標基準上演示了強大的對象分解和解纏，同時實現了比以前最先進的模型快一個數量級的訓練和測試時間推斷。
付費5元查看完整內容
現有的推理任務通常有一個重要的假設，即在推理時總是可以訪問輸入內容，這需要無限的存儲資源，并且在長序列上存在嚴重的時間延遲。為了在有限的存儲資源下對長序列進行有效的推理，記憶增強神經網絡引入了一種類似人類的寫-讀存儲器，以一次壓縮和記憶長輸入序列，嘗試只基于該存儲器回答后續的查詢。但它們有兩個嚴重的缺點: 1)不斷地根據當前的信息更新記憶，不可避免地忘記早期的內容; 2)他們不區分什么信息是重要的，平等對待所有內容。在本文中，我們提出了一種基于歷史采樣器的自監督復述來增強長序列記憶的復述記憶方法。為了緩解早期信息的逐漸遺忘，我們設計了回憶和熟悉任務的自監督預演訓練。此外，我們設計了一個歷史采樣器來選擇有信息的片段進行排練訓練，使記憶集中在關鍵信息上。我們通過綜合bAbI任務和幾個下游任務(包括文本/視頻問答和長序列推薦)來評估我們的排練記憶性能。
付費5元查看完整內容
在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。
付費5元查看完整內容
高維黑盒優化仍然是一個重要但卻極富挑戰性的問題。盡管貝葉斯優化方法在連續域上取得了成功，但對于分類域，或者混合了連續變量和分類變量的域，仍然具有挑戰性。我們提出了一種新的解決方案——我們將局部優化與定制的內核設計相結合，有效地處理高維分類和混合搜索空間，同時保持樣本效率。我們進一步推導了該方法的收斂性保證。最后，我們通過經驗證明，我們的方法在性能、計算成本或兩者方面都優于當前的各種合成和現實任務基準。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191