在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。
付費5元查看完整內容
相關內容
在現實世界中，存在許多難以用數學方法指定的約束條件。然而，對于強化學習(RL)的現實部署來說，RL agent意識到這些約束條件是至關重要的，這樣它們才能安全地行動。在這項工作中，我們考慮了學習約束的問題，從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法，并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明，這些習得的約束是可轉移到新個體的，這些新個體可能具有不同的形態和/或獎賞功能。在這方面，之前的工作要么主要局限于表格(離散)設置、特定類型的約束，要么假設環境的過渡動力學。相比之下，我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。
付費5元查看完整內容
神經網絡
·
對抗性例子的威脅激發了訓練可靠的魯棒神經網絡的工作，以便在推理時有效地驗證局部魯棒性。我們形式化了全局魯棒的概念，它捕獲了在線局部魯棒認證的操作特性，同時為魯棒訓練提供了一個自然學習目標。我們證明，通過將有效的全局Lipschitz邊界合并到網絡中，通過構建達到最先進的可驗證精度的可靠模型，廣泛使用的體系結構可以很容易地適應這一目標。值得注意的是，與最近的認證訓練方法相比，這種方法需要更少的時間和記憶，并且在在線認證點時成本可以忽略不計;例如，我們的評估表明，在大約幾小時內訓練一個大型魯棒的Tiny-Imagenet模型是可能的。我們的模型有效地利用了便宜的全局Lipschitz邊界來進行實時認證，盡管之前的建議是為了良好的性能需要更緊密的局部邊界;我們假設這是可能的，因為我們的模型經過專門訓練，以實現更緊密的全局邊界。也就是說，我們證明了對于給定的數據集，最大可實現的可驗證精度不能通過使用局部邊界來提高。
付費5元查看完整內容
目前的圖表示(GR)算法在超參數調優方面需要大量的人工專家，這極大地限制了其實際應用，促使人們迫切需要無需人工干預的自動圖表示。雖然自動機器學習(AutoML)是自動超參數調優的一個很好的候選對象，但關于自動圖表示學習的文獻報道很少，現有的工作只有使用黑盒策略，缺乏解釋不同超參數的相對重要性的見解。為了解決這一問題，本文研究了具有超參數重要性的可解釋自動圖表示。我們提出了一種可解釋的AutoML圖表示方法(e-AutoGR)，該方法在性能估計過程中利用可解釋的圖特征，并通過非線性去相關加權回歸學習不同超參數的去相關重要權重，以影響模型性能。這些學習到的重要權重在超參數搜索過程中可以反過來幫助提供更多的洞察力。我們從理論上證明了去相關加權算法的正確性。在真實數據集上的大量實驗表明，我們提出的e-AutoGR模型在模型性能和超參數重要性解釋方面優于最新方法。
付費5元查看完整內容
聯邦學習(federal Learning, FL)是一種去中心化的機器學習范式，其中全局服務器迭代地聚合本地用戶的模型參數，而不訪問他們的數據。用戶異質性給FL帶來了重大挑戰，這可能導致漂移的全局模型收斂緩慢。為了解決這個問題，最近出現了知識蒸餾(Knowledge Distillation)，它使用來自異構用戶的聚合知識來精煉服務器模型，而不是直接聚合他們的模型參數。然而，這種方法依賴于代理數據集，因此除非滿足這些前提條件，否則是不切實際的。此外，沒有充分利用集成知識來指導局部模型學習，這可能會影響聚合模型的質量。在這項工作中，我們提出了一種無數據的知識蒸餾方法來解決異構的FL，其中服務器學習一個輕量級的生成器以無數據的方式集成用戶信息，然后將這些信息廣播給用戶，使用學習到的知識作為歸納偏差來調節本地訓練。理論支持的實證研究表明，與現狀相比，我們的方法使用更少的通信輪次，使FL具有更好的泛化性能。
付費5元查看完整內容
圖結構數據的自監督學習最近引起了從無標記圖學習可泛化、可遷移移和魯棒表示的興趣。其中，圖對比學習(GraphCL)以良好的表征學習性能出現。不幸的是，與圖像數據不同的是，GraphCL的有效性依賴于特定的數據擴展，由于圖數據的多樣性，必須根據經驗或反復試驗的規則手動選擇每個數據集。這極大地限制了GraphCL更普遍的適用性。為了填補這一關鍵空白，本文提出了一個統一的雙層優化框架，在對特定圖形數據執行GraphCL時自動、自適應、動態地選擇數據增強。聯合增強優化(JOint Augmentation Optimization, JOAO)的通用框架被實例化為最小最大化優化。JOAO所做的增強的選擇通常與從手工調優中觀察到的以前的“最佳實踐”一致:但現在已經自動化，更加靈活和通用。此外，我們提出了一種新的增強感知投影頭機制，在每個訓練步驟中，通過選擇不同的投影頭對應不同的增強來路由輸出特征。大量實驗表明，JOAO在不同規模和類型的多個圖數據集上的性能與最先進的競爭對手(包括GraphCL)相當，有時甚至更好，而無需對增強選擇進行任何費力的數據集特定調優。我們在//github.com/ Shen-Lab/GraphCL_Automated發布了代碼。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
時空圖是描述城市感知數據(如交通速度和空氣質量)的重要結構。基于時空圖的預測為智慧城市提供了許多重要的應用，如交通管理和環境分析。近年來，已有許多用于時空圖預測的深度學習模型被提出，并取得了顯著的效果。然而，設計神經網絡需要豐富的領域知識和專家的努力。為此，我們研究了時空圖的自動神經結構搜索在城市交通預測中的應用，面臨兩個挑戰:1)如何定義搜索空間來捕獲復雜的時空關聯;2)如何學習一個時空圖對應的屬性圖的網絡權值參數。為了解決這些挑戰，我們提出了一個新的框架，名為AutoSTG，用于自動時空圖預測。在我們的AutoSTG中，我們的搜索空間采用了空間圖卷積和時間卷積操作來捕獲復雜的時空相關性。此外，我們利用元學習技術從屬性圖的元知識中學習空間圖卷積層的鄰接矩陣和時間卷積層的核。具體地說，這種元知識是由一個圖元知識學習器來學習的，這個圖元知識學習器在屬性圖上迭代地聚集知識。最后，在兩個真實的基準數據集上進行了廣泛的實驗，證明AutoSTG可以找到有效的網絡架構并取得最先進的結果。據我們所知，我們是第一個研究神經結構搜索的時空圖。
付費5元查看完整內容
Adaptive Methods for Real-World Domain Generalization
不變方法在解決領域泛化問題方面已經取得了顯著的成功，該問題的目標是對不同于訓練中使用的數據分布進行推斷。在我們的工作中，我們研究是否有可能利用未知測試樣本本身的領域信息。我們提出一個域自適應方法包括兩個步驟: a)我們首先學習區別的域嵌入從無監督訓練的例子,和 b)使用該域嵌入作為補充信息來構建一個domainadaptive模型,這需要輸入以及其域考慮而做出的預測。對于看不見的域，我們的方法簡單地使用少數未標記的測試示例來構建域嵌入。這使得對任何看不見的域進行自適應分類成為可能。我們的方法在各種領域泛化基準上實現了最先進的性能。此外，我們還引入了第一個真實世界的大規模域泛化基準Geo-YFCC，該基準包含超過40個訓練域、7個驗證域和15個測試域的1.1萬個樣本，比之前的工作大了幾個數量級。我們表明，現有的方法要么不能擴展到這個數據集，要么不如基于所有訓練領域的數據聯合的訓練模型的簡單基線。相比之下，我們的方法獲得了顯著的1%的改進。
//www.zhuanzhi.ai/paper/6e7661967d0879ebfd0236873a75386b
付費5元查看完整內容
擁有良好醫學知識的人類醫生，只需與病人進行幾次有關癥狀的對話，就能診斷出疾病。相比之下，現有的以知識為基礎的對話系統往往需要大量對話實例來學習，因為它們無法捕捉不同疾病之間的相關性，忽視了它們之間共享的診斷經驗。為解決這一問題，我們提出了一種更自然、更實用的范式，即低資源的醫療對話生成，它可以將源疾病的診斷經驗轉移到有少量數據可供適應的目標疾病。它利用常識知識圖譜來表征先前的疾病癥狀關系。此外，我們還開發了一個圖演化元學習(GEML)框架，該框架通過學習進化常識圖譜來推理一種新疾病的疾病癥狀相關性，有效地緩解了大量對話的需求。更重要的是，通過動態演變的疾病癥狀圖，GEML還很好地解決了現實世界的挑戰，即每種疾病的疾病癥狀相關性可能隨著更多診斷病例而變化或演變。在CMDD數據集和我們新收集的Chunyu數據集上的大量實驗結果證明了我們的方法優于最先進的方法。此外，GEML還可以在線生成豐富的對話敏感的知識圖譜，對其他基于知識圖譜的任務有借鑒意義。
//www.zhuanzhi.ai/paper/e378691f4b084a18b1a0238815c63fb6
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191