我們提出了一種新的參數化方案來解決在大型神經網絡上運用差分私有SGD所面臨的挑戰，這些挑戰包括1) 存儲單個梯度的巨大存儲成本，2) 附加的噪聲嚴重依賴于維數。具體地說，我們用兩個小維的梯度載波矩陣和一個殘差權矩陣來重新參數化每個權矩陣。我們認為，這樣的重新參數化保持向前/向后過程不變，同時使我們能夠在不計算梯度本身的情況下計算投影梯度。為了學習差分隱私，我們設計了重參數梯度擾動(RGP)，它擾亂梯度載體矩陣上的梯度，并從有噪聲的梯度中重建原始權重的更新。重要的是，我們使用歷史更新來尋找梯度載波矩陣，其最優性在線性回歸下得到嚴格證明，并通過深度學習任務得到經驗驗證。RGP顯著降低了內存成本并改進了實用程序。例如，我們首次能夠在BERT模型上應用差分隱私，并在e = 8的四個下游任務上實現了83.9%的平均精度，與非私有基準相比，損失在5%以內，但隱私泄漏風險要低得多。
付費5元查看完整內容
相關內容
最近最優傳輸(OT)理論在機器學習中的幾個應用都依賴于正則化，尤其是熵和Sinkhorn算法。由于矩陣向量乘積在Sinkhorn算法中是普遍存在的，一些工作已經提出使用低秩因子來近似其迭代中出現的核矩陣。另一種方法是在OT問題中考慮的可行耦合集上施加低非負秩約束，不需要對代價或核矩陣進行逼近。這條路線首先由forrow2018探索，他提出了一種為平方歐氏地面成本量身定制的算法，使用了一個代理目標，可以通過正則化的Wasserstein重心機制來解決。在此基礎上，我們引入了一種通用方法，旨在完全通用性地解決具有任意代價的低非負秩約束下的OT問題。我們的算法依賴于低秩耦合的顯式分解，將其作為由公共邊際連接的子耦合因子的乘積; 與NMF方法類似，我們交替更新這些因素。證明了該算法的非漸近平穩收斂性，并通過基準實驗證明了該算法的有效性。
付費5元查看完整內容
在現實世界中，越來越多的客戶在使用人工智能服務時將隱私視為一個問題，尤其是當客戶內容包含敏感數據時。最近的研究表明，像GPT-2這樣的大型語言模型可以記憶內容，這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時，這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性，差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂，許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中，我們首先描述了機器學習模型中潛在的隱私風險，并介紹了差分隱私的背景，然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中，我們強調學習和隱私之間的相互作用。在第二部分中，我們展示了如何利用學習屬性來提高隱私學習的效用，特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分，我們提出了研究的另一個方向，即利用差分隱私的工具來解決經典的泛化問題，并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。
付費5元查看完整內容
殘差神經網絡
·
用反向傳播方法訓練深度殘差神經網絡(ResNets)的記憶成本隨網絡深度的增加而線性增加。規避這個問題的一種方法是使用可逆的架構。本文提出通過增加動量項來改變ResNet的正向規則。所得到的網絡，動量剩余神經網絡(動量ResNets)是可逆的。與以前的可逆架構不同，它們可以作為任何現有的ResNet塊的替代。我們證明動量ResNets可以被解釋為二階常微分方程(ode)，并準確地描述了如何逐步增加動量增加動量ResNets的表示能力。我們的分析顯示，Momentum ResNets可以學習任何線性映射到一個倍增因子，而ResNets不能。在優化設置的學習中，需要收斂到一個不動點，我們從理論上和經驗上證明了我們的方法成功，而現有的可逆架構失敗。我們在CIFAR和ImageNet上展示了Momentum ResNets與ResNets具有相同的精度，但占用的內存要小得多，并展示了預訓練的Momentum ResNets對模型的微調是有前途的。
付費5元查看完整內容
圖神經網絡
·
雖然許多現有的圖神經網絡(gnn)已被證明可以執行基于?2的圖平滑，從而增強全局平滑，但在本工作中，我們旨在通過基于?1的圖平滑進一步增強GNN的局部平滑自適應。在此基礎上，提出了一種基于?1和?2圖平滑的彈性GNN。特別地，我們提出了一種新的、通用的消息傳遞方案。該消息傳遞算法不僅有利于反向傳播訓練，而且在保證理論收斂的前提下達到了預期的平滑特性。在半監督學習任務上的實驗表明，所提出的彈性GNN在基準數據集上具有較好的自適應能力，對圖對抗攻擊具有顯著的魯棒性。
付費5元查看完整內容
深度學習模型的分散訓練是實現網絡上數據隱私和設備上學習的關鍵要素。在現實的學習場景中，不同客戶端局部數據集之間存在異構，這對優化提出了挑戰，并可能嚴重影響泛化性能。在本文中，我們研究并識別了幾種分散優化算法在不同程度的數據異構下的局限性。我們提出了一種新的基于動量的方法來緩解這種分散訓練的困難。我們通過對各種CV/NLP數據集(CIFAR-10、ImageNet和AG News)和幾種網絡拓撲(Ring和Social network)的大量經驗實驗表明，與其他現有方法相比，我們的方法對客戶數據的異構性更穩健，測試性能顯著提高(1% - 20%)。我們的代碼是公開的。
付費5元查看完整內容
多任務學習(Multi-task learning, MTL)旨在通過對多個相關任務的聯合學習來提高任務的泛化能力。作為對比，除了聯合訓練方案，現代元學習允許在測試階段進行一些不可見的、標簽有限的任務，希望能夠快速適應它們。盡管MTL和元學習在問題表述上存在細微的差異，但兩種學習范式都認為，現有訓練任務之間的共享結構可以導致更好的泛化和適應性。本文通過理論分析和實證調查，進一步了解了這兩種學習模式之間的密切聯系。理論上，我們首先證明了MTL與一類基于梯度的元學習(GBML)算法具有相同的優化公式。然后我們證明了對于具有足夠深度的過參數化神經網絡，MTL和GBML學習到的預測函數是接近的。特別是，這一結果表明，這兩個模型給出的預測是相似的，在相同的看不見的任務。通過實證，我們證實了我們的理論發現，通過適當的實現，MTL可以在一組少樣本分類基準上與先進的GBML算法相媲美。由于現有的GBML算法經常涉及代價高昂的二階兩級優化，我們的一階MTL方法在大型數據集(如微型imagenet)上快了一個數量級。我們相信，這項工作可以幫助彌合這兩種學習模式之間的差距，并提供一個計算效率高的替代GBML，也支持快速任務適應。
付費5元查看完整內容
雖然預訓練語言模型(例如BERT)在不同的自然語言處理任務上取得了令人印象深刻的結果，但它們有大量的參數，并承受著巨大的計算和內存成本，這使得它們難以在現實世界中部署。因此，為了降低預訓練模型的計算和存儲成本，需要對模型進行壓縮。在這項工作中，我們的目標是壓縮BERT，并解決以下兩個具有挑戰性的實際問題: (1)壓縮算法應該能夠輸出多個不同大小和延遲的壓縮模型，以支持不同內存和延遲限制的設備;(2)算法應與下游任務無關，這樣壓縮模型一般適用于不同的下游任務。我們利用神經結構搜索(NAS)中的技術，提出了一種有效的BERT壓縮方法NAS-BERT。NAS-BERT在精心設計的搜索空間上訓練一個大型超級網絡，該搜索空間包含各種架構，并輸出具有自適應大小和延遲的多個壓縮模型。此外，NAS-BERT的訓練是在標準的自監督的訓練前任務(如掩體語言模型)上進行的，不依賴于特定的下游任務。因此，壓縮的模型可以跨任務使用。NAS-BERT的技術挑戰在于，在訓練前的任務上訓練一個大型超級網絡是極其昂貴的。我們采用了塊搜索、搜索空間剪枝和性能逼近等技術來提高搜索效率和準確性。對GLUE和SQuAD基準數據集的大量實驗表明，NAS-BERT可以找到比以前的方法更精確的輕量級模型，并可以直接應用于不同的下游任務，這些任務具有適應的模型規模，以滿足不同的內存或延遲需求。
付費5元查看完整內容
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。
付費5元查看完整內容
通過在終身學習中存儲舊知識來尋求提醒模型，是緩解災難性遺忘最有效的方法之一，即在轉向新任務時對先前知識的偏差遺忘。然而，在訓練新任務時，以往大多數基于預演的舊任務存在不可預測的域偏移問題。這是因為這些方法總是忽略兩個重要的因素。首先，新任務和舊任務之間的數據不平衡，使得舊任務的域容易移位。其次，所有任務之間的任務隔離會使領域向不可預測的方向移動;針對不可預測的領域遷移問題，本文提出多領域多任務排練，對新老任務進行并行、平等的訓練，打破任務之間的隔離狀態。具體地說，提出了一個兩級的角裕度損失模型，以促進類內/任務的緊湊性和類間/任務的差異，使模型避免領域混亂。此外，為了進一步解決舊任務的領域轉移問題，我們在記憶上提出了一個可選的情景蒸餾損失來錨定每個舊任務的知識。在基準數據集上的實驗驗證了該方法能夠有效地抑制不可預測的領域漂移。
付費5元查看完整內容
由于距離度量學習與深度神經網絡的無縫結合，近年來深度度量學習受到了廣泛的關注。許多人致力于設計不同的基于成對的角損失函數，將嵌入向量的大小和方向信息解耦，保證訓練和測試測度的一致性。但是，這些傳統的角度損失并不能保證在訓練階段所有的樣本嵌入都在同一個超球面上，這會導致批量優化時梯度不穩定，影響嵌入學習的快速收斂。本文首先研究了嵌入范數對角距離深度度量學習的影響，然后提出了一個球面嵌入約束(SEC)來規范范數的分布。SEC自適應地調整嵌入，以落在同一個超球體上，并執行更平衡的方向更新。在深度度量學習、人臉識別和對比自監督學習方面的大量實驗表明，基于SEC的角空間學習策略顯著提高了最先進的性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191