機器學習模型對抗性攻擊的脆弱性的理解日益重要。在對抗性機器學習中，一個基本問題是在存在所謂的規避攻擊的情況下量化需要多少訓練數據，其中數據在測試時會被損壞。在本論文中，我們采用了“球內精確性”概念，從學習理論的角度研究了對抗性魯棒學習的可行性，考慮樣本復雜性。我們首先得出了兩個負面結果。我們證明，在無分布設置下，任何非平凡的概念類都不能在對手能夠擾動單個輸入位的情況下得到魯棒學習。然后，我們展示了樣本復雜性的下界：單調合取的類以及布爾超立方體上的任何超類，其樣本復雜性至少是對手預算（即每個輸入上可以擾動的最大位數）的指數函數。特別地，這意味著在均勻分布下，不能對那些可以擾動輸入的 ω(log n) 位的對手進行魯棒學習。
作為獲得魯棒性學習保證的第一條途徑，我們考慮限制用于訓練和測試數據的分布類別。我們關注概率分布在輸入數據上滿足Lipschitz條件的學習問題：附近的點具有類似的概率。我們證明，如果對手被限制在擾動 O(log n) 位的情況下，那么可以在對數Lipschitz分布類別的條件下魯棒地學習單調合取類。然后，我們擴展了這一結果，展示了在相同的分布和對抗環境中學習 1-決策列表、2-決策列表和單調 k-決策列表的可行性。最后，我們展示對于每個固定的 k 值，k-決策列表類在 log(n) 有界對手條件下具有多項式樣本復雜性。考慮中間的 k-決策列表子類的優勢在于，我們能夠為這些情況獲得改進的樣本復雜性界限。
作為第二條途徑，我們研究了學習模型，其中學習者通過使用局部查詢獲得了更多的能力。我們首先考慮的學習模型使用局部成員查詢（LMQ），在該模型中，學習者可以查詢接近訓練樣本的點的標簽。我們證明，在均勻分布下，即使在學習者除了隨機示例外還可以訪問LMQ的情況下，對于擾動預算為 O(log n) 的對手，魯棒學習合取類和任何超類對于對數Lipschitz分布仍然不可避免地需要對對手的預算呈指數依賴。面對這個負面結果，我們引入了局部等價查詢預測器，該預測器返回假設和目標概念在訓練樣本中的某個點周圍區域內是否一致，以及如果存在反例的話也會返回反例。我們證明了一個分離結果：一方面，如果查詢半徑 λ 嚴格小于對手的擾動預算 ρ，那么在多種概念類別中是不可能進行無分布魯棒學習的；另一方面，當 λ = ρ 時，我們能夠在無分布環境中開發出魯棒的經驗風險最小化算法。然后，我們基于在線學習保證來限制這些算法的查詢復雜性，并在合取式特殊情況下進一步改進這些界限。接著，我們提供了一個在 {0, 1} n 上的半空間魯棒學習算法。最后，由于在 R n 上的半空間查詢復雜性是無界的，我們轉而考慮具有有界精度的對手，并在這種情況下給出了查詢復雜性的上界。
付費5元查看完整內容
相關內容
是一所英國研究型大學，也是羅素大學集團、英國“G5超級精英大學”，歐洲頂尖大學科英布拉集團、歐洲研究型大學聯盟的核心成員。牛津大學培養了眾多社會名人，包括了27位英國首相、60位諾貝爾獎得主以及數十位世界各國的皇室成員和政治領袖。2016年9月，泰晤士高等教育發布了2016-2017年度世界大學排名，其中牛津大學排名第一。
盡管在深度學習方面已經取得了巨大的實踐進展，但我們對是什么使深度學習工作得很好以及為什么這樣做缺乏清晰的理論理解。在本文中，我們采用“自然科學”的方法來構建深度學習的理論。我們首先確定在跨越各種不同背景的實際深度網絡中出現的各種經驗屬性。然后，我們討論了這些實證發現可以如何用來通知理論。具體而言，我們證明:(1)與監督學習相比，經過自監督學習訓練的先進深度網絡盡管過度參數化，但在特定條件下仍能實現有限的泛化差距。(2)具有相似性能和架構的模型通常會收斂到相似的內部表示，即使它們的訓練方法有很大的不同(例如:監督學習和自監督學習)(3)插值分類器服從一種分布泛化形式——它們從訓練分布中收斂到一種條件采樣器類型。(4)深度網絡的數據擴展特性對訓練數據集的結構和噪聲水平的變化具有魯棒性。
//dash.harvard.edu/handle/1/37372168
我們的發現強調，盡管缺乏最壞情況的保證，深度網絡隱含地以可預測的、結構化的方式運行，從而為未來的理論分析奠定了基礎。
付費5元查看完整內容
強化學習(RL)為數據驅動決策提供了一個通用框架。然而，正是這種通用性使得這種方法適用于廣泛的問題，也導致了眾所周知的效率低下。在這篇論文中，我們考慮了有趣的決策類所共有的不同屬性，這些屬性可以用來設計計算效率和數據效率都很高的學習算法。具體來說，這項工作研究了決策問題的各個方面的低秩結構和經典確定性規劃的效果稀疏性，以及基于端到端模型的方法所依賴的性能。我們首先展示了后繼表示中的低秩結構如何使高效在線學習算法的設計成為可能。類似地，我們展示了如何在Bellman算子中找到相同的結構，我們使用Bellman算子來制定最小二乘時間差分學習算法的有效變體。我們進一步探索狀態特征中的低秩結構，以學習完全允許在低維空間中進行高效規劃的有效轉換模型。然后，我們進一步了解基于模型的端到端方法，以便更好地理解它們的屬性。我們通過約束優化和隱式微分的視角來研究這類方法。通過隱式視角，我們得到了這些方法的屬性，這些屬性使我們能夠確定它們執行良好的條件。在本文的最后，探索了如何利用經典規劃問題的效果的稀疏性來定義一般的領域無關啟發式方法，通過使用基于潛在的獎勵塑造和提升函數近似，可以用來大大加快領域相關啟發式方法的學習。
//dspace.mit.edu/handle/1721.1/144562
付費5元查看完整內容
本文提出了一種具有全局最優保證和復雜度分析的策略梯度法，用于模型失配情況下的魯棒強化學習。魯棒強化學習是學習一種魯棒的策略來模擬模擬環境和真實環境之間的不匹配。我們首先建立了魯棒策略梯度，它適用于任何可微參數策略類。我們證明了所提出的穩健策略梯度方法在直接策略參數化下漸近收斂于全局最優。我們進一步開發了一種平滑魯棒的策略梯度方法，并表明要實現-全局最優，復雜度為O(e?3)。然后我們將我們的方法擴展到一般的無模型環境，并設計了具有可微參數策略類和價值函數的魯棒行為-評論方法。我們進一步刻畫了它在表格設置下的漸近收斂性和樣本復雜性。最后，我們提供了仿真結果，以證明我們的方法的魯棒性。
付費5元查看完整內容
在本文中，我們開發并分析了三種不同機器學習環境下的魯棒性算法。在論文的第一部分，我們介紹了隱藏分層的問題——當一個分類模型在數據的某些未標記子類上表現不佳時——并提出了一種檢測和緩解這個問題的方法。以前的工作研究了如何在已知子類標簽的情況下處理這個問題。基于經驗觀察，未標記的子類通常在深度神經網絡的特征空間中是可分離的，我們轉而使用聚類技術估計數據的子類標簽。然后，我們使用估計的子類標簽作為分布魯棒優化目標中的一種噪聲監督形式，以便訓練一個對子類間變化更魯棒的模型。我們在幾個魯棒的圖像分類基準上證明了我們的方法的有效性。我們簡要討論了以下幾種替代方法:1)使用有限數量的子類標簽來進一步提高性能，2) 使用對比學習來學習不太容易受隱藏分層影響的表示。在論文的第二部分，我們研究了結構化分布漂移下的分類模型評價問題。給定來自“源”分布的標記樣本和來自“目標”分布的未標記樣本，重要性加權是執行這種評估的標準方法;然而，重要性加權在高維設置中會遇到困難，當源分布中不包含目標分布的支持時，重要性加權就會失敗。我們表明，人們可以通過對分布轉移性質的一些預見來回避這些問題;具體來說，我們提出了一種使用用戶定義的“切片函數”(旨在捕獲可能的分布偏移軸的二進制函數)來估計目標分布上的性能的算法。我們從理論上描述了我們的方法對切片函數中的噪聲和不完全性的魯棒性，并在各種分類任務上驗證了它的有效性。在論文的第三部分，我們提出了一種加速梯度法來有效地最小化一類光滑結構非凸函數，我們稱之為“類凸”函數。該算法是經典凸函數加速梯度下降法的推廣，對迭代間可能存在的非凸性具有較強的魯棒性。我們提供了一階求值次數的上界和下界，我們的算法需要找到一個近似最優，這表明我們的算法具有最優復雜度到對數因子
//searchworks.stanford.edu/view/14172616
付費5元查看完整內容
本博士論文包含了對統計因果模型領域的幾個貢獻。統計因果模型是嵌入因果假設的統計模型，允許對受外部操縱(干預)影響的隨機系統的行為進行推斷和推理。本文在因果效應估計、因果結構學習和分布魯棒(非分布廣義)預測方法等方面進行了深入的研究。我們提出了新的和一致的線性和非線性因果效應估計工具變量設置，采用數據依賴的均方預測誤差正則化。我們提出的估計量顯示，在某些情況下，均方誤差比標準和最先進的估計量都有所改善。我們表明，最近對分布穩健預測方法的研究與計量經濟學中經過充分研究的估計量有關。由此證明了一般k類估計具有分布魯棒性。此外，我們提出了一個關于干預誘發分布的分布穩健性的一般框架。在這個框架中，我們推導了分布魯棒預測方法可識別的充分條件，并給出了一些不可能的結果，證明了這些條件的必要性。提出了一種新的結構學習方法，適用于以有向樹為因果圖的加性噪聲模型。我們證明了消失可辨識性設置中的一致性，并提供了一種方法來檢驗具有漸近家族誤差控制的子結構假設，該方法在選擇后仍然有效。最后，我們提出了學習非線性時間序列模型總結圖的啟發式思想。
付費5元查看完整內容
隨著機器學習模型和數據量的增大，大規模分布式訓練決定了模型部署的效率。去中心化，作為一種經典的分布式系統設計原型，近年來在擴展機器學習規模上顯示出良好的效率和魯棒性。本文基于此背景，探究了不同去中心化系統下訓練復雜度的理論極限；并進一步提出了兩種算法，其復雜度可以達到該理論極限。 論文鏈接：
付費5元查看完整內容
對抗訓練是提高模型對抗擾動魯棒性的最有效技術之一。然而，這種方法對模型的全部影響還沒有被很好地理解。例如，雖然對抗訓練可以減少對抗風險(針對對手的預測錯誤)，但它有時會增加標準風險(沒有對手時的泛化錯誤)。在本文中，我們關注于分布擾動對手框架，其中對手可以改變訓練數據分布的鄰域內的測試分布。鄰域是通過分布之間的Wasserstein距離定義的，鄰域的半徑是對手操縱能力的度量。我們研究了標準風險和對抗風險之間的權衡，并推導了在特征維數不變的無限數據限制下，在特定類型的模型上可實現的Pareto最優權衡。我們考慮了三種學習設置:1) 線性模型類的回歸; 2) 二元分類下的高斯混合數據模型，用線性分類器分類; 3)用一類隨機特征模型進行回歸(可等效表示為第一層權值為隨機的兩層神經網絡)。我們表明，標準風險和對抗性風險之間的權衡在所有三種情況下都得到了體現。我們進一步描述了Pareto最優權衡曲線，并討論了各種因素，如特征相關性、對手的力量或兩層神經網絡的寬度會如何影響這種權衡。
付費5元查看完整內容
圖神經網絡已被證明是對圖結構數據的不同預測任務的有效模型。本次演講將結合主鄰域聚合(NeurIPS 2020)和有向圖網絡(在NeurIPS 2020的DiffGeo4DL研討會上發言)的研究。我們將檢查圖神經網絡的表達能力，顯示當涉及到連續特征空間和定向核時的局限性。這些都將促使GNN的聚合方法得到改進，從而使我們能夠全面泛化CNN。來自分子化學和計算機視覺基準的實證結果將驗證我們的發現。
付費5元查看完整內容
論文概述：視頻中的時序關系建模對于行為動作理解（如動作識別和動作分割）至關重要。盡管圖卷積網絡（GCN）在許多任務的關系推理中顯示出令人鼓舞的優勢，但如何在長視頻序列上有效地應用圖卷積網絡仍然是一個挑戰。其主要原因是大量存在的視頻幀節點使GCN難以捕獲和建模視頻中的時序依賴關系。為了解決此問題，本文引入了一個有效的GCN模塊，即膨脹時序圖推理模塊（DTGRM），該模塊旨在對不同時間跨度視頻幀之間的時序關系和相關性進行建模，尤其可以通過構造多級擴張的時序圖來捕獲和建模長跨度的時序關系。此外，為了增強所提出模型的時序推理能力，本文提出了一種輔助的自監督任務，以鼓勵膨脹的時序圖推理模塊找到并糾正視頻中錯誤的時序關系。本模型在三個具有挑戰性的數據集上均優于最新的行動分割模型。
//www.zhuanzhi.ai/paper/c74cd67206e089bc164ab3112b168355
付費5元查看完整內容
小樣本學習(FSL)近年來引起了越來越多的關注，但仍然具有挑戰性，因為學習從少數例子中歸納的固有困難。本文提出了一種自適應間隔原則，以提高基于度量的元學習方法在小樣本學習問題中的泛化能力。具體地說，我們首先開發了一個與類相關的加性邊緣損失算法，該算法考慮了每對類之間的語義相似性，從而將特征嵌入空間中的樣本從相似的類中分離出來。此外，我們在抽樣訓練任務中加入所有類別之間的語義上下文，并開發了與任務相關的附加間隔損失，以更好地區分不同類別的樣本。我們的自適應間隔方法可以很容易地推廣到更現實的廣義FSL設置。大量的實驗表明，在標準FSL和通用FSL設置下，所提出的方法可以提高現有基于度量的元學習方法的性能。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191