最大平均差異(MMD)檢驗原則上可以檢測出兩個數據集之間的任何分布差異。但過去的研究顯示MMD檢驗不可感知對抗攻擊——MMD檢驗不能用來檢測自然數據和對抗數據之間的分布差異。
鑒于這種現象,作者提出了一個問題: 自然數據和對抗數據真的來自不同的分布嗎? 答案是肯定的——本文發現并總結了過去研究中忽視的三個關鍵因素并對應地提出解決方式。第一,過去的方法中使用的高斯核函數的表達能力有限,對應地,本文提出有效的深度核函數來代替高斯核函數; 第二,過去的方法忽視對核函數中的參數進行優化,對應地,本文遵循漸近統計學(asymptotic statistics), 使用部分數據計算近似的檢驗效果,并通過最大化該近似檢驗效果來優化深度核函數中的參數。第三,攻擊者可能生成非獨立同分布的對抗數據,對應地,本文使用wild bootstrap處理輸入數據處理了這個隱患。
通過以上三點,本文證實了MMD檢驗對于對抗攻擊的感知能力,為基于雙樣本檢驗(two-sample tests)的對抗數據檢測提供了一條新的道路。
在現實世界中,存在許多難以用數學方法指定的約束條件。然而,對于強化學習(RL)的現實部署來說,RL agent意識到這些約束條件是至關重要的,這樣它們才能安全地行動。在這項工作中,我們考慮了學習約束的問題,從一個遵守約束的行為的示范。我們通過實驗驗證了我們的方法,并證明了我們的框架能夠成功地學習agent所尊重的最有可能的約束。我們進一步證明,這些習得的約束是可轉移到新個體的,這些新個體可能具有不同的形態和/或獎賞功能。在這方面,之前的工作要么主要局限于表格(離散)設置、特定類型的約束,要么假設環境的過渡動力學。相比之下,我們的框架能夠在完全無模型的環境中學習高維中的任意文本{馬爾可夫}約束。代碼可在:\url{//github.com/shehryar-malik/icrl}。
在現實世界中,越來越多的客戶在使用人工智能服務時將隱私視為一個問題,尤其是當客戶內容包含敏感數據時。最近的研究表明,像GPT-2這樣的大型語言模型可以記憶內容,這些內容可以被對手提取出來。當模型在客戶數據上接受訓練時,這在部署場景中帶來了很高的隱私風險。由于其數學上的嚴密性,差分隱私被廣泛認為是隱私保護的黃金標準。為了緩解機器學習中對隱私的擔憂,許多研究工作都在研究具有不同隱私保障的機器學習。現在是時候澄清不同隱私下學習的挑戰和機會了。在本教程中,我們首先描述了機器學習模型中潛在的隱私風險,并介紹了差分隱私的背景,然后介紹了在機器學習中保障差分隱私的流行方法。在接下來的教程中,我們強調學習和隱私之間的相互作用。在第二部分中,我們展示了如何利用學習屬性來提高隱私學習的效用,特別是利用數據點之間的相關性和深度學習模型的低秩屬性來解決這些挑戰的最新進展。在第三部分,我們提出了研究的另一個方向,即利用差分隱私的工具來解決經典的泛化問題,并給出了利用差分隱私的思想來抵抗機器學習攻擊的具體場景。
在統一魯棒半監督變分自編碼器(URSVAE)中,通過同時處理噪聲標簽和異常值,提出了一種新的噪聲魯棒半監督深度生成模型。輸入數據的不確定性通常是將不確定性優先于概率密度分布的參數,以確保變分編碼器對異常值的魯棒性。隨后,我們將噪聲轉換模型自然地集成到我們的模型中,以減輕噪聲標簽的有害影響。此外,為了進一步增強魯棒性,采用魯棒散度測度,推導并優化了新的變分下界來推斷網絡參數。通過證明對所提證據下界的影響函數是有界的,證明了所提模型在存在復合噪聲的情況下在分類方面的巨大潛力。通過對圖像分類任務的評價和與現有方法的比較,實驗結果表明了該框架的優越性。
我們提出并分析了一種基于動量的梯度方法,用于訓練具有指數尾損失(例如,指數或logistic損失)的線性分類器,它以O (1/t2)的速率最大化可分離數據的分類邊緣。這與標準梯度下降的速率O(1/log(t))和標準化梯度下降的速率O(1/t)形成對比。這種基于動量的方法是通過最大邊際問題的凸對偶,特別是通過將Nesterov加速度應用于這種對偶,從而在原函數中得到了一種簡單而直觀的方法。這種對偶觀點也可以用來推導隨機變量,通過對偶變量進行自適應非均勻抽樣。
在各種科學和工業情景中,發現一組變量之間的因果結構是一項至關重要的任務。基于聯合分布的有限i.i.d.樣本,因果發現本質上是一個具有挑戰性的組合問題。功能性因果模型的最新發展,特別是NOTEARS為因果發現提供了一個可微分的優化框架。他們將結構學習問題定義為在非周期性和稀疏性等特定結構約束下,對觀測數據(即變量重構)進行最大似然估計的任務。盡管在可擴展性方面取得了成功,但我們發現,優化這些可微分方法的目標并不總是與學習到的因果圖的正確性一致,特別是當變量在野外環境的真實數據中攜帶異構噪聲(即不同噪聲類型和噪聲方差)時。在本文中,我們證明了它們容易產生錯誤結構的原因主要是過度重構問題,即變量的噪聲被吸收到變量重構過程中,導致變量重構殘差之間的依賴性,進而根據FCM理論提出結構可識別性問題。為了彌補這一點,我們提出了一種新的可微方法DARING,通過采用對抗性的方式施加顯式剩余獨立性約束。在仿真和真實數據上的大量實驗結果表明,我們提出的方法對外部噪聲的異質性不敏感,從而可以顯著提高因果發現性能。
促進行為多樣性對于解決具有非傳遞性的動態博弈至關重要,因為這些博弈的策略存在周期性,而且沒有一致的贏家(例如,剪刀石頭布)。然而,在定義多樣性和構建具有多樣性意識的學習動態方面缺乏嚴格的處理。這項工作提供了游戲中行為多樣性的幾何解釋,并引入了一種基于決定點過程(DPP)的新的多樣性度量。通過將多樣性度量納入最佳響應動態,我們開發了多樣化的策略空間響應機制,用于解決正常形式的博弈和開放式博弈。我們證明了不同最佳響應的唯一性和我們算法在兩人博弈上的收斂性。重要的是,我們證明了最大化基于DPP的多樣性度量保證了擴大由代理策略混合跨越的凸多面體。為了驗證我們的多樣性感知求解器,我們在數十個顯示出強非傳遞性的博弈上進行了測試。結果表明,通過找到有效和多樣化的策略,可以實現比最先進的求解器更低的可利用性。
盡管在深度學習方面取得了相當大的進步,但人工智能仍然是狹隘和脆弱的。一個基本的限制是它缺乏常識智能: 對人類來說微不足道,但對機器來說卻異常地困難。在這次演講中,我將討論關于常識性人工智能的真理——符號知識和神經知識的混合,知識和推理之間的連續體,推理和語言生成之間的相互作用。
圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力,導致了一些眾所周知的問題,如過度平滑。為了克服這個限制,我們提出了第一個全局一致的各向異性核GNN,允許根據拓撲導出的方向流定義圖卷積。首先,通過在圖中定義矢量場,我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后,我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面,我們證明了該方法可以在n維網格上泛化CNN,并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法,發現在CIFAR10圖數據集上相對誤差減少了8%,在分子鋅數據集上相對誤差減少了11%到32%,在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是,它使圖網能夠以一種無監督的方式嵌入方向,從而能夠更好地表示不同物理或生物問題中的各向異性特征。
多種圖神經網絡(GNN)在圖結構數據的廣泛應用。本文作者提出了一個理論框架實現比較這些 GNN 架構的表達能力。首次證明了GNN 的函數逼近保證,為更好地理解其泛化能力鋪平了道路。論文的理論結果針對兩類 GNN 框架:一類是不變圖神經網絡(invariant GNNs),用于計算圖級別嵌入,輸入圖的節點的排列變化不影響輸出結果;另一類是同變圖神經網絡(equivariant GNNs),用來計算節點嵌入,輸入的排列變化會影響輸出;論文表明FGNN 是迄今為止對給定階數張量提出的表達能力最強的架構。實驗在二次分配問題上驗證了效果,達到比現有算法更好的平均性能。