題目: A Loss-Function for Causal Machine-Learning
摘要:
因果機器學習是關于預測處理的凈效果(真實提升)。根據治療組和對照組的數據,它類似于一個標準的監督學習問題。不幸的是,由于數據中缺少點對點的真值,所以沒有類似定義良好的丟失函數。由于這種損失函數的缺失,許多現代機器學習的進步并不是直接適用的。我們提出了一種定義損失函數的新方法,它等于標準回歸問題中的均方誤差。我們的損失函數是普遍適用的,因此提供了一個通用的標準來評估任何模型/策略的質量,預測真實上升。我們證明,盡管它的定義很新穎,人們仍然可以直接對這個損失函數進行梯度下降來找到最合適的。這導致了一種新的方法來訓練任何基于參數的模型,例如深度神經網絡,來解決因果機器學習問題,而不需要通過元學習者策略。
題目:
Con?dence-Aware Learning for Deep Neural Networks
簡介:
盡管深度神經網絡可以執行多種任務,但過分一致的預測問題限制了它們在許多安全關鍵型應用中的實際應用。已經提出了許多新的工作來減輕這個問題,但是大多數工作需要在訓練和/或推理階段增加計算成本,或者需要定制的體系結構來分別輸出置信估計。在本文中,我們提出了一種使用新的損失函數訓練深度神經網絡的方法,稱為正確排名損失,該方法將類別概率顯式規范化,以便根據依據的有序等級更好地進行置信估計。所提出的方法易于實現,并且無需進行任何修改即可應用于現有體系結構。而且,它的訓練計算成本幾乎與傳統的深度分類器相同,并且通過一次推斷就可以輸出可靠的預測。在分類基準數據集上的大量實驗結果表明,所提出的方法有助于網絡產生排列良好的置信度估計。我們還證明,它對于與置信估計,分布外檢測和主動學習密切相關的任務十分有效。
主題: Large-scale and high-dimensional statistical learning methods and algorithms
摘要: 在過去的二十年中,基因組學,神經科學,經濟學和互聯網服務等許多領域已經產生了越來越大的,具有高維,大樣本量或兩者兼有的數據集。這為我們提供了前所未有的機會,可以從數據中檢索和推斷出有價值的信息。同時,這也給統計方法和計算算法提出了新的挑戰。一方面,我們希望制定一個合理的模型來捕獲所需的結構并提高統計估計和推斷的質量。另一方面,面對越來越大的數據集,計算可能是一個很難得出有意義結論的障礙。本文站在兩個主題的交集上,提出了統計方法來捕獲數據中的所需結構,并尋求可擴展的方法來優化超大型數據集的計算。我們提出了使用套索/彈性網解決大規模稀疏回歸問題的可擴展且靈活的框架,以及在存在多個相關響應和其他細微差別(例如缺失值)的情況下解決稀疏降階回歸的可擴展框架。針對R軟件包snpnet和multiSnpnet中PLINK 2.0格式的基因組數據開發了優化的實現。這兩種方法已在UK Biobank的超大型和超大規模研究中得到證明,并且與傳統的預測建模方法相比有了顯著改進。此外,我們考慮另一類高維問題,即異類因果效應估計。與監督學習不同,此類問題的主要挑戰在于,在歷史數據中,我們從未觀察到硬幣的另一面,因此我們無法獲得治療之間真正差異的地面真理。我們建議采用非參數統計學習方法,尤其是梯度增強和多元自適應回歸樣條,以根據可用的預測因子來估計治療效果。
題目: An Overview of Privacy in Machine Learning
序言: 在過去幾年中,谷歌、微軟和亞馬遜等供應商已經開始為客戶提供軟件接口,使他們能夠輕松地將機器學習任務嵌入到他們的應用程序中。總的來說,機構現在可以使用機器學習作為服務(MLaaS)引擎來外包復雜的任務,例如訓練分類器、執行預測、聚類等等。他們還可以讓其他人根據他們的數據查詢模型。當然,這種方法也可以在其他情況下使用(并且經常提倡使用),包括政府協作、公民科學項目和企業對企業的伙伴關系。然而,如果惡意用戶能夠恢復用于訓練這些模型的數據,那么由此導致的信息泄漏將會產生嚴重的問題。同樣,如果模型的內部參數被認為是專有信息,那么對模型的訪問不應該允許對手了解這些參數。在本文中,我們對這一領域的隱私挑戰進行了回顧,系統回顧了相關的研究文獻,并探討了可能的對策。具體地說,我們提供了大量關于機器學習和隱私相關概念的背景信息。然后,我們討論了可能的對抗模型和設置,涵蓋了與隱私和/或敏感信息泄漏有關的廣泛攻擊,并回顧了最近試圖防御此類攻擊的結果。最后,我們總結出一系列需要更多工作的開放問題,包括需要更好的評估、更有針對性的防御,以及研究與政策和數據保護工作的關系。
本文介紹了一階優化方法及其在機器學習中的應用。這不是一門關于機器學習的課程(特別是它不涉及建模和統計方面的考慮),它側重于使用和分析可以擴展到具有大量參數的大型數據集和模型的廉價方法。這些方法都是圍繞“梯度下降”的概念而變化的,因此梯度的計算起著主要的作用。本課程包括最優化問題的基本理論性質(特別是凸分析和一階微分學)、梯度下降法、隨機梯度法、自動微分、淺層和深層網絡。
題目: Causal Relational Learning
摘要:
因果推理是自然科學和社會科學實證研究的核心,對科學發現和知情決策至關重要。因果推理的黃金標準是進行隨機對照試驗;不幸的是,由于倫理、法律或成本的限制,這些方法并不總是可行的。作為一種替代方法,從觀察數據中進行因果推斷的方法已經在統計研究和社會科學中得到發展。然而,現有的方法嚴重依賴于限制性的假設,例如由同質元素組成的研究總體,這些同質元素可以在一個單平表中表示,其中每一行都被稱為一個單元。相反,在許多實際環境中,研究領域自然地由具有復雜關系結構的異構元素組成,其中數據自然地表示為多個相關表。在本文中,從關系數據中提出了一個正式的因果推理框架。我們提出了一種稱為CaRL的聲明性語言,用于捕獲因果背景知識和假設,并使用簡單的Datalog類規則指定因果查詢。CaRL為在關系領域中推斷復雜干預的影響的因果關系和推理提供了基礎。我們對真實的關系數據進行了廣泛的實驗評估,以說明CaRL理論在社會科學和醫療保健領域的適用性。
題目: Quantum Adversarial Machine Learning
摘要: 對抗性機器學習是一個新興的研究領域,主要研究機器學習方法在對抗性環境中的脆弱性,并開發相應的技術,使學習對對抗性操作具有魯棒性。它在各種機器學習應用中起著至關重要的作用,近年來引起了不同社區的極大關注。本文探討了量子機器學習中不同的對抗情境。我們發現,與基于經典神經網絡的傳統分類器類似,量子學習系統同樣容易受到精心設計的對抗性示例的攻擊,而與輸入數據是經典的還是量子的無關。特別是,我們發現,通過對原始合法樣本添加不可察覺的擾動而獲得的對抗性示例,可以最終欺騙達到接近最新精度的量子分類器。這在不同場景下的量子對抗學習中得到了明確的證明,包括對現實生活中的圖像(如數據集MNIST中的手寫數字圖像)進行分類,對物質的學習階段(如鐵磁/順磁有序和對稱保護拓撲相)進行分類,以及對量子數據進行分類。此外,我們還指出,根據手頭的對抗性例子的信息,可以設計出實用的防御策略來對抗多種不同的攻擊。我們的研究結果揭示了量子機器學習系統對各種擾動的顯著脆弱性,這不僅從理論上揭示了機器學習與量子物理學之間的聯系,而且為基于近期和未來量子技術的量子分類器的實際應用提供了有價值的指導。
題目: Dual Averaging Method for Regularized Stochastic Learning and Online Optimization
簡介: 我們考慮正則化隨機學習和在線優化問題,其中目標函數是兩個凸項的和:一個是學習任務的損失函數,另一個是簡單的正則化項,例如?1-范數,以促進稀疏性。 我們開發了一種新的在線算法,即正規化雙重平均(RDA)方法,該算法可以在在線環境中顯式利用正規化結構。 特別是,在每次迭代中,通過解決一個簡單的優化問題來調整學習變量,該問題涉及損失函數的所有子梯度的運行平均值以及整個正則化項,而不僅僅是其子梯度。這篇文章研究了正則化的隨機學習和在線優化問題,提出了一種新的算法——正規化雙重平均法。與標準隨機梯度法類似,該方法可達到最佳收斂速度,并且每次迭代通常具有較低的復雜度。
圖靈獎獲得者Judea Pearl在Twitter推薦了一本新書《圖模型手冊》,他認為,這本書很好地刻寫了圖模型領域自20世紀80年代成立以來是如何發展的。由頂級統計學家編寫,它可以作為傳統統計學家很好的一個介紹因果模型的材料。