亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**預測深度模型的魯棒性是一個具有許多影響的具有挑戰性的問題。當模型用于安全關鍵應用(如醫療保健)時，這一點尤為重要。**然而，對于一個模型的魯棒性意味著什么，以及為什么會出現這些問題的理論，目前還沒有一個全面的定義。鑒于問題的一般性質，現有的與魯棒性相關的工作分散在不同的研究領域。現有的研究已經考慮了一系列的魯棒性方面，例如對小輸入擾動的魯棒性，這來自對對抗性示例的研究，但對于同一任務的不同領域也有魯棒性，以及來自物體放置、移植、照明、天氣條件或物體樣式的魯棒性問題。 **本文根據產生觀測數據的假設結構因果模型(SCM)探索了一種魯棒性的表述。**SCM允許以一種統一的方式看待這些不同類型的魯棒性問題。利用這一觀點，這項工作進一步加強了預測魯棒性和假設的結構因果模型之間的聯系，表明在來自同一SCM的不同分布中對預測性能進行優化，將使模型更接近目標變量的因果預測器，為在訓練和測試數據不是獨立同分布的情況下僅為預測進行優化提供了理論基礎。

**以這種方式制定魯棒性表明，大型深度模型通常更容易受到魯棒性問題的影響;雖然其中一些問題在計算機視覺等應用中已經觀察到，但在其他應用中卻很少討論。**本文研究了最先進的深度(SotA)分類器在人體活動識別中的魯棒性，用一個由因果公式提供信息的新基準，表明一個更簡單的模型至少與SotA深度模型一樣魯棒，同時訓練速度至少快10倍。魯棒性的因果觀點還暗示了這樣一種觀點，即數據越少越有利于魯棒性，這與人們普遍認為的數據越多越好相反。為了驗證這一想法，基于流行的表格數據因果推理過程的反轉思想，提出了一種數據選擇算法。通過合成和半合成數據實驗，評估在選擇的數據集上訓練的模型的魯棒性。在一定條件下，數據子集提高了魯棒性和數據效率。

**本文研究了因果表示學習問題，即從高維的低維觀測中發現低維的高層次因果變量及其因果關系，以實現機器學習中的泛化和自適應。**考慮在監督學習中為泛化學習因果表示。由于虛假的相關性，預測模型往往無法泛化到與訓練時使用的分布不同的環境。本文提出一個框架，在基本因果圖的相當一般的假設下有理論保證，首先從觀察中確定給定目標的直接原因，然后用這些原因來構建不變的預測器，這些預測器能夠泛化到未見過的測試環境。

**其次，我們考慮在模仿和強化學習中學習因果表示的泛化。**其中一個基本的挑戰是學習策略、表示或動態，這些策略、表示或動態不會建立在虛假的相關性之上，并且不會泛化到它們所訓練的特定環境之外。我們從一個統一的觀點來研究這些泛化問題。為此，我們提出了一個框架來解決它們，在溫和的環境變化假設下，理論保證了可識別性和可泛化性。關鍵思想是，通過利用環境變量之間的結構關系(即，觀察、狀態、行動和獎勵)，我們首先構建一個忽略虛假特征的數據表示，然后在策略、表示和動態方面構建不變預測因子。我們從理論上證明，所得到的策略、表示和動態可以很好地泛化到未見的環境。

**最后，我們考慮了強化學習中適應的學習因果表示。**除了泛化之外，強化學習的另一個基本挑戰是如何在只提供少量樣本的情況下快速使策略適應新環境。通過利用環境變量的結構關系，我們構建了一個簡約的圖表示，它分別編碼了用于策略適應的最小和充分的環境特定因素集和環境共享因素集的內容和位置。我們表明，這樣的表示允許我們以一種只需要少量樣本的有效方式使策略適應目標環境，而不需要進一步的策略優化。

圖神經網絡(GNNs)利用各種方法將卷積的概念推廣到圖中，已被廣泛應用于許多學習任務，包括物理系統建模，尋找分子表示來估計量子化學計算等。大多數現有的GNNs通過將網絡設想為一個消息傳遞方案來解決置換不變性，其中每個節點求和來自其鄰居的特征向量。我們認為該方案對GNN的表示能力施加了限制，使得每個節點在被求和聚合后失去了它們的身份。因此，我們提出了一種新的通用架構，稱為協變成分網絡(CCNs)，其中節點特征由高階張量表示，并根據其接受野對稱群的特定表示進行協變/等價變換。實驗表明，CCNs在標準圖學習基準和估計密度泛函理論(DFT)計算的分子性質方面優于競爭方法。這種新穎的機器學習方法允許科學家有效地提取化學知識，并探索日益增長的化學數據。

從多尺度角度理解圖對于捕獲分子、蛋白質、基因組等的大規模結構至關重要。為此，我們引入了多分辨率等變圖變分自編碼器(MGVAE)，這是第一個以多分辨率和等變方式學習和生成圖的分層生成模型。MGVAE建立在多分辨率圖網絡(MGN)之上，該體系結構顯式地學習頂點的多級硬聚類，從而形成真正的多分辨率層次結構。然后，MGVAE采用層次變分自編碼器模型，在給定潛在分布層次的情況下，隨機生成多個分辨率層次的圖。我們提出的框架實現了幾個生成任務，包括通用圖生成、分子生成、無監督分子表示學習、引用圖鏈接預測和基于圖的圖像生成。MGVAE的未來應用范圍從先導優化增強最有前途的化合物在藥物發現到尋找穩定的晶體結構在材料科學。

//people.cs.uchicago.edu/~hytruongson/PhD-Thesis.pdf 一般來說，我們希望學習由每個原子的一組電荷-位置對指定的分子數據。這個問題對旋轉和平移是不變的。我們使用協變激活來“烘焙”這些對稱性，同時保留局部幾何信息。我們提出協變分子神經網絡(Cormorant)，一種旋轉協變神經網絡結構，用于學習復雜多體物理系統的行為和特性。我們將這些網絡應用到分子系統中，有兩個目標:學習用于分子動力學模擬的原子勢能面，以及學習通過密度泛函理論計算的分子基態性質。我們的網絡的一些關鍵特征是:(a)每個神經元明確地對應于原子的一個子集;(b)每個神經元的激活與旋轉協變，確保整個網絡完全旋轉不變。此外，我們的網絡中的非線性是基于張量乘積和Clebsch-Gordan分解，允許網絡完全在傅里葉空間中運行。Cormorant在從MD-17數據集的構象幾何圖形中學習分子勢能面方面明顯優于其他算法，在學習GDB-9數據集上分子的幾何、能量、電子和熱力學性質方面與其他方法具有競爭力。

多分辨率矩陣分解(MMF)在快速矩陣分解算法中是不尋常的，因為它不做低秩的假設。這使得MMF特別適合于建模具有復雜的多尺度或層次結構的某些類型的圖。雖然MMF有望產生一個有用的小波基，但找到因式分解本身是困難的，現有的貪婪方法往往是脆弱的。因此，我們提出了MMF的“可學習”版本，該版本結合強化學習和通過反向傳播誤差的Stiefel流形優化，仔細優化了因式分解。基于MMF在分解歸一化圖拉普拉斯時產生的小波基，利用稀疏小波變換定義的圖卷積，構造譜域小波網絡學習圖。我們已經證明，由我們的可學習MMF產生的小波基遠遠優于先前的MMF算法，相應的小波網絡在引用圖的標準節點分類和分子圖分類上產生了最先進的結果。這對于理解和可視化復雜的層級結構(如社會網絡和生物數據)是一個很有前途的方向。

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc