亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

這項工作旨在理解不變性和等變性對監督學習中泛化的影響。我們利用平均算子的視角來展示，對于任何非等變的預測器，存在一個具有嚴格更低測試風險的等變預測器，適用于所有正確指定等變性的回歸問題。這構成了一個嚴格的證明：對稱性（以不變性或等變性的形式）是一種有用的歸納偏差。 我們將這些想法應用于隨機設計最小二乘法和核嶺回歸中的等變性和不變性。這使我們能夠在更具體的設置中指定預期測試風險的減少，并根據群體、模型和數據的屬性來表達它。 在此過程中，我們給出了例子和額外的結果，以展示平均算子方法在分析等變預測器時的實用性。此外，我們采用了另一種視角，將使用不變模型進行學習的常見直覺形式化為關于軌道代表的問題。這種形式主義自然地擴展到對等變模型的類似直覺。我們通過連接這兩種視角并提出未來工作的一些想法來結束。

在機器學習（ML）中，一個關鍵的挑戰是設計能夠從圖中高效學習的模型。這些圖由帶有屬性的節點組成，并具有一個編碼它們關系的預定結構。圖表示學習（GRL）旨在將這兩個異質性源編碼為一個向量圖嵌入，以便進行下游任務。在這個領域，最優傳輸（OT）在將圖視為離散概率分布的意義上提供了有意義的比較。本論文通過OT的視角關注GRL，兩個概念都在專門章節中介紹。現代的有監督GRL主要依賴圖神經網絡（GNN），它通過兩個主要元素隱式地編碼圖拓撲：通過消息傳遞的節點特征嵌入和通過專門形式的池化的聚合。在這篇論文中，我們介紹了一個新的觀點，將距離一些可學習的圖模板的距離置于圖表示的核心。這種距離嵌入是通過OT距離構建的：融合Gromov-Wasserstein（FGW）距離，它通過解決一個軟圖匹配問題同時處理特征和結構的不相似性。我們假設FGW距離到一組模板圖的向量具有強大的區分能力，然后將其提供給一個非線性分類器進行最終預測。這種距離嵌入作為一個新的池化層，稱為TFGW，并可以利用現有的消息傳遞技術來促進有意義的特征表示，這是端到端學習的。我們在幾個圖分類任務上實證驗證了我們的說法，其中我們的方法在表達性和泛化能力方面都優于內核和GNN方法。本論文的另一個貢獻旨在使詞典學習（DL）適用于圖數據集分析，這是無監督表示學習的關鍵工具。DL解釋向量數據為幾個基本元素的線性組合，通過與單一環境空間相關的不相似性來評估學到的表示的質量。由于圖描述了它們自己的空間，我們提出了第一個適應于圖詞典學習（GDL）的線性方法，使用(F)GW作為數據擬合項。在我們的工作中，圖被建模為圖原子的凸組合，通過在線隨機算法估算。GDL通過一個新的上界完成，該上界可以用作FGW在嵌入空間中的快速近似。我們實證地顯示了我們的方法對于圖聚類、分類、完成以及在線圖子空間估計和跟蹤的興趣。最終，位于OT核心的質量保守性，在對比兩個圖的所有節點時強加了一個耦合，這在GRL中有特定的含義。通過FGW學習結構和特征表示對于由將圖建模為概率分布所誘導的節點相對重要性非常敏感。管理這一額外的自由度，正如我們所做的，通過在TFGW中增加最小的計算成本但對GDL增加顯著的模型復雜性來改進基于(F)GW的模型。因此，我們建議通過引入一種新的基于OT的差異，稱為半松弛（融合）Gromov-Wasserstein差異（sr(F)GW），來解決(F)GW中質量保守性約束的限制。srFGW提供了兩個圖之間的對應關系，同時在目標圖中尋找一個重新加權的子圖，與輸入的(F)GW距離最小。后者可以比(F)GW更有效地估計，并與專門用于圖分割的方法競爭，同時更具通用性。此外，估計一個srFGW“重心”引入了一個新的DL，其中圖被嵌入為單個圖原子的重新加權子圖。與其他基于DL的競爭者在各種無監督任務上競爭有利，同時計算速度明顯更快。

這篇論文研究了離散DGM的原理和應用。深度生成模型（DGM）是一種深度神經網絡，能夠建模高維概率分布并生成隨機樣本。在DGM的各種應用中，有些涉及固有的離散組件，這推動了對離散隨機變量的建模需求；例如，文本建模和具有離散變量的控制。離散性引起了關于離散DGM設計的基本問題。如何訓練一個離散DGM？其應用是什么？如何進行大規模的離散建模和預測？我們從重新參數化的角度研究了離散DGM的訓練。重新參數化是一種用DGM建模的隨機變量的梯度估計方法。由于梯度估計的高方差，這是具有挑戰性的。受到Straight-Through Gumbel-Softmax估計器的基本屬性的啟發，我們提出了一種新的重新參數化方法，稱為Gapped Straight-Through估計器，以減少方差而不產生重新采樣開銷。我們還介紹了離散重新參數化在強化學習（RL）中的應用，用于電力系統控制，其中控制變量是整數。我們對這個應用有兩方面的貢獻：電力系統的RL環境和一個帶有整數重新參數化方案的RL算法。環境構建確定了系統的實際選擇。已經發布了這個環境的開源包，并在電力研究社區中使用。電力系統的RL算法包括DDPG風格的策略梯度和對整數動作的重新參數化。 最后，我們從Transformer的核化視角探討大規模的生成性文本建模。我們觀察到，相對位置嵌入（RPE）對于Transformer在長序列上的良好表現是至關重要的。然而，RPE的理論框架仍然缺失。因此，我們通過條件正定（CPD）核來形式化RPE的核化版本。CPD核的多樣性使我們能夠推導出各種能夠實現長度外推的RPE（在短序列上訓練，但在長序列上測試）。實驗表明，對數變種在三個大型語言建模數據集上都實現了出色的外推效果。

在海量數據的時代，高效的機器學習算法變得至關重要。然而，許多常見的機器學習算法依賴于在大數據集上計算成本過高的子程序。通常，現有的技術會對數據進行子采樣或使用其他方法來提高計算效率，但這會以引入一些近似誤差為代價。這篇論文表明，往往只需用一種特殊的隨機化方法替代計算密集型的子程序，就能在幾乎不降低質量的情況下獲得足夠的效果。這篇論文的結果是基于自適應采樣文獻中的技術。第1章以一個特定的自適應采樣問題為引子：多臂老虎機中的最佳臂識別。我們首先提供了環境設定和最佳臂識別問題的正式描述。然后，我們介紹了一種名為“連續淘汰”的通用算法，用于解決最佳臂識別問題。在第2章，第3章和第4章，我們將把在第1章中開發的技術應用于不同的問題。在第2章，我們討論了如何將k-medoids聚類問題簡化為一系列的最佳臂識別問題。我們利用這一發現提出了一種基于連續淘汰的新算法，該算法在聚類質量上與先前的最新技術相當，但達到相同解的速度要快得多。在數據生成分布的一般假設下，我們的算法在樣本復雜性上實現了 O( n logn ) 的降低，其中 n 是數據集的大小。

在第3章中，我們分析了訓練基于樹的模型的問題。這類模型的大部分訓練時間都用在分割樹的每個節點上，即確定在哪個特征和相應的閾值處分割每個節點。我們展示了節點分割子程序可以簡化為一個最佳臂識別問題，并介紹了一種訓練樹的最新算法。我們的算法僅依賴于每個可能分割的相對質量，而不是顯式地依賴于訓練數據集的大小，并將數據集大小n的顯式依賴從常用的先前算法的O(n)降低到O(1)。我們的算法通常適用于許多基于樹的模型，如隨機森林和XGBoost。在第4章中，我們研究最大內積搜索問題。我們注意到，與k-medoids和節點分割問題一樣，最大內積搜索問題可以簡化為一個最佳臂識別問題。有了這個觀察，我們為高維數據集中的最大內積搜索問題提出了一個新穎的算法。在對數據的合理假設下，我們的算法將與數據集維數d的顯式比例從O(√d)降低到O(1)。我們的算法具有幾個優點：它不需要對數據進行預處理，能自然處理新增或刪除的數據點，并包含一個超參數來權衡準確性和效率。第5章以總結本論文的貢獻和未來工作的可能方向作為結論。

//searchworks.stanford.edu/view/14783548

這篇論文提出了一些新穎的方法，用于解決深度神經網絡（DNNs）在3D理解和3D設置方面的魯棒性面臨的重要挑戰。我們的研究主要集中在兩個方面：3D數據和設置的對抗魯棒性以及DNNs在現實3D場景下的魯棒性。一個3D理解范式是將3D表示為一組3D點，并直接在這組點上學習函數。我們的第一個工作，AdvPC，解決了當前3D點云對抗攻擊的有限可遷移性和防御易用性問題。通過使用點云自動編碼器生成更具可遷移性的攻擊，AdvPC在3D點云攻擊可遷移性方面大幅領先于當前的最先進攻擊。此外，與ModelNet40數據集上的其他基準攻擊相比，AdvPC增加了破壞防御能力高達38%。另一個3D理解范式是對3D數據的多個圖像進行2D處理。第二項工作，MVTN，通過使用多視圖轉換網絡（MVTN）來學習最優視點，解決了選擇3D形狀識別視點的問題。它將MVTN與多視圖方法相結合，在標準基準ModelNet40、ShapeNet Core55和ScanObjectNN上取得了最先進的結果。MVTN還提高了對現實場景（如旋轉和遮擋）的魯棒性。

我們的第三項工作分析了二維深度神經網絡的語義魯棒性，通過將DNN全局行為可視化為語義映射并觀察一些DNNs的有趣行為，解決了DNNs對語義原語高度敏感的問題。此外，我們開發了一種自下而上的方法來檢測DNNs的魯棒區域，以實現可擴展的語義魯棒性分析和不同DNNs的基準測試。第四項工作SADA展示了DNNs在自主導航的安全關鍵應用方面缺乏魯棒性的問題，超出了簡單的分類設置。我們提出了一個通用框架（BBGAN），用于對受過訓練的代理進行黑盒對抗攻擊，涵蓋了對執行任務的代理環境的語義擾動。BBGAN經過訓練，可以生成在諸如物體檢測、自動駕駛和自主無人機競速等任務上始終欺騙受過訓練的代理的失敗案例。

//repository.kaust.edu.sa/handle/10754/691198

從數據中發現隱藏的偏微分方程(PDEs)和算子是機器學習和數值分析之間的一個重要前沿課題。介紹了線性偏微分方程格林函數學習的理論結果和深度學習算法，并對偏微分方程格林函數學習技術進行了嚴格論證。導出了一個理論上嚴格的算法來獲得學習率，它表征了近似學習與橢圓偏微分方程相關的格林函數所需的訓練數據量。該結構通過將隨機奇異值分解擴展到非標準高斯向量和Hilbert-Schmidt算子，利用層次矩陣利用格林函數的低秩層次結構，連接了PDE學習和數值線性代數領域。引入有理神經網絡，由具有可訓練有理激活函數的神經網絡組成。這些網絡的高組成結構，結合有理逼近理論，意味著有理函數比標準激活函數具有更高的逼近冪。此外，有理神經網絡可能具有極點并具有任意大的值，這非常適合逼近具有奇點的函數，如格林函數。最后，結合格林函數和有理神經網絡的理論成果，設計了一種從數據中發現格林函數的人類可理解的深度學習方法。這種方法補充了最先進的PDE學習技術，因為可以從學習到的格林函數中獲得廣泛的物理知識，如主導模、對稱和奇點位置。本文旨在通過將標準數學領域(如數值線性代數、概率和偏微分方程分析)與現代深度學習技術相結合，了解是否可以從數據中發現偏微分方程(PDEs)。我們著重學習與線性偏微分方程相關的格林函數從一對強迫函數和解。推導了挖掘問題規律性的理論邊界，提出了一種實用的深度學習算法。

在過去的十多年里，粗糙路徑理論和機器學習對序列數據的融合一直是人們越來越感興趣的話題。這兩個學科領域的統一是自然的:粗糙路徑理論為我們提供了描述由多維(可能高度不規則)信號驅動的微分方程的解的語言，而機器學習提供了從數據中學習此類解的工具。粗糙路徑理論的中心目標是為回答關于數據流對系統的影響的問題提供一個通用的數學框架。這類數據的一個常見例子是時間序列，它普遍存在于生活的各個領域(這將是我們在本文中最常考慮的流類型);因此，用粗糙路徑的語言構建問題為我們提供了在現實世界中具有真正效用的模型。這篇論文的目的是為機器學習的應用提供粗糙路徑理論領域的一個可訪問的介紹，然后提供一個帳戶，進一步連接這兩個領域的最新和有效的貢獻。**這篇論文涵蓋的主題包括:神經控制微分方程(神經CDEs) **-神經常微分方程的擴展，可以包含外部數據過程的變化;神經粗糙微分方程(neural RDEs)—對神經CDEs的粗糙路徑擴展，對長或高頻時間序列有好處;廣義簽名法——多變量時間序列特征提取技術的集合最后介紹了簽名方法在敗血癥和應激檢測中的實際應用。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。

正則最優傳輸理論作為一種處理和比較概率測度的通用工具，在機器學習領域受到越來越多的關注。基于熵的正則化，被稱為Sinkhorn散度，在廣泛的應用中被證明是成功的:作為聚類和重心估計的度量，作為領域適應中傳遞信息的工具，以及作為生成模型的擬合損失，僅舉幾例。鑒于這一成功，研究此類模型的統計和優化特性是至關重要的。這些方面有助于設計新的和有原則的范式，有助于進一步推進該領域。然而，基于熵最優輸運的估計量的漸近保證問題卻較少受到關注。

在這篇論文中，我們針對這些問題，集中在三個主要設置，熵最優傳輸已被使用:學習直方圖在監督框架，重心估計和概率匹配。我們提出了第一個在有監督的情況下學習Sinkhorn損失的一致估計，有明確的超額風險界限。我們提出了一個新的Sinkhorn質心算法，處理具有可證明的全局收斂保證的任意概率分布。最后，我們用Sinkhorn散度作為損失函數來處理生成模型:我們從建模和統計的角度分析潛在分布和生成器的作用。我們提出了一種聯合學習潛在分布和生成器的方法，并刻畫了該估計量的泛化性質。總之，在這項工作中開發的工具有助于理解熵最優輸運的理論性質及其在機器學習中的通用性。

在生態學、流行病學和天文學等許多應用領域中，仿真模型被用來研究發生在自然界中的復雜現象。通常，這些模型的似然函數的分析形式要么是不可用的，要么是太昂貴而無法評估，從而使統計推斷復雜化。無概率推理(LFI)方法，如近似貝葉斯計算(ABC)，基于用模型的正演模擬代替難以處理的似然評估，已成為對仿真模型進行推理的一種流行方法。然而，當前的LFI方法在計算和統計方面存在一些挑戰。特別是，標準的ABC算法需要大量的仿真，這使得它們在前向仿真代價昂貴的情況下不可行。

本文討論了計算代價高的模型的無概率推理。主要貢獻是基于高斯過程代理模型的LFI一致性框架。GP模型允許對仿真模型輸出的平滑假設進行編碼，以減少所需的仿真量。此外，由于模擬預算有限，所產生的基于模型的后驗逼近的不確定性可以被量化。我們提出貝葉斯實驗設計策略來選擇評估地點，以使計算成本最小化。順序設計(每次選擇一個模擬)和批處理策略(允許利用并行計算)都是推導出來的。除了LFI場景外，本文提出的方法也適用于可能性可以評估但代價昂貴的情況。

本質上，所提出的框架可以被視為概率數值方法的LFI對等物，如貝葉斯優化，用于優化昂貴的目標函數，貝葉斯求積，用于計算昂貴函數的積分。我們通過大量的經驗模擬證明了所提出的LFI方法的優點。文中還對所提算法進行了理論分析，并討論了它們與其他GP代理方法的關系。

//aaltodoc.aalto.fi/handle/123456789/46310