亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習為我們提供了越來越復雜的神經網絡，可以通過梯度上升來調整，以最大化某些目標。貝葉斯統計為我們提供了一種原則性和統一的方法來指定統計模型和執行推斷。將這兩種方法配對的一種有效方法產生了深度生成模型(DGM)，其中概率模型中統計參數之間的映射本身使用神經網絡進行參數化。在本文中，我們研究了這種方法可以用于解決機器學習中的各種問題的方法，以及由此產生的模型的屬性。在這篇論文中，有三個反復出現的主題，魯棒性，結構和層次，貫穿始終。

首先研究如何構建一個深度生成模型，以在一種稱為半無監督學習的新學習機制中進行學習。這是半監督學習的一個極端情況，對于某些類別的數據，沒有給定的標記示例。在學習將數據劃分為不同的成分，不同的基礎真值類時，模型必須能夠在未標記的類上進行聚類，并在給出了一些標記示例的類上進行半監督學習。本文展示了如何在一系列標準數據集上實現這一點。

從處理一個離散潛變量聚類分配開始，研究具有離散潛變量層次結構的模型。我們提出了一種新的方法來參數化這種類型的模型中的潛在變量，放松的責任向量量化，可以訓練非常深的潛在變量層的層次結構。該方法在一系列標準數據集上，對端到端的分層離散DGM進行訓練，在最大化數據證據(訓練和測試集)的下界方面取得了最先進的結果。在這樣做的過程中，這些模型有助于縮小具有離散潛在的分層DGM和具有連續潛在的分層DGM之間的差距，并提供極其穩定的訓練。

然后我們切換到另一個問題，如何構建一個模型，以有效地從高維數據中學習統計獨立的潛在表示。本文提出一種分層方法，使用雙射函數flow來產生一個中間表示，然后由高度約束的線性獨立成分分析(ICA)模型起作用。與其他方法相比，這導致了在各種玩具和真實數據集上的優越性能。

然后，研究迄今為止未考慮的問題，即如何使DGM對對抗性攻擊具有魯棒性。對這些模型的潛空間進行正則化可以可靠地誘導魯棒性，并通過將這種正則化應用于分層的DGM來獲得更魯棒的模型。最后，從理論角度研究了DGM算法的魯棒性問題。我們定義r-魯棒性，DGM魯棒性的新標準，然后得出該標準上的間隔，在該間隔內的模型可以說是魯棒的。與潛空間被正則化的各種DGM的最佳模型的新理論相結合，這種間隔的形式有助于了解這種正則化如何提高魯棒性。

**本文提出的工作表明，深度學習和貝葉斯統計的結合是多么有效，并提供了對他們的組合所產生的模型本質的見解。**這為這兩個方向開辟了新的研究——為建立在所提出工作之上的新模型，也為研究深度生成模型的理論工作開辟了新途徑。

//ora.ox.ac.uk/objects/uuid:fa76ad20-30bb-48a3-8ae4-56da578a1767

本文的目標是發展人工神經網絡學習的優化和泛化理論基礎。這篇論文涉及兩個核心問題。給定訓練數據和網絡架構:1)哪種權重設置對未見數據的泛化效果最好，為什么?2)應該使用什么優化器來恢復這個權重設置?

//www.zhuanzhi.ai/paper/004b660b4e92a46e1ca507001a0d5d54

在優化方面，神經網絡訓練的一個基本特征是，網絡權重僅通過其在網絡架構中的出現間接影響損失函數。這篇論文提出了一個三步框架來派生新的“架構感知”優化算法。第一步稱為函數優化，是根據函數擾動對損失函數的一系列展開進行優化。第二步是推導出體系結構攝動邊界，將函數攝動的大小與權重攝動的大小聯系起來。第三步是將這些體系結構擾動邊界代入損耗的函數多數化，并通過最小化得到優化算法。這構成了主要最小化元算法在神經網絡中的應用。在泛化方面，最近的一項有前途的工作是應用PAC-Bayes理論為神經網絡推導非空泛化保證。由于這些保證控制了網絡集合的平均風險，它們沒有解決哪一個單獨的網絡應該是最好的泛化。為了彌補這一差距，本文重新點燃了核文獻中的一個老思想:貝葉斯點機。貝葉斯點機是一個單一分類器，它近似于分類器集合的集合預測。由于聚合減少了集合預測的方差，貝葉斯點機往往比其他集合成員更好地進行泛化。本文證明，當網絡寬度和歸一化裕度都無窮大時，與訓練集一致的神經網絡空間集中在貝葉斯點機上。這激發了返回大標準化裕度的廣泛網絡的實踐。這些想法的潛在應用包括不確定性量化的新方法，神經硬件更有效的數值表示，以及在學習問題中傳遞超參數的優化器。

深度學習在經驗上非常有影響力，但在理論理解上滯后。神經網絡在結構和訓練算法上都比傳統的機器學習模型復雜得多，所以傳統的理論直覺可能不適用。本文旨在從理論上更好地理解深度學習中的泛化問題。在論文的第一部分，我們研究了所有數據都有標簽的監督設置下的泛化。我們的主要工具是泛化界:通過推導和研究泛化界，我們可以深入了解深度學習中影響泛化的各種因素。

首先，我們比較了正則化神經網絡和神經正切核(NTK)的統計特性。通過建立神經網絡常見的正則化訓練損失與基于輸出邊際的泛化界之間的聯系，我們證明了正則化神經網絡比NTK解具有更好的泛化效果。其次，我們基于邊緣的新概念——全層邊緣，推導出神經網絡的新泛化邊界。與傳統的基于規范的泛化測度相比，這些邊界更依賴于數據，更具有深度，并突出了數據依賴的Lipschitzness在泛化中的重要作用。我們以經驗證明，這些邊界對于激勵新的訓練目標和理解和解密現有的正則化策略是有用的。

在論文的第二部分，我們把我們的焦點轉向涉及未標記數據的設置。在這些情況下，很難證明為什么許多算法可以工作，盡管它們有廣泛的經驗成功。

首先，我們研究了視覺設置，并提出了一個理論框架來理解最近的半監督學習和領域適應的自訓練算法。通過利用自然圖像的現實結構屬性，我們表明，在未標記數據上的自訓練導致可證明的準確性增益。此外，我們的理論框架和相關假設可以用來表明，自監督對比學習在線性探針評價下獲得了可證明的良好特征。最后，我們研究了為什么預訓練語言模型可以幫助處理NLP設置中的下游任務。我們通過潛在的潛在變量生成模型來考慮預訓練和下游任務相關的設置。我們表明，當這個生成模型是HMM或記憶增強HMM時，預訓練允許解決下游任務的可證明保證。

//searchworks.stanford.edu/view/14230987

機器學習是一種從數據中提取預測模型，從而能夠將預測泛化到未觀察數據的技術。根據已知數據集選擇良好模型的過程需要進行優化。具體地說，優化過程在約束集中生成一個變量來最小化目標。這個過程包含了包括神經網絡訓練在內的許多機器學習管道，這將是我們在本文中進行理論分析的主要試驗場。在各種優化算法中，梯度方法因其高維可擴展性和反向傳播的自然局限性而成為深度學習中的主導算法。然而，盡管基于梯度的算法很受歡迎，但我們從理論的角度對機器學習環境中的這種算法的理解似乎還遠遠不夠。一方面，在現有的理論框架內，大多數上下界是封閉的，理論問題似乎得到了解決。另一方面，理論分析很難產生比實踐者發現的經驗更快的算法。本文回顧了梯度法的理論分析，指出了理論與實踐的差異。然后，我們解釋了為什么會發生不匹配，并通過發展由經驗觀察驅動的理論分析，提出了一些初始解決方案。

//dspace.mit.edu/handle/1721.1/143318

傳統的機器學習范式在單個任務上訓練特定任務模型，已經在許多領域(如計算機視覺和自然語言處理)取得了最先進的性能。為了使機器學習模型具有更廣泛的適用性，遷移學習旨在適應從源任務中學習到的知識，以提高在其他目標任務中的表現。然而，現有的遷移學習范式還有待進一步研究，因此我們對其潛在的局限性、潛在的機制以及實現更智能遷移的解決方案的認識有限。特別是，當知識從一個不太相關的來源轉移時，可能會對目標性能造成負面影響，這種現象稱為負轉移。然而，負遷移的原因尚不明確，負遷移如何影響模型的泛化和樣本效率也不清楚。在這篇論文中，我們的目標是徹底描述和解決機器學習模型中的負遷移，我們仔細研究了流行的視覺和自然語言處理設置中的負遷移，收集了其原因的見解，并提出了提高泛化和樣本效率的解決方案。本文由三個部分組成。第一部分對當前遷移學習模型中的負遷移現象進行了系統的分析。我們在領域適應和多語言自然語言處理模型中正式描述了其條件，并證明任務沖突是負遷移的一個關鍵因素。在第二部分，我們提出了各種對齊方法，通過更好的對齊表示和梯度解決上述任務沖突，增強可轉移模型的泛化。最后，在第三部分，我們探索了有效樣本遷移學習算法，使用較少的訓練和/或校準數據來緩解負遷移。本文的主要貢獻包括對遷移學習中的負遷移問題提出了新的見解，提出了一系列實用的方法和算法，提高了模型的泛化和效率。

//www.lti.cs.cmu.edu/sites/default/files/wang%2C%20zirui%20-%20final%20thesis.pdf

深度神經網絡在計算機視覺、機器學習和人工智能等許多領域都取得了顯著的經驗成功。隨著經驗上的成功，深度學習在理論上已被證明在表達能力方面具有吸引力。即具有一個隱層的神經網絡可以近似任意連續函數，而具有更深層次的神經網絡可以近似具有較少參數的特定類函數。表達理論指出，在一定規模的神經網絡中，存在近似目標函數的最優參數向量。然而，在神經網絡優化過程中，表達理論并不能保證能夠有效地找到這樣的最優向量。優化是深度學習的關鍵步驟之一，因為對數據的學習是通過優化來實現的，即對深度神經網絡的參數進行優化，使網絡與數據保持一致的過程。這個過程通常需要非凸優化，這對于一般的高維問題來說是不可擴展的。事實上，一般來說，神經網絡的優化是不可擴展的，除非對其架構做額外的假設。

本文通過研究可擴展性中的一些基本瓶頸，如次最優局部極小值和鞍點，研究了各種深度神經網絡體系結構的非凸優化問題。特別地，對于深度神經網絡，我們給出了局部極小值和臨界點的各種保證，以及梯度下降找到的點。證明了在深度神經網絡非凸優化中，對實際度進行適度的過參數化可以保證梯度下降找到全局最小值。此外，即使沒有過度參數化，我們表明，無論是理論還是經驗，增加參數的數量，改善臨界點和局部極小值的值向全局最小值。我們還證明了殘差神經網絡局部極小值的理論保證。此外，本文提出了一個統一的理論來分析這些特定架構之外的各種深度神經網絡的臨界點和局部極小值。這些結果表明，盡管在理論的最壞情況和最壞的架構中存在可伸縮性問題，但我們可以避免這個問題，并在實踐中對各種有用架構的大型問題進行良好的可擴展性。

在這篇論文中，我們對深度學習理論進行了實證研究。我們將深度學習系統視為黑盒，有我們可以控制的輸入(訓練樣本、架構、模型大小、優化器等)和我們可以觀察的輸出(神經網絡函數、其測試誤差、其參數等)。我們的目標是描述輸入的選擇如何影響輸出。作為一個經驗理論，我們的目標是定量地描述這種行為，如果不是嚴格地證明它。我們希望理論盡可能普適化，應用于廣泛的深度學習設置，包括那些在實踐中。

為此，我們提出了三個經驗理論。(1) Deep Double Descent證明了深度學習的輸入和輸出之間的關系并不總是以自然的方式單調:存在一個可預測的“關鍵機制”，例如，對更多數據的訓練實際上會損害性能，但模型在這個機制之外表現良好。(2) 深度Bootstrap框架表明，要理解輸出網絡的泛化，只要理解我們的輸入選擇的優化方面就足夠了。（3) 分布泛化更深入地研究了輸出網絡，發現經過訓練的模型實際上“泛化”的范圍比我們通常預期的要廣得多。我們引入了一種新的泛化捕捉這些行為。

我們的研究結果揭示了學習理論中已有的主題(特別是泛化、過度參數化、插值化)，也揭示了需要新的框架來捕捉的新現象。在某些情況下，我們對深度學習的研究揭示了一些現象，即使是非深度學習方法也適用。因此，我們希望這篇論文的結果將最終編織成一個一般性的深度學習理論。

Preetum Nakkiran 個人主頁：//preetum.nakkiran.org/

深度學習的研究在許多機器學習任務上產生了最先進的結果。大多數的進步都是由直覺和通過試驗和錯誤進行的大規模探索推動的。因此，目前理論落后于實踐。ML社區并不完全理解為什么最好的方法是有效的。來自UIUC Matus Telgarsky教授撰寫了關于深度學習理論筆記，值得關注。

地址： //mjt.cs.illinois.edu/dlt/

這些筆記的哲學。兩個關鍵的觀點決定了到目前為止所包含的內容。

我的目標是對文獻中出現的東西提供簡化的證明，理想情況下，把困難的東西簡化成適合一節課的東西。

我主要關注通過標準(通常是ReLU)前饋網絡實現IID數據的二進制分類的低測試誤差。

內容組織：

近似 (從第1節開始): 給定一個分類問題，存在一個深度網絡，在分布上實現低誤差。

優化 (從第9節開始): 對于一個分類問題，給定一個有限的訓練集，存在尋找低訓練誤差和低復雜度的預測器的算法。

泛化 (從第16節開始): 對于低復雜度的網絡，訓練和測試誤差之間的差距很小。

深度學習的研究在許多機器學習任務上產生了最先進的結果。大多數的進步都是由直覺和通過試驗和錯誤進行的大規模探索推動的。因此，目前理論落后于實踐。ML社區并不完全理解為什么最好的方法是有效的。來自UIUC Matus Telgarsky教授撰寫了關于深度學習理論筆記，值得關注。

地址： //mjt.cs.illinois.edu/dlt/

這些筆記的哲學。兩個關鍵的觀點決定了到目前為止所包含的內容。 我的目標是對文獻中出現的東西提供簡化的證明，理想情況下，把困難的東西簡化成適合一節課的東西。 我主要關注通過標準(通常是ReLU)前饋網絡實現IID數據的二進制分類的低測試誤差的經典觀點。

內容組織：

• 近似 (從第1節開始): 給定一個分類問題，存在一個深度網絡，在分布上實現低誤差。

• 優化 (從第9節開始): 對于一個分類問題，給定一個有限的訓練集，存在尋找低訓練誤差和低復雜度的預測器的算法。

• 泛化 (從第16節開始): 對于低復雜度的網絡，訓練和測試誤差之間的差距很小。