亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。

然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。

本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。

本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的發展，特別是在醫學圖像的解譯方面。在本文中，我描述了三個關鍵方向，為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先，我討論了專家級醫學圖像解譯算法的發展，重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次，我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用，重點是使用有限的手動注釋的高質量標記。第三，我討論了真實世界的評估醫學圖像算法的研究，系統地分析了在臨床相關分布變化下的性能。總之，這篇論文總結了關鍵貢獻和見解，在這些方向與關鍵應用跨醫學專業。

//searchworks.stanford.edu/view/13876519

摘要

Transformers 在自然語言處理、計算機視覺和音頻處理等許多人工智能領域都取得了巨大的成功。因此，自然會引起學術界和工業界研究人員的極大興趣。到目前為止，各種各樣的Transformer變種(即X-formers)已經被提出，但是，關于這些Transformer器變種的系統和全面的文獻綜述仍然缺乏。在這項綜述中，我們提供了一個全面的Transformer綜述。我們首先簡單介紹了普通的Transformer，然后提出了一個x-former的新分類。接下來，我們將從三個方面介紹不同的x -former架構修改，預訓練和應用。最后，展望了未來的研究方向。

//www.zhuanzhi.ai/paper/f03a47eb6ddb5d23c07f51662f3220a0

引言

Transformer[136]是一種出色的深度學習模型，被廣泛應用于自然語言處理(NLP)、計算機視覺(CV)和語音處理等各個領域。Transformer最初是作為一種用于機器翻譯的序列到序列模型提出的[129]。后來的工作表明，基于Transformer的預訓練模型(PTMs)[100]可以在各種任務上實現最先進的性能。因此，Transformer已經成為NLP的首選架構，特別是對于PTMs。除了語言相關的應用，Transformer也被應用于CV[13, 33, 94]，音頻處理[15,31,41]，甚至其他學科，如化學[113]和生命科學[109]。

由于成功，各種各樣的Transformer 變種(即x -former)在過去幾年里被提出。這些X-formers從不同的角度改進了vanilla Transformer。

(1) 模型的效率。應用Transformer的一個關鍵挑戰是它在處理長序列時效率低下，這主要是由于自注意力模塊的計算和存儲復雜性。改進方法包括輕量級注意力(例如稀疏注意變體)和分治法(例如循環和分層機制)。

(2) 模型泛化。由于Transformer是一種靈活的體系結構，并且很少對輸入數據的結構偏差進行假設，因此很難對小規模數據進行訓練。改進方法包括引入結構偏差或正則化、對大規模無標記數據進行預處理等。

(3) 模型的適應。該工作旨在使Transformer適應特定的下游任務和應用程序。

在這個綜述中，我們的目的是提供一個Transformer及其變體的全面綜述。雖然我們可以根據上面提到的觀點來組織x-former，但許多現有的x前輩可能會解決一個或幾個問題。例如，稀疏注意變量不僅降低了計算復雜度，而且在輸入數據上引入了結構先驗，緩解了小數據集上的過擬合問題。因此，將現有的各種X-formers進行分類，并根據它們改進Transformer的方式提出新的分類方法會更有條理: 架構修改、預訓練和應用。考慮到本次綜述的受眾可能來自不同的領域，我們主要關注于一般的架構變體，而只是簡單地討論了預訓練和應用的具體變體。

到目前為止，基于普通Transformer的各種模型已經從三個角度被提出:架構修改的類型、預訓練的方法和應用。圖2給出了Transformer變種的分類說明。

盡管“x-formers”已經證明了他們在各種任務上的能力，但挑戰仍然存在。除了目前關注的問題(如效率和泛化)，Transformer的進一步改進可能在以下幾個方向:

(1) 理論分析。Transformer的體系結構已被證明能夠支持具有足夠參數的大規模訓練數據集。許多工作表明，Transformer比CNN和RNN有更大的容量，因此有能力處理大量的訓練數據。當Transformer在足夠的數據上進行訓練時，它通常比CNN或RNN有更好的性能。一個直觀的解釋是，Transformer對數據結構沒有什么預先假設，因此比CNN和RNN更靈活。然而，理論原因尚不明確，我們需要對Transformer能力進行一些理論分析。

(2) 注意力機制之外的全局交互機制更加完善。Transformer的一個主要優點是使用注意力機制來建模輸入數據中節點之間的全局依賴關系。然而，許多研究表明，對大多數節點來說，完全注意力是不必要的。在某種程度上，不可區分地計算所有節點的注意力是低效的。因此，在有效地建模全局交互方面仍有很大的改進空間。一方面，自注意力模塊可以看作是一個具有動態連接權的全連接神經網絡，通過動態路由聚合非局部信息; 因此，其他動態路由機制是值得探索的替代方法。另一方面，全局交互也可以通過其他類型的神經網絡來建模，比如記憶增強模型。

(3) 多模態數據統一框架。在許多應用場景中，集成多模態數據對于提高任務性能是非常有用和必要的。此外，一般的人工智能還需要能夠捕獲跨不同模式的語義關系。由于Transformer在文本、圖像、視頻和音頻方面取得了巨大的成功，我們有機會建立一個統一的框架，更好地捕捉多模態數據之間的內在聯系。但是，在設計中對模式內和模式間的注意還有待改進。

概率圖建模(PGM)提供了一個框架，以設計一個可解釋的生成過程的數據和表達不確定性的未知數。這使得PGM對于理解數據背后的現象和決策非常有用。在可解釋推理是關鍵的領域內，PGM取得了巨大的成功，例如市場營銷、醫學、神經科學和社會科學。然而，PGM往往缺乏靈活性，這阻礙了它在建模大規模高維復雜數據和執行需要靈活性的任務(例如在視覺和語言應用程序中)時的使用。

深度學習(DL)是另一個從數據中建模和學習的框架，近年來取得了巨大的成功。DL功能強大，具有很大的靈活性，但缺乏PGM的可解釋性和校準性。

本文研究了深度概率圖建模(DPGM)。DPGM通過利用DL使PGM更加靈活。DPGM帶來了從數據中學習的新方法，這些方法展示了PGM和DL的優點。

我們在PGM中使用DL來構建具有可解釋潛在結構的靈活模型。我們提出一系列模型擴展指數族主成分分析(EF-PCA)，使用神經網絡提高預測性能，同時加強潛在因素的可解釋性。我們引入的另一個模型類支持在建模順序數據時考慮長期依賴關系，這在使用純DL或PGM方法時是一個挑戰。該序列數據模型類已成功應用于語言建模、情感分析的無監督文檔表示學習、會話建模和醫院再入院預測的患者表示學習。最后，DPGM成功地解決了概率主題模型的幾個突出問題。

在PGM中利用DL也帶來了學習復雜數據的新算法。例如，我們開發了熵正則化對抗學習，這是一種與PGM中使用的傳統最大似然方法不同的學習范式。從DL的角度來看，熵正則化對抗學習為生成式對抗網絡長期存在的模式崩潰問題提供了一種解決方案。

向量嵌入模型是現代機器學習知識表示和推理方法的基石。這些方法旨在通過在低維向量空間中學習概念和其他領域對象的表示，將語義問題轉化為幾何問題。本著這種精神，這項工作提倡基于密度和區域的表示學習。將領域元素作為幾何對象嵌入到單點之外，使我們能夠自然地表示廣度和一詞多義，進行不對稱比較，回答復雜的查詢，并在標記數據稀缺時提供強烈的歸納偏見。我們提出了一個使用高斯密度的詞表示模型，實現了概念之間的不對稱隱含判斷，以及一個基于軸對齊超矩形表示(盒)格的加權傳遞關系和多元離散數據的概率模型。我們將探討這些嵌入方法在不同的稀疏性、邊緣權值、相關性和獨立結構的適用性，以及表示的擴展和不同的優化策略。我們從理論上研究了盒格的表示能力，并提出了擴展模型來解決在建模困難的分布和圖方面的不足。

深度學習在實踐中的顯著成功，從理論的角度揭示了一些重大的驚喜。特別是，簡單的梯度方法很容易找到非凸優化問題的接近最優的解決方案，盡管在沒有任何明確的努力控制模型復雜性的情況下，這些方法提供了近乎完美的訓練數據，這些方法顯示了優秀的預測精度。我們推測這些現象背后有特定的原理: 過度參數化允許梯度方法找到插值解，這些方法隱含地施加正則化，過度參數化導致良性過擬合，也就是說，盡管過擬合訓練數據，但仍能準確預測。在這篇文章中，我們調查了統計學習理論的最新進展，它提供了在更簡單的設置中說明這些原則的例子。我們首先回顧經典的一致收斂結果以及為什么它們不能解釋深度學習方法的行為方面。我們在簡單的設置中給出隱式正則化的例子，在這些例子中，梯度方法可以得到完美匹配訓練數據的最小范數函數。然后我們回顧顯示良性過擬合的預測方法，關注二次損失的回歸問題。對于這些方法，我們可以將預測規則分解為一個用于預測的簡單組件和一個用于過擬合的尖狀組件，但在良好的設置下，不會損害預測精度。我們特別關注神經網絡的線性區域，其中網絡可以用一個線性模型來近似。在這種情況下，我們證明了梯度流的成功，并考慮了雙層網絡的良性過擬合，給出了精確的漸近分析，精確地證明了過參數化的影響。最后，我們強調了在將這些見解擴展到現實的深度學習設置中出現的關鍵挑戰。

//www.zhuanzhi.ai/paper/324cdbb68665c1675a05bc147210d8c8

基于最近關于非凸優化算法在訓練深度神經網絡和數據分析中的其他優化問題中的應用，我們對非凸優化算法全局性能保證的最新理論成果進行了綜述。我們從經典的論證開始，證明一般的非凸問題不可能在合理的時間內得到有效的解決。然后，我們給出了一個可以通過盡可能多地利用問題的結構來尋找全局最優解的問題列表。處理非凸性的另一種方法是將尋找全局最小值的目標放寬到尋找一個平穩點或局部最小值。對于這種設置，我們首先給出確定性一階方法收斂速度的已知結果，然后是最優隨機和隨機梯度格式的一般理論分析，以及隨機一階方法的概述。然后，我們討論了相當一般的一類非凸問題，如α-弱擬凸函數的極小化和滿足Polyak- Lojasiewicz條件的函數，這些函數仍然可以得到一階方法的理論收斂保證。然后我們考慮非凸優化問題的高階、零階/無導數方法及其收斂速度。

盡管它在機器學習中有重要的應用，非凸非凹目標的最小-最大優化仍然是難以實現的。不僅沒有已知的一階方法收斂甚至近似局部最小最大點，而且識別它們的計算復雜度也不為人所知。本文給出了非凸非凹目標和線性約束的約束最小-最優優化問題的計算復雜度，以及一階方法的局限性。

//arxiv.org/abs/2009.09623

非凸優化是機器學習中的基礎問題，迭代優化方法缺乏理論支撐。普林斯頓大學助理教授Yuxin Chen一直從事非凸優化方面的研究，這份報告講述了最近關于非凸統計估計的故事，它們強調了統計模型在實現有效的非凸優化中的重要作用。

Yuxin Chen 目前是普林斯頓大學電氣工程系的助理教授。在加入普林斯頓大學之前，他是斯坦福大學統計系的博士后學者，并在斯坦福大學完成了電子工程博士學位。他的研究興趣包括高維統計、凸與非凸優化、統計學習和信息論。他獲得了2019年AFOSR青年研究員獎。

//www.princeton.edu/~yc5/

非凸優化與統計學

近年來，利用非凸優化方法來解決統計估計和學習問題的研究工作層出不窮。由于非凸優化算法易受虛假局部極小值的影響，傳統工作通常對其持悲觀看法，而簡單的迭代方法，如梯度下降法，在實踐中已經取得了顯著的成功。然而，直到最近，這些理論基礎在很大程度上一直缺乏。這個報告展示了兩個最近關于非凸統計估計的故事，它們強調了統計模型在實現有效的非凸優化中的重要作用。第一個故事是關于一個相位檢索問題的隨機初始化非凸方法:即使沒有仔細的初始化，像梯度下降這樣的簡單算法也可以在對數迭代次數內找到全局解。第二個故事是關于非凸低秩矩陣補全的不確定性量化。我們在非凸估計的基礎上開發了一個去偏估計器，使未知矩陣缺失項的置信區間能得到最優構造。所有這些都是通過一個“一留一出”的統計分析框架實現的，該框架在處理和解耦復雜的統計依賴方面非常強大。

本備忘單是機器學習手冊的濃縮版，包含了許多關于機器學習的經典方程和圖表，旨在幫助您快速回憶起機器學習中的知識和思想。

這個備忘單有兩個顯著的優點:

1. 清晰的符號。數學公式使用了許多令人困惑的符號。例如，X可以是一個集合，一個隨機變量，或者一個矩陣。這是非常混亂的，使讀者很難理解數學公式的意義。本備忘單試圖規范符號的使用，所有符號都有明確的預先定義，請參見小節。

2. 更少的思維跳躍。在許多機器學習的書籍中，作者省略了數學證明過程中的一些中間步驟，這可能會節省一些空間，但是會給讀者理解這個公式帶來困難，讀者會在中間迷失。