亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

注意力是一種重要的機制，可用于跨許多不同領域和任務的各種深度學習模型。這項綜述提供了一個關于深度學習注意力機制的重要概述。各種注意力機制通過一個由注意力模型，統一符號，和一個全面的分類注意力機制組成的框架來進行解釋。在此基礎上，本文綜述了注意力模型評價的各種方法，并討論了基于該框架的注意力模型結構表征方法。最后，對注意力模型領域的未來工作進行了展望。

1. 引言

**模擬人類注意力的想法最早出現在計算機視覺領域[1]，[2]，試圖通過引入一個只關注圖像特定區域而不是整個圖像的模型來降低圖像處理的計算復雜度，同時提高性能。然而，我們今天所知道的注意力機制的真正起點通常是源于自然語言處理領域[3]。Bahdanau等人的[3]在機器翻譯模型中實現了注意力，以解決循環神經網絡結構中的某些問題。在Bahdanau等人的[3]強調了注意力的優點后，注意力技術得到了改進，[4]，并迅速流行于各種任務，如文本分類[5]、[6]、圖像字幕[7]、[8]、情感分析[6]、[9]，以及語音識別[10]、[11]、[12]。

注意力已經成為深度學習中的一種流行技術，原因有幾個。首先，整合了注意力機制的模型在上述所有任務和許多其他任務中都獲得了最先進的結果。此外，大多數注意力機制可以與基本模型聯合訓練，如使用規則反向傳播[3]的循環神經網絡或卷積神經網絡。此外，attention向神經網絡模型[8]引入了一種特定類型的解釋，這種解釋通常被認為非常復雜。此外，Transformer模型[13]的引入進一步證明了注意力的有效性，進一步提高了注意力機制的受歡迎程度。注意力最初是作為循環神經網絡[14]的擴展而引入的。然而，在[13]中提出的Transformer模型是注意力研究的一個重大發展，因為它證明了注意力機制足以建立一個最先進的模型。這意味著可以避免一些缺點，比如遞歸神經網絡特別難以并行化的事實。就像引入最初的注意力機制[3]一樣，Transformer模型是為機器翻譯創建的，但很快就被用于其他任務，如圖像處理[15]、視頻處理[16]和推薦系統[17]。

本綜述的目的是解釋注意力的一般形式，并提供一個在深度學習注意力技術的全面概述。關于注意力模型的其他綜述已經發表。例如，在[18]中，給出了計算機視覺中注意力的調研，[19]提供了圖模型中注意力的概述，[20]，[21]，[22]都是自然語言處理中注意力的調研。本文部分地建立在上述綜述所提供的資料之上。本綜述與前面提到的綜述的主要區別在于，其他的綜述一般都關注某個領域內的注意力模型。然而，這項綜述提供了一個跨領域的注意力技術概述。我們將以一種通用的方式討論注意力技術，使它們能夠被理解并應用于各種領域。此外，我們發現以往研究中提出的分類方法缺乏恰當區分各種注意力機制所需的深度和結構。此外，某些重要的注意力技巧在以前的綜述中還沒有得到適當的討論，而其他提出的注意力機制似乎缺乏技術細節或直觀的解釋。因此在本文中，我們通過使用統一符號的單一框架，結合技術和直觀的解釋，提出了重要的注意力技術，并對注意力機制進行了全面的分類。 本文的結構如下:第2節介紹了一個一般的注意力模型，為讀者提供了一個基本的了解注意力的屬性和如何應用它。本文的主要貢獻之一是在第3節中介紹的注意力技術的分類。在本節中，將根據所提供的分類法對注意機制進行解釋和分類。第4節概述了評估注意力模型的性能測量和方法。此外，該分類方法還用于評價各種注意模型的結構。最后，在第五部分，我們給出了結論和進一步研究的建議。

2. 通用注意力模型

本節介紹一種注意力一般性與相應的符號。這里介紹的符號是基于[23]中引入并在[13]中普及的符號。本節中介紹的框架將在本文的其余部分中使用。為了實現一個通用的注意力模型，首先需要描述一個可以使用注意力的模型的一般特征。首先，我們將完整的模型稱為任務模型，其結構如圖1所示。這個模型只接受一個輸入，執行指定的任務，并產生所需的輸出。例如，任務模型可以是一種語言模型，它將一段文本作為輸入，并將內容摘要、情緒分類或逐字翻譯成另一種語言的文本作為輸出。或者，任務模型可以獲取圖像，并為該圖像生成標題或分割。任務模型由四個子模型組成: 特征模型、查詢模型、注意力模型和輸出模型。在2.1小節中，我們討論了特征模型和查詢模型，它們是用來為注意力計算準備輸入的。在2.2小節中，我們討論了注意力模型和輸出模型，它們與產生輸出有關。

3. 注意力分類法**

有許多不同類型的注意力機制和擴展，一個模型可以使用這些注意技術的不同組合。因此，我們提出了一種分類法，可以用來對不同類型的注意機制進行分類。圖3提供了不同類別和子類別的視覺概述，注意力機制可以涵蓋在其中。基于是否關注技術是設計來處理特定類型的特征向量(相關特性),特定類型的模型查詢(查詢相關),或者它僅僅是一個通用的機制, 分成三大類。這些類別及其子類別的進一步解釋將在下面的小節中提供。本節中討論的每一種機制要么是對第2節中介紹的一般注意模塊現有內部機制的修改，要么是對其的擴展。

注意力機制分類法

特征相關注意力機制

**基于特定的一組輸入數據，特征模型提取特征向量，從而使注意力模型能夠關注這些不同的向量。這些特征可能具有特定的結構，需要特殊的注意力機制來處理它們。可以對這些機制進行分類，以處理以下特征特征之一: 特征的多樣性、特征的級別或特征的表示。

通用注意力機制

這個主要的類別包括了可以應用于任何類型的注意力模型的注意力機制。該組件的結構可以分解為以下幾個子方面:注意力評分函數、注意力對齊和注意力維度。

查詢相關的注意力機制查詢是任何注意力模型的重要組成部分，因為它們直接決定從特征向量中提取哪些信息。這些查詢基于任務模型的期望輸出，可以解釋為文字問題。有些查詢具有特定的特征，需要特定類型的機制來處理它們。因此，這一類封裝了處理特定類型查詢特征的注意力機制。這一類中的機制處理以下兩個查詢特征之一:查詢的類型或查詢的多樣性。**

4. 注意力模型評價

在本節中，我們介紹了各種類型的注意力模型的評估。首先，我們可以使用第3節中介紹的分類法來評估注意力模型的結構。對于這樣的分析，我們考慮注意力機制類別(見圖3)作為模型的正交維數。可以通過確定模型對每個類別使用的機制來分析模型的結構。表3提供了文獻中發現的注意模型的概述，并基于模型實現的注意力機制進行了相應的分析。其次，我們討論了評價注意力模型表現的各種技術。注意力模型的性能可以通過外部或內部性能測量來評估，這將分別在第4.1和4.2小節中討論。

5. 結論

本研究綜述了近年來關于深度學習中的注意力模型的研究進展。注意力機制已經成為深度學習模型的一個顯著發展，因為它們已經表明可以顯著提高模型性能，在幾個研究領域的各種任務中產生了最先進的結果。我們提出了一個全面的分類，可以用來分類和解釋不同數量的注意力機制提出的文獻。分類法的組織基于任務模型的結構，該任務模型由一個特征模型、一個注意力模型、一個查詢模型和一個輸出模型組成。此外，還使用基于查詢、鍵和值的框架討論了注意力機制。最后，我們展示了如何使用外在和內在的測量方法來評估注意力模型的表現，以及如何使用分類方法來分析注意力模型的結構。

參考文獻：

[1] H. Larochelle and G. E. Hinton, “Learning to combine foveal glimpses with a third-order Boltzmann machine,” in 24th Annual Conference in Neural Information Processing Systems (NIPS 2010). Curran Associates, Inc., 2010, pp. 1243–1251. [2] V. Mnih, N. Heess, A. Graves, and k. kavukcuoglu, “Recurrent models of visual attention,” in 27th Annual Conference on Neural Information Processing Systems (NIPS 2014). Curran Associates, Inc., 2014, pp. 2204–2212.

//inferentialthinking.com/chapters/intro.html

數據科學是通過探索、預測和推理，從龐大而多樣的數據集中得出有用的結論。探索包括識別信息中的模式。預測是指利用我們已知的信息，對我們希望知道的值做出有根據的猜測。推論包括量化我們的確定性程度:我們發現的那些模式是否也會出現在新的觀察中?我們的預測有多準確?我們用于探索的主要工具是可視化和描述性統計，用于預測的是機器學習和優化，用于推斷的是統計測試和模型。統計學是數據科學的核心組成部分，因為統計學研究如何在不完整的信息下得出可靠的結論。計算是一個核心組件，因為編程允許我們將分析技術應用于現實世界中出現的大量和多樣化的數據集:不僅是數字，還有文本、圖像、視頻和傳感器讀數。數據科學包含了所有這些東西，但由于應用，它不僅僅是各部分的總和。通過理解一個特定的領域，數據科學家學會對他們的數據提出適當的問題，并正確解釋我們的推理和計算工具提供的答案。

通過本書一步一步地，您將學習如何利用算法思維和代碼的力量，獲得關于當前機器學習方法的力量和局限性的直覺，并有效地將它們應用到實際的業務問題。

由于神經網絡的日益普及，對神經網絡預測的信心變得越來越重要。然而，基本的神經網絡不會給出確定性估計，也不會受到信心過度或不足的影響。許多研究人員一直致力于理解和量化神經網絡預測中的不確定性。因此，不同類型和來源的不確定性已被識別，并提出了各種方法來測量和量化神經網絡中的不確定性。本工作對神經網絡中的不確定性估計進行了全面的概述，綜述了該領域的最新進展，突出了當前的挑戰，并確定了潛在的研究機會。它旨在給任何對神經網絡中的不確定性估計感興趣的人一個廣泛的概述和介紹，而不預設在這一領域有先驗知識。對不確定性的主要來源進行了全面的介紹，并將它們分為可約模型不確定性和不可約數據不確定性。本文介紹了基于確定性神經網絡、貝葉斯神經網絡、神經網絡集成和測試時間數據增強等方法對這些不確定性的建模，并討論了這些領域的不同分支和最新進展。對于實際應用，我們討論不確定性的不同措施，校準神經網絡的方法，并給出現有基線和實現的概述。來自不同領域廣泛挑戰的不同例子，提供了實際應用中有關不確定性的需求和挑戰的概念。此外，討論了當前用于任務和安全關鍵的現實世界應用的方法的實際限制，并展望了未來的步驟，以更廣泛地使用這些方法。

//www.zhuanzhi.ai/paper/9a9009dae03438c7a71e0bc1b54de0fa

這本書提供了一個廣泛的不確定性決策的算法介紹。我們涵蓋了與決策相關的各種主題，介紹了潛在的數學問題公式和解決它們的算法。

本文面向高級本科生、研究生和專業人員。本書要求具有一定的數學基礎，并假定預先接觸過多變量微積分、線性代數和概率概念。附錄中提供了一些復習材料。這本書特別有用的學科包括數學、統計學、計算機科學、航空航天、電氣工程和運籌學。

這本教科書的基礎是算法，它們都是用Julia編程語言實現的。這本允許免費使用與本書相關的代碼片段，條件是必須確認代碼的來源。我們預計其他人可能想把這些算法翻譯成其他編程語言。隨著翻譯版本的發布，我們將從該書的網頁上鏈接到它們。

許多重要的問題都涉及不確定性下的決策，包括飛機碰撞避免、災害管理和災難反應。在設計自動化決策系統或決策支持系統時，在做出或推薦決策時考慮各種不確定性來源是很重要的。考慮到這些不確定性的來源并仔細平衡系統的多個目標是非常具有挑戰性的。我們將從計算的角度討論這些挑戰，旨在提供決策模型和計算方法背后的理論。本章介紹了不確定性下的決策問題，提供了一些應用實例，并概述了可能的計算方法的空間。本章總結了各種學科對我們理解智能決策的貢獻，并強調了潛在社會影響的領域。我們以本書其余部分的大綱結束。

//algorithmsbook.com/

Introduction

• PART I: PROBABILISTIC REASONING Representation
• PART II: SEQUENTIAL PROBLEMS Exact Solution Methods
• PART III: MODEL UNCERTAINTY Exploration and Exploitation
• PART V: MULTIAGENT SYSTEMS Multiagent Reasoning

在優化和決策過程中，不確定性量化(UQ)在減少不確定性方面起著至關重要的作用。它可以應用于解決科學和工程中的各種實際應用。貝葉斯逼近和集成學習技術是目前文獻中使用最廣泛的兩種UQ方法。在這方面，研究者們提出了不同的UQ方法，并在計算機視覺(如自動駕駛汽車和目標檢測)、圖像處理(如圖像恢復)、醫學圖像分析(如醫學圖像分類和分割)、自然語言處理(如文本分類、社交媒體文本和再犯風險評分)、生物信息學得到廣泛應用。本研究綜述了UQ方法在深度學習中的最新進展。此外，我們還研究了這些方法在強化學習(RL)中的應用。然后，我們概述了UQ方法的幾個重要應用。最后，我們簡要地強調了UQ方法面臨的基本研究挑戰，并討論了該領域的未來研究方向。

//arxiv.org/abs/2011.06225

摘要:

在日常情景中，我們處理很多領域的不確定性，從投資機會和醫療診斷到體育比賽和天氣預報，目的是根據收集的觀察和不確定的領域知識進行決策。現在，我們可以依靠使用機器和深度學習技術開發的模型來量化不確定性來完成統計推斷[1]。在人工智能(AI)系統使用[2]之前，對其效能進行評估是非常重要的。這種模型的預測具有不確定性，除了存在不確定性的歸納假設外，還容易出現噪聲和錯誤的模型推斷。因此，在任何基于人工智能的系統中，以一種值得信賴的方式表示不確定性是非常可取的。通過有效地處理不確定性，這樣的自動化系統應該能夠準確地執行。不確定性因素在人工智能中扮演著重要的角色

不確定性的來源是當測試和訓練數據不匹配，由于類重疊或由于數據[6]中存在噪聲而產生的不確定性。估計知識的不確定性要比數據的不確定性困難得多，數據的不確定性自然是通過極大似然訓練來度量的。預測中的不確定性來源對于解決不確定性估計問題[7]至關重要。不確定性有兩個主要來源，在概念上稱為aleatoric和epistemic不確定性8。

數據中的不可約不確定性導致預測中的不確定性是一種可選不確定性(也稱為數據不確定性)。這種類型的不確定性不是模型的屬性，而是數據分布的固有屬性;因此它是不可約的。不確定性的另一種類型是認知不確定性(也稱為知識不確定性)，它是由于知識和數據的不足而產生的。人們可以定義模型來回答基于模型預測中的不同人類問題。在數據豐富的情況下，有大量的數據收集，但它可能是信息差的[10]。在這種情況下，可以使用基于人工智能的方法定義有效的模型，表征數據特征。通常這些數據是不完整的，有噪聲的，不一致的和多模態的[1]。

不確定性量化(UQ)是當今許多關鍵決策的基礎。沒有UQ的預測通常是不可靠和不準確的。為了理解深度學習(DL)[11]，[12]過程生命周期，我們需要理解UQ在DL中的作用。DL模型首先收集可用于決策過程的最全面和潛在相關的數據集。DL場景的設計是為了滿足某些性能目標，以便在使用標記數據訓練模型之后選擇最合適的DL架構。迭代訓練過程優化不同的學習參數，這些參數將被“調整”，直到網絡提供令人滿意的性能水平。

在涉及的步驟中，有幾個不確定因素需要加以量化。很明顯的不確定性這些步驟如下:(i)選擇和訓練數據的集合,(ii)訓練數據的完整性和準確性,(3)理解DL(或傳統機器學習)模型與性能范圍及其局限性,和(iv)不確定性對應基于操作數據的性能模型[13]。數據驅動的方法，如與UQ相關的DL提出了至少四組重疊的挑戰:(1)缺乏理論，(2)缺乏臨時模型，(3)對不完美數據的敏感性，以及(4)計算費用。為了緩解這些挑戰，有時會采用模型變異性研究和敏感性分析等特殊解決方案。不確定性估計和量化在數字學習和傳統機器學習中得到了廣泛的研究。在下面，我們提供一些最近的研究的簡要總結，這些研究檢驗了處理不確定性的各種方法的有效性。

圖2給出了三種不同不確定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意圖比較。此外，不確定性感知模型(BNN)與OoD分類器的兩種圖形表示如圖3所示。

在大數據時代，ML和DL，智能使用不同的原始數據有巨大的潛力，造福于廣泛的領域。然而，UQ在不同的ML和DL方法可以顯著提高其結果的可靠性。Ning等人總結并分類了不確定性下數據驅動優化范式的主要貢獻。可以看出，本文只回顧了數據驅動的優化。在另一項研究中，Kabir等人[16]回顧了基于神經網絡的UQ。作者關注概率預測和預測區間(pi)，因為它們是UQ文獻中最廣泛使用的技術之一。

我們注意到，從2010年到2020年(6月底)，在各個領域(如計算機視覺、圖像處理、醫學圖像分析、信號處理、自然語言處理等)發表了超過2500篇關于AI中UQ的論文。與以往UQ領域的文獻綜述不同，本研究回顧了最近發表的使用不同方法定量AI (ML和DL)不確定性的文章。另外，我們很想知道UQ如何影響真實案例，解決AI中的不確定性有助于獲得可靠的結果。與此同時，在現有的研究方法中尋找重要的談話是一種很好的方式，為未來的研究指明方向。在這方面，本文將為ML和DL中UQ的未來研究人員提供更多的建議。我們調查了UQ領域應用于ML和DL方法的最新研究。因此，我們總結了ML和DL中UQ的一些現有研究。值得一提的是，本研究的主要目的并不是比較提出的不同UQ方法的性能，因為這些方法是針對不同的數據和特定的任務引入的。由于這個原因，我們認為比較所有方法的性能超出了本研究的范圍。因此，本研究主要關注DL、ML和強化學習(RL)等重要領域。因此，本研究的主要貢獻如下:

• 據我們所知，這是第一篇關于ML和DL方法中使用的UQ方法的全面綜述論文，值得該領域的研究人員使用。
• 對新提出的UQ方法進行了全面調研。
• 此外，UQ方法的重要應用的主要類別也進行了介紹
• 指出了UQ方法的主要研究空白。
• 最后，討論了很少確定的未來發展方向。

決策理論是現代人工智能和經濟學的基礎。本課程主要從統計學的角度，也從哲學的角度，為決策理論打下堅實的基礎。本課程有兩個目的:

• 深入了解統計決策理論、實驗設計的自動化方法，并將其與人類決策聯系起來。
• 通過開發算法和智能代理的實驗，將該理論應用到強化學習和人工智能的實際問題中。

課程可分為兩部分。

• 第一部分，我們介紹了主觀概率和效用的概念，以及如何用它們來表示和解決決策問題。然后討論未知參數的估計和假設檢驗。最后，我們討論了順序抽樣、順序實驗，以及更一般的順序決策。

• 第二部分是不確定性下的決策研究，特別是強化學習和專家咨詢學習。首先，我們研究幾個有代表性的統計模型。然后，我們給出了使用這些模型做出最優決策的算法的概述。最后，我們來看看學習如何根據專家的建議來行動的問題，這個領域最近在在線廣告、游戲樹搜索和優化方面有很多應用。