亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

如何對不同設置下的序列數據建模是一個跨許多領域的重要機器學習問題，包括對時間序列數據、自然語言文本和事件流的預測。不同字段中的順序數據通常具有不同的特征。例如，自然語言文本可以被視為一個離散變量的序列，而傳感器網絡信號可以被視為一個連續向量空間中的多變量序列。為了在各種各樣的現實世界領域中開發成功的神經網絡模型，我們需要根據數據和問題的性質定制架構和算法。本文設計了新穎高效的神經網絡解決方案，用于序列建模和應用。具體來說，這些貢獻可以分為四部分。

第一部分重點研究了多變量序列數據中變量之間的相關性，如多傳感器的時間序列，并提出了新的算法，即深度可分圖卷積網絡(DSGC)(第二章)[60]和分解遞歸神經網絡(FRNN)(第三章)[63]，以利用相關模式，提高預測精度。

第二部分側重于將人類先驗知識用于時序數據依賴模式的時間建模。具體地說，我們提出了一種新的方法，命名為長期和短期時間序列網絡(LSTNet)(第4章)[59]，它被證明是特別有效的捕獲各種周期模式在不同的應用。

第三部分著重于序列分類任務中Transformers 的高效算法。具體來說，通過識別常用的Transformer架構中的計算冗余，并提出一種新的替代方案，即漏斗Transformers (第5章)[27]，我們實現了更好的計算與精度之間的權衡。

第四部分側重于事件之間時間關系的建模/預測，其中的主要挑戰是從稀疏標記的數據中有效學習。我們通過結合高級數據增強、半監督學習和人類先驗知識的引入來應對這一挑戰(第6章)。因此，我們大大提高了這項任務的最先進性能。

人工智能(AI)系統可以被定義為像人類一樣理性思考和行動的系統(Bellman, 1978; Kurzweil et al., 1990; Schalkoff, 1991; Rich and Knight, 1992; Winston, 1992; Haugeland, 1997; Russell and Norvig, 2005)。雖然這個詞在1956年著名的達特茅斯會議上被正式創造出來(McCarthy et al., 2006; Woo, 2014)，追溯到亞里士多德和柏拉圖的哲學家都在考慮制定法則來管理大腦的理性部分。創造智能系統的想法激發了神話的靈感，比如塔洛斯的故事，神創造了一個巨大的青銅機器人，它攜帶著神秘的生命來源，守護著克里特島(Shashkevich, 2019)。從那時起，心理學家、行為學家、認知科學家、語言學家和計算機科學家一直支持各種理解智能和開發人工智能系統的方法。

對當前機器學習系統的一個關鍵批評是，它們往往是數據饑渴的(Marcus, 2018;福特,2018)。以GPT-3模型(Brown et al.， 2020)為例，這是一個大規模的語言模型，使用來自文本數據源的300B令牌進行訓練，這些文本數據源包括Common Crawl corpus (Raffel et al.， 2019)(過濾和清洗后的570 GB數據)、WebText (Radford et al.， 2019)、兩個基于互聯網的圖書語料庫和Wikipedia頁面。這些數據集必須經過管理和處理，才能為訓練模型提供有意義的學習信號。雖然最近在自監督學習方面的進展已經減少了對大規模、干凈和標記良好的數據集的依賴，但我們仍然需要考慮訓練前的大規模模型的時間和成本。例如，GPT-3模型使用的計算相當于3.14e 23 flops2，在單個NVIDIA Tesla V100 GPU上訓練GPT-3需要355年。ML系統的樣本效率明顯落后于人工，使得它們的開發和部署成本很高。

終身學習范式是人工智能的一個分支，它專注于開發終身學習系統——這種系統在一生中不斷積累新知識，而不忘記先前的知識，并使用這些積累的知識來提高他們在不同任務中的表現。我們要強調的是，終身學習模式不僅適用于多任務設置，也適用于單任務設置。終身學習是一種普遍的設置，因為它對任務(或任務)的假設較少。考慮一個標準的單任務監督學習設置，學習者可以在開始訓練之前訪問整個數據集。在這種情況下，學習者可以對數據集執行多個epoch，對每個epoch的數據進行變換，以保持數據分布i.i.d(獨立和同分布)。然而，在這個設置中有許多隱含的假設—因為我們事先可以訪問數據集，所以我們知道數據集中存在多少唯一的類。我們也可以訪問類的分布，并可以以不同的方式衡量類。我們還可以對數據進行多采樣/少采樣。雖然這些假設使訓練的設置變得可行，但它們也使更一般的開放式學習設置偏離了設置。如果我們不假設訪問數據集(甚至是獨特類的數量)，人工智能系統將不得不應對挑戰，如在看到新類時修改網絡架構，在訓練新數據點時不忘記舊數據點，以及在新數據不斷輸入時潛在地增加系統的容量。所有這些挑戰都是在終身學習的范式下研究的。

本入門書試圖對終身學習的不同方面提供一個詳細的總結。我們從第2章開始，它提供了終身學習系統的高級概述。在本章中，我們討論了終身學習的主要場景(2.4節)，介紹了不同終身學習方法的高層次組織(2.5節)，列舉了理想的終身學習系統(2.6節)，討論了終身學習與其他學習模式的關系(2.7節)，描述了用于評估終身學習系統的常用指標(2.8節)。這一章對終身學習的新讀者更有用，并希望在不關注具體方法或基準的情況下了解該領域。

其余章節集中在特定方面(學習算法或基準)，對于尋找特定方法或基準的讀者更有用。第3章主要討論基于正則化的方法，這種方法不需要從以前的任務中訪問任何數據。第四章討論了基于記憶的方法，通常使用重放緩沖區或情景內存來保存不同任務的數據子集。第5章集中討論了不同的體系結構家族(及其實例)，這些體系結構家族被提議用于訓練終身學習系統。在這些不同類別的學習算法之后，我們討論了終身學習常用的評估基準和指標(第6章)，并在第7章結束了對未來挑戰和重要研究方向的討論。

其余章節集中在特定方面(學習算法或基準)，對于尋找特定方法或基準的讀者更有用。第3章主要討論基于正則化的方法，這種方法不需要從以前的任務中訪問任何數據。第四章討論了基于記憶的方法，通常使用重放緩沖區或情景內存來保存不同任務的數據子集。第五章集中討論了不同的體系結構家族(及其實例)，這些體系結構家族被提議用于訓練終身學習系統。在這些不同類別的學習算法之后，我們討論了終身學習常用的評估基準和指標(第6章)，并在第7章結束了對未來挑戰和重要研究方向的討論。

科學用實驗來驗證關于世界的假設。統計學提供了量化這一過程的工具，并提供了將數據(實驗)與概率模型(假設)聯系起來的方法。因為世界是復雜的，我們需要復雜的模型和復雜的數據，因此需要多元統計和機器學習。具體來說，多元統計(與單變量統計相反)涉及隨機向量和隨機矩陣的方法和模型，而不僅僅是隨機單變量(標量)變量。因此，在多元統計中，我們經常使用矩陣表示法。與多元統計(傳統統計學的一個分支)密切相關的是機器學習(ML)，它傳統上是計算機科學的一個分支。過去機器學習主要集中在算法上，而不是概率建模，但現在大多數機器學習方法都完全基于統計多元方法，因此這兩個領域正在收斂。多變量模型提供了一種方法來學習隨機變量組成部分之間的依賴關系和相互作用，這反過來使我們能夠得出有關興趣的潛在機制的結論(如生物或醫學)。

兩個主要任務: 無監督學習(尋找結構，聚類) 監督學習(從標記數據進行訓練，然后進行預測)

挑戰: 模型的復雜性需要適合問題和可用數據， 高維使估計和推斷困難 計算問題。

最近，高度成功但不透明的機器學習模型激增，這引發了對可解釋性的迫切需求。該畢業論文通過新穎的定義、方法和科學綜述解決了可解釋性問題，確保可解釋性在現實問題的背景下是有用的。我們首先定義什么是可解釋性，以及圍繞它的一些需求，強調語境的作用被低估。然后，我們深入研究解釋/改進神經網絡模型的新方法，專注于如何最好地評分、使用和提取交互。接下來，我們將從神經網絡轉向相對簡單的基于規則的模型，研究如何在維護極其簡潔的模型的同時提高預測性能。最后，我們總結了促進可解釋數據科學的開源軟件和數據的工作。在每個案例中，我們深入到一個特定的背景，這激發了所提出的方法論，從宇宙學到細胞生物學到醫學。所有代碼都可以在github.com/csinva上找到。

本論文工作

機器學習模型最近因其準確預測各種復雜現象的能力而受到相當大的關注。然而，人們越來越認識到，除了預測之外，這些模型還能夠產生關于數據中包含的領域關系的有用信息(即解釋)。更準確地說，可解釋機器學習可以定義為“從機器學習模型中提取有關數據中包含的關系或該模型學習到的關系的相關知識”186。解釋有其自身的用途，如醫學[153]、科學[13,278]和決策[37]，以及審計預測本身，以應對監管壓力[97]和公平[74]等問題。在這些領域中，解釋已被證明有助于評估學習模型，提供修復模型的信息(如果需要)，并與領域專家[47]建立信任。然而，隨著可解釋技術的爆炸式增長[186,193,291,273,90,11,300,100]，可解釋方法在實踐中的使用引起了相當大的關注[4]。此外，我們還不清楚如何在現實環境中評估可解釋技術，以促進我們對特定問題的理解。

概述數據科學生命周期的不同階段，其中可解釋性很重要。 為此，我們首先回顧了2019年PNAS論文[186](與Jamie Murdoch、Reza Abbasi-Asl、Karl Kumbier和Bin Yu合著)之后對可解釋性的一些要求。然后我們討論了一些批判性評價解釋的方法。然后，我們闡述了新的方法，以解決機器學習模型的可解釋性的差距。至關重要的是，這種方法是在現實世界問題的背景下與領域專家一起開發和評估的。這項工作跨越了不同的層次，試圖從黑盒模型中提取洞察力，并盡可能用更簡單的模型替換它們。圖1.1顯示了本文的概述，旨在解決嚴格基于現實問題的可解釋性問題。第一部分從解釋神經網絡事后解釋的不同方法開始。這些方法使理解神經網絡中不同特征之間的相互作用成為可能，并以宇宙學參數預測為背景(第5章)。第二部分接著展示了如何使用這些解釋方法直接改善神經網絡。要么通過正則化(第6章)，要么通過蒸餾(第7章)。這在分子伙伴預測(第8章)的背景下得到了展示。接下來，第三部分介紹了用于構建高度預測的基于規則的模型的改進方法，這些模型非常簡潔，基于臨床決策規則開發問題。最后，第四部分介紹了新的開源軟件和不可解讀建模數據。

第一部分: 事后神經網絡解釋

之前的大量工作集中于為單個特征分配重要性，如圖像中的像素或文檔中的單詞。對于不同的體系結構，有幾種方法產生了特征級的重要性。它們可以分為基于梯度的[255,264,240,18]、基于分解的[185,242,17]和其他的[59,83,218,303]，方法之間有許多相似之處[10,159]。雖然已經開發了許多方法來將重要性歸因于模型輸入的單個特征，但用于理解關鍵特征之間的交互作用的工作相對較少。這些交互是解釋現代深度學習模型的關鍵部分，因為它們使結構化數據具有強大的預測性能。第一部分介紹了最近開發的兩種方法，用于提取(已經訓練過的)DNN已經學習到的特征之間的交互。第3章介紹了聚集上下文分解(ACD)，它通過貪婪地打分和組合組級重要性來生成層次重要性。這使得簡單有效地可視化哪些特性對單個預測是重要的。第4章介紹了轉換重要性(TRIM)，它允許計算模型輸入轉換交互的分數。這兩種方法都可以更好地理解宇宙參數預測(第5章)，其中的可解釋性允許人們在將模型應用于真實天文數據時相信模型的預測。

第二部分: 利用解釋改進神經網絡

在第一部分中介紹了解釋交互和轉換的方法之后，第二部分介紹了使用這些屬性直接改進模型的兩種方法。在引入和評估解釋方法時，這是一個重要且經常被忽略的步驟，它有助于用直接的用例來建立解釋的效用。

第三部分: 基于規則的可解釋建模

本節將完全脫離深度學習，而將重點放在基于規則的建模上。只要有可能，首先擬合一個簡單的模型比擬合一個復雜的模型，然后用事后的解釋來檢查它更可取。一個足夠簡單的基于規則的模型可以被完全理解，并且很容易用手模擬、記憶和推理反事實。

第四部分:開源軟件與數據

在數據科學和機器學習領域，好的開源軟件和數據存儲庫與好的想法一樣有用(如果不是更有用的話)。這一部分涵蓋了上述研究中產生的兩個python包，以及一個為開源建模而策劃的數據存儲庫。

在過去的十年里，人們對人工智能和機器學習的興趣有了相當大的增長。從最廣泛的意義上說，這些領域旨在“學習一些有用的東西”，了解生物體所處的環境。如何處理收集到的信息導致了算法的發展——如何處理高維數據和處理不確定性。在機器學習和相關領域的早期研究階段，類似的技術在相對孤立的研究社區中被發現。雖然不是所有的技術都有概率論的自然描述，但許多都有，它是圖模型的框架(圖和概率論的結合)，使從統計物理、統計、機器學習和信息理論的想法的理解和轉移。在這種程度上，現在有理由期待機器學習研究人員熟悉統計建模技術的基礎知識。這本書集中在信息處理和機器學習的概率方面。當然，沒有人說這種方法是正確的，也沒有人說這是唯一有用的方法。事實上，有人可能會反駁說，這是沒有必要的，因為“生物有機體不使用概率論”。無論情況是否如此，不可否認的是，圖模型和概率框架幫助機器學習領域出現了新算法和模型的爆炸式增長。我們還應該清楚，貝葉斯觀點并不是描述機器學習和信息處理的唯一方法。貝葉斯和概率技術在需要考慮不確定性的領域中發揮了自己的作用。

//www0.cs.ucl.ac.uk/staff/d.barber/brml/

本書結構

本書第一部分的目的之一是鼓勵計算機科學專業的學生進入這一領域。許多現代學生面臨的一個特別困難是有限的正規微積分和線性代數訓練，這意味著連續和高維分布的細節可能會讓他們離開。在以概率作為推理系統的一種形式開始時，我們希望向讀者展示他們可能更熟悉的邏輯推理和動態規劃的想法如何在概率環境中有自然的相似之處。特別是，計算機科學的學生熟悉的概念，算法為核心。然而，在機器學習中更常見的做法是將模型視為核心，而如何實現則是次要的。從這個角度來看，理解如何將一個數學模型轉換成一段計算機代碼是核心。

第二部分介紹了理解連續分布所需的統計背景，以及如何從概率框架來看待學習。第三部分討論機器學習的主題。當然，當一些讀者看到他們最喜歡的統計話題被列在機器學習下面時，他們會感到驚訝。統計學和機器學習之間的一個不同觀點是，我們最終希望構建什么樣的系統(能夠完成“人類/生物信息處理任務的機器)，而不是某些技術。因此，我認為這本書的這一部分對機器學習者來說是有用的。第四部分討論了明確考慮時間的動態模型。特別是卡爾曼濾波器被視為圖模型的一種形式，這有助于強調模型是什么，而不是像工程文獻中更傳統的那樣把它作為一個“過濾器”。第五部分簡要介紹了近似推理技術，包括隨機(蒙特卡羅)和確定性(變分)技術。

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。

近年來，機器學習取得了顯著進展，提供了一些新功能，比如創建復雜的、可計算的文本和圖像表示。這些功能催生了新產品，如基于圖像內容的圖像搜索、多種語言之間的自動翻譯，甚至是真實圖像和聲音的合成。同時，機器學習已經在企業中被廣泛采用，用于經典的用例(例如，預測客戶流失、貸款違約和制造設備故障)。

在機器學習取得成功的地方，它是非常成功的。

在許多情況下，這種成功可以歸因于對大量訓練數據的監督學習(結合大量計算)。總的來說，有監督的學習系統擅長于一項任務:預測。當目標是預測一個結果，并且我們有很多這個結果的例子，以及與它相關的特征時，我們可能會轉向監督學習。

隨著機器學習的普及，它在業務流程中的影響范圍已經從狹窄的預測擴展到決策制定。機器學習系統的結果經常被用來設定信用限額，預測制造設備故障，以及管理我們的各種新聞推送。當個人和企業試圖從這些復雜和非線性系統提供的信息中學習時，更多(和更好)的可解釋性方法已經被開發出來，這是非常重要的。

然而，僅僅基于預測的推理有一些基本的限制。例如，如果銀行提高客戶的信用額度會發生什么?這些問題不能用建立在先前觀察到的數據上的相關模型來回答，因為它們涉及到客戶選擇的可能變化，作為對信用限額變化的反應。在很多情況下，我們的決策過程的結果是一種干預——一種改變世界的行動。正如我們將在本報告中展示的，純粹相關的預測系統不具備在這種干預下進行推理的能力，因此容易產生偏差。對于干預下的數據決策，我們需要因果關系。

即使對于純粹的預測系統(這是監督學習的強項)，應用一些因果思維也會帶來好處。根據因果關系的定義，它們是不變的，這意味著它們在不同的情況和環境中都是正確的。對于機器學習系統來說，這是一個非常理想的特性，在機器學習系統中，我們經常根據我們在訓練中沒有看到的數據進行預測;我們需要這些系統具有適應性和健壯性。

因果推理和機器學習的交集是一個迅速擴展的研究領域。它已經產生了可供主流采用的功能——這些功能可以幫助我們構建更健壯、可靠和公平的機器學習系統。

本書介紹了因果推理，因為它涉及很多數據科學和機器學習工作。我們引入因果圖，著重于消除理解的概念障礙。然后我們利用這個理解來探索關于不變預測的最新想法，它給高維問題帶來了因果圖的一些好處。通過附帶的原型，我們展示了即使是經典的機器學習問題，如圖像分類，也可以從因果推理工具中受益。

【導讀】牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網絡 （Explaining Deep Neural Networks）》，系統性介紹了深度神經網絡可解釋性方面的工作，值得關注。

作者介紹：

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智能等方向。

Explaining Deep Neural Networks

深度神經網絡在計算機視覺、自然語言處理和語音識別等不同領域取得了革命性的成功，因此越來越受歡迎。然而，這些模型的決策過程通常是無法向用戶解釋的。在各種領域，如醫療保健、金融或法律，了解人工智能系統所做決策背后的原因至關重要。因此，最近研究了幾個解釋神經模型的方向。

在這篇論文中，我研究了解釋深層神經網絡的兩個主要方向。第一個方向由基于特征的事后解釋方法組成，也就是說，這些方法旨在解釋一個已經訓練過的固定模型(事后解釋)，并提供輸入特征方面的解釋，例如文本標記和圖像的超級像素(基于特征的)。第二個方向由生成自然語言解釋的自解釋神經模型組成，也就是說，模型有一個內置模塊，為模型的預測生成解釋。在這些方面的貢獻如下：

• 首先，我揭示了僅使用輸入特征來解釋即使是微不足道的模型也存在一定的困難。我表明，盡管有明顯的隱含假設，即解釋方法應該尋找一種特定的基于真實值特征的解釋，但對于預測通常有不止一種這樣的解釋。我還展示了兩類流行的解釋方法，它們針對的是不同類型的事實基礎解釋，但沒有明確地提及它。此外，我還指出，有時這兩種解釋都不足以提供一個實例上決策過程的完整視圖。

• 其次，我還介紹了一個框架，用于自動驗證基于特征的事后解釋方法對模型的決策過程的準確性。這個框架依賴于一種特定類型的模型的使用，這種模型有望提供對其決策過程的洞察。我分析了這種方法的潛在局限性，并介紹了減輕這些局限性的方法。引入的驗證框架是通用的，可以在不同的任務和域上實例化，以提供現成的完整性測試，這些測試可用于測試基于特性的后特殊解釋方法。我在一個情緒分析任務上實例化了這個框架，并提供了完備性測試s1，在此基礎上我展示了三種流行的解釋方法的性能。

• 第三，為了探索為預測生成自然語言解釋的自解釋神經模型的發展方向，我在有影響力的斯坦福自然語言推斷(SNLI)數據集之上收集了一個巨大的數據集，數據集約為570K人類編寫的自然語言解釋。我把這個解釋擴充數據集稱為e-SNLI。我做了一系列的實驗來研究神經模型在測試時產生正確的自然語言解釋的能力，以及在訓練時提供自然語言解釋的好處。

• 第四，我指出，目前那些為自己的預測生成自然語言解釋的自解釋模型，可能會產生不一致的解釋，比如“圖像中有一只狗。”以及“同一幅圖片中沒有狗”。不一致的解釋要么表明解釋沒有忠實地描述模型的決策過程，要么表明模型學習了一個有缺陷的決策過程。我將介紹一個簡單而有效的對抗性框架，用于在生成不一致的自然語言解釋時檢查模型的完整性。此外，作為框架的一部分，我解決了使用精確目標序列的對抗性攻擊的問題，這是一個以前在序列到序列攻擊中沒有解決的場景，它對于自然語言處理中的其他任務很有用。我將這個框架應用到e-SNLI上的一個最新的神經模型上，并表明這個模型會產生大量的不一致性。

這項工作為獲得更穩健的神經模型以及對預測的可靠解釋鋪平了道路。

地址： //arxiv.org/abs/2010.01496

有幾個主要的主題貫穿全書。這些主題主要是對兩個不同類別的比較。當你閱讀的時候，很重要的一點是你要明白書的不同部分適合什么類別，不適合什么類別。

統計與因果。即使有無限多的數據，我們有時也無法計算一些因果量。相比之下，很多統計是關于在有限樣本中解決不確定性的。當給定無限數據時，沒有不確定性。然而，關聯，一個統計概念，不是因果關系。在因果推理方面還有更多的工作要做，即使在開始使用無限數據之后也是如此。這是激發因果推理的主要區別。我們在這一章已經做了這樣的區分，并將在整本書中繼續做這樣的區分。

識別與評估。因果效應的識別是因果推論所獨有的。這是一個有待解決的問題，即使我們有無限的數據。然而，因果推理也與傳統統計和機器學習共享估計。我們將主要從識別因果效應(在第2章中,4和6)之前估計因果效應(第7章)。例外是2.5節和節4.6.2,我們進行完整的例子估計給你的整個過程是什么樣子。

介入與觀察。如果我們能進行干預/實驗，因果效應的識別就相對容易了。這很簡單，因為我們可以采取我們想要衡量因果效應的行動，并簡單地衡量我們采取行動后的效果。觀測數據變得更加復雜，因為數據中幾乎總是引入混雜。

假設。將會有一個很大的焦點是我們用什么假設來得到我們得到的結果。每個假設都有自己的框來幫助人們注意到它。清晰的假設應該使我們很容易看到對給定的因果分析或因果模型的批評。他們希望，清晰地提出假設將導致對因果關系的更清晰的討論。

//www.bradyneal.com/causal-inference-course

近年來，神經網絡已成為分析復雜和抽象數據模型的有力工具。然而，它們的引入本質上增加了我們的不確定性，即分析的哪些特征是與模型相關的，哪些是由神經網絡造成的。這意味著，神經網絡的預測存在偏差，無法與數據的創建和觀察的真實本質區分開來。為了嘗試解決這些問題，我們討論了貝葉斯神經網絡:可以描述由網絡引起的不確定性的神經網絡。特別地，我們提出了貝葉斯統計框架，它允許我們根據觀察某些數據的根深蒂固的隨機性和我們缺乏關于如何創建和觀察數據的知識的不確定性來對不確定性進行分類。在介紹這些技術時，我們展示了如何從原理上獲得神經網絡預測中的誤差，并提供了描述這些誤差的兩種常用方法。我們還將描述這兩種方法在實際應用時如何存在重大缺陷，并強調在使用神經網絡時需要其他統計技術來真正進行推理。