科學用實驗來驗證關于世界的假設。統計學提供了量化這一過程的工具，并提供了將數據(實驗)與概率模型(假設)聯系起來的方法。因為世界是復雜的，我們需要復雜的模型和復雜的數據，因此需要多元統計和機器學習。具體來說，多元統計(與單變量統計相反)涉及隨機向量和隨機矩陣的方法和模型，而不僅僅是隨機單變量(標量)變量。因此，在多元統計中，我們經常使用矩陣表示法。與多元統計(傳統統計學的一個分支)密切相關的是機器學習(ML)，它傳統上是計算機科學的一個分支。過去機器學習主要集中在算法上，而不是概率建模，但現在大多數機器學習方法都完全基于統計多元方法，因此這兩個領域正在收斂。多變量模型提供了一種方法來學習隨機變量組成部分之間的依賴關系和相互作用，這反過來使我們能夠得出有關興趣的潛在機制的結論(如生物或醫學)。

兩個主要任務: 無監督學習(尋找結構，聚類) 監督學習(從標記數據進行訓練，然后進行預測)

挑戰: 模型的復雜性需要適合問題和可用數據， 高維使估計和推斷困難 計算問題。

本課程向學生介紹醫療健康領域的機器學習，包括臨床數據的性質和機器學習在風險分層、疾病進展建模、精準醫療、診斷、亞型發現和改善臨床工作流程方面的使用。

摘要

可解釋的人工智能（XAI）提供了克服這一問題的手段，它基于有關深度學習（DL）算法結果的額外補充信息。雖然完全透明對于復雜的DL算法來說仍然是不可行的，但解釋有助于用戶在關鍵情況下對AI信息產品進行判斷。應該指出的是，XAI是透明度、因果關系、可信度、信心、公平、信心和隱私等方面的總稱。因此，基本的方法論是多方面的。一種已經流行的方法是局部可解釋模型-預知解釋（LIME）方法，因為它可以很好地應用于各種應用中的不同模型。在本文中，LIME算法是在戰略運營的決策建議背景下進行研究的。在簡單介紹了其概念后，介紹了文獻中的應用。然后，一個戰略博弈的場景被認為是軍事戰爭的替代環境。一個基于DL的國際象棋人工智能被做成 "可解釋的"，以評估信息對人類決定者的價值。得出了與戰略混合行動有關的結論，這反映了所提出的方法的局限性。

引言

根據設想，未來戰略戰爭的決策將在很大程度上受到基于人工智能（AI）方法的信息產品的影響。特別是混合作戰，是在一個高維和變異的環境中進行的，在這種環境中，對潛在的威脅和機會的評估是人類操作者難以掌握的，戰略規劃必須納入異質的、多功能的和高容量的數據源。因此，基于人工智能方法的算法產生的分類、預測和建議在這種復雜的場景中變得越來越重要。在過去的幾年里，人工智能的方法已經獲得了巨大的發展，有大量的創新和令人尊敬的成果，可以從大型數據集中獲得更高層次的信息。然而，深度學習（DL）方法的一個主要缺點是其固有的黑箱屬性，即由于計算模型的復雜性，其結果是不透明的。例如，后者可能有數百個層和數百萬個參數，這些參數是在訓練階段通過算法發現和優化的。因此，即使結果是準確的，用戶也沒有機會理解它或掌握輸入數據的因果部分。這反過來又會影響到用戶對輔助設備的信任，在兩個方向上都是如此。這個問題在某些民事應用中起著次要的作用，例如語音識別，它經常被應用于與設備的互動，因為除了體面的失望之外沒有潛在的風險。對于其他非常具體的任務，如手寫字符識別，DL算法的性能超出了人類的平均水平，這意味著失敗的可能性很小，因此關于因果關系的問題可能成為附屬品。然而，在許多軍事應用中，當涉及到與人工智能的互動時，人類的信任是一個關鍵問題，因為錯誤的決定可能會產生嚴重的后果，而用戶始終要負責任。這實際上是兩方面的。一方面，操作者往往需要了解人工智能產品的背景，特別是如果這些產品與他或她自己的本能相悖。另一方面，不可理解的技術會對算法信息產品產生偏見，因為很難確定在哪些條件下它會失敗。因此，適當的信任程度可能很難計算。

可解釋的人工智能（XAI）是向黑盒人工智能模型的用戶提供 "透明度"、"可解釋性 "或 "可解釋性 "的方法的集合。這些術語幾乎沒有一個共同的定義，但許多出版物提到了：

• 透明度是指人類跟蹤和理解模型創建過程的可能理解程度。這就是從數據中提取信息，轉化為推理參數的表現形式。DL前饋網絡由于其基于大數據集的迭代學習過程和錯誤向各層的遞歸傳播而缺乏這一特性。
• 可解釋性是指對模型本身的理解程度，即從輸入數據到預測結果的信息流可以被理解。由于涉及的參數數量和層的層次結構，這對標準網絡來說是不可行的。
• 可解釋性是指對特定預測結果進行解釋的可能性程度。也就是說，用戶可以看到與輸入數據的一致性，在某種程度上可以看到是否存在因果關系。

XAI不能完全 "解釋 "DL模型，然而，它為工程師或操作員提供了更好地理解特定AI產品背后的因果關系的手段。而且很多時候，這可以幫助看到，從合理的因果關系鏈暗示算法決策或預測的意義上來說，該模型是否是合理的（或不是）。因此，XAI可以成為人工智能模型工程的一個重要工具，用于安全方面的驗證，甚至用于認證過程，以及為操作員提供額外的信息，以支持明智的決策。

雖然關于XAI的大多數文獻都集中在圖像識別的方法上，但這些結果很難轉化為基于特定挑戰性競爭形勢的戰術和戰略決策領域。在本文中，我們研究了人工智能模型在棋盤評估中的可解釋性。對更復雜的軍事戰略模擬的一些影響進行了討論。

本文的結構如下。在下一節中，簡要介紹了選定的XAI方法。然后，這些方法之一（LIME）被應用于棋盤評估問題，以證明在支持信息方面的解釋的質量。在最后一節，得出了結論，并討論了對更復雜的戰爭博弈和模擬的概括。

摘要

對氣象數據進行聚類在多個方面都是一項有價值的工作。結果可以在更大的氣象預報框架內以各種方式使用，或者可以簡單地用作表征特定感興趣區域的氣候差異分析工具。這項研究提出了一種基于在大約 11 個月的長時間范圍內，溫度時間序列相似性對地理位置進行聚類的方法。為此，使用了一種利用深度學習的新興且強大的聚類技術，稱為深度表示聚類 (DRC)。此外，提出了一種時間序列特定的 DRC 算法，以解決該領域的當前差距。最后，與傳統的數值氣象預報（NWP）相比，基于深度學習的氣象預報作為一種獲得更快速預測的手段，是一個越來越普遍的研究課題。由于它們是控制大氣行為的已知物理方程，即 Navier-Stokes 方程，因此探索了將這些定律重新表述為基于物理的損失函數的概念，特別感興趣的是用這種損失函數訓練的模型是否可以勝過它的基線對應物。

圖 15：時間序列聚類方法流程圖

1 引言

氣象預報有著悠久的歷史，它植根于基本的物理原理。 20 世紀初的科學家們注意到，大氣可以被視為一種流體，因此可以使用偏微分方程 (PDE) 進行建模，并建立了描述流體特性隨時間和空間變化的物理原理 [21]。這些在氣象預報領域被稱為數值氣象預報 (NWP) 的方法隨著時間的推移有了很大的改進，目前代表了標準的氣象建模方法。然而，深度學習和機器學習方法的進步引起了人們對將數據驅動的方法應用于氣象建模和預測問題的極大興趣。此外，正在進行研究以專門解決在物理過程建模中使用深度學習方法的問題，其中與氣象一樣，通常有關于可以利用的過程的現有信息。

機器和深度學習技術（如聚類）也可用于分析氣象數據。這通常是為了將在廣泛區域內經歷相似氣象模式的時間段組合在一起，但也可以將在很長一段時間內經歷相似氣象模式的地理區域組合在一起。這兩種方法都可以幫助建立更廣泛的氣象預報框架，而后者也可以用來提供一個地區氣候差異的一般特征。

這項研究以幾種方式增加了深度學習和大氣/氣候建模領域。首先，使用一種強大的新型聚類算法，在此稱為深度表示聚類 (DRC)，將美國聚類到在時間序列形狀和氣象動態方面具有相似性的地理區域。其次，將解決當前對 DRC 研究的空白。具體來說，據我們所知，還沒有發布任何時間序列特定的 DRC 算法。相反，在處理時間序列數據時，大多數人在其聚類算法的核心使用基于歐幾里德的距離度量，這可能會產生不良結果。最后，探討了在深度學習模型中利用已知物理定律進行 24 小時氣象預報的前景。

1.1 動機與背景

1.1.1 深層氣象預報中的聚類分析

聚類

獲得準確氣象預報的復雜性和難度怎么強調都不為過。基本過程是高度非線性、混沌和非平穩的。雖然這些類型的現象可以通過神經網絡建模，但以任何方式暗示正在經歷的氣象模式類型的信息可以在更廣泛的預測框架中使用。這使一些研究人員轉向了對氣象數據進行聚類并使用聚類的性質和成員資格來通知神經網絡 [22] 的想法。此外，為了對區域氣候進行分類，對地理位置進行分組的歷史由來已久[17]。一種尚未探索的方法是直接使用時間序列數據和適當的時間序列距離度量來解釋時間序列的形狀。這樣做會產生與大氣測量結果相似的位置集群。同樣，這些結果可用于各種目的。在氣象預報框架中，這可用于構建特定于集群的模型，以了解每個集群中氣象的典型復雜行為。通過為每個集群擬合獨特的模型，他們有更好的機會通過關注這些位置的典型行為來學習在其集群中觀察到的復雜關系。聚類結果也可以更普遍地用作對一個地區的氣候進行廣泛分類的一種方式。

動力學

在某些研究領域中，時間序列分析的研究與動力系統的研究存在脫鉤。在處理氣象數據時，始終認識到每個時間序列只是較大動力系統的一維投影這一事實很重要，特別是因為我們希望部分基于每個時間序列的潛在動力學相似性來驅動集群形成地點。出于這個原因，提出的 DRC 算法特別注意驅動動態感知集群的形成。

1.1.2 時間序列的深度表示聚類

時間序列聚類

聚類時間序列數據存在一些獨特的挑戰。這源于這樣一個事實，即聚類需要使用距離度量或度量來確定點的相似性或相異性。在靜態數據的情況下，數據點或向量 x ∈ R n 表示觀察的 n 個特征，而時間序列向量 y ∈ R n 表示系統某些特征的時間測量值。測量靜態數據向量之間的相似性通常與歐幾里德距離相關聯，并且適當地如此。但是，要理解為什么這在時間數據的情況下可能會出現問題，請考慮圖 1 中的時間序列。

圖 1. 除了相位之外，兩個正弦波完全相同。如果使用歐幾里德距離進行比較，它們將被認為遠不如預期的相似。此外，時間序列質心計算通常最好使用 dtw 重心平均或其變體來完成。

雖然很明顯，這是兩個相位稍有偏移的相同正弦波，并且在聚類的情況下應該被認為是高度相似的，但歐幾里德距離會產生一種錯誤的不相似感。為了通過氣象模式的相似性對地理位置進行分組，我們的距離測量必須考慮時間變化和變化。

質心計算是許多聚類算法的另一個基本組成部分。就像歐幾里得距離會錯誤地表示兩個時間序列的真實相似性一樣，用于質心計算的算術平均值也會產生不自然的時間序列平均值。具體來說，算術平均值通常會產生一個在形狀方面嚴重扭曲的平均值，因此不能恰當地代表其組成部分。回到圖 1，可以看出算術平均曲線（綠色）是兩個正弦波形的錯誤表示，而紅色曲線是基于動態時間規整 (DTW) 的平均值，稍后將更詳細地介紹，對于這些時間序列來說是一個更好的“平均值”。

為什么選擇深度表示聚類 (DRC)？

深度表示聚類描述了一類使用神經網絡來輔助聚類任務的模型。主要方法結合了表示學習（通常通過自動編碼器）和聚類損失，以驅動形成集群友好的表示。由于該過程通常涉及表示學習，因此 DRC 非常適合高維、復雜的數據，因為它可以映射到低維表示。這在計算上和避免維度災難方面都很有用。由于這項研究的聚類任務涉及長而復雜的時間序列，DRC 是一種自然的方法。最后，M. Cuturi 和 M. Blondel 最近的研究工作產生了動態時間扭曲 (DTW) 損失的可微版本，稱為 soft-DTW [23]，這很重要，主要有兩個原因。首先，時間序列不能與標準歐幾里得距離函數在相似性方面進行適當比較。取而代之的是像 DTW 這樣的東西，或者像 soft-DTW 這樣的松弛，對于解釋形狀的相似性是必要的。其次，由于 DRC 是一種基于神經網絡的方法，因此訓練中使用的所有損失函數必須是可微的，以便通過反向傳播促進參數優化，這是標準 DTW 所缺乏的特性。由于這些原因，softDTW 的開發非常適合創建可以適當處理時間序列數據的 DRC 算法。

1.1.3 深度氣象預報

有很多理由考慮使用深度學習方法來模擬物理過程，尤其是大氣動力學。首先，傳統的 NWP 方法在計算上非常昂貴，因為相關的 PDE 必須在每個預測周期用新的初始條件和邊界條件求解。此外，增強預測能力和預測分辨率需要增加計算資源。具體來說，研究人員已經表明，將預測分辨率翻倍需要計算能力提高一個數量級 [24]。另一方面，一旦訓練了深度學習模型，獲得預測的速度相對較快。

其次，數據驅動的方法很靈活，可用于幫助從業者快速開始在沒有出現區域高分辨率 NWP 的位置進行本地化預測。這對軍隊來說是一個顯著的好處。例如，當部隊被派往建立新的前哨時，首要任務之一是建造一個機場，以便可以進行進出基地的運輸和行動。了解和預測機場內外氣象的能力對于前哨基地的成功至關重要。然而，這不僅適用于機場運營。各種任務規劃都需要準確的氣象評估，在許多此類海外環境中，沒有提供高分辨率預測的區域/本地 NWP 模型。由參謀長聯席會議發布的題為“氣象和海洋行動”的聯合出版物 3-59 [25] 明確闡述了這一點，指出其聯合氣象和海洋 (METOC) 行動的基石是準確性、一致性、相關性和及時性。為了實現準確度目標，他們指出，“METOC 數據和信息在代表當前和未來環境狀態時必須是可衡量的正確”[25]。關于及時性，他們說，“及時性原則取決于產品源自最新的可用數據，快速處理和傳播，并在適當的時間整合到規劃和執行過程中”[25]。深度學習、數據驅動的模型通過提供一種快速獲得任何給定區域的預測的方法，專門解決了準確性和及時性目標。

最后，盡管最近才成為主流研究領域，但數據驅動的方法并不排除結合已知的物理原理。原始方程提供了大氣量如何在空間和時間上相互變化的數學描述，對于手頭的問題而言是有價值的信息，而與特定的建模方法無關。這些方程可以在神經網絡訓練框架中使用，以激勵符合已知物理定律的預測。這種方法利用了這些變量之間已知的物理關系，同時也受益于深度神經網絡（DNN）提供的通用函數逼近能力[26]。

1.2 問題陳述

本研究提出了一種新穎的基于形狀、動態感知的 DRC 算法，用于在地理上而非時間上對氣象數據進行聚類。此外，我們的目標是通過利用深度學習來提高氣象預報的速度和定位，同時允許深度神經網絡利用已知的物理原理。

1.3 論文的組織

第二章將首先探討有關氣象預報的歷史、深度氣象預報的當前研究、Navier-Stokes 方程和基于物理的深度學習方法的文獻。在此之后，將討論氣象聚類、動力系統和 DRC。

第三章將介紹兩種基于軟 DTW 的 DRC 算法，這些算法在氣象數據中的應用，以及 Navier-Stokes 啟發的基于物理學的損失函數概念證明，用于氣象預報。最后，第四章和第五章將分別提供結果、結論和未來工作。

圖27：k=9 的聚類圖。僅來自自動編碼器的初始聚類結果在 (27a) 中重新顯示，兩個 epoch 訓練后的 SDTW-KM-DRC 和 SDTW-KLD-DRC 結果分別在 (27b) 和 (27c) 中顯示。

//www.worldscientific.com/page/pressroom/2018-07-31-01

這本書提供了一個機器學習和數據挖掘領域的數學分析。典型的計算機科學數學課程的數學分析部分省略了這些非常重要的思想和技術，這些思想和技術對于機器學習的專門領域是不可缺少的，以優化為中心，如支持向量機，神經網絡，各種類型的回歸，特征選擇和聚類。本書適用于研究者和研究生，他們將從書中討論的這些應用領域獲益。

數學分析可以被松散地描述為數學的一個領域，其主要對象是研究函數及其關于極限的行為。術語“函數”指的是實參數實函數的廣義集合，包括函數、運算符、測度等。在數學分析中，有幾個發展良好的領域對機器學習產生了特殊的興趣:拓撲(具有不同的風格:點集拓撲、組合拓撲和代數拓撲)，賦范和內積空間的泛函分析(包括巴拿赫和希爾伯特空間)，凸分析，優化，等等。此外，像測量和集成理論這樣的學科在統計學中發揮著至關重要的作用，這是機器學習的另一個支柱，在計算機科學家的教育中缺乏。我們的目標是為縮小這一差距做出貢獻，這是對研究感興趣的人的一個嚴重障礙。機器學習和數據挖掘文獻非常廣泛，包括各種各樣的方法，從非正式的到復雜的數學展示。然而，接近研究主題所需要的必要的數學背景通常以一種簡潔和無動機的方式呈現，或者干脆就不存在。本卷機器學習的通常介紹，并提供(通過其應用章節，討論優化，迭代算法，神經網絡，回歸，和支持向量機)的數學方面的研究。

機器學習正在醫療健康等各種關鍵應用得到實施。為了能夠信任機器學習模型，并在它出現故障時修復它，能夠解釋它的決策是很重要的。例如，如果一個模型在特定的子群體(性別、種族等)上的表現很差，找出原因并解決它是很重要的。在本文中，我們研究了現有可解釋性方法的不足，并介紹了新的ML可解釋性算法，旨在解決一些不足。數據是訓練機器學習模型的材料。如果不返回最初訓練ML模型的數據，就不可能解釋ML模型的行為。一個基本的挑戰是如何量化每個數據源對模型性能的貢獻。例如，在醫療健康和消費市場，有人提出個人應因其產生的數據而得到補償，但對個人數據的公平估值尚不清楚。在本文中，我們討論了數據公平價值評估的原則框架; 也就是說，給定一個學習算法和一個性能度量來量化結果模型的性能，我們試圖找到單個數據的貢獻。本論文分為3個部分，機器學習的可解釋性和公平性，數據估值，以及用于醫療健康的機器學習——所有這些都被一個共同的目標聯系在一起，即使機器學習的使用對人類的福祉更負責。

//searchworks.stanford.edu/view/13874839

在過去的幾年中，深度學習和醫學的交叉領域取得了快速的發展，特別是在醫學圖像的解譯方面。在本文中，我描述了三個關鍵方向，為醫學圖像解釋的深度學習技術的發展提出了挑戰和機遇。首先，我討論了專家級醫學圖像解譯算法的發展，重點是用于低標記醫學數據設置的遷移學習和自監督學習算法。其次，我討論了高質量數據集的設計和管理以及它們在推進算法發展中的作用，重點是使用有限的手動注釋的高質量標記。第三，我討論了真實世界的評估醫學圖像算法的研究，系統地分析了在臨床相關分布變化下的性能。總之，這篇論文總結了關鍵貢獻和見解，在這些方向與關鍵應用跨醫學專業。

//searchworks.stanford.edu/view/13876519

機器學習在許多部署的決策系統中發揮著作用，其方式通常是人類利益相關者難以理解或不可能理解的。以一種人類可以理解的方式解釋機器學習模型的輸入和輸出之間的關系，對于開發可信的基于機器學習的系統是至關重要的。一個新興的研究機構試圖定義機器學習的目標和解釋方法。在本文中，我們試圖對反事實解釋的研究進行回顧和分類，這是一種特殊類型的解釋，它提供了在模型輸入以特定方式改變時可能發生的事情之間的聯系。機器學習中反事實可解釋性的現代方法與許多國家的既定法律原則相聯系，這使它們吸引了金融和醫療等高影響力領域的實地系統。因此，我們設計了一個具有反事實解釋算法理想性質的準則，并對目前提出的所有反事實解釋算法進行了綜合評價。我們的標題便于比較和理解不同方法的優缺點，并介紹了該領域的主要研究主題。我們也指出了在反事實解釋空間的差距和討論了有前途的研究方向。

機器學習作為一種在許多領域實現大規模自動化的有效工具，正日益被人們所接受。算法能夠從數據中學習，以發現模式并支持決策，而不是手工設計的規則。這些決定可以并確實直接或間接地影響人類;備受關注的案例包括信貸貸款[99]、人才資源[97]、假釋[102]和醫療[46]的申請。在機器學習社區中，新生的公平、責任、透明度和倫理(命運)已經成為一個多學科的研究人員和行業從業人員的團體，他們感興趣的是開發技術來檢測機器學習模型中的偏見，開發算法來抵消這種偏見，為機器決策生成人類可理解的解釋，讓組織為不公平的決策負責，等等。

對于機器決策，人類可以理解的解釋在幾個方面都有優勢。例如，關注一個申請貸款的申請人的用例，好處包括:

• 對于生活受到該決定影響的申請人來說，解釋是有益的。例如，它幫助申請人理解他們的哪些因素是做出決定的關鍵因素。

• 此外，如果申請人覺得受到了不公平待遇，例如，如果一個人的種族在決定結果時至關重要，它還可以幫助申請人對決定提出質疑。這對于組織檢查其算法中的偏見也很有用。

• 在某些情況下，解釋為申請人提供了反饋，他們可以根據這些反饋采取行動，在未來的時間內獲得預期的結果。

• 解釋可以幫助機器學習模型開發人員識別、檢測和修復錯誤和其他性能問題。

• 解釋有助于遵守與機器生產決策相關的法律，如GDPR[10]。

機器學習中的可解釋性大體上是指使用固有的可解釋的透明模型或為不透明模型生成事后解釋。前者的例子包括線性/邏輯回歸、決策樹、規則集等。后者的例子包括隨機森林、支持向量機(SVMs)和神經網絡。

事后解釋方法既可以是模型特定的，也可以是模型不可知的。特征重要性解釋和模型簡化是兩種廣泛的特定于模型的方法。與模型無關的方法可以分為視覺解釋、局部解釋、特性重要性和模型簡化。

特征重要性(Feature importance)是指對模型的整體精度或某個特定決策最有影響的特征，例如SHAP[80]、QII[27]。模型簡化找到了一個可解釋的模型，該模型緊致地模仿了不透明模型。依存圖是一種常用的直觀解釋，如部分依存圖[51]、累積局部效應圖[14]、個體條件期望圖[53]。他們將模型預測的變化繪制成一個特征，或者多個特征被改變。局部解釋不同于其他解釋方法，因為它們只解釋一個預測。局部解釋可以進一步分為近似解釋和基于實例的解釋。近似方法在模型預測需要解釋的數據點附近抽取新的數據點(以下稱為explainee數據點)，然后擬合線性模型(如LIME[92])或從中提取規則集(如錨[93])。基于實例的方法尋求在被解釋數據點附近找到數據點。它們要么以與被解釋數據點具有相同預測的數據點的形式提供解釋，要么以預測與被解釋數據點不同的數據點的形式提供解釋。請注意，后一種數據點仍然接近于被解釋的數據點，被稱為“反事實解釋”。

回想一下申請貸款的申請人的用例。對于貸款請求被拒絕的個人，反事實的解釋為他們提供反饋，幫助他們改變自己的特征，以過渡到決策邊界的理想一面，即獲得貸款。這樣的反饋被稱為可執行的。與其他幾種解釋技術不同，反事實解釋不能明確回答決策中的“為什么”部分;相反，他們提供建議以達到預期的結果。反事實解釋也適用于黑箱模型(只有模型的預測功能是可訪問的)，因此不限制模型的復雜性，也不要求模型披露。它們也不一定能近似底層模型，從而產生準確的反饋。由于反事實解釋具有直覺性，因此也符合法律框架的規定(見附錄C)。

在這項工作中，我們收集、審查和分類了最近的39篇論文，提出了算法，以產生機器學習模型的反事實解釋。這些方法大多集中在表格或基于圖像的數據集上。我們在附錄b中描述了我們為這項調查收集論文的方法。我們描述了這個領域最近的研究主題，并將收集的論文按照有效的反事實解釋的固定需求進行分類(見表1)。

【導讀】深度神經網絡在很多監督任務都達到了SOTA性能，但是其計算量是個挑戰。來自MIT 教授 Vivienne Sze等學者發布了關于《深度神經網絡的高效處理》著作，本書為深度神經網絡(DNNs)的高效處理提供了關鍵原則和技術的結構化處理。值得關注。

//www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?cPath=22&products_id=1530

本書為深度神經網絡(DNNs)的高效處理提供了關鍵原則和技術的結構化處理。DNNs目前廣泛應用于許多人工智能(AI)應用，包括計算機視覺、語音識別和機器人技術。雖然DNNs在許多人工智能任務中提供了最好的性能，但它以高計算復雜度為代價。因此，在不犧牲準確性或增加硬件成本的情況下，能夠有效處理深層神經網絡以提高指標(如能源效率、吞吐量和延遲)的技術對于在人工智能系統中廣泛部署DNNs至關重要。

本書中包括了DNN處理的背景知識;設計DNN加速器的硬件架構方法的描述和分類;評價和比較不同設計的關鍵指標;DNN處理的特點是服從硬件/算法的共同設計，以提高能源效率和吞吐量;以及應用新技術的機會。讀者將會發現對該領域的結構化介紹，以及對現有工作中關鍵概念的形式化和組織，從而提供可能激發新想法的見解。

深度神經網絡(DNNs)已經變得非常流行; 然而，它們是以高計算復雜度為代價的。因此，人們對有效處理DNNs產生了極大的興趣。DNN加速的挑戰有三:

• 為了實現高性能和效率
• 提供足夠的靈活性，以滿足廣泛和快速變化的工作負載范圍
• 能夠很好地集成到現有的軟件框架中。

目錄內容：

第一部分理解深層神經網絡

• 介紹
• 深度神經網絡概述

第二部分處理DNNs的硬件設計

• 關鍵量度和設計目標
• 內核計算
• 設計DNN加速器
• 專用硬件上的操作映射

第三部分，DNN硬件和算法的協同設計

• 減少精度
• 利用稀疏
• 設計高效的DNN模型
• 先進技術
• 結論

第一個模塊旨在提供DNN領域的總體背景和了解DNN工作負載的特點。

• 第一章提供了DNNs為什么重要的背景，他們的歷史和他們的應用。
• 第二章概述了神經網絡的基本組成部分和目前常用的神經網絡模型。還介紹了用于DNN研究和開發的各種資源。這包括各種軟件框架的討論，以及用于訓練和評估的公共數據集。

第二部分主要介紹處理DNNs的硬件設計。它根據定制程度(從通用平臺到完全定制硬件)討論各種架構設計決策，以及在將DNN工作負載映射到這些架構時的設計考慮。同時考慮了時間和空間架構。

• 第三章描述了在設計或比較各種DNN加速器時應該考慮的關鍵指標。
• 第四章描述了如何處理DNN內核，重點關注的是時序架構，比如cpu和gpu。為了獲得更高的效率，這類架構通常具有緩存層次結構和粗粒度的計算能力，例如向量指令，從而使計算結果更高效。對于這樣的架構，DNN處理通常可以轉化為矩陣乘法，這有很多優化的機會。本章還討論了各種軟件和硬件優化，用于加速這些平臺上的DNN計算，而不影響應用程序的精度。
• 第五章介紹了DNN處理專用硬件的設計，重點介紹了空間架構。它強調了用于處理DNN的硬件的處理順序和產生的數據移動，以及與DNN的循環嵌套表示的關系。循環嵌套中的循環順序稱為數據流，它決定了移動每個數據塊的頻率。循環嵌套中的循環限制描述了如何將DNN工作負載分解成更小的塊，稱為平鋪/阻塞，以說明在內存層次結構的不同級別上有限的存儲容量。
• 第六章介紹了將DNN工作負載映射到DNN加速器的過程。它描述了找到優化映射所需的步驟，包括枚舉所有合法映射，并通過使用預測吞吐量和能源效率的模型來搜索這些映射。

第三個模塊討論了如何通過算法和硬件的協同設計來提高堆棧的效率，或者通過使用混合信號電路新的存儲器或設備技術來降低堆棧的效率。在修改算法的情況下，必須仔細評估對精度的影響。

• 第七章描述了如何降低數據和計算的精度，從而提高吞吐量和能源效率。它討論了如何使用量化和相關的設計考慮來降低精度，包括硬件成本和對精度的影響。
• 第八章描述了如何利用DNNs的稀疏性來減少數據的占用，這為減少存儲需求、數據移動和算術操作提供了機會。它描述了稀疏的各種來源和增加稀疏的技術。然后討論了稀疏DNN加速器如何將稀疏轉化為能源效率和吞吐量的提高。它還提出了一種新的抽象數據表示，可用于表達和獲得關于各種稀疏DNN加速器的數據流的見解。
• 第九章描述了如何優化DNN模型的結構(即(例如DNN的“網絡架構”)，以提高吞吐量和能源效率，同時盡量減少對準確性的影響。它討論了手工設計方法和自動設計方法(例如。(如神經結構搜索)
• 第十章，關于先進技術，討論了如何使用混合信號電路和新的存儲技術，使計算更接近數據(例如，在內存中處理)，以解決昂貴的數據移動，支配吞吐量和DNNs的能源消耗。并簡要討論了在光域內進行計算和通信以降低能耗和提高吞吐量的前景。

Vivienne Sze，來自 MIT 的高效能多媒體系統組（Energy-Efficient Multimedia Systems Group）。她曾就讀于多倫多大學，在 MIT 完成 PhD 學業并獲得電氣工程博士學位，目前在 MIT 任教。Sze 教授的主要研究興趣是高效能算法和移動多媒體設備應用架構。