機器學習算法已被廣泛應用于多種領域，人們對這些算法可能存在的偏見越來越關注。雖然已有許多解決算法預測偏見的方案，但在將預測轉化為合理決策的過程中仍存在空白。此外，即使一個公正且公平的決策也可能在決策產生反饋效應時導致不可預期的后果。盡管已經有許多方案提出實現一次性決策的公平性，但在研究連續算法決策的長期效果方面仍有空白。在這篇論文中，我們專注于在連續決策環境中研究算法的公平性。我們首先研究如何將模型預測轉化為公平的決策。具體而言，給定黑箱模型（機器學習模型或人類專家）的預測，我們基于經典的學習自專家方案提出了一個算法，將預測結合起來生成公平且準確的決策。我們的理論結果表明，可以在不犧牲太多遺憾的情況下實現近似等化的機會。我們還展示了這個算法在公平社區常用的真實數據集上的表現。

在論文的第二部分，我們研究在連續設定中強制執行靜態公平決策是否能在反饋循環下導致弱勢群體的長期平等和改善。特別地，我們使用具有一般過渡函數的馬爾可夫決策模型來模擬算法決策和基本分布之間的互動。我們提出了一個新的度量標準，通過衡量分布的中心、擴散和形狀的變化來衡量算法決策的分布影響。這個度量將影響劃分為群體內影響和群體間影響，其中群體內影響度量政策如何影響組內分布，群體間影響則度量政策如何對兩個人口群體的分布產生不同的影響。我們的結果顯示，閾值策略的效用和群體間影響之間通常存在權衡，常見的公平約束可能會導致“反作用效應”，即對各群體的影響可能存在差異。

機器學習被廣泛應用于各種不同的學科，以開發感興趣的變量的預測模型。然而，構建這樣的解決方案是一個耗時且具有挑戰性的學科，需要經過高度訓練的數據科學家和領域專家。作為回應，自動化機器學習(AutoML)領域旨在通過自動化減少人工工作量并加快開發周期。由于超參數在機器學習算法中無處不在，以及調優的超參數配置可以對預測性能產生影響，超參數優化是AutoML的一個核心問題。最近，深度學習的興起推動了神經架構搜索(NAS)，這是一個專注于自動化神經網絡設計的超參數優化問題的專門實例。對于大規模調優問題，網格搜索和隨機搜索等簡單的超參數優化方法在計算上是難以處理的。因此，本文的重點是開發高效和有原則的超參數優化和NAS方法。

**在回答以下問題方面取得了進展，目的是開發更高效和有效的自動化機器學習算法。**1. 超參數優化(a)我們如何有效地使用早期停止來加速超參數優化?(b)如何利用并行計算來執行超參數優化，同時在順序設置中訓練單個模型所需的時間?(c)對于多階段機器學習管道，我們如何利用搜索空間的結構來減少總計算成本?

2. 神經架構搜索(a)最先進的權重共享NAS方法和隨機搜索基線之間的性能差距是什么?(b)如何開發更有原則的權重共享方法，并證明收斂速度更快和改進的經驗性能?(c) NAS中常用的權重共享范式是否可應用于更一般的超參數優化問題?

鑒于這些問題，本文分為兩個部分。第一部分側重于通過解決1a, 1b和1c問題在高效超參數優化方面取得的進展。第二部分側重于通過解決問題2a, 2b和2c，在理解和改進神經架構搜索的權重共享方面取得的進展。

屬性圖是為現實生活中的系統建模的有力工具，這些系統存在于許多領域，如社會科學、生物學、電子商務等。這些系統的行為大多是由其相應的網絡結構定義的，或依賴于其相應的網絡結構。由于這些系統迅速融入人類生活的方方面面，并且對人類行為產生了深刻的影響，圖分析已經成為一個重要的研究方向。圖結構的數據包含了來自網絡連接和節點的補充輸入特征的豐富信息。機器學習算法或傳統的網絡科學工具在利用網絡拓撲結構和節點特征的能力方面存在局限性。圖譜神經網絡（GNNs）提供了一個有效的框架，結合這兩種信息來源，為廣泛的任務（包括節點分類、鏈接預測等）提供準確的預測結果。圖數據集的指數級增長推動了復雜的GNN模型的發展，引起了對處理時間和結果可解釋性的關注。另一個問題來自于為訓練深度學習GNN模型而收集大量的注釋數據的成本和限制。除了采樣問題，數據中存在的異常實體可能會降低擬合模型的質量。在這篇論文中，我們提出了新的技術和策略來克服上述挑戰。首先，我們提出了適用于簡單圖卷積（SGC）的靈活正則化方案。所提出的框架繼承了SGC的快速和高效的特性，同時呈現了一組稀疏的擬合參數向量，促進了對重要輸入特征的識別。接下來，我們研究了收集訓練樣本的有效程序，并制定了指示性措施和定量指南，以幫助從業者選擇最佳的采樣策略來獲取數據。然后，我們對現有的GNN模型進行了改進，用于異常檢測任務。我們提出的框架實現了更好的準確性和可靠性。最后，我們嘗試將靈活的正則化機制適應于鏈接預測任務。

**隨著大型模型的發展以及數據的爆炸性增長和可用性，深度學習在眾多現實應用中取得了巨大而廣泛的突破。**然而，深度學習模型通常具有過高的計算和內存成本，不適合在移動設備或邊緣設備上進行實際部署。此外，深度學習模型面臨著學習和快速適應的挑戰，從只有幾個例子來解決新的任務。因此，本文提出了學習計算效率高的模型架構的技術和提高少樣本學習能力的方法。**我們從子空間分析方法及其在特征選擇問題中的應用開始。然后將這些方法擴展到深度神經網絡結構學習(deep neural network structural learning, SL)中，目的是減少冗余參數，以獲得能夠保持甚至提高精度的最優降維模型。**還介紹了基于混合剪枝-再生長技術的更高效的SL方法和可以跨更多維度降低模型的更通用的SL方法。除了靜態模型設計之外，本文還提出了動態神經網絡方法，可以在推理過程中根據不同的輸入動態調整模型權重和結構，以控制計算效率并提高表示能力。除了模型效率外，還提出了訓練模型的技術，可以從幾個例子中快速泛化。本文提出一種少樣本架構自適應方法，通過元學習一個任務感知架構控制器，為不同的少樣本任務定制特定于任務的模型結構。與傳統的NAS方法需要對每個新任務進行單獨的搜索成本不同，所提出方法在一次性元訓練成本后，在幾分鐘內從GPU數據集中直接生成特定于任務的模型結構。最后，提出了一種基于語言輔助表示的掩碼圖像預訓練的跨模態自監督學習框架。由此產生的模型產生了高質量的可遷移表示，提高了許多計算機視覺任務的準確性，并對對抗性/分布外樣本表現出強大的魯棒性。所產生的模型適用于結構學習以獲得更大的計算效率，也適用于低資源任務適應以獲得更好的數據效率。

//dataspace.princeton.edu/handle/88435/dsp01p8418r442

屬性圖是對現實系統建模的有力工具，它存在于社會科學、生物學、電子商務等許多領域。這些系統的行為大多由它們對應的網絡結構定義或依賴于它們。由于這些系統迅速融入到人類生活的各個方面，以及它們對人類行為的深刻影響，圖分析已經成為一個重要的研究方向。圖結構數據包含了來自網絡連通性和節點補充輸入特征的豐富信息。機器學習算法或傳統的網絡科學工具在同時利用網絡拓撲和節點特征方面存在局限性。圖神經網絡(GNNs)提供了一個有效的框架，將兩種信息源結合起來，為包括節點分類、鏈接預測等在內的廣泛任務產生精確的預測。

圖數據集的指數增長推動了復雜GNN模型的發展，引起了對處理時間和結果可解釋性的關注。另一個問題來自于收集大量帶注釋的數據來訓練深度學習GNN模型的成本和局限性。除了采樣問題外，數據中異常實體的存在可能會降低擬合模型的質量。在本文中，我們提出了新的技術和策略來克服上述挑戰。首先，我們提出了一種適用于簡單圖卷積(SGC)的靈活正則化方案。該框架在呈現稀疏擬合參數向量集的同時，繼承了SGC快速高效的特性，有利于識別重要的輸入特征。其次，我們研究收集訓練樣本的有效程序，并制定指示性措施及量化指引，以協助從業員選擇最佳抽樣策略以獲取數據。然后對現有的GNN模型進行改進，以完成異常檢測任務。該框架具有較好的準確性和可靠性。最后，我們嘗試將靈活的正則化機制應用于鏈接預測任務。

//stars.library.ucf.edu/etd2020/1068/

如何對不同設置下的序列數據建模是一個跨許多領域的重要機器學習問題，包括對時間序列數據、自然語言文本和事件流的預測。不同字段中的順序數據通常具有不同的特征。例如，自然語言文本可以被視為一個離散變量的序列，而傳感器網絡信號可以被視為一個連續向量空間中的多變量序列。為了在各種各樣的現實世界領域中開發成功的神經網絡模型，我們需要根據數據和問題的性質定制架構和算法。本文設計了新穎高效的神經網絡解決方案，用于序列建模和應用。具體來說，這些貢獻可以分為四部分。

第一部分重點研究了多變量序列數據中變量之間的相關性，如多傳感器的時間序列，并提出了新的算法，即深度可分圖卷積網絡(DSGC)(第二章)[60]和分解遞歸神經網絡(FRNN)(第三章)[63]，以利用相關模式，提高預測精度。

第二部分側重于將人類先驗知識用于時序數據依賴模式的時間建模。具體地說，我們提出了一種新的方法，命名為長期和短期時間序列網絡(LSTNet)(第4章)[59]，它被證明是特別有效的捕獲各種周期模式在不同的應用。

第三部分著重于序列分類任務中Transformers 的高效算法。具體來說，通過識別常用的Transformer架構中的計算冗余，并提出一種新的替代方案，即漏斗Transformers (第5章)[27]，我們實現了更好的計算與精度之間的權衡。

第四部分側重于事件之間時間關系的建模/預測，其中的主要挑戰是從稀疏標記的數據中有效學習。我們通過結合高級數據增強、半監督學習和人類先驗知識的引入來應對這一挑戰(第6章)。因此，我們大大提高了這項任務的最先進性能。

這篇論文在機器學習領域做出了一些貢獻，特別是在圖推理任務。每篇文章都研究并改進了幾種圖推理應用中的泛化: 經典圖分類任務、組合視覺推理和神經網絡圖參數預測的新任務。

在第一篇文章中，我們研究了圖神經網絡中的注意力機制。雖然注意力在GNN中得到了廣泛的研究，但它對泛化到更大的噪聲圖的影響還沒有被深入分析。我們證明，在合成圖任務中，可以通過仔細初始化GNN的注意力模塊來提高泛化能力。我們還開發了一種方法，降低了注意力模塊對初始化的敏感性，提高了實際圖任務的泛化能力。

在第二篇文章中，我們討論了將問題泛化到視覺場景中罕見或不可見的物體組合和關系。以往的工作多以頻繁的視覺構圖為主，構圖泛化能力較差。為了緩解這一問題，我們發現將損失函數與場景圖的結構進行歸一化是很重要的，這樣可以更有效地利用訓練標簽。用我們的損失訓練的模型顯著提高了合成泛化。

在第三篇文章中，我們將進一步討論視覺合成泛化。我們考慮一種數據增強方法，即在訓練數據中添加罕見的和不可見的成分。我們開發了一個基于生成對抗網絡的模型，該模型根據我們通過擾動真實場景圖獲得的罕見或不可見的場景圖生成合成視覺特征。我們的方法不斷改進合成的泛化。

在第四篇文章中，我們研究了在不可見的深度神經結構中預測參數的新任務中的圖推理。我們的任務的動機是由于用于訓練神經網絡的迭代優化算法的局限性。為了解決我們的任務，我們開發了一個基于Graph HyperNetworks的模型，并在我們的神經架構圖數據集上訓練它。我們的模型可以在一次向前傳遞中預測不可見的深度網絡(如ResNet-50)的性能參數。該模型可用于神經結構搜索和遷移學習。

//atrium.lib.uoguelph.ca/xmlui/handle/10214/26824

我們的世界是一個復雜的組合系統，簡單的組件用來創建更復雜的組件，所有組件以一種非平凡的方式交互。其中一個組成部分就是人類，人類天生就有能力積累多樣化的多領域知識，并學習周圍世界的豐富組成結構。這種知識使人類能夠輕松地解決大量復雜的任務。例如，給定一個復雜動態3D場景的靜態2D圖像，人類能夠識別物體，它們的部分，它們之間的關系，并預測場景中的未來事件。人類甚至可以預測場景的地理和人口背景，并推斷場景的情感等抽象屬性(圖1.1,a)。工程旨在開發能夠替代人類執行此類任務的系統和算法，特別是重復性、費力或危險的任務。在一些實際場景中，如理解2D圖像，這些系統需要從傳感器記錄的輸入中恢復原始成分結構(圖1.1,a-c)。例如，機器人或自動駕駛汽車需要從原始像素或點云中檢測物體及其關系。在其他場景中，組合結構已經提供(例如，由另一個系統或人類提供)，算法需要對組合輸入進行推理，以做出復雜的高級決策(圖1.1,d-f)。例如:預測分子的性質，預測未來人與人之間的聯系，或預測生物或人工神經網絡的性質。

為了開發能夠從原始感官數據推斷組成結構的算法或預測結構屬性的算法，我們首先需要定義適合于這類任務的數據抽象。在數學和計算機科學中，有一種方便的抽象專門介紹了模型的組成和關系結構。這種抽象被稱為圖，其中節點對應結構的組件，而邊對應組件之間的交互。例如，分子通常表示為圖形，節點對應原子或更復雜的元素，邊對應化學鍵(圖1.1,d)。類似地，社會網絡是圖形，節點是人，邊是它們之間的不同類型的關系(圖1.1,e)。同樣地，生物或人工神經網絡是一個圖，其中節點可以是神經元，邊可以是它們之間的連接(圖1.1,f)。需要開發處理相關任務的算法。

本文探討了圖分類、場景圖合成視覺推理和神經網絡推理等圖推理任務中的泛化問題。使用從數據而不是工程特征中學習的模型來處理這些任務是事實上的標準。然而，這種模型的一個基本挑戰，尤其是神經網絡，是糟糕的泛化。出現這一問題的原因可能是模型依賴于偽相關(“捷徑”)，而這些偽相關在訓練數據中常常大量存在(Shen et al., 2021; Zhou et al., 2021; Sch?lkopf et al., 2021)。當在測試數據上評估NN時，這個問題尤其值得注意，這些測試數據來自于與訓練數據略有不同的分布。雖然人類經常對各種分布轉移表現出很強的泛化能力，但機器學習模型在這方面要弱得多。這篇論文對理解和提高泛化做出了一些貢獻。

摘要

對氣象數據進行聚類在多個方面都是一項有價值的工作。結果可以在更大的氣象預報框架內以各種方式使用，或者可以簡單地用作表征特定感興趣區域的氣候差異分析工具。這項研究提出了一種基于在大約 11 個月的長時間范圍內，溫度時間序列相似性對地理位置進行聚類的方法。為此，使用了一種利用深度學習的新興且強大的聚類技術，稱為深度表示聚類 (DRC)。此外，提出了一種時間序列特定的 DRC 算法，以解決該領域的當前差距。最后，與傳統的數值氣象預報（NWP）相比，基于深度學習的氣象預報作為一種獲得更快速預測的手段，是一個越來越普遍的研究課題。由于它們是控制大氣行為的已知物理方程，即 Navier-Stokes 方程，因此探索了將這些定律重新表述為基于物理的損失函數的概念，特別感興趣的是用這種損失函數訓練的模型是否可以勝過它的基線對應物。

圖 15：時間序列聚類方法流程圖

1 引言

氣象預報有著悠久的歷史，它植根于基本的物理原理。 20 世紀初的科學家們注意到，大氣可以被視為一種流體，因此可以使用偏微分方程 (PDE) 進行建模，并建立了描述流體特性隨時間和空間變化的物理原理 [21]。這些在氣象預報領域被稱為數值氣象預報 (NWP) 的方法隨著時間的推移有了很大的改進，目前代表了標準的氣象建模方法。然而，深度學習和機器學習方法的進步引起了人們對將數據驅動的方法應用于氣象建模和預測問題的極大興趣。此外，正在進行研究以專門解決在物理過程建模中使用深度學習方法的問題，其中與氣象一樣，通常有關于可以利用的過程的現有信息。

機器和深度學習技術（如聚類）也可用于分析氣象數據。這通常是為了將在廣泛區域內經歷相似氣象模式的時間段組合在一起，但也可以將在很長一段時間內經歷相似氣象模式的地理區域組合在一起。這兩種方法都可以幫助建立更廣泛的氣象預報框架，而后者也可以用來提供一個地區氣候差異的一般特征。

這項研究以幾種方式增加了深度學習和大氣/氣候建模領域。首先，使用一種強大的新型聚類算法，在此稱為深度表示聚類 (DRC)，將美國聚類到在時間序列形狀和氣象動態方面具有相似性的地理區域。其次，將解決當前對 DRC 研究的空白。具體來說，據我們所知，還沒有發布任何時間序列特定的 DRC 算法。相反，在處理時間序列數據時，大多數人在其聚類算法的核心使用基于歐幾里德的距離度量，這可能會產生不良結果。最后，探討了在深度學習模型中利用已知物理定律進行 24 小時氣象預報的前景。

1.1 動機與背景

1.1.1 深層氣象預報中的聚類分析

聚類

獲得準確氣象預報的復雜性和難度怎么強調都不為過。基本過程是高度非線性、混沌和非平穩的。雖然這些類型的現象可以通過神經網絡建模，但以任何方式暗示正在經歷的氣象模式類型的信息可以在更廣泛的預測框架中使用。這使一些研究人員轉向了對氣象數據進行聚類并使用聚類的性質和成員資格來通知神經網絡 [22] 的想法。此外，為了對區域氣候進行分類，對地理位置進行分組的歷史由來已久[17]。一種尚未探索的方法是直接使用時間序列數據和適當的時間序列距離度量來解釋時間序列的形狀。這樣做會產生與大氣測量結果相似的位置集群。同樣，這些結果可用于各種目的。在氣象預報框架中，這可用于構建特定于集群的模型，以了解每個集群中氣象的典型復雜行為。通過為每個集群擬合獨特的模型，他們有更好的機會通過關注這些位置的典型行為來學習在其集群中觀察到的復雜關系。聚類結果也可以更普遍地用作對一個地區的氣候進行廣泛分類的一種方式。

動力學

在某些研究領域中，時間序列分析的研究與動力系統的研究存在脫鉤。在處理氣象數據時，始終認識到每個時間序列只是較大動力系統的一維投影這一事實很重要，特別是因為我們希望部分基于每個時間序列的潛在動力學相似性來驅動集群形成地點。出于這個原因，提出的 DRC 算法特別注意驅動動態感知集群的形成。

1.1.2 時間序列的深度表示聚類

時間序列聚類

聚類時間序列數據存在一些獨特的挑戰。這源于這樣一個事實，即聚類需要使用距離度量或度量來確定點的相似性或相異性。在靜態數據的情況下，數據點或向量 x ∈ R n 表示觀察的 n 個特征，而時間序列向量 y ∈ R n 表示系統某些特征的時間測量值。測量靜態數據向量之間的相似性通常與歐幾里德距離相關聯，并且適當地如此。但是，要理解為什么這在時間數據的情況下可能會出現問題，請考慮圖 1 中的時間序列。

圖 1. 除了相位之外，兩個正弦波完全相同。如果使用歐幾里德距離進行比較，它們將被認為遠不如預期的相似。此外，時間序列質心計算通常最好使用 dtw 重心平均或其變體來完成。

雖然很明顯，這是兩個相位稍有偏移的相同正弦波，并且在聚類的情況下應該被認為是高度相似的，但歐幾里德距離會產生一種錯誤的不相似感。為了通過氣象模式的相似性對地理位置進行分組，我們的距離測量必須考慮時間變化和變化。

質心計算是許多聚類算法的另一個基本組成部分。就像歐幾里得距離會錯誤地表示兩個時間序列的真實相似性一樣，用于質心計算的算術平均值也會產生不自然的時間序列平均值。具體來說，算術平均值通常會產生一個在形狀方面嚴重扭曲的平均值，因此不能恰當地代表其組成部分。回到圖 1，可以看出算術平均曲線（綠色）是兩個正弦波形的錯誤表示，而紅色曲線是基于動態時間規整 (DTW) 的平均值，稍后將更詳細地介紹，對于這些時間序列來說是一個更好的“平均值”。

為什么選擇深度表示聚類 (DRC)？

深度表示聚類描述了一類使用神經網絡來輔助聚類任務的模型。主要方法結合了表示學習（通常通過自動編碼器）和聚類損失，以驅動形成集群友好的表示。由于該過程通常涉及表示學習，因此 DRC 非常適合高維、復雜的數據，因為它可以映射到低維表示。這在計算上和避免維度災難方面都很有用。由于這項研究的聚類任務涉及長而復雜的時間序列，DRC 是一種自然的方法。最后，M. Cuturi 和 M. Blondel 最近的研究工作產生了動態時間扭曲 (DTW) 損失的可微版本，稱為 soft-DTW [23]，這很重要，主要有兩個原因。首先，時間序列不能與標準歐幾里得距離函數在相似性方面進行適當比較。取而代之的是像 DTW 這樣的東西，或者像 soft-DTW 這樣的松弛，對于解釋形狀的相似性是必要的。其次，由于 DRC 是一種基于神經網絡的方法，因此訓練中使用的所有損失函數必須是可微的，以便通過反向傳播促進參數優化，這是標準 DTW 所缺乏的特性。由于這些原因，softDTW 的開發非常適合創建可以適當處理時間序列數據的 DRC 算法。

1.1.3 深度氣象預報

有很多理由考慮使用深度學習方法來模擬物理過程，尤其是大氣動力學。首先，傳統的 NWP 方法在計算上非常昂貴，因為相關的 PDE 必須在每個預測周期用新的初始條件和邊界條件求解。此外，增強預測能力和預測分辨率需要增加計算資源。具體來說，研究人員已經表明，將預測分辨率翻倍需要計算能力提高一個數量級 [24]。另一方面，一旦訓練了深度學習模型，獲得預測的速度相對較快。

其次，數據驅動的方法很靈活，可用于幫助從業者快速開始在沒有出現區域高分辨率 NWP 的位置進行本地化預測。這對軍隊來說是一個顯著的好處。例如，當部隊被派往建立新的前哨時，首要任務之一是建造一個機場，以便可以進行進出基地的運輸和行動。了解和預測機場內外氣象的能力對于前哨基地的成功至關重要。然而，這不僅適用于機場運營。各種任務規劃都需要準確的氣象評估，在許多此類海外環境中，沒有提供高分辨率預測的區域/本地 NWP 模型。由參謀長聯席會議發布的題為“氣象和海洋行動”的聯合出版物 3-59 [25] 明確闡述了這一點，指出其聯合氣象和海洋 (METOC) 行動的基石是準確性、一致性、相關性和及時性。為了實現準確度目標，他們指出，“METOC 數據和信息在代表當前和未來環境狀態時必須是可衡量的正確”[25]。關于及時性，他們說，“及時性原則取決于產品源自最新的可用數據，快速處理和傳播，并在適當的時間整合到規劃和執行過程中”[25]。深度學習、數據驅動的模型通過提供一種快速獲得任何給定區域的預測的方法，專門解決了準確性和及時性目標。

最后，盡管最近才成為主流研究領域，但數據驅動的方法并不排除結合已知的物理原理。原始方程提供了大氣量如何在空間和時間上相互變化的數學描述，對于手頭的問題而言是有價值的信息，而與特定的建模方法無關。這些方程可以在神經網絡訓練框架中使用，以激勵符合已知物理定律的預測。這種方法利用了這些變量之間已知的物理關系，同時也受益于深度神經網絡（DNN）提供的通用函數逼近能力[26]。

1.2 問題陳述

本研究提出了一種新穎的基于形狀、動態感知的 DRC 算法，用于在地理上而非時間上對氣象數據進行聚類。此外，我們的目標是通過利用深度學習來提高氣象預報的速度和定位，同時允許深度神經網絡利用已知的物理原理。

1.3 論文的組織

第二章將首先探討有關氣象預報的歷史、深度氣象預報的當前研究、Navier-Stokes 方程和基于物理的深度學習方法的文獻。在此之后，將討論氣象聚類、動力系統和 DRC。

第三章將介紹兩種基于軟 DTW 的 DRC 算法，這些算法在氣象數據中的應用，以及 Navier-Stokes 啟發的基于物理學的損失函數概念證明，用于氣象預報。最后，第四章和第五章將分別提供結果、結論和未來工作。

圖27：k=9 的聚類圖。僅來自自動編碼器的初始聚類結果在 (27a) 中重新顯示，兩個 epoch 訓練后的 SDTW-KM-DRC 和 SDTW-KLD-DRC 結果分別在 (27b) 和 (27c) 中顯示。

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

數據科學是設計從大量數據中提取知識的算法和管道。時間序列分析是數據科學的一個領域，它感興趣的是分析按時間順序排列的數值序列。時間序列特別有趣，因為它讓我們能夠可視化和理解一個過程在一段時間內的演變。他們的分析可以揭示數據之間的趨勢、關系和相似性。存在大量以時間序列形式包含數據的領域:醫療保健(心電圖、血糖等)、活動識別、遙感、金融(股票市場價格)、工業(傳感器)等。

在數據挖掘中，分類是一項受監督的任務，它涉及從組織到類中的帶標簽的數據中學習模型，以便預測新實例的正確標簽。時間序列分類包括構造用于自動標注時間序列數據的算法。例如，使用健康患者或心臟病患者的一組標記的心電圖，目標是訓練一個模型，能夠預測新的心電圖是否包含病理。時間序列數據的時序方面需要算法的發展，這些算法能夠利用這種時間特性，從而使傳統表格數據現有的現成機器學習模型在解決底層任務時處于次優狀態。

在這種背景下，近年來，深度學習已經成為解決監督分類任務的最有效方法之一，特別是在計算機視覺領域。本論文的主要目的是研究和發展專門為分類時間序列數據而構建的深度神經網絡。因此，我們進行了第一次大規模的實驗研究，這使我們能夠比較現有的深度學習方法，并將它們與其他基于非深度學習的先進方法進行比較。隨后，我們在這一領域做出了大量的貢獻，特別是在遷移學習、數據增強、集成和對抗性攻擊的背景下。最后，我們還提出了一種新的架構，基于著名的Inception 網絡(谷歌)，它是目前最有效的架構之一。

我們在包含超過100個數據集的基準測試上進行的實驗使我們能夠驗證我們的貢獻的性能。最后，我們還展示了深度學習方法在外科數據科學領域的相關性，我們提出了一種可解釋的方法，以便從運動學多變量時間序列數據評估外科技能。

深度學習序列分類概述

在過去的二十年中，TSC被認為是數據挖掘中最具挑戰性的問題之一(Yang and Wu, 2006; Esling and Agon, 2012)。隨著時間數據可用性的增加(Silva et al.，2018)，自2015年以來已有數百種TSC算法被提出(Bagnall et al.，2017)。由于時間序列數據具有自然的時間順序，幾乎在每一個需要某種人類認知過程的任務中都存在時間序列數據(Langkvist, Karlsson, and Loutfi, 2014)。事實上，任何使用考慮到排序概念的已注冊數據的分類問題都可以被視為TSC問題(Cristian Borges Gamboa, 2017)。時間序列在許多實際應用中都遇到過，包括醫療保健(Gogolou等，2018)和人類活動識別(Wang et al.，2018;到聲學場景分類(Nwe, Dat, and Ma, 2017)和網絡安全(Susto, Cenedese, and Terzi, 2018)。此外，UCR/UEA檔案中數據集類型的多樣性(Dau等，2019;Bagnall et al，2017)(最大的時間序列數據集儲存庫)展示了TSC問題的不同應用。