量子計算機被各種來源的錯誤所困擾。盡管自20世紀90年代以來已經開發了量子糾錯和檢測代碼，但這些代碼需要在電路中間進行測量才能運行。為了避免這些測量，我們開發了一種新的錯誤檢測代碼，只需要在電路的末端進行狀態塌陷，我們稱之為無局域網錯誤檢測（NAED）。我們研究了NAED背后的一些數學知識，如哪些代碼可以檢測哪些錯誤。然后我們在三種不同類型的電路上運行NAED。Greenberger-Horne-Zeilinger電路、與相位有關的電路以及運行最大切割問題的量子近似優化算法。我們總共使用了IBMQ量子計算機超過3.25億次，并能夠證明NAED可以用來提高量子計算機的性能。此外，我們還提出了廣義的邏輯編碼和門，以及這些門的保真度的證明。

我們周圍的物質世界極其復雜，幾個世紀以來，我們一直試圖對其運作方式有更深入的了解。因此，建立能夠預測多物理系統(如復雜血流、混沌振蕩器和量子力學系統)長期動力學的模型仍然是科學領域的一個關鍵挑戰。雖然傳統和計算工具在解決這一開放問題方面有了顯著的改進，但它們仍面臨許多挑戰，計算資源仍然密集，而且容易產生嚴重的錯誤積累。現在，現代機器學習技術，加上大量的傳感器數據，正在推動這個方向取得重大進展，幫助我們從潛在的物理過程中發現復雜的關系。該領域的一個新興領域是混合物理信息機器學習，將物理系統的部分先驗知識集成到機器學習管道中，以提高預測性能和數據效率。在這篇論文中，我們研究了如何使用現有的關于物理世界的知識來改進和增強神經網絡的預測性能。首先，我們展示了旨在保持結構、連通性和能量(如圖、積分器和哈密頓量)的學習偏差可以有效地結合起來，從稀疏、噪聲數據中學習復雜多體節能系統的動力學。其次，通過在神經網絡中嵌入廣義的port- hamilton形式，從數據中準確地恢復不可逆物理系統的動力學。此外，我們強調了我們的模型如何通過設計從稀疏數據中發現潛在的力和阻尼項，以及重建混沌系統的Poincaré部分。最后，我們展示了基于物理的神經網絡可以有效地用于高效和準確的遷移學習——在大量研究良好的微分方程上保持高保真的同時，實現數量級的加速。總的來說，這些創新展示了科學機器學習的一個新方向——將現有知識與機器學習方法相結合。由此自然產生了許多好處，包括(1)準確的學習和長期預測(2)數據效率(3)可靠性和(4)可伸縮性。這種混合模型對于開發能夠建模和預測復雜的多保真度、多尺度物理過程的魯棒機器學習方法至關重要。

預計量子計算機將能夠解決各種問題，而這些問題是目前最強大的超級計算機所無法解決的，這些超級計算機是基于經典技術的。在過去的三十年里，量子計算的進展激發了工業界、投資者、媒體、管理人員和公眾對這一領域的極大興趣。然而，對這項技術的理解，它目前的能力和它在這些社區的潛在影響仍然缺乏。彌補這一差距需要對如何評估量子計算設備的性能和估計其潛力有一個完整的了解，而量子計算模型和物理平臺的多樣性使這一任務更加困難。在這里，我們回顧了量子計算的技術現狀，有前途的計算模型和最發達的物理平臺。我們還討論了潛在的應用，這些應用提出的要求和解決這些要求的技術途徑。最后，我們總結和分析了量子計算市場將進一步指數式增長的論據。這篇綜述用簡單的語言寫成，沒有方程式，沒有高級數學和物理學背景的讀者也應該能看懂。

摘要

對氣象數據進行聚類在多個方面都是一項有價值的工作。結果可以在更大的氣象預報框架內以各種方式使用，或者可以簡單地用作表征特定感興趣區域的氣候差異分析工具。這項研究提出了一種基于在大約 11 個月的長時間范圍內，溫度時間序列相似性對地理位置進行聚類的方法。為此，使用了一種利用深度學習的新興且強大的聚類技術，稱為深度表示聚類 (DRC)。此外，提出了一種時間序列特定的 DRC 算法，以解決該領域的當前差距。最后，與傳統的數值氣象預報（NWP）相比，基于深度學習的氣象預報作為一種獲得更快速預測的手段，是一個越來越普遍的研究課題。由于它們是控制大氣行為的已知物理方程，即 Navier-Stokes 方程，因此探索了將這些定律重新表述為基于物理的損失函數的概念，特別感興趣的是用這種損失函數訓練的模型是否可以勝過它的基線對應物。

圖 15：時間序列聚類方法流程圖

1 引言

氣象預報有著悠久的歷史，它植根于基本的物理原理。 20 世紀初的科學家們注意到，大氣可以被視為一種流體，因此可以使用偏微分方程 (PDE) 進行建模，并建立了描述流體特性隨時間和空間變化的物理原理 [21]。這些在氣象預報領域被稱為數值氣象預報 (NWP) 的方法隨著時間的推移有了很大的改進，目前代表了標準的氣象建模方法。然而，深度學習和機器學習方法的進步引起了人們對將數據驅動的方法應用于氣象建模和預測問題的極大興趣。此外，正在進行研究以專門解決在物理過程建模中使用深度學習方法的問題，其中與氣象一樣，通常有關于可以利用的過程的現有信息。

機器和深度學習技術（如聚類）也可用于分析氣象數據。這通常是為了將在廣泛區域內經歷相似氣象模式的時間段組合在一起，但也可以將在很長一段時間內經歷相似氣象模式的地理區域組合在一起。這兩種方法都可以幫助建立更廣泛的氣象預報框架，而后者也可以用來提供一個地區氣候差異的一般特征。

這項研究以幾種方式增加了深度學習和大氣/氣候建模領域。首先，使用一種強大的新型聚類算法，在此稱為深度表示聚類 (DRC)，將美國聚類到在時間序列形狀和氣象動態方面具有相似性的地理區域。其次，將解決當前對 DRC 研究的空白。具體來說，據我們所知，還沒有發布任何時間序列特定的 DRC 算法。相反，在處理時間序列數據時，大多數人在其聚類算法的核心使用基于歐幾里德的距離度量，這可能會產生不良結果。最后，探討了在深度學習模型中利用已知物理定律進行 24 小時氣象預報的前景。

1.1 動機與背景

1.1.1 深層氣象預報中的聚類分析

聚類

獲得準確氣象預報的復雜性和難度怎么強調都不為過。基本過程是高度非線性、混沌和非平穩的。雖然這些類型的現象可以通過神經網絡建模，但以任何方式暗示正在經歷的氣象模式類型的信息可以在更廣泛的預測框架中使用。這使一些研究人員轉向了對氣象數據進行聚類并使用聚類的性質和成員資格來通知神經網絡 [22] 的想法。此外，為了對區域氣候進行分類，對地理位置進行分組的歷史由來已久[17]。一種尚未探索的方法是直接使用時間序列數據和適當的時間序列距離度量來解釋時間序列的形狀。這樣做會產生與大氣測量結果相似的位置集群。同樣，這些結果可用于各種目的。在氣象預報框架中，這可用于構建特定于集群的模型，以了解每個集群中氣象的典型復雜行為。通過為每個集群擬合獨特的模型，他們有更好的機會通過關注這些位置的典型行為來學習在其集群中觀察到的復雜關系。聚類結果也可以更普遍地用作對一個地區的氣候進行廣泛分類的一種方式。

動力學

在某些研究領域中，時間序列分析的研究與動力系統的研究存在脫鉤。在處理氣象數據時，始終認識到每個時間序列只是較大動力系統的一維投影這一事實很重要，特別是因為我們希望部分基于每個時間序列的潛在動力學相似性來驅動集群形成地點。出于這個原因，提出的 DRC 算法特別注意驅動動態感知集群的形成。

1.1.2 時間序列的深度表示聚類

時間序列聚類

聚類時間序列數據存在一些獨特的挑戰。這源于這樣一個事實，即聚類需要使用距離度量或度量來確定點的相似性或相異性。在靜態數據的情況下，數據點或向量 x ∈ R n 表示觀察的 n 個特征，而時間序列向量 y ∈ R n 表示系統某些特征的時間測量值。測量靜態數據向量之間的相似性通常與歐幾里德距離相關聯，并且適當地如此。但是，要理解為什么這在時間數據的情況下可能會出現問題，請考慮圖 1 中的時間序列。

圖 1. 除了相位之外，兩個正弦波完全相同。如果使用歐幾里德距離進行比較，它們將被認為遠不如預期的相似。此外，時間序列質心計算通常最好使用 dtw 重心平均或其變體來完成。

雖然很明顯，這是兩個相位稍有偏移的相同正弦波，并且在聚類的情況下應該被認為是高度相似的，但歐幾里德距離會產生一種錯誤的不相似感。為了通過氣象模式的相似性對地理位置進行分組，我們的距離測量必須考慮時間變化和變化。

質心計算是許多聚類算法的另一個基本組成部分。就像歐幾里得距離會錯誤地表示兩個時間序列的真實相似性一樣，用于質心計算的算術平均值也會產生不自然的時間序列平均值。具體來說，算術平均值通常會產生一個在形狀方面嚴重扭曲的平均值，因此不能恰當地代表其組成部分。回到圖 1，可以看出算術平均曲線（綠色）是兩個正弦波形的錯誤表示，而紅色曲線是基于動態時間規整 (DTW) 的平均值，稍后將更詳細地介紹，對于這些時間序列來說是一個更好的“平均值”。

為什么選擇深度表示聚類 (DRC)？

深度表示聚類描述了一類使用神經網絡來輔助聚類任務的模型。主要方法結合了表示學習（通常通過自動編碼器）和聚類損失，以驅動形成集群友好的表示。由于該過程通常涉及表示學習，因此 DRC 非常適合高維、復雜的數據，因為它可以映射到低維表示。這在計算上和避免維度災難方面都很有用。由于這項研究的聚類任務涉及長而復雜的時間序列，DRC 是一種自然的方法。最后，M. Cuturi 和 M. Blondel 最近的研究工作產生了動態時間扭曲 (DTW) 損失的可微版本，稱為 soft-DTW [23]，這很重要，主要有兩個原因。首先，時間序列不能與標準歐幾里得距離函數在相似性方面進行適當比較。取而代之的是像 DTW 這樣的東西，或者像 soft-DTW 這樣的松弛，對于解釋形狀的相似性是必要的。其次，由于 DRC 是一種基于神經網絡的方法，因此訓練中使用的所有損失函數必須是可微的，以便通過反向傳播促進參數優化，這是標準 DTW 所缺乏的特性。由于這些原因，softDTW 的開發非常適合創建可以適當處理時間序列數據的 DRC 算法。

1.1.3 深度氣象預報

有很多理由考慮使用深度學習方法來模擬物理過程，尤其是大氣動力學。首先，傳統的 NWP 方法在計算上非常昂貴，因為相關的 PDE 必須在每個預測周期用新的初始條件和邊界條件求解。此外，增強預測能力和預測分辨率需要增加計算資源。具體來說，研究人員已經表明，將預測分辨率翻倍需要計算能力提高一個數量級 [24]。另一方面，一旦訓練了深度學習模型，獲得預測的速度相對較快。

其次，數據驅動的方法很靈活，可用于幫助從業者快速開始在沒有出現區域高分辨率 NWP 的位置進行本地化預測。這對軍隊來說是一個顯著的好處。例如，當部隊被派往建立新的前哨時，首要任務之一是建造一個機場，以便可以進行進出基地的運輸和行動。了解和預測機場內外氣象的能力對于前哨基地的成功至關重要。然而，這不僅適用于機場運營。各種任務規劃都需要準確的氣象評估，在許多此類海外環境中，沒有提供高分辨率預測的區域/本地 NWP 模型。由參謀長聯席會議發布的題為“氣象和海洋行動”的聯合出版物 3-59 [25] 明確闡述了這一點，指出其聯合氣象和海洋 (METOC) 行動的基石是準確性、一致性、相關性和及時性。為了實現準確度目標，他們指出，“METOC 數據和信息在代表當前和未來環境狀態時必須是可衡量的正確”[25]。關于及時性，他們說，“及時性原則取決于產品源自最新的可用數據，快速處理和傳播，并在適當的時間整合到規劃和執行過程中”[25]。深度學習、數據驅動的模型通過提供一種快速獲得任何給定區域的預測的方法，專門解決了準確性和及時性目標。

最后，盡管最近才成為主流研究領域，但數據驅動的方法并不排除結合已知的物理原理。原始方程提供了大氣量如何在空間和時間上相互變化的數學描述，對于手頭的問題而言是有價值的信息，而與特定的建模方法無關。這些方程可以在神經網絡訓練框架中使用，以激勵符合已知物理定律的預測。這種方法利用了這些變量之間已知的物理關系，同時也受益于深度神經網絡（DNN）提供的通用函數逼近能力[26]。

1.2 問題陳述

本研究提出了一種新穎的基于形狀、動態感知的 DRC 算法，用于在地理上而非時間上對氣象數據進行聚類。此外，我們的目標是通過利用深度學習來提高氣象預報的速度和定位，同時允許深度神經網絡利用已知的物理原理。

1.3 論文的組織

第二章將首先探討有關氣象預報的歷史、深度氣象預報的當前研究、Navier-Stokes 方程和基于物理的深度學習方法的文獻。在此之后，將討論氣象聚類、動力系統和 DRC。

第三章將介紹兩種基于軟 DTW 的 DRC 算法，這些算法在氣象數據中的應用，以及 Navier-Stokes 啟發的基于物理學的損失函數概念證明，用于氣象預報。最后，第四章和第五章將分別提供結果、結論和未來工作。

圖27：k=9 的聚類圖。僅來自自動編碼器的初始聚類結果在 (27a) 中重新顯示，兩個 epoch 訓練后的 SDTW-KM-DRC 和 SDTW-KLD-DRC 結果分別在 (27b) 和 (27c) 中顯示。

本文提出了一種新的多源無監督文本分類模型。我們的模型利用文檔表示中的更新速率來動態地集成域編碼器。為了對源分類器進行配對，它還采用了一種概率啟發式來推斷目標域中的錯誤率。我們的啟發式利用數據轉換成本和分類器的準確性在目標特征空間。我們使用領域自適應的真實場景來評估算法的有效性。在實驗中，我們還使用了預訓練好的多層變換器作為文檔編碼器，以證明領域自適應模型所取得的改進是否可以通過預訓練的語言模型來實現。實驗證明，我們的模型是在這種情況下性能最好的方法。