摘要

本文試圖考慮DeepMind科技公司的一群科學家的斷言，即強化學習的獎勵機制足以實現通用人工智能（AGI）。強化學習是一種專注于獎勵最大化的機器學習技術，在20世紀80年代和90年代，基于美國政府的資助而快速發展。它已被應用于自動駕駛汽車、視頻游戲、游戲計算機、文本到語音系統，以及用于訓練卷積神經網絡。本文的獨特貢獻在于提出了量子計算可以支持強化學習的應用，以實現AGI。在實現AGI方面已經有了一些嘗試，但無濟于事，這就是為什么DeepMind的科學家認為強化學習是一條可行的發展道路。他們的立場與關于強化學習潛力的主流思想不一致，這就是量子計算的作用。然而，與強化學習相比，量子計算在現實世界的應用較少。盡管如此，它的基本原則可能會加速走向AGI的進程。

1.0 引言

在DeepMind Technologies的一群科學家（David Silver, Satinder Singh, Doina Precup, Richard S. Sutton）發表的一篇題為 "獎勵就夠了 "的論文中，他們提出并論證了強化學習是實現通用人工智能（AGI）或超級人工智能（AI）的可行路徑。然而，從理論上講，DeepMind的科學家們所提出的建議是可能的。

然而，在實踐中，這可能是不可想象的。西爾弗等人承認，目前還沒有可用的模型或系統能夠模擬自然環境的復雜性，以訓練建立在強化學習基礎上的智能系統。然而，如果我們最終將目光投向人工智能（AI）之外，AGI可能是可以解決的。幾十年來，對人類水平的人工智能的探索一直是內向型的，研究人員深入到人工智能的現有子領域--深度學習、無監督學習、監督學習和強化學習，僅此而已。

這種對內的關注有其收獲，但人類水平的人工智能的目標仍然遙不可及。作者提出，答案就在人工智能之外--為了實現AGI，我們應該把目光投向另一個最近得到更多關注和吸引投資的領域--量子計算。量子計算在加速訓練過程和降低強化學習模型的錯誤率方面可能至關重要。

強化學習（RL）+ 量子計算（QC）= 通用人工智能（AGI）。

換句話說，通過在訓練強化學習算法中應用量子計算原理，我們也許能夠實現具有人類水平能力的智能agent或AGI。

本文分為八個大的部分來證實這一說法。第一部分通過定義強化學習奠定了基礎。第二部分討論了強化學習的一些領域應用。接下來，它轉向AGI和當前科學家為實現AGI而采取的一些方法。第四部分將定義并向讀者介紹量子計算。第五部分簡要回顧了本次討論的核心論文《獎勵就夠了》，以及贊成強化學習作為通往AGI之路的論據。第六部分則提出了反對 "獎勵就夠了 "這一立場的論據。在這一點上，讀者應該了解什么是強化學習，它的能力、限制和量子計算的潛力。第七部分解釋了量子計算是如何使天平傾向于強化學習的。第八部分也是最后一部分，為本文畫上了句號，總結了整個討論，并提出了作者的結束語。

8.0 量子計算如何使天平傾向于強化學習以實現敏捷性

雖然量子計算機的發展可能仍處于早期階段，但初步的事件表明，如果量子計算的努力是針對強化學習的，則可以支持AGI的實現。此外，有人預測，"由于其優越的性能和與問題相關的特定屬性，量子計算機將主要用于計算智能和機器人"。

例如，量子計算機可以并行地運行不同的可能性，每個并行的可能性都試圖達到不同的答案。與傳統的強化學習算法訓練不同，在開始另一條學習曲線之前，必須完成一條學習曲線并取得或失去獎勵。但是有了量子計算，所有的學習曲線都可以同時運行，從而從根本上縮短了訓練強化學習模型的時間。

為了說明這一點，使用我們一開始的老鼠例子，我們的老鼠必須反復穿過迷宮才能找到奶酪。每一次嘗試，老鼠都會獲得更多的迷宮導航經驗，這樣它花在錯誤地方的時間就會減少，直到最后它可以直接找到奶酪所在的地方。如果我們以某種方式將量子計算引入這只老鼠，使它成為一只 "量子老鼠"，可以說，它將能夠同時嘗試迷宮中的所有路線。最終，這只 "量子老鼠 "將同時知道所有不正確和正確的路線，而不是反復嘗試和失敗。

盡管這聽起來很有希望，但必須注意到，量子計算不僅僅是同時嘗試不同的替代方案。在量子計算中，隨著所有替代方案被同時探索，那些導致錯誤結論的方案被取消，而那些導致正確結論的方案被強化。回到我們的 "量子老鼠 "的例子，當它探索所有路線時，所有那些不通往奶酪的路線被自動取消，而那些通往奶酪的路線被強化或學習。當引入強化學習時，量子計算可以從根本上改寫作為后者基礎的獎勵最大化原則。如果沒有 "錯誤的開始 "或通常比正確結果多的錯誤，獎勵就會成為默認狀態。因此，我們有一只 "量子老鼠"，一旦經過訓練，只學習通往奶酪的正確路線，可能永遠不會犯錯。

然而，假設錯誤的結論被編碼為準確的。在這種情況下，雖然正確的結論被編碼為不準確的，導致它們被抵消，但我們的量子主體有可能迅速學會錯誤的原則。管理這種風險可能涉及到一個交錯的審查過程，以確保正確的結論被編碼，以及一個人在環形的后培訓過程，以確保在受控環境中檢測到不良結果。

8.1 量子計算在人工智能/機器學習中的當前使用案例

我找不到任何當前量子計算與強化學習相關或結合的用例；也有其他的例子，量子計算原理被應用于人工智能的其他方面。例如，應用量子退火機器學習解決了一個希格斯優化問題。

這個用例表明了量子機器學習、量子神經網絡、量子生成對抗網絡（QGANs）的可行性，也可能是量子強化學習的前景。

9.0 結論

本文試圖表達一群DeepMind科學家對強化學習作為實現通用人工智能（AGI）的途徑的可行性的立場。我相信，當應用于強化學習時，量子計算原理可能會加速實現AGI的進展。

這篇論文區分了強化學習和其他機器學習技術。還依靠動物心理學來正確說明實踐中的強化學習。最后，通過現實世界的例子，還介紹了強化學習的潛力和限制。

強化學習需要在線互動，并與城市驅動的復雜性作斗爭。量子計算可能通過大大減少訓練強化學習代理的時間來緩解這一挑戰。

然而，量子計算仍然主要是一種學術追求，現實世界的應用有限。盡管如此，量子的優勢可能會減少訓練強化學習模型的時間和成本。它也顛覆了開發AGI的傳統思維。

無論是否有量子計算，實現AGI的道路都不容易，因此人們更傾向于狹義或弱義的AI。在沒有量子計算的情況下，建立一個通用的、足夠強大的強化學習agent可能被證明是不可能的。然而，在采用量子計算原理時，應該有一種謹慎的意識。使其成為強大的加速器的特性也使其變得無比危險，如果壞的結果被編碼。量子計算可能會惡化現代人工智能應用中的一切問題，加速偏見和歧視，在這里，它被用來訓練強化學習agent，具有顯著或合法的效果。

還有一個更大的問題是關于AGI的必要性或效用。如果我們仍在努力對開發狹義的人工智能工具施加道德標準，為什么要試圖咬得更緊呢？除了經濟潛力之外，投資于AGI的發展還能獲得什么重大優勢？

AGI的支持者、開發者和研究者還必須投資于理解其關于信任、偏見、道德、網絡安全和隱私挑戰的社會影響。如果量子計算被應用于支持AGI的發展，這項工作應該包括具有不同生活經歷和背景的利益相關者，以確保編碼的結果不是排他性的。這項工作也應該在沙盒環境中完成，并且在現實世界中部署時要接受人類在環（HOTL）和人類在環（HITL）的監督機制。