亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在機器學習(ML)的整個流程中,人們扮演著至關重要的角色。人們通過復雜的分布式評估網絡對大量數據進行注釋,從而為機器學習算法的開發做出貢獻。在機器學習部署端,專家從業人員在醫療保健、借貸、教育、社會服務和救災等各種現實世界領域與 ML 模型成果合作。本論文的重點是研究和支持人類在復雜決策環境中的判斷,以期改善他們與機器學習算法的整合。這項工作以研究人類行為的學科,特別是心理學、認知科學和人機交互學的豐富和肥沃土壤為基礎,從定量和定性的角度研究不同社會技術系統中的情景人為因素,如眾包、同行評審、ML 輔助決策等。具體來說,我們設計了統計工具,用于理解不同數據激發范式下的人類行為。下一步,我們將設計實驗,從統計學角度深入了解人類在復雜環境下的決策偏差,從而支持循證政策改革,提高決策質量。為了改進現實世界環境中的人工智能部署,我們提出了特定領域和通用領域框架,以支持人類與人工智能的有效合作。這里的重點是理解和利用人類與 ML 工具的相對優勢。本論文展示了在提高機器學習算法影響力這一更廣泛的目標中強調人類作用的重要性。

機器學習(ML)技術的飛速發展,在很大程度上是由于它有望自動完成傳統上認為只有人類才能完成的各種任務。從基于視覺表征識別數字的簡單行為,到診斷胸片異常的復雜任務。對視覺表征的理解是現代機器學習方法的成就之一。其他進步包括但不限于自然語言處理、機器人等領域。這些技術進步的核心宗旨是希望復制和再現人類的能力。換句話說,要全面了解機器學習工具,就必須研究其設計初衷的人類印記。

人類的能力和智慧通過幾種復雜的互動交織在 ML 工具的結構中。當我們仔細研究任何機器學習算法的設計和執行所涉及的不同過程時,這一點就會變得顯而易見。實際上,在現實世界中部署一個 ML 模型包括三個主要階段: (1) 收集數據,以捕捉模型的預期目標,例如,對于圖像識別模型,可能需要收集帶有注釋的圖像,以描述圖像中感興趣的特征;(2) 模型開發,在此過程中,采用精心選擇的架構對模型進行訓練,以學習預期目標;(3) 模型部署,將開發的 ML 工具部署到現實世界的環境中,例如自動駕駛汽車中的圖像識別模型,它可以幫助駕駛員獲得低功耗和安全的駕駛體驗。

在本論文中,我們將重點關注人在人工智能設計和執行管道的第一和第三階段中發揮的不可或缺的作用。人們在這些階段的行為對 ML 工具產生了至關重要的影響,并直接影響到 ML 在實踐中的成果。在數據收集階段,除了最近使用合成數據訓練 ML 模型的趨勢之外,數據幾乎完全由人生成。收集到的數據反映了參與生成數據的人的知識、經驗等。經過訓練,人工智能可以從數據中的模式中學習,其結果也反映了同樣的知識和經驗。之前的機器學習文獻對這一現象進行了詳細研究。從人們那里收集數據的一種常見方式是眾包,即在眾包平臺上上傳一項特定任務(如圖像標記),由參與的工作人員為上傳的圖像提供注釋。不難看出,眾包工作者行為的特殊性會對根據這些數據訓練出的最終模型產生怎樣的影響。

接下來,模型部署階段的具體情況會對模型的幾個方面產生重要影響。例如,請看前面提到的視覺模型為駕駛提供幫助的例子。理想的駕駛助手應該能夠在駕駛員即將犯錯時發出警告,因此在這種情況下,合適的輔助模型在很大程度上取決于人類駕駛員的能力和需求。這一想法適用于所有引入人工智能工具來增強人類能力的現實環境。了解人工智能模型所要輔助的人類專家當前的能力和缺陷,對于設計一個能夠在實踐中實現改善整體結果目標的模型至關重要。

鑒于人的整合在塑造 ML 模型的行為及其在實際應用中的有用性方面發揮著重要作用,我的論文有助于設計工具和實驗,以支持在復雜環境中更好地理解和整合人,從而改進 ML 工具。具體來說,這篇論文著眼于眾包和會議同行評審領域,研究復雜數據激發環境中人類行為的不同方面。我們的研究結果揭示了人們在這兩種環境下的行為中以前未經測試的細微差別和偏差,倡導在數據激發中進行以人為本的設計。接下來,關于人在模型部署階段的作用,本論文研究了在分類和生成設置中人與人工智能成果的協作。我們闡明了了解人類專家和人工智能模型在任何任務中的相對優勢對于支持有效的人類-人工智能協作的重要性。

第一部分側重于理解眾包中的人類決策行為。正如前面簡要提到的,眾包是訓練機器學習模型的主要數據來源,而其中生成的數據質量會影響在此基礎上訓練的模型的行為。在本論文中,我們設計了統計工具來檢查眾包數據的屬性。訓練 ML 模型需要大量數據,因此我們利用高維統計學習技術為本章介紹的算法提供理論保證。具體來說,第 2 章提供了一種雙樣本測試算法,用于檢測兩個人群對一組項目的偏好(以排名表示)是否存在統計意義上的顯著差異。第 3 章研究了在眾包過程中,當眾包者的專業水平信息可用時的數據聚合方法。具體來說,我們證明了一種流行的聚合方法--最大似然估計--在統計上是不被允許的。

第二部分側重于理解同行評審中的人類決策行為。科學同行評審是一種復雜的數據激發設置,它由評審人和提交的論文組成,旨在找出最優秀的論文。這種設置以分布式人工評估為基礎,其中每個評審員只評估一部分提交的論文,而每篇論文只由少數幾個人進行評估。這種設置為研究人類行為提供了豐富的素材,同時也帶來了一系列挑戰,如主觀性、偏見、激勵機制錯位等。本章的工作重點是研究同行評議數據,檢驗參與者的行為是否存在偏差,并據此提出基于證據的同行評議政策改革建議。第二部分的大部分技術工作包括:(1)設計實驗,仔細收集會議同行評審中的人類評價數據;(2)應用統計技術,找出人們評價中的重要模式。

接下來,我們將在第三部分討論本論文的第二個重點,即理解和支持人類與機器學習模型結果的整合。機器學習模型正被用于支持醫療保健、信用貸款、刑事司法等廣泛領域的決策。例如,在刑事司法系統中,算法累犯風險評分為被告的審前保釋決策提供依據。在高風險決策系統中引入 ML 輔助,就是要通過精心設計的混合決策系統,將人類認知和 ML 模型各自的優勢結合起來并加以放大。因此,論文的第三部分旨在提出可行的見解,以提高人類與 ML 合作的有效性,從而提高其成果的質量。

在第 8 章中,我們延續了之前對人類決策中的偏差所做的研究,研究了人類認知偏差在人工智能輔助決策中的作用。這項研究是之前關于支持人類決策者適當依賴 ML 模型輸出的研究的延續。

如前所述,有效的人類-人工智能合作關系的一個重要組成部分是了解人類與基于人工智能的決策在特定任務上的優勢和局限性。雖然行為科學研究為人工智能模型補充人類認知能力(反之亦然)的潛在機會提供了見解,但還需要進一步的研究來(1)了解這些發現在具體的現實世界人類決策任務中的影響,然后(2)將這些見解付諸實施,以促進有效的人類-人工智能合作關系。因此,本論文的其余部分提出了在兩類任務中實現人機交互互補的見解:預測性決策任務和生成性、共同創造性任務。相應地,第 9 章提出了預測決策中人機互補的通用領域和特定領域框架,第 10 章介紹了我們在審核人工智能模型中人機結合的特定領域工作。

這項工作旨在通過人類決策者及其與機器學習算法的結合,為大規模提高社會技術系統的決策質量提供可操作的見解。

付費5元查看完整內容

相關內容

人工智能在軍事中可用于多項任務,例如目標識別、大數據處理、作戰系統、網絡安全、后勤運輸、戰爭醫療、威脅和安全監測以及戰斗模擬和訓練。

本論文旨在解決在工業相關場景中為機器人生成任務計劃的難題。隨著小批量生產的增加,企業要求機器人經常為新任務重新編程。然而,只有在大規模生產時,維持一支具備特定編程技能的操作員團隊才具有成本效益。自動化程度的提高將目標定位在人類與機器人共享工作環境的企業,擴大了制造業的應用范圍。為此,需要通過任務計劃來控制機器人,從而安排和優化行動的執行順序。本論文的重點是生成反應靈敏、透明、可解釋、模塊化和自動合成的任務計劃。這些任務計劃可提高機器人的自主性、容錯性和魯棒性。此外,這種任務計劃還能促進與人類的合作,實現計劃的直觀呈現,并使人類有可能在運行時提示指令,以修改機器人的行為。最后,自主生成減少了操作員為機器人編程所需的編程技巧,并優化了任務計劃。

本論文討論了使用行為樹(BT)作為機器人任務計劃的策略表示。論文比較了行為樹和有限狀態機(FSM)的模塊性,認為行為樹在工業場景中更為有效。本論文還分別使用遺傳編程法和從演示中學習法探索了自動和直觀生成 BT 的方法。所提出的方法旨在為移動操縱任務高效地進化 BT,并允許非專業用戶直觀地教授機器人操縱任務。本論文強調了用戶體驗在任務解決中的重要性,以及用戶體驗如何使進化算法受益。最后,論文提出了使用以前從演示中學到的 BT 來干預無監督學習過程的方法。

付費5元查看完整內容

在過去的十年中,無人駕駛飛行器(UAV)的使用領域完全爆炸式增長。如今,它們被用于執行監視任務和檢查人們難以到達的地方。為了提高執行這類任務的效率和穩健性,可以使用合作無人機群。然而,這對使用哪些解決方案來定位和導航智能體提出了新的要求。本論文研究、實施和評估了無人機群相對定位和繪圖的解決方案。

報告研究并介紹了通過使用擴展卡爾曼濾波器(EKF)融合智能體之間的速度數據和成對距離測量來估計相對位置的系統。在現有估計相對位置方法的基礎上開發了一種濾波器,并對其進行了修改,以包括星座中所有可用的成對距離,從而使定位精度提高了 47%。此外,還開發了一種多維縮放(MDS)初始化程序,能夠非常準確地確定蜂群內的初始相對位置,幫助 EKF 幾乎瞬間收斂。此外,還開發并測試了另一種使用 MDS 坐標估計值作為輸入的 EKF。

無人機配備了測距探測器,可測量四個方向與墻壁的距離。距離數據被插入一個網格,將環境離散化。在繪制環境地圖時,采用了一種方法來考慮無人機位置的不確定性,從而改進了結果。對蜂群繪制地圖的兩種方法進行了測試,結果表明它們適用于不同的設置。如果蜂群中的無人機具有共同的坐標系,無人機就會更新相同的網格并繪制地圖。如果無人機的坐標系不同,則分別創建地圖,然后合并。一般來說,協作構建地圖的方法性能更好,而且不需要復雜的地圖合并解決方案。要合并地圖,需要一個成本函數來衡量地圖的匹配程度。我們對三種不同的成本函數進行了比較和評估。使用已知的全局位置和相對姿態估計值,對探索環境的蜂群的映射器進行評估。

事實證明,在將相對姿態估計值輸入繪圖系統時,利用已有的定位濾波器所實現的精度足以生成分辨率為十厘米的地圖。在模擬環境中可以實現更高的制圖分辨率,但需要更多的計算時間,因此沒有進行測試。

付費5元查看完整內容

人工智能(AI)和機器學習(ML)為整個技術生態系統提供了新的能力。作為新技術的基礎,最終軟件產品的安全性在很大程度上取決于底層供應鏈的安全性,包括其軟件依賴性。本研究通過對精選的人工智能庫樣本的依賴關系進行漏洞映射,對人工智能/機器學習供應鏈的一部分進行了研究。我們在樣本庫的依賴樹中尋找依賴深度與相應庫供應鏈中發現的漏洞數量之間的關系。我們考慮了多種開發工具和庫及其軟件依賴關系,所有這些都是開源軟件。了解開發供應鏈中存在的潛在風險、漏洞和依賴關系將為進一步安全開發 AI/ML 產品和確保其供應鏈的安全提供參考。

付費5元查看完整內容

目前,美國政府內部并不存在同步收集情報和調查的能力,而從整體上減輕無人駕駛航空器系統帶來的新威脅需要這種能力。此外,擁有應對權力、知識和經驗的實體基本上都在獨立的環境中工作。本論文試圖找出最佳方法,匯集各個機構的力量,將情報和調查能力統一到應對無人機系統威脅的巨型行動中。為了解決這個問題,我們選擇了工作組、特遣部隊和單一機構指定作為可能的選擇,特別是考慮到它們的歷史先例和成功的可能性。每種方案都根據其接受兩個決定性特征的能力進行了比較:協作和承諾。分析結果表明,工作隊模式最終是全面應對無人機系統威脅的最有效手段。它通過利用情報和調查行動能力來妥善解決無人機系統殺傷鏈中六個步驟中的每一個步驟,在高度協作和承諾的環境中減輕了與當前技術和法律限制相關的挑戰。本論文概述的結論和相應建議提供了明確的方向和合理的實施計劃。

目前,美國政府內部并不存在同步收集情報和調查的能力,而這種能力是全面緩解無人駕駛航空器系統帶來的新威脅所必需的。此外,擁有應對權力、知識和經驗的實體基本上都在獨立的環境中工作。這其中有一些是現行法律限制所規定的,但也有一股潛在的自私自利的政治潮流在其中彌漫。

本論文試圖找出最佳方法,將各個機構的優勢集合起來,將情報和調查能力統一到一個巨無霸級別的響應中,以應對無人機系統的威脅。本研究揭示的三個主要問題包括:當前技術的局限性、法律障礙,以及對無人機系統 "殺傷鏈 "中一個方面的短視。工作組、特別工作組和單一機構指定是根據其歷史先例和成功可能性而特別選擇的方案。每種方案都根據其是否具備兩個決定性特征進行了比較:協作和承諾。

首先對工作組進行了審查,并最終將其排除在外。雖然工作組具有較高的協作水平,但在無人機系統威脅環境下,有效的承諾水平要求極低。此外,工作組在聯邦、州和地方政府中已經非常普遍,這使它們看起來更像是現狀而非創新選擇。

特遣部隊是第二個被審查的對象,不容忽視。與工作組不同,特遣部隊具有高度的協作性和承諾性。特遣部隊模式在整合情報和調查行動以應對恐怖主義、有組織犯罪和毒品等其他重大威脅方面也有成功的歷史。

最后分析的方案是指定單一機構。就承諾而言,這一選擇的評分極高,因為它要對其行動的成敗負全部責任。遺憾的是,單一機構指定在協作方面的排名相應很低。

分析結果表明,特遣部隊模式最終是全面應對無人機系統威脅的最有效手段。它通過利用情報和調查行動能力來妥善解決無人機系統 "殺傷鏈 "中六個步驟中的每一個步驟,在高度協作和承諾的環境中減輕了與當前技術和法律限制相關的挑戰。

本論文中概述的建議提供了實施的方向和合理計劃。該計劃首先由國家行政工作組制定政策,并在州一級進行復制,以確保連續性。在考慮了行政和政策要求后,將建立一個與行政部門平等合作的國家行動工作組,通過制定包含任務導向目標和可實現的里程碑的戰略來履行這些政策義務。這也將在州一級得到體現。

付費5元查看完整內容

受赭石藻啟發的微電子機械系統(MEMS)傳感器可按一定配置排列,以探測入射聲波的到達方向(DoA)。先前的研究結果表明,可以確定方位角 360 度范圍內的明確到達方向。迄今為止,一直使用實驗室儀器進行模擬讀數。本研究的目標是開發、構建和測試一種電路配置,包括 MEMS 傳感器的外殼和電源,以及設計一種圖形用戶界面(GUI),以便從傳感器陣列中讀取 DoA,并利用 GPS 定位數據對多旋翼小型無人機的位置進行三角測量。測試場使用兩個節點的配置來探測小型旋翼無人機。操作場景顯示在地圖上。這種新配置可以探測到來自任何可探測來源的聲音,并提供聲音來源的坐標。

付費5元查看完整內容

本論文旨在利用深度學習技術提高從二維目標圖像中估計目標姿態的能力。為此,我們采用了一種名為高分辨率網絡(High-Resolution Net)的尖端卷積神經網絡來訓練關鍵點檢測模型并評估其性能。實驗使用了兩個不同的數據集,包括 600,000 張合成圖像和 77,077 張高能激光束控制研究試驗臺(HBCRT)圖像。這些圖像來自六種不同的無人駕駛飛行器,用于訓練和評估目的,高分辨率網在 80% 的圖像上進行訓練,在其余 20% 的圖像上進行測試。運行高分辨率網絡時使用了 MMPose 框架,這是一個 Python 庫,其中包含多種卷積神經網絡選項。研究結果表明,High-Resolution Net 在姿勢估計方面表現良好,但由于目標形狀的對稱性,在左右反轉方面仍存在明顯差距。這項研究為今后利用高分辨率網絡進行目標姿態估計研究奠定了基礎。進一步的研究將集中式提高圖書館中左右分辨的準確性,以增強這些成果。

本論文分為五章。第一章是引言,介紹了本課題的概況及其相關性,以及如何進行實驗。第二章是文獻綜述,通過相關的學術和行業資料更詳細地介紹了這一研究領域。第三章是問題的提出和方法,介紹了將要解決的問題和解決問題的方法。第四章是模擬結果和深度學習性能評估,對結果進行評估,看是否取得了有意義的進展。第五章是結論,從更廣闊的視角看待結果,并討論未來工作的可能性。

付費5元查看完整內容

人工智能是下一個競爭領域;第一個開發出人類水平人工智能的國家將產生類似于原子彈開發的影響。為了維護美國及其人民的安全,美國國防部資助了人工智能及其應用的發展研究。本研究使用強化學習和深度強化學習方法作為當前和未來AI智能體,并評估開發中的潛在問題。在兩個游戲和一次遠足中對智能體的表現進行了比較: 分別是貨物裝載、河內塔和背包問題。據觀察,深度強化學習智能體能處理更廣泛的問題,但表現不如專門的強化學習算法。

付費5元查看完整內容

這篇論文提出了在自動化制造背景下的多智能體機器人裝配規劃的算法。我們的工作涉及到 "工廠自主權堆棧 "的許多部分。本論文的第一個貢獻是引入了一個離散工廠問題的表述,其中包括時間延長的多機器人任務分配、任務間的優先權約束和避免碰撞的約束。我們提出了一種解決此類問題的有效方法。我們算法效率的兩個關鍵是它將任務分配和路線規劃解耦,以及它能夠利用一些機器人在自己的時間表中被推遲而不對工廠的整體性能造成任何負面影響的情況。

本論文的下一個主要貢獻是針對我們的離散工廠問題的在線版本的重新規劃算法系列。在在線設置中,工廠指揮中心定期收到新的制造工作量,這些工作量必須被迅速納入整體計劃中。我們通過大量的實驗表明,我們的重新規劃方法適用于廣泛的問題。此外,我們提出的方法在應用時可以使工廠在等待收到更新的計劃時永遠不必凍結。

我們最后的貢獻是一個概念驗證系統,用于大規模的多機器人裝配計劃,包括任意形狀和尺寸的裝配體和原材料。我們的系統從原材料和一套關于這些材料如何組合的基本指令開始。然后,規劃器合成一個施工計劃,其中定義了每個有效載荷將如何攜帶(由一個或多個機器人攜帶),每個組件和子組件將在哪里建造,以及哪些特定的機器人將被分配到每個單獨和協作的運輸任務。最后,一個反應式防撞控制策略使機器人能夠以分布式方式執行建造計劃。我們在模擬中證明,我們的系統可以在幾分鐘內合成具有數百個部件的裝配體的施工計劃。雖然我們沒有解決圍繞多機器人制造的所有相關的 "現實世界 "的考慮,但我們的工作是向使用移動機器人的大規模自動化施工邁出的一小步。

付費5元查看完整內容

摘要

本文試圖考慮DeepMind科技公司的一群科學家的斷言,即強化學習的獎勵機制足以實現通用人工智能(AGI)。強化學習是一種專注于獎勵最大化的機器學習技術,在20世紀80年代和90年代,基于美國政府的資助而快速發展。它已被應用于自動駕駛汽車、視頻游戲、游戲計算機、文本到語音系統,以及用于訓練卷積神經網絡。本文的獨特貢獻在于提出了量子計算可以支持強化學習的應用,以實現AGI。在實現AGI方面已經有了一些嘗試,但無濟于事,這就是為什么DeepMind的科學家認為強化學習是一條可行的發展道路。他們的立場與關于強化學習潛力的主流思想不一致,這就是量子計算的作用。然而,與強化學習相比,量子計算在現實世界的應用較少。盡管如此,它的基本原則可能會加速走向AGI的進程。

1.0 引言

在DeepMind Technologies的一群科學家(David Silver, Satinder Singh, Doina Precup, Richard S. Sutton)發表的一篇題為 "獎勵就夠了 "的論文中,他們提出并論證了強化學習是實現通用人工智能(AGI)或超級人工智能(AI)的可行路徑。然而,從理論上講,DeepMind的科學家們所提出的建議是可能的。

然而,在實踐中,這可能是不可想象的。西爾弗等人承認,目前還沒有可用的模型或系統能夠模擬自然環境的復雜性,以訓練建立在強化學習基礎上的智能系統。然而,如果我們最終將目光投向人工智能(AI)之外,AGI可能是可以解決的。幾十年來,對人類水平的人工智能的探索一直是內向型的,研究人員深入到人工智能的現有子領域--深度學習、無監督學習、監督學習和強化學習,僅此而已。

這種對內的關注有其收獲,但人類水平的人工智能的目標仍然遙不可及。作者提出,答案就在人工智能之外--為了實現AGI,我們應該把目光投向另一個最近得到更多關注和吸引投資的領域--量子計算。量子計算在加速訓練過程和降低強化學習模型的錯誤率方面可能至關重要。

強化學習(RL)+ 量子計算(QC)= 通用人工智能(AGI)

換句話說,通過在訓練強化學習算法中應用量子計算原理,我們也許能夠實現具有人類水平能力的智能agent或AGI。

本文分為八個大的部分來證實這一說法。第一部分通過定義強化學習奠定了基礎。第二部分討論了強化學習的一些領域應用。接下來,它轉向AGI和當前科學家為實現AGI而采取的一些方法。第四部分將定義并向讀者介紹量子計算。第五部分簡要回顧了本次討論的核心論文《獎勵就夠了》,以及贊成強化學習作為通往AGI之路的論據。第六部分則提出了反對 "獎勵就夠了 "這一立場的論據。在這一點上,讀者應該了解什么是強化學習,它的能力、限制和量子計算的潛力。第七部分解釋了量子計算是如何使天平傾向于強化學習的。第八部分也是最后一部分,為本文畫上了句號,總結了整個討論,并提出了作者的結束語。

8.0 量子計算如何使天平傾向于強化學習以實現敏捷性

雖然量子計算機的發展可能仍處于早期階段,但初步的事件表明,如果量子計算的努力是針對強化學習的,則可以支持AGI的實現。此外,有人預測,"由于其優越的性能和與問題相關的特定屬性,量子計算機將主要用于計算智能和機器人"。

例如,量子計算機可以并行地運行不同的可能性,每個并行的可能性都試圖達到不同的答案。與傳統的強化學習算法訓練不同,在開始另一條學習曲線之前,必須完成一條學習曲線并取得或失去獎勵。但是有了量子計算,所有的學習曲線都可以同時運行,從而從根本上縮短了訓練強化學習模型的時間。

為了說明這一點,使用我們一開始的老鼠例子,我們的老鼠必須反復穿過迷宮才能找到奶酪。每一次嘗試,老鼠都會獲得更多的迷宮導航經驗,這樣它花在錯誤地方的時間就會減少,直到最后它可以直接找到奶酪所在的地方。如果我們以某種方式將量子計算引入這只老鼠,使它成為一只 "量子老鼠",可以說,它將能夠同時嘗試迷宮中的所有路線。最終,這只 "量子老鼠 "將同時知道所有不正確和正確的路線,而不是反復嘗試和失敗。

盡管這聽起來很有希望,但必須注意到,量子計算不僅僅是同時嘗試不同的替代方案。在量子計算中,隨著所有替代方案被同時探索,那些導致錯誤結論的方案被取消,而那些導致正確結論的方案被強化。回到我們的 "量子老鼠 "的例子,當它探索所有路線時,所有那些不通往奶酪的路線被自動取消,而那些通往奶酪的路線被強化或學習。當引入強化學習時,量子計算可以從根本上改寫作為后者基礎的獎勵最大化原則。如果沒有 "錯誤的開始 "或通常比正確結果多的錯誤,獎勵就會成為默認狀態。因此,我們有一只 "量子老鼠",一旦經過訓練,只學習通往奶酪的正確路線,可能永遠不會犯錯。

然而,假設錯誤的結論被編碼為準確的。在這種情況下,雖然正確的結論被編碼為不準確的,導致它們被抵消,但我們的量子主體有可能迅速學會錯誤的原則。管理這種風險可能涉及到一個交錯的審查過程,以確保正確的結論被編碼,以及一個人在環形的后培訓過程,以確保在受控環境中檢測到不良結果。

8.1 量子計算在人工智能/機器學習中的當前使用案例

我找不到任何當前量子計算與強化學習相關或結合的用例;也有其他的例子,量子計算原理被應用于人工智能的其他方面。例如,應用量子退火機器學習解決了一個希格斯優化問題。

這個用例表明了量子機器學習、量子神經網絡、量子生成對抗網絡(QGANs)的可行性,也可能是量子強化學習的前景。

9.0 結論

本文試圖表達一群DeepMind科學家對強化學習作為實現通用人工智能(AGI)的途徑的可行性的立場。我相信,當應用于強化學習時,量子計算原理可能會加速實現AGI的進展。

這篇論文區分了強化學習和其他機器學習技術。還依靠動物心理學來正確說明實踐中的強化學習。最后,通過現實世界的例子,還介紹了強化學習的潛力和限制。

強化學習需要在線互動,并與城市驅動的復雜性作斗爭。量子計算可能通過大大減少訓練強化學習代理的時間來緩解這一挑戰。

然而,量子計算仍然主要是一種學術追求,現實世界的應用有限。盡管如此,量子的優勢可能會減少訓練強化學習模型的時間和成本。它也顛覆了開發AGI的傳統思維。

無論是否有量子計算,實現AGI的道路都不容易,因此人們更傾向于狹義或弱義的AI。在沒有量子計算的情況下,建立一個通用的、足夠強大的強化學習agent可能被證明是不可能的。然而,在采用量子計算原理時,應該有一種謹慎的意識。使其成為強大的加速器的特性也使其變得無比危險,如果壞的結果被編碼。量子計算可能會惡化現代人工智能應用中的一切問題,加速偏見和歧視,在這里,它被用來訓練強化學習agent,具有顯著或合法的效果。

還有一個更大的問題是關于AGI的必要性或效用。如果我們仍在努力對開發狹義的人工智能工具施加道德標準,為什么要試圖咬得更緊呢?除了經濟潛力之外,投資于AGI的發展還能獲得什么重大優勢?

AGI的支持者、開發者和研究者還必須投資于理解其關于信任、偏見、道德、網絡安全和隱私挑戰的社會影響。如果量子計算被應用于支持AGI的發展,這項工作應該包括具有不同生活經歷和背景的利益相關者,以確保編碼的結果不是排他性的。這項工作也應該在沙盒環境中完成,并且在現實世界中部署時要接受人類在環(HOTL)和人類在環(HITL)的監督機制。

付費5元查看完整內容

很長一段時間以來,計算機架構和系統被優化,以使機器學習(ML)算法或模型的有效執行。現在,是時候重新考慮ML和系統之間的關系,并讓ML改變計算機架構和系統的設計方式。這包含著雙重意義:提高設計師的工作效率,完成良性循環。在本文中,我們對將ML應用于系統設計的工作進行了全面的回顧,這些工作可以分為兩大類: 基于ML的建模,它涉及到性能指標的預測或其他一些感興趣的標準,以及直接利用ML作為設計工具的基于ML的設計方法。對于基于ML的建模,我們討論現有的研究基于它們的系統目標級別,從電路級別到架構/系統級別。對于基于ML的設計方法,我們遵循自底向上的路徑來回顧當前的工作,包括(微)體系結構設計(內存、分支預測、NoC)、體系結構/系統和工作負載(資源分配和管理、數據中心管理和安全)之間的協調、編譯器和設計自動化。我們進一步提供了未來的機遇和潛在的方向,并展望了將ML應用于計算機體系結構和系統將在社區中蓬勃發展。

//www.zhuanzhi.ai/paper/73124e0addcfed8cc8f738faf5f8c398

機器學習(ML)已經在許多領域創造了奇跡,包括計算機視覺[81,207,213],語音識別[76,83],自然語言處理[38,146,210],藥物發現[148,198],機器人[77,86,140],玩電子游戲[15,167,226],以及許多其他領域[103,128,195,206]。在某些情況下,ML能夠達到或超過人類的性能。例如,在大規模ImageNet數據集上,ResNet[81]比human獲得了更好的top-5錯誤率;AlphaGo Zero可以打敗人類專業圍棋選手[206];從單人游戲(如Atari[167])到多人游戲(如《星際爭霸2》[226]和《Dota 2[15]》),訓練人工代理玩電子游戲也取得了重大進展。

目前的ML模型大多是深度神經網絡(DNNs)及其變體(如多層感知器、卷積神經網絡、遞歸神經網絡),對內存和計算資源的要求都很高。隨著人們尋求更好的人工智能,有一種趨勢是更大、更有表現力和更復雜的模型。隨著摩爾定律帶來的收益遞減,這一趨勢促使計算機體系結構/系統的進步,以更快、更節能的方式實現ML模型。針對ML工作負載,在不同層次的系統和體系結構設計上進行了改進。在算法層面,對ML模型進行剪枝、量化和壓縮[79,92],以消除計算復雜度,提高硬件效率;在硬件層面,在內存中處理(PIM)的復興和near-data處理(NDP)(73, 179),也出現專門的架構和加速器,從那些專門為卷積神經網絡(CNN)優化(例如ShiDianNao [57], Eyeriss[31]和基本[178])那些為通用款設計加速度(例如DaDianNao [30], TPU[108],和DNPU [204]);在器件層面,將新興的非易失性存儲器技術應用于體系結構設計中,如電阻式隨機存取存儲器(ReRAM)[234]、相變存儲器(PCM)[25]、自旋傳遞轉矩磁性隨機存取存儲器(STT-MRAM)[85],將計算和內存結合在一起,提供了另一種有前景的選擇(如PRIME[35]、ISAAC[200]和Resparc[7])。

在日益復雜的工作負載及其不同的性能、精度和功率目標的驅動下,設計體系結構/系統是一件不簡單而費力的事情。通常,這些設計是由人類專家基于直覺和啟發式做出的,這需要ML和體系結構/系統方面的專業知識,在這種情況下,特別是在更復雜的系統中,無法保證良好的可伸縮性和最佳結果。因此,對于體系結構和系統設計來說,朝著更加自動化和強大的方法發展似乎是很自然的,ML和系統設計之間的關系也正在被重新考慮。通常,架構和系統優化是為了加速ML模型的執行和提高性能,不可否認的是,ML的革命在一定程度上依賴于處理能力的提高,如更好地利用并行性、數據重用和稀疏性等。近年來,有跡象表明將ML應用于增強系統設計,具有很大的發展潛力。將ML應用于系統設計有兩個意義: 1減輕人類專家手工設計系統的負擔,提高設計者的工作效率; 2閉合正反饋回路,即:,架構/系統為ML,同時ML為架構/系統,形成一個良性循環,鼓勵雙方的改進。

一般來說,將ML應用于系統設計的現有工作分為兩類。1 ML技術用于系統建模,它涉及性能指標或一些感興趣的標準(例如功耗、延遲、吞吐量等)。在系統設計過程中,需要對系統行為進行快速、準確的預測。傳統上,系統建模是通過周期精確或功能虛擬平臺和指令集模擬器(ISSs)的形式來實現的(例如gem5 [18], Simics[150])。盡管這些方法可以提供準確的評估,但它們也帶來了與性能建模相關的昂貴的計算成本,限制了對大規模和復雜系統的可伸縮性; 同時,長時間的模擬限制了設計師的才能,因為只能探索整個設計空間的一小部分。采用ML技術作為設計方法,直接加強架構/系統設計。ML擅長提取特性,在沒有顯式編程的情況下做出決策,并根據經驗自動改進自身。因此,將ML技術作為設計工具,可以更主動、更智能地探索設計空間,通過更好地理解資源的復雜、非線性交互等來管理資源,從而提供真正的最優解決方案。

在本文中,我們概述了將ML應用于計算機體系結構/系統,并總結了ML技術可以解決哪些系統問題以及ML技術如何解決這些問題,如圖4所示。本文還討論了ML在系統設計中的應用所面臨的挑戰和前景。本文組織如下。第2節簡要介紹了常用的ML技術;第3節回顧了使用ML技術進行系統建模的研究,從電路級到架構/系統級;第4節介紹了利用ML技術作為設計工具直接增強體系結構/系統設計的研究,包括(微)體系結構設計(內存、分支預測、NoC)、體系結構/系統和工作負載(資源分配和管理、數據中心管理和安全)之間的協調、編譯器和設計自動化;第5節討論了將ML應用于系統設計的挑戰和未來前景,以傳達設計考慮的見解;第六部分是本文的總結。

付費5元查看完整內容
北京阿比特科技有限公司