亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的十年里，深度學習展示了卓越的能力，展現了對大規模數據的強烈依賴。這一時期見證了大型語言模型、擴散模型和分割模型的規模化法則生效，通過利用大規模真實世界數據集，實現了接近人類水平的性能。然而，當涉及到具身人工智能時，生成真實世界數據變得具有挑戰性且成本高昂，原因在于機器人的脆弱性和有限的速度。相比之下，合成數據和模擬環境提供了一種高效且成本效益高的方法，用于訓練機器人代理并生成精確的監督。因此，合成數據作為可擴展和高質量訓練數據的有希望的解決方案，為具身人工智能代理的出現提供了支持。鑒于使代理能夠泛化到真實世界場景的最終目標，圍繞合成數據的主要挑戰在于準確捕捉真實世界分布，通過彌合模擬與現實差距（Sim2Real gap）。解決這一挑戰涉及兩個關鍵方面：生成合成數據和有效利用它。在這篇論文中，我提出了兩條研究工作線，分別對這兩個方面做出貢獻。第一條研究工作線解決合成數據的生成。我介紹了兩種旨在生成與真實世界分布一致的合成數據的方法。首先，我提出了iGibson，一個模擬環境，用于在大規模真實場景中開發交互式任務的機器人解決方案。iGibson構建了與3D掃描的真實世界家庭互動復制的模擬場景，使對象、布局和互動性的分布與真實世界一致。為了進一步促進更健壯的具身代理的訓練，iGibson為材料（包括視覺外觀和動力學特性）和物體形狀提供了領域隨機化程序，同時尊重物體放置的分布并保持互動性。其次，我提出了GINA-3D，一種生成模型，使用來自相機和激光雷達傳感器的真實世界駕駛數據來創建多樣化車輛和行人的逼真3D隱式神經資產。與iGibson相比，后者涉及在構建模擬環境方面的顯著人力努力，GINA-3D利用了直接學習生成與真實世界觀測匹配的合成資產的生成模型。我提出的證據表明，GINA-3D在生成的視覺和幾何質量方面實現了最先進的性能和多樣性。第二條研究工作線集中于有效利用合成數據。通過設計健壯的學習算法和模型，我們可以創建更好地泛化到真實世界場景的模型。首先，我介紹了Taskonomy，它利用合成數據構建了一個計算任務分類和任務空間地圖。通過利用任務關系，我展示了證據表明，我們可以使用比完全監督方法少至少一個數量級的數據，而且模型可以很好地泛化到真實世界數據集。然后，我介紹了情境融合，它訓練代理融合一大組對應于多樣化視覺感知能力的視覺表征。這種方法在新環境中的表現顯著優于真實世界預訓練的基線和其他融合方法。最后，我介紹了ACID，用于可變形物體操縱的動作條件隱式視覺動力學。通過利用大規模合成數據和幾何與動力學的獨特監督，我可以將模擬訓練的ACID模型直接應用于真實世界物體，并在將它們操縱到目標配置方面取得成功。總結來說，這篇論文研究了合成數據和模擬環境作為具身人工智能的有希望解決方案。所呈現作品的關鍵在于合成數據的仔細生成和有效利用。通過模擬環境、生成模型、任務遷移學習、視覺運動策略訓練和視覺動力學建模等策略，我們可以彌合模擬訓練和真實世界應用之間的差距，為更有能力和多功能的具身人工智能代理鋪平道路。

大規模機器學習是許多人工智能近期成功的核心，例如AlphaGo、BERT、DALL-E、GitHub Copilot、AlphaCode和ChatGPT。這些大規模模型無疑是強大的，但訓練成本也非常高昂。為了降低成本，我們將順序決策制定融入到機器學習模型的訓練中。順序決策制定長期以來一直是獨立領域的關注焦點（例如，強化學習和多臂老虎機）。我們觀察到順序決策制定問題也出現在多種不同設置下的機器學習模型訓練中。我們展示了通過精心解決這些問題可以提高訓練效率，從而減少訓練時間。根據具體的訓練設置，決策內容涉及如何（a）選擇向量的坐標，（b）從訓練集中選擇示例，或（c）在不同機器之間路由令牌。在這篇論文中，我們考慮了包括推薦系統、分布式學習、課程學習和變換器模型在內的多種訓練設置。我們為每種訓練設置設計了定制的決策制定策略，并通過大量實驗展示了訓練時間的縮短以及通常更高的準確性。

在過去幾年中，機器學習模型變得越來越強大，在許多現實世界應用中取得了前所未有甚至超越人類的表現。例如，得益于機器學習的進步，AlphaGo成為了第一個在圍棋游戲中擊敗世界冠軍的電腦程序[210]。BERT在多個自然語言任務（如問答）中實現了超越人類的性能[53]。DALL-E是一個革命性的工具，能夠基于文本提示生成多種風格的逼真圖像[180]。GitHub Copilot依賴于Codex模型，為包括Python、JavaScript、PHP和Shell在內的十多種編程語言提供高質量的代碼補全服務[32]。另一個代碼生成系統AlphaCode，在具有挑戰性的編程競賽中，在5000多名參與者中的預估排名可達前54%[133]。最近，OpenAI發布了ChatGPT，這是一種可以以前所未有的方式與人類互動的聊天機器人，例如回答后續問題和承認錯誤[1]。

盡管這些激動人心的應用橫跨游戲、編程語言生成、計算機視覺和自然語言理解等多個領域，但它們有一個共同點：都依賴于大規模機器學習模型。例如，AlphaCode使用的最大模型包含410億個參數[133]。BERT在其早期版本中有3.4億個參數[53]，并通過使用新的混合專家（MoE）設計進一步擴展到3950億參數[64]。DALL-E和GitHub Copilot的基礎模型GPT-3包含1750億個參數[25]。ChatGPT是基于GPT-3.5系列的模型進行微調的，其中包含高達1750億個參數[1]。實際上，大規模機器學習模型一直是機器學習進步的基礎，因為已經觀察到，隨著模型越來越大，其性能（例如，準確性）也越來越好。然而，更大的模型需要更多的數據和更長的訓練時間，因此導致非常高的訓練成本。例如，據估計，使用256個NVIDIA A100 GPU訓練一個含1780億參數的GPT-3模型需要168天[163]。據報道，訓練AlphaCode模型需要數百個petaFLOPS天[133]。

本篇論文的目標是開發方法，以降低大規模機器學習算法的運行成本。具體而言，我們借鑒了順序決策制定領域的技術。正如我們稍后將詳細說明的那樣，我們觀察到在多種不同設置下的機器學習模型訓練過程中出現了順序決策制定。通過仔細解決這些順序決策制定問題，我們的方法通過降低計算復雜性來改進訓練程序，從而縮短了訓練時間。

自動化工具，如機器學習，在我們的大數據世界中是必不可少的。得益于互聯網以及計算機和存儲技術的各個方面的進步，幾乎每個人在互聯網連接的世界中都有發言權。然而，在我們的物理世界中仍然存在非常真實的物理限制。這種二分法——技術使能的數據看似無限與現實世界的物理限制的碰撞——使自動化工具成為必需品，而由機器學習算法驅動的預測模型就是這樣一種工具。機器學習準確預測未來的人類行為和人類偏好的前景使從業者和研究者都開始將機器學習自動化工具應用于如產品推薦和猜測活動，例如長期工作申請者的成功。然而，由于人的變化無常的本性，試圖開發數學中介來模擬和預測人類行為是充滿挑戰并非直線的任務。為了利用機器學習支持的自動化來幫助減少在更具挑戰性的領域設置中的許多實際應用的規模，一個方法是讓人類和機器以非瑣碎的方式合作。在這篇論文中，我們詳細描述了人類和機器在具有挑戰性的實際應用中合作的各種方式。此外，我們強調了三種可以使用人機合作來在野外使用這些系統時保持或增加實用性并減少實際損害的方式：(i) 人類為計算機提供特定領域的知識，(ii) 計算機為人類提供算法解釋，(iii) 人類和計算機在決策中共同合作。

近年來，機器人領域發展迅速，機器人被用于越來越多的應用中，從制造業到醫療健康再到家務勞動。機器人技術的關鍵挑戰之一是使機器人能夠在非結構化和動態環境中執行復雜的操作任務。雖然機器人學習和控制已經取得了重大進展，但許多現有方法受到限制，因為它們依賴于預定義的運動基元或通用模型，而這些模型沒有考慮到個人用戶、其他合作智能體或交互對象的特定特征。為了在這些不同的環境中有效地工作，機器人需要能夠適應不同的任務和環境，并與不同類型的智能體進行交互，如人類和其他機器人。本論文研究學習方法，使機器人能夠適應他們的行為，以實現智能機器人行為。

在本文的第一部分中，我們專注于使機器人更好地適應人類。我們首先探索如何利用不同的數據源為人類用戶實現個性化。研究了人類如何喜歡用低維控制器(如操縱桿)遙控輔助機器人手臂。本文提出一種算法，可以有效地開發輔助機器人的個性化控制。這里的數據是通過最初演示機器人的行為，然后詢問用戶以從操縱桿收集他們相應的首選遙操作控制輸入來獲得的。探索了利用較弱的信號來推斷智能體的信息，如物理修正。實驗結果表明，人工修正是相互關聯的，共同推理這些修正可以提高精度。最后，研究了機器人如何通過推理和利用團隊結構更有效地與人類團隊合作和影響人類團隊，而不是只適應單個人類用戶。將該框架應用于兩種類型的群體動力學，即領導-跟隨和捕食者-被捕食者，并證明機器人可以首先開發一種群體表示，并利用這種表示成功地影響一個群體以實現各種目標。

在本文的第二部分，我們將研究范圍從人類用戶擴展到機器人智能體。本文解決了分散的機器人團隊如何通過只觀察其他智能體的行動來相互適應的問題。本文發現了團隊中存在無限推理循環的問題，并通過為機器人智能體分配不同的角色，如"發言人"和"聽眾"，提出了解決方案。這種方法使我們能夠將觀察到的行動視為一個溝通渠道，從而實現分散團隊內的有效協作。在本文的第三部分，我們探討了如何通過開發定制的工具來適應不同的任務。強調了工具在確定機器人如何與物體交互方面的關鍵作用，使它們在為特定任務定制機器人方面變得重要。為解決這個問題，本文提出一個端到端的框架，通過利用可微物理模擬器來自動學習富接觸操作任務的工具形態學。最后，對全文進行了總結，并對未來的研究方向進行了展望。

近年來，從一般物體抓取到手部操作，深度學習實現了許多令人興奮的機器人操作能力。盡管如此，能夠進入以前從未見過的家庭環境，并像人類一樣完成各種任務的典型家用機器人還遠遠不現實。雖然在實現這一目標方面有許多問題要解決，但中心瓶頸之一在于從機器人傳感器輸入中學習控制策略，這些策略可以泛化到新的任務、對象和環境。例如，一個在家做飯的機器人無法負擔從頭開始學習每一道菜，也無法為機器人可能遇到的每個新廚房硬編碼狀態特征。實現這種泛化的一個潛在途徑是在包含許多任務、對象和環境的廣泛數據分布上訓練機器人。事實上，這種將大型、多樣化的數據集與可擴展的離線學習算法(例如，自監督或廉價監督學習)相結合的方法，是自然語言處理(NLP)和視覺最近取得成功的關鍵。然而，直接將此方法擴展到機器人領域并非易事，因為我們既沒有足夠大和多樣化的機器人交互數據集，也不清楚哪種類型的學習算法或監督來源可以使我們從這些數據集中可擴展地學習技能。

本文的目標在于解決這些挑戰，并在機器人操縱的背景下重現大規模數據和學習的方法。

本文的第一部分將討論如何可擴展地收集在物理世界中交互的機器人的大型和多樣化數據集，以及如何在這種離線機器人數據集上有效地預訓練自監督世界模型。然后，我們將探討如何使用這些預訓練的世界模型，通過將它們與規劃相結合來解決任務，首先用于解決長視距操縱任務，其次用于完成自然語言指定的任務。最后，我們將討論如何超越機器人數據，并解鎖存在于網絡上的廣泛數據源，如人類的視頻，以使機器人更有效地學習，特別是通過獎勵學習和視覺預訓練。本文將通過討論公開的挑戰來結束，特別是如何統一模擬、真實世界的數據收集和人類視頻的范式，以實現通用家用機器人的愿景。

像機器學習這樣的自動化工具在我們的大數據世界中是必不可少的。由于互聯網以及計算機和存儲技術在各個方面的進步，幾乎每個人都在互聯網連接的世界中擁有發言權。然而，在我們的物理世界中仍然有非常真實的物理限制。這種二分法——看似無限的技術使數據與現實世界的物理極限發生碰撞——使得自動化工具成為必要，而由機器學習算法驅動的預測模型就是這樣一種工具。機器學習對準確預測未來人類行為和人類偏好的承諾，促使從業人員和研究人員將機器學習自動化工具應用于產品推薦等任務和長期求職成功等投機性活動。然而，由于人類善變的本性，開發數學中介來試圖建模和預測人類行為是具有挑戰性的，并不是一項簡單的任務。利用機器學習支持的自動化的力量，在更具挑戰性的領域中幫助減少許多現實世界應用程序的規模的一種方法是讓人類和機器以非平凡的方式合作。本文描述了人類和機器在具有挑戰性的現實世界應用中合作的各種方式。強調了在實際環境中使用這些系統時，可以使用人機協作來保持或增加效用并減少現實世界的傷害的三種具體方法**:(i)人類使計算機具有特定領域知識，(ii)計算機為人類提供算法解釋，(iii)人類和計算機在決策中共同工作**。論文結構如下:第2章:本章展示了第一種人機協作模式——人類使計算機具有特定領域的知識——如何在平均成績點預測任務中增加機器學習模型的效用。脆弱家庭挑戰(Fragile Families Challenge)是一項大規模協作的社會科學數據挑戰，其目的是了解各種幼兒期變量如何預測兒童的遠期結局。我們描述了應對脆弱家庭挑戰的兩步方法。在第1步中，我們使用各種全自動方法來預測兒童的學業成績。我們擬合了124個模型，其中包括8種模型類型、2種填補策略、2種標準化方法和2種自動變量選擇技術的最可能組合，使用2個不同的閾值。然后，在步驟2中，我們試圖在步驟1的基礎上改進步驟1的結果，在詳細審查碼本的基礎上進行手動變量選擇。通過對學生成功文獻的全面回顧，我們手動選擇了3694個被認為可以預測學業成績的變量，以指導決策過程。使用手動選擇的變量重新估計步驟1中的最佳模型。人工變量選擇改善了步驟1中前10個模型中的大多數，但沒有改善前10個中最好的模型。結果表明，在大多數情況下，受社會科學方法啟發的變量選擇可以顯著提高完全自動訓練的模型。**第3章:本章展示了第二種人機協作模式——計算機為人類提供算法解釋——如何提高機器學習模型在電影推薦任務中的效用并減少其危害。**在一個電影推薦任務上評估了兩種流行的局部可解釋性技術，LIME和SHAP。發現這兩種方法的表現非常不同，這取決于數據集的稀疏性。LIME在數據集的密集段上比SHAP做得更好，而SHAP在稀疏段上做得更好。將這種差異追溯到LIME和SHAP基礎估計量的不同偏差-方差特征。與LIME相比，SHAP在數據的稀疏段中表現出更低的方差。將這種較低的方差歸因于SHAP固有的完整性約束屬性和LIME中的缺失。該約束作為正則化項，因此增加了SHAP估計器的偏差，但降低了其方差，從而導致有利的偏差-方差權衡，特別是在高稀疏性數據設置中。有了這種見解，將相同的約束引入到LIME中，制定了一種新的局部可解釋性框架，稱為完整性約束LIME (CLIMB)，優于LIME，比SHAP快得多。**第4章:本章展示了第二種人機協作模式的第二個例子——計算機為人類提供算法解釋。**在通過各種方法生成不透明的機器學習模型的局部解釋時，遇到了評估解釋并確定最佳解釋的問題。評估模型預測的解釋有兩個組成部分，解釋對不透明模型的忠實性和人類對解釋的易用性。本文旨在開發定量的方法，來評估在解釋最先進的電影推薦模型時局部解釋的忠實度。本文提出根據局部解釋和不透明模型之間的近似誤差來定量評估忠實度。本文表明，這種近似誤差可以最小化，以獲得一種新的局部解釋技術。與局部可解釋性研究中采用的公理化方法相比，提出的近似誤差是一種直觀的方法來推理局部解釋方法的行為。因此，我們使用提出的近似誤差來比較廣泛使用的局部解釋方法對不透明模型的忠實度/保真度。最后，為了便于人類理解組件，描述了不同的方式來呈現解釋模型的結果，即通過在變換特征空間中優化相同的近似誤差來簡化特征輸入。**第5章:本章展示了第三種人機協作模式——人類和計算機在決策中一起工作——如何在保持效用的同時降低機器學習模型在圖像個性化任務中的危害。**個性化是大多數web服務應用程序的組成部分，它決定了向每個成員顯示哪些體驗。在工業個性化系統中使用的一個流行的算法框架是上下文盜匪，它試圖在存在隨觀察到的成員的上下文特征而變化的治療效果的情況下學習個性化的治療分配策略。為了保持優化任務的可處理性，這樣的系統可以短視地做出獨立的個性化決策，這些決策可以在成員與Web服務交互的集合中共同創建次優的體驗。本文設計了一系列新的在線學習算法，從個性化中受益，同時優化了許多獨立決策的總體影響。所提出方法選擇性地在任何上下文無關的bandit算法和任何上下文無關的多臂bandit算法之間進行插值，并僅在上下文信息有望比沒有考慮它的決策獲得顯著收益的情況下，才利用上下文信息進行治療決策。除了幫助個性化系統的用戶感覺不那么有針對性外，通過有選擇地依賴上下文來簡化治療分配策略，可以幫助提高學習速率。在幾個數據集上評估了所提出方法，包括一個視頻訂閱web服務，并展示了這種混合策略的好處。第6章: 在本章中，我們描述了人類和機器在脆弱家庭挑戰和推薦系統等具有挑戰性的現實世界應用中合作的各種方式。在本文中，我們討論了上述兩種情況下人機協作的三種具體模式。然而，在對提交給脆弱家庭挑戰(Fragile Families Challenge)的全套17篇研究論文進行文獻綜述和對現有推薦系統研究論文進行文獻綜述后，我們能夠更全面地了解人類和機器在這些環境中合作的各種方式。

機器學習(ML)的最新進展改變了世界。過去是人類主宰規則，現在是機器儲存數據并做出決定。雖然這一變化帶來了真正的好處，但它已經實現了大量基于人類的交互自動化，使其易于操作。研究已經確定，機器學習模型非常容易受到對抗性擾動，特別是對其輸入的更改，這些更改對人類來說是無法察覺的，但會迫使它們以意想不到的方式作業。在本文中，我們采取了一種相當非正統的方法來研究機器學習安全，并通過計算機安全的角度來研究機器學習的現狀。我們發現了大量潛伏在系統安全和機器學習交叉領域的新攻擊和問題。接下來，我們描述了文獻的現狀，強調了我們仍然缺少重要知識的地方，并描述了該領域的幾個新的貢獻。該領域的一些特征使當前的安全方法變得不太適用，使現代機器學習系統容易受到各種各樣的攻擊。我們的主要貢獻是對機器學習的可用性攻擊——針對推理或模型訓練延遲的攻擊。我們還解釋了攻擊者如何利用與模型環境的許多其他交集。一個重要的見解是，必須理解、承認機器學習模型的固有局限性，并通過在更大系統中使用組件來補償控制進行緩解。

機器學習(ML)徹底改變了現代計算機系統，因此，更多的任務現在是完全自動化和模型驅動的。盡管深度神經網絡的性能令人印象深刻，但人們很快發現，底層模型是極其敏感的，攻擊者可以找到微小的，有時甚至無法察覺的擾動，以控制底層模型的行為。圖1 - 1展示了這種對抗性示例的一個例子——一個輸入樣本，旨在迫使模型將鳥瞰圖視為一輛汽車。(每個像素顏色的微小擾動被放大，使它們在這些圖像中可見。)這一發現導致了對抗性機器學習領域的誕生，在那里我們研究如何攻擊和防御ML模型。起初，這主要是由對基礎數學的研究和構建不太敏感的函數(如對抗性訓練)驅動的。然而，令人驚訝的是，這對嵌入模型的大型系統的安全性影響甚微，因為相同的模型仍然容易受到其他攻擊者的攻擊，也容易受到減少效用的影響。在實踐中，使用不那么敏感的近似函數并不一定會提高或降低安全性。攻擊者很少受到擾動大小的限制，并且可能更喜歡獲得模型的控制權，而不是根據某些學術指標保持攻擊不可察覺。

//www.repository.cam.ac.uk/handle/1810/338197

這種認識導致了一個新領域的創建——機器學習的安全性——在這里，我們不是孤立地觀察ML，而是在其環境、依賴項和需求的上下文中分析它。我們在博士期間一直在做的工作對這一文獻做出了早期貢獻，特別是開創了三種新的攻擊和防御類型。

**隨著大型模型的發展以及數據的爆炸性增長和可用性，深度學習在眾多現實應用中取得了巨大而廣泛的突破。**然而，深度學習模型通常具有過高的計算和內存成本，不適合在移動設備或邊緣設備上進行實際部署。此外，深度學習模型面臨著學習和快速適應的挑戰，從只有幾個例子來解決新的任務。因此，本文提出了學習計算效率高的模型架構的技術和提高少樣本學習能力的方法。**我們從子空間分析方法及其在特征選擇問題中的應用開始。然后將這些方法擴展到深度神經網絡結構學習(deep neural network structural learning, SL)中，目的是減少冗余參數，以獲得能夠保持甚至提高精度的最優降維模型。**還介紹了基于混合剪枝-再生長技術的更高效的SL方法和可以跨更多維度降低模型的更通用的SL方法。除了靜態模型設計之外，本文還提出了動態神經網絡方法，可以在推理過程中根據不同的輸入動態調整模型權重和結構，以控制計算效率并提高表示能力。除了模型效率外，還提出了訓練模型的技術，可以從幾個例子中快速泛化。本文提出一種少樣本架構自適應方法，通過元學習一個任務感知架構控制器，為不同的少樣本任務定制特定于任務的模型結構。與傳統的NAS方法需要對每個新任務進行單獨的搜索成本不同，所提出方法在一次性元訓練成本后，在幾分鐘內從GPU數據集中直接生成特定于任務的模型結構。最后，提出了一種基于語言輔助表示的掩碼圖像預訓練的跨模態自監督學習框架。由此產生的模型產生了高質量的可遷移表示，提高了許多計算機視覺任務的準確性，并對對抗性/分布外樣本表現出強大的魯棒性。所產生的模型適用于結構學習以獲得更大的計算效率，也適用于低資源任務適應以獲得更好的數據效率。

//dataspace.princeton.edu/handle/88435/dsp01p8418r442

自主決策系統正變得越來越普遍，我們越來越依賴這些系統為我們執行行動。以前，我們主要使用算法來完成簡單的預測任務。目前，我們遇到它們在順序決策場景中導航，在這些場景中，它們被精心設計來選擇導致理想狀態下最大預期性能的行動序列。隨著數據的廣泛可用性、計算能力的提高和學習算法的進步，機器學習正在成為傳統專家精心設計的解決方案的可行替代方案。機器能夠從數據中學習，并建立世界的表示來指導它們的行動。近年來，人工神經網絡已成為非常流行的函數逼近方法。從自動語言翻譯到自動駕駛汽車，計算機智能的許多驚人成就都是基于神經網絡的。特別是，它們與強化學習(RL)的結合使機器能夠學習復雜順序問題的解決方案。 與傳統軟件不同的是，人類幾乎不可能理解神經網絡實現的邏輯，這使得它們成為不透明的模型，并可能阻止它們在安全或關鍵任務應用中使用。在很多情況下，僅僅運行模擬還不足以讓人們對它們建立信心，因為一個故障就可能導致災難性的后果。本文的工作解決了在具有神經網絡組件的機器學習系統中建立信任的挑戰。我們首先介紹神經網絡驗證，這是一種驗證網絡是否具有所需屬性的過程。我們介紹了神經網絡驗證的最新進展，包括我們自己的貢獻，并表明，盡管取得了進展，驗證仍然是一個非常具有挑戰性的問題，目前的算法難以擴展到大型網絡。然后，我們提出了一種可選的方法，該方法將驗證需求合并到模型的設計中。更簡單的模型更容易驗證，我們證明了一些問題可以用二值化神經網絡(BNNs)解決，明顯更簡單的模型，參數可以用1位表示，具有與全精度模型相似的性能。我們提出并演示了一種簡單的混合整數規劃方法來驗證它們，并表明該方法具有良好的可擴展性。最后，我們提出了一種深度強化學習算法，類似于使用BNN作為函數逼近器的深度Q學習算法。我們再次表明，這種方法能夠犧牲少量性能，并獲得可擴展的驗證。

幾十年來，不斷增長的計算能力一直是許多技術革命背后的推動力，包括最近在人工智能方面的進步。然而，由于集成電路進程規模的放緩，對于系統架構師來說，要繼續滿足當今應用不斷增長的計算需求，他們現在必須采用具有專門加速器的異構系統。

然而，建構這些加速器系統是極其昂貴和耗時的。首先，硬件的開發周期是出了名的長，這使得它很難跟上算法的快速發展。同時，現有的編譯器無法導航由新型加速器架構暴露的棘手映射空間。最后算法的設計通常沒有將硬件效率作為關鍵指標，因此，在設計高效硬件方面提出了額外的挑戰。

本文解決了聯合設計和優化算法、調度和加速硬件設計的重大挑戰。我們的目標是通過三管齊下的方法來推進最先進的技術: 開發從高層抽象自動生成加速器系統的方法和工具，縮短硬件開發周期; 適應機器學習和其他優化技術，以改進加速器的設計和編譯流程; 以及協同設計算法和加速器，以開發更多的優化機會。

本文的目標應用領域是深度學習，它在計算機視覺、神經語言處理等廣泛的任務中取得了前所未有的成功。隨著智能設備的普及，可以預見，深度學習將成為我們日常生活中的主要計算需求。因此，本文旨在通過硬件加速進行端到端系統優化，釋放前沿深度學習算法的普遍采用，改變生活的各個方面。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html