亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

 深度學習（DL）在醫學影像和自然語言處理（NLP）等領域取得了顯著進展。然而，在實際應用中，仍然存在一些挑戰。首先，解決復雜任務需要具有高表現力的大型神經網絡，這在如加速磁共振成像（MRI）重建等高維設置中，對時間和內存效率提出了重大挑戰。其次，DL算法通常對訓練和測試之間的分布變化敏感。例如，基于DL的MR重建方法在臨床相關的分布變化（如噪聲、掃描器引起的漂移和解剖結構變化）下會急劇失敗。同樣，在NLP中，大型語言模型（LLMs）對文本輸入（提示）的格式變化（如提示中單詞的順序）也敏感。因此，開發時間和內存效率高、對分布變化具有改進魯棒性的算法至關重要。在本論文中，我們通過一系列項目解決了現有DL技術的效率和魯棒性問題。首先，我們描述了一種用于MRI重建的內存高效訓練策略GLEAM，它將端到端神經網絡分解為解耦的網絡模塊。GLEAM在高維設置中顯著提高了時間和內存效率，同時改善了重建性能。然后，我們描述了一種一致性訓練方法，該方法同時使用全采樣和欠采樣掃描進行抗噪聲MRI重建，稱為Noise2Recon。我們展示了Noise2Recon在低信噪比設置下，使用更少的標記數據，以及在推廣到分布外加速因子時，比現有DL技術更具魯棒性。接下來，我們討論了使用擴散模型提高MRI重建魯棒性的方法。第一種方法，稱為SMRD，在測試時進行自動超參數選擇以增強臨床相關分布變化下的魯棒性。SMRD在分布外測量噪聲水平、加速因子和解剖結構下提高了魯棒性，測量噪聲下的PSNR提高了高達6 dB。第二種方法，稱為RED-diff，基于測量一致性損失和得分匹配正則化的變分推理方法。RED-diff在使用相同內存的情況下實現了3倍的推理速度提升。最后，我們提出了一種用于自然語言推理的高效且魯棒的概率推理方法，稱為ThinkSum。ThinkSum是一種兩階段概率推理算法，它以結構化的方式推理對象或事實集合。在第一階段，LLM在從提示或輔助模型調用中提取的一組短語上并行查詢。在第二階段，這些查詢的結果被聚合以做出最終預測。我們展示了ThinkSum在困難的NLP任務上提高了性能，并且與標準提示技術相比，對提示設計更為魯棒。此外，我們展示了ThinkSum可以同時處理對LLMs的并行查詢，以提高效率。

深度神經網絡已經展示了其在處理各種類型數據為包含關鍵信息的緊湊表征方面的卓越能力，這些信息對于理解數據至關重要。隨著強大計算設備的可用性，模型大小和用于訓練模型的數據量持續增長。因此，基礎模型的概念最近已經浮現。由于大型模型和用于訓練的廣泛數據范圍，人們認為基礎模型有強大的潛力，能為人工智能研究帶來重大變革。在這篇論文中，我們專注于視頻基礎模型。具體來說，我們希望探索從視頻中學習深度表征的方法，這是與視頻基礎模型相關的最重要的主題之一。我們確定了三個潛在阻礙視頻理解范式中基礎模型進步的挑戰：（一）當前用于處理視頻的模型結構在從視頻中提取特征方面效率不高。（二）從未標注數據中學習視頻表征的框架大多繼承自圖像，它們未能利用幀之間的運動，對于從未裁剪視頻中學習表征來說是次優的。（三）預訓練視頻模型的適應性僅限于時空理解任務，而許多空間理解任務可以通過結合連續幀之間的時間上下文而受益。針對上述挑戰，我們提供了解決方案的探索。在模型結構方面，我們首先介紹了TAdaConv，它在不增加太多計算開銷的情況下為圖像模型賦予了時間建模能力。然后，我們進一步優化了基于Transformer的模型的效率，通過掩蓋輸入視頻的相當比例，減輕了對視頻冗余部分的計算負擔。在從未標注數據中學習視頻表征方面，我們探索了從圖像生成的偽運動中學習，以增強模型對視頻中像素運動的理解。對于基于對比學習的框架，我們提出了一種參數化裁剪策略，用于在訓練期間自適應控制增強強度。為了從未裁剪視頻中學習，我們在標準對比學習框架的基礎上進一步引入了主題一致性學習，這被證明在利用網絡上未篩選的視頻數據方面是有效的。在泛化到空間理解任務方面，我們將TAdaConv擴展到視覺對象跟蹤的應用。

我們對世界的觀察由無數的、無休止的視覺刺激組成。因此，對機器來說，理解我們的世界的關鍵能力之一是理解視頻。自從幾十年前進入深度學習時代[160]以來，視頻理解領域已經取得了巨大的進展。處理視頻的最大模型已從1000萬參數[322]增長到超過10億[319]，用于訓練視頻模型的數據也從幾千[282, 162]擴展到超過50萬[32]，如果考慮到未標注數據，這個數字進一步擴大到超過1000萬[8]。為了更全面地理解視頻，涌現出了各種任務，如動作識別[149, 150]、動作檢測[24, 105]、視頻檢索[361, 267]、異常檢測[285]和對象跟蹤[85, 348, 228]等。

在早期，各種任務的方法是獨立開發的。盡管處理視頻的操作相似，但不同任務中的視頻模型結構是為每個任務專門設計的，而且視頻模型都是從隨機初始化開始訓練的。隨著發現在預訓練期間學習的特征表示可以將有用信息轉移到下游任務[102]，動作識別的視頻模型開始利用預訓練的圖像模型（例如，在ImageNet[69]上預訓練的ResNet[119]）作為初始化[33]，其他下游任務[196, 397, 245]的解決方案開始利用在Kinetics-400[150]等大規模標注數據集上預訓練的視頻模型的特征表示。這導致了各種視頻應用框架的融合，遵循一般的預訓練和微調范式。通常，視頻模型首先通過監督或自監著學習進行預訓練。借助預訓練的表示，下游任務中的應用可以通過向視頻骨架添加特定于任務的模塊來完成，這實際上是對視頻模型的表示進行后處理。該過程如圖1.1所示。因此，在這樣的框架中，視頻表征的質量在下游任務的性能中起著關鍵作用。 盡管預訓練的視頻模型顯著加速了訓練并提高了下游視頻應用的性能，如動作識別[134, 255, 259]、動作定位[196, 403]、視頻定位[74, 75, 397]等，但預訓練模型仍然存在幾個缺點。在各種下游任務中，我們看到要獲得像樣的性能需要新的架構[75, 135]或訓練技術[74]。這顯著阻礙了視頻模型在各種現實世界應用中的使用。

最近，基礎模型的出現[20]為這個問題提供了一個有希望的解決方案。基礎模型的概念起源于自然語言處理(NLP)，本質上指的是具有大量參數并在大量數據上訓練的模型。例如，著名的NLP模型GPT-3[21]擁有1750億參數，并使用3000億語言標記進行訓練。盡管基礎模型的技術并不是全新的，但其規模和由此產生的高度容量和泛化能力已經為各種現實世界應用打開了新的可能性。在大量未標注數據上預訓練如此大的模型之后，該模型能夠解決各種任務，而無需專門針對這些任務進行訓練。因此，有了視頻基礎模型，我們可以處理各種視頻應用，而無需針對不同的下游任務重新設計模型架構和訓練技術。

然而，與NLP相比，視覺基礎模型仍處于早期階段[20]。大多數現有的用于視覺應用的基礎模型仍然專注于傳統的計算機視覺任務[262, 68, 332]，如圖像分類[69]和語義分割[200, 51]，而更廣泛的能力，如常識推理，尚待開發。在視頻基礎模型方面，它們通常遵循基于圖像的模型的管道[319, 368]，將二維操作擴展到三維操作以處理時空信息，并使用類似的替代任務進行模型的預訓練。 由于基礎模型范式是可擴展模型結構、無監督表征學習策略和各種任務統一的發展結果，我們在進一步挖掘視頻基礎模型潛力之前，仍面臨著以下挑戰：

（一）模型架構本質上決定了如何從輸入數據生成表征。從這個角度看，基礎模型的最新發展主要是由Transformer架構[307]的發明推動的，該架構有效地利用了GPU的并行性，并且對輸入內容具有很高的適應性。自2017年誕生以來，已經充分驗證了Transformer架構是處理一維文本輸入[307, 151, 263]的最合適方式之一。其在2020年擴展到視覺應用[79]也促進了對這種結構在理解復雜空間語義方面適用性的全面調查和評估。然而，它在視頻理解方面的適用性，特別是在理解復雜運動方面，尚待進一步探索。就數據結構而言，由于視頻通常由每秒24到60張圖像組成，每個視頻需要處理的像素數量大大增加，這本身就帶來了巨大的挑戰，因為計算量與幀數成線性增長。此外，正如我們自己的視覺系統所示[70, 92, 136, 211]，時間信息的處理方式與空間信號本質上不同，而大多數現有方法通過對待空間維度和時間維度對稱地來融入理解時間動態的能力[3, 208, 13]。 （二）預訓練的替代任務定義了在一堆未標注數據上對預定義模型架構的學習過程。根據預訓練階段使用的數據，替代任務可以分為單模態[41, 118, 37, 263, 21]，僅依賴于視覺信息，和多模態[262, 379, 334, 174]，利用視覺數據和其他模態，如文本或音頻。盡管多模態預訓練模型已經展示了強大的泛化能力和執行各種任務的能力，但[385]中表明，僅從圖像中學習的表示更適合于模態內理解。大多數現有的學習視頻表征的方法都遵循與圖像范式中的對應方法類似的流程[253, 240, 146]，忽略了視頻中運動的特殊性。此外，大多數當前的表征學習方法僅限于從手動策劃的數據集中學習，這些數據集包含特定的動作類別，并且在注釋過程中可能存在人為偏見。如何從網絡上更長、更復雜的未策劃視頻中學習，目前尚未知曉。

（三）泛化到更多的視覺任務。目前，大多數視頻模型結構和預訓練任務都是專門為時空理解任務設計的，例如動作理解和時刻檢索，而基于視頻的空間理解任務的發展，如單一[85]或多對象跟蹤[228]和視頻實例分割[370]，通常與視頻基礎模型的發展平行進行。視頻基礎模型的研究如何幫助這些基于視頻的空間理解任務更好地利用視頻中嵌入的時間信息，尚待探索。

卷積神經網絡和循環神經網絡的進步導致了對圖像和文本等規則網格數據域的學習的顯著改進。然而，許多現實世界的數據集，例如社會網絡、引文網絡、分子、點云和3D網格，并不位于這樣一個簡單的網格中。此類數據結構不規則或非歐氏，關系信息復雜。圖機器學習特別是圖神經網絡(Graph Neural Networks, GNNs)為處理此類不規則數據和建模實體之間的關系提供了潛力，正引領機器學習領域進入一個新時代。然而，由于梯度消失、過擬合和過平滑等挑戰性問題，之前最先進的(SOTA) GNN限于淺層架構。大多數SOTA GNN深度不超過3或4層，限制了GNN的表達性，使其在大規模圖上的學習效果不佳。為了解決這一挑戰，本文討論了構建大規模高效圖機器學習模型的方法，以學習結構化表示，并將其應用于工程和科學。本文將介紹如何通過引入架構設計使GNN深入，以及如何通過新的神經架構搜索算法自動搜索GNN架構。

卷積神經網絡(CNN)[102]已經非常成功地解決了各種計算機視覺任務，如目標分類和檢測、語義分割、活動理解等。它們出色性能的一個關鍵促成因素是訓練非常深的網絡的能力。盡管在許多任務中取得了巨大的成功，但CNN不能直接應用于非網格數據和關系數據，而這在許多現實世界的應用中普遍存在。圖神經網絡(GNNs)[169]提供了一種替代方案，允許將非網格數據或關系數據作為神經網絡的輸入。最近的工作表明，由于GNN在圖上學習表示的能力，它可以在跨領域的各種任務上取得優異的結果。具體來說，GNNs可以在引文網絡中的學術論文分類[95]、量子化學中的分子性質預測[60]、生物圖中的蛋白質相互作用預測[68]和計算機視覺中的點云學習[201]等任務中取得令人印象深刻的結果。雖然GNN已經取得了令人鼓舞的結果，但它們僅限于層數相對較少的架構，主要是由于訓練[109]期間梯度消失[77]、小數據集上的過擬合[189]和堆疊過多層時的過平滑[114]。然而，這一限制使得GNN難以在大規模圖上學習有代表性的特征，從而限制了深度GNN的代表性能力。為了構建大規模、高效的圖神經網絡，本文研究了以下幾個重要方面: (1) 如何使訓練非常深的圖神經網絡成為可能; (2) 在設計GNN模型時如何減少架構工程。

本論文旨在解決圖神經網絡（GNN）架構中的核心問題之一。具體來說，論文研究了訓練和設計非常深層次的GNN模型的技術，并將這些深層GNN模型應用于跨領域的各種大規模應用。我們首先提出了用于訓練深層GNN的跳躍連接和擴張卷積。然后，我們討論了消息聚合函數在訓練深層GNN時的影響，并提出了可微分的消息聚合函數。為了使訓練更深層次的GNN成為可能，我們研究了可逆連接、組卷積、權重綁定和平衡模型等技術，這些技術使得可以訓練具有1000多層的GNN。最后，我們開發了一種新穎的神經架構搜索算法，以實現自動設計有效和高效的GNN架構。

在第2章中，我們研究了如何將跳躍連接和擴張卷積等概念從卷積神經網絡（CNNs）應用到GNNs，以成功訓練非常深層的GNNs。我們通過實驗在各種數據集和任務上展示了使用深層GNNs（最多112層）的好處。具體而言，我們在點云的部分分割和語義分割以及生物蛋白質-蛋白質相互作用圖中的蛋白質功能節點分類方面取得了非常有希望的性能。通過徹底的消融研究和分析，我們證明了跳躍連接和擴張卷積對于減輕訓練深層GNN的困難是有效的。本章內容基于我們的研究成果[109, 107]。

在第3章中，我們研究了適當選擇聚合函數對深層模型的影響。我們發現，當應用于不同數據集時，GNN對于聚合函數的選擇（例如均值、最大值和總和）非常敏感。我們系統地研究并提出通過引入一種名為廣義聚合函數的新類聚合函數來緩解這個問題。所提出的函數超出了常用的聚合函數，可以適用于各種新的排列不變函數。廣義聚合函數是完全可微分的，其參數可以端到端地學習，以產生適合每個任務的合適聚合函數。我們展示，配備了所提出的聚合函數的深層殘差GNN在Open Graph Benchmark（OGB）[84]上的多個任務和領域的基準測試中優于現有技術。本章內容基于我們的研究成果[111]。

在第4章中，我們研究了可逆連接、組卷積、權重綁定和平衡模型，以提高GNN的內存和參數效率。我們發現，可逆連接與深度網絡架構相結合，使得能夠訓練過度參數化的GNN，這些GNN在多個數據集上顯著優于現有方法。我們的模型RevGNN-Deep（每層1001層，每個通道80個）和RevGNN-Wide（每層448層，每個通道224個）都是在一臺普通GPU上訓練的，它們在ogbn-proteins數據集上實現了ROC-AUC為87.74±0.13和88.24±0.15的性能。據我們所知，RevGNN-Deep是文獻中最深的GNN，層次數相差一個數量級。本章內容基于我們的研究成果[108]。

在第5章中，我們旨在實現GNN架構的自動設計。最近在自動神經架構搜索（NAS）方面的進展顯示出很大的潛力。然而，我們發現在最終評估中，發現的架構經常無法泛化。為了緩解這個常見問題，我們引入了順序貪婪架構搜索（SGAS），一種新穎的神經架構搜索算法。通過將搜索過程分為子問題，SGAS以貪婪方式選擇和修剪候選操作。我們首先在CNN搜索空間上研究SGAS，然后應用到GNN搜索空間。廣泛的實驗證明，SGAS能夠以最小的計算成本找到用于圖像分類、點云分類和生物蛋白質-蛋白質相互作用圖中節點分類等任務的最先進架構。本章內容基于我們的研究成果[110]。

在第6章中，我們引入了LC-NAS，以進一步自動化SGAS的延遲優化，并將其應用于GNN搜索空間，以搜索在點云任務上的架構，并限制目標延遲。我們提出了一種用于在架構搜索中準確性和延遲之間權衡的新型延遲約束形式。我們的流水線使我們能夠找到延遲接近特定目標值的最佳架構，這在最終任務需要部署在有限硬件設置中時非常關鍵。廣泛的實驗表明，LC-NAS能夠以最小的計算成本找到點云分類和部分分割的最先進架構。本章內容基于我們的研究成果[112]。

在第7章中，我們總結了本論文的重要發現，并討論了深度圖神經網絡的未來方向。

近年來，深度神經網絡架構在自然語言處理（NLP）領域取得了顯著成就。通過放大模型大小并在互聯網上可用的大量文本數據上進行自監督預訓練，即使在提供少量具體示例時，也解鎖了泛化和復雜推理能力。然而，NLP的大部分進展都是基于靜態學習范例進行的，其中模型在固定數據集上進行一次訓練以學習特定技能，并在此后保持固定。在本論文中，我們將注意力轉向NLP的交互式智能體，即與動態環境或用戶互動的基于語言的模型。在三個不同的應用領域，（i）基于文本的游戲，（ii）查詢重構，以及（iii）對話，我們調查并開發與不同形式的自適應環境互動的智能體。論文分為三部分，反映了三個應用領域。在第一部分，我們為基于文本的游戲開發了一個深度強化學習（RL）智能體，該智能體能夠在結構相似但帶有新對象和指令的游戲家族中進行泛化。第二部分重點關注查詢重構，我們從兩個角度進行研究。首先，我們考慮學習搜索問題，其中智能體被訓練為使用自然語言與信息檢索（IR）系統互動。觀察IR組件的結果，它調整初始用戶查詢并收集一個改進的證據文檔集。在此設置中，我們開發了兩個學習成功的交互式搜索策略的智能體：一個通過純強化學習訓練的模型，另一個通過（自我）監督學習。在隨后的章節中，我們將注意力轉向神經檢索模型，并為交互式查詢建議開發智能體。為此，我們訓練了一個查詢解碼器模型，該模型在共享段落-查詢嵌入空間中的給定點生成相應的文本形式的查詢。我們使用此解碼器生成方向性查詢細化的合成數據集，我們使用它來訓練一個強大的重構模型。在論文的最后部分，我們提出了不同的方法來開發對話智能體。我們建議模塊化對話模型的架構，以輸出隨后的模塊所基于的中間文本序列。首先，我們表明，在對話響應之前生成知識輸出作為中間步驟可以增加在開放域對話中的知識利用和事實正確性。接下來，我們開發了一個依次生成（i）搜索引擎查詢，（ii）知識輸出，以及（iii）最終響應的單一模型。我們表明，它在知識為基礎的對話上超越了先前的最先進的對話模型，并在主題提示完成上超越了具有大量參數的模型。最后，我們探討在部署后如何改進對話模型，并提出了一個目標，該目標允許在其生成的二進制標記示例上迭代訓練語言模型。

聚類是數據分析中的主要而又具有挑戰性的任務，旨在將相似的樣本劃分到同一組，而將不相似的樣本劃分到不同的組。近期，由于在無監督深度圖聚類方面的突破，傳統的卷積神經網絡（例如，自編碼器（AE））和圖卷積網絡（GCN）的結合已經達到了最先進的性能。其中，自編碼器提取節點屬性特征，而圖卷積網絡捕獲拓撲圖特征。然而，現有方法沒有充分利用來自特征嵌入和聚類分配的現有信息，從而限制了它們的性能。鑒于這一限制，本論文專注于無監督深度圖聚類中的自適應表示學習。主要工作涉及自適應嵌入\分配\圖表示學習，總結如下：

首先，我們提出了一種名為注意力驅動圖聚類網絡（AGCN）的新穎無監督深度圖聚類方法，以解決以下問題：現有工作(??)缺乏一種靈活的組合機制來自適應地融合來自自編碼器和圖卷積網絡的兩種特征，從而增強表示學習能力；以及(????)忽視了嵌入在不同層的多尺度信息，導致后續的聚類分配效果不佳。具體而言，AGCN主要包括兩個注意力驅動的特征融合模塊，即AGCN異質性融合模塊（AGCN-H）和AGCN尺度融合模塊（AGCN-S）。這兩個模塊都利用基于注意力的機制動態地測量相應特征的重要性。AGCN-H自適應地合并自編碼器特征和圖卷積網絡特征，而AGCN-S動態地連接不同層的多尺度特征。為了以無監督的方式進行訓練，我們設計了一個能夠直接產生聚類分配結果的統一學習框架。與現有的無監督深度圖聚類方法相比，我們的方法更為靈活和有效，因為它考慮了網絡中嵌入的豐富和有區分性的信息來自適應地學習嵌入表示。在常用的基準數據集上的大量定量和定性結果驗證了我們的AGCN始終超越最先進的方法。此外，我們還進行了一系列消融研究來驗證我們方法的效率和有效性。

然而，上述提出的模型在面對從自編碼器和圖卷積網絡學到的兩種概率分布時存在決策困境，即應選擇哪一種作為最終的聚類分配結果。據我們所知，這是先前的無監督深度圖聚類方法中普遍存在的一個未解決的問題。為了應對這一挑戰，我們提出了一種名為深度注意力引導的雙重自監督圖聚類（DAGC）的新方法。具體而言，我們設計了一個分布融合模塊，該模塊利用這兩種聚類分配來自適應地學習分配表示，從而獲得最終的聚類結果。為了更好地探索來自聚類分配的現有信息，我們開發了一個雙重自監督解決方案，包括一個帶有Kullback-Leibler散度損失的軟自監督策略和一個帶有偽監督損失的硬自監督策略來指導整個網絡訓練。在九個基準數據集上的定量和定性實驗和分析表明，我們的方法始終超越最先進的方法。此外，我們還提供了消融研究和可視化，以驗證DAGC網絡的有效性和優勢。

現有的基于GCN的圖聚類網絡在很大程度上依賴于預定義的圖。如果初始圖無法真實且精確地反映其在嵌入空間上的拓撲結構，這些網絡可能會失敗。為了解決上述問題，我們提出了一種新穎的嵌入引導的圖優化聚類網絡（EGRCNet），該網絡能夠自適應地使用學習到的嵌入來改進初始圖，從而實現更好的聚類性能。具體來說，我們首先利用普通自編碼器和圖卷積網絡模塊來自適應地整合節點屬性和拓撲結構信息，以學習潛在特征表示。接著，我們探索嵌入空間上的幾何結構信息來構造一個鄰接圖，然后開發一個圖融合架構，動態地將該圖與初始圖融合。最后，我們最小化多個派生分布之間的Jeffreys散度損失函數，以無監督的方式進行網絡訓練。在七個常用的基準數據集上的廣泛實驗表明，所提出的方法始終超越了幾種最先進的方法。

以下聲明突出了這些工作的重要性：在無監督的深圖聚類中進行自適應表示學習對于人工普適性智能至關重要，因為它使機器能夠在沒有人類注釋的情況下從數據中學習復雜的模式和關系。通過利用無監督的自適應表示學習技術，人工普適性智能系統可以發展其數據的內部表示能力，并適應新的環境、任務和情境。這種能力對于理解復雜和非結構化數據至關重要。最后但并非最不重要的是，無監督的自適應表示學習是向開發能夠像人類一樣進行研究和推斷的機器邁出的關鍵一步，為AI在從醫療保健到金融到娛樂的廣泛領域開辟了新的可能性。在未來，我們將繼續為人工普適性智能社區做出貢獻，繼續研究大規模數據集、先進的表示學習和高效的信息傳播。

稀疏深度神經網絡 (DNNs) 在許多數據和計算密集型應用中是一個重要的計算核心（例如，圖像分類、語音識別和語言處理）。這些核心中的稀疏性激發了許多稀疏DNN加速器的發展。然而，盡管已經有大量的提議，但還沒有一個系統的方法來理解、建模和開發各種稀疏DNN加速器。為了解決這些限制，這篇論文首先提出了一個稀疏性相關加速特性的分類法，以系統地理解稀疏DNN加速器的設計空間。基于這個分類法，它提出了Sparseloop，這是第一個用于稀疏DNN加速器的快速、準確和靈活評估的分析建模工具，使得在早期階段可以探索龐大和多樣的稀疏DNN加速器設計空間。在代表性的加速器設計和工作負載中，Sparseloop比周期級模擬實現了超過2000倍的建模速度，保持了相對的性能趨勢，并達到了≤ 8%的平均建模誤差。利用Sparseloop，這篇論文研究了設計空間，并提出了HighLight，一個高效且靈活的稀疏DNN加速器。具體來說，HighLight通過一個新的稀疏模式，稱為分層結構稀疏性，來加速DNNs，關鍵的洞見是我們可以通過分層地組合簡單的稀疏模式來高效地加速各種程度的稀疏性（包括密集型）。與現有的工作相比，HighLight在具有不同稀疏度的工作負載中實現了高達6.4倍的能量延遲乘積 (EDP) 改進，并且始終位于代表性DNNs的EDP-準確性帕累托前沿。

多智能體強化學習（MARL）為一組人工智能代理提供了一個有原則的框架，使它們能夠在人類專家水平上學習協作和/或競爭行為。多智能體學習環境本質上比單智能體學習解決了更復雜的問題，因為代理既與環境互動，也與其他代理互動。特別是，在MARL中，多個代理同時學習，導致在遇到的經驗中產生自然的非平穩性，因此要求每個代理在其他代理策略可能發生較大變化的情況下調整其行為。本論文旨在從三個重要主題來解決多智能體學習中的非平穩性挑戰：1）適應性，2）收斂性，3）狀態空間。第一個主題解答了代理如何通過開發新的元學習框架來學習有效的適應策略，以應對其他代理不斷變化的策略。第二個主題解答了代理如何適應并影響聯合學習過程，使得基于新的博弈論解決方案概念，策略在學習結束時收斂到更理想的極限行為。最后，最后一個主題解答了如何基于知識共享和上下文特定抽象來減小狀態空間大小，從而使學習復雜性受到非平穩性的影響較小。總之，本論文發展了理論和算法貢獻，為上述關于非平穩性的主題提供了有原則的解答。本論文中開發的算法在多智能體基準領域的多樣化套件中展示了其有效性，包括混合激勵、競爭和合作環境的全譜。

以物體為中心的幾何感知旨在提取三維物體的幾何屬性。這些屬性包括目標物體的形狀、姿態和運動，能夠對圖形學、計算機視覺和機器人技術中的各種任務進行細粒度的對象級理解。隨著3D幾何數據和3D深度學習方法的增長，直接使用3D輸入數據實現此類任務的可能性越來越大。在不同的3D表示中，3D點云是一種簡單、常見且節省內存的表示，可以直接從多視圖圖像、深度掃描或LiDAR距離圖像中檢索。在實現以物體為中心的幾何感知方面存在不同的挑戰，如對具有多個剛性部件的常見鉸接物體實現細粒度的幾何理解，學習具有較少標簽的解纏形狀和姿態表示，或以端到端的方式處理動態和順序幾何輸入。本文通過設計有效和可泛化的3D表示、架構和管道，從3D深度學習的角度識別和解決這些挑戰。本文通過設計一種新的層次不變表示，首次對常見鉸接物體進行深度姿態估計。為了推動常見剛性物體的6D姿態估計的邊界，設計了一個簡單而有效的自監督框架來處理無標記的部分分割掃描。提出一種新的4D卷積神經網絡PointMotionNet來學習三維點云序列的時空特征。這些工作從一個獨特的3D深度學習視角推進了以物體為中心的幾何感知領域的研究。如今，3D傳感器廣泛安裝在各種移動設備上，如iPhone上的深度相機，或自動駕駛汽車上的激光雷達傳感器。這些3D傳感技術可以幫助我們準確地測量3D世界。對于機器智能領域，我們也希望構建智能系統和算法來學習有用的信息，更好地理解3D世界。我們人類具有不可思議的能力，通過我們的視覺或觸覺系統來感知和理解這個3D世界。例如，人類可以在沒有看到整個房間的情況下推斷出房間中家具的幾何結構和布置，我們能夠跟蹤一個3D對象，無論其外觀、形狀和比例如何變化，我們還可以根據順序觀察和復雜推理預測多個對象的未來運動。在這里，我的工作設計了各種框架，從大量3D點表示的幾何數據中學習這些3D信息，實現了對單個物體的細粒度幾何理解，可以幫助機器告訴目標物體的幾何、狀態和動態。本文的工作是為了更好地理解這個動態世界。

長期以來，隨著數據處理系統的復雜性不斷增加，系統設計者一直在想象能夠根據環境線索進行自我配置和適應的系統(如數據庫、調度程序)。在這種情況下，強化學習(RL)方法從一開始就吸引了系統開發人員。他們承諾從原始反饋信號中獲取復雜的決策策略。盡管RL方法在概念上很流行，但在現實世界的數據處理系統中卻很少見到。最近，由于利用大型神經網絡(深度強化學習)取得了引人注目的成功，RL受到了爆炸性增長的關注。新興的機器學習框架和強大的硬件加速器催生了大量新的潛在應用。在本文中，我首先提出，為了高效地設計和執行深度RL算法，需要新穎的軟件抽象來適應通信密集和快速進化算法的獨特計算模式。我提出了一種將邏輯算法構造與本地和分布式執行語義解耦的體系結構。我將進一步介紹RLgraph，這是我對這個體系結構的概念驗證實現。在RLgraph中，算法開發人員可以通過組合邏輯組件構建高級數據流圖來探索新的設計。此數據流圖獨立于特定的后端框架或執行概念，只在以后通過分階段構建過程映射到執行語義。RLgraph支持高性能算法實現，同時保持快速原型的靈活性。

//www.repository.cam.ac.uk/handle/1810/304385

其次，我研究了系統本身中RL應用程序稀缺的原因。我認為，由于缺乏用于任務模型設計的工具來彌合系統和算法之間的差距，以及缺乏評估模型能力的共同標準，應用RL的進展受到了阻礙。在本文中，我介紹了應用RL中第一個用于增量模型設計的工具——Wield。Wield 提供了一小組原語，將系統接口和特定于部署的配置從表示中分離出來。運用的核心是一種新的指導性實驗協議，稱為漸進隨機化，它幫助從業者逐步評估非確定性的不同維度。我演示了如何使用和漸進的隨機化可以用來再現和評估之前的工作，并指導新RL應用程序的實現。

機器學習模型在有偏差的數據集上訓練時是有偏差的。最近提出了許多方法，以減輕被確定為先驗的偏差。然而，在現實世界的應用中，標注偏差不僅耗時而且具有挑戰性。本論文考慮了三種不同的場景，并提出了學習魯棒模型的新算法。這些算法是有效的，因為它們不需要明確的偏差注釋，從而實現了實用的機器學習。

首先，我們引入了一種算法，該算法對從多個環境中收集的數據進行操作，其中偏差特征和標簽之間的相關性可能會有所不同。我們表明，當使用在一個環境上訓練的分類器對來自不同環境的例子進行預測時，它的錯誤是隱藏偏見的信息。

然后，我們利用這些錯誤來創建一組示例，這些示例的插值結果只具有穩定的相關性。我們的算法在四種文本和圖像分類任務上實現了最新的技術。然后我們考慮無法訪問多個環境的情況，這是新任務或資源有限任務的常見場景。我們證明，在現實世界的應用中，相關的任務往往有類似的偏見。在此基礎上，我們提出了一種算法，從資源豐富的源任務中推斷出偏差特征，并將這種知識轉移到目標任務中。與橫跨5個數據集的15個基線相比，我們的方法始終提供顯著的性能提升。

最后，我們研究了只給出一組輸入標簽對的自動偏差檢測。我們的算法學習分割數據集，使得在訓練分割上訓練的分類器不能泛化到測試分割上。性能差距為測量學習特征的偏差程度提供了一個智能體，因此可以用來識別未知偏差。在六個NLP和視覺任務上的實驗表明，我們的方法能夠產生與人類識別的偏差相關的虛假分裂。