亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

基于圖的深度學習已經在各種工業環境和應用中取得了成功。然而，由于來自不同領域的圖可能表現出不同的屬性，并且可能具有顯著的噪聲，深度模型很難實現泛化。這些挑戰限制了圖模型在各個領域的使用。**在本文中，我對圖的可泛化神經網絡提出了各種理論和經驗分析。我考慮了圖神經網絡(GNNs)的兩種類型的泛化能力:(1)數據泛化能力，其中圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。**論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先說明了基于譜特性的GNN可能會受到譜和圖大小的相關性的影響，這限制了它們對大小的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了gnn的尺寸泛化能力。此外，我研究了transformer模型，它與gnn相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一個學習的條件掩蔽機制，它能夠在模型的訓練范圍之外實現強泛化。

//ai.engin.umich.edu/event/towards-generalizable-neural-networks-for-graph-applications

近年來，深度學習在各個領域得到了越來越多的關注，例如計算機視覺[52]，自然語言處理[155]和機器人[49]。與傳統方法相比，深度神經網絡模型通過從海量數據中學習獲得了高表達能力。在某些領域，深度模型甚至可以超越人類[137]，這為通用智能帶來了希望[139]。盡管深度學習在各個領域都顯示了其優勢，但它主要在規則結構數據上取得了成功，如序列和圖像。然而，并非所有數據都具有規則結構，圖數據就是一個值得注意的例子。圖被廣泛用于表示實體之間的交互[62,136,175]。例如，在社交網絡(Facebook, LinkedIn)中，用戶是節點，他們的友誼或職業關系是邊[174];在腦科學中，大腦中的感興趣區域(ROI)是節點，它們的活動相關性是邊[175];在程序合成中，寄存器是節點，它們的依賴關系是邊[136]。圖可以在不同的粒度上進行分析:節點或邊緣級別、子圖級別和圖級別。不同層次的分析已被用于幾個高影響的應用中，例如推斷電子郵件網絡中的專業角色63，發現社會網絡中的社區結構107，以及預測生物網絡中的圖屬性168。 受語言和圖像深度學習成功的啟發，研究人員對使神經網絡適應圖數據產生了極大的興趣[73,156,176,186]。在GNN的設計目標中，本文主要關注GNN的泛化能力，并考慮兩種類型的泛化能力:(1)數據泛化能力，圖模型具有有效處理具有不同屬性的各種圖的表達能力;(2)規模泛化性，圖模型可以從小規模的圖中學習并泛化到更大的圖。除了本文涵蓋的這兩種泛化類型外，GNN還存在其他類型的泛化。例如，在遷移學習中，泛化能力表征了GNN將知識從一個領域遷移到另一個領域的能力(例如，通過微調一些層[54,85]);在多任務學習中，泛化能力表示GNN利用其他任務中編碼的信息的程度。在表1 - 1中，我簡要概述了GNN的不同泛化類型。盡管所有這些都對構建通用GNN很重要，但數據的泛化能力和大小的泛化能力相對被忽視和探索不足。數據的泛化能力決定了一個模型是否可以有效地應用于各種應用。圖在不同的域中可能不同。例如，在大多數社交網絡中，度分布遵循冪律[87]，而在分子圖中，度并不存在偏斜。在引文網絡中，具有相似屬性的節點傾向于相互連接，而在在線交易網絡中，具有不同屬性的節點(欺詐者和共犯)傾向于形成鏈接[114]。在蛋白質網絡中，可以清楚地觀察到圖形，而在大腦網絡中，感興趣區域(ROIs)之間的連接是推斷的和嘈雜的[175]。盡管圖數據具有多變性，但大多數GNN[42, 51, 73, 156, 169]沒有考慮不同的圖屬性。他們持有圖數據的“同質性假設”，即有鏈接的節點通常屬于同一類或具有相似的特征(“物以類聚”)[99]，而忽略了違反該假設的圖的存在;他們忽略了圖具有不同的度分布，GNN對不同度的節點的反應不同的事實[177];它們沒有考慮圖結構和特征中的噪聲。為了設計更通用的GNN模型，需要考慮各種圖屬性。因此，本文的第一個問題是: **如何通過考慮不同的圖屬性來增強GNN的數據泛化能力?除了數據的泛化性，我研究的另一個關鍵屬性是大小的泛化性。與常規結構化數據不同，很難獲得相同大小的圖。例如，在生物學中，分子圖的大小從幾個節點到數百個節點[167];在算法推理中，圖可以小到幾個節點，也可以大到數千個節點[136,176]。隨著我們從各種來源收集越來越多的數據，訓練圖和測試圖的大小不可避免地不同[167]。此外，大多數gnn是不可擴展的，更大的圖通常需要更多的訓練時間和計算資源[40]。這些原因促使一系列研究尋求將知識從較小的圖轉換為較大的圖的方法[159,176,181]。GNN的大小泛化能力仍然有待探索。一方面，一些經驗工作報告了GNN在特定應用中的良好規模泛化性能[91,97,127]。另一方面，一些實證工作認為GNN在大小泛化方面有困難[66,71,159]。大多數現有工作專注于架構設計，沒有提供對GNN大小通用性的基本理解。因此，我在本文中要回答的第二個問題是: 是什么限制了GNN的大小泛化能力，以及有什么有效的設計可以提高它們泛化到更大圖的能力?**為了回答上述兩個問題，在本文中，我通過研究不同粒度的圖來研究數據的泛化性和大小泛化性(圖I.1)。論文的第一部分分別從節點和子圖兩個層面研究了數據的泛化問題。在節點層面，我分析了具有不同屬性的節點(如度、相鄰節點的標簽分布)時GNNs的性能是否會退化，并提出了有效的理論基礎設計，以緩解這種退化。在子圖層面，我考慮了數據有限和有噪聲的情況，并提出使用聚類使GNN克服這些問題，并找到有意義的模式。在論文的第二部分中，研究了圖層次上的規模泛化問題。具體來說，我考慮了不同規模的圖，并研究如何將知識從小型圖遷移到大型圖。我首先表明，基于譜特性的GNN模型可能會受到譜和圖大小的相關性的影響，這限制了它們對過大尺寸的泛化能力。提出了一種學會消除與尺寸相關的分量的技術，提高了GNN的尺寸泛化能力。此外，我研究了transformer模型，它與GNN相關，但不依賴于圖譜。在這種情況下，我發現普通的transformer模型無法泛化到更大的序列和圖，因為它的注意力掩碼隨著輸入的增加逐漸失去保真度。基于我的發現，我引入了一種習得的條件掩碼機制，它能在遠遠超出模型訓練范圍的地方實現強大的泛化。

深度卷積神經網絡(CNN)的卓越性能通常歸因于其更深和更廣泛的架構，這可能伴隨著巨大的計算成本。因此，修剪神經網絡引起了人們的興趣，因為它有效地降低了存儲和計算成本。與導致非結構化模型的權重剪枝相比，結構化剪枝通過產生對硬件實現友好的模型來提供現實加速的好處。結構化剪枝的特殊要求導致了許多新挑戰的發現和創新解決方案的發展。**本文綜述了深度CNN結構化剪枝的最新進展。總結并比較了最先進的結構化剪枝技術，包括過濾器排序方法、正則化方法、動態執行、神經架構搜索、ticket 假設以及剪枝的應用。**在討論結構化剪枝算法時，簡要介紹非結構化剪枝算法，以強調它們的區別。對結構化剪枝領域的潛在研究機會提供了見解。有關神經網絡剪枝的論文列表可以在//github.com/he-y/Awesome-Pruning上找到。

1. 引言

深度卷積神經網絡(CNN)在廣泛的應用中表現出了卓越的性能，包括圖像分類[1]、目標檢測[2]和圖像分割[3]等。許多CNN結構被提出，包括AlexNet [4]， VGGNet [5]， inception [6]， ResNet[7]和DenseNet[8]。這些架構包含數百萬個參數，需要巨大的計算能力，使得在資源有限的硬件上部署具有挑戰性。模型壓縮是該問題的一種解決方案，旨在減少參數數量、計算成本和內存消耗。因此，它的研究變得越來越重要。 **為了生成更高效的模型，模型壓縮技術被提出，包括剪枝[9]、量化[10]、分解[11]和知識蒸餾[12]。**術語“剪枝”指的是刪除網絡的組件，以產生用于加速和壓縮的稀疏模型。剪枝的目的是在不顯著影響模型性能的情況下最小化參數的數量。大多數關于剪枝的研究都是在用于圖像分類任務的CNN上進行的，這是其他計算機視覺任務的基礎。 剪枝可分為非結構化[9]和結構化剪枝[13]。非結構化剪枝刪除神經網絡的連接(權重)，導致非結構化稀疏性。非結構化剪枝通常會導致高壓縮率，但需要特定的硬件或庫支持以實現實際的加速。結構化剪枝刪除了神經網絡的整個濾波器，并可以利用基本線性代數子程序(BLAS)庫等高效庫的優勢，用標準硬件實現實際的加速和壓縮。在transformer[14]時代，從結構化剪枝的角度重新審視cnn的屬性是有意義的。最近，將CNN的架構設計納入Transformer模型[15]，[16]，[17]，[18]，[19]的趨勢越來越大。盡管transformer中的自注意力[20]在計算序列表示方面是有效的，但由于transformer缺乏歸納偏差[17]，[21]，[22]，仍然需要大量的訓練數據。相比之下，cnn的結構在權重上實施兩個關鍵的歸納偏差:局部性和權重共享，以提高學習算法的泛化性，并且獨立于數據[17]。本綜述提供了對CNN的更好理解，并為未來有效設計架構提供了提示。

**本文關注結構化剪枝。現有壓縮研究綜述如表1所示。**一些綜述涵蓋了正交領域，包括量化[23]、知識蒸餾[24]和神經架構搜索[25]。一些調研[26]提供了更廣泛的概述。雖然一些研究側重于剪枝，但它們更多地關注非結構化剪枝，并且覆蓋了少量結構化剪枝的研究。[27]、[28]、[29]、[30]、[31]、[32]、[33]的結構化剪枝論文引用數分別為1、11、15、55、38、10、20篇。本文提供了一個更全面的調研，其中有200多篇結構化剪枝論文。

**調研安排如下:在分類法中(圖1)，將結構化剪枝方法分為不同的類別。**第2節的每一小節對應于一類結構化剪枝方法。大多數方法首先以非結構化的方式開發，然后擴展以滿足結構約束。盡管一些研究涵蓋了多個類別，但我們將它們放在為本調查服務的最合適的類別中。第三部分介紹了一些潛在的和有希望的未來發展方向。由于篇幅限制，僅對最具代表性的研究進行詳細討論。

2. 方法

Weight-Dependent

權重依賴準則根據濾波器的權重來評估濾波器的重要性。與基于激活的方法相比，權重依賴的方法不涉及輸入數據。因此，權重依賴方法被認為是直接的，需要較低的計算成本權重依賴準則有兩個子類:濾波器范數和濾波器相關性。計算一個濾波器的范數獨立于其他濾波器的范數，而計算濾波器相關性涉及多個濾波器。 Activation-Based

激活圖是輸入數據和濾波器的卷積結果(等式1)。除了使用濾波器的權重外，激活圖可以用于濾波器修剪。激活通道剪枝是過濾器剪枝的另一個名稱，因為刪除激活圖的通道等同于刪除過濾器。除了當前層的效果外，過濾器修剪還通過特征圖影響下一層的過濾器。為了評估第l層中的濾波器，我們可以利用以下激活圖上的信息:1)當前層-通道重要性可以通過使用重建誤差[58]、激活圖[59]的分解、通道獨立性的利用[61]和后激活[62]，[63]來評估;2)相鄰層-冗余通道可以通過利用當前層和下一層之間的依賴關系來有效識別[66]，[67]。此外，還可以利用前一層的激活圖來指導剪枝決策[123]，[124];3)所有層-通過最小化最終響應層的構造誤差[69]并考慮所有層的區分能力[70]，可以評估去除濾波器的整體效果。 正則化

正則化可以通過添加不同的稀疏度正則化器Rs(·)來學習結構化稀疏網絡。如果網絡包含批量歸一化層，則稀疏正則化器可應用于BN參數。為了實現結構化稀疏，使用BN參數來指示通道或濾波器等結構的剪枝決策。引入了作為可學習門工作的額外參數來指導修剪。有了這些額外的參數，網絡不再需要批量規范化層。稀疏正則化器也可以直接應用于濾波器。Group Lasso正則化通常用于以結構化的方式稀疏化濾波器。

Optimization Tools

動態修剪

動態剪枝可以在訓練和推理過程中進行。訓練過程中的動態旨在通過在訓練過程中保持動態修剪掩碼來保持模型的代表能力。它也被稱為軟剪枝，以確保不當的剪枝決策在以后可以恢復。另一方面，硬修剪永久地消除了固定掩碼的權重。推理過程中的動態表示網絡根據不同的輸入樣本動態修剪。例如，與復雜圖像相比，包含明確目標的簡單圖像需要更少的模型容量[108]。因此，動態推理提供了更好的資源準確性權衡。

神經架構搜索

由于人工確定逐層剪枝率等剪枝相關超參數非常繁瑣，因此提出了神經架構搜索(NAS)[25]來自動尋找剪枝結構。在綜述NAS[25]方法的基礎上，將NAS剪枝分為3種方法。NAS可以建模為:1)強化學習(RL)問題，RL代理通過搜索動作空間(如剪枝率)來找到稀疏的子網絡。2)基于梯度的方法，通過修改梯度更新規則，使稀疏約束的優化問題對權重可微。3)演化方法，采用演化算法對稀疏子網絡進行探索和搜索。

Extensions

深度學習的發展導致了在各種應用領域的各種任務上的顯著性能提升，這些應用領域包括計算機視覺、自然語言處理、強化學習、生成模型，以及最近從圖結構數據中進行的關系學習。這一成功的主要原因是計算能力的提高，這允許深度和高度參數化的神經網絡架構，這些架構可以從原始數據中學習復雜的特征轉換。然而，深度神經網絡的高表示能力往往是以高模型復雜度為代價的，這指的是高參數化，以及與深度學習相關的內存和計算負擔。**在本文中，我依靠參數有效的神經算子，對數據的適當建模假設和網絡結構的歸納偏差，在幾個應用領域提出更簡單的神經網絡模型。**對于我工作的每個應用領域，我使用這些效率原則的組合來設計新穎的方法。首先，在醫學圖像處理的背景下，我觀察到空間對齊的神經圖像比自然圖像表現出更少的自由度，這證明使用低容量卷積算子是合理的。我通過應用參數高效的卷積變體來實現這一點。我展示了早期阿爾茨海默病預測的最先進結果，同時使用的參數減少了多達125倍，乘累加操作減少了17倍以上。對于設計用于識別受試者亞型的神經圖像的無監督方法也得出了類似的結論。其次，我著手緩解從零開始訓練參數高效的深度模型的挑戰。這可以減少在資源受限的"邊緣"設備上訓練深度模型的不可行性。所提方法基于一個簡化的網絡結構假設，即參數無關性，允許在組合多臂匪徒的背景下建模問題。該方法可以動態地，即在訓練期間，在遵循預定義的內存使用預算的同時，在超參數化模型中識別高性能緊湊的子網絡。這是通過將顯著性指標與每個神經元相關聯來實現的，然后用于驅動參數激活，類似于門控機制，同時學習參數。因此，深度神經網絡訓練和推理過程中的計算和內存負擔都顯著減少。最后，提出一種深度概率模型，用于學習動態圖中的無監督節點和社區嵌入。基于網絡固有的社團結構，引入了關于邊形成機制的結構歸納偏差。此外，我還假設節點和社區都是平滑的時間演化，其靈感來自于數據中缺乏破壞性事件。本文提出一種該方法的參數高效實現，在各種動態預測任務上優于最先進的圖卷積網絡。

**在機器學習技術不斷加速發展的今天，數據在構建智能模型、模擬現象、預測值、做出決策等方面起著至關重要的作用。**在越來越多的應用中，數據以網絡的形式出現。網絡數據固有的圖結構推動了圖表示學習領域的發展。它的作用范圍包括為圖及其組件(即節點和邊)生成有意義的表示。隨著消息傳遞框架在圖上的成功應用，即圖神經網絡，加速了圖表示學習的研究。學習圖上的信息和表達性表示在廣泛的現實世界應用中發揮著關鍵作用，從電信和社會網絡、城市設計、化學和生物學。本文研究了圖神經網絡更具表現力的各個方面，提出了新的方法來提高它們在標準圖學習任務中的性能。本論文的主要分支包括:圖表示的普適性，圖神經網絡感受野的增加，穩定的更深層次圖學習模型的設計，以及標準消息傳遞框架的替代方案。進行了理論和實驗研究，展示了所提出的方法如何成為設計更強大的圖學習模型的有價值和有效的工具。 **在論文的第一部分中，我們研究了圖表示質量作為辨別能力的函數，即，我們如何容易地區分非同構的圖。**首先，我們證明了標準的消息傳遞方案是不通用的，因為簡單的聚合器無法分離具有歧義的節點(相似的屬性向量和鄰域結構)。基于發現的局限性，我們提出了一個簡單的著色方案，可以提供普遍的表示，理論保證和實驗驗證的性能優勢。其次，超越了標準的消息傳遞范式，我們提出了一種將圖語料庫作為一個整體來處理的方法，而不是檢查圖對。為此，我們學習了每個圖的軟排列矩陣，并將所有圖投影到公共向量空間中，在圖分類任務中實現了穩定的性能。

//hal.inria.fr/tel-03666690/ **在論文的第二部分中，我們主要關注的是圖神經網絡的感受野，即一個節點有多少信息來更新其表示。**首先，研究了編碼鄰接信息的標準算子的譜特性，即圖移位算子。本文提出一種新的參數算子族，可以在整個訓練過程中自適應，并為依賴數據的鄰域表示提供一個靈活的框架。這種方法的合并對節點分類和圖分類任務都有很大的影響。研究了如何在節點表示中考慮k跳鄰域信息以輸出更強大的圖神經網絡模型。結果證明，該模型能夠識別結構特性，如連通性和無三角形性。在論文的第三部分，我們解決了長程交互的問題，即位于圖中較遠部分的節點可以相互影響。在這樣的問題中，我們要么需要設計更深層次的模型，要么需要重新表述圖中如何定義鄰近度。首先，研究了更深層次的注意力模型設計，以圖注意力為重點;通過引入一種新的歸一化來校準模型的梯度流，該歸一化可實現Lipschitz連續性。其次，提出一種基于局部熵測度的數據增強方法，利用包含結構信息的信息來豐富節點屬性;

機器學習(ML)的最新進展改變了世界。過去是人類主宰規則，現在是機器儲存數據并做出決定。雖然這一變化帶來了真正的好處，但它已經實現了大量基于人類的交互自動化，使其易于操作。研究已經確定，機器學習模型非常容易受到對抗性擾動，特別是對其輸入的更改，這些更改對人類來說是無法察覺的，但會迫使它們以意想不到的方式作業。在本文中，我們采取了一種相當非正統的方法來研究機器學習安全，并通過計算機安全的角度來研究機器學習的現狀。我們發現了大量潛伏在系統安全和機器學習交叉領域的新攻擊和問題。接下來，我們描述了文獻的現狀，強調了我們仍然缺少重要知識的地方，并描述了該領域的幾個新的貢獻。該領域的一些特征使當前的安全方法變得不太適用，使現代機器學習系統容易受到各種各樣的攻擊。我們的主要貢獻是對機器學習的可用性攻擊——針對推理或模型訓練延遲的攻擊。我們還解釋了攻擊者如何利用與模型環境的許多其他交集。一個重要的見解是，必須理解、承認機器學習模型的固有局限性，并通過在更大系統中使用組件來補償控制進行緩解。

機器學習(ML)徹底改變了現代計算機系統，因此，更多的任務現在是完全自動化和模型驅動的。盡管深度神經網絡的性能令人印象深刻，但人們很快發現，底層模型是極其敏感的，攻擊者可以找到微小的，有時甚至無法察覺的擾動，以控制底層模型的行為。圖1 - 1展示了這種對抗性示例的一個例子——一個輸入樣本，旨在迫使模型將鳥瞰圖視為一輛汽車。(每個像素顏色的微小擾動被放大，使它們在這些圖像中可見。)這一發現導致了對抗性機器學習領域的誕生，在那里我們研究如何攻擊和防御ML模型。起初，這主要是由對基礎數學的研究和構建不太敏感的函數(如對抗性訓練)驅動的。然而，令人驚訝的是，這對嵌入模型的大型系統的安全性影響甚微，因為相同的模型仍然容易受到其他攻擊者的攻擊，也容易受到減少效用的影響。在實踐中，使用不那么敏感的近似函數并不一定會提高或降低安全性。攻擊者很少受到擾動大小的限制，并且可能更喜歡獲得模型的控制權，而不是根據某些學術指標保持攻擊不可察覺。

//www.repository.cam.ac.uk/handle/1810/338197

這種認識導致了一個新領域的創建——機器學習的安全性——在這里，我們不是孤立地觀察ML，而是在其環境、依賴項和需求的上下文中分析它。我們在博士期間一直在做的工作對這一文獻做出了早期貢獻，特別是開創了三種新的攻擊和防御類型。

**深度神經網絡(DNN)在許多領域都提供了最先進的性能，但這一成功是以高計算和內存資源為代價的。**由于DNN推理在邊緣和云系統上都是一種流行的工作負載，因此迫切需要提高其能效。改進的效率使dnn能夠在更大范圍的目標市場中使用，并有助于提高性能，如果今天經常受到功率限制。本文采用軟硬件協同設計的方法，提高了不同硬件平臺上深度神經網絡推理的性能。我首先展示了一些降低DNN運行時成本的軟件優化技術。總的來說，我證明了模型大小可以減少34倍。不同風格的神經網絡壓縮技術的組合可以在縮小內存足跡方面提供成倍的收益。這些技術適用于在內存敏感的邊緣設備上運行DNN推理。利用運行時和依賴數據的特征信息，我開發了一種動態剪枝策略，其性能明顯優于現有的靜態剪枝方法。所提出的動態剪枝不僅減少了模型大小，而且減少了GPU的乘累加操作數量。我還介紹了一種新的量化機制，該機制被調整為適合模型參數的自然分布，這種方法減少了DNN推斷所需的位操作總數。然后，本文專注于使用自定義硬件加速DNN。構建了一個名為Tomato的框架，它在FPGA設備上生成多精度和多算法硬件加速器。軟硬件聯產流程從高層神經網絡描述中部署硬件加速器，利用FPGA器件的硬件可重構性支持靈活的每層量化策略。然后，我證明了自動生成的加速器在延遲和吞吐量方面比最接近的基于FPGA的競爭對手至少高出2到4倍。為ImageNet分類生成的加速器以每秒超過3000幀的速度運行，延遲僅為0.32ms，使其成為延遲關鍵、高吞吐量的云端推理的合適候選。最后，我展示了自動化機器學習技術如何通過硬件感知來改進，以為新興類型的神經網絡和新的學習問題設置產生高效的網絡架構。硬件感知的網絡架構搜索(NAS)能夠發現更節能的網絡架構，并在圖神經網絡等新興神經網絡類型上實現顯著的計算節省。在8個不同的圖數據集上與7個人工和NAS生成的基線相比，所提出的低精度圖網絡架構搜索提高了大小-精度的帕累托前沿。此外，我演示了硬件感知的NAS可以應用于多任務多設備少樣本學習場景。在具有各種硬件平臺和約束的流行的少樣本學習基準中，所提出的方法的性能明顯優于各種NAS和人工基準。在5路1樣本Mini-ImageNet分類任務上，所提方法在減少60%計算量的情況下，比最好的人工基線在準確率上提高了5.21%。

摘要

神經網絡(NNs)的準確性已經在廣泛的問題中得到了顯著的提高，通常是通過高度過參數化的模型實現的。盡管這些最先進的模型具有準確性，但它們的龐大規模使其無法部署到許多資源受限的應用程序中，如實時智能醫療保健監測、自動駕駛、音頻分析和語音識別。這就給實現普適深度學習帶來了一個問題，它需要低能耗、高精度的實時推理和有限的計算資源。

要實現能實現實時約束和最佳精度的高效NN，需要1)NN架構設計、2)模型壓縮方法和3)硬件引擎設計的協同優化。以前追求高效深度學習的工作更多地關注于優化代理指標，如內存大小和FLOPs，而硬件規格實際上在決定整體性能方面起著重要作用。此外，由于設計空間非常大，在以往的文獻中，上述三個方面往往是單獨的、經驗的優化，使整個設計過程耗時且次優。

本文首先系統地研究了一種廣泛應用的標準模型壓縮技術——量化方法。我們沒有使用啟發式設計或昂貴的搜索，而是利用Hessian信息來解決混合精度量化問題，我們提出的Hessian- aware量化(HAWQ)方法在不同的網絡和數據集上實現了最先進的性能。我們進一步使整個管道全自動(HAWQV2)，并探索了不同任務(QBERT)上量化(ZeroQ)的不同方面。

基于我們的系統量化方法，我們將硬件規格和部署納入設計空間(HAWQV3)。該神經結構被納入協同設計(CoDeNet)，并被自動搜索(HAO)。最后，通過引入基于教師的分段蒸餾餾(ETA)，提高了HW-SW自動化協同設計管道的整體效率。總之，我們在本文中的工作展示了從傳統的神經網絡設計到硬件感知的高效深度學習的進化步驟。我們相信，這將進一步加速在資源有限的設備和現實應用中部署先進的神經網絡。

引言

隨著最先進的深度學習模型的參數大小和計算量急劇增長，在不同的硬件平臺上高效部署這些模型變得越來越重要。在特定的硬件資源和約束條件下，1) 模型壓縮，2) 神經結構設計/搜索，3) 硬件優化是獲得可行解的主流方法。模型壓縮包括量化、修剪、知識蒸餾和因式分解等方法，其目的是對預先訓練好的模型進行壓縮，包括模型大小和計算量。隨著當前硬件對低精度計算的支持，量化已經成為解決這些挑戰的流行過程。從另一個角度來看，NAS算法試圖尋找一個有效的神經結構，然后從零開始訓練它。相比之下，硬件優化總是在神經結構和模型壓縮方法固定之后進行。盡管有這些優點，但為了充分利用該系統，實現硬件感知的高效深度學習，在本文中我們試圖解決的問題有三個。

首先，我們要注意的是，實現高效深度學習的三個組成部分并不相互正交。如圖1.1所示，特定神經體系結構的性能實際上與模型壓縮方法和硬件規格高度相關。例如，在具有適當配置的FPGA板上，具有4位量化的ResNet50可以比具有8位量化的ResNet50運行得更快。但是在只支持8位整數的GPU上，8位量化ResNet50可以達到與4位ResNet50相同的速度，同時能夠獲得更高的精度。在本文中，我們的目標是實現硬件感知的高效深度學習，我們綜合考慮了這三個方面，并試圖在它們之間的權衡中獲得最佳點。

其次，之前的工作試圖優化代理指標，如模型大小和神經網絡模型的FLOPs，假設這些理論指標與實際有效指標(如延遲、吞吐量和能耗)高度相關。然而，有人指出，代理指標在特定情況下可能具有誤導性。為了避免次優解的出現，本文利用已開發的硬件引擎或模擬器直接優化實際指標。

最后，綜合考慮神經網絡架構、模型壓縮和硬件設計，可以形成一個非常大的搜索空間。以關節空間的一小部分為例，混合精度量化允許神經網絡的每一層選擇特定的量化位寬，這導致位寬配置的搜索空間呈指數級大。考慮到搜索空間的大小，以前的方法通常是啟發式的，這需要領域知識和人工努力，或者是耗時的，這需要強大的計算資源來執行搜索過程。

在本文中，我們通過應用Hessian分析和整數優化等優化方法，以及基于學習的技術，如延遲和精度模擬器，以及塊知識蒸餾，使我們的方法自動化和高效。本文提出的方法能夠在解決上述問題的同時取得良好的性能。例如，通過我們的混合精度量化，我們在各種模型上實現了10倍的壓縮比，只有大約1%的精度下降(請參閱第6章和第7章)。此外，作為我們使用HW-SW聯合設計的一個例子，我們的4位/8位混合精度模型在Pascal VOC上得到67.1 AP50，只有2.9 MB大小，比Tiny-YOLO小21倍，但精度更高10%(如第12章)。

在本文中，我們首先介紹了在第二章中我們用來定義硬件感知的高效深度學習的指標。在第三章中，我們展示了應用硬件感知的高效深度學習的動機。然后我們將我們的工作分為兩行，第一行展示了我們在系統量化方面的進展，第二行描述了我們在圖1.1中自動和共同探索三個設計空間的技術。具體來說，第四章介紹了量化的概念和相關工作，第五章到第八章介紹了我們的工作HAWQ, HAWQV2, Q-BERT, ZeroQ，第九章給出了結論。第十章介紹了軟硬件協同設計的研究方向和已有的研究成果。我們在第11章到第14章展示了我們的作品HAWQV3, CoDeNet, HAO和ETA，并以第15章作為結論。最后，在第16章中，我們回顧了我們工作的重要性，并討論了未來可能的方向。

在本文中，我們的目標是改進深度強化學習中的泛化。對任何類型的學習來說，泛化都是一項基本挑戰，它決定了如何將已獲得的知識轉移到新的、以前從未見過的情況中。本文專注于強化學習，這是一個描述人工智能體如何學習與環境交互以實現目標的框架。近年來，利用神經網絡表示智能體取得了顯著的成功，并極大地擴展了其可能的應用范圍。本文的目標是通過允許這些智能體更快地學習，學習更好的解決方案，并對以前未見過的情況做出魯棒的反應，從而提高它們的性能。在這個探索中，我們探索了一系列不同的方法和途徑。我們專注于將額外的結構，也稱為歸納偏差，納入主體。專注于特定的，但廣泛適用的問題領域，我們可以開發專門的架構，從而大大提高性能。在第3章中，我們關注的是部分可觀察環境，在這種環境中，智能體每時每刻都不能完全訪問所有與任務相關的信息。在第4章中，我們將注意力轉向多任務和遷移學習，并設計了一種新的訓練方法，允許訓練分層結構的智能體。我們的方法優化了單個解決方案的可重用性，大大提高了傳輸設置中的性能。

//ora.ox.ac.uk/objects/uuid:9fdfadb0-e527-4421-9a22-8466c9fed9c8 在本文的第二部分中，我們將注意力轉向正則化，這是另一種形式的歸納偏差，作為提高深度智能體泛化的方法。在第五章中，我們首先探討了強化學習(RL)中的隨機正則化。雖然這些技術已被證明在監督學習中非常有效，但我們強調并克服了將它們直接應用到在線RL算法中的困難，這是RL中最強大和應用最廣泛的學習類型之一。在第6章中，我們通過探索訓練數據中的瞬態非平穩性如何干擾神經網絡的隨機梯度訓練，并使其偏向較差的解，在更基本的水平上研究了深度rl中的泛化。許多先進的RL算法將這些類型的非平穩性引入到訓練中，甚至在平穩環境中，通過使用持續改進的數據收集策略。我們提出了一個新的框架，以減少經過訓練的策略所經歷的非平穩性，從而允許改進的泛化。

圖神經網絡(GNNs)的快速發展帶來了越來越多的新架構和新應用。目前的研究側重于提出和評估GNNs的具體架構設計，而不是研究GNNs的更一般的設計空間，后者由不同設計維度的笛卡爾積(如層數或聚合函數的類型)組成。此外，GNN設計通常專門針對單個任務，但很少有人努力了解如何快速為新任務或新數據集找到最佳GNN設計。這里我們定義并系統地研究了GNNs的架構設計空間，它包含了超過32種不同的預測任務的315000種不同的設計。我們的方法有三個主要創新:(1)一個通用的GNN設計空間;(2)具有相似度度量的GNN任務空間，這樣對于給定的新任務/數據集，我們可以快速識別/傳輸性能最好的架構;(3)一種高效的設計空間評價方法，可以從大量的模型-任務組合中提取洞察力。我們的主要結果包括:(1)一套設計性能良好的GNN的全面指南;(2)雖然針對不同任務的最佳GNN設計存在顯著差異，但GNN任務空間允許在不同任務之間傳輸最佳設計;(3)利用我們的設計空間發現的模型實現了最先進的性能。總的來說，我們的工作提供了一個原則性和可擴展性的方法，實現了從研究針對特定任務的個體GNN設計到系統地研究GNN設計空間和任務空間的過渡。最后，我們發布了GraphGym，這是一個用于探索不同GNN設計和任務的強大平臺。GraphGym具有模塊化的GNN實現、標準化的GNN評估和可重復和可擴展的實驗管理。

//arxiv.org/abs/2011.08843

圖神經網絡(GNNs)最近在人工智能領域變得越來越受歡迎，這是因為它們具有提取相對非結構化數據類型作為輸入數據的獨特能力。盡管GNN體系結構的一些元素在操作上與傳統神經網絡(以及神經網絡變體)的概念相似，但其他元素則不同于傳統的深度學習技術。本教程通過整理和呈現最常見類型的GNNs的動機、概念、數學和應用的詳細信息，向一般深度學習愛好者展示了GNNs的強大功能和新穎之處。重要的是，我們以介紹性的速度簡要地介紹了本教程，并提供了理解和使用GNNs的實用和可訪問的指南。

摘要：

當代人工智能(AI)，或者更具體地說，深度學習(DL)近年來被稱為神經網絡(NN)的學習架構所主導。NN變體被設計用于提高某些問題領域的性能;卷積神經網絡(CNN)在基于圖像的任務環境中表現突出，而遞歸神經網絡(RNN)在自然語言處理和時間序列分析空間中表現突出。神經網絡也被用作復合DL框架的組件——它們在生成對抗網絡(GANs)中被用作可訓練的生成器和判別器，在transformers [46]中被用作編碼器和解碼器。雖然在計算機視覺中作為輸入的圖像和在自然語言處理中作為輸入的句子看起來是不相關的，但是它們都可以用一個單一的、通用的數據結構來表示:圖(見圖1)。

形式上，圖是一組不同的頂點(表示項目或實體)，這些頂點通過邊(表示關系)選擇性地連接在一起。被設計來處理這些圖的學習架構是有名稱的圖神經網絡(GNN)。輸入圖之間的頂點和邊的數量可以改變。通過這種方式，GNNs可以處理非結構化的、非歐幾里得數據[4]，這一特性使得它們在圖形數據豐富的特定問題域中具有價值。相反，基于NN的算法通常需要對具有嚴格定義維數的結構化輸入進行操作。例如，構建一個用于在MNIST數據集上進行分類的CNN，其輸入層必須為28×28個神經元，后續輸入給它的所有圖像大小必須為28×28像素，才能符合這個嚴格的維數要求[27]。

圖作為數據編碼方法的表達性，以及GNNs相對于非結構化輸入的靈活性，推動了它們的研究和開發。它們代表了一種探索相對通用的深度學習方法的新方法，并且它們促進了深度學習方法對數據集的應用，直到最近，這些數據集還不能使用傳統的神經網絡或其他此類算法。

本篇內容結構：

• (1) 簡明易懂的GNNs入門教程。
• (2) 具體GNN架構(RGNNs、CGNNs、GAEs)的操作說明，逐步構建對GNN框架的整體理解(分別參見第3、4、5節)。
• (3) GNN如何應用于現實世界問題領域的完整例子(見附錄B.1、B.2和B.3)。
• (4) 具體的進一步閱讀建議和先進的文獻(提供在第3、4、5節的最后)。

//deepai.org/publication/a-practical-guide-to-graph-neural-networks