亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

當前的深度學習模型被訓練以適應訓練集的分布。盡管得益于前沿架構設計的顯著進展，這些模型仍無法對分布外（OOD）樣本進行推理——即那些與訓練集范圍不一致的實例。與人類不同，人類能夠自然地識別未知的事物，而當前的深度學習模型卻缺乏這一能力。由于很難將開放世界中的所有物體包含在訓練集中，設計一種開放集識別算法來檢測和拒絕OOD樣本變得至關重要。本論文聚焦于研究開放集識別及其在計算機視覺中的應用。首先，我們介紹了一個用于自動駕駛應用的開放集3D語義分割系統。我們的目標是檢測那些不常見的、未包含在訓練集中的異常物體，因為這些離群點對自動駕駛系統的安全至關重要。隨后，我們從信息瓶頸的角度分析開放集問題，并提出了一種原型相似度學習算法，以學習更多類別特定和實例特定的信息，從而提高開放集識別性能。最后，我們深入分析了一個新設定——統一開放集識別，在這一設定中，既要檢測OOD樣本，也要檢測那些被錯誤分類的訓練集內樣本，因為模型對這些樣本的預測是錯誤的。總的來說，我們的工作為開放集識別社區提供了新的理論分析視角、新的訓練與評估設定，以及新的應用方向。

從觀察視頻中重建動態三維人體表示是計算機視覺和圖形學領域的前沿熱點問題，是數字內容制作、遠程虛擬會議、影視制作等應用的重要技術。傳統的人體建模技術可以構建高精度的數字人體模型，但這些方法依賴于復雜的硬件設備，如深度相機、精密相機陣列，限制了這些工作的使用場景，并且提高了建模成本和用戶門檻。近年來，神經輻射場展現了從觀察圖片中重建高質量三維場景的能力。但此類方法需要觀測視圖的輸入，并且無法建模可驅動的動態人體模型。除此之外，此類方法的渲染速度較慢，無法滿足實時應用的需求。

基于多視圖幾何理論與深度學習方法相結合的思想，本文提出了一系列面向結構化建模與渲染的隱式神經表示方法，致力于解決稀疏視角視頻重建、可驅動人體模型、幾何表面重建、實時渲染等可入人體建模領域的關鍵問題，實現了從稀疏視角視頻中創建高質量的可驅動人體模型。本文主要的研究成果如下：

（1）針對從稀疏視角視頻重建動態三維人體模型的問題，本文提出了一種基于結構化偏差變量的人體神經輻射場表示，可以有效地整合輸入視頻中不同時刻的觀測信息。實驗結果表明本方法可以從稀疏視角視頻甚至單目視頻中重建高質量的三維人體。

（2）針對可驅動的數字人體建模問題，本文提出了一種基于骨骼蒙皮驅動的人體神經輻射場表示，將動態人體建模為空間變形場和標準空間下的神經輻射場。本文在 Human3.6M 和 ZJU-MoCap 數據集上驗證了該方法的有效性。

（3）針對從視頻中重建高質量人體幾何的問題，本文提出了一種基于符號距離場的動態人體幾何表示，利用稀疏方程對幾何優化過程施加正則化。在多個數據集上的實驗結果表明，本方法在人體幾何重建方面大幅度地超過了之前的方法。

（4）針對動態人體的實時渲染問題，本文提出了一種基于多層感知機的動態場景表示，通過一組少量多層感知機網絡建模全動態場景，從而降低了網絡的推理成本，提升了渲染速度。在 NHR 和 ZJU-MoCap 數據集上的實驗結果表明，本方法在渲染速度方面遠遠超過了之前的方法，并且在渲染質量上表現出了最好的效果。

關鍵詞：三維人體建模，隱式神經表示，神經渲染

圖能夠方便地表達事物之間的關聯關系，因而廣泛應用于現實生活中的諸多應 用場景，例如社交網絡圖、電路圖和電商交易圖，為圖計算賦能數據挖掘和分析提 供基礎。由于圖計算的重要性和普遍性，同一圖計算平臺上通常并行運行著大量圖 算法（以下簡稱并發圖計算任務），為不同的應用或者用戶提供高性能的圖計算能力 支撐。除了與傳統圖計算任務相同的計算特征外，并發圖計算任務還存在著嚴重的 資源競爭、數據競爭等新型挑戰，任務并發度和總體性能較低。為此，如何設計面 向并發圖計算任務的高性能執行環境，快速挖掘出海量圖數據中潛在的各種商業或 科學價值，已成為目前亟需解決的問題。為了高效支持圖計算任務的執行，目前國內外學者已經從面向圖計算的體系結 構和系統軟件等方面開展了廣泛的研究。然而，現有圖計算硬件加速器和軟件系統 無法充分感知不同圖計算任務之間的運行時特征，例如潛在的數據局部性和通信行 為相似性等。現有方案在支持并發圖計算任務時面臨著數據訪問行為不規則、冗余 訪存開銷大以及通信效率低等問題，導致嚴重的數據訪問瓶頸和底層硬件資源的低 效利用。為了解決并發圖計算任務面臨的挑戰，分別從體系結構層面和系統軟件層 面開展研究來實現高性能并發圖計算技術，有效支持并發圖計算任務的執行。針對并發圖計算任務數據訪問行為不規則問題，提出了以數據局部性為中心的 并發圖計算硬件加速技術，以提高并發圖計算任務的訪存效率。分析發現，由于不 同圖計算任務往往沿著同一圖拓撲來遍歷相同圖數據，這些任務之間存在極強的數 據局部性。基于此發現，該硬件加速技術首先動態探索并發圖計算任務活躍圖頂點 之間的依賴關系，使并發圖計算任務沿著圖拓撲遍歷和處理相同圖數據，以此來規 則化并發圖計算任務的圖遍歷行為。其次，該硬件加速技術對并發圖計算任務的圖 頂點訪問進行高效合并，從而提高頂點訪問的局部性。實驗結果表明，與現有圖計 算硬件加速技術 HATS、Minnow 和 PHI 相比，本設計能夠獲得最高 11.3 倍的加速比。針對并發圖計算任務冗余訪存開銷大問題，提出基于細粒度同步的核外并發圖 計算技術。該技術首先提出了一種面向并發圖計算任務的細粒度同步執行機制，使得只需在緩存和內存中加載和存儲相同圖結構數據的一個副本就能服務多個并發圖 計算任務，從而降低圖數據的冗余訪存成本，提高底層硬件資源的利用率。其次， 提出了圖結構感知的數據重劃分和緩存機制，通過自適應地加載并發圖計算任務所 需的圖數據，并將頻繁使用的圖數據緩存在主存中，提高加載圖數據利用率和最小 化 I/O 開銷。實驗結果表明，所提出的核外并發圖計算技術，能夠將現有圖計算系統 GridGraph、GraphChi 和 X-Stream 的并發圖計算任務吞吐率最高提升 13 倍。針對并發圖計算任務在分布式環境下擴展性差的問題，提出了相似性感知的分 布式并發圖計算技術。分析發現，并發圖計算任務之間的通信行為存在極強的相似 性。基于此發現，首先提出了相似性感知的分布式并發圖計算執行機制，其沿著圖 劃分塊之間的拓撲關系來加載圖數據，并以此高效驅動分布式平臺中每個計算節點 上的任務執行，從而使得加載的圖數據能夠被更多任務共享；通過高效的通信機制 來使得不同任務的通信行為以規則的方式批量進行，從而降低并發圖計算任務的通 信成本，提高通信效率。其次，提出了面向并發圖計算任務的增量負載均衡機制和 面向動態圖處理的數據存儲優化機制，以此來提高分布式計算資源利用率和保證在 支持動態圖處理時的執行效率。實驗結果表明，與分布式圖計算系統 Gemini 和 Seraph 相比，本設計在支持并發圖計算任務時能夠獲得最高 6 倍的加速比。總的來說，本文分別研究了并發圖計算任務不規則訪存行為與底層體系結構不 匹配問題、并發圖計算任務之間冗余數據訪存開銷高問題以及分布式并發圖計算擴 展性差問題，圍繞體系結構、單機和分布式系統軟件層面實現高性能并發圖計算技 術，顯著提升并發圖計算任務的執行性能。

抽象知識深植根于許多基于計算機的應用中。人工智能(AI)的一個重要研究領域是從數據中自動推導知識。機器學習提供了相應的算法。其中一個研究領域是生物啟發學習算法的開發。各自的機器學習方法都是基于神經學概念，因此它們可以系統地從數據中獲取知識并存儲它。一種可以歸類為深度學習模型的機器學習算法被稱為深度神經網絡(DNNs)。DNN由多層排列的多個人工神經元組成，通過反向傳播算法進行訓練。這些深度學習方法在從高維數據推斷和存儲復雜知識方面表現出驚人的能力。

然而，DNN會受到一個問題的影響，即無法將新知識添加到現有的知識庫中。不斷積累知識的能力是促進進化的重要因素，因此是發展強大人工智能的先決條件。所謂的“災難性遺忘”(CF)效應導致DNN在對新數據分布進行幾次訓練迭代后，立即失去已經派生的知識。只有用過去和新數據的聯合數據分布進行昂貴的再訓練，才能抽象出整個新知識集。為了抵消這種影響，各種旨在緩解甚至解決CF問題的技術已經并且仍在開發中。這些已發表的CF回避研究通常暗示他們的方法對各種持續學習任務的有效性。

本文的研究背景是基于深度學習方法的持續機器學習。第一部分是面向實際應用的評估協議的開發，該協議可以用于研究不同的機器學習模型對協同效應的抑制。在第二部分，綜合研究表明，在面向應用的需求下，所研究的模型都不能表現出令人滿意的持續學習效果。第三部分提出了一種新的深度學習模型——深度卷積高斯混合模型(deep Convolutional Gaussian Mixture Models, DCGMMs)。DCGMMs建立在無監督高斯混合模型(GMMs)的基礎上。gmm不能被認為是深度學習方法，它必須在訓練前以數據驅動的方式進行初始化。這些方面限制了gmm在持續學習場景中的使用。本文提出的訓練過程使使用隨機梯度下降(SGD)(應用于dnn)來訓練GMMs成為可能。集成退火方案解決了數據驅動的初始化問題，這是GMM訓練的先決條件。實驗證明，新的訓練方法在不迭代其缺點的情況下，可以得到與傳統方法相當的結果。另一個創新是GMM以層的形式排列，這類似于DNN。將GMM轉換為層使其能夠與現有層類型相結合，從而構建深層體系結構，從而可以用較少的資源派生出更復雜的知識。

在本工作的最后一部分，研究DCGMM模型的持續學習能力。為此，提出一種稱為高斯混合重放(GMR)的重放方法。GMR利用DCGMM的功能來描述數據樣本的生成和重現。與現有CF回避模型的比較表明，在面向應用的條件下，GMR可以取得類似的持續學習效果。總之，所提出的工作表明，確定的面向應用的需求仍然是“應用”持續學習研究方法的開放問題。此外，新的深度學習模型為許多其他研究領域提供了一個有趣的起點。

基于深度學習的單目場景深度估計方法研究

單目圖像的深度估計是計算機視覺研究的基礎性課題，由于其可以指導多種高 階視覺任務的學習，且具有良好的實際應用前景，近年來也成為計算機視覺領域的 熱門課題。單目深度估計旨在基于單張圖片或單目視頻信息，預測并恢復出場景像 素級別的深度信息。由于現實場景較為復雜，且單目圖像或視頻信息又缺乏魯棒的 幾何約束，現有的深度估計方法往往會丟失細節或無法預測正確的尺度信息，使得 其實際應用受到制約。本文通過設計有效的深度卷積網絡及其學習框架，提出了幾 種新的深度估計方法。主要研究成果概述如下：

（1）本文提出了一種新的多尺度端到端深度估計框架。先前的主流方法往往只 能預測超像素級別的深度信息，或基于多步非端到端的學習方法。這導致了算法預 測的深度圖像丟失細節，且不利于實際應用。為了端到端的預測精細的深度圖像， 本文從兩個方面整合了多尺度信息：（a）提出了一種新的多尺度網絡以學習多級深 度表征，并利用多尺度表征逐步地引導網絡的上采樣和預測過程；（b）提出了一種 細粒度正則化方法，使優化器引導網絡學習正確的深度結構信息。在不同數據集上 的大量實驗表明，本文的方法可以預測更完善的細節信息，且可以取得同期最佳的 預測效果。

（2）現有的基于深度神經網絡的方法缺少有效機制以恢復并保留深度圖像中的 邊緣細節信息，這使其預測效果受到影響。因此，本文提出了一種新的漸進困難挖 掘網絡以處理該問題。特別地，本文構建了困難挖掘目標函數，尺度內和尺度間子 網絡來精確地定位和修正預測困難的區域。尺度內修正模塊可以遞歸地從不同語義 特征中恢復深度細節，尺度間修正模塊可以利用不同尺度的深度信息進行互補交互。困難挖掘目標函數可以引導網絡的學習過程，使得網絡自適應地關注容易產生累計 預測誤差的區域。這三種模塊可以有效地協作，逐步地減少學習過程中的誤差傳播， 進一步地增強深度預測效果。大量的實驗分析表明，本文的方法可以有效恢復深度 圖像中的邊緣和細節信息，并取得同期最好的預測效果。

（3）本文提出了一種新的任務遞歸學習框架（Task-recursive Learning, TRL） 以同時處理語義分割，平面法向量預測和深度估計三個任務。TRL 通過一系列任務 層面的交互以遞歸地修正預測結果，其中位于每一個時間階段的網絡模塊可以封裝 每一個跨任務交互過程。在每一個時間階段內，TRL將多任務學習過程序列化，并 遞歸地進行交互。為了自適應地增強任務間的相似模式，本文將交互過程封裝在任 務注意力模塊（TAM）中，進而使任務的學習過程可以相互促進。在時間階段之間，通過使用特征選擇單元（FS-unit），網絡將先前獲得的經驗有選擇性地傳播至接下 來的時間節點，進而使任務間的互補信息更充分地被利用。同時，任務交互序列也 在由粗到細的尺度空間中得到延伸，使得細節信息可以被逐步地修正。最終，該多 任務序列化問題被統一地整合進遞歸網絡框架中。在公開數據集上的大量實驗表明， 本文的方法可以遞歸地修正三個任務的預測結果，并獲得同期最佳的數值效果。

（4）本文提出了一種新的模式相似性傳播框架以同時預測場景深度，法向量和 語義分割。其動機來自于相應的統計觀察，即模式相似像素對在同一任務內部和不 同任務之間均頻繁地出現。因此，可以進行兩種形式的傳播過程，即跨任務傳播和 任務特異傳播以自適應地擴散這些相似的模式。跨任務傳播通過計算非局部的關聯 性信息以整合跨任務的相似模式，使這些相似模式更好的適應每一個任務。任務特 異性傳播則是在特征空間進行迭代擴散過程，使跨任務的相似模式能夠被廣泛地應 用于任務內部。由此一來，這些任務層面的關聯性信息可以調整和促進每一個任務 的學習。在公開數據集上的大量實驗證明了本文方法的有效性，同時也在多個數據 集和三個任務上獲得了同期最佳的效果。

（5）在線的景深學習問題要求連續地調整深度估計模型使其適應于不斷變化的 場景。由于神經網絡往往容易過擬合至當前場景而遺忘之前學得的經驗，這類開放 世界問題十分具有挑戰性。為此，本文提出了一種新的抵抗遺忘的學習方法（LPF） 以處理無監督的在線單目景深學習。與以往更新模型中所有參數的方法不同的是， LPF學習適應器模塊以高效地調整特征表示和分布，從而避免在線場景下的知識丟 失問題。具體地，本文提出了一個新的元學習方法，通過將在線適應過程與目標函 數相結合，使學習到的適應器模塊可以適應于視頻中時間連續的景深模式。為了進 一步地避免過擬合，本文提出了一種新的時間連續正則化方法來調整每個在線學習 步驟的梯度下降過程。在現實場景數據庫上的大量實驗表明，本文的方法在僅增加 少量參數的情況下，明顯地提升了在線景深估計的質量。

機器學習中的標記增強理論與應用研究

標記端多義性是當今機器學習的熱點問題。多標記學習中，每個樣本都被賦予一組 標記子集來表示其多種語義信息。然而，標記強度差異現象在多義性機器學習任務中廣 泛存在，而既有多標記學習研究中普遍采用的相關/無關兩個子集的邏輯劃分法幾乎完 全忽視了這種現象，造成學習過程中不可避免的信息損失。針對這一突出問題，有必要 用一種稱為標記分布的標注結構來代替邏輯標記對示例的類別信息進行描述。標記分布 通過連續的描述度來顯式表達每個標記與數據對象的關聯強度，很自然地解決了標記強 度差異的問題，而在以標記分布標注的數據集上學習的過程就稱為標記分布學習。由于 描述度的標注成本更高且常常沒有客觀的量化標準，現實任務中大量的多義性數據仍然 是以簡單邏輯標記標注的，為此本文提出了標記增強這一概念。標記增強在不增加額外 數據標注負擔的前提下，挖掘訓練樣本中蘊含的標記重要性差異信息，將邏輯標記轉化 為標記分布。

本文對標記增強進行研究，主要工作包括：構建標記增強基礎理論框架。該理論框架回答了以下三個問題：第一，標記增強所 需的類別信息從何而來？即標記分布的內在生成機制；第二，標記增強的結果如何評價？即標記增強所得標記分布的質量評價機制；第三，標記增強為何有效？即標記增強對后 續分類器的泛化性能提升機制。理論分析和實驗結果驗證了標記增強的有效性。

提出一種面向標記分布學習的標記增強專用算法。以面向標記分布學習的標記增強 為目標專門設計的算法十分重要，其關鍵是如何設計能夠充分挖掘數據中隱藏的標記信 息的優化目標函數。因此，本文提出一種面向標記分布學習的標記增強方法 GLLE。該 方法利用訓練樣本特征空間的拓撲結構以及標記間相關性，挖掘了標記強度信息，從而 生成了標記分布。實驗結果驗證了 GLLE 對邏輯標記數據集進行標記增強處理后使用標 記分布學習的有效性。

標記增強在其他學習范式上的應用。本文提出了基于標記增強的多標記學習方法 LEMLL，該方法將標記增強與多標記預測模型統一到同一學習目標中，使得預測模型可 以在更為豐富的監督信息下進行訓練，有效地提升了學習效果。本文提出了基于標記增 強的偏標記學習方法 PLLE，該方法利用標記增強恢復候選標記的描述度，使得后續的 學習問題轉化為多輸出回歸問題。在多標記數據集和偏標記數據集上的實驗結果顯示， 相較于對比算法，基于標記增強方法取得了顯著更優的表現。

面向文本生成的深度序列模型研究

人工智能走向成熟的一個重要標志是賦予計算機“說話” 的能力，實現文本 的自動生成。文本生成范圍很廣，按照不同的輸入劃分，可包括圖像到文本的生 成、音頻到文本的生成、數據到文本的生成以及文本到文本的生成。其中，文本 到文本的生成旨在分析理解輸入文本，撰寫得到新的自然語言文本。文本到文本 生成技術廣泛應用在智能編輯、智能助理、人機對話等領域，悄然融入到人們的 日常生活中，也成為學術界研究的熱點。

文本到文本的生成可以看做是將承載原始信息的文本轉變成符合用戶真實 信息需求的文本。本文根據信息變換方式的不同，將文本到文本的生成劃分成三 類任務：壓縮式生成、對等式生成和多樣化生成。其中壓縮式生成將文本或文本 集合壓縮成簡明扼要的內容；對等式生成中輸入文本和輸出文本在語義上具有 一一對應性；多樣化生成中輸入文本和輸出文本在語義上存在著多種對應關系。近年來，隨著深度學習的崛起，利用深度序列模型，實現序列到序列的學習已然 成為文本到文本生成研究領域的主流。基于深度序列建模的文本到文本生成主 要包含三個環節：輸入文本的語義理解，輸入信息到輸出信息的映射，以及輸出 文本的建模。基于此，本文研究了面向文本生成的深度序列建模過程中三個關鍵 性的挑戰問題：1）輸入文本的語義繁雜性；2）輸入文本和輸出文本間的映射多 樣性；3）輸出文本的結構復雜性。

首先，針對語義繁雜性問題，本文提出了兩種利用深度學習技術進行語義精 簡表征的算法。首先，從無監督方式利用詞向量表達文檔語義的角度，本文提出 了基于聚合和基于生成的文檔表征模型。傳統的詞向量袋模型無法刻畫單詞間 的語義關聯性，并且缺乏合理的概率統計基礎。針對這兩個問題，本文設計了一 個詞向量聚合框架，利用球上連續概率分布建模詞向量間的余弦相似度，以及一 個基于詞向量的概率生成模型，同時建模文本和單詞的生成。其次，從有監督方 式直接利用神經網絡端到端建模文本生成的角度，針對壓縮式生成中輸入文本 較長帶來的復雜語義理解問題，本文設計了層次化的表征模型，捕捉文檔中的層 次組成結構。句子是關于長文檔核心主題的更主要的載體。但是，現有的工作平 等地對待每個句子，并未考慮不同句子所起作用的不同。針對此問題，本文提出了自我注意力機制，自動學習不同句子的權重，以組合得到最終的文檔表達。實 驗結果驗證了本文提出的模型在繁雜語義的精簡表征能力上的有效性。

然后，針對映射多樣性問題，本文提出了基于顯式的控制變量來幫助學習映 射關系的模型。現有工作僅用單模型來學習映射關系，因此只適用于對等式生 成，在多樣化生成中失敗。針對此問題，本文直接面向對話任務，解決 “話語-回 復” 間一對多的具體化映射關系導致單模型傾向生成高頻回復的問題。本文提出 了一種新的可控回復生成機制，將具體化控制變量引入到深度序列模型中，并通 過高斯核層與單詞的使用表達相互作用，以指導模型生成不同具體化程度下的 回復。當變量設為固定值時，模型刻畫的就是一對一關系，適用于對等式生成。實驗結果證明，本文所提模型可以有效地控制目標文本的生成。

最后，針對結構復雜性問題，本文分別從非結構化文本和結構化文本兩個角 度對輸出文本進行了研究。首先，針對非結構化文本中疑問句存在的疑問模式， 本文在基于自我注意力機制的深度序列模型中，引入疑問詞詞表，并在非疑問詞 和疑問詞詞表上使用詞表選擇機制，以更好地學習疑問句模式。其次，相比于非 結構化文本，結構化文本能夠更有條理地組織信息，然而鮮有人關注結構化文本 的生成，比如提綱、信息表和報表等。因此，本文提出了提綱生成任務，識別多 段落文檔中潛在的章節并生成相應的章節標題，并將其形式化為層次化的結構 預測問題，提出了層次化的結構生成模型，捕捉三個級別的一致性。實驗證實， 本文所提模型不僅可以捕捉文本的內在復雜結構，并且可以顯著提升生成效果。

綜上所述，本文研究了壓縮式生成、對等式生成以及多樣化生成三類文本到 文本的生成任務，在深度序列建模的三個環節，理解、映射以及建模上的問題， 并相應的提出了多個新穎的深度模型，在公開的評測數據集上對各個模型的性 能進行了驗證。

解耦合的類腦計算系統棧設計

類腦計算是一種借鑒生物大腦計算原理的信息處理范式，涉及算法、硬件和 工藝等諸多領域。在算法層面，深度神經網絡在各類智能問題的解決上表現出了 一定的通用性；在硬件層面，大量涌現的深度學習專用芯片和神經形態芯片為類 腦計算的相關研究領域提供強大算力；在工藝層面，以憶阻器為代表的各種新型 器件也為類腦計算芯片架構突破“馮諾依曼瓶頸”帶來了新的可能。但現有的類 腦計算研究尚缺乏能將算法、芯片和工藝等不同領域技術需求有機結合起來的軟 硬件系統棧設計。例如，專用芯片在帶來更高計算性能的同時也降低了靈活性，使 得算法的適配變得困難；憶阻器等新型器件在為芯片提供更高能效的同時，也帶 來了器件不穩定引起的噪音等問題。針對上述問題，本文提出一套新型類腦計算 系統棧設計，在理論層面引入類腦計算完備性，使得類腦系統實現軟硬件解耦合 成為可能；在基礎軟件層面設計了相應的編譯器，實現軟件編程模型到硬件執行 模型的等價轉換；在硬件層面設計了基于憶阻器件的類腦芯片架構，充分利用本 文提出的編譯器設計和解耦合系統棧帶來的優勢。本文的創新點主要有：

? 提出軟硬件解耦合的類腦系統棧設計。在系統棧中引入軟件編程模型和硬件 執行模型來解耦合——軟件編程模型靈活度高，適應各類編程需求，而硬件 執行模型足夠簡潔，適合硬件高效實現；引入類似于圖靈完備性的類腦完備 性概念來建立軟件和硬件兩類模型的等價性，并給出相應的構造性證明，使 得類腦計算系統軟硬件解耦合成為可能。

? 設計針對硬件約束的類腦編譯器，將神經網絡軟件編程模型轉換為等價的硬 件執行模型。編譯器通過數據重編碼方式，使目標網絡在極端硬件約束條件 下仍然能夠保持精度損失可控（包括無損）；此外，提出適用于硬件執行模 型的粗粒度剪枝壓縮方法，充分利用神經網絡模型本身的冗余，在 ImageNet 數據集的 VGG16 模型上，即使剪枝粒度達到 256 × 256 壓縮率也能達到 60% 以上，且精度損失可以忽略。

? 設計與上述類腦計算完備性和編譯技術適配的新型類腦芯片架構 FPSA （Field Programmable Synapse Array）。利用編譯器轉換后硬件執行模型的簡潔 性，簡化基于憶阻器的芯片結構設計，提高計算密度與計算性能，并引入可 重構路由架構以優化片內通信。與同樣基于憶阻器的類腦芯片架構 PRIME 相比，性能提升可達三個數量級。

辨識性特征學習及在細粒度分析中的應用

細粒度分析旨在對粗粒度的大類進行細粒度的子類劃分，如把鳥劃分為里海燕鷗、 北極燕鷗等子類別。其廣泛應用于智能農業、智能醫療等智能產業，具有重要的研究 和應用價值。其挑戰在于類間差異小、類內差異大。以圖像為例，不同子類別在形狀、 顏色上差異細微，難以區分；相同子類別在姿態、視角上差異顯著，容易誤分。因此， 關鍵科學問題是：如何獲取細粒度子類別的辨識性信息并有效表達，突破細粒度分析難題。針對上述問題，本文從減少標注成本、減少人工先驗、提高辨識速度、提高語義 關聯四個方面展開辨識性特征學習研究，并分別應用于細粒度圖像分類和細粒度跨媒 體檢索任務。主要工作總結如下：

1. 在減少標注成本上，提出了基于對象-部件注意力模型的細粒度圖像分類方法。在對象級注意力上，提出注意力選擇和顯著性提取，自動定位對象區域，學習更 精細的對象特征。在部件級注意力上，提出空間關聯約束和部件語義對齊，實現 辨識性部件的有效定位，排除了姿態、視角等差異的干擾。兩者結合能夠學習 到多粒度的辨識性特征，準確率超過了使用對象、部件人工標注的強監督方法。

2. 在減少人工先驗上，提出了基于堆疊式深度強化學習的細粒度圖像分類方法。首 先，層次化地定位圖像中的多粒度辨識性區域，并自適應地確定其數目。然后， 通過多尺度區域的定位及辨識性特征學習，進一步提升細粒度圖像分類準確率。學習過程由語義獎勵函數驅動，能夠有效捕捉圖像中的辨識性、概念性的視覺 信息，實現弱監督甚至無監督條件下的辨識性特征學習。

3. 在提高辨識速度上，提出了基于弱監督快速辨識定位的細粒度圖像分類方法。首 先，提出多級注意力引導的辨識性定位，通過顯著圖生成偽監督信息，實現了 弱監督條件下的辨識性定位。進一步顯著圖驅動二次定位學習，增強了定位的 準確性。然后，提出多路端到端辨識性定位網絡，實現多個辨識性區域的同時 定位，從而提高了辨識速度。多個辨識性區域之間互補促進，提升細粒度圖像 分類準確率。

4. 在提高語義關聯上，引入文本、視頻、音頻等跨媒體數據，提出了基于細粒度 分類的跨媒體檢索方法。建立了首個包含 4 種媒體類型（圖像、文本、視頻和 音頻）的細粒度跨媒體檢索公開數據集和評測基準 PKU FG-XMedia。提出了能 夠同時學習 4 種媒體統一表征的深度模型 FGCrossNet，確保統一表征的辨識性、 類內緊湊性和類間松散性。實現圖像向跨媒體的擴展，分類向檢索的擴展。

機器學習中部分非凸和隨機優化算法研究

機器學習是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算 法復雜度理論等多門學科。算法理論與應用是機器學習中最為重要的核心之一。其中一階優化算法因其簡單有效性，而被廣泛研究與應用。另一方面由于近年來 數據規模的不斷增大，數據集的規模使得二階或更高階的算法應用受阻。這使得 一階算法進一步成為機器學習的研究重點。隨著機器學習中問題模型的不斷擴張， 例如深度學習，非凸問題和模型也激發了學者們廣泛的研究興趣。這使得研究非 凸算法顯得更加急迫。而且由于數據集的龐大性，確定算法難以逃出鞍點，因此 隨機算法受到了史無前例的關注。本文主要結果可以歸納如下：

一、研究了三種 ADMM 算法。第一個 ADMM 的工作是關于一般的 ADMM 收 斂性分析統一框架。在此框架下，很多現有的 ADMM 收斂性分析可以歸納進該 框架。除了現有的 ADMM 算法，根據統一框架還能夠設計出新的 ADMM 算法。第二個和第三個 ADMM 都是針對結構非凸優化問題提出的：一個是針對泛 ?q 正 則化約束優化問題，而另一個是針對 ?1?2 正則化約束優化。給出了后面兩種非凸 ADMM 算法的收斂性分析，所得到的結果可以指導用戶選擇合適的超參數。

二、研究了兩種一階優化領域常用的非精確算法。第一種是非精確的加速算 法。相較于之前的研究，該算法的假設更為真實。而且還囊括了一大類隨機噪聲 的情況，使得算法更為實用。而機器學習中的一階催化劑算法由于是該加速算法 帶上了隨機噪聲，因此可以看做本算法的特例。在第二部分給出了非精確非凸算 法的收斂性框架理論。可以被廣泛應用到各種一階非凸算法。

三、證明了在有界和無界延遲以及隨機和確定性塊選擇下異步并行梯度下降法 的收斂結果。這些結果不需要迄今為止絕大多數其他工作中出現的獨立性假設。這是由于本文使用了 Lyapunov 函數技術，可直接處理延遲，而不是像之前的工作 一樣僅僅將它們建模為噪聲。

四、分析了馬爾可夫鏈隨機梯度下降法，其中樣本采用了某個馬爾可夫鏈的軌跡。主要貢獻之一是給出了馬爾可夫鏈隨機梯度下降法的在凸情況下的非遍歷收 斂分析。結果然后擴展到不精確的格式。這種分析使得能夠建立不可逆有限狀態 馬爾可夫鏈和非凸最小化問題的收斂性。這樣的結果適用于不知道具體的概率分 布，但可以通過馬爾可夫鏈進行采樣的情形。