非易失內存系統中的寫優化和持久化技術研究
現代處理器的多核化發展趨勢和大量數據密集型應用的出現,使得計算機對高 容量主存的需求越來越迫切。現代計算機主存的主要存儲介質是 DRAM (dynamic random access memory)。但是,由于在存儲單元擴展和能耗效率方面的局限性, DRAM 很難做到更大的容量。新型的非易失內存(non-volatile memory,NVM)可 以有效地避免 DRAM 中存在的存儲單元擴展和能耗效率問題,從而被考慮作為下一 代主存的主要存儲介質。但是,現代的計算機系統都是面向傳統的 DRAM 主存設計 和優化的,在當前的計算機系統中使用 NVM 面臨著寫優化和數據持久化兩方面的 挑戰。在寫優化方面,由于 NVM 都是通過改變存儲介質的物理狀態來存儲數據的, 物理存儲單元被復寫一定次數后會失效而具有有限的寫耐久性,如何對 NVM 做有 效的寫優化處理來提升其耐久性和性能是關鍵;在持久化方面,NVM 系統中的數 據從 CPU 寫入到主存時就需要做數據持久化處理,如何使用有效的持久化技術來保 證數據的正確持久化和故障時的一致性是關鍵。另外,在一些應用場景如端設備上, NVM 主存還面臨著安全性問題,這是因為 NVM 在系統關機后依然保存著數據而 產生數據殘留,因此需要在 NVM 上使用內存加密。本文分別對非加密和加密 NVM 面臨的寫優化和持久化挑戰展開研究并提出有效的解決方案。
為了提升非加密 NVM 的寫耐久性,提出了一個面向 NVM 的寫優化數據組織 結構 Path Hashing。Path Hashing 是一個基于哈希的數據結構,使用了一個新的寫優 化哈希沖突處理方法,即位置共享,使得哈希數據結構中的插入和刪除操作不會產 生額外的 NVM 寫。通過進一步使用雙路徑哈希和路徑縮減技術,Path Hashing 可以 在哈希表空間利用率和請求延遲方面獲得高的性能。實驗結果表明,Path Hashing 不 會造成額外的 NVM 寫從而提升了 NVM 的耐久性,并可以達到 95% 以上的哈希表 空間利用率,與現有哈希表方法相比也實現了更低的請求延遲。
為了保證非加密 NVM 中數據的正確持久化和一致性,提出了一個面向 NVM 的持久化數據組織結構 Level Hashing。Level Hashing 在實現寫優化和降低開銷的同。時,可以保證 NVM 中哈希數據結構故障時的數據一致性并且支持高效地擴容操作。Level Hashing 提出了一個基于共享的兩層哈希表,它的搜索、插入、刪除和更新操 作在最差情況下具有常數級的時間復雜度,且很少產生額外的 NVM 寫。為了低開 銷地保證數據一致性,Level Hashing 對插入、刪除和擴容操作實現了免日志的一致 性保證。為了高效地擴容哈希表,Level Hashing 提出了一個原地擴容技術,這種方 法只需要重新哈希 1/3 的哈希桶而不是整個哈希表就可以完成擴容,從而顯著減少 了重哈希的桶數并提高了擴容性能。實驗結果顯示,與現有最好的哈希數據結構相 比,Level Hashing 獲得了 1.4 ? 3 倍的插入加速比、1.2 ? 2.1 倍的更新加速比和 4.3 倍的擴容加速比。
為了提升加密 NVM 的寫耐久性,提出了一個面向加密 NVM 的寫優化內存架 構 DeWrite。DeWrite 使用內存加密機制來保證 NVM 中的數據安全,并通過消除重 復的內存寫來提升 NVM 的使用壽命和運行性能。DeWrite 提出了一個輕量級內存行 粒度的數據去重技術來解決在加密 NVM 上執行低延遲的在線去重的挑戰,并提出 操作并行和元數據共享策略來高效整合數據去重和內存加密技術,以提高系統的時 間和空間效率。實驗結果顯示,和傳統的加密 NVM 方案相比,DeWrite 減少了平均 54% 的 NVM 寫操作數量。同時,DeWrite 對加密 NVM 中的內存讀操作和寫操作分 別加速了 3.1 倍和 4.2 倍,且減少了 40% 的能耗開銷。
為了保證加密 NVM 中數據的正確持久化和一致性,提出了一個面向加密 NVM 的持久化內存架構 SuperMem。SuperMem 是基于直寫式計數器 cache 的持久化技術, 有效地避免了現有基于寫回式計數器 cache 的持久化技術在備用電池的使用、可移 植性和恢復延遲等方面的問題。為了減少直寫式計數器 cache 帶來的額外的性能開 銷,SuperMem 采用了一個局部性感知的計數器寫聚合方法,通過探索計數器存儲 和數據寫分布的空間局部性來減少寫請求的數量;并采用了一個跨 bank 的計數器存 儲方法來高效地分發數據和計數器寫到不同的 bank 上,利用 bank 的訪問并行性來 加速內存寫。實驗結果顯示,SuperMem 使用計數器寫聚合方法減少了高達 50% 的 寫操作數量,使用跨 bank 的計數器存儲方法提升了最高 2 倍的系統運行性能。
摘要 隨著應用數據處理需求的激增, 在傳統馮 · 諾依曼 (von Neumann) 體系結構中, 處理器到主存 之間的總線數據傳輸逐漸成為瓶頸. 不僅如此, 近年來興起的數據密集型應用, 如神經網絡和圖計算 等, 呈現出較嚴重的數據局部性, 緩存命中率低. 在這些新興數據密集型應用的處理過程中, 中央處 理器到主存間的數據傳輸量大, 導致系統的性能不佳且能耗變高. 針對傳統馮 · 諾依曼體系結構的局 限性, 內存計算通過賦予主存端一定的計算能力, 以緩解因數據量大以及數據局部性差帶來的總線擁 堵和傳輸能耗高的問題. 內存計算有兩大形式, 一種是以高帶寬的連接方式將計算資源集成到主存單 元中 (近數據計算), 另一種是直接利用存儲單元做計算 (存內計算). 這兩種形式有各自的優缺點和適 用場景. 本文首先介紹并分析了內存計算的提出和興起原因, 然后從硬件和微體系結構方面介紹內存 計算技術, 接著分析和總結了內存計算所面臨的挑戰, 最后介紹了內存計算給目前流行的應用帶來的 機遇.
//engine.scichina.com/publisher/scp/journal/SSI/51/2/10.1360/SSI-2020-0037?slug=fulltext
大數據時代下,面對不斷膨脹的數據信息、復雜多樣的應用場景、異構的硬件架構和參差不齊的用戶使用水平,傳統數據庫技術很難適應這些新的場景和變化. 機器學習技術因其較強的學習能力,逐漸在數據庫領域展現出了潛力和應用前景. 論文首先給出一個高效、高可靠、高可用、自適應性強的數據庫系統需要涵蓋的方面,包括數據庫運維、數據存儲、查詢優化等.其次,討論機器學習算法與數據庫技術結合過程中可能面臨的挑戰,包括訓練數據少、訓練時間長、泛化能力有限、適應性差四個方面.然后,綜述數據庫技術與機器學習結合的現狀以及具體技術.其中,重點介紹數據庫自動調參、查詢基數估計、查詢計劃選擇、索引和視圖自動選擇五個方向.自動調參技術包括啟發式算法、傳統機器學習、深度強化學習三類.啟發式算法從離散的參數空間中通過抽樣探索最優子空間,可以有效提高調參效率,但是難以保證在有效資源限制內找到合適配置;傳統機器學習算法在經過降維的參數空間中學習系統狀態到指定負載模板的映射關系,一定程度上提升模型的適應性;深度強化學習在高維參數空間中迭代的學習調優策略,并利用神經網絡提升對高維數據的處理能力,有效降低訓練數據的需求.查詢基數估計包括面向查詢和面向執行計劃兩類.面向查詢方法利用卷積神經網絡學習表數據、查詢條件、連接條件之間的關系,然而在不同場景下需要大量訓練而且泛化能力差;面向執行計劃方法在物理算子層面做級聯的代價估計,一定程度上提高對不同查詢的適應能力.查詢計劃選擇包括深度學習和強化學習兩類.深度學習方法融合數據庫估計器的代價值和數據特征,提高對每種計劃代價估計的精度,但是結果嚴重依賴估計器的表現;強化學習基于最終目標迭代生成查詢計劃,降低方法對查詢代價的依賴性.自動索引推薦包括分類器、強化學習、遺傳算法三類.分類算法根據離散的表特征分析不同索引的創建開銷和效率,通過結合遺傳算法,提高對復合索引的推薦效率;強化學習進一步提供增量式索引推薦的效率,實現在線索引選擇.自動視圖選擇包括啟發式算法、概率統計、強化學習三類.啟發式算法通過在視圖構建的有向無環圖上做貪心探索,提高選擇效率,然而適應性差;基于概率統計的算法將視圖選擇形式化成一個0-1選擇問題,有效降低圖的探索開銷;強化學習方法將視圖的創建和刪除統一成動態選擇過程,基于強化學習的訓練策略進一步提高選擇效率.最后,從八個方面展望機器學習將給數據庫帶來的革命性突破。
多層圖分析技術研究
近年來,越來越多的領域都使用“圖”來表示和管理數據,稱為“圖數據”。針對 圖數據的分析可以發現其中的結構特征、頻繁模式、演變規律等有用的知識,具有 重要的科研意義和應用價值。隨著研究的深入,人們發現現實世界的圖數據往往 包含數據對象間多種類型的關系。例如,社交網絡數據包括多個社交媒體組成的 網絡;交通網絡數據涵蓋了多種交通工具組成的網絡。這種圖數據稱為“多層圖”, 其每一層包含了數據對象間某種特定類型的關系。
多層圖分析可以發現準確可靠、價值更高的知識。然而,多層圖分析面臨兩 方面的挑戰:一方面,單層圖上的計算語義在多層圖場景下不再適用,多層圖上 的計算語義更加復雜;另一方面,多層圖分析涉及多個圖層上的計算任務,使得 問題的固有計算復雜性大大增加。現有的多層圖分析方法在計算語義和算法設計 兩個方面都存在缺陷,不能很好的解決多層圖分析的有關問題。
本文綜合運用數據分析的相關理論、技術和方法,對于多層圖分析進行了系統研究。本文同時考慮了無概率的普通多層圖和帶概率的多層圖,從圖數據的稠 密性、可靠性、傳播性和相似性四方面重要性質出發,對多層圖分析領域中的一 系列重要問題進行了深入研究,主要研究成果如下:
本文研究了多層圖上的多樣化稠密區域發現問題,該問題在生物蛋白復合 體檢測和社區發現上具有重要應用。在無概率的普通多層圖模型基礎上,本文提 出了一種新的稠密區域概念 d-Coherent-Core(簡稱 d-CC),設計了兩種近似比為 1/4 的高效搜索算法來求解該 NP-難問題,算法在結果質量和執行時間兩個方面 均優于基于準團的傳統算法。d-CC 概念同時刻畫了稠密區域的稠密度和支持度兩 方面重要特性,滿足唯一性、包含性和層次性 3 個重要數學性質。自底向上和自 頂向下兩種搜索算法采用了高效的搜索策略和剪枝方法,分別適用于支持度參數 較小和較大兩種情況。真實數據上的實驗結果表明:自底向上和自頂向下兩種搜 索算法是高效、準確的。
本文研究了多層圖上的 top-k 可靠頂點搜索問題,該問題在通信網絡中具 有重要的研究意義,相比基于閾值的搜索問題自適應性更好。本文給出了一種圖 層帶概率的多層圖模型,提出了一種新的多層圖計算框架——共享計算,其可以 有效利用多層圖不同圖層間的重疊結構以減少搜索代價、提高算法效率。基于此,本文設計了求解 top-k 可靠頂點搜索問題的共享 BFS 精確算法和隨機算法。真實 數據上的實驗結果表明:共享 BFS 精確算法具有很高的效率和擴展性;共享 BFS 隨機算法具有很高的準確率。
本文研究了多層圖上的影響力最大化問題,該問題在病毒式營銷和輿情控 制中應用廣泛。為描述影響力最大化問題中的圖數據,本文給出了一種帶概率的 多層圖模型,其可以表示由于邊的不確定性而形成的多層圖。針對已有算法的缺 陷,本文設計了一種能夠同時達到高時間效率、高結果質量、低內存開銷和高健 壯性的影響力最大化算法,具有線性的時間和空間復雜度。該算法采用高質量的 分數估計方法和增量式的分數更新方法,在實際社交網絡中表現出良好的性能和 很高的擴展性。
本文研究了多層圖上 SimRank 頂點相似性測度問題,該問題是推薦系統、 實體識別等眾多應用的基礎。在帶概率的多層圖模型基礎上,本文嚴格給出了符 合其可能世界語義的 SimRank 相似性測度定義,設計了高效、準確的計算頂點間 SimRank 相似性的方法。同時,作為 SimRank 相似性測度的基礎,本文提出了多 層圖上隨機游走的定義,嚴格證明了這一定義滿足馬爾可夫性,設計了計算隨機 游走概率的高效算法。真實數據上的實驗結果表明:本文提出的 SimRank 算法是 高效、準確的;本文提出的 SimRank 測度比傳統測度在實際應用中效果更好。
大規模數據中心帶寬分配與流量調度技術研究
隨著互聯網和計算機技術的發展,基于互聯網提供的各種應用和服務也越來越多了。作為這些應用服務載體的數據中心,其建設需求也在不斷增加。然而,在數據中心發展的過程中,還面臨著諸多亟待解決的關鍵科學問題和挑戰。本論文主要關注大規模數據中心中帶寬資源受限、帶寬資源分散、流量總量巨大、流量時空變化這四類挑戰,在總結現有方法和研究成果的基礎之上,圍繞數據中心內的流量、數據中心間的流量、以及用戶服務請求這三個研究主體,展開對帶寬分配和流量調度這兩類問題的研究,具體的研究內容和貢獻如下:
在數據中心內部,集群計算應用觸發的流量顯著增加,從而使得鏈路帶寬經常成為稀缺資源。為此,本文針對多種集群計算框架共享同一數據中心網絡所引發的鏈路帶寬傾斜使用、帶寬資源非彈性使用、以及應用完成時間被延長這三方面的后果,研究跨集群計算框架的帶寬分配和流量調度問題,以實現高鏈路帶寬利用率和低應用完成時間的雙重目標。在帶寬分配方面,本文提出了虛擬鏈路組抽象模型,以構建虛擬帶寬資源共享池,并據此設計了三層帶寬分配方法,從而保障應用的網絡性能,并實現帶寬資源在集群計算框架間的彈性共享。在流量調度方面,本文設計了虛擬鏈路組依賴關系圖,并提出了一個近似比為3/2的鏈路選擇算法,從而實現負載均衡化的流量調度,并同時緩解鏈路帶寬傾斜使用的情況。實驗結果表明本文所提出的方法能夠大幅降低應用完成時間,且提高鏈路帶寬資源利用率。
在數據中心間,本文主要圍繞成本和性能兩個目標來展開針對數據中心間流量的帶寬分配和流量調度問題研究。首先,在成本方面,本文發現Internet服務供應商(Internet Service Provider,ISP)對數據中心間流量所采用的比例計費模型中存在著相當多的免費時間間隙:在這些時間間隙上傳輸的流量不影響整體傳輸成本。為此,本文提出了基于李雅普諾夫優化(Lyapunov Optimization)技術的帶寬分配和流量調度方法,以利用比例計費模型中的免費時間間隙進行流量傳輸,從而減少流量傳輸成本。實驗結果表明本文所提出的方法能夠大幅減少流量傳輸成本。其次,在性能方面,本文發現在進行帶寬分配和流量調度時,靈活地放置網絡流的端點能夠顯著地減少跨數據中心傳輸的Coflow的完成時間。為此,本文研究流量端點放置、帶寬分配和流量調度的聯合優化問題,以最小化跨數據中心運行的Coflow的平均完成時間。為了解決該問題,本文首先提出針對單個Coflow的端點放置、帶寬分配和流量調度算法,然后將此算法擴展到多個Coflow的場景。實驗結果表明本文所提出的方法能夠大幅減少Coflow的平均完成時間。最后,在兼顧成本和性能方面,本文研究了針對數據中心間流量的帶寬分配和流量調度問題,并提出了基于交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的分布式帶寬分配和流量調度算法,從而最小化供應商的網絡帶寬成本,并同時為數據中心間流量提供帶寬保障。實驗結果表明本文所提出的方法能夠大幅減少供應商的網絡帶寬成本,并同時還能為數據中心間流量提供帶寬保障。
在面向用戶服務方面,本文主要研究帶寬分配和用戶請求流量調度兩個子問題。在帶寬分配方面,本文首先提出了“數據中心間的網絡即服務”模型,以將用戶在Internet上傳輸的流量引入到了大公司(如Google和Microsoft)的私有廣域網中,并且重點研究該模型下的多用戶多供應商的帶寬分配問題。本文設計了基于兩階段斯塔爾伯格博弈(Stackelberg Game)理論的帶寬分配方法,實驗結果表明本文所提出的帶寬分配方法能夠同時保證供應商和用戶的利益。在用戶請求流量調度方面,本文研究了供應商帶寬資源效率和用戶延遲聯合優化的用戶服務請求調度問題,并提出了基于對數平滑技術的請求調度算法。實驗結果表明,本文提出的請求調度算法能夠大幅提高數據中心帶寬資源利用率,且還能明顯減少用戶的延遲。
解耦合的類腦計算系統棧設計
類腦計算是一種借鑒生物大腦計算原理的信息處理范式,涉及算法、硬件和 工藝等諸多領域。在算法層面,深度神經網絡在各類智能問題的解決上表現出了 一定的通用性;在硬件層面,大量涌現的深度學習專用芯片和神經形態芯片為類 腦計算的相關研究領域提供強大算力;在工藝層面,以憶阻器為代表的各種新型 器件也為類腦計算芯片架構突破“馮諾依曼瓶頸”帶來了新的可能。但現有的類 腦計算研究尚缺乏能將算法、芯片和工藝等不同領域技術需求有機結合起來的軟 硬件系統棧設計。例如,專用芯片在帶來更高計算性能的同時也降低了靈活性,使 得算法的適配變得困難;憶阻器等新型器件在為芯片提供更高能效的同時,也帶 來了器件不穩定引起的噪音等問題。針對上述問題,本文提出一套新型類腦計算 系統棧設計,在理論層面引入類腦計算完備性,使得類腦系統實現軟硬件解耦合 成為可能;在基礎軟件層面設計了相應的編譯器,實現軟件編程模型到硬件執行 模型的等價轉換;在硬件層面設計了基于憶阻器件的類腦芯片架構,充分利用本 文提出的編譯器設計和解耦合系統棧帶來的優勢。本文的創新點主要有:
? 提出軟硬件解耦合的類腦系統棧設計。在系統棧中引入軟件編程模型和硬件 執行模型來解耦合——軟件編程模型靈活度高,適應各類編程需求,而硬件 執行模型足夠簡潔,適合硬件高效實現;引入類似于圖靈完備性的類腦完備 性概念來建立軟件和硬件兩類模型的等價性,并給出相應的構造性證明,使 得類腦計算系統軟硬件解耦合成為可能。
? 設計針對硬件約束的類腦編譯器,將神經網絡軟件編程模型轉換為等價的硬 件執行模型。編譯器通過數據重編碼方式,使目標網絡在極端硬件約束條件 下仍然能夠保持精度損失可控(包括無損);此外,提出適用于硬件執行模 型的粗粒度剪枝壓縮方法,充分利用神經網絡模型本身的冗余,在 ImageNet 數據集的 VGG16 模型上,即使剪枝粒度達到 256 × 256 壓縮率也能達到 60% 以上,且精度損失可以忽略。
? 設計與上述類腦計算完備性和編譯技術適配的新型類腦芯片架構 FPSA (Field Programmable Synapse Array)。利用編譯器轉換后硬件執行模型的簡潔 性,簡化基于憶阻器的芯片結構設計,提高計算密度與計算性能,并引入可 重構路由架構以優化片內通信。與同樣基于憶阻器的類腦芯片架構 PRIME 相比,性能提升可達三個數量級。
眾包數據庫關鍵技術研究
眾包通過整合計算機和互聯??眾來完成機器難以單獨處理的任務,其主要 包含三部分,任務發布者、眾包平臺和眾包??。傳統眾包技術中,三者的交互流 程過于復雜,導致任務發布者?法很好地管理任務。因此,眾包數據庫應運??, 其從系統層?出發整合三者之間復雜的交互流程,使得任務發布者可以通過描述 性語?輕松利???操作數據,降低了眾包的使?門檻。本?主要的內容如下:
眾包數據庫 CDB:為解決眾包平臺難使?、眾包任務難優化、眾包?? 質量難控制等問題,需要通過數據庫的思想來封裝眾包任務處理的流程。與傳統 數據庫不同的是,眾包數據庫的難點不僅在于解決單??標優化問題 (僅優化代 價),更重要的是建?細粒度的查詢優化模型,實現代價、質量和延遲的多?標優 化。因此,本?提出了?種新型的眾包數據庫系統 CDB 。不同于傳統的樹優化模 型,CDB ?次提出利?圖模型來進?細粒度查詢優化。其次,CDB 在該模型上建 ?統?的框架來進?多?標優化。該系統致?于幫助用戶高效率、高質量、低成 本地利用眾包來處理數據, 構建了一個中文眾包平臺 ChinaCrowd, 在華為公司落地 應用,取得了較好的經濟收益。另外,為?持較復雜的連接操作(基于記錄或者? 連接)與收集操作,本?分別提出了以下兩種算法框架對它們進?步優化。
基于眾包的連接操作:為解決現實世界中臟數據的復雜連接問題,需要引 ?基于眾包的連接操作。其難點在于代價較?,?尋求低代價?案時往往帶來質 量的降低。為此,本?提出?種低代價的眾包實體匹配框架 Power,在保持?質量 的同時??降低代價。本??先在待連接的記錄對上定義了?種偏序關系,然后 基于該關系對眾包??的回答進?推理,接下來循環提問直到所有記錄對的答案 都被推理出來。該方法致力于從理論和實踐兩方面優化眾包成本,實驗表明相比 于其他方法,Power 可在節省高達 100 倍的成本下進行高質量的數據連接。
基于眾包的收集操作:為解決傳統數據庫不能處理數據庫以外數據的特點, 眾包數據庫需要引?收集操作,其旨在通過眾包收集數據庫中缺失的實體。其難 點在于如何保證收集實體的正確性;如何盡可能收集相關領域的全部實體;如何 減少重復實體的數量以減少代價。為此,本?提出了基于激勵機制的眾包實體收 集框架 CrowdEC,其采?激勵的?式?勵??提供不重復的實體以降低代價。該 方法致力于建立收集操作的質量評價體系,從理論上給出了收集代價的競爭比保 證,使得用戶可實現低成本、高質量、高覆蓋的收集。
基于深度學習的圖像處理算法研究
隨著智能手機和微單相機的普及,拍照已經變成人們日常生活中不可缺少的一部分,圖像也已成為人類社會的重要信息媒介。然而受到拍照環境、設備和技術的影響,圖像中難免會出現退化現象,如何從圖像處理的角度提升拍攝照片的質量具有重要的研究意義與應用價值。近年來,深度學習技術得到了巨大的發展,并廣泛應用于圖像處理領域。相對于許多傳統算法,深度學習技術從海量的訓練數據中學習到的先驗知識具有更強的泛化能力和更復雜的參數化表達,且無需調節算法參數以適應不同的應用場景。得益于上述優勢,深度學習技術已經廣泛應用于圖像處理領域,如何利用深度學習算法提升圖像處理的效果也變成了一個重要的研究方向。
盡管深度學習技術顯著促進了圖像處理領域的發展,但是受限于其對訓練數據的敏感性,在面對無標簽、僅有弱標簽或者合成偽標簽的數據時,深度學習技術的優勢難以充分體現。本學位論文針對以上挑戰,重點研究了缺失完整數據標簽的經典圖像處理問題,包括圖像平滑、反光去除和本征圖像分解等。本文通過將上述問題抽象為對圖像結構敏感的圖像分解問題,將顯著的目標邊緣信息通過優化或者濾波的方式編碼進深度學習的算法設計中。根據圖像處理問題中數據標簽的類型和數量不同,本文依次提出了基于無監督學習、弱監督學習和多標簽聯合訓練的深度學習解決方案。本文的最后提出了解耦學習框架,通過對10種不同圖像處理問題的聯合訓練,提煉出了圖像處理問題的核心解空間。該算法對于理解深度學習技術在圖像處理領域的應用有重要的研究價值和意義。本文的創新點和貢獻包括以下幾個方面:
(1) 一種基于無監督學習的空間自適應圖像平滑算法
該算法通過使用卷積神經網絡,以無監督的方式從無標簽數據中學習圖像平滑的優化過程,并實現可靈活調節的圖像平滑效果。該算法提出了一個由邊緣保持項和空間自適應平滑項構成的能量函數,前者用于保持重要但易破壞的圖像結構,后者用于將多種形式的正則器(Lp范數)施加至圖像的不同區域。由于缺乏平滑圖像的真值數據,本文采用一個無監督學習的能量優化框架,用來實現多種基于圖像平滑的視覺應用,譬如圖像抽象化、鉛筆素描、細節增強、紋理去除和基于內容的圖像處理等。實驗結果表明,該基于無監督學習的空間自適應圖像平滑算法獲得了更好的視覺結果。
(2) 一種基于弱監督學習的圖像反光去除算法
該算法提出了一個多階段卷積神經網絡,用以解決圖像分解領域中經典的反光去除問題。本算法框架由兩個結構相似的卷積神經網絡串聯而成,前者預測目標圖像的邊緣結構,后者依據預測邊緣信息的引導重建目標圖像;整個過程既不需要任何人工設計,也不依賴于其他圖像處理應用。通過從真實反光圖像觀察得到的圖像亮度和結構先驗,該算法設計了一種針對模糊強反光的反光圖像合成算法;通過將合成數據以弱監督信號的形式融入到多階段神經網絡訓練中,該算法獲得了在真實反光圖像上的良好泛化性能。實驗結果表明,該基于弱監督學習的圖像反光去除算法在不同程度的反光場景中均獲得更優的視覺效果。
(3) 一種基于多標簽聯合訓練的本征圖像分解算法
本征圖像分解往往存在數據集冗雜、數據標簽不一致等問題。為解決該問題,本文提出了一個通用的核心神經網絡,用以在不同類型的數據標簽中共享本征圖像形成過程的稀疏先驗。該神經網絡由三個不同的基礎模塊組成:直接本征圖像估計網絡、導向網絡和域濾波器;其中,直接本征圖像估計網絡通過對本征圖像的直接監督獲得初始的預測結果,導向網絡負責生成稀疏的反射結構先驗,并引導域濾波器獲得干凈的反射估計。該算法設計了一個靈活的能量損失層以實現多標簽數據聯合訓練的目的。實驗結果表明,該本征圖像分解算法在所有的主流基準數據集上都獲得了更高的精確度。
(4) 一種基于解耦學習的實時參數化圖像處理框架
傳統的深度學習算法在面對不同的圖像處理應用時,需要重復地訓練神經網絡。為了解決這個問題,該算法提出了由基礎網絡和權重學習網絡組成的解耦學習框架,其中前者用來實現具體的圖像處理應用,后者用來學習基礎網絡的權重。該算法通過對基礎網絡的結構和權重進行解耦,達到根據圖像處理應用的變化實時動態調整基礎網絡權重的效果,并因此實現了利用單一神經網絡融合多種圖像處理應用的目的。實驗結果表明,該解耦學習框架成功應用在10種不同的參數化圖像算子中,并減少了網絡參數的存儲空間。
論文摘要:圖數據的處理在各個領域都有?泛的應?。隨著圖數據規模的擴?和對處理能?要求的提升,眾多專門?向圖數據的處理系統應運??。本?先從傳統的離線處理?度切?,研究了如何基于向上和向外兩種擴展?式進??規模圖數據的分析,主要?作包括:
關鍵詞:?數據;圖數據處理;離線處理;在線處理;混合事務/分析處理
作者介紹:朱曉偉,他目前是清華大學計算機科學與技術系的博士研究生,他的博士生導師是陳文光。他的研究方向是于并行/分布式計算和大數據分析。