亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

//www.ccf.org.cn/Focus/2022-12-08/781244.shtml

近年來,深度學習在許多應用領域取得了巨大成功。隨著深度學習模型規模 的不斷增大,單一計算設備已遠遠無法滿足深度學習模型訓練的算力需求。為了 提供強大的算力,利用數據中心內的海量服務器進行分布式深度學習訓練已經非 常普遍。然而,為了保證分布式訓練結果與單機訓練結果的一致性,分布式深度 學習訓練系統的不同節點間需要頻繁地同步模型參數。許多研究工作和本文的研 究都發現,參數同步所帶來的網絡通信開銷已經成為限制分布式深度學習訓練系 統性能的重要因素。

本文通過對參數同步的通信現狀進行分析,歸納出分布式深度學習訓練面臨 的三項主要挑戰:(1)大規模分布式訓練的參數同步耗時長;(2)模型計算和參 數傳輸之間存在依賴關系;(3)分布式訓練性能受限于慢節點的訓練速度。針對 上述挑戰,本文從網絡拓撲優化和流量調度等方面入手,優化數據中心在支持分 布式深度學習訓練時的網絡通信性能。本文的主要研究內容和貢獻總結如下:

(1)提出了層次化參數同步算法 HiPS,并研究了多種參數同步算法和網絡拓 撲組合對參數同步速度的影響。傳統的扁平化參數同步算法往往存在帶寬競爭或 通信時延累積問題。通過分層同步,HiPS 算法可以在減少參數同步流量的同時避 免上述問題。本文還基于參數同步算法的通信特點對網絡拓撲進行了優化。理論 分析和仿真測試均發現,由于服務器帶寬更高、負載均衡性能更優并且高效支持 RoCE 協議,HiPS+BCube 組合可以顯著降低參數同步耗時。

(2)提出了基于深度學習模型感知的網絡流量調度方案 Geryon。現有深度學 習框架在傳輸多層參數時未考慮其消耗順序,導致模型計算難以和參數同步重疊。 為了實現全網規模參數傳輸調度,Geryon 根據模型計算順序為參數同步流量分配 優先級,并借助全網配置的嚴格優先級調度策略保證較早被消耗的參數更快到達 接收端。對于多種深度學習模型,Geryon 均取得了顯著的端到端訓練性能提升。

(3)提出了面向異構分布式訓練的網絡流量調度方案 CEFS。現有深度學習框 架在向多個計算節點傳輸參數時未考慮其計算性能,因此慢節點不得不與其他節 點同時開始計算。CEFS 在參數傳輸調度的基礎上,還優先調度慢節點的參數同步 流量,以使其更早地觸發前向計算,從而緩解慢節點對分布式系統的阻塞。實驗 結果表明,CEFS 可大幅提高慢節點的計算速度,并顯著提升端到端訓練性能。

付費5元查看完整內容

相關內容

博士論文是由攻讀博士學位的研究生所撰寫的學術論文。它要求作者在博士生導師的指導下,選擇自己能夠把握和駕馭的潛在的研究方向,開辟新的研究領域。由此可見,這就對作者提出了較高要求,它要求作者必須在本學科的專業領域具備大量的理論知識,并對所學專業的理論知識有相當深入的理解和思考,同時還要具有相當水平的獨立科學研究能力,能夠為在學科領域提出獨創性的見解和有價值的科研成果。因而,較之學士論文、碩士論文,博士論文具有更高的學術價值,對學科的發展具有重要的推動作用。

近年來深度學習在圖像、語音、自然語言處理等諸多領域得到廣泛應用,但隨著人們對深度學習的訓練速度和數據處理能力的需求不斷提升,傳統的基于單機的訓練過程愈發難以滿足要求,分布式的深度學習訓練方法成為持續提升算力的有效途徑.其中訓練過程中節點間網絡的通信性能至關重要,直接影響訓練性能.分析了分布式深度學習中的性能瓶頸,在此基礎上對目前常用的網絡性能優化方案進行綜述,詳細闡述了目前最新的超大規模分布式訓練的體系結構、優化方法、訓練環境和最有效的優化方法,最后對分布式訓練仍然存在的困難進行了總結,對其未來研究方向進行了展望.

//crad.ict.ac.cn/CN/10.7544/issn1000-1239.2021.20190881

付費5元查看完整內容

多層圖分析技術研究

近年來,越來越多的領域都使用“圖”來表示和管理數據,稱為“圖數據”。針對 圖數據的分析可以發現其中的結構特征、頻繁模式、演變規律等有用的知識,具有 重要的科研意義和應用價值。隨著研究的深入,人們發現現實世界的圖數據往往 包含數據對象間多種類型的關系。例如,社交網絡數據包括多個社交媒體組成的 網絡;交通網絡數據涵蓋了多種交通工具組成的網絡。這種圖數據稱為“多層圖”, 其每一層包含了數據對象間某種特定類型的關系。

多層圖分析可以發現準確可靠、價值更高的知識。然而,多層圖分析面臨兩 方面的挑戰:一方面,單層圖上的計算語義在多層圖場景下不再適用,多層圖上 的計算語義更加復雜;另一方面,多層圖分析涉及多個圖層上的計算任務,使得 問題的固有計算復雜性大大增加。現有的多層圖分析方法在計算語義和算法設計 兩個方面都存在缺陷,不能很好的解決多層圖分析的有關問題。

本文綜合運用數據分析的相關理論、技術和方法,對于多層圖分析進行了系統研究。本文同時考慮了無概率的普通多層圖和帶概率的多層圖,從圖數據的稠 密性、可靠性、傳播性和相似性四方面重要性質出發,對多層圖分析領域中的一 系列重要問題進行了深入研究,主要研究成果如下:

  1. 本文研究了多層圖上的多樣化稠密區域發現問題,該問題在生物蛋白復合 體檢測和社區發現上具有重要應用。在無概率的普通多層圖模型基礎上,本文提 出了一種新的稠密區域概念 d-Coherent-Core(簡稱 d-CC),設計了兩種近似比為 1/4 的高效搜索算法來求解該 NP-難問題,算法在結果質量和執行時間兩個方面 均優于基于準團的傳統算法。d-CC 概念同時刻畫了稠密區域的稠密度和支持度兩 方面重要特性,滿足唯一性、包含性和層次性 3 個重要數學性質。自底向上和自 頂向下兩種搜索算法采用了高效的搜索策略和剪枝方法,分別適用于支持度參數 較小和較大兩種情況。真實數據上的實驗結果表明:自底向上和自頂向下兩種搜 索算法是高效、準確的。

  2. 本文研究了多層圖上的 top-k 可靠頂點搜索問題,該問題在通信網絡中具 有重要的研究意義,相比基于閾值的搜索問題自適應性更好。本文給出了一種圖 層帶概率的多層圖模型,提出了一種新的多層圖計算框架——共享計算,其可以 有效利用多層圖不同圖層間的重疊結構以減少搜索代價、提高算法效率。基于此,本文設計了求解 top-k 可靠頂點搜索問題的共享 BFS 精確算法和隨機算法。真實 數據上的實驗結果表明:共享 BFS 精確算法具有很高的效率和擴展性;共享 BFS 隨機算法具有很高的準確率。

  3. 本文研究了多層圖上的影響力最大化問題,該問題在病毒式營銷和輿情控 制中應用廣泛。為描述影響力最大化問題中的圖數據,本文給出了一種帶概率的 多層圖模型,其可以表示由于邊的不確定性而形成的多層圖。針對已有算法的缺 陷,本文設計了一種能夠同時達到高時間效率、高結果質量、低內存開銷和高健 壯性的影響力最大化算法,具有線性的時間和空間復雜度。該算法采用高質量的 分數估計方法和增量式的分數更新方法,在實際社交網絡中表現出良好的性能和 很高的擴展性。

  4. 本文研究了多層圖上 SimRank 頂點相似性測度問題,該問題是推薦系統、 實體識別等眾多應用的基礎。在帶概率的多層圖模型基礎上,本文嚴格給出了符 合其可能世界語義的 SimRank 相似性測度定義,設計了高效、準確的計算頂點間 SimRank 相似性的方法。同時,作為 SimRank 相似性測度的基礎,本文提出了多 層圖上隨機游走的定義,嚴格證明了這一定義滿足馬爾可夫性,設計了計算隨機 游走概率的高效算法。真實數據上的實驗結果表明:本文提出的 SimRank 算法是 高效、準確的;本文提出的 SimRank 測度比傳統測度在實際應用中效果更好。

付費5元查看完整內容

大規模數據中心帶寬分配與流量調度技術研究

隨著互聯網和計算機技術的發展,基于互聯網提供的各種應用和服務也越來越多了。作為這些應用服務載體的數據中心,其建設需求也在不斷增加。然而,在數據中心發展的過程中,還面臨著諸多亟待解決的關鍵科學問題和挑戰。本論文主要關注大規模數據中心中帶寬資源受限、帶寬資源分散、流量總量巨大、流量時空變化這四類挑戰,在總結現有方法和研究成果的基礎之上,圍繞數據中心內的流量、數據中心間的流量、以及用戶服務請求這三個研究主體,展開對帶寬分配和流量調度這兩類問題的研究,具體的研究內容和貢獻如下:

在數據中心內部,集群計算應用觸發的流量顯著增加,從而使得鏈路帶寬經常成為稀缺資源。為此,本文針對多種集群計算框架共享同一數據中心網絡所引發的鏈路帶寬傾斜使用、帶寬資源非彈性使用、以及應用完成時間被延長這三方面的后果,研究跨集群計算框架的帶寬分配和流量調度問題,以實現高鏈路帶寬利用率和低應用完成時間的雙重目標。在帶寬分配方面,本文提出了虛擬鏈路組抽象模型,以構建虛擬帶寬資源共享池,并據此設計了三層帶寬分配方法,從而保障應用的網絡性能,并實現帶寬資源在集群計算框架間的彈性共享。在流量調度方面,本文設計了虛擬鏈路組依賴關系圖,并提出了一個近似比為3/2的鏈路選擇算法,從而實現負載均衡化的流量調度,并同時緩解鏈路帶寬傾斜使用的情況。實驗結果表明本文所提出的方法能夠大幅降低應用完成時間,且提高鏈路帶寬資源利用率。

在數據中心間,本文主要圍繞成本和性能兩個目標來展開針對數據中心間流量的帶寬分配和流量調度問題研究。首先,在成本方面,本文發現Internet服務供應商(Internet Service Provider,ISP)對數據中心間流量所采用的比例計費模型中存在著相當多的免費時間間隙:在這些時間間隙上傳輸的流量不影響整體傳輸成本。為此,本文提出了基于李雅普諾夫優化(Lyapunov Optimization)技術的帶寬分配和流量調度方法,以利用比例計費模型中的免費時間間隙進行流量傳輸,從而減少流量傳輸成本。實驗結果表明本文所提出的方法能夠大幅減少流量傳輸成本。其次,在性能方面,本文發現在進行帶寬分配和流量調度時,靈活地放置網絡流的端點能夠顯著地減少跨數據中心傳輸的Coflow的完成時間。為此,本文研究流量端點放置、帶寬分配和流量調度的聯合優化問題,以最小化跨數據中心運行的Coflow的平均完成時間。為了解決該問題,本文首先提出針對單個Coflow的端點放置、帶寬分配和流量調度算法,然后將此算法擴展到多個Coflow的場景。實驗結果表明本文所提出的方法能夠大幅減少Coflow的平均完成時間。最后,在兼顧成本和性能方面,本文研究了針對數據中心間流量的帶寬分配和流量調度問題,并提出了基于交替方向乘子法(Alternating Direction Method of Multipliers,ADMM)的分布式帶寬分配和流量調度算法,從而最小化供應商的網絡帶寬成本,并同時為數據中心間流量提供帶寬保障。實驗結果表明本文所提出的方法能夠大幅減少供應商的網絡帶寬成本,并同時還能為數據中心間流量提供帶寬保障。

在面向用戶服務方面,本文主要研究帶寬分配和用戶請求流量調度兩個子問題。在帶寬分配方面,本文首先提出了“數據中心間的網絡即服務”模型,以將用戶在Internet上傳輸的流量引入到了大公司(如Google和Microsoft)的私有廣域網中,并且重點研究該模型下的多用戶多供應商的帶寬分配問題。本文設計了基于兩階段斯塔爾伯格博弈(Stackelberg Game)理論的帶寬分配方法,實驗結果表明本文所提出的帶寬分配方法能夠同時保證供應商和用戶的利益。在用戶請求流量調度方面,本文研究了供應商帶寬資源效率和用戶延遲聯合優化的用戶服務請求調度問題,并提出了基于對數平滑技術的請求調度算法。實驗結果表明,本文提出的請求調度算法能夠大幅提高數據中心帶寬資源利用率,且還能明顯減少用戶的延遲。

付費5元查看完整內容
北京阿比特科技有限公司