亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

聯邦學習機制以其獨有的隱私保護機制受到很多擁有高質量數據的客戶青睞。通過聯邦學習，能有效地打破數據孤島，使數據發揮更大的作用，實現多方客戶在保證隱私的情況下共贏。但與此同時，在實際應用中各個客戶的數據分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統聯邦學習方法的性能和應用范圍。為此, 在客戶數據分布不一致的情況下如何提高模型的魯棒性成為了當前學術界與工業界對聯邦學習算法優化的核心目標，希望通過聯邦學習得到的模型能滿足不同客戶的需求。

傳統的聯邦學習的目的是為了獲得一個全局共享的模型，供所有參與者使用。但當各個參與者數據分布不一致時，全局模型卻無法滿足每個聯邦學習參與者對性能的需求，有的參與者甚至無法獲得一個比僅采用本地數據訓練模型更優的模型。這大大降低了部分用戶參與聯邦學習的積極性。

為了解決上述問題，讓每個參與方都在聯邦學習過程中獲益，個性化聯邦學習在最近獲得了極大的關注。與傳統聯邦學習要求所有參與方最終使用同一個模型不同，個性化聯邦學習允許每個參與方生成適合自己數據分布的個性化模型。為了生成這樣的個性化的模型，常見的方法是通過對一個統一的全局模型在本地進行定制化。而這樣的方法仍然依賴一個高效可泛化的全局模型，然而這樣的模型在面對每個客戶擁有不同分布數據時經常是可遇而不可求的。

為此，華為云 EI 溫哥華大數據與人工智能實驗室自研了一套個性化聯邦學習框架 FedAMP。該框架使用獨特的自適應分組學習機制，讓擁有相似數據分布的客戶進行更多的合作，并對每個客戶的模型進行個性化定制，從而有效地處理普遍存在的數據分布不一致問題，并大幅度提高聯邦學習性能。

//www.zhuanzhi.ai/paper/61491429b7484d2c06987fe4163f273e

圖神經網絡（GNN）已經成為圖表示學習的事實標準，它通過遞歸地聚集圖鄰域的信息來獲得有效的節點表示。盡管 GNN 可以從頭開始訓練，但近來一些研究表明：對 GNN 進行預訓練以學習可用于下游任務的可遷移知識能夠提升 SOTA 性能。但是，傳統的 GNN 預訓練方法遵循以下兩個步驟：

在大量未標注數據上進行預訓練； 在下游標注數據上進行模型微調。 由于這兩個步驟的優化目標不同，因此二者存在很大的差距。

在本文中，我們分析了預訓練和微調之間的差異，并為了緩解這種分歧，我們提出了一種用于GNNs的自監督預訓練策略L2P-GNN。方法的關鍵是L2P-GNN試圖以可轉移的先驗知識的形式學習如何在預訓練過程中進行微調。為了將局部信息和全局信息都編碼到先驗信息中，我們在節點級和圖級設計了一種雙重自適應機制。最后，我們對不同GNN模型的預訓練進行了系統的實證研究，使用了一個蛋白質數據集和一個文獻引用數據集進行了預訓練。實驗結果表明，L2P-GNN能夠學習有效且可轉移的先驗知識，為后續任務提供好的表示信息。我們在//github.com/rootlu/L2P-GNN公開了模型代碼，同時開源了一個大規模圖數據集，可用于GNN預訓練或圖分類等。

總體來說，本文的貢獻如下：

• 首次探索學習預訓練 GNNs，緩解了預訓練與微調目標之間的差異，并為預訓練 GNN 提供了新的研究思路。
• 針對節點與圖級表示，該研究提出完全自監督的 GNN 預訓練策略。
• 針對預訓練 GNN，該研究建立了一個新型大規模書目圖數據，并且在兩個不同領域的數據集上進行了大量實驗。實驗表明，該研究提出的方法顯著優于 SOTA 方法。

城市流量預測作為智能交通中的一個重要問題，致力于精確預測城市中不同區域的流量信息，從而更好地實現區域間的流量管控、擁塞控制以及保障城市公共安全。本文將介紹一種基于時空圖擴散網絡的城市交通流量預測模型。本文工作是由京東數科硅谷研發實驗室，京東城市和華南理工大學合作的一篇論文《Traffic Flow Forecasting with Spatial-Temporal Graph Diffusion Network》，目前該論文已經被人工智能領域的頂級會議AAAI 2021（CCF A類）接收。

一、研究背景 對城市中不同區域間流量的預測，作為智能城市應用平臺中非常重要的任務，服務于智能交通系統。比如基于精確的汽車流量預測結果，交通服務平臺可以進行實時的交通調度以緩解由于流量過大帶來的擁堵。與此同時，及時對未來時刻人流量的預測，可以在一定程度上降低由于人流過大引起踩踏事件的概率。盡管區域間流量的預測在實現城市智能化中起著重要的作用，對復雜的時空流量數據進行準確的建模是一個非常困難的任務。其中需要從時間與空間兩個維度出發，對流量數據的動態變化模式進行精確的學習，從而實現對城市區域間流量的精準預測。

為了實現更加精確的交通流量預測，我們的研究工作設計了一種基于層級圖神經網絡的深度學習模型, 分別從時間和空間上對不同區域的流量信息進行建模。具體而言, 我們開發的預測模型基于多粒度的Attention機制, 對不同時間粒度上的流量變化的模式進行自動學習。與此同時, 該研究工作對交通流量在空間維度上的變化模式也進行了建模。不同于現有的方法僅僅只考慮局部的空間關系, 我們從整個城市的全局空間范圍學習不同區域間的流量變化的關系。通過層級圖神經網絡的聯合建模學習到全局的空間流量的變化模式以及基于地理位置的空間上下文信息。為了驗證模型的有效性, 我們在多個公開數據集上進行了實驗。實驗結果驗證了模型相較于現有流量預測算法的優越性，以實現整個城市不同區域更加精確的流量預測結果。

研究背景

近年來，由于深度學習需要大量標注數據進行訓練的特性，如何獲取足量的標注數據來進行深度模型的訓練已經成為了制約深度模型發展的關鍵瓶頸之一。在一些結構化預測的任務中，例如需要逐像素點的標注的語義分割任務中，這一問題更加嚴重。

解決方案

本工作探討弱監督的語義分割方法，即致力于解決從圖像級的訓練標注得到像素級的模型預測的問題。我們創新地利用對圖像分組并顯式建立組內圖像間的依賴關系的方法處理該弱監督語義分割問題。具體地，將圖像視為節點，并利用互注意機制表征圖像間的關系，我們利用一個圖網絡模型來建立和挖掘這種圖像之間的語義關系。為了避免模型只響應一些簡單的共性語義，我們進一步提出了應用于圖模型的 dropout 機制，設法使其通過互注意機制關聯出互補的響應區域，從而得到總體更加準確和完整的目標響應。整個網絡可以端到端地完成訓練，并在 Pascal VOC 2012 和 COCO 數據集上取得了當前最好的性能。

Xueyi Li, Tianfei Zhou, Jianwu Li, Yi Zhou, Zhaoxiang Zhang：Group--Wise Semantic Mining for Weakly Supervised Semantic Segmentation. The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI) 2021

圖神經網絡(gnn)的優勢在于對結構化數據的拓撲信息進行顯式建模。然而，現有的gnn在獲取層次圖表示方面的能力有限，而層次圖表示在圖形分類中起著重要的作用。本文創新性地提出了層次圖膠囊網絡(HGCN)，該網絡可以聯合學習節點嵌入和提取圖的層次結構。具體地說，解糾纏圖膠囊是通過識別每個節點下的異構因素建立的，這樣它們的實例化參數代表同一實體的不同屬性。為了學習層次表示，HGCN通過顯式地考慮部件之間的結構信息，刻畫了低層膠囊(部分)和高層膠囊(整體)之間的部分-整體關系。實驗研究證明了HGCN算法的有效性和各組成部分的貢獻。

//www.zhuanzhi.ai/paper/c9930a15b45547cafbee90db8c5612aa

通過在終身學習中存儲舊知識來尋求提醒模型，是緩解災難性遺忘最有效的方法之一，即在轉向新任務時對先前知識的偏差遺忘。然而，在訓練新任務時，以往大多數基于預演的舊任務存在不可預測的域偏移問題。這是因為這些方法總是忽略兩個重要的因素。首先，新任務和舊任務之間的數據不平衡，使得舊任務的域容易移位。其次，所有任務之間的任務隔離會使領域向不可預測的方向移動;針對不可預測的領域遷移問題，本文提出多領域多任務排練，對新老任務進行并行、平等的訓練，打破任務之間的隔離狀態。具體地說，提出了一個兩級的角裕度損失模型，以促進類內/任務的緊湊性和類間/任務的差異，使模型避免領域混亂。此外，為了進一步解決舊任務的領域轉移問題，我們在記憶上提出了一個可選的情景蒸餾損失來錨定每個舊任務的知識。在基準數據集上的實驗驗證了該方法能夠有效地抑制不可預測的領域漂移。

//www.zhuanzhi.ai/paper/14cea5f6a54c9dafce7141871467aa0d

圖卷積網絡(GCNs)在圖的半監督學習任務中表現出了良好的效果，與其他方法相比具有優勢。雖然GCNs取得了顯著的成就，但在訓練GCNs的過程中，卻存在著監督不足的問題。當標記數據有限時，對于低度節點，GCNs的性能不能令人滿意。雖然之前的一些工作在整個模型層上分析了GCNs的成功和失敗，但是在單個節點層上對GCNs的概要分析仍然是不夠的。

本文從節點度分布的角度對GCNs進行了分析。從經驗觀察到理論證明，我們證實了GCNs對節點有較大的傾向性和較高的準確率，即使高節點在大多數圖中沒有得到充分的表示。我們進一步開發了一種新的自監督學習的特定學位GCN (SL-DSGCN)，它從模型和數據方面減輕了GCNs與學位相關的偏差。首先，我們提出了一個基于度的GCN層，該層捕獲了不同程度節點之間的差異和相似性，從而減少了由于與所有節點共享相同的參數而導致的GCNs內部模型方面的偏差。其次，我們設計了一個自監督學習算法，利用貝葉斯神經網絡在未標記節點上創建帶有不確定性分數的偽標簽。偽標簽增加了低節點連接到有標簽鄰居的機會，從而從數據角度減少了GCNs的偏倚。在隨機梯度下降算法中，進一步利用不確定性分數動態地為偽標簽賦權。在三個基準數據集上的實驗表明，SL-DSGCN不僅優于最先進的自訓練/自監督學習GCN方法，而且顯著提高了低度節點的GCN精度。

//uploads.strikinglycdn.com/files/e8ec5901-39c0-4a17-9010-63b11c2ff2a4/SL-DSGCN_CIKM2020.pdf