亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

弱監督學習是一種有效的機器學習方法，是當前機器學習研究的熱門話題，它可以有效減少標注數據所需的人力與時間。該論文提出了一種新穎的基于相似置信度學習的算法，該算法建立了無需真實標簽，僅利用成對的無標簽樣本以及它們之間的相似度構造分類風險無偏估計量，并從理論上證明了該方法的概率收斂誤差上界。在大數據時代標簽缺失的情況下，對提高數據利用效率方面有著十分重要的意義。

//arxiv.org/abs/2102.06879

排名，尤其是搜索和推薦系統中的排名，通常決定了人們如何訪問信息以及信息如何暴露給人們。因此，如何平衡信息披露的相關性和公平性是現代信息披露系統的關鍵問題之一。由于傳統的排名框架將文檔與相關性進行短視排序，這將不可避免地引入不公平的結果曝光，最近關于排名公平性的研究主要集中在動態排名范式，其中結果排名可以實時調整，以支持群體(如種族、性別等)的公平性。然而，現有關于動態學習排序公平性的研究，往往通過顯著犧牲排名前結果的相關性和公平性來實現排序列表中文檔曝光的總體公平性。為了解決這一問題，我們提出了一種公平無偏的排序方法——最大邊際公平(maximum Marginal Fairness, MMF)。該算法集成了對相關性和基于績效的公平性的無偏估計，同時提供了一個顯式控制器來平衡文檔的選擇，以最大化top-k結果的邊際相關性和公平性。理論分析和實證分析表明，我們的方法在長列表公平性上有較小的妥協，在top-k排序的相關性和公平性方面都取得了優于現有算法的效率和有效性。

//www.zhuanzhi.ai/paper/d73684afc23a9d77ab4f6f18bb5b1ba7

聯邦學習（Federated Learning）是一種新興的保護隱私的機器學習范式，在學術界和行業中都引起了極大的關注。聯邦學習的一大特征是異構性，它來源于參與學習的設備有各種硬件規格、且設備狀態是動態變化的。異構性會對聯邦學習訓練過程產生巨大影響，例如，導致設備無法進行訓練或無法上載其模型更新。不幸的是，這種影響尚未在現有的聯邦學習文獻中進行過系統的研究和量化。本文進行了第一個聯邦學習中異構性影響的實證研究。本文從13.6萬部智能手機中收集了大量數據，這些數據可以真實地反映現實環境中的異構性。本文還構建了一個符合標準聯邦學習協議同時考慮了異構性的聯邦學習平臺。基于以上數據和平臺進行了廣泛的實驗，以比較目前最優的聯邦學習算法在考慮異構性和不考慮異構性下的性能。結果表明，異構性導致聯邦學習的性能顯著下降，包括高達9.2％的準確度下降，2.32倍的訓練時間延長以及公平性受損。此外，本文進行了原因分析，發現設備故障和參與偏差是導致性能下降的兩個潛在根本原因。我們的研究對聯邦學習從業者具有深刻的啟示。一方面，本文的發現表明聯邦學習算法設計師在模型評估過程中有必要考慮異構性。另一方面，本文的發現敦促聯邦學習的系統設計者設計特定的機制來減輕異構性的影響。中心博士生楊程旭為該文第一作者。

聯邦學習機制以其獨有的隱私保護機制受到很多擁有高質量數據的客戶青睞。通過聯邦學習，能有效地打破數據孤島，使數據發揮更大的作用，實現多方客戶在保證隱私的情況下共贏。但與此同時，在實際應用中各個客戶的數據分布非常不一致，對模型的需求也不盡相同，這些在很大程度上制約了傳統聯邦學習方法的性能和應用范圍。為此, 在客戶數據分布不一致的情況下如何提高模型的魯棒性成為了當前學術界與工業界對聯邦學習算法優化的核心目標，希望通過聯邦學習得到的模型能滿足不同客戶的需求。

傳統的聯邦學習的目的是為了獲得一個全局共享的模型，供所有參與者使用。但當各個參與者數據分布不一致時，全局模型卻無法滿足每個聯邦學習參與者對性能的需求，有的參與者甚至無法獲得一個比僅采用本地數據訓練模型更優的模型。這大大降低了部分用戶參與聯邦學習的積極性。

為了解決上述問題，讓每個參與方都在聯邦學習過程中獲益，個性化聯邦學習在最近獲得了極大的關注。與傳統聯邦學習要求所有參與方最終使用同一個模型不同，個性化聯邦學習允許每個參與方生成適合自己數據分布的個性化模型。為了生成這樣的個性化的模型，常見的方法是通過對一個統一的全局模型在本地進行定制化。而這樣的方法仍然依賴一個高效可泛化的全局模型，然而這樣的模型在面對每個客戶擁有不同分布數據時經常是可遇而不可求的。

為此，華為云 EI 溫哥華大數據與人工智能實驗室自研了一套個性化聯邦學習框架 FedAMP。該框架使用獨特的自適應分組學習機制，讓擁有相似數據分布的客戶進行更多的合作，并對每個客戶的模型進行個性化定制，從而有效地處理普遍存在的數據分布不一致問題，并大幅度提高聯邦學習性能。

//www.zhuanzhi.ai/paper/61491429b7484d2c06987fe4163f273e

文本匹配是一項研究兩段文本之間的相關關系的任務，在如搜索引擎、文檔挖掘、智能對話等場景有著廣泛應用和重要意義。

在文本匹配任務中，目標文本和候選文本之間的聯系以及文本內部的上下文關聯都是實現準確匹配的關鍵。然而，大多數已有的深度神經網絡模型只關注了前者，忽略了每個文本內部的上下文語義信息，從而面臨著長文本、復雜文本難匹配等問題。

解決方案 為了解決上述問題，中科院自動化所智能感知與計算研究中心團隊提出一種基于文本圖神經網絡架構的匹配方法，用圖（graph）結構表示文本，能夠同時建模兩個文本之間的交互以及每個文本內部的上下文關聯，可以有效緩解現有方法中長文本難匹配的問題，如圖1所示。

對于構建的文本圖，該方法采用“聚合（aggregation）”、“更新（update）”以及“讀出（readout）”三個步驟進行建模學習，如圖2所示。其中，“聚合”步驟將上下文信息進行匯總，“更新”步驟將匯總的信息進行篩選和合并，最后“讀出”步驟將整圖信息輸出為相似度得分。

基于圖神經網絡的文本匹配框架示例

該方法在常見的文本匹配數據集上進行了實驗，取得了與當前主流預訓練模型（BERT）相當的結果，并且在長文本數據集上對基線的提升更顯著，驗證了模型的有效性。

我們提出了一種新的用于分布式訓練神經網絡模型的聯邦學習方法，其中服務器在每一輪隨機選擇的設備子集的協調合作。我們主要從通信的角度來看待聯邦學習問題，并允許更多的設備級計算來節省傳輸成本。20指出了一個基本的困境，即局部設備級經驗損失的最小值與全局經驗損失的最小值不一致。與最近嘗試不精確最小化或利用設備來并行梯度計算的工作不同，我們在每一輪為每個設備提出了一個動態正則化，這樣在極限情況下全局解決方案和設備解決方案是對齊的。我們通過對真實數據和合成數據的實證結果以及分析結果證明，我們的方案能夠在凸和非凸設置下實現高效的訓練，同時完全不知道設備的異構性，對大量設備、部分參與和不平衡數據具有魯棒性。

//openreview.net/forum?id=B7v4QMR6Z9w

論文摘要：本文基于方差縮減、拒絕采樣、訪存優化等技術，研究了隱變量模型和深度表示學習兩類模型的高效算法，并研究了這些算法在文本分析、生成式模型、圖節 點分類等多個任務中的應用。具體地，本文創新點有：

• 提出隱變量模型的方差縮減 EM 算法，并給出了其局部收斂速度和全局收斂性的理論結果。
• 提出了緩存高效的 O(1) 時間復雜度主題模型采樣算法，該算法較之前算法提速了 5-15 倍，且能擴展到數億文檔、數百萬主題、上萬 CPU 核的場景。
• 提出了結構化主題模型的高效算法，具體包括層次化主題模型的部分坍縮吉 布斯采樣算法，將該模型擴展到了比之前大5個數量級的數據集上；以及有監督主題模型的坐標下降、拒絕采樣算法，較之前算法加速4倍。
• 提出了總體匹配差異，一個兩分布之間距離基于樣本的估計；證明了總體匹配差異的一致性，并討論了其在領域自適應、深度生成模型上的應用。
• 提出了一個基于控制變量的圖卷積網絡高效隨機訓練算法，并給出了其收斂性證明和實驗結果，較之前算法收斂速度快了7倍。

關鍵詞：表示學習；隱變量模型；主題模型；采樣算法；圖卷積網絡

作者介紹：陳健飛，他目前是清華大學計算機科學與技術系的博士研究生，他的博士生導師是朱軍。他研究興趣是大規模機器學習，尤其是可擴展的深層生成模型和深層主題模型。之前，他專注于擴展各種主題模型，包括LDA、CTM、DTM等。