亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目: 基于置信度校正可信圖神經網絡

會議: NeurIPS 2021

論文地址://arxiv.org/abs/2109.14285

自信點,我的GNN們

圖神經網絡 (GNN) 卓越的性能已經廣受關注,但其預測結果是否值得信賴卻有待探索。之前的研究結果表明,許多現代神經網絡對其預測具有過度自信的現象。然而與之不同的是,我們發現 GNN對其預測結果卻呈現出欠自信的現象。因此,要想獲得一個可信的GNN,亟需對其置信度進行校正。在本文中,我們設計了一種拓撲感知的后處理校正函數,并由此提出了一種新穎的可信賴 GNN 模型。具體來說,我們首先驗證了圖中的置信度分布具有同質性的特點,由此啟發我們再次利用GNN模型來為分類GNN模型學習校正函數(CaGCN)的想法。CaGCN 能夠為每個節點學習到一種從分類 GNN 的輸出到校正后的置信度的唯一轉換,同時這種轉換還能夠保留類間的序關系,從而滿足保存精度的屬性。此外,我們還將CaGCN應用于自訓練框架,結果表明可以通過對置信度進行校正獲得更可信的偽標簽,從而并進一步提高性能。我們通過大量實驗證明了我們提出的模型在置信度校正方面和在提高分類準確率方面的有效性。

付費5元查看完整內容

相關內容

在多維分類中,輸出空間中存在多個類變量,每個類變量對應一個異構類空間。由于類空間的異質性,在從MDC示例中學習時,考慮類變量之間的依賴關系非常具有挑戰性。本文提出了一種新的多目標預測方法,即SLEM方法,它在編碼的標簽空間中學習預測模型,而不是在異構的標簽空間中學習預測模型。具體來說,SLEM在編碼-訓練-解碼框架中工作。在編碼階段,通過成對分組、一次熱轉換和稀疏線性編碼三種級聯操作,將每個類向量映射為實值向量。在訓練階段,在編碼標簽空間內學習多輸出回歸模型。在解碼階段,通過對學習的多輸出回歸模型的輸出進行正交匹配追蹤,得到預測的類向量。實驗結果清楚地驗證了SLEM相對于最先進的MDC方法的優越性。

付費5元查看完整內容

弱監督學習是一種有效的機器學習方法,是當前機器學習研究的熱門話題,它可以有效減少標注數據所需的人力與時間。該論文提出了一種新穎的基于相似置信度學習的算法,該算法建立了無需真實標簽,僅利用成對的無標簽樣本以及它們之間的相似度構造分類風險無偏估計量,并從理論上證明了該方法的概率收斂誤差上界。在大數據時代標簽缺失的情況下,對提高數據利用效率方面有著十分重要的意義。

//arxiv.org/abs/2102.06879

付費5元查看完整內容

以往的人臉圖像質量評估研究大多以樣本層面不確定性或配對相似度作為質量評分標準,而且只考慮部分類內信息。這些方法忽略了來自類間有價值的信息。在本研究中,對于人臉識別系統,我們認為一個高質量的人臉圖像應該與其類內樣本相似,而與其類間樣本不相似,如圖1所示。為此,我們提出了一種基于類內-類間相似度分布距離的無監督人臉質量評估方法(SDD-FIQA)。

//www.zhuanzhi.ai/paper/b51b03b10fb5b413e14282835e0e8a6a

該方法從人臉識別的性能影響因子出發,從理論上推導出人臉樣本類間相似度分布與人臉圖像質量高度相關,利用類內相似度分布和類間相似度分布之間的Wasserstein距離生成人臉圖像質量偽標簽。然后,利用這些質量偽標簽進行無監督訓練一個人臉質量回歸網絡,從而獲得一個質量評估模型。大量實驗表明,在各大人臉識別的基準數據集上,提出的SDD-FIQA方法在不同的人臉識別系統下,精度和泛化能力都達到國際最先進水平。

主要創新點:1)發現了人臉樣本類間相似度分布與人臉圖像質量高度相關;2)提出了類內-類間相似度分布距離的概念;3)從理論上導出了人臉圖像質量與類內-類間相似度分布距離直接相關;4)提出了利用Wasserstein準則度量類內-類間相似度分布距離,并用于人臉圖像質量評分;5)實現了一種完全無監督的人臉圖像質量評估算法,性能最優。

付費5元查看完整內容

利用弱監督或有噪聲的監督來構建有效的機器學習模型一直是一個重要的研究問題。由于訓練深度學習模型對大規模數據集的需求越來越大,其重要性最近進一步增加。弱或嘈雜的監督可能來自多種來源,包括非專業的注釋者或基于啟發式或用戶交互信號的自動標記。有大量的前期工作集中在利用嘈雜的標簽。最值得注意的是,最近的研究顯示,使用元學習實例重加權方法取得了令人印象深刻的成果,在這種方法中,元學習框架用于為嘈雜標簽分配實例權重。在本文中,我們將此方法擴展為元學習框架內的標簽校正問題。我們將標簽校正過程視為一個元過程,并提出了一個新的基于元學習的框架,稱為MLC(元標簽校正),用于有噪聲標簽的學習。具體來說,采用標簽校正網絡作為元模型,對有噪聲的標簽進行校正,同時對主模型進行訓練,以充分利用校正后的標簽。兩個模型通過求解一個雙層優化問題來聯合訓練。在圖像識別和文本分類任務中,我們使用不同的標簽噪聲水平和類型進行了廣泛的實驗。我們比較重加權和修正的方法表明,修正框架解決了一些限制重加權。我們還表明,提出的MLC方法在圖像和語言任務上都優于以前的方法。

//www.microsoft.com/en-us/research/uploads/prod/2020/12/aaai2021_mlc_zheng.pdf

付費5元查看完整內容

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊,我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下,如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說,通過利用圖神經網路的向后傳播與隨機游走之間的聯系,我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中,我們發現基于這個重要性分數上確實很大的程度地增加了損失值,但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明,損失值和誤分類率之間存在差異,即當受攻擊的節點數增加時,后者會呈現遞減的回報模式。因此,考慮到收益遞減效應,我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明,所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

//arxiv.org/abs/2006.05057

付費5元查看完整內容

論文題目:Scalable Graph Neural Networks via Bidirectional Propagation

論文概述:圖神經網絡(GNN)是一個新興的非歐氏數據學習領域。近年來,人們對設計可擴展到大型圖形的GNN越來越感興趣。大多數現有的方法使用“圖采樣”或“分層采樣”技術來減少訓練時間;但是,這些方法在應用于具有數十億條邊的圖時仍然無法提供可靠的性能。在本文中,我們提出了一種可伸縮的圖神經網絡GBP,同時從特征向量和訓練/測試節點進行雙向消息傳播,為每個表示生成一個無偏估計量。每個傳播都是以局部方式執行的,從而實現了亞線性時間復雜性。廣泛的實驗證明,GBP達到了state-of-the-art性能同時顯著減少訓練和推理時間。在單臺機器上,GBP能夠在不到2000秒的時間內,在一個擁有超過6000萬個節點和18億條邊的圖形上提供優異的性能

//www.zhuanzhi.ai/paper/bf70cf78aa20bcfce7a1f6d36c8e080a

付費5元查看完整內容

原文地址://arxiv.org/abs/2006.05057

我們研究在一種新穎實際的設定下對圖神經網絡的黑盒攻擊,我們限制攻擊者只能獲得部分節點的信息并且只能修改其中小部分的節點。在這樣的設定下,如何選擇節點變得愈發重要。我們證明圖神經網絡的結構歸納偏差能成為有效的黑盒攻擊源頭。具體來說,通過利用圖神經網路的向后傳播與隨機游走之間的聯系,我們表明基于梯度的常見白盒攻擊可以通過梯度和與PageRank類似的重要性分數之間的聯系而推廣到黑盒攻擊。在實踐中,我們發現基于這個重要性分數上確實很大的程度地增加了損失值,但是不能顯著提高分類錯誤的比率。我們的理論和經驗分析表明,損失值和誤分類率之間存在差異,即當受攻擊的節點數增加時,后者會呈現遞減的回報模式。因此,考慮到收益遞減效應,我們提出了一種貪心算法來校正這一重要性得分。實驗結果表明,所提出的選點程序在無需訪問模型參數或預測的前提下可以顯著提高常用數據集上常見GNN的誤分類率。

付費5元查看完整內容

語義分割(Semantic Segmentation)任務需要對輸入圖像中的每一個像素都進行類別預測。因此想要訓練一個全監督的segmentation模型,則首先需要消耗大量的人力、財力對訓練圖像進行逐像素的標注。為緩解這個問題,人們利用一些較容易獲取的弱標簽(Weak Label)作為圖像的監督信息來訓練segmentation模型。比如,常見的弱標簽有Bounding Box、Scribble、Point以及Image-level class label。我們的研究內容是基于image-level class label的,其是這些弱標簽中是容易獲取但也是最難處理的,因為image-level class label本身只提供了圖像的類別信息而沒有目標在圖像中的位置信息。目前流行的基于image-level class label的弱監督segmentation模型主要分為以下三個步驟進行,如圖1所示:1)首先通過multi-label image classification模型獲取圖像的類響應激活圖(Class Activation Map)作為種子區域(Seed Area);2)在種子區域的基礎上,通過計算像素之間的語義相似性對種子區域進行擴張(Exoansion)得到圖像的偽標簽(Pseudo-Mask);3)使用偽標簽作為Ground-Truth訓練一個全監督的語義分割模型,并在訓練好的模型上對val/test集合進行預測。

我們提出的基于因果干預的Context Adjustment (CONTA)模型主要有以下幾個優勢:

CONTA是第一個使用因果圖來分析弱監督語義分割模型中各component之間的關系,從而找出了造成現有的pseudo-mask不準確的本質原因是因為數據集中的上下文先驗是混淆因子。在此基礎上,我們又進一步提出了使用因果干預切斷上下文先驗和圖像之間的關聯,從而提升pseudo-mask的質量。

不同于以往的基于graph neural network或復雜的attention機制的弱監督語義分割模型,CONTA的設計簡潔,并沒有很復雜的操作和訓練步驟在其中。

我們在4種不同的弱監督語義分割模型上都進行了實驗,結果表明CONTA可以提升模型CAM、pseuso-mask和segmentation mask的質量,從而驗證了CONTA的通用性和有效性。我們相信CONTA在將來也可以被應用到其他的弱監督語義分割模型上。

參考鏈接:

//zhuanlan.zhihu.com/p/260967655

付費5元查看完整內容
北京阿比特科技有限公司