亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

論文鏈接：//www.zhuanzhi.ai/paper/3a1e9a5b1d5014aa139465d7afb57410

基于數據采樣的優化（Optimization from Samples，OPS）是將機器學習和優化相結合，實現從數據到優化的端到端的性能保證。然而近期的研究指出，雖然從數據到模型的學習過程和基于模型的優化各自能給出較好的理論保證，但是 OPS 在一些情況下是不能達到端到端的理論保證的。

微軟亞洲研究院和中國科學院計算技術研究所的研究員們在去年的 ICML 會議上提出了基于結構化數據采樣的優化方法（Optimization from Structured Samples, OPSS），通過巧妙地利用采樣數據中的結構化信息，將學習和優化更緊密地結合, 從而達到端到端性能的理論保證。

在今年 ICML 會議上發表的本文，沿 OPSS 方向進一步探索，更進一步研究了比較復雜的基于數據采樣的影響力最大化問題（Influence Maximization from Samples, IMS）。具體是指：當社交網絡未知，只能觀察到其上的歷史傳播數據時，如何選取少數種子結點以達到影響力最大化的傳播效果。傳統的方式是先從歷史傳播數據中學習，得到一個傳播模型和模型參數，然后在這套模型和參數上運行成熟的基于影響力最大化的算法。但這樣的方法會導致在某些情況下，模型及其參數的學習效果不好時，優化的效果也不盡如人意。因此需要對這種傳統模式加以改進，在模型參數學習效果不好時仍能找到替代方法，從而達到良好的優化效果。

從端到端來講，本文的算法可以保證對于任何網絡結構和傳播參數的組合，都能從傳播數據采樣中得到影響力最大化的常數近似解，而且該算法不再依賴于最大似然估計，而是通過簡單直接的等式推導，使得網絡推斷可以基于更寬泛的假設從而達到運算速度更快、需要更少數據樣本的效果。同時，在解決 IMS 問題的過程中，網絡推斷（Network Inference）算法也得到了改進。

深度學習的成功依賴大規模的標記數據，然而人工標注數據的代價巨大。域自適應（Domain Adaptation）意圖利用已有源領域標記數據的有效信息學習得到一個可以泛化到目標領域無標記數據上的模型。因此域自適應方法是解決上述問題的方案之一。回歸問題作為一個具有廣泛應用的機器學習范式，和分類問題具備同等的重要性。然而，當前的研究缺乏一個針對回歸問題的深度無監督域自適應方法：（1）已有很多基于實例加權和域不變表征學習的淺層域自適應回歸方法，但他們沒有辦法利用深度網絡的表征學習能力，因此不具備處理現實世界多種復雜結構數據的能力。同時，他們往往依賴目標領域中的少量有標數據才能取得理想的性能，即只能做成半監督域自適應方法；（2）已有很多基于深度表征學習的域自適應分類方法，在分類基準數據集上取得了突破性進展，但他們在回歸數據集上的表現往往不夠理想。因此，本文意在利用深度網絡的表征能力，考慮回歸問題的本質特點，提出一種適用于回歸問題的無監督可遷移域自適應方法。

當前的大多數自監督表示學習 (SSL) 方法都基于對比損失和實例判別任務，即其中同一圖像實例的數據增強版本（“正樣本”）與從其他圖像中提取的實例（“負樣本”）進行對比。為了保證學習有效，應將許多負樣本與正樣本對進行比較，這在計算上要求很高。在本文中，我們為SSL提出了一個不同的方向和一個新的損失函數，它基于對隱空間特征的白化操作，且只需要正樣本對，無需負樣本對的訓練。白化操作對批量樣本具有“散射”效應，避免只用正樣本時所有樣本表示收斂到單個點的退化解。同時，和先前無需負樣本的SSL相比，所提方法不需要非對稱網絡，并且在概念上也很簡單。

本篇論文的貢獻有：

1.本文提出了一種新的SSL損失函數，Whitening MSE (W-MSE)。W-MSE 將批量樣本限制在球形分布中，它是對比損失的替代方法。 2.所提的損失函數不需要大量的負樣本，因此我們可以在當前批次中包含更多的正樣本對。同時，論文實驗證明了從一張圖像中提取的多個正樣本對可提高了模型性能。 3.通過相關實驗驗證了W-MSE的在各個任務上的有效性。

//www.zhuanzhi.ai/paper/9c729151ab1b8c390da98df4caae91f5

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

論文題目：Graph Neural Networks Inspired by Classical Iterative Algorithms

作者：Yongyi Yang，Tang Liu，Yangkun Wang，Jinjing Zhou，Quan Gan，魏哲巍，Zheng Zhang，Zengfeng Huang，David Wipf

論文概述：圖神經網絡（GNN）作為建模實體間關系的代表性方法，已被成功應用于多個領域。然而現有方法仍存在一些局限性，例如過平滑問題、長距離依賴性問題等。本篇論文基于兩種經典迭代算法提出了首個unfolding視角的GNN集成框架TWIRLS，首先通過模仿近似梯度下降設計了一個可擴展的基礎GNN架構，能夠允許任意的傳播步驟以捕捉長距離依賴關系同時有效避免過平滑問題。在此基礎上，結合迭代加權最小二乘法的更新規則提出了新的注意力機制系列，無需引入額外參數或設計啟發式方法而對邊的不確定性表現魯棒。同時，本篇論文進行了大量實驗旨在評估不同情況下算法的性能，實驗結果表明，即使與特定任務SOTA模型相比，本篇論文所提算法均取得具有競爭力或更高的節點分類精度。

//www.zhuanzhi.ai/paper/49b1ba16194db9f330657396a37982dd

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

以往的人臉圖像質量評估研究大多以樣本層面不確定性或配對相似度作為質量評分標準，而且只考慮部分類內信息。這些方法忽略了來自類間有價值的信息。在本研究中，對于人臉識別系統，我們認為一個高質量的人臉圖像應該與其類內樣本相似，而與其類間樣本不相似，如圖1所示。為此，我們提出了一種基于類內-類間相似度分布距離的無監督人臉質量評估方法(SDD-FIQA)。

//www.zhuanzhi.ai/paper/b51b03b10fb5b413e14282835e0e8a6a

該方法從人臉識別的性能影響因子出發，從理論上推導出人臉樣本類間相似度分布與人臉圖像質量高度相關，利用類內相似度分布和類間相似度分布之間的Wasserstein距離生成人臉圖像質量偽標簽。然后，利用這些質量偽標簽進行無監督訓練一個人臉質量回歸網絡，從而獲得一個質量評估模型。大量實驗表明，在各大人臉識別的基準數據集上，提出的SDD-FIQA方法在不同的人臉識別系統下，精度和泛化能力都達到國際最先進水平。

主要創新點：1）發現了人臉樣本類間相似度分布與人臉圖像質量高度相關；2）提出了類內-類間相似度分布距離的概念；3）從理論上導出了人臉圖像質量與類內-類間相似度分布距離直接相關；4）提出了利用Wasserstein準則度量類內-類間相似度分布距離，并用于人臉圖像質量評分；5）實現了一種完全無監督的人臉圖像質量評估算法，性能最優。

弱監督語義分割是一項具有挑戰性的任務，因為沒有提供像素級的標簽信息供訓練使用。最近的方法利用分類網絡，通過選擇具有強響應的區域來定位目標。然而，雖然這種響應映射提供了稀疏信息，但在自然圖像中像素之間存在很強的兩兩關系，可以利用這種兩兩關系將稀疏映射傳播到更密集的區域。本文提出了一種迭代算法來學習這種兩兩關系，它由兩個分支組成，一個是學習每個像素的標簽概率的一元分割網絡，另一個是學習親和矩陣并細化由一元網絡生成的概率圖的兩兩親和網絡。將兩兩網絡的細化結果作為監督，對一元網絡進行訓練，通過迭代的方法逐步獲得較好的分割效果。為了在不需要精確標注的情況下獲得可靠的像素親和力，我們還提出了可信區域的挖掘方法。我們證明了迭代訓練這個框架等價于優化一個收斂到局部最小值的能量函數。在PASCAL VOC 2012和COCO數據集上的實驗結果表明，所提出的算法在性能上優于目前最先進的方法。