亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

題目： Graph Random Neural Networks

摘要：

圖神經網絡(GNNs)將深度學習方法推廣到圖結構數據中，在圖形挖掘任務中表現良好。然而，現有的GNN常常遇到具有標記節點的復雜圖結構，并受到非魯棒性、過度平滑和過擬合的限制。為了解決這些問題，本文提出了一個簡單而有效的GNN框架——圖隨機神經網絡(Grand)。與現有GNNs中的確定性傳播不同，Grand采用隨機傳播策略來增強模型的魯棒性。這種策略也很自然地使Grand能夠將傳播從特征轉換中分離出來，減少了過度平滑和過度擬合的風險。此外，隨機傳播是圖數據擴充的一種有效方法。在此基礎上，利用無標記節點在多個擴展中的分布一致性，提高模型的泛化能力，提出了Grand的一致性正則化方法。在圖形基準數據集上的大量實驗表明，Grand在半監督的圖形學習任務上顯著優于最先進的GNN基線。最后，證明了它可以顯著減輕過度平滑和過度擬合的問題，并且它的性能與魯棒性相結合。

主題： Graph Neural Networks with Composite Kernels

摘要： 近年來，對圖結構化數據的學習引起了越來越多人的興趣。諸如圖卷積網絡（GCN）之類的框架已經證明了它們在各種任務中捕獲結構信息并獲得良好性能的能力。在這些框架中，節點聚合方案通常用于捕獲結構信息：節點的特征向量是通過聚集其相鄰節點的特征來遞歸計算的。但是，大多數聚合方案都將圖中的所有連接均等化，而忽略了節點特征的相似性。本文從內核權重的角度重新解釋了節點聚合，并提出了一個框架來考慮特征相似性。我們表明歸一化的鄰接矩陣等效于Kerin空間中基于鄰居的內核矩陣。然后，我們提出功能聚集作為基于原始鄰居的內核和可學習的內核的組成，以在特征空間中編碼特征相似性。我們進一步展示了如何將所提出的方法擴展到圖注意力網絡（GAT）。實驗結果表明，在一些實際應用中，我們提出的框架具有更好的性能。

最近的研究表明，預訓練文本表示能夠顯著提高許多自然語言處理任務的性能。訓練的中心目標是學習對后續任務有用的文本表示形式。然而，現有的方法是通過最小化代理目標(如語言建模的負日志可能性)來優化的。在這項工作中，我們介紹了一個學習算法，它直接優化模型學習文本表示的能力，以有效地學習下游任務。我們證明了多任務預訓練和模型不可知的元學習之間有著內在的聯系。BERT中采用的標準多任務學習目標是元訓練深度為零的學習算法的一個特例。我們在兩種情況下研究了這個問題:無監督的預訓練和有監督的預訓練，不同的預訓練對象驗證了我們的方法的通用性。實驗結果表明，我們的算法對各種下游任務進行了改進，獲得了更好的初始化。

本文提出了一類高效的視頻網絡——X3D，它在空間、時間、寬度和深度等多個網絡軸上逐步擴展了一個微小的二維圖像分類體系結構。受機器學習中特征選擇方法的啟發，提出了一種簡單的分步網絡擴展方法，該方法在每一步中擴展一條軸，從而達到了較好的精度和復雜度平衡。為了將X3D擴展到特定的目標復雜性，我們執行前向擴展和后向收縮。X3D實現了最先進的性能，同時需要4.8倍和5.5倍的更少的乘法和參數，以達到與以前的工作類似的精度。我們最令人驚訝的發現是，具有高時空分辨率的網絡可以表現得很好，而在網絡寬度和參數方面則非常輕。在視頻分類和檢測基準上，我們報告了具有競爭力的準確性和前所未有的效率。

細粒度的視覺分類一直被視為一個重要的問題,然而,其實際應用仍受限制,因為精確的注解大量細粒度圖像數據集是一項艱苦的任務,需要人類的專家級知識。解決這個問題的一個方法是將域適應方法應用于細粒度場景，其中的關鍵思想是發現現有的細粒度圖像數據集和大量未標記數據之間的共性。主要的技術瓶頸是在域對齊過程中，大的域間變異會使小的類間變異的細微邊界變差。本文提出了一種基于課程的對抗學習框架的漸進式對抗網絡(PAN)，該網絡可將跨領域的細粒度分類進行對齊。 特別是，在整個學習過程中，通過所有的多粒度特性進行域適應，逐步地從粗到細利用標簽層次結構。該方法既適用于類別分類，又適用于域對齊，提高了細粒度特征的可識別性和可移植性。我們的方法是在三個基準上評估的，其中兩個是我們提出的，它比最先進的領域適應方法表現更好。

題目： Correspondence Networks with Adaptive Neighbourhood Consensus

摘要：

在這篇論文中，我們處理的任務是在包含相同類別物體的圖像之間建立緊密的視覺對應。這是一個具有挑戰性的任務，因為類內部變化很大，并且缺乏密集的像素級注釋。我們提出了一種卷積神經網絡結構，稱為鄰域自適應一致網絡(ANC-Net)，它可以通過稀疏的關鍵點注釋進行端到端的訓練來應對這一挑戰。該算法的核心是非各向同性的四維卷積核，構成了鄰域自適應一致的魯棒匹配模塊。為了使所學習的特征對類內變化具有魯棒性，我們還引入了一個簡單有效的多尺度自相似模型。此外，我們提出了一種新的正交損失來加強一對一匹配的約束。我們徹底地評估了我們的方法在各種基準上的有效性，在這些基準上，它的性能大大優于最先進的方法。

題目： Deep Unfolding Network for Image Super-Resolution

摘要：

基于學習的單圖像超分辨率(SISR)方法不斷顯示出優于傳統的基于模型的方法的有效性和效率，這主要是由于端到端的訓練。但是，與基于模型的方法不同，基于模型的方法可以在統一的MAP(maximum a posteriori)框架下處理具有不同比例因子、模糊內核和噪聲級別的SISR問題，基于學習的方法通常缺乏這種靈活性。為了解決這一問題，本文提出了一種基于學習方法和基于模型方法的端到端可訓練展開網絡。具體來說，通過半二次分裂算法展開映射推理，可以得到由交替求解一個數據子問題和一個先驗子問題組成的固定次數的迭代。這兩個子問題可以用神經模塊來解決，從而得到一個端到端可訓練的迭代網絡。因此，所提出的網絡繼承了基于模型的方法的靈活性，在保持基于學習的方法的優點的同時，通過單一模型對不同尺度因子的模糊、有噪聲的圖像進行超分辨。大量的實驗證明了所提出的深度展開網絡在靈活性、有效性和可推廣性方面的優越性。

深度神經網絡在計算機視覺任務中取得了顯著的成功。現有的神經網絡主要在固定輸入尺寸的空間域內運行。在實際應用中，圖像通常很大，必須向下采樣到預定的神經網絡輸入大小。盡管下行采樣操作減少了計算量和所需的通信帶寬，但它同時在不影響冗余和顯著信息的前提下消除了冗余和顯著信息，從而導致精度下降。受數字信號處理理論的啟發，我們從頻率的角度分析了頻譜偏差，提出了一種基于學習的頻率選擇方法來識別可以在不損失精度的情況下去除的瑣碎頻率分量。提出的頻域學習方法利用眾所周知的神經網絡的相同結構，如ResNet-50、MobileNetV2和Mask R-CNN，同時接受頻域信息作為輸入。實驗結果表明，與傳統的空間降采樣方法相比，基于靜態信道選擇的頻域學習方法可以獲得更高的精度，同時進一步減小了輸入數據的大小。針對相同輸入大小的ImageNet分類，分別在ResNet-50和MobileNetV2上實現了1.41%和0.66%的top-1精度改進。即使只有一半的輸入大小，該方法仍然可以將ResNet-50的前1位精度提高1%。此外，我們還觀察到，在COCO數據集的實例分割方面，Mask R-CNN的平均精度提高了0.8%。

題目： Bayesian Neural Networks With Maximum Mean Discrepancy Regularization

摘要： 貝葉斯神經網絡(BNNs)訓練來優化整個分布的權重，而不是一個單一的集合，在可解釋性、多任務學習和校準等方面具有顯著的優勢。由于所得到的優化問題的難解性，大多數BNNs要么通過蒙特卡羅方法采樣，要么通過在變分近似上最小化一個合適的樣本下界(ELBO)來訓練。在這篇論文中，我們提出了后者的一個變體，其中我們用最大平均偏差(MMD)估計器代替了ELBO項中的Kullback-Leibler散度，這是受到了最近的變分推理工作的啟發。在根據MMD術語的性質提出我們的建議之后，我們接著展示了公式相對于最先進的公式的一些經驗優勢。特別地，我們的BNNs在多個基準上實現了更高的準確性，包括多個圖像分類任務。此外，它們對權重上的先驗選擇更有魯棒性，而且它們的校準效果更好。作為第二項貢獻，我們提供了一個新的公式來估計給定預測的不確定性，表明與更經典的標準(如微分熵)相比，它在對抗攻擊和輸入噪聲的情況下表現得更穩定。

論文題目

Few Shot Network Compression via Cross Distillation

論文摘要

模型壓縮已被廣泛應用于獲得輕量化的深層神經網絡。然而，大多數流行的方法需要使用足夠的訓練數據進行微調以確保準確性，這可能會受到隱私和安全問題的挑戰。作為隱私性和性能之間的折衷，本文研究了少鏡頭網絡壓縮：在每類樣本數較少的情況下，如何有效地壓縮性能可以忽略不計的網絡？少鏡頭網絡壓縮的核心挑戰在于在推理過程中原始網絡的高估計誤差，因為壓縮后的網絡很容易過度適應少數訓練實例。估計誤差能夠很好地預測和積累層，最終決定網絡輸出。為了解決這個問題，我們提出了一種新的分層知識提取方法cross蒸餾。通過將教師網絡和學生網絡的隱含層交織在一起，可以有效地減少層內累積的估計誤差。該方法提供了一個通用的框架，與流行的網絡壓縮技術（如剪枝）兼容。在基準數據集上進行的大量實驗表明，當只有少量訓練實例可用時，交叉蒸餾可以顯著提高學生網絡的準確性。

論文作者

郝麗百，賈翔悟，Irwin King，Michael Lyu，香港中文大學。