亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

自監督視頻表示方法主要關注視頻中時間屬性的表示。然而，靜態屬性與非靜態屬性的作用卻很少被探索:靜態特征在整個視頻中都保持著相似，它能夠預測視頻級別的動作類。表示時間變化屬性的非平穩特征對于涉及更細粒度的時間理解(如動作分割)的下游任務更有利。我們認為用單一的表示來捕獲兩種類型的特征是次優的，并提出通過對長和短視圖的對比學習，即長視頻序列及其短子序列，將表示空間分解為平穩和非平穩特征。靜止特征在短期和長期視圖之間共享，而非靜止特征聚合短期視圖以匹配相應的長期視圖。為了驗證我們的方法，我們證明了我們的固定特征在動作識別下游任務上工作得特別好，而我們的非固定特征在動作分割上表現得更好。此外，我們分析了學習的表征，發現平穩特征捕獲更多的時間穩定的靜態屬性，而非平穩特征包含更多的時間變化的屬性。

//www.zhuanzhi.ai/paper/084c413e8f11e0bb93c51b0b978ea784

近期工作(White et al.， 2020a;Yan et al.， 2020)證明了架構編碼在神經架構搜索(NAS)中的重要性。這些編碼對神經結構的結構或計算信息進行編碼。與結構感知編碼相比，計算感知編碼以相似的精度映射到同一區域的架構，提高了下游架構搜索性能(Zhang et al., 2019; White et al., 2020a)。在本文中，我們介紹了一種基于計算感知Transformer的編碼方法，稱為CATE。與現有基于固定變換的計算感知編碼(如路徑編碼)不同，CATE采用了成對的預訓練方案，使用交叉注意的transformer來學習計算感知編碼。這種學習編碼包含神經結構的密集和上下文化計算信息。在小搜索空間和大搜索空間中，我們比較了在三個主要的編碼依賴NAS子程序下，CATE和11種編碼方式。我們的實驗表明，CATE有利于下游搜索，特別是在大的搜索空間中。此外，外部搜索空間實驗證明了它在訓練所處的搜索空間之外具有優越的泛化能力。

//arxiv.org/abs/2102.07108

檢測語義異常具有挑戰性，因為它們可能以無數種方式出現在真實數據中。雖然增強網絡的健壯性可能足以對簡單異常進行建模，但沒有一種已知的好方法來準備模型，以應對可能發生的所有潛在的、看不見的異常，比如出現新的對象類。在本文中，我們展示了一個以前被忽視的異常檢測(AD)策略，即對從一些大型和多樣的語義任務轉移過來的表示引入一個顯式的歸納偏差。我們在使用干預的對照試驗中嚴格驗證了我們的假設，并表明它產生了出乎意料的有效輔助目標，優于以往的AD范式。

//proceedings.mlr.press/v139/deecke21a.html

論文鏈接：//www.zhuanzhi.ai/paper/bbfc8d3f4f1e8d947d1d18dee9aef466

端到端語音識別（Speech Recognition, SR）系統的訓練需要大量的標注數據，這對低資源場景來說是一個挑戰。為此，微軟亞洲研究院的研究員們提出了一種名為 UniSpeech 的方法，能夠同時利用監督數據和無監督數據來學習統一的上下文表示。

圖9：UniSpeech 方法示意圖

如圖9所示，研究員們的模型包含了基于卷積神經網絡（Convolution Neural Network，CNN）的特征提取網絡，基于 Transformer 的上下文網絡和一個特征量化模塊用于學習離散的向量。對于預訓練，研究員們采用了多任務學習的方式；對于標記數據，則指定了兩個訓練目標：第一個是音素級別的 CTC 損失函數，該函數作用于 Transformer 的輸出；第二個是在掩碼上下文表示和離散潛在表示上定義的對比任務，該任務與 wav2vec2.0 相同。CTC 將每個上下文表示與音素標簽對齊，同時，對比損失縮小了離散表示和上下文表示之間的距離。為了進一步明確指導量化器學習 SR 的特定信息，在計算 CTC 損失時，研究員們隨機將一部分 Transformer 輸出，替換為相應時間的離散表示。

在實驗中，研究員們發現這種方法可以激活量化器碼本中的更多碼字。對于那些未標記數據，研究員們只進行了對比學習。在預訓練之后，研究員們固定了特征提取器，并在少量標記的低資源數據上微調了 Transformer 部分。論文在 CommonVoice 數據集上驗證了該方法，如表2-表4所示，UniSpeech 在以下三種設置中，均明顯優于監督遷移學習和無監督對比學習：（1）單一高資源語言設置到單一低資源語言設置（One-to-One）（2）多語言高資源語言到單一低資源語言設置（Many-to-One）（3）多語言高資源語言到多語言低資源語言設置（Many-to-Many）。

由于消息傳遞—圖神經網絡（MPNN）應用在稀疏圖時相對于節點數量具有線性復雜性，因此它們已被廣泛使用， 不過它們的理論表達能力bounded by一階 Weisfeiler-Lehman 檢驗 (1-WL)。

在本文中，我們表明，如果自定義特征值相關的非線性函數設計圖卷積supports并使用任意大的感受野進行掩蔽，則 MPNN 在理論上比 1-WL 測試更強大。實驗表明該方法與3-WL 同樣強大，同時能夠保持空間局部化(spatially localized)。此外，通過設計自定義濾波器函數，輸出可以具有各種頻率分量，從而允許卷積過程學習給定輸入圖信號與其相關屬性的不同關系。

目前，最好的 3-WL 等效圖神經網絡的計算復雜度為 O(n^3 )，內存使用量為 O(n^2 )，考慮非局部更新機制，并且不提供輸出的頻譜。但是本文所提出的方法克服了所有上述問題，并在許多下游任務中達到了最先進的結果。

//honeine.fr/paul/publi/21.icml.gnn.pdf

最近利用圖神經網絡來處理圖匹配任務的研究已經顯示出了良好的結果。離散分布學習的最新進展為學習圖匹配模型提供了新的機會。在此工作中，我們提出了一個新的模型，隨機迭代圖匹配(SIGMA)，以解決圖匹配問題。我們的模型定義了一個圖對匹配的分布，因此模型可以探索更廣泛的可能的匹配。我們進一步介紹了一種新的多步匹配方法，該方法學習如何逐步地改進圖對的匹配結果。該模型還包括虛擬節點，因此模型不必為沒有對應關系的節點尋找匹配。我們通過可擴展的隨機優化方法將該模型與數據擬合。我們在合成圖形數據集以及生物化學和計算機視覺應用中進行了廣泛的實驗。在所有任務中，我們的結果表明，與最先進的模型相比，SIGMA可以產生顯著改善的圖匹配結果。消融實驗研究證實，我們的每個組件(隨機訓練、迭代匹配和虛擬節點)提供了顯著的改進。

//www.zhuanzhi.ai/paper/187920fb1a4297ddf130fb676c7e1139

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

圖神經網絡(GNN)中缺乏各向異性核極大地限制了其表達能力，導致了一些眾所周知的問題，如過度平滑。為了克服這個限制，我們提出了第一個全局一致的各向異性核GNN，允許根據拓撲導出的方向流定義圖卷積。首先，通過在圖中定義矢量場，我們提出了一種方法應用方向導數和平滑投影節點特定的信息到場。然后，我們提出用拉普拉斯特征向量作為這種向量場。在Weisfeiler-Lehman 1-WL檢驗方面，我們證明了該方法可以在n維網格上泛化CNN，并證明比標準的GNN更有分辨力。我們在不同的標準基準上評估了我們的方法，發現在CIFAR10圖數據集上相對誤差減少了8%，在分子鋅數據集上相對誤差減少了11%到32%，在MolPCBA數據集上相對精度提高了1.6%。這項工作的重要成果是，它使圖網能夠以一種無監督的方式嵌入方向，從而能夠更好地表示不同物理或生物問題中的各向異性特征。

//www.zhuanzhi.ai/paper/f415f74f0c50433285945af702223eaf

基于深度學習的半監督學習(SSL)算法在醫學圖像分割方面取得了很有前途的結果，并可以通過利用未標記的數據減輕醫生昂貴的標注。然而，現有文獻中的大多數SSL算法都傾向于通過干擾網絡和/或數據來規約模型訓練。考慮到多/雙任務學習涉及到具有固有的預測擾動的各個級別的信息，我們在這項工作中提出了一個問題:我們能夠顯式地構建任務級別的正則化，而不是隱式地構建用于SSL的網絡和/或數據級別的擾動和轉換嗎?為了回答這個問題，我們首次提出了一個新的雙任務一致性半監督框架。具體地說，我們使用一個雙任務深度網絡來聯合預測一個像素級分割圖和一個幾何感知的目標集表示。通過可微任務轉換層將水平集表示轉換為近似分割映射。同時，我們在水平集導出的分割圖和直接預測的分割圖之間引入了一種雙任務一致性正則化，用于標記和未標記數據。在兩個公共數據集上的大量實驗表明，我們的方法可以通過合并未標記數據極大地提高性能。同時，我們的框架優于最先進的半監督醫學圖像分割方法。代碼可以在//github.com/Luoxd1996/DTC找到。

在多標簽文本分類(MLTC)中，一個樣本可以屬于多個類。可以看出，在大多數MLTC任務中，標簽之間存在依賴關系或相互關系。現有的方法往往忽略了標簽之間的關系。本文提出了一種基于圖的注意力網絡模型來捕獲標簽間的注意依賴結構。圖注意力網絡使用一個特征矩陣和一個相關矩陣來捕獲和探索標簽之間的關鍵依賴關系，并為任務生成分類器。將生成的分類器應用于文本特征提取網絡(BiLSTM)獲得的句子特征向量，實現端到端訓練。注意力允許系統為每個標簽分配不同的權值給相鄰節點，從而允許系統隱式地學習標簽之間的依賴關系。在5個實際的MLTC數據集上驗證了模型的結果。與以往的先進模型相比，該模型具有相似或更好的性能。