亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

我們研究了一組新的用于恢復損壞數據表示的逆問題。我們假設可以訪問預訓練過的表示學習網絡R(x)，該網絡對干凈的圖像進行操作，比如CLIP。問題是恢復圖像R(x)的表示，如果我們只給一個損壞的版本A(x)，已知的正向算子A。我們提出了一種監督逆方法，使用對比目標，以獲得高損壞圖像的優秀表示。在我們的魯棒表示上使用線性探針，在對各種類型的畸變圖像(包括模糊、加性噪聲和隨機像素掩蔽)進行分類時，我們實現了比端到端監督基線更高的精度。我們在ImageNet的一個子集上進行評估，并觀察到我們的方法對不同程度的失真具有魯棒性。我們的方法優于端到端基線，即使在廣泛的前向運算符中只有一小部分標記數據。

//www.zhuanzhi.ai/paper/32e282f3015909f2c6243

本文提出了一種視頻自動編碼器，以自監督的方式從視頻中學習三維結構和攝像機姿態的分離表示。基于視頻中的時間連續性，我們的工作假設鄰近視頻幀中的3D場景結構保持靜態。給定一個視頻幀序列作為輸入，視頻自動編碼器提取場景的解糾纏表示，包括: (i)一個時間一致的深度體素特征來表示3D結構，(ii) 每一幀的攝像機姿態的3D軌跡。然后，這兩個表示將重新糾纏，以渲染輸入視頻幀。這個視頻自動編碼器可以直接使用像素重建損失訓練，沒有任何地面真實3D或相機姿態標注。解糾纏表示可以應用于一系列任務，包括新穎的視圖合成、攝像機姿態估計和通過運動跟蹤生成視頻。我們在幾個大尺度的自然視頻數據集上評價了我們的方法，并在域外圖像上展示了泛化結果。

//www.zhuanzhi.ai/paper/ea270d15e2966f9de28d31cb9b66c1db

作為人類，我們的目標和環境在我們的一生中不斷變化，這是基于我們的經驗、行動以及內在和外在的驅動力。相反，典型的強化學習問題設置考慮的決策過程是跨情景的靜態過程。我們能不能開發一種強化學習算法來應對前者中更現實的問題設置的持續變化?雖然策略上的算法(如策略梯度)原則上可以擴展到非平穩設置，但更有效的非策略算法(在學習時回放過去的經驗)卻不能這么說。在這項工作中，我們形式化了這個問題設置，并借鑒了在線學習和概率推理文獻的思想，得出了一個非策略RL算法，可以推理和處理這種終身非平穩性。我們的方法利用潛在變量模型從當前和過去的經驗中學習環境的表示，并使用該表示執行非策略RL。我們進一步介紹了幾個顯示終生非平穩性的模擬環境，并根據經驗發現，我們的方法大大優于那些不考慮環境變化的方法。

//proceedings.mlr.press/v139/xie21c

我們提出了一種新的方法來解開一組給定的觀察結果背后的變異的生成因素。我們想法是建立在可以顯式地建模為子流形乘積的數據空間的(未知的)低維流形。這種解糾纏的定義提出了一種新的弱監督算法，用于恢復數據背后的未知解釋因素。在訓練時，我們的算法只需要成對的非i.i.d.數據樣本，它們的元素共享至少一個，可能是多維的，產生變異的因素。我們不需要知道這些變換的性質，也不需要對每個子空間的性質做任何限制性的假設。我們的方法易于實現，并可以成功地應用于不同類型的數據(從圖像到三維表面)進行任意轉換。除了標準的合成基準外，我們還展示了我們在挑戰現實應用方面的方法，在現實應用中，我們可以與目前的技術水平想匹配。

//www.zhuanzhi.ai/paper/9e9f6d368f90ce8173994ac06faab1eb

在不依賴下游任務的情況下評估已學習表示的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出了幾何成分分析(GeomCA)算法，基于其幾何和拓撲性質評估表示空間。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表示，如對比學習模型、生成模型和監督學習模型，證明了它的適用性。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18

持續學習——按序列學習許多任務的能力——對人工學習系統至關重要。然而，深度網絡的標準訓練方法往往會遭遇災難性的遺忘，即學習新的任務會抹去先前任務的知識。雖然災難性的遺忘給問題貼上了標簽，但任務之間相互干擾的理論原因仍不清楚。在這里，我們試圖通過在教師-學生的設置中學習持續學習來縮小理論和實踐之間的差距。我們將以前在教師-學生設置中對兩層網絡的分析工作擴展到多個教師。我們以每位教師代表不同的任務，研究教師之間的關系如何影響學生在任務轉換時表現出的遺忘和遷移量。根據最近的研究，我們發現當任務依賴于相似的特征時，中間任務相似導致最大的遺忘。然而，特征相似性只是任務之間關聯的一種方式。教師-學生方法允許我們在eadouts(隱藏到輸出的權重)和特征(輸入到隱藏的權重)這兩級分解任務相似性。我們發現兩種類型的相似性、初始轉移/遺忘率、最大轉移/遺忘和長時間(開關后)轉移/遺忘量之間存在復雜的相互作用。總之，這些結果有助于闡明導致災難性遺忘的各種因素。

//proceedings.mlr.press/v139/lee21e.html

深度神經網絡已經顯示出從圖像和文本等數據中提取通用特征表示的能力，這對各種學習任務都很有用。在聯邦設置中，表示學習的成果還沒有完全實現。盡管聯邦設置中的數據通常是非iid。在客戶端，集中深度學習的成功表明，數據通常共享一個全局特征表示，而在客戶端或任務之間的統計異質性集中在標簽。基于這種直覺，我們提出了一種新的聯合學習框架和算法來學習跨客戶端共享的數據表示。我們的算法利用客戶機之間的分布式計算能力，針對表示的每次更新的低維局部參數執行許多本地更新。我們證明了該方法在線性設置下獲得了接近最優樣本復雜度的ground-truth表示的線性收斂性，證明了該方法可以有效地降低每個客戶端的問題維數。此外，我們提供了大量的實驗結果，證明了我們的方法在異構環境下優于其他個性化聯合學習方法。

//arxiv.org/abs/2102.07078

在真實的應用中，數據通常以增長的方式出現，其中數據量和類的數量可能會動態增加。這將給學習帶來重大挑戰:隨著數據量或類的數量不斷增加，人們必須立即調整神經模型的容量，以獲得良好的性能。現有的方法要么忽視數據增長的本質，要么尋求對給定數據集獨立搜索最優體系結構，因此無法針對變化的數據及時調整體系結構。為了解決這一問題，我們提出了一種神經結構自適應方法，即adaptive eXpert (AdaXpert)，可以在不斷增長的數據上有效地調整以前的結構。具體來說，我們引入了一個體系結構調整器，根據以前的體系結構以及當前和以前數據分布之間的不同程度，為每個數據快照生成合適的體系結構。此外，我們提出一個適應條件來確定調整的必要性，從而避免不必要的和耗時的調整。在兩種增長場景(增加數據量和類數)上的大量實驗證明了所提方法的有效性。

//www.zhuanzhi.ai/paper/5b09e4a225a2ba1040ba9848b5a5cd24

無監督多對象表示學習依賴于歸納偏差來指導發現以對象為中心的表示。然而，我們觀察到，學習這些表征的方法要么是不切實際的，因為長時間的訓練和大量的記憶消耗，要么是放棄了關鍵的歸納偏見。在這項工作中，我們引入了EfficientMORL，一個有效的無監督學習框架的對象中心表示。我們證明了同時要求對稱性和解纏性所帶來的優化挑戰實際上可以通過高成本的迭代攤銷推理來解決，通過設計框架來最小化對它的依賴。我們采用兩階段的方法進行推理:首先，分層變分自編碼器通過自底向上的推理提取對稱的解纏表示，其次，輕量級網絡使用自頂向下的反饋來改進表示。在訓練過程中所采取的細化步驟的數量根據課程減少，因此在測試時零步驟的模型達到了99.1%的細化分解性能。我們在標準多目標基準上演示了強大的對象分解和解纏，同時實現了比以前最先進的模型快一個數量級的訓練和測試時間推斷。

//www.zhuanzhi.ai/paper/f29b88ee56208601f787cc791e3c7414

在不依賴下游任務的情況下評估學習表征的質量仍然是表示學習的挑戰之一。在這項工作中，我們提出幾何成分分析(GeomCA)算法，評估表示空間的幾何和拓撲性質。GeomCA可以應用于任何維度的表示，獨立于生成它們的模型。我們通過分析從各種場景中獲得的表征來證明其適用性，如對比學習模型、生成模型和監督學習模型。

//www.zhuanzhi.ai/paper/efa6de0f034d485bbb30b2a45947ea18