亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

在過去的幾年里，深度學習、大規模數據以及更強大的計算能力的進步為計算機視覺帶來了無數的突破。例如，在某些較低級別的視覺識別任務中，包括圖像分類、分割和目標檢測，機器已經取得了接近人類的表現，甚至超過人類。然而，對于其他需要更詳細理解視覺內容的更高層次的視覺任務，如視覺問答(VQA)和視覺描述(VC)，機器仍然落后于人類。這在一定程度上是因為，與人類不同，機器缺乏對內容建立全面的、結構化的理解的能力，在此基礎上進行推理。具體來說，更高層次的視覺任務通常被簡化為直接在圖像上操作模型，并由端到端神經網絡處理，而沒有考慮場景的組成語義。已有研究表明，基于深度神經網絡的模型有時會因為從有偏見的數據集中獲取捷徑而犯下嚴重的錯誤。此外，神經網絡的“黑箱”性質意味著它們的預測幾乎無法解釋，這不利于VQA這樣的視覺推理任務。作為連接兩個層次的中級表示，視覺場景的結構化表示，如成對對象之間的視覺關系，已被證明不僅有利于組合模型學習與結構一起推理，而且為模型決策提供了更高的可解釋性。盡管如此，這些表示比傳統的識別任務受到的關注要少得多，留下了許多未解決的開放挑戰(例如，不平衡謂詞類問題)。

在本文中，我們研究如何用視覺關系作為結構化的表示來描述單個圖像或視頻的內容。兩個對象(分別是主語和賓語)之間的視覺關系是由一個三元組(主語、謂語、賓語)形式定義的，它包括主語和賓語的邊界框和類別標簽以及謂語標簽。視覺關系的三元組形式自然類似于人類用語言句子描述兩個對象之間的交互:副詞(謂語)連接主語和賓語，如“person is sitting on a chair”用(person,sitting on,chair)表示。為了建立場景的整體表示，通常采用以視覺對象為節點、謂詞為有向邊的圖結構來考慮對象和關系上下文。例如，“坐在椅子上的人拿著杯子”可以用(person,sitting on,chair)和(person,holding,glass)來表示，兩種視覺關系三聯中的人指的是同一個實體。

在論文的第一部分，我們花了兩章的時間學習具有視覺關系和場景圖的圖像的結構化表示，它們分別被稱為視覺關系檢測(VRD)和場景圖生成(SGG)。首先，我們深入研究了如何結合外部知識進行VRD。受最近預訓練表示成功的啟發，我們提出了一個基于transformer的多模態模型，該模型通過在大規模語料庫上預訓練獲得的視覺和語言知識來識別視覺關系。該模型還配備了一個獨立的空間模塊和一個新型的掩碼注意力模塊，以顯式捕捉物體之間的空間信息。這些設計有利于VRD，并幫助模型在兩個具有挑戰性的VRD數據集上取得具有競爭力的結果。其次，我們重新思考了數據集知識的作用，認為其中一些是“不好的”知識，會對預測視覺關系產生偏見，應該被刪除。具體來說，我們從報告偏差的新視角來解決關鍵的數據失衡問題，這一問題源于數據集本身，導致機器更喜歡簡單的謂詞(人，在，椅子上)或(鳥，在，房間)，而不是更有信息的謂詞(人，坐在椅子上)或(鳥，在，房間里)。為了消除這種報告偏差，我們開發了一種模型無關的去偏差方法，通過考慮謂詞類被標記的可能性來生成更有信息的場景圖。此外，我們將重點從VRD轉移到SGG，以生成整體的、圖形化的表示，并利用消息傳遞網絡來結合上下文。大量的實驗表明，我們的方法顯著地緩解了長尾，達到了最先進的SGG去偏性能，并產生了顯著的更細粒度的場景圖。

在論文的第二部分，我們將靜態圖像VRD的設置擴展到時間域，并考慮人-物交互(HOI)檢測，這是VRD的一個特殊情況，視覺關系的對象僅限于人類。研究人員使用僅對靜態圖像進行操作的傳統HOI方法來預測視頻中與時間相關的HOI;然而，通過這種方式，模型忽略了時間上下文，可能會提供次優性能。另一項相關任務，視頻視覺關系檢測(VidVRD)，也不是一個合適的設置，因為VidVRD方法通常忽略了與人相關的特征，視頻對象檢測仍然具有挑戰性，以及動作邊界標記本身可能不一致。因此，我們建議通過明確地考慮時間信息和采用基于關鍵幀的檢測來彌補這些差距。我們還表明，由于特征不一致的問題，一個普通動作檢測基線的樸素時間感知變體在基于視頻的HOI中表現不佳。然后，我們提出了一個新穎的、基于神經網絡的模型，利用時間信息，如人體和物體的軌跡、幀局部視覺特征和時空掩蔽的人體姿態特征。實驗表明，我們的方法不僅在我們提出的視頻HOI基準中是一個可靠的基線，而且在流行的視頻關系檢測基準中也是一個有競爭力的選擇。

總的來說，在這些工作中，我們探索了如何在靜態圖像和視頻設置中分別構建和學習視覺場景的結構化表征，通過引入外部知識、減少偏差機制和/或增強表征模型進行改進。在本文的最后，我們還討論了一些開放性的挑戰和局限性，為視覺場景的結構化表示學習指明了未來的方向。

現代深度強化學習(RL)算法，盡管處于人工智能能力的最前沿，但通常需要大量的訓練樣本才能達到與人類相當的性能水平。這種嚴重的數據效率低下是深度RL實際應用的主要障礙:在沒有模擬器的情況下，深度RL幾乎不可能應用于任何領域。為了解決這種關鍵數據效率低下的問題，在本論文中，我們致力于設計能夠快速適應新環境的元學習智能體。與標準的強化學習相比，元學習在特定的環境分布上進行學習，從這些環境中采樣特定的任務，并直接優化元學習器，以提高策略改進的速度。通過利用與感興趣任務具有共同子結構的任務分布，元學習器可以調整自己的歸納偏見，使其能夠在測試時快速適應。

本論文的重點是設計元學習算法，利用記憶作為驅動快速適應新環境的主要機制。具有情景間記憶的元學習是一類元學習方法，利用基于特定環境的整個交互歷史的記憶架構來產生策略。因此，在特定任務中驅動策略改進的學習動態被包含在序列模型的計算過程中，本質上把學習算法的設計交給了體系結構。雖然概念簡單，但使用情景間記憶的元學習非常有效，仍然是最先進的方法。我們提出并討論了幾種通過記憶進行元學習的技術。

論文的第一部分集中在“具身”類環境，其中一個主體在一個類似自然世界的環境中有物理表現。我們利用這種高度結構化的環境集來設計具有快速記憶、規劃和狀態推斷能力的整體嵌入式代理體系結構。在論文的第二部分，我們將重點放在沒有強公共子結構的一般環境中應用的方法。首先，我們重新檢查元學習代理與環境的交互模式:提出用一個并行執行框架來取代典型的順序處理交互歷史，其中多個智能體并行地在環境中行動。接下來，我們討論了一個通用的和強大的序列模型的使用片段間存儲器，門控transformer，展示了性能和數據效率的巨大改進。最后，我們開發了一種方法，可以顯著降低(元)強化學習設置中transformer模型的訓練成本和作用延遲，目的是(1)使它們在研究社區中更廣泛地使用，(2)解鎖它們在實時和延遲受限的應用中使用，如機器人。

//www.ml.cmu.edu/research/phd-dissertation-pdfs/eparisot_phd_mld_2021.pdf

近年來，監督學習設置的幾個結果表明，經典的統計學習理論度量，如VC維，不能充分解釋深度學習模型的性能，這促使大量工作在無限寬和迭代機制。然而，對于神經網絡在監督設置之外的成功，幾乎沒有理論解釋。本文認為，在一些分布假設下，經典學習理論測度可以充分解釋圖神經網絡在轉導環境下的泛化問題。特別是，我們提供了一個嚴格的分析神經網絡在轉導推理的背景下的性能，特別是通過分析圖卷積網絡的泛化性質的節點分類問題。雖然VC維在這種情況下也會導致微不足道的泛化誤差邊界，但我們表明，轉換的Rademacher復雜性可以解釋隨機塊模型的圖卷積網絡的泛化特性。我們進一步使用基于轉導Rademacher復雜性的泛化誤差邊界來演示圖卷積和網絡架構在實現更小的泛化誤差方面的作用，并提供關于何時圖結構可以幫助學習的見解。這篇論文的發現可以重新激發人們在學習理論測量方面研究神經網絡泛化的興趣，盡管是在具體的問題上。

//www.zhuanzhi.ai/paper/8dbc5b521467d7c686543811a6d386eb

圖神經網絡（GNN）在實際應用中往往會受到可用樣本數量太少的限制，而元學習（meta-learning）作為解決機器學習中樣本缺乏問題的重要框架，正逐漸被應用到 GNN 領域以解決該問題。本文梳理近年來在元學習應用于 GNN 的一系列研究進展，我們根據模型的架構、共享的表示和應用的領域對以往工作進行分類，并在最后討論該領域當前有待解決的問題和未來值得關注的研究方向。

圖結構數據（Graph）廣泛存在于現實場景中，例如藥物研究中的藥物分子結構和推薦系統中的用戶商品交互都可以用圖（Graph）表示，而圖數據（Graph）的廣泛存在也促進了圖神經網絡（GNN）的發展。GNN 是專門用于處理圖數據的深度神經網絡，它將圖或圖上的頂點、邊映射到一個低維空間，從而學習得到圖的有效表示，并進一步將其應用于下游任務。近年來，GNN 被廣泛應用于新藥發現、交通預測、推薦系統等各個領域。

盡管 GNN 擁有非常強大的能力，但在實際應用中依然面臨樣本數量有限的挑戰，特別是在推薦系統等真實系統更是要求 GNN 可以在少量樣本可用的情況下適應新問題。而元學習（meta-learning）作為解決深度學習系統中樣本缺乏問題的重要框架，在自然語言處理、機器人技術等多種應用中都取得了成功。因此，如何利用元學習解決 GNN 所面臨的樣本缺乏問題，是研究人員普遍關心的問題。

元學習的主要思想是利用之前的學習經驗來快速適應一個新問題，從而利用很少的樣本就能學習一個有用的算法。具體來講，元學習旨在以先驗的形式學習一個模型，而不是針對所有任務學習一個模型(不能區分任務)或針對每個任務學習單獨的模型(可能對每個任務過擬合)。元學習應用于 Graph 的主要挑戰是如何確定跨任務共享的表示類型，以及怎樣設計有效的訓練策略。近期，研究人員針對不同的應用場景，已經提出了多種元學習方法來訓練 GNN。本文我們就將對元學習在 GNN 上的運用進行全面回顧。

人工神經網絡在解決特定剛性任務的分類問題時，通過不同訓練階段的廣義學習行為獲取知識。由此產生的網絡類似于一個靜態的知識實體，努力擴展這種知識而不針對最初的任務，從而導致災難性的遺忘。

持續學習將這種范式轉變為可以在不同任務上持續積累知識的網絡，而不需要從頭開始再訓練。我們關注任務增量分類，即任務按順序到達，并由清晰的邊界劃分。我們的主要貢獻包括:

(1) 對持續學習技術的分類和廣泛的概述;

(2) 一個持續學習器穩定性-可塑性權衡的新框架;

(3) 對11種最先進的持續學習方法和4條基準進行綜合實驗比較。

考慮到微型Imagenet和大規模不平衡的非自然主義者以及一系列識別數據集，我們以經驗的方式在三個基準上仔細檢查方法的優缺點。我們研究了模型容量、權重衰減和衰減正則化的影響，以及任務呈現的順序，并從所需內存、計算時間和存儲空間等方面定性比較了各種方法。

//www.zhuanzhi.ai/paper/c90f25024b2c2364ce63299b4dc4677f

引言

近年來，據報道，機器學習模型在個人任務上表現出甚至超過人類水平的表現，如雅達利游戲[1]或物體識別[2]。雖然這些結果令人印象深刻，但它們是在靜態模型無法適應其行為的情況下獲得的。因此，這需要在每次有新數據可用時重新啟動訓練過程。在我們的動態世界中，這種做法對于數據流來說很快就變得難以處理，或者可能由于存儲限制或隱私問題而只能暫時可用。這就需要不斷適應和不斷學習的系統。人類的認知就是這樣一個系統的例證，它具有順序學習概念的傾向。通過觀察例子來重新審視舊的概念可能會發生，但對保存這些知識來說并不是必要的，而且盡管人類可能會逐漸忘記舊的信息，但完全丟失以前的知識很少被證明是[3]。相比之下，人工神經網絡則不能以這種方式學習:在學習新概念時，它們會遭遇對舊概念的災難性遺忘。為了規避這一問題，人工神經網絡的研究主要集中在靜態任務上，通常通過重組數據來確保i.i.d.條件，并通過在多個時期重新訪問訓練數據來大幅提高性能。

持續學習研究從無窮無盡的數據流中學習的問題，其目標是逐步擴展已獲得的知識，并將其用于未來[4]的學習。數據可以來自于變化的輸入域(例如，不同的成像條件)，也可以與不同的任務相關聯(例如，細粒度的分類問題)。持續學習也被稱為終身學習[18]0，[18]1，[18]2，[18]3，[18]5，[18]4，順序學習[10]，[11]，[12]或增量學習[13]，[14]，[15]，[16]，[17]，[18]，[19]。主要的標準是學習過程的順序性質，只有一小部分輸入數據來自一個或幾個任務，一次可用。主要的挑戰是在不發生災難性遺忘的情況下進行學習:當添加新的任務或域時，之前學習的任務或域的性能不會隨著時間的推移而顯著下降。這是神經網絡中一個更普遍的問題[20]的直接結果，即穩定性-可塑性困境，可塑性指的是整合新知識的能力，以及在編碼時保持原有知識的穩定性。這是一個具有挑戰性的問題，不斷學習的進展使得現實世界的應用開始出現[21]、[22]、[23]。

為了集中注意力，我們用兩種方式限制了我們的研究范圍。首先，我們只考慮任務增量設置，其中數據按順序分批到達，一個批對應一個任務，例如要學習的一組新類別。換句話說，我們假設對于一個給定的任務，所有的數據都可以同時用于離線訓練。這使得對所有訓練數據進行多個時期的學習成為可能，反復洗刷以確保i.i.d.的條件。重要的是，無法訪問以前或將來任務的數據。在此設置中優化新任務將導致災難性的遺忘，舊任務的性能將顯著下降，除非采取特殊措施。這些措施在不同情況下的有效性，正是本文所要探討的。此外，任務增量學習將范圍限制為一個多頭配置，每個任務都有一個獨占的輸出層或頭。這與所有任務共享一個頭的更有挑戰性的類增量設置相反。這在學習中引入了額外的干擾，增加了可供選擇的輸出節點的數量。相反，我們假設已知一個給定的樣本屬于哪個任務。

其次，我們只關注分類問題，因為分類可以說是人工神經網絡最既定的任務之一，使用相對簡單、標準和易于理解的網絡體系結構具有良好的性能。第2節對設置進行了更詳細的描述，第7節討論了處理更一般設置的開放問題。

CausalVAE是一個解耦表征學習方法，其旨在發現物理世界中各種概念之間的因果關系并生成其低維表征。該工作首次采用因果關系對表征建模，并可以通過表征的結構因果模型生成反事實圖片。 該工作可應用在圖像理解上，并幫助計算機更好的發現圖片中穩定的因果表示，其可應用在下游分類，識別任務當中。另外由于該工作重建了物理世界的因果模型，可以用來對觀察數據構建模擬器，通過該模擬器可以做滿足因果的數據增強以及圖像去噪。比如在自動駕駛中，可以通過該模型的因果干預直接去除影子而不影響別的因素，從而提升自動駕駛的安全性。 在理論層面上，該文章建立了一套識別性理論，證明了CausalVAE建立了首個可以識別的，具有可解釋性的因果解耦低維表征。

//www.zhuanzhi.ai/paper/9b63efa3a0b56cd27d64b6c7bb327471

深度學習方法是最近計算機視覺快速發展的基礎。然而，這些方法往往需要昂貴的標記數據。特定于任務的模型，如分類器，并不是為了最大限度地學習一般的內部表示。此外，這些模型不能模擬數據生成過程來合成新樣本，也不能修改輸入樣本。無監督深度生成模型有可能避免這些問題。

然而，兩個主要的生成模型家族，生成對抗網絡(GAN)和變分自編碼器(VAE)，都有各自的特點問題。基于GAN的模型在架構上相對復雜，有一個識別器網絡，但通常沒有編碼器來接受輸入。此外，GAN訓練通常是不穩定的，并且容易忽略訓練分配的部分(“模式崩潰”或“模式下降”)。另一方面，VAEs往往高估分布的某些區域的方差，導致生成的圖像模糊。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

這項工作介紹和評估模型和技術，以大大減少上述問題，并生成銳利的圖像輸出與一個簡單的自動編碼器架構。這是通過兩個總體原則實現的。首先，一個合適的技術組合，從GAN模型被集成到最近引入的類似于VAE的對抗生成器-編碼器。第二，網絡的遞歸性質在幾個方面得到了利用。自動調制器代表了一類新的自動編碼器，其特征是使用隱含表示來調制解碼器層的統計信息。該網絡可以獲取多個圖像作為輸入，從中生成融合的合成樣本，輸出的一些尺度由一個輸入驅動，另一個尺度由另一個驅動，允許瞬時“風格混合”和其他新的應用。

最后，使用高斯過程框架，圖像編碼器-解碼器設置從單個圖像擴展到圖像序列，包括視頻和攝像機運行。為此，輔助圖像元數據在生成模型的潛在空間中以非參數先驗的形式被利用。這允許平滑和自由插值圖像序列。在此過程中，高斯過程和計算機視覺方法之間提供了一個優雅的連接，這意味著將兩者結合起來具有深遠的意義。

//aaltodoc.aalto.fi/handle/123456789/101686

平移的不變性為卷積神經網絡注入了強大的泛化特性。然而，我們通常無法預先知道數據中存在哪些不變性，或者模型在多大程度上應該對給定的對稱組保持不變。我們展示了如何通過參數化增強分布和同時優化網絡參數和增強參數的訓練損失來學習不變性和等方差。通過這個簡單的過程，我們可以在一個很大的擴充空間中，僅在訓練數據上，恢復圖像分類、回歸、分割和分子性質預測上的正確不變量集和范圍。

//arxiv.org/pdf/2010.11882.pdf

機器學習模型在自然語言處理中的應用最近的進展是由評估各種任務模型的基準驅動的。然而，這些覆蓋范圍廣泛的基準測試主要局限于英語，盡管人們對多語言模型的興趣越來越大，但是仍然缺少一個基準測試來全面評估這些方法對各種語言和任務的影響。為此，我們引入了多語言編碼器XTREME基準的跨語言轉換評估，這是一個多任務基準，用于評估40種語言和9個任務的多語言表示的跨語言泛化能力。我們證明，雖然英語測試的模型在許多任務上達到了人類的表現，但在跨語言遷移模型的表現上仍然有相當大的差距，特別是在句法和句子檢索任務上。在不同的語言之間也有廣泛的結果。我們發布基準測試是為了鼓勵對跨語言學習方法的研究，這種方法可以將語言知識傳遞到不同的、有代表性的語言和任務中。