亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度學習的最新發展涵蓋了廣泛的任務，如圖像分類、文本翻譯、圍棋對弈和蛋白質折疊。所有這些成功的方法都依賴于一種基于梯度的學習算法，通過大量數據和顯著的計算能力來訓練模型。盡管這種優化算法是共享的，但深度學習依賴于不同的模型架構來處理訓練數據，具體取決于數據的模式：多層感知器用于向量，卷積神經網絡用于圖像，循環神經網絡用于文本和序列，圖神經網絡用于圖。最近加入這一模型家族的是Vaswani等人（2017）為文本翻譯開發的Transformer架構。這種架構的碎片化景觀迫使從業者根據數據模式選擇模型并學習其特性。當問題涉及多種數據模式（如圖像字幕）時，這種情況尤其不利。一種更系統的方法是采用一種單一的架構來處理所有模式，并從訓練數據中直接學習輸入的結構。

本工作采用自然語言處理和視覺之間的橫向方法，展示了最初設計用于處理文本的Transformers也能處理圖像。首先，我們展示了一種自注意力層——Transformer的構建塊——能夠證明地表達卷積，并通過實驗證明淺層的Transformers確實學習了類似于卷積神經網絡的局部平移濾波器。我們的證明依賴于注意力頭模仿卷積核的感受野。我們研究了這些注意力頭的交互方式，并提出了一種新的多頭機制，利用跨頭提取的共享表示。本論文提出了兩種適應于特定圖像類型的Transformer模型。我們介紹了一種旋轉等變注意力層，適合處理那些方向信息無關的圖像，如衛星圖像或生物組織的顯微圖像。最后，我們通過提取圖像的顯著補丁并以較小的內存占用處理它們來調整Transformers處理大分辨率圖像。我們的工作及后續發展使Transformers成為處理圖像的標準架構。

深度學習最近在許多具有挑戰性的任務上取得了巨大進展，例如翻譯（Vaswani et al., 2017）、文本理解（Devlin et al., 2019）、文本生成（Brown et al., 2020）、圖像分類（Dosovitskiy et al., 2021）、蛋白質折疊（Jumper et al., 2021），以及最近的圖像生成（Ramesh et al., 2022）。這些問題涉及不同的數據模式：文本、圖像、圖或點云。解決機器學習問題的關鍵決策之一是選擇適合輸入數據模式的模型架構。從業者會實現卷積神經網絡（LeCun et al., 1989）來處理圖像，使用循環神經網絡（Rumelhart et al., 1986）來處理文本和序列，用圖神經網絡（Defferrard et al., 2016；Kipf 和 Welling，2017）來處理圖。

Vaswani等人（2017）引入了一種新的架構——Transformer，并將其應用于神經機器翻譯。Transformer由編碼器和解碼器組成，這兩部分都是由堆疊的注意力層構成的。注意力機制的核心最初由Bahdanau等人（2015）提出，用于跨語言對齊句子。注意力層計算輸入不同部分之間的交互系數，并輸出重新加權的表示。注意力分數的計算使用內容（單詞的意義）、輸入的位置（單詞的順序）或兩者的結合。起初，注意力機制與卷積層結合使用，以獲得兩種架構的好處：卷積提取局部模式，而全局注意力重新加權允許找到發生在更遠距離的模式，例如建模德語中模態短語末尾主語和動詞之間的交互。然而，Vaswani等人（2017）展示了可以消除卷積層，只依賴于注意力。

通過在翻譯中超越循環神經網絡（RNNs），Transformers成為處理文本的事實標準架構：從翻譯（Vaswani et al., 2017）到文本理解（Devlin et al., 2019），甚至文本生成（Brown et al., 2020）。但由于這種架構的多功能性，它的成功也擴展到了其他數據模式。Transformer的一個關鍵特性是內容和輸入的位置/結構是解耦的。這對于超越文本處理并允許Transformers處理其他結構的數據（如圖像、視頻、圖和蛋白質）至關重要。輸入不僅可以是單詞表示的序列，還可以是像素的二維圖（圖像）或三維分子中的原子。因此，一些Transformers專門用于處理圖（Dwivedi和Bresson，2020）、蛋白質（Jumper et al., 2021）或視頻（Sun et al., 2019）。

本論文聚焦于應用于圖像視覺任務的Transformers。我們在第二章中證明，除了應用于文本，Transformer架構也可以類似于卷積神經網絡處理圖像。確實，我們展示了一種自注意力層——Transformer架構的主要構建塊——在嚴格意義上比卷積層更具表達力。每個注意力頭（注意力機制的并行重復）可以映射到卷積濾波器感受野的一個像素上，以將任何卷積核重新參數化為自注意力層。然而，表達力并不能提供完整的解釋，因為即使一個層能夠表達一個函數，這樣的權重也可能無法通過如隨機梯度下降這樣的學習算法找到。因此，我們通過實驗驗證，一堆自注意力層確實能從展現平移等變性的噪聲數據中學習計算卷積。

我們在圖像上應用的Transformer（Cordonnier等人，2020b）在Dosovitskiy等人（2021）對更大圖像的實驗中表現非常好，他們為這種架構命名為Vision Transformer（ViT）。我們在CIFAR-10數據集（Krizhevsky等人，2009b）上對尺寸為32×32的圖像進行的實驗工作被Dosovitskiy等人（2021）擴展到224×224的圖像，這些圖像來自JFT-300M（一個私有數據集）或ImageNet（Russakovsky等人，2015）。ViT架構還處理16×16的補丁，并通過使用絕對位置編碼而非相對位置編碼進一步向純Transformers邁進。高數據量訓練允許純Transformers大致學習平移等變濾波器，并證實Transformers類似于卷積處理圖像。我們在第二章的伴隨網站上可視化了ViT早期層的注意力分數的平移局部化濾波器。

如上所述，多重注意力頭在自注意力中編碼卷積的感受野方面起著關鍵作用。在第三章中，我們研究了在文本和圖像上訓練的Transformers中注意力頭的交互方式。我們的實驗表明，不同的頭依賴于相似的模式（位置或內容）來計算注意力分數。我們提出了一種不同于串聯的機制來復制注意力頭。協作注意力通過共享中間表示來利用頭之間共享的信息。這種重新參數化可以應用于已經訓練好的Transformers，或在訓練時使用。 在最后兩章中，我們將Transformers適應于圖像中存在的某些特定結構：生物圖像中的旋轉等變性和高分辨率圖像中的局部化信息。

在第四章中，我們考慮那些角度方向不包含任何信息的圖像。例如，衛星圖像或細胞顯微圖像的處理應該與拍攝圖像的角度無關。這一特性稱為旋轉等變性（或不變性）。我們約束Transformer對某些對稱性（例如旋轉或鏡像）等變，這樣濾波器可以在所有方向上學習一次。我們的工作建立在Cohen和Welling（2016）的開創性論文基礎上，他們將對稱性強加于卷積神經網絡。我們提供了一種純注意力提升層和一種對旋轉等變的群注意力層。

最后，第五章討論包含局部化信息的高分辨率圖像，例如自動駕駛汽車的圖像，其中交通標志的信息應是可讀的。局部化信息需要以高分辨率處理，這阻止了將圖像重新縮放到224×224像素的標準技術。另一方面，通過Vision Transformer以高分辨率處理整個圖像需要過多的內存和計算資源，這超出了我們當前硬件的能力。相反，我們改編了Katharopoulos和Fleuret（2019）的工作，讓Transformer處理圖像的稀疏版本，其中只有“感興趣”的補丁以高分辨率處理。由于一種新穎的層能夠以可微分的方式提取最顯著的補丁，我們的模型可以端到端地進行訓練（Berthet等，2020）。

組織結構。上述貢獻將在接下來的四章中詳細描述。每章對應于作者撰寫的一篇論文。各章節以工作總結和使用CRediT框架（Brand等，2015）列出的作者貢獻開始。所有章節的附錄集中在最后。

為了在關鍵安全領域如醫療或自動駕駛中應用神經網絡，我們需要能夠分析它們對抗對抗性攻擊的魯棒性。這些攻擊通過添加小的、精心選擇的擾動來擾亂自然圖像，這些擾動對人眼來說幾乎是察覺不到的。訓練有素的神經網絡盡管在訓練和驗證準確度很高，但經常會錯誤分類許多這些受擾動的圖像。在本論文中，我們提出了幾種新方法，旨在分析訓練有素的神經網絡對抗對抗性攻擊的魯棒性。

在第一部分中，我們改進了現有方法以更高效地生成對抗性樣本。我們注意到，過去在這一領域的工作依賴于忽略問題和數據固有結構的優化方法，或完全依賴于學習且經常無法生成難以找到的對抗性樣本的生成方法。為了緩解這些不足，我們提出了一種基于圖神經網絡（GNN）的新型獨立攻擊，它利用了這兩種方法的優點。我們的GNN計算下降方向以指導迭代程序生成對抗性樣本。

我們的下一個貢獻靈感來源于觀察到許多最先進的對抗性攻擊需要多次隨機重啟才能生成對抗性樣本。每次執行重啟時，我們都忽略了之前所有不成功的嘗試。為了緩解這一不足，我們提出了一種從錯誤中學習的方法。具體來說，我們的方法使用GNN作為注意力機制，大大減少了未來攻擊迭代的搜索空間。 對于我們的最后一個貢獻，我們注意到即使存在對抗性樣本，對抗性攻擊也可能失敗。因此，我們關注形式化的完整神經網絡驗證，它返回一個聲音完整的魯棒性證明。近年來，分支定界（BaB）框架已經被用于深度學習的形式驗證。BaB的主要計算瓶頸是下界的估計。以往在這一領域的工作依賴于傳統的優化算法，其效率不足已限制了它們的應用范圍。為了緩解這一不足，我們提出了一種基于圖神經網絡的新方法。我們的GNN旨在計算凸松弛的對偶解決方案，從而提供一個有效的下界，如果為正，則證明了魯棒性。

 深度神經網絡越來越多地被用于計算機視覺任務，這得益于它們的強大性能。然而，它們的訓練需要大規模的標記數據集，這些數據集的準備工作非常耗時。半監督學習（SSL）通過從標記和未標記數據的混合中學習提供了一個解決方案。雖然大多數最先進的SSL方法遵循確定性方法，但對其概率對應物的探索仍然有限。這一研究領域非常重要，因為概率模型可以提供對現實世界應用至關重要的不確定性估計。例如，由于未標記數據中潛在的偽標簽錯誤，接受SSL訓練的模型可能不及接受監督學習訓練的模型，這些模型在實踐中更可能做出錯誤的預測。特別是在醫學圖像分析和自動駕駛等關鍵領域，決策者必須了解模型的局限性以及可能發生錯誤預測的時機，這些洞察通常由不確定性估計提供。此外，當使用未標記樣本進行訓練時，不確定性還可以作為過濾不可靠偽標簽的標準，從而可能提高深度模型的性能。本論文進一步探索了SSL的概率模型。依靠廣泛使用的貝葉斯近似工具——蒙特卡洛（MC）dropout，我提出了一個新的概率框架，即生成式貝葉斯深度學習（GBDL）架構，用于半監督醫學圖像分割。這種方法不僅緩解了以前方法中發現的潛在過擬合問題，而且在四個評估指標中都取得了更優的結果。與其經驗設計的前身不同，GBDL由完整的貝葉斯公式支撐，提供了理論上的概率基礎。承認MC dropout的局限性，我引入了NP-Match，一種新的大規模半監督圖像分類的概率方法。通過在不同的挑戰性設置中進行廣泛的實驗，包括標準的、不平衡的和多標簽的半監督圖像分類，我們評估了NP-Match的泛化能力。根據實驗結果，NP-Match不僅與以前的最先進方法相比有優勢，而且比基于MC-dropout的模型更快地估計不確定性，從而提高了訓練和測試的效率。最后，我提出了NP-SemiSeg，一種新的半監督語義分割的概率模型。這種靈活的模型可以與各種現有的分割框架集成，以進行預測和估計不確定性。實驗表明，NP-SemiSeg在準確性、不確定性量化和速度方面都超過了MC dropout。

 機器學習領域中，歸納偏差的研究是最為全面的主題之一。歸納偏差不僅定義了學習的效率和速度，還定義了特定機器學習系統最終能學到什么。現代機器學習的歷史與心理學、認知科學和神經科學緊密相連，因此許多最有影響力的歸納偏差直接來源于這些領域。例子包括卷積神經網絡，其靈感來自于自然視覺系統的組織結構，以及旨在模擬理想化抽象神經回路的人工神經網絡本身。然而，鑒于近年來機器學習的巨大成功，人們更多地關注了擴展機器學習系統所面臨的工程挑戰，而對其歸納偏差的關注較少。本論文將嘗試采取相反的方向。為此，我們將覆蓋自然相關的學習算法，以及神經表示中固有的自然結構。我們將構建模仿這些自然屬性的人工系統，并將展示它們如何有利于計算，并可能幫助我們更好地理解自然智能本身。

超分辨率在醫學成像中起著至關重要的作用，因為它提供了一種在不增加額外獲取成本的情況下實現高空間分辨率的替代方法。在過去的幾十年中，深度神經網絡的迅速發展確保了高重構保真度和逼真的超分辨率圖像生成。然而，在醫學領域仍然存在挑戰，這需要新的網絡架構、訓練技巧和SR圖像評估技術。本論文專注于對各種具有挑戰性放大比例的醫學圖像進行監督單圖像超分辨率任務的主干網絡。除了整合為自然圖像設計的廣泛方法外，我還在基于卷積神經網絡、生成對抗網絡和視覺變換器的端到端框架中探討漸進學習、對抗性學習和元學習，以實現穩健的醫學圖像超分辨率。除了一般的圖像質量評估外，還實施了針對特定任務的客觀和主觀評價指標，以進行全面的比較。具體而言，所提出的方法包含三個方向，實現了在多種醫學圖像模式上的最先進性能。

首先，我在具有挑戰性放大比例（即x4）的超分辨率任務中實施漸進和對抗性學習，以產生感知逼真的紋理。我提出了一個基于CNN的多尺度超分辨率圖像生成器，將復雜的映射問題分解為更簡單的子問題，以避免過度平滑結構信息并在超分辨率圖像中引入非逼真的高頻紋理。此外，它還涉及到一個以病變為中心的訓練策略和一個基于Wasserstein距離的高級對抗性損失，以實現更高效和穩定的訓練。這種提出的方法顯著提高了生成圖像的感知質量，在大腦和心臟磁共振圖像的實驗中實現了與經驗豐富的放射科醫生的地面真實高分辨率圖像相當的主觀分數。它在2019年競爭了醫學圖像超分辨率的最先進的感知質量，并成為基于GAN的醫學圖像研究的先驅，具有持久的影響。

其次，我將元學習和遷移學習引入到GANs中，以實現具有任意比例（例如（1,4]）的高效和穩健的醫學圖像超分辨率。在后上采樣框架中，我實現了一個基于EDSR的輕量級網絡，用于高效的低分辨率特征提取，以及一個用于無尺度特征圖上采樣的權重預測模塊。與現有的SISR網絡相比，該框架支持非整數放大，沒有預處理/后處理的不良影響。具體而言，這種方法具有比SOTA方法少得多的參數，實現了相當的重構精度和客觀感知質量性能。此外，我還將一個醫學圖像數據集（即大腦MRI）的預訓練SR模型穩健地遷移到各種新的醫學模式（例如胸部CT和心臟MR）上，只需進行少量的微調步驟。此外，還進行了詳盡的消融研究，以討論感知-失真權衡，并說明殘余塊連接、超參數、損失組件和對抗性損失變體對醫學圖像超分辨率性能的影響。

最后，我提出了一個具有殘余密集連接和局部特征融合的高效視覺變換器，以實現醫學模式的優越單圖像超分辨率性能。由于信息流的改進，這種CNN-變換器混合模型具有更少的訓練計算要求和先進的表示能力。同時，我實施了一個具有手動控制的通用感知損失，以通過結合醫學圖像分割的先驗知識來改善所需的圖像質量。與四個公共醫學圖像數據集上的最先進方法相比，所提出的方法實現了七種模式中六種模式的最佳PSNR分數，參數僅為SwinIR（最近的SOTA方法）的38％。另一方面，基于分割的感知損失平均增加了+0.14 dB PSNR，用于流行的超分辨率網絡，無需額外的訓練成本。此外，我還討論了視覺變換器在CNN和GAN之上表現出色的潛在因素，以及在全面的消融研究中網絡和損失函數組件的影響。

總之，這篇論文代表了我在應用深度神經網絡進行穩健的醫學圖像超分辨率任務方面的研究貢獻，包括高效的網絡架構、廣泛適用的訓練技術和具有臨床意義的圖像質量評估。在出版時，這些提出的方法在各種公共和私有醫學圖像數據集的模擬實驗中表現出最先進的性能。這些算法有可能在醫院中應用于先進的臨床流程，具有適當的特定案例修改和補充技術。此外，超分辨率的新方法和發現還可能有助于其他低級圖像處理任務，而討論和消融研究提供了令人興奮的未來研究方向。

受寬神經網絡（NNs）理論的啟發，核學習和特征學習近期作為兩個范式浮現出來，通過它們我們可以實際理解大規模深度學習系統的復雜行為。在文獻中，它們通常被描述為二分法的兩個對立面，各自具有優點和缺點：核學習與經過深入研究的機器學習技術（如核方法和高斯過程）建立聯系，而特征學習則承諾捕捉更多豐富而尚未解釋的，獨特于神經網絡的屬性。在這篇論文中，我們介紹了三項研究，研究結合了來自兩個角度的見解來研究神經網絡的性質，不僅強調它們的差異，而且強調共同點。我們首先回顧了有關深度學習理論的相關文獻，重點是寬神經網絡的研究。這為核學習和特征學習的討論提供了背景，基于此，我們繼續描述我們的貢獻。首先，我們研究了寬神經網絡集合與貝葉斯推斷之間的關系，利用核學習與高斯過程之間的聯系，并提出了一種修改，以解釋神經網絡函數在初始化時缺失的方差，從而使我們訓練過的深度集合具有貝葉斯解釋。接下來，我們結合核學習和特征學習來展示特征核的適用性，即通過最終層神經網絡特征的內積引導的核，作為知識蒸餾的目標，其中人們尋求使用強大的教師模型來提高弱學生模型的性能。最后，我們探討自監督學習中折疊特征和白化特征之間的差距，強調特征核中特征值的衰減率作為一項關鍵量，它彌合了這一差距，并影響下游泛化性能，特別是在標記數據稀缺的情況下。我們以討論我們的貢獻，包括局限性和未來展望，作為結論。

盡管深度學習方法在提高醫學圖像分割的最新水平準確性方面取得了近期的成功，但一些主要的限制仍然限制了它們在診所中的應用。深度學習基礎分割方法的一個主要限制是它們對圖像采集協議和在訓練數據集中未被代表或者代表不足的成像解剖的變化的魯棒性不足。這意味著需要向訓練數據集中添加新的手動分割圖像以更好地覆蓋圖像的變化。然而，在大多數情況下，醫學圖像的手動分割需要高技能的評估者并且耗時，使得這種解決方案的成本過高。即使從不同來源可獲得手動分割的圖像，它們也很少針對完全相同的感興趣區域進行注釋。這對當前依賴于監督學習的最新深度學習分割方法構成了額外的挑戰，因為它們需要所有的感興趣區域對所有用于訓練的圖像進行分割。本論文引入了新的數學和優化方法來減輕這些限制。我們的貢獻有三個方面。我們引入了標簽集損失函數的數學框架。這是一個無限大的損失函數家族，可用于訓練使用部分注釋的圖像的深度神經網絡，也就是對一些但不一定是所有的感興趣區域進行了分割的圖像，或者是對一些感興趣區域的分割進行了分組的圖像。我們提出了一種將任何現有的損失函數轉換為標簽集損失函數的方法，此外，我們還提出了一種新的標簽集損失函數，我們發現它能提高分割的準確性。

我們引入了一種使用分布魯棒優化（DRO）訓練深度神經網絡的優化算法。我們建議使用DRO來改善在訓練數據集中代表不足的人群上訓練后的深度神經網絡的泛化能力。當應用于深度神經網絡時，我們正式證明了算法的收斂性。我們還對DRO和最壞情況性能最大化之間的聯系給出了數學洞見。我們基于Dempster-Shaffer理論提出了一種可靠的深度學習醫學圖像分割方法。可靠的AI是一個在社會學中越來越多地被討論的概念，在安全部署深度學習等新興技術的指南中也有涉及。我們提出了第一個具體的可靠AI醫學圖像分割的數學框架和實現。我們的方法旨在使深度學習分割算法根據專家知識衍生出來的標準（稱為信任契約）而變得可靠，這些標準符合放射科專家在手頭的分割任務中的期望。我們通過對幾個以胎兒大腦3D T2w MRI分割為重點的分割任務進行說明和評估，提出了這些方法。胎兒大腦MRI的分割對于研究正常和異常的胎兒大腦發育至關重要。可靠的分析和評估胎兒大腦結構也可能支持中樞神經系統病理診斷，胎兒手術的患者選擇，結果的評估和預測，因此也有助于對父母進行咨詢。胎兒大腦3D T2w MRI分割呈現多種挑戰，這些挑戰與本論文旨在減輕的當前深度學習算法的限制相一致。手動分割的胎兒大腦3D T2w MRI是稀缺的，他們的注釋水平也有所不同。臨床中心之間使用的T2w MRI協議存在變化。最后但并非最不重要的，胎兒大腦解剖在孕齡和正常與異常的胎兒大腦解剖之間存在驚人的變化。

在過去的十年中，自然語言處理(NLP)系統幾乎完全建立在大型神經模型的基礎上。由于這些模型的能力，可行的任務范圍擴大了，應用的空間也擴大了，包括具有現實世界影響的子領域，如事實核查、假新聞檢測和醫療決策支持。這些模型的規模和非線性的增加導致了不透明，阻礙了機器學習從業者和外行用戶理解其內部原理并從其預測中獲得意義或信任的努力。可解釋人工智能(XAI)和更具體的可解釋NLP (ExNLP)領域通過提供對人類用戶有意義的文本解釋，已成為糾正這種不透明度并確保模型在高風險場景中的可靠性和可信性的活躍領域。可以檢查為其個人預測提供理由的模型，以調試、量化偏差和公平性、理解模型行為以及確定魯棒性和隱私(Molnar 2019)。無論任務模式如何，文本解釋是機器學習數據集中的主要解釋形式。因此，本文涵蓋了自然語言任務解釋和自然語言任務解釋兩個方面。本文提出了兩種語義定義下的模型解釋質量評估測試集:忠實度(faithfulness)和人類可接受性(human acceptability)。我使用這些評估方法來研究兩種解釋形式和三種模型架構的效用。最后，我提出了兩種方法來提高解釋質量——一種增加了忠實突出解釋的可能性，另一種提高了人類對自由文本解釋的可接受性。本文努力增加在實踐中部署人工智能系統時積極使用和產生結果的可能性。

機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡，由連續表示層組成，其參數通過梯度下降在大規模數據集上進行優化。

深度神經網絡在許多任務上取得了卓越的性能，如物體識別、語言理解和自動駕駛。然而，他們仍然在推理任務中掙扎，這些任務通常需要操作符號并將多個步驟組合起來，例如，求解數學方程或編寫計算機程序。在這篇論文中，我們的目標是彌合這一差距，并教機器以精確、系統、可解釋和魯棒的方式進行推理，以應對現實環境中的模糊性。**本文采用神經符號方法，結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下，主要的機器學習方法很靈活，但眾所周知難以解釋，需要大量數據，并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言，本文從兩個角度研究了神經符號推理。首先，將機器學習應用于與符號推理相關的任務，如自動定理證明(第2章)。其次，將符號推理啟發的歸納偏差引入機器學習模型，以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構，(2)在適當的抽象水平上進行推理，以及(3)明確的、推理的組合表示，如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958

深度學習的出現為許多基本的計算機視覺任務帶來了巨大的進展，如分類、檢測和分割，這些任務描述了圖像和視頻中物體的類別和位置。在監督學習方面也做了很多工作--教機器使用人類注釋的標簽來解決這些任務。然而，機器只知道某些物體的名稱和位置是不夠的；許多任務需要對復雜的物理世界有更深入的了解--例如，物體與周圍環境的互動（通常通過創造陰影、反射、表面變形和其他視覺效果）。此外，在嚴重依賴人類監督的情況下，訓練模型來解決這些任務，成本很高，而且不切實際，難以推廣。因此，本論文探索了兩個方向：首先，我們的目標是超越分割，解決一個全新的任務：將物體與其相關的視覺效果（如陰影、反射或附著的物體）分組；其次，我們以自我監督的方式解決視頻物體分割的基本任務，而不依賴任何人類注釋。

//ora.ox.ac.uk/objects/uuid:6c722b16-1a13-4ae1-aebb-fb7026820a64

為了將物體與其相關的視覺效果自動分組，我們采用了一種分層的方法：我們的目標是將視頻分解成特定的物體層，其中包含所有與物體一起移動的元素。這些層的一個應用是，它們可以以新的方式重新組合，以產生一個高度真實的、經過改變的原始視頻版本（例如，刪除或復制物體，或改變其運動的時間）。這里的關鍵是利用卷積神經網絡的自然屬性來獲得輸入視頻的分層分解。我們設計了一個神經網絡，通過對視頻的過度擬合，為視頻輸出層。我們首先介紹了一種針對人類的方法，然后展示了如何將其適應于任意的物體類別，如動物或汽車。我們的第二個任務是視頻物體分割：為視頻中的物體產生像素級的標簽（段）。我們以前的工作是在單個視頻上進行優化，而在這里，我們采取了一種數據驅動的方法，以自我監督的方式對大量的視頻語料庫進行訓練。我們考慮了兩種不同的任務設置：（1）半監督物體分割，即為單一幀提供初始物體掩碼，該方法必須將該掩碼傳播到其余幀；（2）移動物體發現，即不提供掩碼，該方法必須分割突出的移動物體。我們探討了兩種不同的輸入流。RGB和光流，并討論它們與人類視覺系統的聯系。