深度學習的出現為許多基本的計算機視覺任務帶來了巨大的進展，如分類、檢測和分割，這些任務描述了圖像和視頻中物體的類別和位置。在監督學習方面也做了很多工作--教機器使用人類注釋的標簽來解決這些任務。然而，機器只知道某些物體的名稱和位置是不夠的；許多任務需要對復雜的物理世界有更深入的了解--例如，物體與周圍環境的互動（通常通過創造陰影、反射、表面變形和其他視覺效果）。此外，在嚴重依賴人類監督的情況下，訓練模型來解決這些任務，成本很高，而且不切實際，難以推廣。因此，本論文探索了兩個方向：首先，我們的目標是超越分割，解決一個全新的任務：將物體與其相關的視覺效果（如陰影、反射或附著的物體）分組；其次，我們以自我監督的方式解決視頻物體分割的基本任務，而不依賴任何人類注釋。

//ora.ox.ac.uk/objects/uuid:6c722b16-1a13-4ae1-aebb-fb7026820a64

為了將物體與其相關的視覺效果自動分組，我們采用了一種分層的方法：我們的目標是將視頻分解成特定的物體層，其中包含所有與物體一起移動的元素。這些層的一個應用是，它們可以以新的方式重新組合，以產生一個高度真實的、經過改變的原始視頻版本（例如，刪除或復制物體，或改變其運動的時間）。這里的關鍵是利用卷積神經網絡的自然屬性來獲得輸入視頻的分層分解。我們設計了一個神經網絡，通過對視頻的過度擬合，為視頻輸出層。我們首先介紹了一種針對人類的方法，然后展示了如何將其適應于任意的物體類別，如動物或汽車。我們的第二個任務是視頻物體分割：為視頻中的物體產生像素級的標簽（段）。我們以前的工作是在單個視頻上進行優化，而在這里，我們采取了一種數據驅動的方法，以自我監督的方式對大量的視頻語料庫進行訓練。我們考慮了兩種不同的任務設置：（1）半監督物體分割，即為單一幀提供初始物體掩碼，該方法必須將該掩碼傳播到其余幀；（2）移動物體發現，即不提供掩碼，該方法必須分割突出的移動物體。我們探討了兩種不同的輸入流。RGB和光流，并討論它們與人類視覺系統的聯系。

//searchworks.stanford.edu/view/14230541

自動駕駛汽車將在安全和效率方面給交通帶來革命性的變化。然而，自動駕駛系統在復雜的人類環境中仍然面臨著挑戰，比如在雜亂、動態的城市環境中駕駛自動駕駛汽車。在道路上部署自動駕駛系統的一個關鍵障礙是對人類行為的理解、預測和推斷。自主感知為機器人建立了對環境的總體理解。這包括在空間和時間上推斷人類行為。由于人類的行為差異巨大，目標變化迅速，因此很難對其進行建模。此外，在雜亂的環境中，存在計算和可見性的限制。然而，人類也擁有令人滿意的能力，例如他們在觀察到的環境之外進行泛化的能力。盡管基于學習的系統近年來在建模和模仿人類行為方面取得了成功，但有效地獲取這些系統的數據和模型的不確定性仍然是一個開放的問題。本文提出了在人類環境中不確定性感知自主感知系統的算法改進。我們在時空機器人感知方面做出了系統層面的貢獻，從而推斷出人類行為，并在軌跡預測的不確定性感知機器學習模型方面取得了基礎性進展。這些貢獻使機器人系統能夠對人類行為做出不確定性和具有社會意識的時空推斷。 傳統的機器人感知是以物體為中心的模塊化的，包括物體檢測、跟蹤和軌跡預測三個階段。由于環境中的部分遮擋，這些系統可能會在預測階段之前失效。因此，我們提出了一種從以地圖為中心的占用網格表示來進行時空環境預測的端到端范式。占用網格對部分遮擋具有魯棒性，可以處理場景中任意數量的人類智能體，并且不需要關于環境的先驗信息。我們研究了計算機視覺技術在這一背景下的性能，并開發了新的機制，以適應時空環境預測的任務。在空間上，機器人還需要對其環境中的全遮擋智能體進行推理，這可能是由于傳感器的限制或道路上的其他智能體阻礙了視野。人類擅長從觀察到的社會行為中推斷他們的經驗。我們從人類的直覺中汲取靈感，填補了機器人地圖上傳統傳感器無法觀察到的部分。我們通過學習從觀察到的人類駕駛員行為到前方環境的多模態映射來推斷這些閉塞區域的占用率，從而將人視為傳感器。該系統處理多個觀察智能體，以最大限度地告知機器人周圍的占用地圖。 為了安全地將人類行為建模集成到機器人自主堆棧中，感知系統必須有效地考慮不確定性。在基于學習的模型中，人類行為通常使用離散潛空間來建模，以捕獲分布中的多模態。例如，在一個軌跡預測任務中，對于一個過去的軌跡，可能存在多個有效的未來預測。為了準確地模擬這種潛在分布，潛在空間需要足夠大，這導致下游任務(如路徑規劃)的可處理性問題。我們通過提出一種離散潛在樣本空間的稀疏化算法來解決這個問題，該算法可以在不犧牲模型性能的情況下應用于事后處理。我們的方法成功地平衡了多模態和稀疏性，實現了有效的數據不確定性估計。除了對數據的不確定性進行建模，基于學習的自主系統必須意識到它們的模型不確定性或它們不知道的東西。標記現實世界中遇到的分布外或未知場景，可能有助于下游自治堆棧組件和工程師進行進一步的系統開發。盡管機器學習社區在小型基準問題的模型不確定性估計方面非常豐富，但在復雜的基于學習的機器人系統中估計這種不確定性方面的工作相對較少。本文提出在軌跡預測任務的背景下，在可解釋的低維潛空間上有效學習模型的不確定性。本文提出的算法在真實的自動駕駛數據上進行了驗證，并以最先進的技術為基準。我們表明，在建模相關的不確定性時，從人類層面的推理中汲取靈感，可以為自主感知系統的環境理解提供信息。在這篇論文中所做的貢獻是向不確定性和社會意識的自治系統邁出的一步，它可以在人類環境中無縫地運行。

盡管最近在深度學習方面取得了進展，但大多數方法仍然采用豎井式的解決方案，即為每個單獨的任務訓練一個單獨的神經網絡。然而，許多現實世界的問題需要同時解決許多任務。例如，一輛自動駕駛汽車應該能夠檢測場景中的所有物體，對其進行定位，估計其距離和軌跡等，以便在其周圍環境中安全導航。類似地，用于商業應用的圖像識別系統應該能夠標記產品、檢索類似的商品、提出個性化的建議等，以便為客戶提供盡可能好的服務。這類問題促使研究人員建立多任務學習模型。多任務學習的核心思想是并行學習多個任務，同時共享學習到的表示。與單任務情況相比，多任務網絡具有許多實際的優點，單任務情況下，每個單獨的任務由自己的網絡單獨解決。首先，由于層的共享，產生的內存占用大大減少。其次，由于它們避免在共享層中重復計算特征，每個任務一次，它們顯示出提高的推理速度。第三，如果相關的任務共享互補信息，或者作為一個正則化器，它們有可能提高性能。

在構建多任務學習模型時，我們面臨著兩個重要的挑戰。首先，我們需要想出能夠處理多個任務的神經網絡架構。其次，我們需要為共同學習任務制定新的訓練方案。特別是，由于我們并行地優化多個目標，一個或多個任務可能會開始主導權重更新過程，從而阻礙模型學習其他任務。在這份手稿中，我們在視覺場景理解的背景下鉆研了這兩個問題。我們提出了兩種新的模型類型來解決體系結構問題。首先，我們探索了分支多任務網絡，其中神經網絡的更深層次逐漸成長為更具體的任務。我們介紹了一種有原則的方法來自動構建這樣的分支多任務網絡。構造過程將可以用一組相似特征來解決的任務組合在一起，同時在任務相似性和網絡復雜性之間進行權衡。通過這種方式，我們的方法生成的模型可以在性能和計算資源量之間做出更好的權衡。

其次，我們提出了一種新的神經網絡結構，用于聯合處理多個密集的預測任務。其關鍵思想是從多個尺度上對其他任務的預測中提取有用信息，從而提高對每個任務的預測。包含多個尺度的動機是基于這樣的觀察:在某個尺度上具有高相似性的任務不能保證在其他尺度上保持這種行為，反之亦然。在密集標記的兩個流行基準上進行的廣泛實驗表明，與之前的工作不同，我們的模型提供了多任務學習的全部潛力，即更小的內存占用，減少的計算數量，以及更好的性能w.r.t.單任務學習。此外，我們還考慮了多任務學習優化問題。我們首先分析幾種平衡任務學習的現有技術。令人驚訝的是，我們發現了這些工作之間的一些差異。我們假設，這可能是由于多任務學習缺乏標準化的基準，不同的基準受益于特定的策略。基于這個結果，我們然后分離最有希望的元素，并提出一組啟發式方法來平衡任務。啟發式具有實際性質，并在不同的基準測試中產生更魯棒的性能。

在最后一章中，我們從另一個角度來考慮場景理解的問題。文獻中描述的許多模型都受益于有監督的預訓練。在這種情況下，在轉移到感興趣的任務之前，模型首先在一個更大的帶注釋的數據集(如ImageNet)上進行預訓練。這使得模型能夠很好地執行，即使是在只有少量標記示例的數據集上。不幸的是，有監督的預訓練依賴于帶注釋的數據集本身，這限制了它的適用性。為了解決這個問題，研究人員開始探索自監督學習方法。我們以對比學習為基礎來回顧最近流行的作品。首先，我們展示了現有的方法，如MoCo可以在不同的數據集上獲得穩健的結果，包括以場景為中心的數據、長尾數據和特定領域的數據。其次，我們通過增加額外的不變性來改進學習的表示。這一結果直接有利于許多下游任務，如語義分割、檢測等。最后，我們證明了通過自監督學習所獲得的改進也可以轉化為多任務學習網絡。綜上所述，本文提出了幾個重要的貢獻，以改進多任務學習模型的視覺場景理解。創新集中在改進神經網絡結構、優化過程和訓練前方面。所有方法都經過了各種基準測試。該代碼公開發布://github.com/SimonVandenhende。

空間數據的精確統計分析在許多應用中都很重要。如果不能正確地解釋空間自相關，可能會導致錯誤的結論。與此同時，空間數據集不斷增長的規模帶來了巨大的計算挑戰，因為許多空間分析的標準方法都被限制在幾千個數據點上。

在本論文中，我們探討了高斯馬爾可夫隨機場(GMRFs)如何用于可擴展的空間數據分析。GMRFs與常用的高斯過程密切相關，但具有稀疏性，這使得它們在計算時間和內存方面都很便宜。貝葉斯框架使GMRF作為一個空間先驗，包含了在空間上平滑變化的假設，并給出了一個原則的方法來估計參數和傳播不確定性。

我們開發了一種新的算法，可以將GMRF先驗應用于功能磁共振成像(fMRI)數據中固有的大腦活動，并進行數百萬次觀察。我們表明，我們的方法比以前的工作更快，更準確。提出了一種對后驗不確定性進行估計的逆精度矩陣(即協方差矩陣)中選定元素的近似方法。此外，我們在GMRFs和deep convolutional neural networks之間建立了一個鏈接，這個鏈接已經成功應用于無數的機器學習圖像任務中，形成了一個deep GMRF模型。最后，我們展示了GMRFs如何用于實時機器人搜索和救援行動，以建模受傷人員的空間分布。

//liu.diva-portal.org/smash/record.jsf?pid=diva2%3A1433819&dswid=-2934

空間統計處理描述存在于跨空間測量的數據中的統計模式。以空間位置作為參考的數據在廣泛的領域中是常見的和自然產生的。許多應用是在地理范圍內進行的，例如描述動植物的分布、疾病的傳播或城市中房價的變化。空間數據的一個重要方面是，附近的測量結果往往比距離較遠的更相似，這可以被描述為空間自相關。同一物種的植物更經常發現彼此接近，和房子往往賣類似的價格在同一地區的其他房子，而不是在其他地區的房子。在分析空間數據時，正確地考慮這些依賴關系是得出正確結論和做出可信預測的關鍵。

本文的目的是為了使貝葉斯分析能夠應用于醫學圖像等大尺度空間數據的空間先驗。許多應用需要分層的、結構化的、靈活的貝葉斯空間模型來恰當地描述數據，正確地傳播不確定性，并得出正確的結論。我們通過開發貝葉斯推理的快速算法來解決這個問題，并在幾個應用中展示了它們的性能。

論文分為兩個部分，第一部分是對研究領域的基本介紹，第二部分是研究論文的集合。本章以對這些文章的總結結束。在第二章中，我們回顧了貝葉斯和空間統計模型，特別關注了GMRFs。第三章介紹了貝葉斯推理的方法。第四章介紹了fMRI數據的統計分析，特別是空間先驗。第五章總結了本文的研究成果，并對未來的研究方向進行了展望。

導航是移動機器人所需要的最基本的功能之一，允許它們從一個源穿越到一個目的地。傳統的辦法嚴重依賴于預先確定的地圖的存在，這種地圖的取得時間和勞力都很昂貴。另外，地圖在獲取時是準確的，而且由于環境的變化會隨著時間的推移而退化。我們認為，獲取高質量地圖的嚴格要求從根本上限制了機器人系統在動態世界中的可實現性。本論文以無地圖導航的范例為動力，以深度強化學習(DRL)的最新發展為靈感，探討如何開發實用的機器人導航。

DRL的主要問題之一是需要具有數百萬次重復試驗的不同實驗設置。這顯然是不可行的，從一個真實的機器人通過試驗和錯誤，所以我們反而從一個模擬的環境學習。這就引出了第一個基本問題，即彌合從模擬環境到真實環境的現實差距，該問題將在第3章討論。我們把重點放在單眼視覺避障的特殊挑戰上，把它作為一個低級的導航原語。我們開發了一種DRL方法，它在模擬世界中訓練，但可以很好地推廣到現實世界。

在現實世界中限制移動機器人采用DRL技術的另一個問題是訓練策略的高度差異。這導致了較差的收斂性和較低的整體回報，由于復雜和高維搜索空間。在第4章中，我們利用簡單的經典控制器為DRL的局部導航任務提供指導，避免了純隨機的初始探索。我們證明，這種新的加速方法大大減少了樣本方差，并顯著增加了可實現的平均回報。

我們考慮的最后一個挑戰是無上限導航的稀疏視覺制導。在第五章，我們提出了一種創新的方法來導航基于幾個路點圖像，而不是傳統的基于視頻的教學和重復。我們證明，在模擬中學習的策略可以直接轉移到現實世界，并有能力很好地概括到不可見的場景與環境的最小描述。

我們開發和測試新的方法，以解決障礙規避、局部引導和全球導航等關鍵問題，實現我們的愿景，實現實際的機器人導航。我們將展示如何將DRL作為一種強大的無模型方法來處理這些問題