亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

醫學影像在目前的醫療和研究環境中被廣泛用于各種目的，如診斷、治療方案、病人監測、縱向研究等。在美國最常用的兩種成像方式是計算機斷層掃描（CT）和磁共振成像（MRI）。通過CT或MRI獲得的原始圖像，在用于上述目的之前，需要經過各種處理步驟。這些處理步驟包括質量控制、降噪、解剖學分割、組織分類等。然而，由于醫學圖像通常包括數以百萬計的體素（圖像中含有信息的最小三維單位），依靠視覺檢查和訓練有素的臨床醫生的經驗來手動處理它們是極具挑戰性的。有鑒于此，醫學成像領域正在尋求數據處理自動化的方法。隨著人工智能（AI）在計算機視覺領域令人印象深刻的表現，醫學影像界的研究人員對利用這一強大的工具來自動處理醫學影像數據的任務表現出越來越大的興趣。盡管人工智能對醫學成像領域做出了重大貢獻，但大量的數據仍然沒有優化和強大的基于人工智能的工具來有效和準確地處理圖像。

這篇論文的重點是利用大量的CT和MRI數據，設計基于人工智能的方法，利用弱監督和監督學習策略，以及數學（或統計）建模和信號處理方法來處理醫學影像。特別是，我們在這篇論文中解決了四個影像處理問題。即：

1）我們提出了一種弱監督的深度學習方法，將擴散MRI掃描的二元質量控制自動分為 "差 "和 "好 "兩類；

2）我們設計了一個弱監督的深度學習框架，以學習和檢測與本工作中考慮的一組不同人工類別相關的視覺模式，以識別dMRI卷中存在的主要人工類型；

3）我們開發了一種有監督的深度學習方法，對人類肺部CT掃描中與肺氣腫疾病有關的多種肺部紋理模式進行分類；

4）我們使用數學建模和信號處理工具研究和描述了視覺刺激期間人類大腦fMRI掃描中引起的兩種負BOLD反應的特性。

我們的結果表明，通過使用人工智能和信號處理算法：

1）dMRI掃描可以自動歸類為兩個質量組（即 "差 "與 "好"），并具有較高的分類精度，能夠快速篩選大群dMRI掃描，以用于研究或臨床環境；

2. "差 "質量的dMRI容積中存在的主要偽影類型可以被穩健地自動識別，并具有較高的精度，能夠根據污染它們的偽影類型排除/糾正損壞的容積。

3）與肺氣腫疾病有關的多種肺部紋理模式可以在各種大型CT掃描隊列中進行自動和穩健的分類，從而能夠通過對多個隊列的縱向研究來調查該疾病；

4）不同類別的負性BOLD反應可以在從人腦視覺刺激中收集的fMRI數據上得到充分的描述，從而使研究人員能夠通過研究fMRI掃描隊列來更好地了解人腦功能。

圖像配準是圖像引導手術、圖像融合、器官圖譜生成、腫瘤和骨骼生長監測等臨床任務應用的關鍵技術，也是一個極具挑戰性的問題。近年來，深度學習技術對醫學圖像處理方法的研究產生重要的影響，在醫學圖像配準領域發展迅速。來自美國辛辛那提兒童醫院醫療中心等發布了**《深度學習醫學圖像配準》**綜述，闡述了相關進展。

圖像配準是各種醫學圖像分析應用中的一個重要組成部分。近年來，基于深度學習(DL)的醫學圖像配準模型發展迅速。本文對醫學圖像配準技術進行了綜述。首先，討論了監督配準的分類，如完全監督配準、雙重監督配準和弱監督配準。接下來，基于相似度和基于生成對抗網絡(GAN)的配準被提出作為無監督配準的一部分。然后描述了深度迭代配準，重點是基于深度相似度和基于強化學習的配準。此外，對醫學圖像配準的應用領域進行了綜述。本文主要綜述單模態和多模態配準及其相關成像，如X線、CT掃描、超聲和MRI。本綜述強調了現有的挑戰，其中顯示，一個主要挑戰是缺乏具有已知轉換的訓練數據集。最后，討論了基于深度學習的醫學圖像配準的未來研究方向。

//www.zhuanzhi.ai/paper/1fb1db2059362b38007d8e59df7d6f61

引言

使用圖像配準，可以將不同的圖像集合合并到一個具有相同信息的單一坐標系中。當比較從不同角度多次拍攝的兩幅圖像或使用不同的模態/傳感器時，可能需要配準[1,2]。直到最近，大多數圖像配準都是由醫生手工完成的。人工對齊在很大程度上依賴于用戶的能力，這在臨床上可能不利于某些配準程序的質量。自動配準的產生是為了克服一些可能的缺點手動圖像配準。DL的復興改變了圖像配準研究的背景[3]，盡管事實上各種自動圖像配準方法已經被深入研究之前(和期間)。DL[4]使最近的工作在廣泛的計算機視覺任務中得以表現，包括但不限于: 圖像分類[4]，分割[5]，特征提取[6-8]，以及目標識別[9]。作為一個起點，DL在增強基于強度的配準性能方面被證明是有用的。這只是時間問題，直到其他研究人員看到使用強化學習的配準過程的應用[10-12]。由于獲取/創建地面真實數據的困難，人們對開發用于一步轉換估計的無監督框架越來越感興趣[13,14]。圖像相似度量化是這一范式中的一個眾所周知的障礙。應用基于信息理論的相似性度量[13]、生成對抗網絡(GAN)框架[16]和解剖特征分割[17]來解決這一難題，取得了良好的效果。

傳統的圖像配準是一個基于迭代的過程，包括收集必要的特征，確定相似度(以評估配準質量)，選擇變換模型，最后是搜索機制[18,149,153]。可以發送到系統的圖片有兩種: 移動和固定，如圖1所示。通過在靜止圖像上反復滑動移動圖像，可以獲得最佳對齊。考慮的相似性度量最初決定了輸入的照片之間的相似度。計算新轉換的參數是通過使用更新機制的優化方法完成的。通過將這些因素作用于運動圖像，就產生了具有改進對齊的圖像。否則，將開始一個新的算法迭代。如果滿足終止要求，則流程結束。直到不能再獲得配準或滿足一定的預定要求，運動圖像才會在每一個循環中改善與靜止圖像的對應關系。該系統的輸出既可以是變換參數，也可以是最終的插值融合圖像。

一個用于醫學圖像的圖像配準框架流程圖

有必要對使用DL的醫學圖像配準領域進行徹底的調研，突出專家面臨的常見問題，并討論可以解決這些挑戰的即將到來的研究可能性。它是一種利用多層神經網絡(NN)來學習數據描述的機器學習(ML)。許多不同種類的神經網絡可以用于不同的目的，最近已經開發出一些重要的設計來解決工程挑戰。在討論神經網絡時，也可以討論許多神經網絡的訓練過程。關于神經網絡類型、訓練范式、網絡結構以及方法的章節構成了DL的介紹。PyTorch[19]、Caffe[20]、Keras[21]、MXNet[22]和TensorFlow[23]都是可用于創建網絡的公共訪問庫。現有的文獻主要集中在醫學圖像分析中使用DL、reinforcement learning和GANs進行醫學圖像分析。

本文綜合回顧了現有文獻中基于離散域的圖像配準的研究進展。本文著重從方法和功能的角度對其創新進行了綜述。本文研究了不同形式的配準，包括無監督和監督變換估計，以及深度迭代配準。討論了當前圖像配準的趨勢、挑戰和局限性。最后，本文對未來的研究方向進行了展望。

監督配準模型

對于深度學習模型，監督訓練是各種配準模型的共同基礎。根據在訓練階段中使用的監督程度，有三個子類別的模型: 完全監督、雙重監督和弱監督。完全監督配準利用傳統配準算法中的真DVFs來監督學習過程。這些損失通常是由于地面真實值和預期SVF不匹配造成的，如圖2所示。弱監督配準使用隱式參考標簽，而不是使用廣泛使用的解剖輪廓參考DVF，如圖2所示。經常使用兩種以上的參考數據來訓練雙監督配準模型。這包括解剖結構輪廓、參考SVF以及圖像相似性。

弱監督和完全監督配準模型的示例工作圖

盡管為了解決有監督圖像配準的信息或數據稀缺問題，人們采取了許多策略(如弱監督和數據增強)[43-47]，但訓練樣本的創建仍然是一個耗時的過程。由于移動和固定的圖像配對是DL模型需要學習的所有變形，無監督配準是一種方法。表1提供了這個子類別的概述。在這一類別的訓練中仍然需要一個可與傳統迭代配準中使用的損失函數。一個DVF正則化項和一個圖像相似項和通常包括在損失函數中。由于固有卷積的性質，一些相似性度量，即局部NCC (LNCC)，被改變為專注于微小斑塊。可以引入各種損失項，如防止過擬合的同一性損失和減少奇異性的循環一致性損失。

基于(a) GAN和(b)相似矩陣的醫學圖像配準通用框架

各種醫學圖像配準通用框架

本文綜述了近年來在醫學圖像配準方面的研究進展。由于每個應用程序都有不同的問題，因此有必要謹慎地開發DL框架。多模態圖像配準，比如涉及TRUS和MRI的配準，也面臨著類似的挑戰，比如無法在多模態應用中使用穩健的相似性度量，缺乏大型數據集，難以獲得地面真實值配準和分割，以及量化模型的偏好。(36、37)。解決這些問題的常用方法包括補丁式框架、應用程序特定的相似性度量、注冊框架和受變分自動編碼器影響的無監督技術。插值和重采樣，盡管在本文中描述的許多方法復雜，通常不是由神經網絡學習。隨著該領域的成熟，我們預計會有更多的學者將這些組件包含到他們基于深度學習的解決方案中。每種策略都有自己的優點和局限性，但比較這兩種策略的研究人員總數大致相同。在這兩個領域，我們預計會出現更多結合這兩種策略的好處的研究和新方法。我們預測在這兩類中還會有進一步的研究。

摘要

胸部 X 射線 (CXR) 成像是當今放射科最常見的檢查類型。自動疾病分類可以幫助放射科醫生減少工作量并提高患者護理質量。醫學圖像分析在過去十年中經歷了范式轉變，這主要歸功于卷積神經網絡 (CNN) 在許多圖像分類、分割和量化任務中實現超人性能的巨大成功。 CNN 正在應用于 CXR 圖像，但在臨床環境中應用時，高空間分辨率、缺乏具有可靠基本事實的大型數據集以及種類繁多的疾病是重大的研究挑戰。值得注意的是，這些挑戰激發了本論文的新穎貢獻。

本論文對 CNN 的四個主要設計決策進行了系統評估和分析：損失函數、權重初始化、網絡架構和非圖像特征集成。為了利用年齡、性別和視圖位置等信息，提出了一種整合這些信息以及學習圖像表示的新穎架構，并為 ChestXray14 數據集產生了最先進的結果。此外，研究了兩種先進的圖像預處理技術以提高 CNN 的性能：骨抑制（一種從 CXR 中人工去除胸腔的算法）和自動肺野裁剪（一種提高 CNN 輸入分辨率的方法）。兩種方法結合起來略微增加了 OpenI 數據集的平均結果。最后，**開發了一個框架來研究用于智能工作列表優先級的 CNN，是否可以優化放射學工作流程，**并減少 CXR 中關鍵發現的報告周轉時間 (RTAT)。仿真表明，使用 CNN 進行緊急優先級排序可以將氣胸等關鍵發現的平均 RTAT 降低兩倍。總之，對特定的設計決策進行了改進，例如網絡架構、圖像預處理和使用小型數據集進行 CXR 分析的訓練。結果用于證明關鍵發現的平均 RTAT 顯著降低，這可以大大提高患者護理的質量。

引言

在英國，護理質量委員會最近報告說，在過去的 12 個月中，僅亞歷山德拉女王醫院一名訓練有素的放射科專家就沒有對總共 26,345 次胸部 X 光 (CXR) 和 2,167 次腹部 X 光進行正式審查。結果，三名肺癌患者因胸部 X 光檢查未得到適當評估而遭受重大傷害 [Care Quality Commission, 2017]。

圖 2.2：典型的檢查類型，其中兩個對應的胸部 X 射線圖像取自一名患者。 (a) 顯示正面 PA 胸部 X 光片和 (b) 側面胸部 X 線片。在兩張 X 光片中，可以看到解剖結構：(1) 氣管、(2) 鎖骨、(3) 肩胛骨、(4) 肋骨、(5) 心臟、(6) 橫膈膜和 (7) 構成脊柱的椎骨.示例圖像取自 OpenI 數據集 [Demner-Fushman et al., 2016]。

圖 2.3：基于氣胸的高分辨率和低分辨率胸部 X 光片的比較。 (a) 以 2828 × 2320 像素的全圖像尺寸顯示原始胸部 X 光片。在 (b) 中，顯示了 (a) 的兩個區域，放大了 10 倍。黃色箭頭指向胸膜邊緣，表示氣胸。為了比較，(c) 顯示 (a) 通過雙線性插值縮小到 256 × 256 像素的圖像大小。 (d) 顯示與 (b) 相同的放大區域，胸膜邊緣不再可見。示例圖像取自 OpenI 數據集 [Demner-Fushman et al., 2016] (ID: 3378)。

作為一種診斷工具，醫學成像是近幾十年來醫學領域最具革命性的進步之一。通過提供人體內部的視覺表示，醫學成像可以幫助放射科醫生做出更早、更準確的診斷。因此，可以更有效地治療疾病以提高患者護理質量。多年來，醫學成像在測量速度、空間分辨率和對比度方面都有所提高。擁有這個有用的工具需要有足夠的能力讓專家放射科醫生評估相關數據。我們已經遇到了無法讓放射科醫生審查所有 X 射線圖像的情況 [Care Quality Commission, 2017;皇家放射學院，2018]。隨著各種醫學成像模式產生的數據量不斷增加 [Kesner et al., 2018] 和不斷增長的世界人口 [United Nations DESA, 2019]，預計對專家閱讀能力的需求將會增加。在放射科可用的成像方式中，平片是最常見的，而胸部 X 射線是最常見的檢查類型 [Bundesamt für Strahlenschutz, 2020; NHS 英格蘭，2020]。

自動圖像分析工具使放射科醫生能夠顯著減少他們的工作量并提高患者護理質量。早期的方法通常結合手工特征表示和分類器。不幸的是，開發特征提取方法需要大量的領域專業知識，并且通常是一個耗時的過程。然而，深度學習可能會改變這些要求。2012年Krizhevsky 等人[2012] 提出了 AlexNet——一種卷積神經網絡——用于計算機視覺中的圖像分類，并在 ImageNet 挑戰賽中大獲全勝。由于計算能力的提高（即圖形處理單元（GPU）的并行計算）和大量可用數據，這是可能的。這種成功有助于復興神經網絡作為機器學習的一種方法，機器學習是人工智能 (AI) 的一個子領域。在計算機視覺中，深度學習已經證明了它能夠以超人類的準確度分析圖像 [He等人, 2016;Simonyan等人，2015； Szegedy 等人，2014 年；Tan等人，2019]。醫學圖像分析領域正在深入探索深度學習。

本文結構

以下段落概述了本文的結構，并概述了每一章及其貢獻。第 2 至第 4 章總結了背景信息和重要文獻。然后，第 4 章到第 7 章介紹了為本論文進行的研究。最后，第 8 章以總結和對未來的展望結束了本文。

第 2 章簡要介紹了醫學成像及其自動化分析。此后，對深度學習的胸部 X 射線分析進行了全面回顧。作為深度學習快速發展的最重要推動力之一，我們討論了 ChestX-ray14 [Wang et al., 2017] 和 OpenI [Demner-Fushman et al., 2016] 等開源數據集。隨后討論了由自然語言處理 (NLP) 生成的噪聲注釋以及高分辨率胸部 X 射線數據所帶來的挑戰。最后，我們在當前挑戰的背景下檢查了胸部 X 射線分類的臨床應用。

第 3 章概述了神經網絡的歷史動機和時間順序。解釋了它們的基本元素——人工神經元，并討論了不同類型的激活函數。隨后，解釋了前饋神經網絡的原理以及分類與回歸任務之間的差異。為了計算最佳權重參數變化——并作為神經網絡的更新規則——Rumelhart 等人。 [1986] 提出了反向傳播。最后，本章解釋了梯度下降如何用作神經網絡的優化技術，并概述了該方法在神經網絡優化方面的重大改進。

第 4 章描述了標準前饋神經網絡的主要變化，這些變化導致了深度神經網絡及其在高維信號中的成功應用——尤其是在圖像處理中。解釋了卷積神經網絡作為分層特征提取器的基本理解以及在高維圖像中的應用。為了實現這一點，提出了最先進的網絡架構（例如，卷積、池化和歸一化層）的重要構建塊。當在非常深的網絡中天真地堆疊層時，使用梯度下降進行優化存在梯度爆炸和消失的風險。梯度消失通過殘差連接和密集連接架構來解決——這兩者都允許堆疊額外的層。這種高級模型通常有數百萬個參數需要訓練；因此，它們很容易過度擬合訓練數據。出于這個原因，數據增強通常用于人為地擴大數據集。這也有助于提高神經網絡的泛化性，因為模型對于仿射變換變得不變。訓練模型后，評估其泛化能力和性能非常重要。首先，不同的重采樣方法（例如，k 折交叉驗證或蒙特卡洛子采樣）可以將數據集拆分為訓練測試子集，這有助于泛化評估。其次，使用接收器操作曲線和精確召回曲線等評估指標來量化模型在疾病分類中的性能。

第 5 章深入介紹了不同的訓練方法及其在胸部 X 線疾病分類中的應用。在該領域的先前工作的基礎上，考慮了遷移學習，無論是否進行微調，以及從頭開始訓練專用 X 射線網絡。由于 X 射線數據的高空間分辨率，我們提出了一種經過調整的 ResNet-50 架構，具有更大的輸入尺寸，并與其他模型相比展示了其優越的性能 [Baltruschat et al., 2019c]。由于放射科醫師通常包含比胸部 X 射線更多的信息來進行診斷，因此模型架構會進一步改變，并且引入了一種新模型以包含有助于患者信息采集的非圖像特征。最后，通過使用 Grad-CAM 分析模型，突出了 ChestX-ray14 數據集的局限性。這些發現激發了以下章節的貢獻。

圖 5.5：兩個示例圖像的 Grad-CAM 結果。在頂行中，氣胸的位置用黃色框標記。如旁邊的 Grad-CAM 圖像所示，模型對預測的最高激活位于正確區域內。第二行顯示了一個負例，其中負責最終預測“氣胸”的最高激活位于排水管。排水管標有黃色箭頭。這表明經過訓練的卷積神經網絡將引流檢測為“氣胸”的主要特征。

圖 5.6：本論文中最佳模型與其他組的比較。病理按照所有組的平均 AUROC 增加進行分類。對于本文提出的模型，將所有折疊的最小和最大 AUROC 報告為誤差條，以說明隨機數據集拆分的影響。

第 6 章處理胸部 X 射線數據的標準化，以在小型數據集（即只有幾千個樣本）上進行訓練——OpenI 數據集 [Demner-Fushman 等人，2016 年]。此外，還研究了增加輸入數據分辨率對神經網絡的影響。手動標記的數據集通常具有較小的樣本量——盡管 OpenI 數據集是最大的數據集之一（3,125 張圖像）——這使得從頭開始訓練深度神經網絡變得復雜。作為第一種預處理方法，提出了基于分割和邊界框計算的肺野裁剪。這一步驟大大減少了胸部 X 射線外觀的變化，并提高了它們作為輸入圖像的分辨率，因為縮小的因素也降低了。第二種方法是骨抑制，可以通過從胸部X光片中去除骨骼結構來減少信息疊加。值得注意的是，這兩種方法都有助于提高疾病分類性能 [Baltruschat et al., 2019e]。此外，本章概述了放射科專家為胸部 X 光片生成注釋的過程以及與觀察者間變異性相關的問題 [Ittrich et al., 2018; Steinmeister 等人，2019]。

圖 6.2：肺田間種植方法概述。原始胸部 X 射線圖像 (a) 由中心凹卷積神經網絡處理以生成肺野分割 (b)。 (c) 以紫色顯示計算的兩個最大連接區域周圍的邊界框。在（d）中，由于分割掩碼中的錯誤，藍色區域強調了邊界框的安全區域。 (e) 顯示了最終的裁剪圖像，(f) 顯示了骨抑制和肺野裁剪的組合。

圖 6.3：用于組合高級預處理圖像的集成方法。四個 ResNet50-large 模型在不同的圖像數據上進行了訓練：原始、軟組織、肺野裁剪 (LFC) 和使用 LFC 的骨抑制 (BS)。每個模型預測了測試集 Ntest 中五個裁剪圖像（即中心和所有四個角）的分數，具有八個類別。此后，對所有模型的預測分數進行平均，以獲得最終的多標簽分類結果。

圖 6.6：正常訓練模型 (a) 和使用預處理圖像訓練的模型 (b) 的 Pearson 相關系數。正常模型之間的相關性已經很高，除了模型“Normal-2”，它似乎收斂到不同的最優值。使用預處理圖像訓練的模型具有較低的相關性（大約 92%）。這表明（b）中顯示的模型的集合可以對分類性能產生更大的影響。

第 7 章介紹了將深度學習的疾病分類轉化為特定的臨床應用。在獲得胸部 X 光片后，通常會將它們分類到工作清單中。根據每個放射科的工作流程，該工作清單按采集時間或手動優先級標簽進行排序，并且在很大程度上，放射科醫生按順序處理他們的工作清單項目。因此，工作清單只按照先進先出的原則進行處理。一種最先進的胸部 X 光疾病分類算法可以自動分配優先級標簽，這可以大大改善工作列表的排序。本章介紹了一種用于模擬臨床工作日的新穎模擬框架，它突出了自動優先工作列表的效果。該框架使用來自漢堡-埃彭多夫大學醫學中心的經驗數據，可以模擬一個臨床工作日，其中包括胸部 X 射線生成過程、胸部 X 射線的自動疾病分類以及放射科醫師生成最終報告所需的時間 [ Baltruschat 等人，2020b]。值得注意的是，使用了第 5 章和第 6 章中提出的用于胸部 X 線疾病分類的改進方法。

圖 7.6：報告所有八種病理結果和正常檢查的周轉時間 (RTAT)，基于四種不同的模擬：FIFO（綠色）、Prio-lowFNR（黃色）、Prio-lowFPR（紫色）和 Prio-MAXwaiting（紅色），最長等待時間（淺紫色）。綠色三角形標記平均 RTAT，而垂直線標記中值 RTAT。每個 simu 的最大 RTAT。

第 8 章總結了論文及其主要貢獻。它還提出了本文提出的新問題。

圖 8.1：來自中心靜脈導管數據集的示例圖像。原始圖像 (a) 顯示在左側，相應的分割結果 (c) 顯示為右側的疊加層。藍色代表心臟，綠色代表肺，青色代表鎖骨，棕色突出導管。

以往關于動作表示學習的研究主要集中在設計各種結構來提取短視頻片段的全局表示。相比之下，許多實際應用，如視頻對齊，對學習長視頻的密集表示有很強的需求。在本文中，我們引入了一種新的對比動作表示學習(CARL)框架，以一種自監督的方式學習基于幀的動作表示，特別是長視頻。具體地說，我們介紹了一個簡單而有效的視頻編碼器，它考慮了時空上下文來提取幀方向表示。受自監督學習的最新進展的啟發，我們提出了一種新的序列對比損失(SCL)，應用于通過一系列時空數據增強獲得的兩個相關視圖。SCL通過最小化兩個增廣視圖的序列相似度與時間戳距離的先驗高斯分布之間的KL散度來優化嵌入空間。在FineGym、PennAction和Pouring 數據集上的實驗表明，我們的方法在下游細粒度動作分類方面的表現大大超過了以前的先進技術。令人驚訝的是，盡管沒有對成對的視頻進行訓練，我們的方法在視頻對齊和細粒度的幀檢索任務中也表現出了出色的性能。代碼和模型可以在//github.com/minghchen/CARL_code上找到。

我們對世界的體驗是多模態的，然而深度學習網絡傳統上是為圖像、音頻片段或文本等單模態輸入而設計和訓練的。在這篇論文中，我們提出了策略來利用多模態信息(以視覺、文本、語音和非語音音頻的形式)來自動理解以人為中心的視頻。本文提出的關鍵思想是 (i)跨模態監督，(ii)自監督表示學習和(iii)模態融合。在跨模態監督中，來自監督豐富的模態的數據標簽被用于學習另一個缺乏監督的目標模態的表示，從而避免了在目標模態域中昂貴的手動注釋的需要。這有效地利用了模態之間的冗余或重疊信息。我們將展現該技術在三個不同任務中的效用; 首先，我們使用人臉識別和視覺主動說話人檢測來管理一個被稱為VoxCeleb的大規模人類語音視聽數據集，對其進行訓練，產生了最先進的說話人識別模型; 其次，我們訓練了一個基于文本的模型來預測僅從轉錄的語音中的動作標簽，并將這些標簽轉移到相應的視頻中。使用這些標簽進行的訓練使我們能夠在完全監督的動作識別模型上表現得更好，而這些模型是通過昂貴的人工監督進行訓練的; 第三，我們從為情感識別而訓練的人臉模型中提取信息到語音領域，而在語音領域，手動情感標注是昂貴的。本文探討的第二個關鍵思想是利用模態冗余進行自監督表示學習。在這里，我們學習了在沒有任何人工監督的情況下，在任何一種模式下的視聽表示，特別是對于人類的面孔和聲音。與現有的表示不同，我們的聯合表示支持從音頻到視覺的跨模態檢索，反之亦然。然后，我們將這項工作擴展到明確地消除習得偏見，從而實現更大的泛化。最后，我們通過開發新的模態融合架構，有效地結合不同模式下的互補信息。通過將視頻中的多個模態的信息提取到一個單一的、緊湊的視頻表示，我們實現了對可能丟失、損壞、閉塞或具有不同級別背景噪聲的單峰輸入的魯棒性。利用這些模型，我們在動作識別和視頻文本檢索方面都取得了最先進的結果。

//www.robots.ox.ac.uk/~vgg/publications/2020/Nagrani20e/nagrani20e.pdf

近年來，人工智能研究取得了驚人的發展和進步。這些進步主要是在三個方面取得的:計算機視覺、自然語言處理和機器人技術。例如，圖像識別被廣泛認為是計算機視覺的圣杯，而語言建模和翻譯一直是自然語言處理的基本任務。然而，許多實際應用程序和任務需要解決的不僅僅是這些特定于領域的問題，而是需要解決涉及所有三個領域的問題。一個自主系統不僅需要能夠識別圖像中的物體，而且還需要解釋自然語言的描述或命令，并理解它們如何與它所感知的視覺觀察相關聯。此外，機器人需要利用這些信息進行決策，并決定為了完成任務而采取哪些物理行動。在本文的第一部分，我提出了一種學習如何將自然語言與三維形狀聯系起來的方法，使系統能夠將文本描述中描述的“圓”等詞與三維物體中的圓的幾何屬性進行連接。為了將這兩種模式聯系起來，我們依賴一個跨模態嵌入空間來進行多模態推理，并在沒有細粒度、屬性級分類注釋的情況下學習這個空間。通過學習如何將這兩種模態聯系起來，我們可以執行諸如文本到形狀的檢索和形狀操作等任務，還可以實現新的任務，如文本到形狀的生成。在本論文的第二部分，我們允許主體被具體化，并探索一個依賴于所有三個領域(計算機視覺、自然語言和機器人)的任務:機器人導航通過遵循自然語言指令。不再依賴于固定的圖像或3D對象數據集，代理程序現在位于一個物理環境中，并使用機載相機捕捉自己對空間的視覺觀察。為了在視覺、語言和機器人物理狀態之間建立聯系，我們提出了一個使用拓撲圖執行規劃和控制的系統。這種基本的抽象允許主體將語言指令的部分與環境的相關空間區域聯系起來，并將一系列視覺觀察與物理動作和行動聯系起來。

//searchworks.stanford.edu/view/13876455

賦予機器以感知三維世界的能力，就像我們人類一樣，是人工智能領域一個基本且長期存在的主題。給定不同類型的視覺輸入，如二維/三維傳感器獲取的圖像或點云，一個重要的目標是理解三維環境的幾何結構和語義。傳統的方法通常利用手工特征來估計物體或場景的形狀和語義。然而，他們很難推廣到新的對象和場景，并努力克服關鍵問題造成的視覺遮擋。相比之下，我們的目標是理解場景和其中的對象，通過學習一般和魯棒的表示使用深度神經網絡，訓練在大規模的真實世界3D數據。為了實現這些目標，本文從單視圖或多視圖的物體級三維形狀估計到場景級語義理解三個方面做出了核心貢獻。

在第3章中，我們從一張圖像開始估計一個物體的完整三維形狀。利用幾何細節恢復密集的三維圖形，提出一種強大的編碼器解碼器結構，并結合對抗式學習，從大型三維對象庫中學習可行的幾何先驗。在第4章中，我們建立了一個更通用的框架來從任意數量的圖像中精確地估計物體的三維形狀。通過引入一種新的基于注意力的聚合模塊和兩階段的訓練算法，我們的框架能夠集成可變數量的輸入視圖，預測穩健且一致的物體三維形狀。在第5章中，我們將我們的研究擴展到三維場景，這通常是一個復雜的個體對象的集合。現實世界的3D場景，例如點云，通常是雜亂的，無結構的，閉塞的和不完整的。在借鑒以往基于點的網絡工作的基礎上，我們引入了一種全新的端到端管道來同時識別、檢測和分割三維點云中的所有對象。

總的來說，本文開發了一系列新穎的數據驅動算法，讓機器感知我們真實的3D環境，可以說是在推動人工智能和機器理解的邊界。

//ora.ox.ac.uk/objects/uuid:5f9cd30d-0ee7-412d-ba49-44f5fd76bf28

從語義描述中識別視覺類別是一種很有前途的方法，它可以擴展視覺分類器的能力，使其超越訓練數據中所表示的概念(即看到的類別)。這個問題是由(廣義的)零樣本學習方法(GZSL)解決的，它利用語義描述將它們連接到所看到的類別(例如，標簽嵌入，屬性)。傳統的GZSL主要是為了目標識別而設計的。在本文中，我們關注于零樣本場景識別，這是一個更具挑戰性的設置，有數百個類別，它們的差異可能是微妙的，通常在特定的物體或區域。傳統的GZSL表示不夠豐富，無法捕獲這些局部差別。針對這些限制，我們提出了一個具有兩個新組件的特征生成框架:1)多源語義信息(即屬性、單詞嵌入和描述)，2)可以增強場景識別的區域描述。為了生成綜合的視覺特征，我們提出了兩步生成方法，其中局部描述采樣和使用作為條件來生成視覺特征。生成的特征被聚合并與真實的特征一起用來訓練一個聯合分類器。為了對該方法進行評價，我們引入了一種新的具有多語義標注的零樣本場景識別數據集。在該數據集和SUN屬性數據集上的實驗結果表明了該方法的有效性。

//vipl.ict.ac.cn/homepage/jsq/publication/2020-Song-ACMMM.html