亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

**近年來，具有復雜自主行為的智能體和系統的發展加快。**隨著這些智能體行動的后果開始在社會中顯現，對理解其決策的需求推動了對機制的研究，以獲得與人類推理兼容的解釋。然而，可解釋系統的設計往往沒有考慮解釋可能給機器和人類智能體帶來的影響。本文探討了這一挑戰。

**該方法首先著眼于具有復雜監管的分散環境，在這些環境中，必須交換解釋，以確保智能體之間的有序交互。**為將人類規則集轉換為機器兼容的推理機制，本文提出一種基于辯論的人-智能體架構，將人類規則映射到具有可解釋行為的人工智能體的文化中。在混合的、可解釋的人-智能體設置下的用戶研究表明，系統復雜性是解釋對人類有用的決定因素。對于自主智能體，隱私性和部分可觀察性會在分散系統中引入主觀不公平性的概念。本文表明，這種影響也可以通過使用有效的解釋來緩解。

**以類似的方式，研究了強化學習(RL)智能體，并研究了定向具有可解釋特征的學習機制的可能性。**將此過程稱為解釋感知經驗回放(XAER)，并證明了解釋工程可以用來代替具有可解釋特征的環境的獎勵工程。進一步，將這一概念擴展到多智能體強化學習中，并展示了如何在具有部分可觀測性的環境中交換解釋，以獲得更魯棒和有效的集體行為。結論是，可解釋系統的設計不僅要考慮解釋的生成，還要考慮解釋的消耗。解釋可以作為交流精確和精煉信息的工具，人類智能體獲得的見解也可以由機器智能體獲得，特別是在具有分散智能體或部分知識的系統中。

以物體為中心的幾何感知旨在提取三維物體的幾何屬性。這些屬性包括目標物體的形狀、姿態和運動，能夠對圖形學、計算機視覺和機器人技術中的各種任務進行細粒度的對象級理解。隨著3D幾何數據和3D深度學習方法的增長，直接使用3D輸入數據實現此類任務的可能性越來越大。在不同的3D表示中，3D點云是一種簡單、常見且節省內存的表示，可以直接從多視圖圖像、深度掃描或LiDAR距離圖像中檢索。在實現以物體為中心的幾何感知方面存在不同的挑戰，如對具有多個剛性部件的常見鉸接物體實現細粒度的幾何理解，學習具有較少標簽的解纏形狀和姿態表示，或以端到端的方式處理動態和順序幾何輸入。本文通過設計有效和可泛化的3D表示、架構和管道，從3D深度學習的角度識別和解決這些挑戰。本文通過設計一種新的層次不變表示，首次對常見鉸接物體進行深度姿態估計。為了推動常見剛性物體的6D姿態估計的邊界，設計了一個簡單而有效的自監督框架來處理無標記的部分分割掃描。提出一種新的4D卷積神經網絡PointMotionNet來學習三維點云序列的時空特征。這些工作從一個獨特的3D深度學習視角推進了以物體為中心的幾何感知領域的研究。如今，3D傳感器廣泛安裝在各種移動設備上，如iPhone上的深度相機，或自動駕駛汽車上的激光雷達傳感器。這些3D傳感技術可以幫助我們準確地測量3D世界。對于機器智能領域，我們也希望構建智能系統和算法來學習有用的信息，更好地理解3D世界。我們人類具有不可思議的能力，通過我們的視覺或觸覺系統來感知和理解這個3D世界。例如，人類可以在沒有看到整個房間的情況下推斷出房間中家具的幾何結構和布置，我們能夠跟蹤一個3D對象，無論其外觀、形狀和比例如何變化，我們還可以根據順序觀察和復雜推理預測多個對象的未來運動。在這里，我的工作設計了各種框架，從大量3D點表示的幾何數據中學習這些3D信息，實現了對單個物體的細粒度幾何理解，可以幫助機器告訴目標物體的幾何、狀態和動態。本文的工作是為了更好地理解這個動態世界。

表示學習已經成為一種多功能工具，能夠利用使用數字技術獲得的大量數據集。該方法的廣泛適用性源于其作為子系統使用的靈活性和在模型架構中納入先驗的可擴展性。數據內部的直觀依賴關系，如像素主要對其鄰近的上下文做出貢獻，可以被形式化和嵌入，以提高泛化，并允許具有很大能力的模型避免過擬合。元學習也被應用于將這些系統擴展到低數據設置，通過將特定任務視為更普遍問題的實現而不損失性能。本文考慮如何利用這些方法的基本兼容性。本工作的主要論點是，歸納偏差提供的計算的清晰度可以用于改進元學習架構，并直接構建元學習器過去經驗和解決問題能力到新任務的遷移。通過融合這些方法開發的方法可以在廣泛的設置和領域中提高與基線模型相比的性能。融合有三種實現方式。第一個將復合分類確定為一種自然設置，并展示了如何使用注意力下數據點的自組織來增強元學習分類器。第二種使用顯式關系推理來調節和重組神經模塊，以在測試時快速準確地適應。自適應神經過程來捕獲關系和時間依賴，以提高預測和不確定性估計的準確性和一致性。在驗證本文的激勵假設時，這些貢獻在其他領域中發現了最先進的應用，包括小樣本圖像分類、粒子控制系統的相互作用的無監督恢復、蛋白質-蛋白質相互作用位點預測以及動力系統的識別和演化。通過這樣做，這項工作有助于使機器智能應用于更廣泛、更精細的問題范圍——作為所考慮問題的解決方案，作為進一步應用的架構模板，以及作為未來研究的方向。

在過去的幾年中，在自然語言處理(NLP)和計算機視覺(CV)中使用的方法取得了一些突破。除了這些對單模態模型的改進之外，大規模的多模態方法已經成為一個非常活躍的研究領域。

這本書是一個研討會的結果，在會上，我們回顧了多模態方法，并試圖創建一個該領域的堅實概述，從深度學習的兩個子領域的當前最先進的方法開始。此外，還討論了一種模態轉換為另一種模態的建模框架，以及利用一種模態來增強另一種模態的表示學習的模型。為總結第二部分，介紹了專注于同時處理兩種模態的架構。最后，還介紹了其他模態以及通用多模態模型，這些模型能夠在一個統一的架構內處理不同模態上的不同任務。

1. 引言

人類有五種基本的感官:聽覺、觸覺、嗅覺、味覺和視覺。擁有這五種模態，我們就能夠感知和理解周圍的世界。因此，“多模態”意味著同時結合不同的信息通道來理解我們的環境。例如，當幼兒學習單詞“cat”時，他們使用不同的模態，大聲說出這個單詞，指著貓，發出“喵”的聲音。利用人類的學習過程作為角色模型，人工智能(AI)研究人員還嘗試結合不同的模態來訓練深度學習模型。從表面上看，深度學習算法是基于一個神經網絡，該神經網絡被訓練來優化一些通過所謂的損失函數在數學上定義的目標。優化，即最小化損失，是通過稱為梯度下降的數值過程來完成的。因此，深度學習模型只能處理數值輸入，并且只能產生數值輸出。然而，在多模態任務中，我們經常面臨圖片或文本等非結構化數據。因此，第一個主要問題是如何用數字表示輸入。關于多模態任務的第二個問題是如何準確地結合不同的模態。例如，一個典型的任務可能是訓練一個深度學習模型來生成一張貓的圖片。首先，計算機需要理解輸入的文本“貓”，然后以某種方式將這些信息轉換為特定的圖像。因此，需要識別文本輸入中單詞之間的上下文關系和圖像輸出中像素之間的空間關系。對學齡前兒童來說可能很容易的事情，對電腦來說卻是一個巨大的挑戰。雙方都必須了解“貓”這個詞，它包含了動物的含義和外觀。現代深度學習中的一種常見方法是生成嵌入，將貓以數字形式表示為某些潛空間中的向量。然而，為了實現這一點，近年來開發了不同的方法和算法架構。本書概述了最先進的(SOTA)多模態深度學習中使用的不同方法，以克服來自非結構化數據和組合不同模態輸入的挑戰。

**由于多模態模型通常使用文本和圖像作為輸入或輸出，因此第2章將介紹自然語言處理(NLP)和計算機視覺(CV)方法作為基礎。**NLP領域的方法試圖處理文本數據，而CV處理的是圖像處理。關于NLP(第2.1節)，一個重要的概念是所謂的詞嵌入，這是當今(幾乎)所有多模態深度學習架構的一個重要部分。這一概念也為基于transformer的模型奠定了基礎，如BERT (Devlin等人，2018a)，它在幾個NLP任務中取得了巨大的改進。特別是transformer的(自)注意力機制(Vaswani et al., 2017a)徹底改變了NLP模型，這就是為什么大多數模型都依賴transformer作為骨干。在計算機視覺(第2.2小節)中，將介紹不同的網絡架構，即ResNet (He等人，2015)、EfficientNet (Tan和Le, 2019a)、SimCLR (Chen等人，2020a)和BYOL (Grill等人，2020b)。在這兩個領域，比較不同的方法及其在具有挑戰性的基準上的性能是非常有趣的。因此，第2章的最后2.3小節對CV和NLP的不同數據集、預訓練任務和基準進行了總體概述。 第二章(見3)側重于不同的多模態架構，涵蓋了文本和圖像如何結合的各種各樣。所提出的模型結合并改進了NLP和CV的不同方法。首先，查看Img2Text任務(第3.1小節)，介紹用于物體識別的數據集Microsoft COCO (Lin等人，2014a)和用于圖像描述的網格記憶transformer (M2 transformer) (Cornia等人，2019)。相反，研究人員開發了基于短文本提示(第3.2節)的圖像生成方法。完成這項任務的第一個模型是生成對抗網絡(GANs) (Goodfellow等人，2014b)和變分自編碼器(vae) (Kingma和Welling, 2019)。這些方法是近年來改進的，今天的SOTA transformer架構和文本引導擴散模型，如DALL-E (Ramesh et al.， 2021a)和GLIDE (Nichol et al.， 2021a)取得了顯著的結果。另一個有趣的問題是如何利用圖像來支持語言模型(第3.3節)。這可以通過順序嵌入、更高級的接地嵌入或transformer內部來實現。另一方面，也可以查看支持CV模型的文本，如CLIP (Radford et al.， 2021b)、ALIGN (Jia et al.， 2021a)和Florence (Yuan et al.， 2021)(第3.4小節)。他們使用基礎模型，這意味著重用模型(例如DALL-E 2中的CLIP)以及用于連接文本和圖像的對比損失。此外，零樣本使對新的和未見過的數據進行分類成為可能，而無需昂貴的微調。特別是用于圖像分類和生成的開源架構CLIP (Radford et al.， 2021b)去年吸引了很多關注。在第二章的最后，我們會介紹一些可以同時處理文本和圖像的架構(第3.5節)。例如，Data2Vec對語音、視覺和語言使用相同的學習方法，以這種方式旨在找到一種通用方法來處理一個架構中的不同模態。此外，VilBert (Lu等人，2019a)擴展了流行的BERT架構，通過實現共同注意力(co-attention)來處理圖像和文本作為輸入。該方法也用于谷歌的Deepmind Flamingo (Alayrac等人，2022)。此外，Flamingo旨在通過少樣本學習和凍結預訓練的視覺和語言模型，用單個視覺語言模型解決多個任務。

在最后一章(見4)中，介紹了能夠處理文本和圖像以外的模態的方法，如視頻、語音或表格數據。這里的總體目標是基于挑戰而不是模態找到一個通用的多模態架構。因此，人們需要處理多模態融合和對齊的問題，并決定是使用連接表示還是協調表示(第4.1節)。此外，我們將更詳細地討論如何準確地組合結構化和非結構化數據(第4.2節)。因此，將提出近年來發展起來的不同融合策略。本書通過生存分析和經濟學中的兩個用例說明了這一點。除此之外，另一個有趣的研究問題是如何在一個所謂的多用途模型(第4.3小節)中解決不同的任務，就像谷歌研究人員(Barham et al.， 2022)在他們的“路徑”模型中所打算創建的那樣。展示了多模態深度學習在藝術場景中的一個示例應用，其中DALL-E (Ramesh et al., 2021a)等圖像生成模型被用于生成藝術領域的藝術作品(第4.4節)。

圖聚類是無監督學習中的一個基本問題，在計算機科學和分析現實世界數據中有著廣泛的應用。在許多實際應用中，我們發現聚類具有重要的高層結構。這在圖聚類算法的設計和分析中經常被忽視，因為這些算法對圖的結構做了強烈的簡化假設。本文討論了聚類結構是否可以有效學習的自然問題，并描述了四個用于學習圖和超圖中聚類結構的新算法結果。論文的第一部分對經典的譜聚類算法進行了研究，并對其性能進行了更嚴格的分析。這一結果解釋了為什么它在更弱、更自然的條件下工作，并有助于縮小譜聚類算法的理論保證與其優秀的經驗性能之間的差距。

論文的第二部分在前一部分的理論保證的基礎上，表明當底層圖的簇具有一定的結構時，少于k個特征向量的譜聚類能夠比使用k個特征向量的經典譜聚類產生更好的輸出，其中k是聚類的個數。本文首次討論和分析了少于k個特征向量的譜聚類的性能，并表明一般的聚類結構可以用譜方法學習。第三部分考慮使用局部算法高效地學習簇結構，其運行時間僅依賴于目標簇的大小，且與底層輸入圖無關。經典的局部聚類算法的目標是找到一個與圖其他部分稀疏連接的簇，本文的這一部分提出了一種局部聚類算法，它可以找到一對彼此緊密連接的簇。這一結果表明，即使在現實世界中普遍存在的大圖中，某些聚類結構也可以在局部環境中有效地學習。

論文的最后研究了超圖中密集連接聚類的學習問題。該算法基于一種新的熱擴散過程，擴展了最近在超圖譜理論方面的一系列工作。它允許在建模對象的高階關系的數據集中學習簇的結構，可以應用于有效分析在實踐中發生的許多復雜數據集。在不同領域的合成數據集和真實數據集上進行了廣泛的評估，包括圖像分類和分割、遷移網絡、合著網絡和自然語言處理。實驗結果表明，新提出的算法是實用、有效的，可以立即應用于實際數據的聚類結構學習。

場景表示是將對環境的傳感觀察轉換為緊湊描述的過程。這種智能行為是人工智能的基石。長期以來，科學家們一直試圖重現人類理解物理環境的非凡能力。將對環境的視覺傳感觀察作為輸入，現代智能系統主要致力于學習對基本場景屬性(如幾何和語義)進行編碼的神經表示。這種表示可以用于支持其他下游任務，最終在復雜的3D世界中實現自主感知和交互。近年來，深度神經網絡在神經場景表示中的幾何和語義信息建模方面表現出色。然而，由于不受控制的現實場景的脆弱性，構建健壯的系統仍然具有很高的挑戰性。由于對場景變化的傳感觀察的差異，不同類型的視覺表示之間的領域差距，以及對多類別信息的高效感知的要求，這為場景表示學習帶來了巨大的復雜性。為克服這些挑戰，本文追求魯棒、統一和信息豐富的場景表示，從不同類型的視覺輸入中學習幾何和語義，為自主學習理解周圍世界的智能機器鋪平道路。在此背景下，本文在視覺定位、像素點匹配和語義曲面重建領域做出了三個核心貢獻。

在這篇論文中，我們從單幅圖像開始估計6自由度(DoF)相機姿態。為了學習對環境變化和傳感器操作具有魯棒性的場景表示，提出了一種結合自注意模塊的神經網絡來建模復雜的幾何關系，給定的圖像相對于參考環境進行拍攝。然后，基于極線幾何和立體視覺的內在約束，我們構建了一個更通用的框架，在二維圖像和三維點云之間尋找統一的表示形式。通過引入超寬接收機制和新的損失函數，提出了一種雙全卷積框架，將2D和3D輸入映射到共享的潛表示空間中，以同時描述和檢測關鍵點，彌合2D和3D表示之間的差距。最后，我們將我們的研究擴展到開發信息表示，這通常是智能系統在現實場景中同時用于多個目的的操作所需要的。在借鑒以往基于點的網絡研究成果的基礎上，我們引入了一種全新的端到端神經隱式函數，它可以聯合估計原始和大規模點云的精確三維曲面和語義。

總體而言，本文開發了一系列新穎的深度神經框架，以推動場景表示的機器學習領域向能夠完全感知現實世界3D環境的人工智能發展。

隨著機器學習模型越來越多地用于做出涉及人類的重大決策，重要的是，這些模型不能因為種族和性別等受保護的屬性而歧視。然而，模型持有人并不是受到歧視性模型傷害的首當其沖的人，因此模型持有人修復歧視性模型的自然動機很少。因此，如果其他實體也能發現或減輕這些模型中的不公平行為，將對社會有益。只需要對模型進行查詢訪問的黑盒方法非常適合這個目的，因為它們可以在不知道模型的全部細節的情況下執行。

在這篇論文中，我考慮了三種不同形式的不公平，并提出了解決它們的黑盒方法。第一個是代理使用，模型的某些組件是受保護屬性的代理。其次是個體公平性的缺乏，這使模型不應該做出任意決定的直覺觀念形式化。最后，模型的訓練集可能不具有代表性，這可能導致模型對不同的保護組表現出不同程度的準確性。對于這些行為中的每一個，我提出使用一個或多個方法來幫助檢測模型中的此類行為或確保缺乏此類行為。這些方法只需要對模型的黑箱訪問，即使模型持有者不合作，它們也能有效地使用。我對這些方法的理論和實驗分析證明了它們在這種情況下的有效性，表明它們是有用的技術工具，可以支持對歧視的有效回應。

空間數據的精確統計分析在許多應用中都很重要。如果不能正確地解釋空間自相關，可能會導致錯誤的結論。與此同時，空間數據集不斷增長的規模帶來了巨大的計算挑戰，因為許多空間分析的標準方法都被限制在幾千個數據點上。

在本論文中，我們探討了高斯馬爾可夫隨機場(GMRFs)如何用于可擴展的空間數據分析。GMRFs與常用的高斯過程密切相關，但具有稀疏性，這使得它們在計算時間和內存方面都很便宜。貝葉斯框架使GMRF作為一個空間先驗，包含了在空間上平滑變化的假設，并給出了一個原則的方法來估計參數和傳播不確定性。

我們開發了一種新的算法，可以將GMRF先驗應用于功能磁共振成像(fMRI)數據中固有的大腦活動，并進行數百萬次觀察。我們表明，我們的方法比以前的工作更快，更準確。提出了一種對后驗不確定性進行估計的逆精度矩陣(即協方差矩陣)中選定元素的近似方法。此外，我們在GMRFs和deep convolutional neural networks之間建立了一個鏈接，這個鏈接已經成功應用于無數的機器學習圖像任務中，形成了一個deep GMRF模型。最后，我們展示了GMRFs如何用于實時機器人搜索和救援行動，以建模受傷人員的空間分布。

//liu.diva-portal.org/smash/record.jsf?pid=diva2%3A1433819&dswid=-2934

空間統計處理描述存在于跨空間測量的數據中的統計模式。以空間位置作為參考的數據在廣泛的領域中是常見的和自然產生的。許多應用是在地理范圍內進行的，例如描述動植物的分布、疾病的傳播或城市中房價的變化。空間數據的一個重要方面是，附近的測量結果往往比距離較遠的更相似，這可以被描述為空間自相關。同一物種的植物更經常發現彼此接近，和房子往往賣類似的價格在同一地區的其他房子，而不是在其他地區的房子。在分析空間數據時，正確地考慮這些依賴關系是得出正確結論和做出可信預測的關鍵。

本文的目的是為了使貝葉斯分析能夠應用于醫學圖像等大尺度空間數據的空間先驗。許多應用需要分層的、結構化的、靈活的貝葉斯空間模型來恰當地描述數據，正確地傳播不確定性，并得出正確的結論。我們通過開發貝葉斯推理的快速算法來解決這個問題，并在幾個應用中展示了它們的性能。

論文分為兩個部分，第一部分是對研究領域的基本介紹，第二部分是研究論文的集合。本章以對這些文章的總結結束。在第二章中，我們回顧了貝葉斯和空間統計模型，特別關注了GMRFs。第三章介紹了貝葉斯推理的方法。第四章介紹了fMRI數據的統計分析，特別是空間先驗。第五章總結了本文的研究成果，并對未來的研究方向進行了展望。