亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

人工智能研究的一個基本目標是設計最終將在現實世界中與人類合作的智能體。為此，具身學習正在成為機器學習社區為實現這一目標所做出的最重要的努力之一。最近發展的子領域涉及此類系統的各個方面——視覺推理、語言表示、因果機制、分布外輸入的魯棒性，僅舉幾個例子。特別是，多模態學習和語言基礎對于實現對現實世界的深刻理解至關重要。人類通過與環境的交互，學習視覺、聽覺和語言概念之間的復雜關聯，來構建內部表示。由于世界充滿了結構，基于圖的編碼也可能被納入推理和決策模塊。此外，這些關系表示在本質上是相當象征性的——提供了比其他格式(如原始像素)更好的優勢——可以編碼各種類型的鏈接(時間的、因果的、空間的)，這對于理解和在現實世界中采取行動是必不可少的。

**本文提出了三項研究工作，研究和開發了未來智能代理的可能方面。**第一個貢獻集中在視覺和語言學習上，引入了一個具有挑戰性的具身任務，將現有任務的重點轉移到視覺推理問題上。通過擴展流行的視覺問答(VQA)范式，我還設計了幾個模型，在新的數據集上進行了評估。通過更具挑戰性的VQA下游任務，這為環境理解提供了初步的性能估計。第二項工作提出了兩種獲取圖結構數據分層表示的方法。這些方法要么擴展到比當時性能最好的方法處理的更大的圖，要么通過使用拓撲數據分析算法合并理論屬性。這兩種方法都與當代最先進的圖分類方法競爭，即使在第二種情況中，歸納偏差是pagerank驅動的，甚至在社會領域之外。第三個貢獻進一步探討了關系學習，提出了在復雜環境下對圖表示的概率處理，如少樣本、多任務學習和稀缺標記數據體制。通過在神經過程中添加關系歸納偏差，由此產生的框架可以對生成有結構的數據集的整個函數分布進行建模。這產生了顯著的性能提升，特別是在上述復雜場景中，語義準確的不確定性估計大大提高了神經過程基線。這種類型的框架最終可能有助于開發終身學習系統，因為它能夠適應新的任務和分布。我在博士學習期間設計的基準、方法和框架為具身和圖表示學習研究提供了重要的未來方向。這些領域已經越來越多地證明了它們與設計智能和協作代理的相關性，在不久的將來，我們可能會與這些代理進行交互。通過解決這個問題空間中的幾個挑戰，我的貢獻為構建在現實環境中部署的機器學習系統提供了一些步驟。

**最近機器學習方法的大部分成功都是通過利用過去幾年產生的大量標記數據而實現的。**然而，對于一些重要的實際應用來說，如此大規模的數據收集仍然是不可行的。這包括機器人、醫療健康、地球科學和化學等領域，在這些領域獲取數據可能既昂貴又耗時。在本文中，我們考慮三個不同的學習問題，其中可以收集的數據量是有限的。這包括在在線學習期間限制對標簽、整個數據集和生成經驗的訪問的設置。本文通過采用序列決策策略來解決這些數據限制，這些策略在收集新數據和根據新獲得的證據做出明智的決策之間迭代。**首先，解決標簽獲取成本較高時如何高效地收集批量標簽的問題。**概率主動學習方法可用于貪婪地選擇信息量最大的待標記數據點。然而，對于許多大規模問題，標準的貪心算法在計算上變得不可行。為緩解這個問題，本文提出一種可擴展的貝葉斯批量主動學習方法，其動機是近似模型參數的完整數據后驗。

**其次，我們解決了自動化分子設計的挑戰，以加速對新藥物和材料的搜索。**由于迄今為止只探索了化學空間的一個小區域，可用于某些化學系統的數據量是有限的。本文通過將3D分子設計問題制定為強化學習任務，克服了生成模型對數據集的依賴，并提出了一種對稱感知策略，可以生成用以前方法無法實現的分子結構。

**最后，我們考慮了如何在不同任務中有效地學習機器人行為的問題。**實現這一目標的一個有希望的方向是在不同的任務上下文中泛化局部學習的策略。上下文策略搜索通過顯式地將策略約束在參數化上下文空間上，從而提供數據高效的學習和泛化。進一步構建上下文策略表示，在各種機器人領域實現更快的學習和更好的泛化。

在過去的十年中，我們目睹了人們對機器學習(ML)的興趣急劇上升。深度神經網絡已經在從圖像分類到游戲玩的各種任務上實現或超過了人類水平。在這些應用中，我們通常觀察到模型的輸入具有某種形式的規則結構:例如，圖像是一個2D網格。最近，人們有興趣將ML革命的成功擴展到沒有統一結構的數據，如圖。圖由一組節點和一組定義節點之間關系的邊組成，為建模提供了極大的靈活性。這些模型應用于從代碼分析到推薦系統再到藥物發現的各種問題，實現了最先進的性能并為ML打開了新的應用。

由于圖神經網絡(gnn)已被證明的潛力和可能應用的巨大空間，當我們打算將這些模型部署到研究背景之外時，自然會將注意力轉向出現的實際問題。一個主要的問題是效率:我們如何設計消耗更少資源(如時間和內存)的GNN，以將我們的訓練擴展到更大的模型和數據集，并將我們的模型部署到更資源受限的設備?此外，一旦我們將這些模型發布到野外，我們如何確保它們能夠抵御來自潛在對手的攻擊?這些是激勵本文工作的問題:哪些新技術是必要的，以解決這些效率和安全問題? 本文中反復出現的一個主題是，正則結構的丟失給GNNs帶來了幾個獨特的挑戰:適用于其他常見神經網絡架構的技術不一定適用于GNNs。本文首先嚴格評估了在其他神經網絡架構中流行的兩種軟硬件協同設計技術:量化，在推理時使用低精度的算法，以及剪枝，從網絡中刪除權重。研究了高效的架構設計，首先是通用gnn的架構設計，其次是專門為處理點云數據而設計的模型。最后，本文描述了與這些模型相關的一種新型安全漏洞，并討論了可能的緩解措施。

**人類通過被動觀察和主動互動來學習世界的心理模型，從而在環境中導航。他們的世界模型允許他們預測接下來可能發生的事情，并根據潛在的目標采取相應的行動。**這樣的世界模型在自動駕駛等復雜環境的規劃方面具有強大的前景。人類司機或自動駕駛系統用眼睛或相機感知周圍環境。他們推斷出世界的一種內部表示應該:(i)具有空間記憶(例如遮擋)，(ii)填充部分可觀測或有噪聲的輸入(例如被陽光蒙蔽時)，以及(iii)能夠概率地推理不可觀測的事件(例如預測不同的可能的未來)。它們是具身的智能體，可以通過其世界模型在物理世界中預測、計劃和行動。本文提出一個通用框架，從攝像機觀察和專家演示中訓練世界模型和策略，由深度神經網絡參數化。利用幾何、語義和運動等重要的計算機視覺概念，將世界模型擴展到復雜的城市駕駛場景。**在我們的框架中，我們推導了這種主動推理設置的概率模型，其目標是推斷解釋主動代理的觀察和行動的潛在動力學。**我們通過確保模型預測準確的重建以及合理的操作和過渡來優化日志證據的下界。首先，我們提出了一個模型，預測計算機視覺中的重要量:深度、語義分割和光流。然后，我們使用三維幾何作為歸納偏差在鳥瞰空間中操作。我們首次提出了一個模型，可以從360?環繞單目攝像機鳥瞰動態代理的概率未來軌跡。最后，我們展示了在閉環駕駛中學習世界模型的好處。我們的模型可以聯合預測城市駕駛環境中的靜態場景、動態場景和自我行為。我們表明，學習世界模型和駕駛策略可以生成超過1小時的預測(比訓練序列大小長2000倍)。

**數字化、大規模和高通量技術的出現產生了前所未有的數據，為今天的藥物發現利用機器學習(ML)提供了一個極好的機會。**通過識別ML中的相關問題和合適配置，我們可以將這些不斷增加的數據轉化為發現更好的藥物，并縮短藥物開發周期，從而為以前無法治愈的疾病提供更便宜的藥物和治療選擇。**本文提出了四種機器學習方法來解決當今藥物研發流程中的不同挑戰，以快速為臨床試驗提供更可行的藥物候選，并最終改善所有人的生活質量。**本文提出一種批均衡方法，利用風格遷移生成對抗網絡來調節細胞圖像中常見的批效果，以便可以更有效地將它們用于高通量體外篩選。描述了一個能量啟發的SE(3)等變模型，以高效和準確地估計分子構象的分布，從而可以提高基于硅結構的篩選的準確性。提出了一個用于目標感知分子生成的3D全原子擴散框架，可以探索現有篩選庫之外的新化學，并提出新的藥物候選以結合挑戰性疾病的靶點。描述了一種反應預測算法，將基于規則的系統(整數線性規劃)和數據驅動的方法(圖神經網絡)結合在一起，可以從所描述的篩選管道或生成模型中有效地合成候選藥物。最后，我們使用圖神經網絡對氣味分子(而不是藥物)進行建模，并找到許多物種共享的通用氣味空間。我們假設，新陳代謝的生物學驅動了這種趨同進化，我們對這些與不同代謝過程相關的揮發性有機化合物的建模能力，可能對我們如何理解動物嗅覺和研究人類健康有很大的影響。綜上所述，本文展示了機器學習在大數據時代改變藥物發現和人類健康的潛力。

圖聚類是無監督學習中的一個基本問題，在計算機科學和分析現實世界數據中有著廣泛的應用。在許多實際應用中，我們發現聚類具有重要的高層結構。這在圖聚類算法的設計和分析中經常被忽視，因為這些算法對圖的結構做了強烈的簡化假設。本文討論了聚類結構是否可以有效學習的自然問題，并描述了四個用于學習圖和超圖中聚類結構的新算法結果。論文的第一部分對經典的譜聚類算法進行了研究，并對其性能進行了更嚴格的分析。這一結果解釋了為什么它在更弱、更自然的條件下工作，并有助于縮小譜聚類算法的理論保證與其優秀的經驗性能之間的差距。

論文的第二部分在前一部分的理論保證的基礎上，表明當底層圖的簇具有一定的結構時，少于k個特征向量的譜聚類能夠比使用k個特征向量的經典譜聚類產生更好的輸出，其中k是聚類的個數。本文首次討論和分析了少于k個特征向量的譜聚類的性能，并表明一般的聚類結構可以用譜方法學習。第三部分考慮使用局部算法高效地學習簇結構，其運行時間僅依賴于目標簇的大小，且與底層輸入圖無關。經典的局部聚類算法的目標是找到一個與圖其他部分稀疏連接的簇，本文的這一部分提出了一種局部聚類算法，它可以找到一對彼此緊密連接的簇。這一結果表明，即使在現實世界中普遍存在的大圖中，某些聚類結構也可以在局部環境中有效地學習。

論文的最后研究了超圖中密集連接聚類的學習問題。該算法基于一種新的熱擴散過程，擴展了最近在超圖譜理論方面的一系列工作。它允許在建模對象的高階關系的數據集中學習簇的結構，可以應用于有效分析在實踐中發生的許多復雜數據集。在不同領域的合成數據集和真實數據集上進行了廣泛的評估，包括圖像分類和分割、遷移網絡、合著網絡和自然語言處理。實驗結果表明，新提出的算法是實用、有效的，可以立即應用于實際數據的聚類結構學習。

基于深度學習的人工感知模型的出現徹底改變了計算機視覺領域。這些方法利用了機器不斷增長的計算能力和豐富的人工注釋數據，為廣泛的視覺任務構建有監督的學習者。然而，對人工標注的依賴也是這些方法可擴展性和通用性的瓶頸。我們認為，為了構建更通用的學習者(類似于嬰兒)，開發在沒有人類監督的情況下學習的方法至關重要。在本文中，我們針對兩個關鍵問題:表征和識別，對最小化人類監督的作用進行了研究。最近的自監督表示學習(SSL)方法已經在許多下游任務上展示了令人印象深刻的泛化能力。在這篇論文中，我們研究了這些方法，并證明它們仍然嚴重依賴于干凈、策劃和結構化數據集的可用性。我們通過實驗證明，這些學習能力無法擴展到“野外”收集的數據，因此，在自監督學習中需要更好的基準。我們還提出了新的SSL方法，以最大限度地減少對托管數據的依賴。由于詳盡地收集所有視覺概念的注釋是不可行的，因此泛化超出現有監督范圍的方法對于構建可擴展的識別模型至關重要。我們提出了一種新穎的神經網絡架構，利用視覺概念的組成性質來構造未見概念的圖像分類器。對于收集密集注釋是不可行的領域，我們提出了一種“通過關聯理解”的范式，該范式將識別問題重新表述為對應的識別。我們將此應用于視頻，并表明我們可以通過識別與其他類似視頻的密集時空對應來密集地描述視頻。最后，為了探索人類超越語義范疇的泛化能力，我們引入了“功能對應問題”，并證明編碼對象功能屬性的表示可以用于更有效地識別新對象。

對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性。

• 對稱和不變性在機器學習任務中無處不在。雖然卷積神經網絡以成功利用平移對稱性而聞名，但其他對稱性直到最近才經常被忽視。
• 將對稱性或不變性納入神經網絡體系結構可以避免昂貴的數據增強，并減輕對大型數據集的需求。
• 提出的工作集中在不變和等變神經網絡層，把對稱性放在神經網絡架構設計的中心。具體而言，本文涵蓋了三種不同的不變性:排列不變性、旋轉-平移不變性和標簽不變性

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269

在一個特定的數據集上訓練一個強大的神經預測器執行一項任務的主流NLP范式取得了在各種應用上的成功(如:情感分類、基于廣度預測的問答或機器翻譯)。然而，它建立在數據分布是平穩的假設之上，即。在訓練和測試時，數據都是從一個固定的分布中取樣的。這種訓練方式與我們人類在不斷變化的信息流中學習和操作的方式不一致。此外，它不適合于真實世界的用例，在這些用例中，數據分布預計會在模型的生命周期中發生變化。

本文的第一個目標是描述這種偏移在自然語言處理環境中可能采取的不同形式，并提出基準和評價指標來衡量它對當前深度學習體系結構的影響。然后，我們繼續采取步驟，以減輕分布轉移對NLP模型的影響。為此，我們開發了基于分布魯棒優化框架的參數化重構方法。從經驗上講，我們證明了這些方法產生了更魯棒的模型，正如在選擇的現實問題上所證明的那樣。在本文的第三部分和最后一部分，我們探索了有效地適應現有模型的新領域或任務的方法。我們對這個主題的貢獻來自于信息幾何學的靈感，獲得了一個新的梯度更新規則，緩解了適應過程中災難性的遺忘問題。

我們從評估開始，因為分布轉移特別難以描述和測量，特別是在自然語言方面。這部分是由于數據缺乏規范的度量結構。換句話說，如何有效地衡量兩個句子之間的語義相似度還不清楚，因此沒有直接的方法來衡量兩個樣本之間的差異，更不用說兩種分布了。因此，作為解決分布偏移的第一步，我們提出了一個新的基準(第3章)和評估指標(第4章)，分別評估域偏移和對抗擾動的魯棒性。有了這些工具在手，我們開始構建魯棒的模型，這些模型經過訓練，即使在沒有關于轉移本質的明確信息的情況下，對分布轉移也不那么敏感。這是通過利用訓練分布中的數據多樣性來實現的，以確保在訓練數據(子群體)中存在的各種領域上的統一性能。具體來說，我們制定了一個分布魯棒優化框架的參數化版本，該框架允許訓練模型對子群體轉移更為穩健(第5章和第6章)。最后，在靜態環境中學習從根本上是次優的:我們不能期望我們的模型在每一個可能的未來環境中都表現良好，我們必須能夠使它們適應我們遇到的任何新情況。因此，我們研究了一種機制，通過這種機制，我們能夠根據新的證據微調訓練模型，而不會忘記之前獲得的知識(第7章)。

//www.zhuanzhi.ai/paper/c5e7a9742d6a6313d63c5976499166dc