亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

機器學習（ML）和人工智能（AI）在廣泛的領域實現了非凡的、超乎人類的性能：包括計算機視覺、自然語言處理、蛋白質折疊等等。直到最近，大多數的進步都是采取模型中心化的方法，主要關注于改善神經網絡架構（如卷積神經網絡、殘差網絡、變換器等）和訓練這些模型的優化程序（如批量標準化、dropout、神經結構搜索等）。相對來說，我們對用來訓練這些模型的數據的關注度較低，盡管眾所周知，機器學習對高質量數據的依賴可以用"垃圾進,垃圾出"這句話來精辟地概括。隨著對越來越大且更復雜的模型（如Nvidia和Microsoft的5300億參數的MT-NLG）的回報逐漸減小，研究人員開始認識到采取數據中心化方法的重要性，并開發了原理性的方法來研究這些模型的燃料：數據本身。數據中心視角不僅可以提高任務性能，還可以讓我們考慮到一些社會關鍵考慮因素，如數據隱私。在本論文中，我們將對機器學習數據管道中的幾個點進行深入分析：在模型訓練前、訓練中和訓練后。在模型訓練前，我們將探索數據選擇的問題：應該用哪些數據來訓練模型，我們應該期望我們的模型在何種類型的數據上工作？當我們進入模型訓練時，我們將把注意力轉向由我們的ML系統與其部署環境的交互可能導致的兩個問題。第一個問題是數據隱私：我們如何防止我們的模型泄露有關其訓練數據的敏感信息？第二個問題涉及一些被模型化的群體的動態性。特別是當我們的模型被用于做出具有社會影響力的決策（如自動貸款批準或推薦系統）時，模型本身可能會影響數據的分布，導致性能降低。最后，盡管我們在模型訓練前和訓練中遵循最佳實踐，但可能在訓練后我們希望對模型進行后處理，以移除某些訓練后的數據的影響。如何以計算效率高的方式實現這一點呢？本論文將涵蓋每一個先前問題的新穎解決方案，強調的是每一個提議的算法都有可證明的保證。通過將數學嚴謹性應用于具有挑戰性的現實問題，我們可以開發出既有效又可信賴的算法。

在過去的十年中，機器學習（ML）和人工智能（AI）研究已經取得了飛速的進步。到目前為止，大部分的研究都采用了模型中心化的方法：也就是說，數據集被視為已給定，研究人員不斷迭代應用于這些數據集以提取有用信息的模型。這種模式下有一套標準的假設。例如，數據通常假設是從固定概率分布中獨立同分布（i.i.d.）抽取的，此外還假設數據是固定的和給定的。通常還假設測試數據與訓練數據來自同一分布，即不存在分布漂移。而且，通常唯一衡量成功的指標是模型的性能（如預測任務的準確率）。盡管這種范式已經帶來了大量令人印象深刻的進步，但往往與數據科學家在實踐中面臨的情況相去甚遠。例如，收集和策劃一份高質量的訓練集通常比使用更復雜的模型架構帶來更大的收益。關于獨立同分布的假設，在現實中，數據分布可能由于各種因素而不斷變化，包括時間變化（如消費者偏好的季節性影響）和空間變化（如不同地理位置的醫院患者分布不同）。在某些情況下，我們的模型本身可能導致數據分布的變化，特別是如果該模型被用于做出具有社會影響力的決策。最后，最近的立法，如加利福尼亞消費者隱私法案和歐盟的通用數據保護法規，要求在設計AI模型過程中也要考慮消費者隱私。也就是說，隱私以及模型性能，都是必須考慮的關鍵指標。 所有這些重要的實踐問題都有一個共同的主題：它們更多地關聯到數據本身，而不是訓練在其上的模型。在這篇論文中，我們遵循這種數據中心的觀點，并為數據通過典型的ML管道可能出現的問題提出新穎的算法。我們特別強調可以為每個提出的算法提供的可證明的保證。

深度學習的發展導致了在各種應用領域的各種任務上的顯著性能提升，這些應用領域包括計算機視覺、自然語言處理、強化學習、生成模型，以及最近從圖結構數據中進行的關系學習。這一成功的主要原因是計算能力的提高，這允許深度和高度參數化的神經網絡架構，這些架構可以從原始數據中學習復雜的特征轉換。然而，深度神經網絡的高表示能力往往是以高模型復雜度為代價的，這指的是高參數化，以及與深度學習相關的內存和計算負擔。**在本文中，我依靠參數有效的神經算子，對數據的適當建模假設和網絡結構的歸納偏差，在幾個應用領域提出更簡單的神經網絡模型。**對于我工作的每個應用領域，我使用這些效率原則的組合來設計新穎的方法。首先，在醫學圖像處理的背景下，我觀察到空間對齊的神經圖像比自然圖像表現出更少的自由度，這證明使用低容量卷積算子是合理的。我通過應用參數高效的卷積變體來實現這一點。我展示了早期阿爾茨海默病預測的最先進結果，同時使用的參數減少了多達125倍，乘累加操作減少了17倍以上。對于設計用于識別受試者亞型的神經圖像的無監督方法也得出了類似的結論。其次，我著手緩解從零開始訓練參數高效的深度模型的挑戰。這可以減少在資源受限的"邊緣"設備上訓練深度模型的不可行性。所提方法基于一個簡化的網絡結構假設，即參數無關性，允許在組合多臂匪徒的背景下建模問題。該方法可以動態地，即在訓練期間，在遵循預定義的內存使用預算的同時，在超參數化模型中識別高性能緊湊的子網絡。這是通過將顯著性指標與每個神經元相關聯來實現的，然后用于驅動參數激活，類似于門控機制，同時學習參數。因此，深度神經網絡訓練和推理過程中的計算和內存負擔都顯著減少。最后，提出一種深度概率模型，用于學習動態圖中的無監督節點和社區嵌入。基于網絡固有的社團結構，引入了關于邊形成機制的結構歸納偏差。此外，我還假設節點和社區都是平滑的時間演化，其靈感來自于數據中缺乏破壞性事件。本文提出一種該方法的參數高效實現，在各種動態預測任務上優于最先進的圖卷積網絡。

機器學習在過去十年取得了重大進展。其最成功的范式是深度神經網絡，由連續表示層組成，其參數通過梯度下降在大規模數據集上進行優化。

深度神經網絡在許多任務上取得了卓越的性能，如物體識別、語言理解和自動駕駛。然而，他們仍然在推理任務中掙扎，這些任務通常需要操作符號并將多個步驟組合起來，例如，求解數學方程或編寫計算機程序。在這篇論文中，我們的目標是彌合這一差距，并教機器以精確、系統、可解釋和魯棒的方式進行推理，以應對現實環境中的模糊性。**本文采用神經符號方法，結合機器學習和符號推理的互補優勢。符號推理具有精確性和系統性。**但它已被限制在可嚴格形式化的領域。相比之下，主要的機器學習方法很靈活，但眾所周知難以解釋，需要大量數據，并且無法在訓練分布之外進行泛化。集成兩種方法的優勢對于構建具有精確和系統泛化能力的靈活推理機至關重要。具體而言，本文從兩個角度研究了神經符號推理。首先，將機器學習應用于與符號推理相關的任務，如自動定理證明(第2章)。其次，將符號推理啟發的歸納偏差引入機器學習模型，以提高其可解釋性、泛化性和數據效率(第3章和第4章)。結果強調了(1)神經符號模型架構，(2)在適當的抽象水平上進行推理，以及(3)明確的、推理的組合表示，如符號證明。 //dataspace.princeton.edu/handle/88435/dsp015q47rr958

深度學習的出現為許多基本的計算機視覺任務帶來了巨大的進展，如分類、檢測和分割，這些任務描述了圖像和視頻中物體的類別和位置。在監督學習方面也做了很多工作--教機器使用人類注釋的標簽來解決這些任務。然而，機器只知道某些物體的名稱和位置是不夠的；許多任務需要對復雜的物理世界有更深入的了解--例如，物體與周圍環境的互動（通常通過創造陰影、反射、表面變形和其他視覺效果）。此外，在嚴重依賴人類監督的情況下，訓練模型來解決這些任務，成本很高，而且不切實際，難以推廣。因此，本論文探索了兩個方向：首先，我們的目標是超越分割，解決一個全新的任務：將物體與其相關的視覺效果（如陰影、反射或附著的物體）分組；其次，我們以自我監督的方式解決視頻物體分割的基本任務，而不依賴任何人類注釋。

//ora.ox.ac.uk/objects/uuid:6c722b16-1a13-4ae1-aebb-fb7026820a64

為了將物體與其相關的視覺效果自動分組，我們采用了一種分層的方法：我們的目標是將視頻分解成特定的物體層，其中包含所有與物體一起移動的元素。這些層的一個應用是，它們可以以新的方式重新組合，以產生一個高度真實的、經過改變的原始視頻版本（例如，刪除或復制物體，或改變其運動的時間）。這里的關鍵是利用卷積神經網絡的自然屬性來獲得輸入視頻的分層分解。我們設計了一個神經網絡，通過對視頻的過度擬合，為視頻輸出層。我們首先介紹了一種針對人類的方法，然后展示了如何將其適應于任意的物體類別，如動物或汽車。我們的第二個任務是視頻物體分割：為視頻中的物體產生像素級的標簽（段）。我們以前的工作是在單個視頻上進行優化，而在這里，我們采取了一種數據驅動的方法，以自我監督的方式對大量的視頻語料庫進行訓練。我們考慮了兩種不同的任務設置：（1）半監督物體分割，即為單一幀提供初始物體掩碼，該方法必須將該掩碼傳播到其余幀；（2）移動物體發現，即不提供掩碼，該方法必須分割突出的移動物體。我們探討了兩種不同的輸入流。RGB和光流，并討論它們與人類視覺系統的聯系。

近年來，深度學習已經將自己定位為機器學習最有前途的方向之一。然而，深度神經網絡在不確定性估計、模型選擇、先驗知識的整合等方面存在許多不足。幸運的是，所有這些問題都可以在貝葉斯深度學習框架內克服，使用貝葉斯神經網絡、變分自編碼器或深度神經網絡高斯過程等模型。不幸的是，這需要使用近似推理過程和先驗分布的規范。在這篇論文中，我們展示了這些模型中先驗規范不僅僅是一個麻煩，而是一個寶貴的機會，可以將領域知識和歸納偏見加入到學習算法中，從而提升全新應用的性能。為此，我們對相關文獻進行了全面的回顧，并進一步貢獻了不同的原創研究成果。

具體地說，我們證明了變分自編碼器中的高斯過程先驗可以改進時間序列的表示學習，并允許對缺失數據進行有效的插補，同時還可以提供校準的不確定性估計。我們還表明，通過使用變分高斯-馬爾可夫過程，這是可能的，在沒有顯著的額外計算成本。此外，我們表明，在變分自編碼器中使用自組織映射作為結構歸納偏差，可以提高學習表示的可解釋性，并使有效的潛在聚類。這些聚類表示可以作為潛在時間序列模型的輸入，從而準確地預測未來的狀態。在貝葉斯神經網絡中，我們證明了常用的各向同性高斯先驗不僅會導致次優性能，而且在某些情況下還會產生所謂的冷后驗效應，即經過緩和的后驗比真正的貝葉斯后驗表現更好。相反，我們提出了具有重尾性和空間相關性的備選先驗，可以提高性能，緩解冷后驗效應。最后，當沒有先驗知識可用時，我們表明先驗分布可以在元學習環境中從相關任務中學習。在深度神經網絡高斯過程的情況下，我們表明元學習的均值函數和核函數的先驗改進預測性能和不確定性估計。

我們希望本文將為貝葉斯深度學習框架奠定基礎，在該框架中，先驗分布的選擇將被視為建模任務的關鍵部分，手工設計和元學習的先驗將在任務之間自由共享，以實現貝葉斯深度學習。

//www.research-collection.ethz.ch/handle/20.500.11850/523269