亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

深度生成模型（DGM）將深度神經網絡與生成模型結合，以學習感興趣數據的底層生成機制。這已經成為從數據中提取知識的重要方法，適用于機器學習和人工智能。然而，盡管具有潛在的潛力，學習和應用DGM在不同領域中仍然存在許多挑戰。因此，本論文的重點是理解、改進和應用不同的深度生成模型。

首先，我們介紹了不同DGM的基本原理，包括變分自動編碼器（VAE）、基于流的模型、生成對抗網絡（GAN）和基于能量的模型（EBM）。我們還提出了VAE的新對應物：變分潛在優化（VLO），它不需要編碼器結構。此外，我們提供了一種新的角度來理解EBM的生成過程，建立了EBM和GAN之間的聯系，并設計了一種新方法來提高EBM樣本質量。

接下來，我們提出了兩種混合型DGM，以改善當前模型的生成質量。首先，我們將基于流的模型和變分自動編碼器結合，以提高基于自動編碼器的生成模型的生成質量。其次，我們借鑒了指數傾斜的思想，將基于能量的模型與其他基于似然性的生成模型相結合，以獲得更好的樣本。

最后，我們進行了與現代深度生成模型相關的各種應用，包括將生成模型用作基于似然性方法的離群分布（OOD）檢測，并設計了可控的人臉生成模型。我們提出了一種新的OOD檢測分數，稱為似然性遺憾，以幫助使用VAE檢測OOD樣本。此外，我們建議在當前基于關鍵點的人臉重演模型中添加新結構，并將其與3D可變模型相結合，以提高其生成質量和泛化能力。

隨著全球可持續性挑戰的加劇，對創新的、跨學科的解決方案的需求正在激增，這些解決方案能夠利用多種數據來源和分析方法。我們研究了如何結合運籌學和人工智能，通過開發可適應的、普遍適用的框架來解決緊迫的可持續性和醫療保健問題。本論文深入研究了通過同時使用不同的數據類型（如表格、圖像、時間序列和自由文本）來實現的多模態性。我們制定了可以應用于各種任務的多功能方法，從熱帶氣旋預測和生物多樣性跟蹤到醫療保健運營，只需進行最小的適應。

我們模仿人類理解和連接不同數據類型的能力，將人工智能和優化結合到數據驅動的策略中。我們的貢獻包括開發了可泛化的數據預處理、特征提取和數據融合管道，以便在復雜的實際場景中進行大規模的多模態數據處理。值得注意的是，我們的熱帶氣旋預測模型的性能與美國國家颶風中心的頂級模型在24小時強度和軌跡預測上相當。此外，我們構建了連接運籌學和人工智能的預測到規定的數據驅動框架。為了支持多模態性，我們引入了確保在關鍵情況下模型的可靠性和性能的創新工具。我們探索了自適應的健壯集成建模，以增強在不確定性下的計劃和決策制定。

我們的預測和規定模型已在工廠、博物館和醫院中有效地實施，以解決可持續性和公共衛生問題，包括空氣污染管理、生態系統保護和罕見腫瘤分割。我們的污染管理模型在摩洛哥最大的化學工業廠OCP Safi Site顯著地減少了有害排放，同時減少了不必要的成本。此外，我們的腫瘤分割模型與醫學醫生的專業知識相匹配，同時提供了大量的時間節省。

潛在變量模型假設某些潛在變量在觀測數據中缺失，這種模型已經被長期研究，并在實踐中找到了眾多應用。使用潛在變量的機器學習不僅可以提高預測的準確性，而且在增強數據的可解釋性以及發現數據背后的原理上起到了關鍵作用。本論文致力于為各種潛在變量模型的學習開發高效和可證明的算法。第一和第二個主題涉及使用無標簽樣本學習混合模型，這是一種對異質和復雜數據進行建模的強大技術。考慮了兩種具體設置：(1) 低秩模型的混合，將低復雜性的結構先驗整合到高維的混合線性回歸中；(2) 線性動態系統的混合，由于時間序列數據之間的時間依賴性，模型估計尤為具有挑戰性。對于這兩個問題，我們設計了有原則的和模塊化的算法，并正式導出了可靠模型估計所需的樣本復雜度。此外，實證證據證實，我們的方法有潛力推廣到更廣泛的設置，超出我們的理論研究所涵蓋的范圍。第三個主題涉及根據邊緣上的成對比較對一組項目進行排名，這些項目構成了一個連接圖。我們關注經典的Bradley-Terry-Luce模型，該模型假設成對比較的噪聲測量是基于項目的某些未知潛在分數生成的。在關注潛在得分估計的前提下，我們首先導出了在一般圖形拓撲下最大似然估計的接近最優的逐項錯誤，這是通過觀察統計估計和迭代優化算法之間的關聯來證明的。此外，我們開始研究具有局部性的圖形中的排名，這在實踐中由于物理約束而出現；我們的貢獻包括(1)確定局部性不受影響的條件，以及(2)設計新穎的分而治之算法，即使在最小的樣本復雜度下也能保證達到接近最優的錯誤，同時享有某些計算優勢。

盡管神經網絡在各種應用中的高度公開化的成就備受矚目，但它們尚未在安全關鍵的應用中得到廣泛部署。實際上，關于深度學習系統的魯棒性、公平性、隱私性和可解釋性存在基本的疑慮。在這篇論文中，我們致力于通過提出有關神經網絡驗證和訓練的貢獻，提高對深度學習系統的信任。首先，通過為流行的網絡松弛設計雙重求解器，我們提供了快速且可擴展的神經網絡輸出邊界。具體來說，我們提出了兩種求解元素激活函數凸殼的求解器，以及基于ReLU激活與前線性層組合凸殼的兩種算法。我們展示了這些方法比現有求解器明顯快，并且改善了以往雙重算法的速度-精度權衡。為了有效地利用它們進行正式的神經網絡驗證，我們圍繞邊界算法設計了一個大規模并行的分枝定界框架。我們的貢獻，作為OVAL驗證框架的一部分，已經公開發布，它們改善了現有網絡驗證器的可擴展性，并對更近期的算法開發產生了影響。其次，我們提出了一種直觀且經濟的算法，通過分枝定界來訓練神經網絡以進行可驗證性。我們的方法被證明可以在驗證對小的敵對性擾動的魯棒性方面達到最先進的性能，同時比之前的算法降低了訓練成本。最后，我們進行了全面的實驗評估，評估了一次訓練網絡執行多個任務的專門訓練方案，顯示它們與簡單基線的性能相當。我們對我們的驚人結果提供了部分解釋，旨在進一步激發對深度多任務學習理解的研究。

在過去的幾年里，神經網絡在各種備受關注的應用中取得了顯著的性能，從蛋白質折疊（Senior等人，2020；Jumper等人，2021）到快速矩陣乘法（Fawzi等人，2022）。由于這些成就的宣傳，基于神經網絡的系統現在常常出現在主流信息媒體中（Geddes，2022；Larousserie，2022；Iannaccone，2022），這導致了媒體曝光率的持續增加。直接的結果是，人們對機器學習算法的可信度產生了極大的興趣（Varshney，2022）。特別的，人們的努力已經朝著確保神經網絡的公平性（Du等人，2020），可解釋性（Angelov和Soares，2020），魯棒性（Carlini和Wagner，2017）和隱私性（Abadi等人，2016）方向發展。深度學習在計算機視覺方面的進展（Krizhevsky等人，2012；Voulodimos等人，2018）尤其迅速，其中已經在標準化任務上取得了超過人類的性能（O’Mahony等人，2019）。然而，對敵對性例子的發現（Szegedy等人，2014；Goodfellow等人，2015），即人類無法察覺的擾動可以顯著改變網絡預測，對這種進步的基礎產生了嚴重的質疑。因此，越來越多的注意力開始致力于提供關于神經網絡行為的正式保證（Liu等人，2021b）。此外，人們注意到深度學習的實踐常常基于民間觀察和固定的流程，而不是對正在使用的復雜算法的嚴謹理解（Sculley等人，2018；Hutson，2018）。幸運的是，有許多工作試圖提供對預先存在的算法的全面評估（Greff等人，2017；Lucic等人，2018），常常揭示了更簡單基線的競爭性能（Brockschmidt，2020；Narang等人，2021）。 在這篇論文中，我們通過開發或為神經網絡驗證和訓練的高效算法提供支持，向可信任的深度學習邁進一步。在概述這篇論文中提出的各項貢獻（§1.4）之前，我們現在將介紹神經網絡驗證（§1.2）以及我們感興趣的背景下的神經網絡訓練（§1.3）。

 醫學影像是醫療健康中的重要工具，放射科醫生經過高度培訓，能夠在醫學圖像中檢測和描述疾病。然而，僅依賴人類的分析有其局限性：它可能耗時、變化大且難以擴展。自動化部分醫學圖像分析流程可以克服這些局限性，以支持和擴展臨床醫生和放射科醫生的能力。在本文中，我們將重點研究深度學習在自動化醫學圖像分析中可能起到的轉變性角色。我們將分割視為基于深度學習的圖像分析的關鍵工具，并展示了如何在沒有大量手動注釋訓練數據集的情況下，分割神經網絡可以在許多醫學圖像分析任務上實現高性能。

我們首先描述了兩種在標簽數據有限的情況下訓練醫學圖像分割神經網絡的方法。在我們的第一種方法中，我們將弱監督適應于分割。在我們的第二種方法中，我們將數據增強、一致性正則化和偽標簽融合在一個統一的半監督流程中。這些方法將多種有限標簽訓練方法融入到同一框架中，利用每種方法的優點實現高性能，同時保持標簽負擔低。接下來，我們評估了在多機構、多掃描儀、多疾病數據集上使用有限標簽數據訓練的網絡在臨床相關指標上的表現。我們發現，我們的半監督網絡在某些泛化任務上比全監督網絡（訓練數據標簽多100倍以上）表現更好，與人類注釋者的一致性更強。然而，我們發現了標簽效率方法表現不佳的數據子集。我們提出了一種針對我們半監督流程的主動學習擴展，以解決這些錯誤模式，使困難數據切片上的半監督性能提高18.5%。通過這種評估，我們了解了如何使用有限標簽數據訓練的網絡在臨床任務上的表現，它們與使用豐富標簽數據訓練的網絡的比較，以及如何減輕錯誤模式。

最后，我們將標簽高效的分割模型應用到更廣泛的醫學圖像分析任務中。具體來說，我們展示了分割如何以及為什么可以使醫學圖像分類受益。我們首先分析了為什么在同一數據集和任務上，分割模型和分類模型可能達到不同的性能。然后，我們實現了使用分割模型對醫學圖像進行分類的方法，我們稱之為"以分割為分類"，并將這些方法與三個回顧性數據集上的傳統分類進行比較。最后，我們利用我們的分析和實驗總結了與標準分類相比，使用"以分割為分類"的優點，包括：改善樣本效率，能夠在標簽圖像更少的情況下（少一個數量級）提高性能，在低發病率類別和某些罕見子組中（最高提高161.1%的召回率）；提高對假相關的魯棒性（最高提高44.8%的魯棒AUROC）；以及提高模型的可解釋性，評估和錯誤分析。這些結果表明，利用分割模型可以在常見設置中導致更高質量的醫學圖像分類器。總的來說，本文聚焦于將分割作為支持自動化醫學圖像分析的關鍵工具，并展示了如何訓練分割網絡，在沒有大量標簽負擔的情況下，在許多圖像分析任務上實現高性能。

隨著社會和技術日益緊密地聯系在一起，威脅也越來越大。曾經孤立的威脅現在對高度相互依賴的系統構成嚴重擔憂，這凸顯了魯棒的機器學習的基本需求。本文通過強大的機器學習的視角，貢獻了新穎的工具、算法、數據庫和模型，旨在研究解決網絡安全和醫療領域影響數百萬人的大規模社會問題。

(1)工具:開發了TIGER，第一個全面的圖魯棒性工具箱;魯棒性調研確定了圖魯棒性研究的關鍵但缺失的領域。(2)算法:我們的調查和工具箱表明，現有的工作忽略了計算機認證網絡的橫向攻擊。本文開發了D2M，第一個算法框架，通過從圖論的角度建模橫向攻擊移動，來量化和減輕網絡對橫向攻擊的脆弱性。(3)數據庫:為了共同防止橫向攻擊，開發了MALNET-GRAPH，世界上最大的網絡安全圖數據庫，包含696個類別的超過1.2M個圖，并首次展示了通過圖介質進行惡意軟件檢測的有效性的大規模結果。通過構建最大的二值圖像網絡安全數據庫擴展MALNET-GRAPH，該數據庫包含1.2M圖像，比其他唯一的公共數據庫多133倍的圖像，使少數行業實驗室在惡意軟件檢測和分類研究中的新發現成為可能(MALNET-IMAGE)。(4)模型:為了保護系統免受對抗性攻擊，本文開發了UNMASK，這是第一個標記計算機視覺系統中語義不連貫的模型，該模型檢測到高達96.75%的攻擊，并通過正確分類高達93%的攻擊來保護模型。受UNMASK保護計算機視覺系統免受對抗性攻擊的能力的啟發，本文開發了REST，通過對抗性訓練、譜正則化和稀疏正則化的新組合來創建噪聲魯棒模型。在存在噪聲的情況下，所提出方法將最先進的睡眠階段評分提高了71%，使我們能夠在早期和家庭環境中診斷睡眠障礙，同時使用的參數減少了19倍，MFLOPS減少了15倍。我們的工作對行業和社會產生了重大影響:UNMASK框架為DARPA數百萬美元的GARD獎奠定了基礎;用于圖魯棒性分析的TIGER工具箱是Nvidia數據科學教學工具包的一部分，供世界各地的教育工作者使用;我們發布了MALNET，世界上最大的圖分類數據庫，包含120萬張圖;D2M框架對微軟的產品產生了重大影響，啟發了該產品對橫向攻擊檢測方法的改變。 //smartech.gatech.edu/handle/1853/66145

人們對采用計算機輔助診斷(CAD)系統，特別是那些基于深度學習算法開發的系統，在許多醫學專業中應用非常感興趣。然而，這些CAD系統的成功很大程度上依賴于大型注釋數據集;否則，深度學習通常會導致算法表現不佳，缺乏可泛化性。因此，本論文旨在解決這一關鍵問題: 如何開發高效和有效的深度學習算法，以適應醫療應用中無法使用大型注釋數據集的情況。為此，我們提出了三個具體目標:(1)有效地從人類專家那里獲得必要的注釋;(2)有效利用先進體系結構中的現有注釋;(3)直接從無注釋的圖像中提取通用知識。我們的大量實驗表明，在對數據集的一小部分進行注釋的情況下，所開發的深度學習方法可以與需要對整個數據集進行注釋的方法相匹配，甚至優于那些需要對整個數據集進行注釋的方法。本論文的最后一部分介紹了成像在醫療保健中的重要性和應用，詳細闡述了開發的技術如何影響肺栓塞的CAD系統的幾個關鍵方面。需要進一步的研究來確定將這些先進的深度學習技術應用于臨床實踐的可行性，特別是在注釋有限的情況下。這一領域的進展有可能使深度學習算法推廣到真實的臨床數據，并最終允許CAD系統在護理點應用于臨床醫學。

在本文中，我們研究了生成模型的幾個重要標準，并引入評價指標來解決每個問題，同時討論了生成模型評價中的上述問題。特別是，我們研究了測量生成輸出的感知現實主義的挑戰，并引入了一個人在循環中的評估系統，利用心理物理學理論，以人類知覺文獻和眾包技術為基礎，構建一個高效、可靠、并采用一致的方法比較不同的模型。除此之外，我們還分析了解纏性(Disentanglement)，這是評估已學習表示的一個日益重要的特性，通過使用持久同調測量生成模型數據流形的內在特性。

//searchworks.stanford.edu/view/13883847

強化學習(RL)智能體需要探索他們的環境，以便通過試錯學習最優策略。然而，當獎勵信號稀疏，或當安全是一個關鍵問題和某些錯誤是不可接受的時候，探索是具有挑戰性的。在本論文中，我們通過修改智能體解決的潛在優化問題，激勵它們以更安全或更有效的方式探索，來解決深度強化學習設置中的這些挑戰。

在這篇論文的第一部分，我們提出了內在動機的方法，在獎勵稀少或缺乏的問題上取得進展。我們的第一種方法使用內在獎勵來激勵智能體訪問在學習動力學模型下被認為是令人驚訝的狀態，并且我們證明了這種技術比單純探索更好。我們的第二種方法使用基于變分推理的目標，賦予個體不同的多種技能，而不使用特定任務的獎勵。我們證明了這種方法，我們稱為變分選擇發現，可以用來學習運動行為的模擬機器人環境。

在論文的第二部分，我們重點研究了安全勘探中存在的問題。在廣泛的安全強化學習研究的基礎上，我們提出將約束的RL標準化為安全探索的主要形式; 然后，我們繼續開發約束RL的算法和基準。我們的材料展示按時間順序講述了一個故事:我們首先介紹約束策略優化(Constrained Policy Optimization, CPO)，這是約束深度RL的第一個算法，在每次迭代時都保證接近約束的滿足。接下來，我們開發了安全健身基準，它讓我們找到CPO的極限，并激勵我們向不同的方向前進。最后，我們發展了PID拉格朗日方法，其中我們發現對拉格朗日原-對偶梯度基線方法進行小的修改，可以顯著改善求解Safety Gym中約束RL任務的穩定性和魯棒性。

//www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html