亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

生成式人工智能旨在制定特定類型的數據分布，以便能夠生成模仿底層分布的真實樣本的新數據實例。值得一提的是，在計算機視覺中，生成模型和判別模型是兩大主要類別。后者旨在基于特定數據實例準確預測類別、對象位置、分割等，而前者探索和制造復雜的數據流形。有人可能會爭論，由于旨在模擬現實世界中無限制領域的巨大復雜性的數據，計算機視覺中的生成式人工智能需要更加先進。然而，即使是最復雜的網絡設計，也很難準確地制定我們自然世界中的確切數據分布，因此還有很大的改進空間。 隨著最近生成式人工智能技術的突破，現在的研究人員和工程師創建了開始處理現實世界需求的高性能生成解決方案作為商業產品，幸運的是，這篇論文也參與其中。在這篇論文中，作者旨在通過探索最佳可能的視覺表征形式（即神經隱式嵌入、頻域表征、基于變換器的表征），以盡可能捕獲更多的視覺信息，進一步推動生成式人工智能的性能。毫無疑問，數據表征是生成式人工智能的一個關鍵前提，因為它揭示了模型能力的上限。此外，從一個更廣泛但不那么精確的角度來看，生成建模的目標——模擬精確的數據分布，也可以視為一種表征學習。在論文的最后部分，作者還探討了超越視覺表征的主題，向更一般的跨模態表征進發，適應多種類型的數據模態，這是朝著更具挑戰性的目標邁進的啟發式步驟：通用人工智能。

這篇論文始于UltraSR，探索適合圖像超分辨率的隱式神經視覺表征，通過任意上采樣比例合成圖像細節。UltraSR的核心思想將隱式神經表征與可學習的周期性編碼相結合，以連續函數的形式在高頻流形中制定視覺細節。當UltraSR探索神經視覺表征時，Spectral Hint GAN（SH-GAN）采取了不同的路線，深入涉及頻域中的視覺特征進行圖像完成。SH-GAN提出了一個新穎的頻譜網絡模塊：Spectral Hint Unit（SHU），以及兩種新策略：異構過濾和高斯分割。SH-GAN因以下原因超越了以往的圖像完成方法：通過基于StyleGAN的共調制框架有效地填充低頻圖像結構，以及通過SHU有效地填充高頻圖像紋理。最近在文本到圖像（T2I）擴散模型的進展激發我們探索新的工作Prompt-Free Diffusion，在這項工作中，我們用SeeCoder代替CLIP文本編碼器來捕獲視覺線索，從T2I系統中移除了提示的需要。SeeCoder自動提取各種視覺線索，包括但不限于語義、紋理、背景等，并將它們傳遞給擴散模型。我們的合成結果既高質量又緊密跟隨SeeCoder編碼的參考視覺線索。與Prompt-Free Diffusion并行，我們提出了Versatile Diffusion，這是第一個提出統一的多模態多流擴散管道的工作，均勻處理多種跨模態任務，生成圖像、文本和變體。Versatile Diffusion具有更廣泛的范圍，我們的目標是將不同模態的表征合并到一個生成網絡中，向通用生成式人工智能的大膽一步邁進。

總之，所有工作都提供了有關數據表征的寶貴見解，其中UltraSR、SH-GAN和Prompt-Free Diffusion積極探索了三種方案下的最佳視覺表征：隱式神經表征、頻域表征和基于變換器的表征。在最后一部分，Versatile Diffusion探索了圖像、文本和圖文跨模態的統一表征和生成。UltraSR在所有比例上的DIV2K數據集上比基線模型高出0.05 dB。SH-GAN在FFHQ數據集上達到FID 3.41，在Places2數據集上達到7.10，獲得了大規模自由形式圖像完成任務中的新最佳水平。Prompt-Free Diffusion和SeeCoder完成了以驚人質量完成流行的示例-based圖像生成任務。Versatile Diffusion在Coco2014數據集上的CLIP相似度為0.269和0.858；FID為11.20和4.57，測量文本到圖像和圖像變化，超越了所有方面的基線Stable Diffusion。

機器學習（ML）通過其近期前所未有的進步正在改變社會。自回歸模型的普及正在重塑社會的各個層面，從專業領域到學術追求，甚至休閑活動。智能AI系統的一個核心方面是它們處理和理解長時間的時間信息流，如文本、音頻或視頻數據的能力。在這篇論文中，我們深入探討了學習數據中長期依賴性的問題，從兩個主要角度來解決它：模型架構和學習算法。與其致力于在當代基準分數上獲得邊際改進，這些分數通常更依賴于工程優化，本論文的重點是深入理解潛在的時間機制，探索替代學習算法，并為未來在計算效率方面的改進提供基礎。

在第一章中，我們提出了一種新方法，將眾所周知的ML模型之一，循環神經網絡（RNN）的多個實例互聯。我們提出的實證證據表明，模型架構的修改在系統組件內引發不同的時間行為。這一發現可以被利用來區分長期依賴性和短期依賴性，為使用專門為每個設計的架構鋪平了道路。

第二章聚焦于在線學習算法，這種方法顯著偏離了用于訓練時間ML模型的傳統方法。這些算法在觀察到每個輸入后立即更新其參數，與更常用的方法形成對比，后者必須觀察整個輸入序列才能更新模型參數。我們研究了實時循環學習（RTRL）在眾所周知的RNN模型中的表現，并提出了一種數學上合理的近似方法。這種新方法提供了更好的近似，盡管它只與某些架構兼容。

在最后一章中，我們同時從這兩個方面應對學習長期依賴性的挑戰。我們提出了一種分層架構，能夠通過將其分解為更小的自包含子序列來處理擴展序列。與這種架構一起，我們提出了一種學習算法，使得在抽象空間中的學習成為可能，從而繞過了專注于短期序列細節的需求。這種架構和算法的結合導致了計算效率的顯著提高。重要的是，我們的方法不僅增強了當前模型的能力，而且還為未來模型架構和學習算法的共同設計開辟了令人興奮的途徑。

深度生成模型已經徹底改變了人工智能領域，從根本上改變了我們如何生成模仿或從訓練數據推廣出的新穎對象，以及我們訪問和消費各類信息（如文本、圖像、語音和計算機程序）的方式。它們有潛力徹底改變其他科學領域，從數學問題解決到支持高能物理中快速而準確的模擬，或是使快速天氣預報成為可能。在計算生物學中，生成模型對于改進我們對復雜生物過程的理解、設計新藥物和治療方法、以及預測大流行期間病毒的進化等方面，都擁有巨大的潛力，而這只是眾多應用中的一部分。然而，由于生物對象的固有復雜性，它們帶來了獨特的挑戰，包括龐大的空間、多種補充數據模式，以及高度結構化和相對非結構化組件之間的獨特相互作用。

在這篇論文中，我們開發了幾種由計算生物學中關鍵問題所驅動的深度生成建模框架。鑒于這一努力的跨學科性質，我們首先提供了關于生成建模、不確定性量化、順序決策制定，以及生物學和化學中重要概念的全面背景，以便徹底理解我們的工作。接著，我們深入探討我們貢獻的核心，圍繞三個章節進行構建。第一章介紹了學習生物序列表示的方法，為后續分析打下了基礎。第二章展示了如何利用這些表示來預測生物分子的復雜屬性，重點關注三個具體應用：蛋白質適應性預測、遺傳變異對人類疾病風險的影響，以及病毒免疫逃逸。最后，第三章致力于設計新型生物分子的方法，包括藥物靶點識別、從頭分子優化和蛋白質工程。

這篇論文還對更廣泛的機器學習挑戰，如高維空間中的不確定性量化或高效的變換器架構，作出了幾個方法論貢獻，這些貢獻在其他應用領域也具有潛在價值。我們最后通過總結我們的主要發現，強調當前方法的不足，提出未來研究的可能途徑，并討論該領域內的新興趨勢來結束這篇論文。

人工智能（AI）的發展迅速，為許多實際應用帶來了顯著的進步。但是，AI決策的普及也引發了對其潛在安全風險的擔憂，因為眾所周知AI系統在多個領域都會出現故障，例如自動駕駛、醫療診斷和內容審查。在這篇論文中，我們通過生成模型的角度探討AI的安全挑戰，這是一類能夠逼近訓練數據集的基礎分布并合成新樣本的機器學習模型。通過將生成模型與AI安全連接起來，我們揭示了生成模型在解決安全挑戰方面的巨大潛力，同時也識別了現代生成模型帶來的安全風險。首先，我們重點研究了如何通過將生成模型納入現有的機器學習流程并合成新的合成圖像來提高對抗性強健學習中的泛化能力。我們評估了各種生成模型，并提出了一個新的指標（ARC），基于對抗性擾動的合成數據和真實數據的不可區分性，來準確確定不同生成模型的泛化優勢。接下來，我們探討了生成模型的任務感知知識蒸餾，首先證明了單個合成圖像在提高泛化中的不同貢獻。為了自適應地采樣具有最高泛化效益的圖像，我們提出了一種自適應采樣技術，引導擴散模型的采樣過程以最大化生成的合成圖像的泛化效益。然后，我們利用生成模型從低密度區域生成高保真樣本，來解決長尾數據分布的不足，這些長尾分布是AI安全中的許多挑戰的基礎。我們為擴散模型提出了一種新的低密度采樣過程，引導該過程走向低密度區域同時保持保真度，并嚴格證明我們的過程成功地從低密度區域生成了新的高保真樣本。最后，我們展示了現有生成模型的一些關鍵限制。我們首先考慮了異常值檢測任務，并展示了現代生成模型在解決它時的不足。考慮到我們的發現，我們提出了SSD，這是一個基于未標記的分布數據的無監督異常值檢測框架。我們進一步發現，數百萬用戶使用的現代擴散模型泄漏了訓練數據的隱私，我們從預訓練的擴散模型中提取了大量的訓練圖像。總之，這篇論文解決了多個AI安全挑戰，并為新的生成AI范式下的AI系統的安全性和可靠性提供了一個綜合框架。

//searchworks.stanford.edu/view/14784050

盡管語言模型（LMs）在現實應用中無處不在（例如，網頁搜索，文本自動完成和內容生成），但大多數LMs并沒有針對人類用戶與LMs的交互進行優化，也沒有在這方面進行評估。為了解決這一缺口，本論文專注于設計和評估用于人機交互的LMs。我們首先關注作者在修訂過程中遇到的一個特定需求：在給定周圍環境的情況下提出內容。為了支持這種需求，我們提出了一種訓練方法，使任何預先訓練過的LMs都能完成填空任務，有助于更好地促進人機交互。其次，我們構建了一個平臺，CoAuthor，用于捕獲人機交互的交互痕跡。通過CoAuthor，我們展示了如何收集大規模交互數據集并分析這些痕跡，從而對LM在語言，思想發展和協作方面的能力提供獨特的見解。最后，我們提出了一個新的評估框架，人工智能語言交互評估（HALIE），該框架定義了交互系統的組成部分以及超越寫作任務的人機交互任務的度量標準。最后，我們討論了這個領域的開放性挑戰和未來的發展方向。

在飛速變化的環境中撰寫論文是一種特殊的嘗試。自然語言處理（NLP）領域正在經歷一個不斷變化和創新的時代，本論文旨在捕捉該領域的一個快照，并從這個不斷變化的景觀中研究一種永恒的質量：設計和評估用于人類交互的語言模型（LMs）。自我開始博士研究以來，LMs至少可以說發展迅猛。在2017年，構建LM的最常見方式是選擇一個特定任務，收集一個定制的數據集，設計一個定制的模型，并從頭開始訓練定制的模型，正如我在我第一個項目中所演示的那樣（Lee等人，2019）。到了2023年，即使沒有NLP或編程的先前知識，我們也可以通過API或簡單用戶界面對預訓練的LMs進行提示，快速“構建”并與LMs進行交互，以執行廣泛的任務，正如我在后續項目中所演示的那樣（Lee等人，2022a,b，Bommasani等人，2023）。

然而，盡管近期的語言模型（LMs）具有前所未有的能力和廣泛的應用（Radford等人，2019; Brown等人，2020; Rae等人，2021; Zhang等人，2022; Chowdhery等人，2022; Lieber等人，2021; OpenAI, 2022, 2023），但在NLP領域的大部分現有LM研究主要側重于非交互場景：給定一個輸入文本，模型生成一個輸出文本，只關注輸出的質量。在這種情況下，人類的參與要么被忽視，要么限于特定的目的或形式，如對模型輸出的人類評估（Ribeiro等人，2020; Kiela等人，2021）或像對話那樣的嚴格交互（Paranjape等人，2020; Thoppilan等人，2022; Shuster等人，2022）。幾乎所有的基準測試，即使是那些包含了多樣任務的基準測試（Gehrmann等人，2021; Hendrycks等人，2021; Liang等人，2022），也都采取了這種非交互的視角。與此相反，我的工作的中心論點是將交互置于LM設計和評估的最前沿。以問答任務為例，與其構建一個孤立運作的模型（即，將預定義的問題作為模型輸入，并將模型輸出與靜態基準中的預定義答案進行比較），我更注重交互場景。在這種場景下，用戶參與到一個迭代的過程中，寫下問題，詢問（或查詢）模型，解讀并處理模型輸出，根據輸出調整他們的問題，并隨著他們對模型的了解逐漸適應他們的策略。我在故事寫作上的工作也遵循了類似的哲學（Lee等人，2022a）。我努力開發的LM并不是可以自行生成整個故事的模型（圖1.1a），而是能夠增強和支持我們的寫作過程的模型（圖1.1b），可能通過生成部分故事來讓用戶選擇和調整。這種對LM的交互式使用與Engelbart（1962）、Skagestad（1993, 1996）、Shneiderman和Maes（1997）、Horvitz（1999）、Hassani等人（2020）、Brynjolfsson（2022）、Shneiderman（2022）的觀點相吻合，其最終目標是增強人類能力，而不是自動化它們（即，智能增強）。 對于人機交互（HCI）社區來說，近期的語言模型（LMs）為新穎的交互設計提供了令人興奮的機會。我們開始看到許多應用和原型利用LMs進行快速原型制作和設計新穎的自然語言交互（Calderwood等人，2020；Buschek等人，2021；Wang等人，2021；Chen等人，2021；Chakrabarty等人，2022；Ippolito等人，2022；Valencia等人，2023）。為了研究LMs的生成能力，HCI中最傳統的方法是情境詢問，邀請并訪問用戶（Calderwood等人，2020；Clark等人，2018b；Gero和Chilton，2019；Wu等人，2020, 2022；Yang等人，2019a）。然而，由于情境詢問的時間和資源密集性，它在捕捉LM能力的主觀解釋方面更有效，而在涵蓋多樣化的上下文方面則較為欠缺。 我的研究核心是交互跡線，即在人類用戶和LMs交互過程中展開的事件序列（圖1.1b）。這些跡線包含了各種行為，包括按鍵操作，光標移動，系統查詢，以及通過系統建議進行導航。它們包含豐富的信息，捕獲了人機交互的動態性，提供了對LMs在交互場景中能力的深入了解。例如，通過檢查用戶查詢的頻率，我們可以量化用戶對LMs的依賴程度，以及LM響應的幫助程度。此外，交互跡線還能讓我們了解用戶在與LMs交互時采取的策略，以及交互的時間屬性。最后但同樣重要的是，利用交互跡線可以覆蓋各種上下文，因為設計者可以一次性大規模捕捉人機交互，并將其重復使用并多次回放以便于分析。 我相信，通過利用這些交互跡線，NLP和HCI社區可以設計出更有針對性和以用戶為中心的LM開發和部署方法。 這篇論文包括以下章節： ? 第二章通過提供有關語言模型（LMs）、人機交互和人機交互在寫作中的設計空間的背景，為后續章節建立基礎理解。 ? 第三章深入探討了一個特定的交互環境，即寫作的修訂過程，并關注了大多數LMs無法直接解決的用戶需求。具體來說，我們提出了一種訓練方法，使LMs能夠填補空白（即，文本填充）。 ?** 第四章介紹了CoAuthor，這是一個設計用來捕捉和分析協同寫作中的人機交互的平臺**。該平臺促進了交互跡線的收集，產生了一個豐富且可以重復分析的數據集。通過使用這個數據集，我展示了如何通過檢查這些交互跡線，對LM在語言、創意和協作等方面的能力獲得無比寶貴的見解。 ? 第五章提出了一個新的評估框架，即人工智能基于語言的交互評估（HALIE），它定義了交互系統的基本組成部分，并引入了新的評估指標，用于評估人機交互超越寫作相關任務的性能。這個框架涵蓋了更廣泛的交互場景，使得可以全面理解和評估LM在各種情境下的性能。 ?** 第六章討論了人機交互領域內的開放性挑戰，以激發更深入的研究和創新**。 論文中的一部分工作已經在學術會議上發表。第三章基于Donahue等人的研究（2020），該研究在2020年的計算語言學協會（ACL）上發表。第四章基于Lee等人的材料（2022a），該材料在2022年的人機交互系統會議（CHI）上發表。第五章基于Lee等人的研究（2022b），該研究目前正在審查中。

利用深度神經網絡進行機器學習的最新進展，在從大型數據集學習方面取得了重大成功。然而，這些成功主要集中在計算機視覺和自然語言處理方面，而在序列決策問題方面的進展仍然有限。強化學習(RL)方法就是為了解決這些問題而設計的，但相比之下，它們很難擴展到許多現實世界的應用中，因為它們依賴于成本高昂且可能不安全的在線試錯，而且需要從頭開始逐個學習每個技能的低效過程。本文將介紹設計RL智能體的工作，這些智能體直接從離線數據中訓練，能夠掌握多種技能，以解決上述挑戰。

在本文的第一部分中，我們首先介紹了一種算法，從離線數據集中學習高性能策略，并通過使用學習到的動力學模型生成的推出來擴展離線數據，提高離線強化學習智能體的泛化能力。然后，我們將該方法擴展到高維觀測空間，如圖像，并表明該方法使現實世界的機器人系統能夠執行操作任務。在論文的第二部分，為了避免在之前的強化學習工作中從頭開始學習每個任務的問題，同時保持離線學習的好處，討論了如何使強化學習智能體通過跨任務共享數據從不同的離線數據中學習各種任務。此外，我們表明，共享數據需要標記來自其他任務的數據的獎勵，這依賴于繁重的獎勵工程，也是勞動密集型的。為了解決這些問題，我們描述了如何有效地利用離線RL中的各種未標記數據，繞過獎勵標記的挑戰。最后，我們列出了未來的研究方向，如利用異構無標簽離線數據集的有效預訓練方案、離線預訓練后的在線微調以及離線RL的離線超參數選擇。

機器學習(ML)正在經歷一場范式的轉變——機器學習模型越來越多地被作為一種服務來提供，以自動化各種下游決策，而不是由機器學習專家對特定任務進行端到端的訓練和部署。例如，大型科技公司提供的圖片或文本分類API，被廣泛的第三方應用開發者使用，以及通過網站向數百萬用戶提供各種預測(如天氣、COVID、流量等)，以幫助他們進行規劃。盡管這種新的范式通過使ML更廣泛地可訪問而使其民主化，但它引起了對可信性(用戶無法看到他們是如何被訓練的以及他們的失敗模式)和性能(預測模型不再為特定的下游任務量身定做)的擔憂。本文通過以下方法來解決這些問題:

貢獻1。提出了一種新的方法，通過精確的不確定性量化，向下游決策者傳遞信心，后者將對(高風險)決策進行預測。精確的不確定性量化可以通過預測相關結果的真實概率(例如給定癥狀的病人患病的真實概率)來實現。雖然在大多數情況下，準確地輸出這些概率是不可能的，但對于大型決策任務，學習與真實概率難以區分的概率卻是驚人的可能。不可區分性保證了決策者的可靠性，因為在他們的決策任務中，他們不應該能夠區分預測概率和真實概率之間的區別。作為一個應用程序，我開發了一些預測模型，如醫療診斷、航班延誤預測和貧困預測等領域。我展示了通過使用我的方法，決策者可以自信地做出導致良好結果的決策。

貢獻2。發展一種新的信息理論，以嚴格推理和優化ML預測在廣泛的決策任務中的“有用性”。香農信息理論在機器學習中有著廣泛的應用，但在處理復雜的學習和決策任務時存在一些局限性。例如，考慮從對手攔截的安全加密消息數據集。根據信息論，這些加密信息與對手的計劃具有高度的互信息，而任何計算有界的決策者都不能利用這些信息。為了解決這些局限性，我提出了一個新的框架，稱為“效用信息理論”，它概括了香農熵、信息和散度，以解釋知識或建模能力有限的決策者將如何使用信息。作為一個應用，我將新的信息應用于貝葉斯優化問題，并顯示了比使用香農信息的當前方法在樣本效率方面的數量級改進。

COVID-19大流行的例子表明，我們的健康和福祉取決于一個難以衡量的社會因素和個人行為網絡。我的研究旨在建立能夠影響這種社會挑戰的計算方法。這一努力需要新的算法和數據驅動的范式，涵蓋收集昂貴數據、學習模型以理解和預測交互作用以及優化干預中有限資源的使用的整個過程。針對這些需求，本文提出了機器學習、優化和社交網絡交叉的方法學發展，這些方面的發展是由在艾滋病毒預防、結核病治療和COVID-19反應方面的實地合作所推動的。這些項目產生了已部署的應用程序和策略影響。一個例子是在無家可歸的青年中開發一項預防艾滋病毒的人工智能增強干預措施。該系統在一項涉及700多名青年的實地測試中進行了評估，發現它顯著降低了艾滋病毒的關鍵風險行為。

//dash.harvard.edu/handle/1/37370083

機器學習是一種變革性的計算工具，它正在革新許多技術和科學應用。然而，最近在人工智能和機器學習方面的成功，以及隨之而來的模型的廣泛部署，已經改變了經典的機器學習管道。首先，可用數據的絕對規模——在數量和維度上——已經爆炸。此外，現代機器學習架構具有指數級的設計選擇和超參數，但它們都是使用通用的隨機梯度方法進行優化的。這突出了自適應梯度方法的需要，該方法在沒有事先知道實例的情況下充分執行。接著并期望它們即使在不分布的輸入中也能提供良好的預測——這強調了對可靠模型的需要。最后，隨著我們收集越來越多的用戶數據，我們希望在向公眾發布這些模型時，基于這些數據訓練的模型不會損害訓練集中存在的個人的隱私。在這篇論文中，我們證明了解決這些新出現的問題需要優化方面的基本進步。更具體地說，我們首先提出了理解自適應梯度算法的最優性的新的理論結果，并展示了在基于梯度的采樣器的背景下自適應方法的實際用例。然后，我們提出了可擴展的最小最大優化方法，以有效地解決魯棒目標。最后，我們開發了私有優化方法，在更嚴格的隱私要求下最優地學習，以及自適應方法，在簡單的實例上增加“適當數量的噪聲”并顯著降低隱私的代價。

//searchworks.stanford.edu/view/14053711

計算機視覺（Computer Vision）是一門多學科科學，致力于讓機器具備“看”的能力。 這個問題是很具有挑戰性的，因為我們從現實的視覺世界中觀察到了巨大的復雜性和外觀的變化。迄今為止，機器學習技術提供了最有有效的方法來設計具有人類圖像理解能力的系統。今天為大家再來了劍橋大學Alex Kendall的博士論文-計算機視覺深度學習中的幾何結構與不確定性。

針對一些核心計算機視覺問題，包括語義分割，實例分割，深度預測，定位，立體視覺和視頻場景理解等等問題，論文中的介紹了一些端到端深度學習架構。這些的框架優于傳統方法，并在許多具有挑戰性的計算機視覺問題上具有很不錯的效果。

論文目錄：

1. 介紹（Introduction）
2. 場景理解（Scene Understanding ）
3. 本地化（Localisation）
4. 立體視覺（Stereo Vision）
5. 運動場景（Motion）
6. 結論（Conclusions）