亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

潛在擴散模型（LDMs）作為一類強大的生成模型，已在圖像合成等領域展示了驚人的成果。然而，訓練高分辨率的擴散模型在像素空間可能極其昂貴。為克服這些限制，潛在擴散模型首先使用自編碼器將高分辨率數據映射到一個壓縮的、通常是低維的潛在空間，然后在該潛在空間中更高效地訓練擴散模型。因此，LDMs在避免過度計算需求的同時實現了高質量圖像合成。此外，具有自編碼器的LDM范式，可針對特定問題和數據進行定制，并在潛在空間中使用獨立的擴散模型，提供了極大的靈活性，適用于架構和模型設計。這使得LDMs能成功擴展到圖像生成之外的各種任務，如視頻合成、3D對象和場景生成、語言建模等。最著名的例子是文本到圖像模型Stable Diffusion，它利用了LDM框架。LDMs在生成模型文獻中已變得非常流行和廣泛使用。

在本教程中，我們旨在提供LDMs的介紹。雖然擴散模型的文獻已經很廣泛，但LDM范式由于其靈活性以及在性能和計算需求之間的出色權衡而特別突出。我們的目標是呈現一個LDM教程，有助于對高效且靈活但富有表現力的生成模型框架感興趣的研究者。我們還將強調加速采樣和可控性的高級技術，并討論LDMs在圖像合成之外的各種應用。此外，一個小組討論將提供這一動態領域的多元視角，并為未來對LDMs的研究提供展望。 本教程專注于潛在擴散模型。對于擴散模型的一般教程，我們推薦參考在CVPR'22和CVPR'23上展示的、已錄制并公開可用的教程。

語言模型已在自然語言處理中無處不在，它們利用大量未標記的數據并為下游任務進行微調。但人們對這些模型生成的文本的準確性和可信度提出了擔憂。

與此同時，差分隱私已成為一種框架，用于保護敏感信息，同時允許機器學習算法從中學習。然而，統計保證與實用性之間的權衡對許多應用都帶來了挑戰**。因此，這篇論文旨在開發平衡保證和實用性的技術，重點是提高生成模型的可靠性，同時保持其靈活性**。

首先，我們提出了一個框架，可以有條件地使用硬約束生成文本，允許用戶事先指定某些元素，而留下其他元素供模型預測。通過促進交互式編輯和重寫，此框架為用戶提供了對生成文本的精確控制。 接下來，我們引入了在軟約束下生成預測的共形預測方法，以確保統計的正確性。這些方法在保持高經驗精度的同時，為文本生成產生有效的置信集。

最后，我們通過放寬差分隱私的保證概念到基于猜測的定義，探索數據發布中隱私與實用性之間的平衡。我們提出了一種基于學習的去識別化方法，解決了隱私保護的挑戰，同時仍能有效地利用數據。我們提出的方法的有效性通過一系列任務得到了證明，包括文本填充、放射學報告生成和X光分類。這些任務展示了我們的技術在各種實際場景中的實用性。

越來越大的比例的自然語言處理（NLP）任務圍繞著從概率語言模型生成文本。盡管有這種趨勢，但改進或在這些生成的文本中指定偏好的技術主要依賴基于直覺的啟發式方法。此外，缺乏他們的動機、實踐實施、成功與陷阱的統一呈現。因此，實踐者必須在生成算法之間進行盲目選擇，例如頂層采樣或束搜索，這可能導致結果大相徑庭。與此同時，語言生成研究繼續批評和改進標準工具箱，進一步增加了該領域的混亂程度。在這個教程中，我們將提供一個集中而連貫的討論，以便在選擇如何從語言模型生成時進行關鍵的考慮。我們將涵蓋一系列實證觀察到的問題（如退化、幻覺、重復）及其在最近研究中提出的對應的算法解決方案（如頂層采樣及其后繼者）。然后，我們將在一個統一的視角下討論這些算法的一個子集；大多數隨機生成策略可以被構框為局部調整模型的概率以避免失敗案例。最后，我們將討論受控生成中的方法，這些方法不僅要確保連貫性，還要確保文本表現出特定的期望屬性。我們希望NLP實踐者和研究人員能夠借助我們的教程，獲得一個統一的框架，他們可以用來評估和貢獻最新的語言生成研究。

基于深度學習的圖像理解方法的巨大進展為自主系統提供了新的高級感知功能。然而，現實世界的視覺應用通常需要模型，可以從大量未標記和未策劃的數據中學習，只有少量標記樣本，通常選擇和注釋成本很高。相比之下，典型的監督方法需要大量精心選擇的標記數據，而在實際應用中很少滿足這一條件。自監督學習(SSL)作為一種有前途的研究方向出現，通過使用從數據本身提取的各種監督信號訓練模型，而不需要任何人工生成的標簽，來緩解這一差距。SSL在過去兩年中取得了許多令人興奮的進展，許多新的SSL方法設法達到甚至超過完全監督技術的性能。雖然最流行的SSL方法圍繞著ImageNet等網絡圖像數據集，但也對自動駕駛(AD)的新多樣的自監督形式進行了研究。AD代表了SSL方法的一個獨特沙箱，因為它帶來了社區中最大的公共數據集合，并提供了一些最具挑戰性的計算機視覺任務:目標檢測、深度估計、基于圖像的里程測量和定位等。在這里，規范的SSL通道(即自監督預訓練模型并在下游任務上對其進行調優)被重新訪問和擴展，以學習地面真相注釋難以計算的任務(例如，密集深度)，從而為計算機視覺和機器人技術帶來全新的SSL方法。在本教程中，我們將通過AD的基本感知任務的鏡頭，深入介紹自我監督學習的各種范式(舊的和新的)。具體來說，本教程將涵蓋以下主題:(1)從自動駕駛數據中進行自我監督表示學習，(2)深度估計的自監督學習，(3)三維檢測和跟蹤的自監督學習，(4)里程數測量和定位的自監督學習。

目錄內容：

對結構化數據進行少樣本學習可能是在現實生活中部署AI模型的基本要求。在經典的監督ML設置中，我們可以獲得大量的標有標簽的樣本，這在現實環境中通常不是這樣——一些例子是生化、健康、社會或天氣環境。其中許多可以用圖形表示，因此結構在設計能夠成功處理這些場景的方法時也扮演著關鍵角色。因此，充分利用少數可用的標簽并使我們的模型能夠利用這些信息通常是很重要的，以便獲得與通過數據需求方法獲得的相同好的表示。該演講展示了兩件工作，從不同的角度解決了這個問題:場景圖生成中新穎合成的圖密度感知損失(Knyazev et al., 2020）和消息傳遞神經過程(Cangea & Day et al., 2020)。

//catalinacangea.netlify.app/talk/roaidays_nov21/

機器學習的科學進步是由評估模型相對質量的實證研究推動的。這種評估的目標是比較機器學習方法本身，而不是對訓練模型的特定優化實例進行單一測試集評估。由于深度學習模型的性能依賴于各種隨機性來源，僅報告單個最佳模型的性能評分的做法尤其不適用于深度學習。這樣的評估實踐提出了方法論上的問題:一個模型是否預測了它聲稱預測的東西(有效性)，一個模型的表現在訓練過程的重復中是否一致(可靠性)，以及兩個模型之間的表現差異是否由于機會(顯著性)。本教程的目標是通過具體的統計測試來回答這些問題。該教程是實踐性的，并配有教科書(Riezler和Hagmann, 2021年)和一個包含R和Python代碼的網頁。

預測是許多機器學習應用的關鍵目標。準確、可靠和穩健的預測對于人工智能系統的下游組件做出最優和公平的決定至關重要，尤其是在高風險的應用領域，如個性化健康、自動駕駛汽車、金融、新藥開發、選舉結果預測和流行病。許多現代機器學習算法輸出過度自信的預測，導致錯誤的決策和技術接受問題。經典的校準方法依賴于人工假設，經常導致過擬合，而現代校準方法試圖通過修改黑盒深度學習系統的組件來解決校準問題。雖然這提供了部分解決方案，但這種修改不能提供預測有效性的數學保證，而且具有侵入性、復雜性和實現成本。

本文介紹了一種用于機器學習分類和回歸問題的良好校準概率預測的新方法。提出了一種新的多類分類方法，并與傳統的標定方法進行了比較。在回歸模型中，本文提出了一種新的概率回歸方法，以推導出在非參數IID假設下有效的、與經典共形預測方法相比包含更多信息的預測分布函數，并保證覆蓋率，同時提高了計算效率。對本文介紹的方法進行的實驗研究表明，在最先進的技術方面具有優勢。分離共形預測系統的主要優勢是其保證有效性，而交叉共形預測系統在沒有過多隨機化的情況下享有更高的預測效率和經驗有效性。

機器學習模型容易受到成員推斷攻擊，目的是推斷目標樣本是否屬于目標模型的訓練數據集。由于成員推理而引起的嚴重的隱私問題引發了對成員推理攻擊的多種防御，例如差分隱私和對抗性正則化。不幸的是，這些防御方法產生的機器學習模型的實用性低得令人無法接受，例如，分類準確性。我們提出了一種新的基于知識蒸餾的防御，稱為成員隱私蒸餾(DMP)，以對抗成員推理攻擊，這種攻擊比先前的防御更有效地保留了生成模型的效用。我們提供了一個新的準則來調整DMP中用于知識遷移的數據，以調整所得模型的效用和隱私之間的權衡。我們的評估清楚地展示了最先進的會員隱私-效用折衷。

//people.cs.umass.edu/~vshejwalkar/dmp_aaai_slides.pdf

人工智能的一個基本任務是學習。深度神經網絡已經被證明可以完美地處理所有的學習范式，即有監督學習、無監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施，不能很好地擴展到計算資源低的自治代理。即使在云計算中，它們也受到計算和內存的限制，不能用來為假設有數十億神經元的網絡的代理建立適當的大型物理世界模型。這些問題在過去幾年中通過可擴展深度學習的新興主題得到了解決，該主題在訓練之前和整個過程中利用了神經網絡中的靜態和自適應稀疏連接。本教程將分兩部分介紹這些研究方向，重點是理論進展、實際應用和實踐經驗。

//sites.google.com/view/ijcai2020-sparse-training/home

人工智能的一項基本任務是學習。深度神經網絡已經被證明可以完美地應對所有的學習模式，比如監督學習、非監督學習和強化學習。然而，傳統的深度學習方法利用云計算設施，不能很好地擴展到計算資源低的自主代理。即使在云計算中，它們也會受到計算和內存的限制，無法用于為假定網絡中有數十億神經元的代理恰當地建立大型物理世界的模型。在過去幾年里，可擴展深度學習這一新興課題解決了這些問題，該課題在訓練前和訓練過程中利用了神經網絡中的靜態和自適應稀疏連通性。本教程分兩部分涵蓋了這些研究方向，重點關注理論進步、實際應用和實踐經驗。

本教程的第一部分側重于理論。我們首先簡要討論了復雜網絡和系統背景下的基礎科學范式，并修正了目前有多少代理使用深度神經網絡。然后介紹神經網絡的基本概念，并從函數和拓撲的角度對人工神經網絡和生物神經網絡進行了比較。我們繼續介紹90年代早期關于高效神經網絡的第一批論文，這些論文利用稀疏性強制懲罰或基于各種顯著性準則對全連接網絡進行權值修剪。然后，我們回顧了一些最近的工作，從全連通網絡開始，利用剪枝-再訓練循環壓縮深度神經網絡，使其在推理階段更有效。然后我們討論另一種方法，即神經進化的擴充拓撲(NEAT)及其后續，使用進化計算以增長有效的深度神經網絡。

進一步，我們引入了深度強化學習，并為可擴展的深度強化學習鋪平了道路。我們描述了在深度強化學習領域的一些最近的進展。

//sites.google.com/view/ecai2020-one-billion-neurons