亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

北京時間 9 月 13 日午夜，OpenAI 發布 o1 系列模型，旨在專門解決難題。OpenAI o1 在數學、 代碼、長程規劃等問題上取得了顯著提升，而背后的成功最重要離不開后訓練階段 (Post-Training Stage) 中強化學習訓練和推理階段思考計算量的增大。新的擴展律 —— 后訓練擴展律（Post-Training Scaling Laws） 已經出現，并可能引發社區對于算力分配、后訓練能力的重新思考。

技術原理：

大規模強化學習算法 OpenAI 使用了一種大規模的強化學習算法，來訓練 o1-preview 模型。該算法通過高效的數據訓練，讓模型學會如何利用“思維鏈”（Chain of Thought）來生產性地思考問題。模型在訓練過程中會通過強化學習不斷優化其思維鏈，最終提升解決問題的能力。 OpenAI 發現，o1 模型的性能會隨著強化學習時間（訓練時計算量）和推理時間（測試時計算量）的增加而顯著提高。這種基于推理的訓練方式與傳統的大規模語言模型（LLM）預訓練方式不同，具有獨特的擴展性優勢。

o1 性能在訓練時間和測試時間的計算中都平穩提升思維鏈（Chain of Thought） o1-preview 模型通過 思維鏈推理 顯著增強了其在復雜推理任務中的能力。思維鏈的基本理念類似于人類思考困難問題的過程：逐步分解問題、嘗試不同策略并糾正錯誤。通過強化學習訓練，o1-preview 能夠在回答問題前進行深入思考，逐步細化步驟。 這種推理方式大幅提升了 o1-preview 在復雜任務中的表現。例如，o1-preview 能夠通過思維鏈識別問題中的關鍵步驟并逐步解決。這種推理模式特別適用于需要多步驟推理的任務，如復雜的數學問題或高難度編程任務。 舉例說明： * 在某些復雜問題上，o1-preview 能夠逐步打破問題的難點，最終找到正確解答。這與人類面對挑戰性問題時逐步分析的思維方式非常相似。

中文版：

最近OpenAI視頻生成模型Sora爆火，背后使用了擴散模型。來自UC伯克利等《擴散模型》課程詳細講述，值得關注！ 為了使機器具有人類的想象力，深度生成模型取得了重大進展。這些模型能創造逼真的樣本，尤其是擴散模型，在多個領域表現出色。擴散模型解決了其他模型的限制，如 VAEs 的后驗分布對齊問題、GANs 的不穩定性、EBMs 的計算量大和 NFs 的網絡約束問題。因此，擴散模型在計算機視覺、自然語言處理等方面備受關注。 擴散模型由兩個過程組成：前向過程和反向過程。前向過程把數據轉化為簡單的先驗分布，而反向過程則逆轉這一變化，用訓練好的神經網絡模擬微分方程來生成數據。與其他模型相比，擴散模型提供了更穩定的訓練目標和更好的生成效果。

機器之心報道****編輯：小舟、梓文

擴散模型雖好，但如何保證生成的圖像準確高質量？GPT-4或許能幫上忙。

文本到圖像生成領域近兩年取得了很大的突破，從 GAN 到 Stable Diffusion，圖像生成的速度越來越快，生成效果越來越好。然而，AI 模型生成的圖像在細節上還有很多瑕疵，并且使用自然語言指定對象的確切位置、大小或形狀存在一定的困難。為了生成精準、高質量的圖像，現有方法通常依賴于廣泛的提 prompt 工程或手動創建圖像草圖。這些方法需要大量的人工工作，因此非常低效。

最近，來自加州大學伯克利分校（UC 伯克利）和微軟研究院的研究者從編程的角度思考了這個問題。當前，用戶能夠使用大型語言模型較好地控制代碼生成，這讓該研究看到了編寫程序來控制生成圖像細節的可能，包括物體的形狀、大小、位置等等。基于此，該研究提出利用大型語言模型（LLM）生成代碼的功能實現可控型文本到圖像生成。

論文地址：//arxiv.org/pdf/2305.18583.pdf

該研究提出了一個簡單而有效的框架 Control-GPT，它利用 LLM 的強大功能根據文本 prompt 生成草圖。Control-GPT 的工作原理是首先使用 GPT-4 生成 TikZ 代碼形式的草圖。如下圖 1 (c) 所示，程序草圖（programmatic sketch）是按照準確的文本說明繪制的，隨后這些草圖被輸入 Control-GPT。Control-GPT 是 Stable Diffusion 的一種變體，它能接受額外的輸入，例如參考圖像、分割圖等等。這些草圖會充當擴散模型的參考點，使擴散模型能夠更好地理解空間關系和特殊概念，而不是僅僅依賴于文本 prompt。這種方法使得 prompt 工程和草圖創建過程不再需要人為干預，并提高了擴散模型的可控性。

我們來看一下 Control-GPT 方法的具體細節。

方法

對圖像生成來說，訓練過程的一個較大挑戰是缺乏包含對齊文本和圖像的數據集。為了解決這個難題，該研究將現有實例分割數據集（例如 COCO 和 LVIS）中的實例掩碼轉換為多邊形的表示形式，這與 GPT-4 生成的草圖類似。

然后，該研究構建了一個包含圖像、文本描述和多邊形草圖的三元數據集，并微調了 ControlNet。該研究發現這種方法有助于更好地理解 GPT 生成的草圖，并且可以幫助模型更好地遵循文本 prompt 指令。

ControlNet 是擴散模型的一種變體，它需要額外的輸入條件。該研究使用 ControlNet 作為基礎圖像生成模型，并通過編程草圖和 grounding token 的路徑對其進行擴展。

框架

如下圖 2 所示，在 Control-GPT 中，首先 GPT-4 會根據文本描述生成 TikZ 代碼形式的草圖，并輸出圖像中物體的位置。然后該研究用 LATEX 編譯 TikZ 代碼，將草圖轉換為圖像格式，再將編程草圖、文本描述和物體位置的 grounding token 提供給經過調優的 ControlNet 模型，最終生成符合條件的圖像。

使用 GPT-4 生成的草圖訓練 ControlNet 是必要的，因為預訓練的 ControlNet 不理解生成的草圖，不能將其轉換為現實圖像。為了 prompt GPT-4，該研究要求用戶遵循如下的 prompt 樣本，以讓 GPT-4 請求 TikZ 代碼片段的結構化輸出，以及相關物體的名稱和位置。然后，該研究使用 GPT-4 的輸出來編譯草圖圖像并獲得 grounding token。

LLM 繪制草圖的準確性如何

Control-GPT 的精度取決于 LLM 生成草圖時的準確性和可控性。因此，該研究對 LLM 在草圖生成方面的性能進行了基準測試。實驗結果表明 GPT 系列模型在草圖生成方面明顯優于 LLaMa 等開源模型，并且 GPT-4 在遵循文本指令方面表現出驚人的高準確性（約 97%）。

該研究對 Control-GPT 和一些經典模型的生成結果進行了人工評估，結果表明當圖像中包含兩個不相關的罕見物體組合時，一些模型的生成效果比較差，而 Control-GPT 的生成結果相對較好，如下表 2 所示：

查詢 LLMs，生成一個 TikZ 代碼片段來描述給定的文本，進而檢查 LLMs 的性能。如下表 1 所示，GPT-series 模型的大多數代碼片段都可以編譯為有效的草圖，而 LLaMA 和 Alpaca 的輸出要么是空的，要么不可運行。在 GPT-series 模型中，最新的 GPT-4 在 95 個查詢中只有 3 次失敗，這些查詢成功地生成了有效草圖，在遵循文本指令方面的成功率大約有 97%。ChatGPT 是 GPT-3.5 的 RLHF 微調版本，其性能明顯低于原始 GPT-3.5。在調優過程中，聊天能力和代碼生成之間可能存在著權衡。

在下圖 4 中，研究者提供了一個來自 GPT 系列模型的可視化草圖例子。雖然生成的草圖不如照片那樣逼真，但它們往往能捕捉到語義，并正確推理出物體的空間關系。生成的草圖經常出人意料地通過簡單的代碼片斷來正確處理物體形狀。

下圖最后一行展示了 GPT-4 的一個失敗案例，即模型無法生成物體形狀，而 GPT-3.5 卻能給出一個正確的草圖。GPT-4 在草圖生成方面的高精度帶來的啟發是：可以使用它來提高圖像生成模型的可控性。

實驗

基于 Visor 數據集，研究者對 Control-GPT 進行了一系列實驗設置的評估，測試其在空間關系、物體位置和大小方面的可控性。他們還將評估擴展到多個物體和分布外的 prompt。廣泛的實驗表明，Control-GPT 可以大大提升擴散模型的可控性。

下表 3 中列出了定量評估結果。可以看到，Control-GPT 模型可以在給定的一些規格下更好地控制物體的大小和位置。與幾乎無法控制物體位置和尺寸的 Stable Diffusion 模型（SD-v1.5）相比，Control-GPT 將總體精度從 0% 提高到 14.18%。與現成的 ControlNet 相比，Control-GPT 在所有指標上也取得了更好的表現，獲得了從 8.46% 到 4.18% 的整體改善。這些結果展示了本文的 LLM 集成框架在更細化和精確控制圖像生成過程方面的潛力。

視覺化。下圖 6 展示了定性評估結果，可以看到，ControlGPT 可以按照物體位置和尺寸的規范繪制物體。相比之下，ControlNet 也能遵循，但卻很難生成正確的物體，而 Stable Diffusion 則無法遵循規范。

對空間關系的消融實驗。研究者還探討了模型是否對不同類型的空間關系（如左 / 右 / 上 / 下）有偏好，作為空間關系基準分析的一部分。從下表 4 中可以看出，Control-GPT 在 Visor Score 和物體準確性方面一直比所有的基線模型工作得更好。

多個物體之間的關系。研究者對 Control-GPT 生成多個物體的能力進行了進一步的評估，這些物體的空間關系由 prompt 指定。下圖 7 展示了一些例子，Control-GPT 能理解不同物體之間的空間關系，并在 GPT-4 的幫助下將它們放入布局中，表現出了更好的性能。

可控性與圖像逼真度。通常，在生成逼真圖像與遵循精確布局之間往往存在著妥協，特別是對于分布外的文字 prompt。如下圖 8 所示，（a）是一個例子，生成的圖像完全遵循布局，但這導致了圖像中的一些偽影；而在（b）中，照片往往看起來很逼真，但沒有很好地遵循草圖。

更多研究細節，可參考原論文。

【視頻檢索用多模態融合Transformer】Everything at Once -- Multi-modal Fusion Transformer for Video Retrieval
● 從視頻數據中進行的多模態學習最近受到了越來越多的關注，因為它允許訓練語義上有意義的嵌入，而無需人工標注，從而實現了零鏡頭檢索和分類等任務。在這項工作中，我們提出了一種多模態、模態不可知的融合Transformer方法，它學習在多種模態之間交換信息，例如視頻、音頻和文本，并將它們集成到一個連接的多模態表示中，以獲得一個聚合多模態時間信息的嵌入。我們建議在訓練系統的同時對所有的東西進行組合損失，無論是單個模式還是成對的模式，明確地排除任何附加的東西，如位置或模式編碼。在測試時，得到的模型可以處理和融合任意數量的輸入模式。此外，變壓器的隱式特性允許處理不同長度的輸入。為了評估所提出的方法，我們在大規模的HowTo100M數據集上訓練模型，并在四個具有挑戰性的基準數據集上評估結果嵌入空間，獲得了在零拍視頻檢索和零拍視頻動作定位方面的最先進的結果。
● 論文鏈接：//arxiv.org/abs/2112.04446
● 作者單位：法蘭克福歌德大學、哥倫比亞大學、麻省理工學院、IBM、德州大學奧斯汀分校等

通過使用用大規模標記數據訓練的深度學習模型，計算機視覺取得了令人印象深刻的進展。然而，標簽需要專業知識和管理，而且收集起來很貴。如果不使用顯式管理的標簽，人們能發現有用的視覺表示嗎?在這次演講中，我將介紹幾個探索自我監督學習范式的案例研究——將原始數據作為自己的監督。我們將討論在高維空間中定義目標函數的幾種方法，包括使用一般對抗網絡(GANs)直接從數據中學習目標函數。將展示圖像合成中的應用，包括自動著色、成對和非成對圖像到圖像的轉換(aka pix2pix和cycleGAN)、基于好奇心的探索

主題： Residual Energy-Based Models for Text Generation

摘要： 從摘要到對話機器翻譯，文本生成在許多NLP任務中無處不在。主導參數方法基于局部標準化模型，該模型一次預測一個單詞。盡管這些工作非常出色，但由于發電過程的貪婪性，它們受到暴露偏差的困擾。在這項工作中，我們研究了基于非標準化能量的模型（EBM），該模型不是在令牌上運行，而是在序列級別上運行。為了使訓練易于處理，我們首先在預訓練的局部歸一化語言模型的殘差中進行工作，其次我們使用噪聲對比估計進行訓練。此外，由于EBM在序列級別起作用，因此我們可以利用預訓練的雙向上下文表示，例如BERT和RoBERTa。我們在兩個大型語言建模數據集上的實驗表明，與本地標準化基準相比，殘留EBM的困惑度更低。此外，根據人類評估，通過重要性抽樣進行的生成比基線模型非常有效且質量更高。

題目：

Transformation-based Adversarial Video Prediction on Large-Scale Data

簡介：

對抗式生成建模技術的最新突破使模型能夠生成高質量的視頻樣本，即使是在大型和復雜的真實視頻集上也是如此。在這項工作中，我們專注于視頻預測的任務，其中給定了從視頻中提取的幀序列，目標是生成合理的未來序列。我們首先通過對鑒別器分解進行系統的經驗研究并提出一種比以前的方法產生更快的收斂性和更高性能的體系結構來改善現有技術。然后，我們分析生成器中的循環單元，并提出一種新穎的循環單元，該單元根據預測的類似運動的特征轉換其過去的隱藏狀態，并對其進行優化以處理遮擋，場景更改和其他復雜行為。我們表明，該循環裝置始終優于以前的設計。最終模型導致了最先進性能的飛躍，在大規模Kinetics-600數據集上獲得的測試集Frechet′視頻距離從69.2降低到25.7。

題目： Supplementary Materials for Niseko: a Large-ScaleMeta-Learning Dataset

摘要： 已有幾項研究綜述了元學習技術。通過對一些學習算法的優先任務和評估（如精度或時間），人們已經進行了大量的研究，以期在給定一個新任務的情況下找到一些有前途的學習算法配置。通過建立在先前任務基礎上的模擬模型，我們可以測量任務相似性，從而應用貝葉斯優化為新數據集找到下一個有前途的模型。

作者簡介： Zeyuan Shang，麻省理工學院計算機科學與人工智能實驗室（CSAIL）的電氣工程與計算機科學博士。他也是麻省理工學院數據庫組的成員，麻省理工學院數據系統和人工智能實驗室的成員。//www.shangzeyuan.com/。

Tim Kraska，麻省理工學院計算機科學與人工智能實驗室（CSAIL）的電子工程與計算機科學副教授，也是麻省理工學院數據系統與人工智能實驗室（DSAIL）的創始聯席主任。

摘要： 深度卷積神經網絡(Deep convolutional neural networks, DCNNs)通過制作各種破紀錄的模型，主導了計算機視覺領域的最新發展。然而，在資源有限的環境下，如嵌入式設備和智能手機上，實現強大的DCNNs仍然是一個巨大的挑戰。研究人員已經認識到，1位CNNs是解決這一問題的一個可行方案;然而，與全精度DCNNs相比，它們的性能較差。在本文中，我們提出了一種新的方法，稱為貝葉斯優化1位CNNs(簡稱BONNs)，利用貝葉斯學習這一成熟的解決困難問題的策略來顯著提高極端1位CNNs的性能。我們在貝葉斯框架中加入了全精度內核的先驗分布和特征，以端到端的方式構造了1位CNNs，這在以前的相關方法中都沒有考慮到。在理論支持下，實現了連續和離散空間同時優化網絡的貝葉斯損失，將不同的損失聯合起來，提高了模型的容量。在ImageNet和CIFAR數據集上的大量實驗表明，與最先進的1位CNNs相比，BONNs具有最佳的分類性能。