亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

大規模語言模型（Large Language Model，LLM）無疑是時下最火熱的 AI 概念，它不僅是人工智能領域近兩年的研究熱點，也在近期引發了全社會的廣泛關注和討論，OpenAI 的 GPT-3 和 ChatGPT 更是數次登上微博熱搜。

LLM 強大的語言理解能力和知識儲備，給大眾留下了深刻的印象。LLM 所涌現的 in-context learning 能力，更是開啟了新的 NLP 范式，并使其有望成為以自然語言進行交互的通用型任務助手（ChatGPT）。LLM 的出現也為跨模態深度學習領域的研究者們帶來新的機遇和挑戰。

通過收集自互聯網的大規模語料進行預訓練，GPT-3 等 LLM 蘊含了豐富的世界知識，這使其有希望解決知識驅動的多模態任務，例如基于外部知識的圖像問答任務，OK-VQA [1]。但是，想要利用 LLM 的潛力解決多模態問題，有一個關鍵問題需要解決：LLM 以語言進行輸入輸出，如何使她能夠理解其他模態的數據，如圖片，并遷移到下游多模態任務呢？

PICa [2] 提出使用 Image Caption 模型將圖片轉化為文本描述，然后輸入給 GPT-3 使其回答關于圖片的問題，該方法在 OK-VQA 數據集上超越了傳統方法。但是由于 caption 未必能覆蓋圖片的全部信息，因此這一方法存在性能瓶頸。另一個容易想到的解決方案是，在預訓練的 LLM 基礎上，增加用來對接另一個模態輸入的網絡參數，并通過微調來得到一個跨模態的大模型。

Deepmind 的 Flamingo [3] 模型采用了這一方案，訓練了一個 800 萬參數量的視覺-語言模型，并在 OK-VQA 上達到新的 SOTA。但是訓練這樣的模型往往需要消耗大量的計算資源，動輒上百上千塊 GPU，這是學術界的大部分研究者難以負擔的。那么，如何能夠既享受到 LLM 的強大能力，又通過有限的計算資源在跨模態任務上達到先進的性能呢？

我們近期的論文給出了一個新的答案：用好小模型！論文 Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering 提出了名為 Prophet 的框架，通過在 LLM 上游引入一個可學習的、任務相關的視覺問答小模型，來更好地激發大模型的潛力。

Prophet 這個名字既是 Prompt with answer heuristics 的縮寫，也契合了 Prophet 框架的精神，我們希望 GPT-3 如一個先知一般對預兆（來自小模型的答案啟發）進行理解和闡釋。Prophet 僅需要 1 塊 3090 顯卡和少量 OpenAI API 的調用，就可以實現超越 Flamingo 的性能，并在兩個基于外部知識的視覺問答數據集 OK-VQA [1] 和 A-OKVQA [4] 上創造了新的 SOTA。該論文現已被 CVPR 2023 錄用。 **論文鏈接：**//arxiv.org/abs/2303.01903 **開源代碼：**

方法介紹

該論文著眼于基于外部知識的圖像問答任務（Knowledge-based VQA），它要求模型不僅能夠分析圖片和問題，還需要結合圖像外部的知識（生活常識、科學知識等世界知識）來推理得到答案。例如，如果問一張獅子圖片“這種動物最喜歡吃什么？”，那么模型就需要知道獅子是食肉動物，它們通常捕食羚羊、斑馬等。

早期的研究使用顯式的知識庫來檢索相關知識，但這樣做往往會引入過多的噪聲，影響模型的訓練和最終性能。近期的工作，如 PICa [2]，則嘗試使用 GPT-3 作為隱式的知識引擎來獲取所需知識。PICa 通過將圖像轉化為文本描述（Image Caption）來讓 GPT-3 理解圖像，并使用 few-shot in-context learning 的范式，即提供少量問答示例，使 GPT-3 理解視覺問答任務并作出回答。

盡管 PICa 取得了令人鼓舞的結果，但我們認為它沒有充分激發 GPT-3 的潛能，因為它輸入 GPT-3 的關于圖片的信息往往不夠充分。如下圖所示，當我們問“what fruit comes from these trees?”，由于 caption 只提到了圖片的主要內容“a group of people walk in a city square”而忽略了圖中有一顆椰子樹的細節，GPT-3 未能得到回答問題所需要的關鍵信息，于是只能“瞎猜”一個答案。

后續的工作 KAT [5] 和 REVIVE [6] 在 PICa 輸出基礎上，增加了一個基于顯式知識檢索的 VQA 模型，進一步提高了性能，但依然沒有解決上述問題，未能充分挖掘出 GPT-3 的潛力。

▲ Prophet框架與之前的基于GPT-3的方法的對比

為解決 PICa 的瓶頸問題，我們提出了 Prophet，它利用答案啟發（answer heuristics）來幫助 GPT-3 更好的解決基于外部知識的 VQA 任務。所謂答案啟發，是指寫入 prompt 文本中的，和視覺問題的正確答案相似或相關的答案（當然也包括正確答案本身），我們相信這些具有潛力的答案可以提供豐富的、并且任務相關的視覺信息，可以有效幫助 GPT-3 理解圖像和視覺問答任務。

具體的，論文定義了兩種答案啟發: 1）答案候選（answer candidates）: 問題的候選答案及其置信度；2）答案感知示例（answer-aware examples）: 選擇答案相近的標注樣本（來自訓練集）作為 prompt 中的例子。有趣的是，這兩種答案啟發可以使用同一個簡單的 VQA 模型同時產生。

▲ Prophet的總體框架圖

Prophet 的完整流程分為兩個階段，如上圖所示。在第一階段，我們首先針對特定的外部知識 VQA 數據集訓練一個普通的 VQA 模型（在具體實現中，我們采用了一個改進的 MCAN [7] 模型），注意該模型不使用任何外部知識，但是在這個數據集的測試集上已經可以達到一個較弱的性能。然后我們從模型中提取兩種答案啟發：答案候選和答案感知示例。

具體的，我們以模型分類層輸出的置信度（模型輸出的 sigmoid 值）為依據對答案進行排序，抽取其中的 top 10 作為答案候選，并記錄每個答案的置信度分數；同時，我們將模型分類層之前的特征作為樣本的潛在答案特征（latent answer feature），在它表示的潛在特征空間中搜索最相近的標注樣本作為答案感知示例。

在第二階段，我們拓展了 PICa 的 prompt 格式，將答案啟發組織到 prompt 之中（如上圖所示的 prompt 例子），然后將 prompt 輸入給 GPT-3，提示其完成視覺問題的回答。

值得一提的是，雖然我們給出了答案候選，但是我們并未要求 GPT-3 必須從中選擇答案，一方面，prompt 中給出的示例可能就包含了正確答案不包含在答案候選中的情況，另一方面，如果所有候選的置信度都很低，也會暗示 GPT-3 生成一個全新的答案。這一設計不僅給予了 GPT-3 更多的自由，并且使 GPT-3 對前置 VQA 模型所可能引入的負面效應更加魯棒，即 GPT-3 有權不相信 VQA 模型的不合理“猜測”。

實驗分析

▲ Prophet論文主要實驗結果

上方兩表展示了 Prophet 在兩個基于外部知識的圖像問答數據集 OK-VQA 和 A-OKVQA 上的實驗結果，及其和以往方法的性能對比。實驗表明，Prophet 達到了先進的性能，顯著超越了以往的方法。在 OK-VQA 數據集上，Prophet 達到了 61.1% 的準確率，大幅超越了 Deepmind 的 80B 大模型 Flamingo。

值得一提的是，Prophet 不僅在分數上超越了 Flamingo，在所需的（線下）計算資源上也更為“親民”，更容易在有限的計算資源下進行復現。Flamingo-80B 需要在 1,536 塊 TPUv4 顯卡上訓練 15 天，而 Prophet 只需要一塊 RTX-3090 顯卡訓練 VQA 模型 4 天，再調用一定次數的 OpenAI API 即可。

在 A-OKVQA 上，Prophet 也達到了新的 SOTA，在測試集上取得 55.7% 的準確率。不僅如此，我們還為 A-OKVQA 的多選項測評模式設計了一個專門的變體（詳見論文），命名為 Prophet-MC，該變體的 MC 準確率達到了 73.6% 的優秀水平。

▲ 對答案候選和答案感知示例的消融實驗

論文對 Prophet 方法進行了充分、細致的消融實驗，上方兩表展示了其中最重要的兩個結果。在左表中我們嘗試調節答案候選的數量，可以觀察到該參數顯著影響方法的最終性能，說明答案候選在 Prophet 方法中起著至關重要的作用。在右表中，我們嘗試了其他策略來選擇 prompt 中的示例，其中的 fused 一行即對應了我們基于潛在答案特征來搜索答案感知示例的方式，實驗結果表明該方式是最優的。

更詳盡的實現細節和實驗分析請參考論文原文。

后記

Prophet 具有諸多優勢，方法思路簡單，性能優越，在實現上也更為簡單、經濟，因此我們決定分享我們的工作。在該工作完成后不久，跨模態大模型 PaLI [8] 和 PaLM-E [9] 相繼提出，他們在 OK-VQA 數據集上超越了 Prophet，但是我們相信 Prophet 依然有其獨特的價值：

1. 實現 Prophet 所需的計算資源更小，是大部分學術界的研究者能夠承擔的，我們相信 Prophet 為這些研究者們創造出了更大的研究空間，Prophet 作為基于外部知識圖像問答任務的一個新的基線（baseline），還有許多值得挖掘的地方；

2. Prophet 不僅是 GPT-3 等 LLM 可以遷移到多種下游任務并取得優良性能的又一例證，更拓展了原本基于 few-shot in-context learning 的遷移范式，引出了一個新的范式，“小模型+LLM”。用任務相關的小模型作為 LLM 適配下游任務的適配器（Adapter），將增強 LLM 的通用性和針對性。我們相信 Prophet 的思路將啟發其他領域的工作。

如果您對我們的工作有任何疑問，歡迎來信探討，或者在 GitHub 上提交 issue。

參考文獻

1. Kenneth Marino, Mohammad Rastegari, Ali Farhadi, and Roozbeh Mottaghi. Ok-vqa: A visual question answering benchmark requiring external knowledge.
2. Zhengyuan Yang, Zhe Gan, Jianfeng Wang, Xiaowei Hu, Yumao Lu, Zicheng Liu, and Lijuan Wang. An empirical study of gpt-3 for few-shot knowledge-based vqa.
3. Jean-Baptiste Alayrac, Jeff Donahue, Pauline Luc, Antoine Miech, Iain Barr, Yana Hasson, Karel Lenc, Arthur Mensch, Katherine Millican, Malcolm Reynolds, et al. Flamingo: a visual language model for few-shot learning.
4. Dustin Schwenk, Apoorv Khandelwal, Christopher Clark, Kenneth Marino, and Roozbeh Mottaghi. A-okvqa: A benchmark for visual question answering using world knowledge.
5. Liangke Gui, Borui Wang, Qiuyuan Huang, Alex Haupt- mann, Yonatan Bisk, and Jianfeng Gao. Kat: A knowledge augmented transformer for vision-and-language.
6. Yuanze Lin, Yujia Xie, Dongdong Chen, Yichong Xu, Chenguang Zhu, and Lu Yuan. REVIVE: Regional visual representation matters in knowledge-based visual question answering.
7. Zhou Yu, Jun Yu, Yuhao Cui, Dacheng Tao, and Qi Tian. Deep modular co-attention networks for visual question answering.
8. Xi Chen, Xiao Wang, Soravit Changpinyo, A. J. Piergiovanni, Piotr Padlewski, Daniel Salz, Sebastian Goodman et al. Pali: A jointly-scaled multilingual language-image model.
9. Danny Driess, Fei Xia, Mehdi SM Sajjadi, Corey Lynch, Aakanksha Chowdhery, Brian Ichter, Ayzaan Wahid et al. PaLM-E: An Embodied Multimodal Language Model.

關于作者

論文第一作者邵鎮煒是杭州電子科技大學計算機學院媒體智能實驗室碩士研究生。邵鎮煒同學患有“進行性脊肌萎縮癥”，肢體一級殘疾，沒有生活自理能力，生活和學習需要母親的全程照顧。2017年高考考入杭州電子科技大學計科專業，本科期間獲得2018年中國大學生自強之星、國家獎學金和浙江省優秀畢業生等榮譽。2021年通過研究生推免，加入余宙教授課題組攻讀碩士研究生。

論文通訊作者為杭州電子科技大學計算機學院余宙教授。余宙教授是杭電計算機學院最年輕的教授，教育部“復雜系統建模與仿真”實驗室副主任。長期從事多模態智能方向研究，曾帶領研究團隊多次獲得國際視覺問答挑戰賽VQA Challenge 的冠亞軍。