//learn.deeplearning.ai/chatgpt-prompt-eng/lesson/1/introduction
在ChatGPT Prompt Engineering for Developers中,您將學習如何使用大型語言模型(LLM)快速構建新的和強大的應用程序。使用OpenAI API,你將能夠快速構建學習創新和創造價值的能力,這些創新和創造價值的方式在以前成本高昂、技術含量高或根本不可能實現。由Isa Fulford (OpenAI)和Andrew Ng (DeepLearning.AI)教授的這個短期課程將描述LLM如何工作,為prompt engineering提供最佳實踐,并展示LLM api如何在各種任務的應用程序中使用,包括:
所有的概念都有大量的例子來說明,你可以直接在我們的Jupyter notebook環境中使用prompt engineering獲得實踐經驗。
學習如何顛覆性的AI聊天機器人將改變學校、工作和更多領域。 《ChatGPT入門》為你解密這個能回答問題、寫作文、生成幾乎任何被問到的文本的人工智能工具。這個強大的生成型AI被廣泛預測將顛覆教育和商業。在這本書中,你將學習ChatGPT是如何工作的,以及如何操作它以得到滿意的結果。你還將探討使用AI生成內容的各種目的的倫理問題。由一位在人工智能前線工作了十多年的記者撰寫,這本書深入探討了ChatGPT的潛力,讓你能做出明智的決定——而無需向ChatGPT尋求幫助。 了解ChatGPT的工作方式以及它如何適應生成型AI的世界 利用ChatGPT的力量來幫助你,并避免讓它阻礙你 編寫能得到你想要的回應類型的查詢 看看ChatGPT API如何與其他工具和平臺交互 這本及時的《入門》書籍非常適合任何生活或職業可能受到ChatGPT和其他AI影響的人。ChatGPT只是冰山一角,這本書可以幫助你為未來做好準備。
盡管你可以在YouTube、博客、文章、社交媒體和其他地方找到大量關于ChatGPT的內容,但這本書是首批,如果不是第一本,關于這個主題的全面性文本,特別是針對初學者或介紹級別。并且請不要誤解。在少數AI科學家之外,每個人在接觸ChatGPT時都是初學者。請安心,知道你正在和全球數百萬其他人一起學習。 如果你已經在嘗試或使用ChatGPT,你將在這本書中找到多種方法,利用你已經知道的內容,并將新事物融入到你的努力中,以便從ChatGPT中獲得更多。請注意,對ChatGPT的討論包括解釋和提及支持ChatGPT的GPT模型,但這些模型也被用作除此聊天機器人之外的其他應用的AI模型。對類似ChatGPT的模型的引用可能意味著它們在技術上與ChatGPT相似,也可能不相似。例如,競爭模型可能有也可能沒有大型語言模型(LLMs)作為其基礎,正如ChatGPT一樣,但它們仍然被稱為“類似”,因為它們的用戶界面和功能與ChatGPT的非常相似。這樣,你可以更容易地比較和理解市場上的各種生成型AI聊天機器人,而不需要深陷技術細節。一些網址可能會跨越兩行文本。如果你正在閱讀紙質版的這本書,并想訪問其中一個網頁,只需按照文本中記錄的方式準確輸入地址,忽略行間斷開的部分。如果你正在閱讀電子書,那就簡單了;只需點擊網址即可直接進入網頁。
由ChatGPT推廣的大型語言模型的進步代表了機器語言處理的重大突破。我們邀請您加入塑造通信技術未來的對話。這對我們意味著什么,我們如何最大限度地利用這些進步,存在哪些風險?這開啟了哪些研究機會?需要進行哪些評估?我們將集結一群從業者和專家進行指導討論,動手實驗和項目評審。如果您想參加課程,請填寫這份興趣表格,并在2月8日(星期三)參加第一堂課。請帶上筆記本電腦,準備開始實驗! 這門課程將采取工作坊和研討會的組合形式。學生將通過閱讀,課堂參與和項目工作進行互動。學生可以選擇完成一個項目,或者制定一個研究項目提案。在積極的項目軌道中,學生將組成團隊,推廣項目,并在過程中獲得反饋。對于項目提案軌道,他們將在學期中期提供文獻回顧,并提交書面研究項目提案。項目應集中在課程確定的主要領域之一。我們將在整個學期中共享和評價項目,以期望項目最終的展示。學生還將被期望在閱讀和動手工作坊產出的基礎上向班級進行展示。 講者:
課程目錄:
1: 大語言模型背景 Background on LLMs [Slides]
2: Get your hands dirty with ChatGPT [Slides] Create a prompting task in groups. 3: 評估模型 Evaluating models 我們如何最好地評估這些模型的準確性、公平性、偏見、魯棒性以及其他因素呢?
4: 使用LLM達成跨偏好的共識 Using LLMs for Consensus Across Preferences
5. 大語言模型的涌現能力
本次演講將涵蓋關于大型語言模型如何工作的廣泛直覺。首先,我們將從一些語言模型可以通過閱讀互聯網學習的例子開始。其次,我們將考慮為什么語言模型最近受到關注,以及它們具有哪些過去不存在的新能力。第三,我們將介紹語言模型如何執行復雜的推理任務。最后,演講將討論語言模型如何通過指令跟蹤來改進用戶界面。 6. 評估人與模型的交互 Evaluating Human-model Interactions
7. 人工智能介導的通信 AI-Mediated Communication
本次演講將討論AI-Mediated Communication (AI-MC)現象及其對人類溝通結果、語言使用和人際信任的潛在影響。作者概述了早期的實驗結果,表明人工智能的參與可以改變書面內容和意見,改變消息所有權,影響責任分配,并影響信任評估,強調了開發和部署這些技術的新方法的必要性。
這本迷你書是給想要學習如何使用大型語言模型構建應用的Python開發者的全面指南。作者Olivier Caelen和Marie-Alice Blete闡述了GPT-4和ChatGPT的主要特性和優點,并解釋了它們的工作原理。你也會得到一個使用GPT-4和ChatGPT Python庫開發應用的逐步指南,包括文本生成,問答,和內容摘要工具。以清晰簡潔的語言寫就,"開發GPT-4和ChatGPT應用"書中包含了易于跟蹤的示例,幫助你理解并將概念應用到你的項目中。Python代碼示例可在GitHub倉庫中獲取,書中還包括一個關鍵術語的詞匯表。準備好在你的應用中利用大型語言模型的力量了嗎?那么這本書是必讀的。你將學習:ChatGPT和GPT-4的基本原理和優點以及它們的工作方式如何將這些模型集成到基于Python的應用中,進行NLP任務 如何使用Python的GPT-4或ChatGPT API開發應用,進行文本生成,問題回答,內容摘要等任務 高級GPT主題,包括提示工程,針對特定任務的模型微調,插件等等
我們AIGC系列專題《“大模型+小樣本”快速適配下游場景,“AI+傳媒”的效力取決于適配與迭代》將“AI+傳媒”的研究框架定義為“通用大模型”+“行業小樣本”的技術架構。“AI+傳媒”在應用層表現效力優劣的關鍵取決于通用大模型對垂直應用的適配程度及迭代速度,更進一步理解:
1、“行業小樣本”的數據集來自小模型或應用及內容:AI產業鏈包括上層大模型、中層小模型、下層應用及內容,包括應用及內容直接接入大模型或通過小模型接入大模型兩種方式,即“大模型+應用及內容”或“大模型+小模型+應用或內容”,其中具備特定功能的AIGC軟件產品我們理解為“小模型”+“應用”的技術范式,本身具備較高質量的AI能力,若接入匹配的多模態大模型,有望實現能力上的質變突破。 2、“行業小樣本”的結合方式包括“能力調用”及“能力訓練”兩層: (1)“能力調用”是指下游垂類場景直接調用通用大模型的通用能力,并基于垂類場景內產生的特性化數據不斷提升調用能力在垂類場景內的適配程度。我們認為現階段下游應用及內容主要采取此類方式接入大模型能力,此類方式可高效快速調用大模型先進能力,在時間上及成本上具備優勢。 (2)“能力訓練”是指下游垂類場景將通用大模型針對特性化數據集進行再訓練,從而形成垂類場景專屬大模型。例如彭博社利用自身豐富的金融數據源,基于開源的GPT-3框架再訓練,開發出了金融專屬大模型BloombergGPT。我們認為未來擁有豐富特性化數據集的下游垂類場景將主要采取此類方式,有助于構筑更強的能力壁壘。圍繞我們對“AI+傳媒”的研究框架體系,我們后續分別針對“技術層”及“產品/應用層”梳理AIGC研究版圖,本篇屬于AIGC系列專題中“GPT系列專題之一”,重點梳理ChatGPT基礎認知。
ChatGPT是OpenAI基于GPT-4架構創建的大型語言模型。它旨在理解和響應自然語言文本輸入,允許與機器進行對話。ChatGPT已經在大量數據上進行了訓練,使它能夠對廣泛的提示生成連貫和上下文適當的響應。憑借先進的自然語言處理能力,ChatGPT具有執行語言翻譯、文本摘要和問答等任務的能力。 ChatGPT作為一個大型語言模型,在教育、醫療、客服、娛樂等領域有著廣泛的應用。在這一部分中,我們將討論ChatGPT的一些最值得注意的應用,以及如何使用它們來增強各種行業。
聊天機器人和虛擬助手——ChatGPT最常見的應用之一是開發聊天機器人和虛擬助手。憑借其先進的自然語言處理能力,ChatGPT可以用來創建能夠理解并響應人類輸入的聊天機器人。這些聊天機器人可以用于各種行業,從客戶服務到醫療保健,幫助用戶查找信息、回答問題和解決問題。
語言翻譯- ChatGPT也可以用來開發語言翻譯工具。ChatGPT具有理解和生成多種語言文本的能力,可以用來創建翻譯工具,將文本從一種語言翻譯成另一種語言。這個應用程序在國際商務和外交行業中特別有用。 3.文本摘要——它也可以用于開發文本摘要工具,以幫助用戶快速而無困難地理解一篇長文本的要點。這個應用程序在新聞業中很有用,因為記者需要快速地為觀眾總結新聞故事。
問答——ChatGPT可以用來創建問答工具,幫助用戶快速輕松地查找信息。這些工具可以用于各種行業,從教育到客戶服務,幫助用戶找到問題的答案,而不必在長文檔或網站中搜索。
個性化內容生成——ChatGPT還可以根據用戶的興趣和偏好為用戶生成個性化內容。該應用程序可用于營銷和娛樂等行業,以創建更有可能吸引和留住用戶的定向廣告和內容。
教育——ChatGPT可以用于教育,為學生創造個性化的學習體驗。通過分析學生數據并生成個性化內容,ChatGPT可以幫助學生按照自己的節奏并以最適合他們學習風格的方式學習。
醫療保健——同樣,在醫療保健領域,ChatGPT可以幫助醫生和護士快速準確地診斷患者。ChatGPT可以通過分析患者數據和生成可能的診斷結果,幫助醫療保健專業人員做出更明智的決定,并提供更好的患者護理。
娛樂——ChatGPT還可以創建交互式娛樂體驗,例如聊天應用程序可以用于游戲和社交媒體行業,創建富有吸引力和沉浸感的用戶體驗。
客戶支持——ChatGPT可以以多種方式用于客戶服務
大型自監督(預訓練)模型已經改變了各種數據驅動的領域,如自然語言處理(NLP)。在本課程中,學生將全面介紹NLP應用的自監督學習技術。通過講座、作業和期末項目,學生將學習使用Pytorch框架設計、實現和理解自己的自監督神經網絡模型的必要技能。
ChatGPT系列報告地址://www.zhuanzhi.ai/topic/tpcac5a15a1c8b5293bfc970b97839eaf7
01ChatGPT是全要素生產率提升的核心 ChatGPT將顯著提升我國全要素生產率 全要素生產率(Total Productivity Factor,TFP)由技術創新、技術效率、規模效率和配置效率等因素決定,未來隨著我國進入高質量發展階段,TFP的改善可有效對沖人口老齡化帶來的壓力,TFP決定了我國潛在增長中樞。 ChatGPT在很多傳統領域會產生勞動力替代,但也會產生很多新的就業機會。2004年之后,中國從劉易斯的二元經濟發展階段進入到新發展階段,農村人口從過剩變為短缺,勞動年齡人口占總人口的比重開始下降。 ChatGPT可與人類開展連續對話,ChatGPT可勝任報告起草、詩歌創作、代碼撰寫等復雜任務。通過“學習”和“理解”人類語言,標志著人工智能技術應用將進入快車道。通過對超過1萬億個人類詞匯和1700億個模型參數進行高效迭代訓練,ChatGPT具備強大的自我學習、推理和歸納總結能力。 02ChatGPT是人工智能科技革命的縮影 ChatGPT是人工智能科技革命的縮影 ChatGPT是人工智能科技革命的縮影。實際上,2010年前后,以人工智能、云計算、大數據、物聯網等組成元素的新一輪科技革命開始孵化、孕育和成長,如智能汽車、新能源汽車已經開始逐步替代傳統汽車,廣泛地應用生產生活。 ChatGPT可以理解為一個高情商、理性且學識淵博的聊天機器人,歸納學習能力強,但在專業領域尚不具備預測能力,如宏觀經濟預測、大類資產價格走勢等。不過,在可預見的未來,ChatGPT將在養老、教育、醫療、內容創作等領域實現廣泛的應用。
提示工程是一門相對較新的學科,用于開發和優化提示,以有效地將語言模型(LM)用于各種應用和研究主題。提示工程技能有助于更好地理解大型語言模型(LLM)的能力和局限性。 **研究人員使用prompt engineering來提高LLM在廣泛的常見和復雜任務上的能力,如問答和算術推理。**開發人員使用提示工程來設計與LLM和其他工具交互的健壯和有效的提示技術。 提示工程不僅僅是設計和開發提示。它包含了對與LLM交互和開發有用的廣泛技能和技術。這是接口、構建和理解llm功能的一項重要技能。您可以使用prompt engineering來提高llm的安全性并構建新的功能,例如用領域知識和外部工具增強LLM。 由于對與LLM一起開發的高度興趣,我們創建了這個新的prompt工程指南,其中包含所有最新的論文、學習指南、模型、講座、參考資料、新的LLM功能和與prompt工程相關的工具。 視頻:
地址://github.com/dair-ai/Prompt-Engineering-Guide
1. 引言
提示工程是一門相對較新的學科,用于開發和優化提示,以有效地將語言模型(LM)用于各種應用和研究主題。提示工程技能有助于更好地理解大型語言模型(LLM)的能力和局限性。研究人員使用prompt engineering來提高LLM在廣泛的常見和復雜任務上的能力,如問答和算術推理。開發人員使用提示工程來設計與LLM和其他工具交互的魯棒和有效的提示技術。 本指南涵蓋了提示的基礎知識,對如何使用提示來交互和指示大型語言模型(LLM)提供了一個粗略的想法。 LLM設置
在處理提示時,您將通過API或直接與LLM交互。您可以配置一些參數以獲得不同的提示結果。 Temperature ——簡而言之,Temperature 越低,結果越確定,因為總是選擇可能性最高的下一個token。升高的Temperature可能導致更多的隨機性,鼓勵更多多樣化或創造性的輸出。我們實際上是在增加其他可能token的權重。在應用方面,我們可能希望對基于事實的QA等任務使用較低的Temperature,以鼓勵更事實和更簡潔的回答。對于詩歌生成或其他創造性任務,提高Temperature可能是有益的。 Top_p -類似地,使用Top_p(一種稱為核采樣的Temperature采樣技術),您可以控制模型生成響應的確定性程度。如果你正在尋找準確和事實的答案,請保持這個數字較低。如果您正在尋找更多樣化的響應,請增加到更高的值。 一般的建議是改變其中一個,而不是兩個都改變。 在開始使用一些基本示例之前,請記住,您的結果可能會因您使用的LLM版本而有所不同。 提示的基礎知識
提示的元素 隨著我們介紹提示工程可能提供的越來越多的示例和應用程序,您將注意到有一些組成提示的元素。 提示(prompt)可以包含以下任何一個組件。 * 指令(Instruction):希望模型執行的特定任務或指令 * 上下文 context ——可以包含外部信息或額外的上下文,這些信息可以引導模型做出更好的響應 * 輸入數據——是我們感興趣的輸入或問題 * 輸出指示器 Indicator :表示輸出的類型或格式。
提示并不需要所有組件,其格式取決于當前的任務。我們將在接下來的指南中接觸到更多具體的例子。 設計提示的一般技巧
提示示例
在前一節中,我們介紹并給出了如何提示LLMs的基本示例。 在本節中,我們將提供更多示例,說明如何使用提示來實現不同的任務,并介紹其中的關鍵概念。通常,學習概念的最好方法是通過示例。下面我們將介紹幾個示例,說明如何使用精心設計的提示來執行不同類型的任務。 主題: * 文本摘要 * 信息提取 * 問題回答 * 文本分類 * 談話 * 代碼生成 * 推理
2. 提示技術
在這一點上,很明顯,改進提示有助于在不同的任務上獲得更好的結果。這就是prompt engineering背后的全部思想。 雖然基本的例子很有趣,但在本節中,我們將介紹更高級的提示工程技術,使我們能夠實現更復雜和有趣的任務。 * **Zero-shot Prompting **
**Few-shot Prompting **
**Chain-of-Thought Prompting **
**Self-Consistency **
**Generate Knowledge Prompting **
**Automatic Prompt Engineer **
**Active-Prompt **
**Directional Stimulus Prompting **
**ReAct **
**Multimodal CoT **
Graph Prompting
3. 提示應用
Program-Aided Language Models * Generating Data
4. 模型
ChatGPT
在本節中,我們將介紹ChatGPT的最新提示工程技術,包括提示、應用、限制、論文和額外的閱讀材料。 主題:
ChatGPT介紹 * 回顧對話任務與ChatGPT的對話 * Python的筆記本 ChatGPT是OpenAI訓練的一種可以進行對話交互的新模型。該模型被訓練成遵循提示中的指示,在對話的上下文中提供適當的響應。ChatGPT可以幫助回答問題、建議食譜、以某種風格寫歌詞、生成代碼等等。
ChatGPT使用來自人類反饋的強化學習(RLHF)進行訓練。雖然這個模型比之前的GPT迭代更有能力(也經過訓練以減少有害和不真實的輸出),但它仍然有局限性。讓我們通過具體的例子來介紹一些功能和限制。 你可以在這里使用ChatGPT的研究預覽,但對于下面的示例,我們將使用OpenAI Playground上的聊天模式。 * GPT-4 在本節中,我們將介紹GPT-4最新的prompt工程技術,包括提示、應用、限制和其他閱讀材料。
GPT-4介紹 最近,OpenAI發布了GPT-4,這是一個大型多模態模型,可以接受圖像和文本輸入并發出文本輸出。它在各種專業和學術基準上實現了人類水平的表現。 書冊:
**
**
課件: