生成預訓練變換器3(GPT-3)是來自OpenAI的高級語言模型,可以生成幾乎無法與人類寫作區分的文字。無論你有沒有技術背景,這本書都將幫助你理解并開始使用GPT-3和OpenAI API。如果你想動手使用人工智能進行自然語言處理(NLP)任務,這本易于理解的書將幫助你開始。這本書從高層次介紹NLP和GPT-3開始,通過實用的例子,指導你如何利用OpenAI API和GPT-3進行文本生成、分類和語義搜索。你將探索OpenAI API和GPT-3的能力,并了解GPT-3最適合哪些NLP使用場景。你還會學習如何使用API并優化請求以獲得最好的可能結果。這本書通過以OpenAI Playground為焦點的例子和易于理解的JavaScript和Python代碼樣本,展示了GPT-3在生產中的可能應用。在這本書的最后,你將理解GPT-3的最佳使用場景,以及如何在你的應用中集成OpenAI API以處理各種NLP任務。
這本書是為對自然語言處理(NLP)或學習GPT-3感興趣的人編寫的,無論他們是否具有技術背景。對于希望了解NLP,AI和GPT-3的開發人員,產品經理,企業家和業余愛好者,這本書都會非常有用。您只需要基本的計算機技能就可以充分利用本書。盡管擁有現代編程語言的經驗會有所幫助,但并非必需。我們提供的代碼示例對初學者友好,易于理解,即使您是編程新手也能輕松掌握。
第一章,介紹GPT-3和OpenAI API,是對GPT-3和OpenAI API的高級介紹。第二章,GPT-3的應用和用例,是對GPT-3核心用例:文本生成,分類和語義搜索的概述。第三章,使用OpenAI Playground,是對OpenAI Playground和開發者門戶的深入了解。第四章,使用OpenAI API,是關于使用Postman調用OpenAI API的介紹。第五章,代碼中調用OpenAI API,是關于如何用Node.js/JavaScript和Python使用OpenAI API的介紹。第六章,內容過濾,解釋了如何實施內容過濾。第七章,生成和轉換文本,包含了生成和轉換文本的代碼和提示示例。第八章,分類和分類文本,更深入地研究了文本分類和OpenAI API分類端點。第九章,構建GPT-3驅動的問答應用,解釋了如何構建一個功能性的GPT-3驅動的網絡知識庫。第十章,使用OpenAI驅動的應用上線,解釋了OpenAI應用審查和批準過程,并討論了如何為審查做準備。
通過本指南獲取的知識將適用于GPT-3,并且在GPT-4(如果有發布的話)也很可能仍然相關。OpenAI 提供 API(應用程序編程接口)以訪問他們的 AI。API 的目標是通過為所有版本創建通用接口來抽象底層模型,使用戶無論版本如何都能使用 GPT。本指南的目標是通過 API 提供使用 GPT-3 的分步指南,但不僅如此 - 還有許多其他由 OpenAI 構建的工具和模型,如 Whisper(一個在68萬小時多語言和多任務監督數據上進行訓練的自動語音識別(ASR)系統)、CLIP(對比性語言-圖像預訓練),一個在各種(圖像,文本)對上進行訓練的神經網絡以及 DALL·E 2,一個可以根據自然語言描述創建逼真圖像和藝術的新 AI 系統。無論您是構建聊天機器人、AI(語音)助手、語義搜索引擎、分類系統、推薦引擎、提供 AI 生成數據的 Web 應用程序還是其他任何類型的自然語言/圖像/語音處理和生成平臺,本指南都將幫助您實現目標。如果您已經掌握了 Python 編程語言的基礎知識,并愿意學習更多技巧,如使用 Pandas Dataframes 和一些 NLP 技巧,您就擁有了使用 OpenAI 工具構建智能系統所需的所有工具。放心,您無需擁有數據科學家、機器學習工程師或 AI 專家的頭銜,就能理解本指南中介紹的概念、技術和教程。我們的解釋非常清晰易懂,使用簡單的 Python 代碼、示例和動手練習。本指南專注于實踐、動手學習,旨在幫助讀者構建實際應用程序。指南以示例為驅動,提供了許多實際示例,以幫助讀者理解概念并將其應用于現實場景以解決實際問題。在學習過程結束時,您將構建了如下應用程序:
GPT-3: The Ultimate Guide To Building NLP Products With OpenAI API是一本關于生成式預訓練Transformer 3 AI語言模型的全面的書,涵蓋了它的意義、功能和在創建創新NLP產品中的應用。
主要特點:
探索GPT-3:本書探索了GPT-3這一強大的語言模型及其功能 業務應用:本書提供了使用GPT-3創建新業務產品的實踐知識 對AI趨勢的研究:這本書研究了GPT-3對新興創造者經濟和無代碼和AGI等趨勢的影響
本書簡介:
GPT-3使得創建AI應用程序比以往任何時候都更簡單。本書提供了關于如何輕松使用OpenAI API的全面指南。它探索了利用此工具滿足您特定需求的富有想象力的方法,并展示了通過使用此工具已建立的成功企業。 本書分為兩部分,第一部分重點介紹OpenAI API的基礎知識。第二部分研究了圍繞GPT-3產生的動態和繁榮的環境。 第1章介紹了背景信息和關鍵術語的定義。第2章深入介紹API,將其分解為基本組件,解釋它們的功能并提供最佳實踐。第3章,你將使用GPT-3構建第一個應用。 第4章采訪了成功的基于GPT-3產品的創始人,他們分享了所面臨的挑戰和獲得的見解。第5章考察了企業對GPT-3的看法及其采用潛力。第6章將討論廣泛采用GPT-3帶來的問題,如誤用和偏見,以及解決這些問題的努力。最后,第7章深入探討了未來,探索了GPT-3日益融入商業生態系統的最令人興奮的趨勢和可能性。 你將學到:
學習OpenAI API的基本組件以及最佳實踐 構建并部署你的第一個GPT-3驅動的應用程序 從行業領袖、創業公司創始人的經歷中學習,他們構建并部署了大規模的基于GPT-3的產品 看看企業如何看待GPT-3及其采用可擴展解決方案的潛力 引導采用GPT-3的后果,并努力解決它們 探索在沒有代碼的情況下將模型與GPT-3結合的令人興奮的趨勢和可能性
學習如何在編寫高性能python程序和算法中使用數據結構這篇關于數據結構和算法的實用介紹可以幫助每一個想要編寫更高效軟件的程序員。本書以Robert Lafore基于java的傳奇指南為基礎,幫助學生準確理解數據結構和算法是如何運行的。您將學習如何用非常流行的Python語言有效地應用它們,并擴展您的代碼以應對當今的大數據挑戰。在整個過程中,作者關注現實世界的例子,用直觀的交互式可視化交流關鍵思想,并將復雜性和數學限制在提高性能所需的范圍內。他們逐步介紹了數組、排序、堆棧、隊列、鏈表、遞歸、二叉樹、2-3-4樹、哈希表、空間數據結構、圖等等。它們的代碼示例和插圖非常清晰,即使你是一個接近初學者,或者你有使用其他過程或面向對象語言的經驗,你也可以理解它們。
GPT-3:帶大型語言模型的NLP是一種獨特的、實用的生成式預訓練Transformer 3,這是OpenAI在2020年推出的著名的AI語言模型。這個模型能夠處理各種各樣的任務,比如對話、文本完成,甚至編碼,性能非常好。自發布以來,API已經為數量驚人的應用程序提供了動力,這些應用程序現在已經成長為成熟的初創公司,產生了商業價值。這本書將深入探討GPT-3是什么,為什么它很重要,它能做什么,已經用它做了什么,如何訪問它,以及如何從零開始構建一個GPT-3支持的產品。
這本書是為那些想要了解GPT-3的范圍和性質的人準備的。本書將從多個角度評估GPT-3 API,并討論由GPT-3支持的新興新興經濟的各個組成部分。這本書將著眼于GPT-3對創造者經濟、無代碼和人工通用智能等重要AI趨勢的影響,并將使讀者能夠組織他們的想象力想法,并將其從純粹的概念轉化為現實。
本書的第一部分涵蓋了OpenAI API的基礎。在本書的第二部分,我們探索了圍繞GPT-3有機進化的生態系統。第一章列出了背景和基本定義,需要輕松地移動這些主題。在第二章中,我們將深入探討API,將其分解為最重要的元素,如引擎和端點,為希望與它們進行更深層次交互的讀者描述它們的目的和最佳實踐。第三章為你的第一個基于GPT-3的應用提供了一個簡單而有趣的配方。然后,將焦點轉移到令人興奮的AI生態系統,在第四章中,我們采訪了一些最成功的基于GPT-3的產品和應用的創始人,他們的經驗與該模式在商業規模上的互動。第五章著眼于企業如何看待GPT-3及其采用潛力。在第六章中,我們討論了廣泛采用GPT-3帶來的問題,如誤用和偏見,以及解決這些問題的進展。最后,在第七章中,我們展望未來,帶領您了解隨著GPT-3融入更廣泛的商業生態系統,最令人興奮的趨勢和可能性。
//www.oreilly.com/library/view/natural-language-processing/9781098103231/
自2017年推出以來,Transformer已迅速成為在各種自然語言處理任務上實現最先進結果的主導架構。如果你是一名數據科學家或程序員,這本實用的書向你展示了如何使用基于python的深度學習庫hugs Face transformer來訓練和擴展這些大型模型。
Transformers 已經被用來編寫真實的新聞故事,改進谷歌搜索查詢,甚至創造出講笑話的聊天機器人。在本指南中,作者Lewis Tunstall、Leandro von Werra和Thomas Wolf(擁抱Transformers 的創始人之一)使用親身實踐的方法來教你Transformers如何工作,以及如何將它們集成到應用程序中。你會很快學到他們能幫你解決的各種任務。
為核心NLP任務構建、調試和優化Transformers模型,如文本分類、命名實體識別和回答問題
學習如何使用Transformers進行跨語言遷移學習
在真實世界中標簽數據稀缺的場景中應用Transformers
利用蒸餾、剪枝和量化等技術,使Transformers模型有效地用于部署
從零開始訓練Transformers ,學習如何擴展到多個GPU和分布式環境
本書的目標是讓您能夠構建自己的語言應用程序。為了達到這個目的,它關注于實際的用例,并且只在必要的時候深入研究理論。這本書的風格是動手操作,我們強烈建議您親自運行代碼示例來進行試驗。本書涵蓋了NLP中transformers的所有主要應用,每一章(除了少數例外)專門針對一個任務,結合一個實際的用例和數據集。每一章還介紹了一些額外的概念。以下是我們將涉及的任務和主題的一個高級概述:
第一章,你好Transformers,介紹了Transformers,并把它們放到了背景中。它還介紹了“Hugging Face”生態系統。
第二章文本分類,重點介紹了情感分析(一個常見的文本分類問題),并介紹了Trainer API。
第三章,Transformer剖析,更深入地介紹了Transformer架構,為接下來的章節做準備。
第四章,多語言命名實體識別,重點關注在多語言文本中識別實體的任務(一個令牌分類問題)。
第五章,文本生成,探討了Transformers模型生成文本的能力,并介紹了解碼策略和度量。
第六章,摘要,深入研究了文本摘要的復雜序列到序列任務,并探討了該任務使用的度量。
第七章“問答”,重點介紹了基于綜述的問答系統的構建,并介紹了利用Haystack進行檢索的方法。
第八章《Transformers在生產中高效運行》,重點介紹了模型性能。我們將著眼于意圖檢測的任務(序列分類問題的一種類型),并探索知識蒸餾、量化和剪枝等技術。
第九章,處理很少或沒有標簽,著眼于在沒有大量標簽數據的情況下提高模型性能的方法。我們將構建一個GitHub問題標簽和探索技術,如零樣本分類和數據增強。
第十章,從頭開始訓練Transformer,向您展示了如何從頭開始構建和訓練一個自動完成Python源代碼的模型。我們將研究數據集流和大規模培訓,并構建我們自己的標記器。
第十一章,未來方向,探討了Transformers面臨的挑戰和一些令人興奮的新方向的研究,在這一領域將進入。
語義搜索長期以來一直是谷歌、亞馬遜和Netflix等巨頭技術堆棧的關鍵組成部分。這些技術最近的普及化引發了搜索的復興,這些曾經被保護的技術正在被傳播,并迅速被各個可以想象的行業的組織采用。
地址:
為什么人們對語義搜索的興趣會大爆發?它為許多產品和應用打開了一個必不可少的配方,其范圍未知,但已經很廣泛了。搜索引擎、自動更正、翻譯、推薦引擎、錯誤日志等等都已經是語義搜索的忠實用戶。許多可以從有意義的語言搜索或聚類功能中受益的工具都被語義搜索所強化。
兩大支柱支持語義搜索:向量搜索和自然語言處理。在本課程中,我們將關注NLP的支柱以及它如何將“語義”引入語義搜索。我們在整個課程中引入概念和理論,然后用實際的、行業標準的代碼和庫來支持它們。
您將了解什么是密集向量,以及為什么它們是NLP和語義搜索的基礎。我們將介紹如何構建最先進的語言模型,包括語義相似度、多語言嵌入、問答等等。學習如何在現實世界中應用這些方法,在現實世界中,我們經常缺乏合適的數據集或大量的計算能力。
簡而言之,您將學習開始在語義搜索用例中應用NLP所需的一切知識。
讓我們開始吧!
目錄內容
第一章 密集向量 NLP密集向量嵌入概述
第二章 句子嵌入與變換器
句子嵌入和變換如何用于一系列語義相似度應用。在本文中,我們將通過使用一種叫做“句子變換器”的新型transformers來探索這些嵌入是如何被調整并應用于一系列語義相似度應用的。
第三章 用Softmax損失訓練句子變換器
訓練像SBERT這樣的句子轉換器用于語義搜索的原始方法。
第四章 用多重否定排序損失訓練句子變形
如何用MNR損耗進行微調來制作句子轉換器。
第五章 多語言句子變換器
如何用知識蒸餾創造多語言句子轉換器。
第六章 問題回答
圖解指南開放領域的問題回答。
第七章 句子變形的無監督訓練
如何在沒有標注數據的情況下創建句子轉換器模型。
第八章 BERT數據增強
增強SBERT (AugSBERT)是一種增強特定領域數據集的訓練策略。
自然語言處理(Natural Language Processing,NLP)是計算機科學領域與人工智能領域中的一個重要方向。它研究能夠實現人與電腦之間用自然語言進行有效通信的各種理論和方法,涉及所有用計算機對自然語言進行的操作。
//www.datascienceassn.org/sites/default/files/Natural%20Language%20Processing%20with%20Python.pdf
伯德、克萊恩、洛佩爾編著的這本《Python自然語言處理》是自然語言處理領域的一本實用入門指南,旨在幫助讀者學習如何編寫程序來分析書面語言。《Python自然語言處理》基于Python編程語言以及一個名為NLTK的自然語言工具包的開源庫,但并不要求讀者有Python編程的經驗。全書共11章,按照難易程度順序編排。第1章到第3章介紹了語言處理的基礎,講述如何使用小的Python程序分析感興趣的文本信息。第4章討論結構化程序設計,以鞏固前面幾章中介紹的編程要點。第5章到第7章介紹語言處理的基本原理,包括標注、分類和信息提取等。第8章到第10章介紹了句子解析、句法結構識別和句意表達方法。第11章介紹了如何有效管理語言數據。后記部分簡要討論了NLP領域的過去和未來。
《Python自然語言處理》的實踐性很強,包括上百個實際可用的例子和分級練習。《Python自然語言處理》可供讀者用于自學,也可以作為自然語言處理或計算語言學課程的教科書,還可以作為人工智能、文本挖掘、語料庫語言學等課程的補充讀物。