亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要: 機器學習以強大的自適應性、自學習能力, 成為網絡空間防御的研究熱點和重要方向. 然而, 機器學習模型在網絡空間環境下存在受到對抗攻擊的潛在風險, 可能成為防御體系中最為薄弱的環節, 從而危害整個系統的安全. 為此, 科學分析安全問題場景, 從運行機理上探索算法可行性、安全性, 對運用機器學習模型構建網絡空間防御系統大有裨益. 本文全面綜述對抗機器學習這一跨學科研究領域在網絡空間防御中取得的成果及以后的發展方向. 首先介紹了網絡空間防御、對抗機器學習等背景知識. 其次, 針對機器學習在網絡空間防御中可能遭受的攻擊, 引入機器學習敵手模型概念, 目的是科學評估其在特定威脅場景下的安全屬性. 而后, 針對網絡空間防御的機器學習算法, 分別論述了在測試階段發動規避攻擊、在訓練階段發動投毒攻擊、在機器學習全階段發動隱私竊取的方法, 進而研究如何在網絡空間對抗環境下, 強化機器學習模型的防御方法. 最后, 展望了網絡空間防御中對抗機器學習研究的未來方向和有關挑戰.

//www.aas.net.cn/cn/article/doi/10.16383/j.aas.c210089

本文回顧了機器學習中的隱私挑戰，并提供了相關研究文獻的關鍵概述。討論了可能的對抗性模型，討論了與敏感信息泄漏相關的廣泛攻擊，并突出了幾個開放的問題。

//ieeexplore.ieee.org/document/9433648

引言

像谷歌、微軟和亞馬遜這樣的供應商為客戶提供軟件接口，方便地將機器學習(ML)任務嵌入他們的應用程序。總的來說，機構可以使用ML-as-a-service (MLaaS)引擎來處理復雜的任務，例如訓練分類器、執行預測等。他們還可以讓其他人查詢根據他們的數據訓練的模型。當然，這種方法也可以用于其他環境，包括政府協作、公民科學項目和企業對企業的伙伴關系。不幸的是，如果惡意用戶恢復用于訓練這些模型的數據，由此產生的信息泄漏將產生嚴重的問題。同樣地，如果模型的參數是秘密的或被認為是專有的信息，那么對模型的訪問不應該讓對手知道這些參數。在這篇文章中，我們研究了這一領域的隱私挑戰，并對相關的研究文獻進行了系統的回顧。

我們討論的是可能的對抗性模型和設置，其中涵蓋了與私人和/或敏感信息泄漏相關的廣泛攻擊，并簡要調研了最近的結果，試圖防止此類攻擊。最后，我們提出了一個需要更多工作的開放式問題列表，包括需要更好的評估、有針對性的防御，以及研究與策略和數據保護工作的關系。

機器學習隱私

任何系統的安全性都是根據其設計用來防御的敵對目標和能力來衡量的;為此目的，現在討論了不同的威脅模型。然后，本文試圖在ML中提供隱私的定義，重點討論在“攻擊”一節中詳細討論的不同類型的攻擊。

總的來說，我們關注的是模型的隱私。(注意，對抗樣例和整體魯棒性問題超出了本文的范圍。)在本節中，將討論與提取有關模型或訓練數據的信息相關的對抗目標。

當模型本身代表知識產權時，例如在金融市場系統中，模型及其參數應保持私有。在其他情況下，必須保存訓練數據的隱私，例如在醫療應用中。無論目標是什么，攻擊和防御都與暴露或防止暴露模型和訓練數據有關。

攻擊者可能擁有的訪問類型可以是： ■ 白盒，其中對手有關于模型或其原始訓練數據的一些信息，如ML算法、模型參數或網絡結構;或者總結、部分或全部的培訓數據。 ■ 黑盒，對手對模型一無所知。相反，他/她可以通過提供一系列精心設計的輸入和觀察輸出來探索一個模型。

一個需要考慮的變量是攻擊可能發生的時候:

■ 訓練階段: 在這個階段，對手試圖學習模型，例如，訪問摘要、部分或全部訓練數據。他/她可能會創建一個替代模型(也稱為輔助模型)來對受害者的系統進行攻擊。

■ 推理階段: 在這個階段，對手通過觀察模型的推理來收集關于模型特征的證據。

最后，我們可以區分被動攻擊和主動攻擊:

■ 被動攻擊: 在這種類型的攻擊中，對手被動地觀察更新并執行推理，例如，不改變訓練過程中的任何東西。

■ 主動攻擊: 在這種類型的攻擊中，對手主動改變他/她的操作方式，例如，在聯邦學習的情況下，通過使用連接到最后一層的增強屬性分類器擴展他們的協作訓練模型的本地副本。

人工智能(AI)在決定我們日常體驗方面扮演著越來越重要的角色。人工智能的應用越來越多地不再局限于搜索和推薦系統，如網絡搜索、電影和產品推薦，但人工智能也被用于對個人、企業和社會至關重要的決策和流程。在招聘、借貸、刑事司法、醫療保健和教育等領域，基于web的人工智能解決方案對個人和專業的影響是深遠的。

在人工智能系統的開發和部署中，有許多因素發揮著作用，它們可能會表現出不同的、有時是有害的行為。例如，訓練數據往往來自社會和現實世界，因此它可能反映了社會對少數民族和弱勢群體的偏見和歧視。例如，少數族裔與多數族裔在類似行為上面臨更高的逮捕率，所以在沒有補償的情況下構建一個人工智能系統可能只會加劇這種偏見。

上述問題凸顯出需要監管、最佳實踐和實用工具，以幫助數據科學家和ML開發人員構建安全、隱私保護、透明、可解釋、公平和負責的人工智能系統，以避免可能對個人、企業和社會有害的意外后果和合規挑戰。

在這些原則中，模型的透明度和可解釋性是在需要可靠性和安全性的高風險領域(如醫療保健和自動化運輸)建立信任和采用人工智能系統的先決條件，以及具有重大經濟影響的關鍵工業應用(如預測性維護、自然資源勘探和氣候變化建模)。除了可解釋性，越來越多的利益相關者質疑他們的人工智能系統的公平性，因為有很多例子可以說明不考慮公平性的后果，從人臉識別對白人男性的效果明顯優于有色女性，到歧視特定群體的自動招聘系統。通過整合工具來確保模型的透明度和公平性，可以讓數據科學家、工程師和模型用戶更容易調試模型，并實現確保AI系統的公平性、可靠性和安全性等重要目標。

最后，人工智能產品通常由ML模型驅動，這些模型根據敏感用戶數據進行訓練。給定足夠的復雜性——無論是從參數的數量[例如。或者用戶級個性化——，該模型可以對用戶的私人信息進行編碼。此外，通常需要在ML生命周期的不同階段確保用戶隱私，并保護不同類型的不良行為者和威脅場景，需要隱私保護AI方法。

在本教程中，我們將概述負責任的人工智能，強調人工智能中模型的可解釋性、公平性和隱私性，關鍵的法規/法律，以及提供關于基于web的人工智能/ML系統的理解的技術/工具。然后，我們將關注可解釋性、公平評估/不公平緩解和隱私技術在行業中的應用，其中我們提出了有效使用這些技術的實際挑戰/指導方針，以及從部署幾個web規模的機器學習和數據挖掘應用模型中獲得的經驗教訓。我們將介紹不同公司的案例研究，包括搜索和推薦系統、招聘、銷售、借貸和欺詐檢測等應用領域。我們將強調，與負責任的人工智能相關的主題是社會技術的，也就是說，它們是社會和技術交叉的主題。潛在的挑戰不能由技術人員單獨解決;我們需要與所有關鍵的利益相關者一起工作——比如技術的客戶、受技術影響的人，以及具有道德和相關學科背景的人——并在設計這些系統時考慮他們的輸入。最后，基于我們在行業中的經驗，我們將為數據挖掘/機器學習社區確定開放的問題和研究方向。

//sites.google.com/view/ResponsibleAITutorial

隨著數據越來越多地存儲在不同的筒倉中，社會越來越關注數據隱私問題，傳統的人工智能(AI)模型集中訓練正面臨效率和隱私方面的挑戰。最近，聯邦學習(FL)作為一種替代解決方案出現，并在這種新的現實中繼續蓬勃發展。現有的FL協議設計已經被證明對系統內外的對抗是脆弱的，危及數據隱私和系統的魯棒性。除了訓練強大的全局模型外，最重要的是設計具有隱私保障和抵抗不同類型對手的FL系統。在本文中，我們對這一問題進行了第一次全面的綜述。通過對FL概念的簡明介紹，和一個獨特的分類涵蓋:1) 威脅模型; 2) 中毒攻擊與魯棒性防御; 3) 對隱私的推理攻擊和防御，我們提供了這一重要主題的可訪問的回顧。我們強調了各種攻擊和防御所采用的直覺、關鍵技術和基本假設。最后，我們對魯棒性和隱私保護聯合學習的未來研究方向進行了討論。

//www.zhuanzhi.ai/paper/678e6e386bbefa8076e699ebd9fd8c2a

引言

隨著計算設備變得越來越普遍，人們在日常使用中產生了大量的數據。將這樣的數據收集到集中的存儲設施中既昂貴又耗時。傳統的集中式機器學習(ML)方法不能支持這種普遍存在的部署和應用，這是由于基礎設施的缺點，如有限的通信帶寬、間歇性的網絡連接和嚴格的延遲約束[1]。另一個關鍵問題是數據隱私和用戶機密性，因為使用數據通常包含敏感信息[2]。面部圖像、基于位置的服務或健康信息等敏感數據可用于有針對性的社交廣告和推薦，造成即時或潛在的隱私風險。因此，私人數據不應該在沒有任何隱私考慮的情況下直接共享。隨著社會對隱私保護意識的增強，《通用數據保護條例》(GDPR)等法律限制正在出現，這使得數據聚合實踐變得不那么可行。

在這種情況下，聯邦學習(FL)(也被稱為協作學習)將模型訓練分發到數據來源的設備上，作為一種有前景的ML范式[4]出現了。FL使多個參與者能夠構建一個聯合ML模型，而不暴露他們的私人訓練數據[4]，[5]。它還可以處理不平衡、非獨立和同分布(非i.i.d)數據，這些數據自然出現在真實的[6]世界中。近年來，FL獲得了廣泛的應用，如下一個單詞預測[6]、[7]、安全視覺目標檢測[8]、實體解析[9]等。

根據參與者之間數據特征和數據樣本的分布，聯邦學習一般可以分為水平聯邦學習(HFL)、垂直聯邦學習(VFL)和聯邦遷移學習(FTL)[10]。

具有同構體系結構的FL: 共享模型更新通常僅限于同構的FL體系結構，也就是說，相同的模型被所有參與者共享。參與者的目標是共同學習一個更準確的模型。具有異構架構的FL: 最近的努力擴展了FL，以協同訓練具有異構架構的模型[15]，[16]。

FL提供了一個關注隱私的模型訓練的范式，它不需要數據共享，并且允許參與者自由地加入和離開聯盟。然而，最近的研究表明，FL可能并不總是提供足夠的隱私和健壯性保證。現有的FL協議設計容易受到以下攻擊: (1)惡意服務器試圖從個人更新中推斷敏感信息，篡改訓練過程或控制參與者對全局參數的看法;或者(2)一個敵對的參與者推斷其他參與者的敏感信息，篡改全局參數聚合或破壞全局模型。

在隱私泄露方面，在整個訓練過程中，通信模型的更新會泄露敏感信息[18]、[19]，并導致深度泄露[20]，無論是對第三方服務器還是中央服務器[7]、[21]。例如，如[22]所示，即使是很小一部分的梯度也可以揭示相當數量的有關本地數據的敏感信息。最近的研究表明，通過簡單地觀察梯度，惡意攻擊者可以在[20]，[23]幾次迭代內竊取訓練數據。

在魯棒性方面，FL系統容易受到[24]、[25]和[26]、[27]、[28]、[29]的模型中毒攻擊。惡意參與者可以攻擊全局模型的收斂性，或者通過故意改變其本地數據(數據中毒)或梯度上傳(模型中毒)將后門觸發器植入全局模型。模型投毒攻擊可以進一步分為:(1)Byzantine 攻擊，攻擊者的目標是破壞全局模型[13]、[30]的收斂性和性能;(2)后門攻擊，對手的目標是在全局模型中植入一個后門觸發器，以欺騙模型不斷預測子任務上的敵對類，同時在主要任務[26]，[27]上保持良好的性能。需要注意的是，后門模型投毒攻擊通常利用數據投毒來獲取有毒的參數更新[24]、[26]、[27]。

這些隱私和魯棒性攻擊對FL構成了重大威脅。在集中學習中，服務器控制參與者的隱私和模型魯棒性。然而，在FL中，任何參與者都可以攻擊服務器并監視其他參與者，有時甚至不涉及服務器。因此，理解這些隱私性和健壯性攻擊背后的原理是很重要的。

目前對FL的研究主要集中在系統/協議設計[10]、[31]、[32]。聯邦學習的隱私和穩健性威脅還沒有得到很好的探討。在本文中，我們調研了FL的隱私和魯棒性威脅及其防御方面的最新進展。特別地，我們關注由FL系統內部者發起的兩種特定威脅:1) 試圖阻止學習全局模型的中毒攻擊，或控制全局模型行為的植入觸發器;2) 試圖泄露其他參與者隱私信息的推理攻擊。表2總結了這些攻擊的特性。

深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與普遍性的關系的日益關注。

//arxiv.org/pdf/2012.10931.pdf

概述

深度學習可以廣義定義為使用人工神經網絡從經驗中發現知識以進行預測或決策的一系列算法[138]。經驗的規范形式可以是人類注解的電子記錄作為數據集，也可以是學習者或電子環境之間的交互作用，取決于場景[169]。在深度學習中，一般的人工神經網絡通常是把一個由非線性激活函數組成的序列的權值矩陣連接成一個網絡，這種網絡具有相當大的參數大小。

深度學習的術語是由Dechter[62]引入機器學習，然后由Aizenberg等人[5]引入腦啟發算法，其中幾個主要概念可以追溯到20世紀40年代早期。深度學習的研究在20世紀40 - 60年代[162,111,199]和80 - 90年代[201]經歷了兩次上升后下降。第三次和當前的浪潮開始于2006年[24,114,196]，一直持續到現在。最近的浪潮已經從本質上重塑了許多真實世界的應用領域，包括計算機視覺[110]、自然語言處理[63,184]、語音處理[64]、3D點云處理[98]、數據挖掘[232]、推薦系統[247]、自動駕駛汽車[152,215]、醫療診斷[135,209]和藥物發現[43]。

然而，到目前為止，深度學習的發展嚴重依賴實驗，缺乏堅實的理論基礎。深度學習機制的許多方面仍然是未知的。我們不斷地驚訝地發現啟發式方法可以在廣泛的領域實現出色的性能，盡管有時也相當不穩定。與此同時，直覺方法往往未被證實，甚至未被驗證。這種做法是可以容忍的，并且在深度學習研究中已經變得普遍。這種黑盒特性給深度學習應用帶來了未知的風險。這種不了解在很大程度上削弱了我們識別、管理和預防算法導致的災難的能力，并進一步嚴重損害了我們將最近的進展應用于許多工業部門的信心，特別是在安全關鍵領域，如自動駕駛汽車、醫療診斷和藥物發現。這也對深度學習算法設計的未來發展產生了沖擊。

理論基礎的一個主要部分是泛化，泛化是指通過深度學習算法對未見數據進行預測，在訓練數據上訓練好的模型的能力[224,169]。由于訓練數據不能覆蓋未來的所有情況，良好的泛化性保證了所學的模型能夠處理未知事件。在長尾事件經常出現并有可能造成致命災難的地方，這一點尤其重要。

統計學習理論建立了基于假設復雜度的泛化理論[224,169]。這些工具能解決深度學習理論中的問題嗎?答案是否定的。傳統工具通常根據假設復雜度構建泛化邊界，如vc維[28,223]、Rademacher復雜度[130,129,21]和覆蓋數[73,104]。在經典的結果中，這些復雜性很大程度上依賴于模型的大小。這就引入了奧卡姆剃刀原理:

如無必要，勿增實體

即，只要模型能夠擬合訓練樣本，就需要找到一個足夠小的模型來防止過擬合。然而，深度學習模型通常具有非常大的模型規模，這有時會使泛化界甚至大于損失函數的潛在最大值。此外，根據Occam 's razor原理，可泛化性與模型大小之間存在正相關關系，而這在深度學習中已經不存在了。相比之下，更深更廣的網絡往往具有優越的性能[38]。深度學習卓越的泛化能力與其極端的過參數化之間的矛盾，就像傳統復雜學習理論的一朵“云”。

早期的工作試圖建立深度學習的理論基礎[172,90,22,20,23,158,11]，但很大程度上由于深度學習研究的廣泛發展而停滯不前。

最近的研究始于Zhang等人在2017年的工作[244]。作者進行了系統的實驗來探索深度神經網絡的泛化能力。他們表明，即使訓練標簽是隨機的，神經網絡也能幾乎完美地擬合訓練數據。如何從理論上解釋深度神經網絡的成功，是學習理論界關注的一個重要話題。Kawaguchi等人[122]討論了許多關于深度神經網絡在容量大、復雜性、算法可能不穩定、非魯棒性和極小值尖銳的情況下仍具有出色泛化能力的開放問題。作者也提出了一些解決問題的見解。從那時起，深度學習理論的重要性得到了廣泛的認識。大量文獻的出現建立了深度學習的理論基礎。在本文中，我們回顧了相關文獻，并將其歸納為以下六類：

• **基于復雜度和容量的方法分析深度學習泛化性。**傳統的統計學習理論根據假設空間的復雜度，建立了一系列泛化誤差(泛化界)的上界，如vc維[28,223]，Rademacher復雜度[130,129,21]，覆蓋數[73,104]。通常，這些泛化范圍明確地依賴于模型的大小。他們認為，控制模型的大小可以幫助模型更好地泛化。然而，深度學習模型龐大的模型規模也使得泛化范圍顯得空洞。因此，如果我們能夠開發出大小無關的假設復雜度度量和泛化邊界是非常值得期待的。一種有前景的方法是刻畫深度學習中可以學習的“有效”假設空間的復雜性。有效假設空間可以明顯小于整個假設空間。因此，我們可以期望得到一個小得多的泛化保證。

• **隨機梯度下降(SGD)及其變體模型的隨機偏微分方程(SDE)在深度學習優化算法中占主導地位。**這些SDEs的動態系統決定了訓練神經網絡中權值的軌跡，其穩定分布代表了學習網絡。通過SDEs及其動力學，許多工作為深度學習的優化和泛化提供了保障。“有效”假設空間正是“SGD能找到的”假設空間。因此，通過SGD研究深度學習的普遍性將是直接的。此外，這一系列的方法部分受到貝葉斯推斷的啟發。這與前面的變異推斷相似，后者以優化的方式解決了貝葉斯推斷，以解決縮放問題。這種隨機梯度方法和貝葉斯推斷之間的相互作用將有助于這兩個領域的發展。

• **高度復雜的經驗風險曲面的幾何結構驅動動態系統的軌跡。**損失曲面觀的幾何形狀在驅動SDEs的軌跡方面起著重要作用:(1)損失的導數是SDEs的組成部分;(2)損失作為SDEs的邊界條件。因此，理解損失面是建立深度學習理論基礎的關鍵一步。通常，“正則化”問題的可學習性和優化能力是有保證的。1“正則化”可以用許多術語來描述，包括凸性、李普希茨連續性和可微性。然而，在深度學習中，這些因素不再得到保障，至少不是很明顯。神經網絡通常由大量的非線性激活組成。激活過程中的非線性使得損失曲面極其不光滑和非凸。所建立的凸優化保證失效。損失曲面令人望而卻步的復雜性，使社區長時間難以接觸到損失曲面的幾何形狀，甚至深度學習理論。然而，損失面復雜的幾何形狀恰恰表征了深度學習的行為。通過損失曲面是理解深度學習的“捷徑”。

• 深度神經網絡的過參數化作用。 過度參數化通常被認為是通過基于復雜性的方法為深度學習開發有意義的泛化邊界的主要障礙。然而，最近的研究表明，過度參數化將對塑造深度學習的損失曲面做出主要貢獻——使損失曲面更加光滑，甚至“類似”凸。此外，許多研究也證明了神經網絡在極端過參數化情況下與一些更簡單的模型(如高斯核)等效。

• **網絡架構中幾種特殊結構的理論基礎。**在前面的綜述中，我們主要關注的結果一般代表所有的神經網絡。同時，深度神經網絡的設計涉及到許多特殊的技術。這些結構也對深度學習的卓越性能做出了重要貢獻。我們回顧了卷積神經網絡、遞歸神經網絡和置換不變/等變函數網絡的理論成果。

• **深入關注倫理和安全以及它們與深度學習理論的關系。**深度學習已經被部署在越來越廣泛的應用領域。其中一些涉及高度隱私的個人數據，如手機上的圖像和視頻、健康數據和最終記錄。其他一些場景可能需要深度學習來提供高度敏感的決策，比如抵押貸款審批、大學入學和信用評估。此外，研究表明，深度學習模型容易受到對抗性例子的攻擊。如何保護深度學習系統免受隱私保護、公平保護和對抗攻擊等方面的破壞是非常重要的。

本文結構

本文綜述了深度學習理論基礎研究的最新進展。我們承認有一些論文回顧了深度學習理論。Alom等人[9]對深度學習中使用的技術進行了調查。Sun[214]綜述了深度學習中的優化理論。E等人[81]總結了深度學習中最優化的近似和ademacher復雜性、損失面以及收斂和隱式正則化相關的結果和挑戰。我們的調查是最全面的。我們以獨特的視角組織文獻，并為未來的作品提供新的見解。

深度學習的極好的泛化性就像傳統復雜學習理論的“云”:深度學習的過度參數化使得幾乎所有現有的工具都變得空洞。現有的工作試圖通過三個主要途徑來解決這一問題: (1)開發大小無關的復雜性測度，它可以表征可學習的“有效”假設空間的復雜性，而不是整個假設空間。第二節討論了相關工作; (2) 基于隨機微分函數和相關損失函數的幾何性質，利用深度學習中占主導地位的優化器隨機梯度方法對所學假設進行建模。有關的工作在第3及4節檢討; (3) 過度參數化出人意料地為損失函數帶來了許多良好的性質，進一步保證了優化和泛化性能。相關工作在第5節中給出。與此同時，第6節回顧了網絡體系結構特殊結構的理論基礎。

機器學習的另一個重要方面是對道德和安全問題的日益關注，包括隱私保護、對抗魯棒性和公平保護。具體地說，隱私保護和對抗魯棒性與可泛化性密切相關:泛化性好通常意味著隱私保護能力強;更穩健的算法可能會有。本文還討論了在深度學習場景中，如何理解這些問題之間的相互作用。相關工作將在第7節討論。

深度學習算法已經在圖像分類方面取得了最先進的性能，甚至被用于安全關鍵應用，如生物識別系統和自動駕駛汽車。最近的研究表明，這些算法甚至可以超越人類的能力，很容易受到對抗性例子的攻擊。在計算機視覺中，與之相對的例子是惡意優化算法為欺騙分類器而產生的含有細微擾動的圖像。為了緩解這些漏洞，文獻中不斷提出了許多對策。然而，設計一種有效的防御機制已被證明是一項困難的任務，因為許多方法已經證明對自適應攻擊者無效。因此，這篇自包含的論文旨在為所有的讀者提供一篇關于圖像分類中對抗性機器學習的最新研究進展的綜述。本文介紹了新的對抗性攻擊和防御的分類方法，并討論了對抗性實例的存在性。此外，與現有的調查相比，它還提供了相關的指導，研究人員在設計和評估防御時應該考慮到這些指導。最后，在文獻綜述的基礎上，對未來的研究方向進行了展望。

//www.zhuanzhi.ai/paper/396e587564dc2922d222cd3ac7b84288

OpenAI在昨天悄然放出了GPT第三代——《Language Models are Few-Shot Learners》。刷遍Twitter！史無前例！論文介紹了GPT-3這是一種由1750億個參數組成的最先進的語言模型。論文由32位作者72頁pdf。

最近的工作表明，通過對大量文本進行預訓練，然后對特定任務進行微調，在許多NLP任務和基準測試方面取得了巨大的進展。盡管這種方法在架構中通常與任務無關，但它仍然需要成千上萬個特定于任務的實例微調數據集。相比之下，人類通常只需要幾個例子或簡單的指令就可以完成一項新的語言任務——這是目前的NLP系統仍然難以做到的。在這里，我們展示了擴展語言模型極大地提高了任務無關性、低命中率的性能，有時甚至達到了與先前最先進的微調方法的匹配性能。具體來說，我們訓練了一個帶有1750億個參數的自回歸語言模型GPT-3，比以前任何非稀疏語言模型都多10倍，并在小樣本設置下測試了它的性能。對于所有任務，GPT-3的應用沒有任何梯度更新或微調，任務和小樣本演示指定純粹通過與模型的文本交互。GPT-3在許多NLP數據集上實現了強大的性能，包括翻譯、問答和完形填空任務，以及一些需要即時推理或領域適應的任務，如整理單詞、在句子中使用新單詞或執行3位算術。同時，我們還確定了一些數據集，其中GPT-3的小樣本學習仍然效果不佳，以及一些數據集，其中GPT-3面臨著與大型web語料庫上的訓練有關的方法問題。最后，我們發現GPT-3可以生成新聞文章的樣本，這些文章是人類評價者難以區分的。我們討論了這個發現和一般的GPT-3的更廣泛的社會影響。

GPT-3的主要目標是用更少的領域數據、且不經過精調步驟去解決問題。

為了達到上述目的，作者們用預訓練好的GPT-3探索了不同輸入形式下的推理效果。

這里的Zero-shot、One-shot、Few-shot都是完全不需要精調的，因為GPT-3是單向transformer，在預測新的token時會對之前的examples進行編碼。

作者們訓練了以下幾種尺寸的模型進行對比：

實驗證明Few-shot下GPT-3有很好的表現：

最重要的是，GPT-3在Few-shot設定下，在部分NLU任務上超越了當前Fine-tuning的SOTA。