以ChatGPT為代表的大模型，是全新一代知識表示和調用方式，相比以往知識圖譜的方式，更加高效智能可擴展等，開啟通用人工智能之門。但符號化的知識圖譜過時了嗎？并非如此，知識圖譜和大模型可以進行很好的結合，互相促進，提升知識利用的效果。來自澳大利亞格里菲斯大學（Griffith University）等學者《統一大型語言模型和知識圖譜:路線圖》，29頁pdf詳述最全指南，值得關注！
大型語言模型（LLMs），如ChatGPT和GPT4，由于其新興能力和通用性，正在自然語言處理和人工智能領域掀起新浪潮。然而，LLMs是黑箱模型，常常難以捕獲和獲取事實知識。相比之下，知識圖譜（KGs），例如維基百科和華普，是結構化知識模型，明確存儲豐富的事實知識。知識圖譜可以通過提供外部知識以推理和解釋，從而增強LLMs。同時，知識圖譜難以構建并且具有不斷演變的特性，這對知識圖譜中生成新事實和表示未見知識的現有方法提出了挑戰。因此，將LLMs和知識圖譜統一起來并同時利用它們的優勢是互補的。在這篇文章中，我們提出了一個前瞻性的LLMs和知識圖譜統一的路線圖。我們的路線圖包括三個總體框架，即1) 知識圖譜增強的LLMs，它在LLMs的預訓練和推理階段，或為了增強對LLMs所學知識的理解，將知識圖譜納入其中；2) LLM增強的知識圖譜，利用LLMs進行不同的知識圖譜任務，如嵌入，完成，構建，圖到文本生成和問答；以及 3)協同的LLMs + 知識圖譜，在其中LLMs和知識圖譜扮演著平等的角色，并以互利的方式工作，以增強LLMs和知識圖譜對由數據和知識驅動的雙向推理。我們在路線圖中回顧和總結了這三個框架內的現有努力，并指出了它們的未來研究方向。
1. 引言
大型語言模型（LLMs）（例如，BERT [1]，RoBERTA [2]和T5 [3]），在大規模語料庫上預訓練，已經在各種自然語言處理（NLP）任務中展現出了優異的表現，如問題回答[4]，機器翻譯[5]和文本生成[6]。最近，模型規模的急劇增加進一步賦予了LLMs新興的能力[7]，為將LLMs作為人工通用智能（AGI）的應用鋪平了道路。像ChatGPT和PaLM2這樣的高級LLMs，擁有數十億的參數，在許多復雜的實際任務中展現出了巨大的潛力，如教育[8]，代碼生成[9]和推薦[10]。
盡管LLMs在許多應用中取得了成功，但它們因缺乏事實知識而受到批評。具體來說，LLMs記住了訓練語料庫中包含的事實和知識[14]。然而，進一步的研究揭示，LLMs無法回憶起事實，而且經常會產生幻覺，生成事實上不正確的聲明[15]，[28]。例如，當被問到“愛因斯坦在什么時候發現了重力？”時，LLMs可能會說“愛因斯坦在1687年發現了重力”，這與艾薩克·牛頓制定了引力理論的事實相矛盾。這個問題嚴重損害了LLMs的可信度。
作為黑箱模型，LLMs也因其缺乏可解釋性而受到批評。LLMs隱含地在它們的參數中表示知識。解釋或驗證LLMs獲取的知識很困難。此外，LLMs通過概率模型執行推理，這是一個不確定的過程[16]。LLMs用于得出預測或決策的特定模式和功能對人類來說并不直接可訪問或可解釋[17]。盡管一些LLMs通過應用思維鏈[29]來解釋它們的預測，但它們的推理解釋也受到了幻覺問題的影響[30]。這嚴重影響了LLMs在高風險場景中的應用，如醫療診斷和法律判斷。例如，在一個醫療診斷場景中，LLMs可能會錯誤地診斷疾病，并提供與醫學常識相矛盾的解釋。這引發了另一個問題，即在一般語料庫上訓練的LLMs可能無法很好地泛化到特定領域或新知識，因為缺乏領域特定的知識或新的訓練數據[18]。
為解決上述問題，一個可能的解決方案是將知識圖譜（KGs）融入到LLMs中。知識圖譜（KGs），以三元組（頭實體，關系，尾實體）的方式存儲大量事實，是一種結構化且決定性的知識表示方式（例如，Wikidata [20]，YAGO [31]，和 NELL [32]）。KGs對于各種應用至關重要，因為它們提供了準確的顯式知識[19]。此外，它們因其象征性推理能力[22]而著名，該能力可以生成可解釋的結果。KGs也可以隨著新知識的不斷加入而積極演化[24]。此外，專家可以構建特定領域的KGs，以提供精確且可靠的特定領域知識[23]。然而，KGs難以構建[33]，而當前在KGs中的方法[25]，[27]，[34]在處理真實世界KGs的不完整和動態變化性質方面是不足夠的。這些方法未能有效地模擬未見實體和表示新事實。此外，它們經常忽視KGs中的豐富文本信息。此外，KGs中的現有方法通常針對特定的KGs或任務定制，不夠通用。因此，利用LLMs來解決KGs面臨的挑戰也是必要的。我們分別在圖1中總結了LLMs和KGs的優缺點。
最近，將LLMs與KGs統一起來的可能性越來越受到研究人員和從業人員的關注。LLMs和KGs本質上是互相關聯的，可以相互增強。在KG增強的LLMs中，KGs不僅可以被整合到LLMs的預訓練和推理階段，以提供外部知識[35]-[37]，而且還可以用于分析LLMs并提供可解釋性[14]，[38]，[39]。在LLM增強的KGs中，LLMs已經被用于各種與KG相關的任務，例如KG嵌入[40]，KG完成[26]，KG構建[41]，KG-to-text生成[42]，和KGQA[43]，以提高KGs的性能并促進KGs的應用。在協同作用的LLM + KG中，研究人員將LLMs和KGs的優點結合起來，相互提高在知識表示[44]和推理[45]，[46]方面的性能。雖然有一些關于知識增強LLMs的調查[47]-[49]，主要關注使用KGs作為外部知識來增強LLMs，但它們忽視了其他整合KGs的可能性，以及LLMs在KG應用中的潛在角色。
在這篇文章中，我們提出了一個展望未來的路線圖，用于統一LLMs和KGs，利用它們各自的優勢并克服各種方法的限制，以適應各種下游任務。我們提出了詳細的分類，進行了全面的回顧，并指出了這些快速發展領域的新興方向。我們的主要貢獻如下：
路線圖。我們提出了一個展望未來的路線圖，用于整合LLMs和KGs。我們的路線圖包括三個通用框架來統一LLMs和KGs，即，KG增強的LLMs，LLM增強的KGs，以及協同作用的LLM + KGs，為這兩種不同但互補的技術的統一提供了指導。
分類和回顧。對于我們路線圖的每一個整合框架，我們都提出了詳細的分類和統一LLMs和KGs研究的新穎分類法。在每個類別中，我們從不同的整合策略和任務的角度回顧了研究，這為每個框架提供了更多的洞察。
新興進步的覆蓋范圍。我們覆蓋了LLMs和KGs的先進技術。我們包括了最新的LLMs如ChatGPT和GPT-4以及新的KGs，例如多模態知識圖譜的討論。
挑戰和未來方向的總結。我們強調了現有研究中的挑戰，并提出了一些有前途的未來研究方向。
2. 背景知識
在本節中，我們將首先簡要介紹幾種代表性的大型語言模型（LLMs），并討論提示工程，該工程有效地使用LLMs進行各種應用。然后，我們將說明知識圖譜（KGs）的概念，并介紹KGs的不同類別。
大型語言模型
在大規模語料庫上預訓練的大型語言模型（LLMs）已經在各種NLP任務中展現出巨大的潛力[13]。如圖3所示，大多數LLMs都源于Transformer設計[50]，該設計包含了由自注意力機制賦能的編碼器和解碼器模塊。根據架構結構，LLMs可以被分類為三個組：1）僅編碼器的LLMs，2）編碼器-解碼器的LLMs，和3）僅解碼器的LLMs。如圖2所示，我們總結了幾個具有不同模型架構，模型大小和開源可用性的代表性LLMs。
提示工程
提示工程是一個新興的領域，專注于創建和精煉提示，以最大化大型語言模型（LLMs）在各種應用和研究領域中的效用[63]。如圖4所示，提示是為LLMs指定任務（例如，情感分類）的自然語言輸入序列。一個提示可能包含幾個元素，即1）指令，2）上下文，和3）輸入文本。指令是指導模型執行特定任務的短句。上下文為輸入文本或少數示例提供背景。輸入文本是需要模型處理的文本。提示工程尋求提高大型語言模型（例如，ChatGPT）在多種復雜任務中的能力，如問題回答，情感分類和常識推理。鏈式思維（CoT）提示[64]通過中間推理步驟實現復雜推理能力。Liu等人[65]結合外部知識來設計更好的知識增強提示。自動提示工程師（APE）提出了一種自動提示生成方法，以提高LLMs的性能[66]。提示提供了一種簡單的方式，可以在無需微調的情況下利用LLMs的潛力。精通提示工程可以更好地理解LLMs的優點和缺點。
知識圖譜（KGs）知識圖譜（KGs）將結構化知識存儲為三元組集合KG = {(h, r, t) ? E × R × E}，其中E和R分別表示實體和關系的集合。現有的知識圖譜（KGs）可以根據存儲的信息被分為四組：1）百科全書型KGs，2）常識KGs，3）特定領域KGs，以及4）多模態KGs。我們在圖5中展示了不同類別的KGs的例子。
** 應用**
LLMs 以及 KGs 已被廣泛應用在各種真實世界的應用中。我們在表1中總結了一些使用LLMs和KGs的代表性應用。ChatGPT/GPT-4是基于LLM的聊天機器人，可以以自然對話格式與人類進行交流。為了提高LLMs的知識意識，ERNIE 3.0 和 Bard將KGs整合進他們的聊天機器人應用中。Firefly開發了一款照片編輯應用，允許用戶使用自然語言描述來編輯照片。Copilot、New Bing 和 Shop.ai 分別采用LLMs來增強他們在編碼助手、網絡搜索和推薦等領域的應用。Wikidata 和 KO 是兩個代表性的知識圖譜應用，被用來提供外部知識。AliOpenKG是一個為推薦設計的知識圖譜。Doctor.ai 開發了一個健康護理助手，整合了LLMs和KGs以提供醫療建議。
3 路線圖和分類
在本節中，我們首先提出一個明確的框架路線圖，以統一LLMs和KGs。然后，我們呈現了關于統一LLMs和KGs的研究分類。
3.1 路線圖
我們在圖6中描繪了統一KGs和LLMs的路線圖。在路線圖中，我們確定了統一LLMs和KGs的三個框架，包括KG增強的LLMs，LLM增強的KGs，以及協同的LLMs + KGs。
3.1.1 KG增強的LLMs
LLMs因其能夠從大規模語料庫中學習知識并在各種自然語言處理（NLP）任務中取得最先進的性能而聞名。然而，LLMs經常因其幻覺問題[15]和缺乏可解釋性而受到批評。為解決這些問題，研究人員已經提出了用知識圖譜（KGs）來增強LLMs。KGs以明確和結構化的方式存儲大量知識，這可以用來增強LLMs的知識意識。一些研究人員已經提出在預訓練階段將KGs納入LLMs，這可以幫助LLMs從KGs中學習知識[91]，[92]。其他研究人員提出在推理階段將KGs納入LLMs。通過從KGs中檢索知識，可以顯著提高LLMs在獲取特定領域知識方面的性能[93]。為了提高LLMs的可解釋性，研究人員還利用KGs來解釋LLMs的事實[14]和推理過程[94]。
3.1.2 由LLM增強的KG
知識圖譜（KGs）儲存著結構化的知識，這在很多實際應用中都起著至關重要的作用[19]。然而，現有的KG方法在處理不完整的KG [25]和處理文本語料庫來構建KG [95]方面存在短板。鑒于LLM的泛化能力，許多研究人員正試圖利用LLM來解決KG相關的任務。最直接的方式就是將LLM作為KG相關任務的文本編碼器。研究人員利用LLM處理KG中的文本語料庫，然后使用文本的表示來豐富KG的表示[96]。一些研究還使用LLM來處理原始語料庫，并提取關系和實體用于KG的構建[97]。最近的一些研究試圖設計一個KG提示，這可以有效地將結構化的KG轉化為LLM可以理解的格式。這樣，LLM就可以直接應用到KG相關的任務中，例如KG完成[98]和KG推理[99].
3.1.3 融合了LLM和KG的系統
這幾年，研究人員越來越關注將LLM和KG融合的潛力[40]，[42]。LLM和KG是兩種固有的互補技術，應當將它們統一到一個通用框架中，以便互相增強。為了進一步探索這種統一，我們在圖7中提出了一個融合了LLM和KG的統一框架。這個統一框架包含四層：1) 數據，2) 融合模型，3) 技術，和4) 應用。在數據層，LLM和KG分別用于處理文本和結構化數據。隨著多模態LLM[100]和KG[101]的發展，這個框架可以擴展到處理多模態數據，如視頻、音頻和圖像。在融合模型層，LLM和KG可以相互協同，以提高他們的能力。在技術層，已經在LLM和KG中使用的相關技術可以被納入到這個框架中，以進一步增強性能。在應用層，LLM和KG可以整合起來，以解決各種實際應用，如搜索引擎[102]、推薦系統[10]和AI助手[103]。
3.2 分類
為了更好地理解將大型語言模型(LLMs)和知識圖譜(KGs)統一的研究，我們為路線圖中的每個框架提供了更細粒度的分類。具體來說，我們關注了將知識圖譜和大型語言模型集成的不同方式，即，知識圖譜增強的大型語言模型、知識圖譜增量的大型語言模型，以及融合了大型語言模型和知識圖譜的系統。研究的細粒度分類如圖8所示。
知識圖譜增強的大型語言模型。整合知識圖譜可以提高大型語言模型在各種下游任務中的性能和可解釋性。我們將知識圖譜增強的大型語言模型研究分為三組：1) 知識圖譜增強的大型語言模型預訓練包括在預訓練階段應用知識圖譜并提高大型語言模型的知識表達的工作。2) 知識圖譜增強的大型語言模型推理包括在大型語言模型的推理階段使用知識圖譜的研究，這使得大型語言模型能夠在不進行再訓練的情況下獲取最新的知識。3) 知識圖譜增強的大型語言模型的可解釋性包括使用知識圖譜來理解大型語言模型所學習的知識和解釋大型語言模型的推理過程的工作。
大型語言模型增量的知識圖譜。大型語言模型可以應用于增強各種與知識圖譜相關的任務。我們根據任務類型將大型語言模型增量的知識圖譜研究分為五組：1) 大型語言模型增強的知識圖譜嵌入包括使用大型語言模型來豐富知識圖譜的表示，通過編碼實體和關系的文本描述。2) 大型語言模型增強的知識圖譜完成包括使用大型語言模型編碼文本或生成事實以提高知識圖譜完成(KGC)性能的論文。3) 大型語言模型增強的知識圖譜構建包括使用大型語言模型處理實體發現，共指消解，和關系提取任務以構建知識圖譜的工作。4) 大型語言模型增強的知識圖譜到文本生成包括使用大型語言模型生成描述來自知識圖譜的事.
7 未來方向
在前面的部分中，我們已經回顧了將知識圖譜(KGs)和大型語言模型(LLMs)統一的最新進展，但是仍有許多挑戰和未解決的問題需要解決。在本節中，我們將討論這個研究領域的未來方向。
- 使用知識圖譜(KGs)進行大型語言模型(LLMs)的錯覺檢測
- 在LLMs中編輯知識的知識圖譜(KGs)
- 用于黑盒LLMs知識注入的知識圖譜(KGs)
- 針對知識圖譜(KGs)的多模態LLMs
- 用于理解知識圖譜結構的LLMs
- 用于雙向推理的融合LLMs和KGs。
8 結論
將大型語言模型（LLMs）和知識圖譜（KGs）統一是一個吸引了學術界和工業界越來越多關注的活躍的研究方向。在本文中，我們對該領域的最近研究提供了全面的概述。我們首先介紹了將KGs集成以增強LLMs的不同方式。然后，我們介紹了應用LLMs于KGs的現有方法，并基于各種KG任務建立了分類法。最后，我們討論了這個領域的挑戰和未來的方向。我們希望本文能夠提供對這個領域的全面理解，并推動未來的研究。
付費5元查看完整內容
相關內容
對比學習是現在無監督學習中一種常用的學習機制，受到持續關注。MIT博士Yonglong Tian的博士論文《基于多視圖對比學習的通用視覺研究》全面對對比學習的原理與方法，非常值得關注！
Yonglong Tian，是麻省理工學院CSAIL的五年級博士生，與Phillip Isola教授和Josh Tenenbaum教授一起工作。我的主要研究興趣在于機器感知、學習和推理的交叉領域，主要從視覺的角度進行研究。在MIT之前，他在香港中文大學完成了碩士學位，導師是唐曉鷗教授和王曉剛教授。他從清華大學本科畢業。 //people.csail.mit.edu/yonglong/
基于多視圖對比學習的通用視覺研究
表示學習在構建強大且通用視覺學習器中發揮著關鍵作用，而這一問題歷史悠久。隨著我們時代數據爆炸式增長，表示學習變得越來越有趣。然而，大多數以往的方法都基于特定的策略設計，這些策略無法泛化。本論文提出并研究多視圖對比學習，它基于一個簡單的數學原理——區分聯合分布中的樣本與邊際分布乘積中的樣本。我們首先介紹多視圖對比學習（MCL）的一般框架。我們證明了這個簡單的框架能夠處理各種表示學習問題，并經常將現有技術水平提升到更高層次。接著，我們試圖從信息理論的角度理解多視圖對比學習中視圖選擇的作用，并提出了一個“InfoMin”原則，該原則與最小充分統計量和信息瓶頸有關。這一原則進一步通過監督對比學習得到證實，該方法在標準圖像分類基準上與監督交叉熵學習相媲美，甚至超過它。在最后部分，我們將多視圖對比學習擴展到標準問題或設置之外。我們討論了多視圖對比學習的一種新穎應用，即知識蒸餾，并提出了第一個在開放式未經策劃的場景中提高對比學習效率的工作。
1. 引言
近年來人工智能系統（如深度神經網絡）的巨大進步和普及，得益于大規模數據集的精心人工標注。盡管這種監督學習范式在訓練專用模型方面無疑表現出了卓越的性能，使它們在訓練任務上表現得非常出色，但這種范式存在根本性的局限性。首先，我們正在并將繼續目睹我們時代數據的爆炸式增長，最終標注所有數據是不可能的。此外，在某些情況下，我們無法標注原始數據，原因很簡單，我們無法解釋它，例如，無法解釋射頻信號的反射。但是，浪費那些未標記的數據是很可惜的。其次，對于許多任務，我們無法收集到足夠的標記數據來訓練專業模型，例如從MRI或X射線圖像診斷強直性脊柱炎，這要么是因為由于隱私問題無法獲取數據，要么是因為缺乏專家對數據進行標注。第三，這種監督訓練的專業模型很容易受到攻擊。大量關于對抗攻擊的研究表明，監督模型（如圖像分類模型）在面對輸入圖像中難以察覺的變化時，容易受到嚴重影響。
1.1 表示學習應該學習什么?
編碼理論中的一個基本思想是學習壓縮表示，但仍然可以用于重建原始數據。這個想法出現在現代表示學習中，以自動編碼器Salakhutdinov和Hinton（2009）和生成模型Kingma和Welling（2013）; Goodfellow等人（2014）的形式，試圖盡可能無損地表示數據點或分布。然而，無損表示可能并不是我們真正想要的，實際上它很容易實現——原始數據本身就是一種無損表示。相反，我們可能更希望保留“好”的信息（信號）并丟棄其余部分（噪聲）。那么我們如何識別哪些信息是信號，哪些是噪聲呢？對于自動編碼器或最大似然生成模型來說，一個比特就是一個比特。沒有一個比特比其他比特更好。我們的猜想是，事實上某些比特比其他比特更好。有些比特編碼了重要的屬性，如語義、物理和幾何，而另一些比特編碼了我們可能認為不太重要的屬性，如偶然的光照條件或相機傳感器中的熱噪聲。我們重新審視了一個經典假設，即好的比特是那些在多個視圖之間共享的比特，例如在多個感官模態之間，如視覺、聲音和觸覺Smith和Gasser（2005），如圖1-1所示。從這個角度來看，“存在狗”的信息是好的，因為狗可以被看到、聽到和摸到，但“相機姿態”是糟糕的信息，因為相機的姿態對成像場景的聲學和觸覺特性幾乎沒有影響。這個假設對應于這樣一種歸納偏見，即觀察場景的方式不應該影響其語義。在認知科學和神經科學文獻中有大量證據表明，這種與視角無關的表示是由大腦編碼的（例如，Smith和Gasser（2005）；Den Ouden等人（2012）；Hohwy（2013））。在本論文中，我們特別研究了不同視圖是不同模態、圖像裁剪或圖像通道（如亮度和色度）的情境。我們利用的基本監督信號是自然數據中多個視圖同時出現的現象。例如，我們認為Lab色彩空間中的圖像是場景的兩個視圖——??視圖和????視圖——共同出現的一個配對示例；我們也可以將視頻視為第一個視圖，相應的音頻視為第二個視圖；同樣，我們可以利用視覺和語言數據的共存，如圖像-文本配對。
因此，我們的目標是學習能捕捉多個感覺通道之間共享信息的表示，但同時又要保持緊湊（即丟棄特定于通道的干擾因素）。為此，我們采用對比學習，通過學習特征嵌入使得同一場景的視圖映射到相近的點（在表示空間中用歐幾里得距離測量），而不同場景的視圖映射到相距較遠的點。對于任意兩個視圖??和??，對比學習的目標是區分聯合分布??(??, ??)的樣本和邊緣分布乘積??(??)??(??)的樣本。在我們的公式中，對比目標可以理解為試圖最大化數據多個視圖的表示之間的互信息。論文結構****本博士論文首先描述了多視圖對比學習的一般框架，借助該框架可以處理各種表示學習問題。接下來，我們試圖從信息論的角度理解對比學習中視圖選擇的作用，并提出了一個“InfoMin”原則。然后通過監督對比學習證明了這一原則，其中應用了最優視圖選擇。最后一部分討論了對比學習的其他應用（如知識蒸餾）和擴展（例如，如何將對比學習應用于未經策劃的數據）。具體來說，本博士論文包括以下三個部分。第一部分假設人類的感知是深度多視角的，并提出了一個簡單但通用的框架，從多個感官通道學習表示，每個通道都是我們潛在物理世界的投影"視圖"。
第2章介紹對比多視點編碼。這個框架是基于這樣一種觀察:人類通過許多感官通道來觀察世界，例如，由左眼看到的長波光通道，或由右耳聽到的高頻振動通道。每個視圖都是嘈雜的和不完整的，但重要的因素，如物理、幾何和語義，往往在所有視圖之間共享(例如，可以看到、聽到和感覺“狗”)。本文研究了一個經典假設，即一個強大的表示是對視圖不變因素進行建模的表示。本文在多視圖對比學習的框架下研究這一假設，學習了一種表示，旨在最大化同一場景的不同視圖之間的互信息，但在其他方面很緊湊。該方法可擴展到任意數量的視圖，并且與視圖無關。分析了使其工作的方法的關鍵屬性，發現對比損失優于基于跨視圖預測的流行替代方案，從中學習的視圖越多，得到的表示就越能捕捉到底層場景語義。
第二部分提出了多視角對比學習的好視角是什么。第3章從信息論的角度理解了視角選擇的作用，并提出了“InfoMin”原則。第4章展示了一個示例——有監督對比學習——其中應用了“InfoMin”指導的最優視圖選擇。第三章研究了不同視角選擇的影響。用理論和實證分析來更好地理解視圖選擇的重要性，認為應該在保持任務相關信息完整的情況下減少視圖之間的互信息(MI)。為了刻畫最優視圖選擇，從信息論的角度推導了一個" InfoMin "原則。為從經驗上驗證這一假設，設計了無監督和半監督框架，通過減少MI來學習有效的視圖。第4章以分類問題為例，論證了InfoMin引導的最優視圖的有效性。當下游標簽可用時，可以將自監督對比方法擴展到監督設置，使我們能夠有效地利用標簽信息。同一類的點簇在嵌入空間中被拉到一起，同時來自不同類的樣本簇被推開，實現了" InfoMin "的最小充分統計解釋。分析了有監督對比(SupCon)損失的兩個不同版本，確定了性能最好的損失表述。在分類精度和魯棒性方面，表現出了比交叉熵一致的性能。
第三部分通過超越第一部分和第二部分中提出的標準問題和設置，使多視圖對比學習變得通用。第5章將多視圖對比學習應用于一個看似不相關的問題——知識蒸餾。第6章介紹了第一個在大規模非策劃情況下提高對比學習效率的工作。第5章將對比學習應用于另一個問題——知識蒸餾。我們經常希望將表征性知識從一個神經網絡遷移到另一個神經網絡。例如，將一個大型網絡蒸餾成一個較小的網絡，將知識從一種感覺模式轉移到另一種感覺模式，或將一組模型集成到單個估計器。這些問題的標準方法最小化了教師和學生網絡的概率輸出之間的KL散度。然而，這一目標忽略了教師網絡的重要結構知識。這激發了另一個目標，通過該目標，我們訓練學生在教師的數據表示中捕捉更多的信息。本文將這一目標表述為對比學習。實驗表明，所提出的新目標在各種知識遷移任務上，包括單模型壓縮、集成蒸餾和跨模態遷移，表現優于知識蒸餾和其他前沿蒸餾器。所提出方法在許多遷移任務中設置了新的最先進水平，在與知識蒸餾相結合時，有時甚至優于教師網絡。
第6章將多視圖對比學習擴展到真實世界的非策劃數據。自監督學習在利用大量未標記數據方面有希望，但迄今為止，其大部分進展僅限于高度策劃的預訓練數據，如ImageNet。本文探索了從較大的、不太整理的圖像數據集(如YFCC)中進行對比學習的效果，發現所得到的表示質量確實有很大差異。本文假設，這種管理差距是由于圖像類別分布的變化——更多樣化和重尾——導致可學習的負樣本相關性更低。本文用一種新的方法來檢驗這一假設，即劃分和對比(DnC)，在對比學習和基于聚類的硬負挖掘之間交替進行。當在較少策劃的數據集上進行預訓練時，DnC大大提高了自監督學習在下游任務上的性能，同時在策劃數據集上與當前最先進的技術保持競爭。
付費5元查看完整內容
OpenAI 推出的 ChatGPT 對話模型掀起了新的 AI 熱潮，它面對多種多樣的問題對答如流，似乎已經打破了機器和人的邊界。這一工作的背后是大型語言模型 (Large Language Model，LLM) 生成領域的新訓練范式：來自普林斯頓博士生Ameet Deshpande講述《大型語言模型》技術細節，值得關注！ 在本次演講中，我們將介紹從人工反饋中強化學習(RLHF)的基礎知識，以及如何使用這種技術來實現最先進的ML工具，如ChatGPT。演講的大部分內容將是相互關聯的ML模型的概述，并涵蓋自然語言處理和RL的基礎知識，以便了解RLHF如何在大型語言模型上使用。最后將討論RLHF的開放問題。
ChatGPT 背后的“功臣”——人類反饋強化學習RLHF 技術詳解
付費5元查看完整內容
OpenAI 推出的 ChatGPT 對話模型掀起了新的 AI 熱潮，它面對多種多樣的問題對答如流，似乎已經打破了機器和人的邊界。這一工作的背后是大型語言模型 (Large Language Model，LLM) 生成領域的新訓練范式：來自普林斯頓博士生Ameet Deshpande講述《大型語言模型》技術細節，值得關注！
付費5元查看完整內容
付費5元查看完整內容
導讀： 文本分類，是NLP的基礎任務，旨在對給定文本預測其類別。然而，基礎任務不代表簡單任務：文本來源復雜多樣，文本粒度有大有小，文本標簽之間也有各種關系。面對各種問題，文本分類，仍在飛速發展中。來自美國弗吉尼亞大學的Kamran Kowsari博士等人，用了68頁A4紙的篇幅，從0開始，細致的總結了文本分類近些年的發展，循序漸進，新手友好！
近年來，復雜文檔和文本的數量呈指數級增長，需要對機器學習方法有更深刻的理解，才能在許多應用中準確地對文本進行分類。許多機器學習方法在自然語言處理方面取得了卓越的成績。這些學習算法的成功依賴于它們理解復雜模型和數據中的非線性關系的能力。然而，為文本分類找到合適的結構、體系和技術對研究人員來說是一個挑戰。本文簡要介紹了文本分類算法。本文概述了不同的文本特征提取、降維方法、現有的分類算法和技術以及評估手段。最后，討論了每種技術的局限性及其在實際問題中的應用。
代碼詳解： //github.com/kk7nc/Text_Classification
文本分類流程：
- 特征提取:一般來說，文本和文檔都是非結構化數據集。然而，當使用數學建模作為分類器的一部分時，這些非結構化文本序列必須轉換到結構化的特征空間。首先，需要清除數據，以省略不必要的字符和單詞。在數據被清除之后，可以使用形式化的特征提取方法。常用的特征提取技術有詞頻逆文檔頻率(TF- idf)、詞頻、Word2Vec和用于單詞表示的全局向量(GloVe)。在第2節中，我們將這些方法分為單詞嵌入技術和加權單詞技術，并討論了技術實現細節。
-
特征降維:由于文本或文檔數據集通常包含許多獨特的單詞，數據預處理步驟可能會因時間和內存復雜性而滯后。這個問題的一個常見解決方案就是簡單地使用廉價的算法。然而，在一些數據集中，這些類型的廉價算法并沒有預期的那么好。為了避免性能下降，許多研究人員傾向于使用降維來減少應用程序的時間和內存復雜度。使用降維進行預處理可能比開發廉價的分類器更有效。在第3節中，我們概述了降維最常用的技術，包括主成分分析(PCA)、線性判別分析(LDA)和非負矩陣因子分解(NMF)。我們還討論了用于無監督特征提取降維的新技術，如隨機投影、自編碼和t分布隨機鄰居嵌入(T-SNE).
-
分類技術:文本分類管道中最重要的步驟是選擇最佳分類器。如果對每種算法沒有一個完整的概念理解，我們就不能有效地確定文本分類應用程序的最有效模型。在第四部分中，我們將討論最流行的文本分類技術。首先，我們介紹了傳統的文本分類方法，如Rocchio分類。接下來，我們將討論基于ensemble的學習技術，如boost和Bagging，這些技術主要用于查詢學習策略和文本分析。最簡單的分類算法之一是Logistic回歸(Logistic Regression, LR)，它已經在大多數數據挖掘領域得到了解決。在信息檢索作為一種可行的應用的最早歷史上，樸素貝葉斯分類器(NBC)是非常流行的。我們有一個簡單的概述樸素貝葉斯分類器，這是計算成本低，也需要非常低的內存。
非參數技術被應用于k近鄰(KNN)等分類任務中。支持向量機(SVM)是另一種使用判別分類器進行文檔分類的常用技術。該技術也可應用于生物信息學、圖像、視頻、人類活動分類、安全與保障等數據挖掘的各個領域。這個模型也被用作許多研究人員與他們自己的作品進行比較的基準，以突出新穎性和貢獻。本文還研究了基于樹的決策樹和隨機森林分類器在文檔分類中的應用。每個基于樹的算法將在單獨的小節中介紹。近年來，圖形分類被認為是一種分類任務，如條件隨機域(CRFs)。然而，這些技術主要用于文檔摘要和自動關鍵字提取。
近年來，深度學習方法在圖像分類、自然語言處理、人臉識別等任務上取得了超過以往機器學習算法的效果。這些深度學習算法的成功依賴于它們在數據中建模復雜非線性關系的能力。
CNN文本分類
多模型文本分類
DNN框架
- 評價方法：文本分類管道的最后一部分是評估。理解模型如何執行對于文本分類方法的使用和開發至關重要。評價監督技術的方法有很多。精度計算是最簡單的評估方法，但不適用于不平衡數據集。在第五節中,我們概述以下評價方法用于文本分類算法:Fβ分數,馬修斯相關系數(MCC)[30],接收機工作特性(ROC),和ROC曲線下面積(AUC) 。
付費5元查看完整內容
注冊地址： 北京市海淀區羊坊店路18號2幢3層301-191