亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

通過使用像BERT這樣的預訓練語言模型(PLMs)，自然語言處理(NLP)已經發生了革命性的變化。盡管幾乎在每個NLP任務中都創造了新記錄，但PLM仍然面臨許多挑戰，包括可解釋性差、推理能力弱，以及在應用于下游任務時需要大量昂貴的注釋數據。通過將外部知識集成到PLM中，知識增強的預訓練語言模型(KEPLMs)有可能克服上述限制。本文通過一系列研究對KEPLMs進行了系統的考察。具體地，概述了可集成到KEPLMs中的知識的常見類型和不同格式，詳細介紹了現有的構建和評估KEPLMs的方法，介紹了KEPLMs在下游任務中的應用，并討論了未來的研究方向。研究人員將從這項調研中受益，通過獲得該領域最新發展的快速和全面的概述。

//www.zhuanzhi.ai/paper/08b18a51703942d4625d10b8f6cb8e4b

1. 引言

預訓練語言模型(PLMs)首先在大型數據集上進行訓練，然后直接遷移到下游任務，或在另一個小型數據集上進一步微調，以適應特定的NLP任務。早期的PLMs，如Skip-Gram[1]和GloVe[2]，是淺層神經網絡，其詞嵌入(從窗口大小的上下文中學習)是靜態語義向量，這使得它們無法處理動態環境下的一詞多義問題。隨著深度學習的發展，研究人員試圖利用深度神經網絡來通過動態語義嵌入來提高任務的性能。起初，人們仍然局限于監督學習的范式，認為沒有足夠的標記數據，很難釋放深度學習的潛力。然而，隨著自監督學習的出現，BERT[3]等大型語言模型可以通過預測事先被掩蓋的標記，從大規模無標記文本數據中學習大量知識。因此，他們在許多下游NLP任務中取得了突破性進展。此后，許多大型模型開始采用Transformer[4]結構和自監督學習來解決NLP問題，plm逐漸進入快速發展階段。PLMs最近的驚人成功是OpenAI的ChatGPT。隨著研究的進展，人們發現PLMs仍然面臨可解釋性差、魯棒性弱和缺乏推理能力的問題。具體來說，PLMs被廣泛認為是黑盒，其決策過程是不透明的，因此很難解釋。此外，PLMs可能不夠魯棒，因為深度神經模型容易受到對抗性樣本的影響。此外，由于純數據驅動，PLMs的推理能力也受到限制。PLMs的所有這些缺點都可以通過納入外部知識來改善，這就產生了所謂的知識增強的預訓練語言模型(KEPLMs)。圖1用ChatGPT的話說就是KEPLMs的優勢。

盡管目前對KEPLMs 中[5]、[6]、[7]、[8]的研究尚不多見，但隨著許多新技術的出現，該研究領域正在迅速發展和擴展。本綜述旨在從不同的角度為人工智能研究人員提供關于KEPLMs 最新進展的最全面和最新的圖景。 本綜述的其余部分組織如下。第2節解釋了KEPLMs 的背景。第3節對keplm常用的知識類型和格式進行了分類。第4節介紹了構建keplm的不同方法。第5節描述了評估KEPLMs 可能的性能指標。第6節討論了KEPLMs 在下游知識密集型NLP任務中的典型應用。第7節概述了KEPLMs 的未來研究方向。第8節總結了貢獻。

構建 KEPLMS

隱性知識整合

以BERT為代表的PLMs 通常使用維基百科等的非結構化文本文檔作為預訓練的語料庫。非結構化文本數據包含豐富的上下文語義信息，BERT可以通過掩碼語言模型(MLM)從中學習單詞的上下文知識。然而，文本中同樣包含有價值信息的實體和短語被忽略了。通過采用知識引導的超越單個單詞層面的掩碼策略，PLMs 能夠融合實體、短語等知識，如圖3所示。

一些構建KEPLMs的方法通過添加知識相關的預訓練任務隱式地納入知識，如圖6所示。

顯性知識整合

PLMs 顯式地合并外部知識主要有三種方式:修改模型輸入、添加知識融合模塊和利用外部內存。前兩種方法將相關知識插入PLMs中，其形式為模型的額外輸入或模型中的額外組件，如圖7①和②所示。第三種方法使文本空間和知識空間保持獨立，從而便于知識更新

參考文獻

[1] T. Mikolov, I. Sutskever, K. Chen, G. S. Corrado, and J. Dean, “Distributed representations of words and phrases and their compositionality,” in Proc. Int. Conf. Neural Inf. Process. Syst, vol. 26, 2013. [2] J. Pennington, R. Socher, and C. D. Manning, “Glove: Global vectors for word representation,” in Proc. Conf. Empir. Methods Natural Lang. Process., 2014, pp. 1532–1543.

近年來，以深度學習模型為基礎的人工智能研究不斷取得突破性進展，但其大多具有黑盒性，不 利于人類認知推理過程，導致高性能的復雜算法、模型及系統普遍缺乏決策的透明度和可解釋性。在國 防、醫療、網絡與信息安全等對可解釋性要求嚴格的關鍵領域，推理方法的不可解釋性對推理結果及相關 回溯造成較大影響，因此，需要將可解釋性融入這些算法和系統中，通過顯式的可解釋知識推理輔助相關 預測任務，形成一個可靠的行為解釋機制。知識圖譜作為最新的知識表達方式之一，通過對語義網絡進行 建模，以結構化的形式描述客觀世界中實體及關系，被廣泛應用于知識推理。基于知識圖譜的知識推理在 離散符號表示的基礎上，通過推理路徑、邏輯規則等輔助手段，對推理過程進行解釋，為實現可解釋人工 智能提供重要途徑**。針對可解釋知識圖譜推理這一領域進行了全面的綜述。闡述了可解釋人工智能和知識 推理相關概念**。詳細介紹近年來可解釋知識圖譜推理方法的最新研究進展，從人工智能的 3 個研究范式角度 出發，總結了不同的知識圖譜推理方法。提出對可解釋的知識圖譜推理研究前景和未來研究方向。

1. 引言

隨著信息技術的不斷發展，人工智能實現了 從能存會算的“計算智能”，到能聽會說、能看會 認的“感知智能”[1-3]，再到下一階段具備理解、 推理和解釋能力的“認知智能”[4-6]的逐漸演變， 這 3 個階段的實現難度和價值同時逐次提升。然 而，在以深度學習為主導的人工智能技術中，大 多數的模型是不透明的，即模型在產生高精度結 果的同時，不能提供必要的解釋過程。模型的不 可解釋性嚴重影響了人們對模型決策的信任程 度，其可靠性和魯棒性均受到廣泛質疑[7]，特別 在國防、醫療和網絡與信息安全等領域的許多關 鍵應用[8-11]中，保證系統所做出的決策具備透明 性和可解釋性是非常重要且必要的。知識推理是人類智能活動的重要組成部分， 一直以來也是人工智能的核心研究內容之一。 DeepMind 指出人工智能算法必須具備推理能力， 且推理過程需要依靠人的先驗知識[12]，對推理的 結果形成必要的解釋。作為目前知識推理最新的 知識表達方式，知識圖譜[13]技術是一種實現可解 釋人工智能的可能解決方案[14]，通過將不同數據 源中的數據統一結構，實現對多源信息的語義網 絡建模，為真實世界的各個推理任務提供概念、 關系和屬性等可解釋因素。 以安全領域的知識圖譜為例，該領域主要包 括網絡空間測繪圖譜、漏洞知識圖譜、惡意樣本 知識圖譜、攻擊路徑推理圖譜等。通過威脅建模 的方式，對多源異構的網絡安全領域信息進行加 工、處理、整合，轉化成為結構化的安全領域知 識庫，實現從威脅實體和關系的視角出發，識別威 脅以及對威脅進行評估。同時，在從圖譜海量數據 中挖掘、推理威脅的實體相關信息過程中，只有通 過可解釋的知識推理方法，才能進一步為推理結果 的安全可靠提供保證，提高威脅分析的效率。 在長期的研究和實踐過程中，研究人員相繼 總結了有關知識圖譜推理的不同技術，并嘗試從 不同的角度（如推理長度[15]、分布式表示[16]、圖 嵌入[17]）對推理模型進行綜述。然而，對于推理 模型的可解釋性則缺少相關的總結與對比。同時， 人工智能的可解釋性越來越受到人們的重視，可 解釋知識推理在近幾年的學術界和工業界中逐漸 成為關注熱點，知識推理領域缺少較為全面且詳 細的針對可解釋知識圖譜推理的綜述文章。 本文通過廣泛整理與可解釋知識圖譜推理相 關的文獻，在介紹相關知識推理的基本概念及可 解釋性定義的基礎上，從人工智能研究范式的角 度出發，詳細闡述符號主義中的可解釋知識圖譜 推理方法、行為主義中的可解釋知識圖譜推理方 法、連接主義中的可解釋知識圖譜推理方法和新 型混合的可解釋知識圖譜推理方法，詳細說明了 在不同場景下，各類可解釋知識圖譜推理方法的 核心思想及改進過程。本文還討論了可解釋知識 圖譜推理的未來研究方向及前景。**1 可解釋的知識圖譜推理概述 **1.1 可解釋性的定義 目前業界較為認可的可解釋性定義為“可解 釋性是一種以人類認識、理解的方式給人類提供 解釋的能力”[5]。雖然人工智能技術不斷取得突破性進展，高 性能的復雜算法、模型及系統卻普遍無法向人類 用戶解釋它們的自主決策和行為，缺乏決策邏輯 的可解釋性[18]。如圖 1 所示，很多機器學習方法 在模型性能和可解釋性之間存在不平衡現象，往 往模型越復雜越難以解釋[14]，這對模型后期的應 用和優化產生很大的影響，因此人們大多基于經 驗來調整模型參數以達到優化模型的目的[19]，然 后通過觀察結果來判定操作的正確與否，充滿盲 目性與隨機性，忽略了模型可解釋性的重要性。 可解釋性對于用戶有效地理解、信任和管 理人工智能應用至關重要[6]，它與深度神經網 絡中“黑匣子”的概念形成鮮明對比。不可解 釋的模型在實踐中經常出現難以預測正確結果 的情況，這在低風險的環境中，不會造成嚴重 后果（如視頻推薦系統），而對于可靠性要求較 高的系統則很危險[20]（如醫療、法律和信息安 全領域），模型必須解釋如何獲得相關預測。可 解釋人工智能（XAI，explainable artificial intelligence）則提供了一種信任的基礎，在此基 礎上，人工智能才能在更大范圍發揮作用，有助 于識別潛在的錯誤，進而改進模型[4]，提高信息 服務質量，滿足道德和法律的規范要求，為用戶 提供更智能的服務。

1.2 知識圖譜及相關推理任務

知識圖譜是人工智能的核心技術之一[13]，作為 一種新型的知識表示方法，知識圖譜中包含大量的 先驗知識，并以結構化三元組的形式組織海量信息， 通過實體和關系的形式將不同的數據源進行關聯和 深度融合。目前，大量的知識圖譜，如 Yago[21]、 Dbpedia[22]和 Freebase[23]已經開發，相關技術已被廣 泛應用在智能問答[24]、推薦系統[25]和信息安全[26]等 任務中，其突出表現在學術界與工業界均獲得了廣 泛關注[27-28]。網絡空間知識圖譜示例[29]如圖 2 所示。

知識推理[15]則是從已知的知識出發，經過推 理挖掘，從中獲取所蘊含的新事實，或者對大量 已有知識進行歸納，從個體知識推廣到一般性知 識的過程。早期的推理研究大多在邏輯描述與知 識工程領域，很多學者提倡用形式化的方法來描 述客觀世界，認為一切推理是基于已有的邏輯知 識，如一階邏輯和謂詞邏輯，如何從已知的命題 和謂詞中得出正確的結論一直是研究的重點。近 些年，隨著互聯網數據規模的爆炸式增長，傳統 的基于人工建立知識庫的方法不能適應大數據時 代對大量知識的挖掘需求。數據驅動的推理方法 逐漸成為知識推理研究的主流[30]。 面向知識圖譜的知識推理即在知識圖譜的圖 結構上，結合概念、屬性和關系等知識，通過相 關推理技術，進行知識推理的過程。知識圖譜中 所包含的概念、屬性和關系天然可用于解釋[31-32]， 且更符合人類對于解釋的認知，方便為真實世界 的推理和解釋場景進行直觀建模，因此當前基于 知識圖譜的知識推理方法成為知識推理領域的典 型代表。下文中的“知識推理”如未加特別說明， 特指“面向知識圖譜的知識推理”。

知識圖譜推理任務主要包括知識圖譜補全和 知識圖譜去噪。前者是通過推斷出新的事實，擴 充知識圖譜，包括實體預測、關系預測、屬性預 測等任務。其中最為核心的任務是實體預測和關 系預測，實體預測是指利用給定的頭實體和關系 （或者關系和尾實體）找出有效三元組的尾實體 （頭實體）；關系預測是指通過給定頭實體和尾實 體，推理出兩者間的關系。后者關注圖譜中已知 的知識，對于已經構建的圖譜中三元組的正誤進 行評判，但從本質上來講，兩者其實是在評估三 元組的有效性。除此之外，知識推理在下游的信 息檢索、智能問答和推薦系統中也發揮著重要的 作用，在智慧醫療、網絡與信息安全等領域顯現 出良好的應用場景[27-28]。

1.3 基于知識圖譜的可解釋知識推理

知識推理的可解釋性或者可解釋的知識推理， 是人工智能可解釋性的子問題[33]。與研究深度學習 算法的可解釋性不同，可解釋知識推理的目的是從 已知的知識出發，經過可解釋的推理方法，最終獲 取知識庫中蘊含的新知識。目前基于知識圖譜的可解釋知識推理是該領域前沿的研究方向之一，其在 可解釋知識推理上有諸多優勢，具體如下。 首先，知識圖譜在表示模式上具有可解釋優 勢。知識表示是為描述世界所做的一組約定，是 知識的符號化、形式化或模型化的過程。常見的 知識表示方法包括謂詞邏輯表示法、產生式表示 法和分布式知識表示法等，作為一種新型的知識 表示方法，相對于這些傳統的知識表示方法，如 產生式表示法，知識圖譜具有語義豐富、結構友 好、知識組織結構易于理解的優點。

其次，基于知識圖譜的推理在推理過程中具 有可解釋的優勢。人類認識世界、理解事物的過 程，大多是在利用概念、屬性、關系進行理解和 認知，如對于問題“為什么鳥兒會飛？”，人類的 解釋可能是“鳥兒有翅膀”，這實質上使用了屬性 來解釋。知識圖譜中富含實體、概念、屬性、關 系等信息，通過圖結構形式化組織這些海量的知 識，為真實世界的各個推理場景直觀建模，可以 對最終的決策進行更多元的具體解釋。

最后，知識圖譜在存儲和使用上具有可解釋 的優勢，相比其他的存儲形式，知識圖譜以三元 組的形式對知識進行構建以及存儲，更加接近人 類通常認識事物“主謂賓”的認知和學習習慣， 對于人類理解會更加友好，對人們的可解釋性相 比其他知識表示方法較強[19]。

1.4 知識推理任務的評價指標

1.4.1 知識推理可解釋性的評價指標 本文采用的知識推理的可解釋性評價指標 如下。

（1）可解釋的范圍

根據模型產生的可解釋性范圍，可解釋性分 為局部可解釋和全局可解釋，即解釋是面向某個 或某類實例還是面向整個模型行為。

（2）可解釋的產生方式

根據模型解釋產生的方法，推理模型可以分 為事前可解釋和事后可解釋。其中，事前可解釋 主要指不需要額外輔助的解釋方法，解釋本身就 在自身的模型架構中，而事后可解釋指解釋本身 不在模型架構中，而是在模型訓練后，以人類可 理解的規則或可視化等方式，對模型做出決策的 邏輯過程進行后驗的解釋。

（3）可解釋的泛化性 根據解釋方法是否特定于模型，可以劃分為 特定于模型和與模型無關兩種解釋類別。

（4）可解釋在下游場景的適用性 根據下游實際業務需求對于知識推理方 法的可解釋性的要求，可以將推理方法分為適 用于可靠性優先領域（如醫療、網絡與信息安 全領域）和適用于效率優先領域（如電影推薦 系統）。本文在接下來綜述方法時，每類方法 根據以上 4 種評價指標對模型的可解釋性進行 對比分析。

1.4.2 知識推理準確性的評價指標

本文采用的知識推理的準確性評價指標包括 平均倒數排名（MRR，mean reciprocal rank）和 前 k 次命中正確預測結果的比例（Hit@k）。

2 可解釋的知識圖譜推理方法

推動人工智能發展的 3 種主要研究范式（符 號主義、行為主義和連接主義），對知識圖譜推理 方法都有著很大的影響，但三者在研究方法和技 術路線等方面有著不同的觀點，導致不同研究范 式影響下的知識推理方法在可解釋性與效率上存 在不同的側重，所適用的應用場景有所差異。如 圖 3 所示，本文從這 3 種研究范式角度出發，結 合目前新型混合的知識圖譜推理技術，分別綜述 這些分類中最新的可解釋知識圖譜推理方法研究 進展。

2.1 符號主義中的可解釋知識圖譜推理方法

從符號主義角度，知識推理可以建模為依據 符號表征的一系列明確推論，通過顯式的定義推 理所需要的本體概念、規則等離散符號，進行邏 輯推理的過程。其核心是從實例中推導出一般的 本體演繹關系或邏輯規則，通過符號體系進行推理，同時，這些符號體系為推理結果提供顯式的 解釋。根據知識圖譜本體概念層和實體實例層的 劃分，符號推理方法可以分為基于本體的知識推 理和基于邏輯規則的知識推理，接下來分別介紹 其中有代表性的可解釋知識推理方法。

**2.2 行為主義中的可解釋知識圖譜推理方法 **

從行為主義角度，知識圖譜推理可以建模為 在圖結構上通過多步游走，同時對每一步進行預 見和控制，通過序列決策逐步找到推理答案的過 程，其核心是實現知識圖譜圖結構上的多跳推理。 該類方法在得到推理結果的同時，顯式地推導出 具體的路徑推導過程，因此可解釋性較強。 該研究領域有兩個主要方向，分別是基于隨 機游走和基于強化學習的知識圖譜推理方法。基 于隨機游走的知識圖譜推理方法在圖結構上利用 隨機游走策略，結合合適的圖搜索算法獲取多條 路徑，利用這些路徑的特征預測實體間是否存在 潛在的關系；基于強化學習的知識圖譜推理方法 則通過智能體與環境不斷進行交互，以反饋和交 互的方式訓練智能體，在動作選擇和狀態更新的 動態過程中逐漸優化目標，進而實現知識推理。

2.3 連接主義中的可解釋知識圖譜推理方法

從連接主義角度，知識圖譜中的實體和關系 可以通過表示學習方法嵌入低維向量空間，進行 數值化的運算操作，進而實現知識推理。其核心是找到一種映射函數，將符號表示映射到向量空 間進行數值表示，從而減少維數災難，同時捕捉 實體和關系之間的隱式關聯，實現符號表示向量 化的直接計算。 在語義的層面，很多淺層的表示模型在提升 效率的同時，考慮建模不同的關系模式（如對稱 關系、逆反關系和組合關系）、邏輯操作（如與、 或、非操作）和實體間的上下位層次關系，使模 型具有推理部分語義結構的能力，因此，連接主 義中的部分推理模型具有一定的可解釋性。該類 方法大體可以分為 3 種，分別是基于平移距離的 模型、基于張量分解的模型和基于神經網絡的模 型，本文重點對方法的可解釋性進行對比分析。

**2.4 新型混合的可解釋知識圖譜推理方法 **

主流的挖掘隱式特征的嵌入學習模型 （TransE[87]、RotatE[91]等），提升了模型的推理效 率，但極大地影響了模型的可解釋性。基于圖遍 歷搜索的顯式邏輯規則挖掘方法（AMIE+[52]、 RDF2Rule[53]等）在提升推理過程可解釋性的同 時，效率方面有明顯的欠缺。因此，通過結合兩 者的優勢，利用符號推理在可解釋性和準確性上 的優勢以及神經網絡方法在魯棒性與效率上的優 勢，進行混合推理[113]，可以一定程度解決傳統規 則方法的計算復雜度高等難題，同時提升神經網 絡方法的可解釋性。根據推理的不同側重點，可 以將新型的混合推理方法分為符號規則增強神經 網絡的知識推理和神經網絡增強符號規則的知識 推理。

**3 結束語 **

隨著人工智能技術的廣泛應用，人工智能的 可解釋性受到越來越多的關注。在目前流行的深 度學習模型中，復雜的處理機制與大量的參數使 人類很難追溯與理解其推理過程，導致這種端到 端的黑箱學習方法可解釋性較差。知識圖譜作為知識的一種語義化和結構化的表達方式，以人類 可理解的表達形式進行知識推理，通過推理路徑、 邏輯規則等輔助手段，結合節點周圍的實體信息， 進行顯式的可解釋知識圖譜推理，為實現可解釋 人工智能提供了一種解決方案，在信息檢索、信 息安全、網絡空間安全等領域都有廣泛的應用前 景，引發了廣泛的關注。

3.1 可解釋的知識圖譜推理方法總結

本文概述了可解釋人工智能及知識推理的相 關概念，從經典的人工智能三大研究范式的角度 出發，總結和分析了可解釋的知識推理方法。無 論是以符號主義中的本體推理和規則推理方法為 代表的具有全局模型可解釋性的模型，還是通過 將推理過程顯式地進行學習（具體表現為證明、 關系路徑和邏輯規則等方式），從而為推理預測提 供可解釋性依據的具有事后過程可解釋性的模 型，都一定程度增強了人們對推理結果的理解， 同時實現對錯誤預測原因的輔助挖掘。 如表 7 所示，本文對所介紹的知識圖譜推理 方法及特點進行相關的總結與對比分析。這些推 理方法根據推理目的不同，在推理準確性和可解 釋性方面各有側重，所適用的推理應用場景也因 此不同。符號主義中的知識推理模型有著很好的 可解釋性，推理準確、遷移性好。然而，離散的 符號表示方法通常不足以描述數據之間所有內在 關系，造成規則學習的搜索空間太大、效率較低， 且對數據中出現的噪聲魯棒性較差（如 AMIE+[52]、RDF2Rule[53]），因此這種推理方法適 用于數據庫知識結構規整，要求推理精度及可解 釋程度較高的推理場景，如醫療和信息安全等要 求可靠性優先的領域。在行為主義中的知識推理 模型中，以強化學習為代表，通過反饋和交互訓 練智能體，鼓勵獲得更大的獎勵，實現了較高的 推理效率，同時得到具體的推理路徑，可解釋性 雖然相較于邏輯規則有所降低，但得到了具體的 推理步驟，具有過程的可解釋性（如 DeepPath[73]、 MINERVA[74]），因此這種推理方法更適用針對序 列決策問題的多跳知識推理場景，如網絡安全領 域的攻擊路徑推理圖譜，推理效率和可解釋性均 有較大的優勢。在連接主義中的知識推理模型中， 通過數值化運算實現的模糊推理，加快了推理的速度，增強了模型的魯棒性和推理效率，但不能 為預測結果提供顯式的推理過程說明，對模型的 可解釋性造成了很大影響（如 TransE[87] 、 RotatE[91]），憑借其效率和魯棒性的優勢，這種推 理方法適用在低風險但效率要求較高的效率優先 領域，如電影推薦系統與問答系統等。在新型混 合的推理模型中，結合符號推理在可解釋性上的 優勢和神經網絡推理在魯棒性與效率上的優勢進 行的新型混合推理，無論是利用邏輯規則生成更 多實例，輔助高質量嵌入學習，還是通過神經網 絡模型輔助解決數據的歧義和不確定性，幫助歸 納出更多的顯式邏輯規則，推理的可解釋性和效 率都得到了提升（如 IterE[117]、RNNLogic[140]）， 這種推理方法則更加需要結合系統及應用需求， 根據目標任務要求的效率或可解釋性等指標的不 同，動態調整對應神經網絡推理方法和符號推理 方法的側重點，有針對性地進行推理。

3.2 有待進一步解決的問題和挑戰

雖然目前可解釋的知識圖譜推理方法在不同 的研究范式下都取得了一定進展，但該領域仍處 于發展時期，各類方法在推理的準確性和推理過 程的可解釋性上很難達到平衡，需要在理論和實 際應用中進一步完善，在未來的研究中，可解釋 的知識推理還面臨很多新的挑戰，主要有以下 4 個 方面值得探索。

**1) 結合常識知識的可解釋推理。**常識推理即 利用人類對世界和行為基本理解的常識認知進行 推理。結合目前人類在深度學習方面的進展，表征并融入常識知識于推理模型，從而創造更加貼 近人類思維習慣的模型，將從本質上增加模型行 為的透明度，幫助人們獲得更具可解釋性的結果。

**2) 考慮復雜推理模式的可解釋知識推理。**在 知識邏輯推理中，推理的規則主要遵循傳遞性約 束，即鏈狀的推理，表達能力有限。但是現實生 活中所要面臨的要素更加復雜，需要支持更復雜 推理模式，自適應地挖掘更多樣、有效的推理結構， 如實現對樹狀或網狀等結構的邏輯規則推理[130]， 同時保證挖掘規則的可靠性和可解釋性，輔助更 多樣的決策。

**3) 多模態的可解釋知識推理。**解釋方法大多 通過推理文本中的邏輯規則或路徑從而實現可解 釋性，但隨著移動通信技術的快速發展，如何有 效地利用語音、圖片等多模態信息進行解釋成為 一個具有挑戰性的問題[141]。多模態信息顯示出其 對知識圖譜進行可解釋推理的潛力，可以通過圖 像、聲音等多種模態對于推理的過程與結果進行 語義增強的解釋。

**4) 可解釋性的量化度量指標。**對于可解釋性 的優劣并不存在非常成熟的、廣為接受的量化標 準。大多數已有的方法是主觀度量，因而只能定 性分析，無法對可解釋模型的性能進行量化。 這就造成用戶無法非常準確地判斷解釋方法的 優劣[142]，所以需要進一步研究科學合理的可解釋 的評測指標，對解釋方法進行量化評價，模型 得到反饋并進行相關優化，從而更好地指導系 統的決策。

【導讀】推薦系統是現在習以為常的應用，如何融入元學習方法來解決推薦系統的冷啟動或小數據場景是個有趣的問題。上海交大最新《推薦系統中的深度元學習》綜述，有40頁pdf涵蓋135篇文獻，全面地概述了當前基于深度元學習的推薦方法。針對推薦場景、元學習技術和元知識表示，提出了一種分類方法，為基于元學習的推薦方法提供了設計空間。值得關注！

作為信息過濾技術，基于深度神經網絡的推薦系統近年來取得了很大的成功。然而，由于從頭開始的模型訓練需要足夠的數據，基于深度學習的推薦方法仍然面臨數據不足和計算效率低下的瓶頸。元學習作為一種新興的學習模式，學習如何提高算法的學習效率和泛化能力，在解決數據稀疏問題方面顯示出了其優勢。最近，越來越多的基于深度元學習的推薦系統的研究出現了，以提高在可用數據有限的推薦場景下的性能，例如用戶冷啟動和項目冷啟動。因此，本研究及時全面地概述了當前基于深度元學習的推薦方法。針對推薦場景、元學習技術和元知識表示，提出了一種分類方法，為基于元學習的推薦方法提供了設計空間。對于每個推薦場景，我們進一步討論了現有方法如何應用元學習來提高推薦模型的泛化能力的技術細節。最后，我們指出了當前研究的局限性，并指出了未來研究的方向。

//www.zhuanzhi.ai/paper/6cff1ae05b9c005089acf0838b5fa0a6

近年來，推薦系統作為緩解信息過載的過濾系統被廣泛應用于電子商務、娛樂服務、新聞等各種網絡應用。推薦系統通過在大量的候選物品中提出個性化的建議，在改善用戶體驗和增加在線平臺吸引力方面取得了巨大的成功。隨著數據驅動的機器學習算法[3,90]，特別是基于深度學習的方法[9,32,121]的發展，該領域的學術和行業研究在準確性、多樣性、可解釋性等方面極大地提高了推薦系統的性能。

由于表達表示學習能力能夠從足夠的數據中發現隱藏的依賴關系，基于深度學習的方法在當代推薦模型中被大量引入[26,121]。通過利用大量具有不同數據結構的訓練實例(例如，交互對[121]、序列[20]和圖形[26])，具有深度神經結構的推薦模型通常被設計用于有效捕獲非線性和非微不足道的用戶/物品關系。然而，傳統的基于深度學習的推薦模型通常是基于預定義的學習算法，用足夠的數據從頭開始訓練。例如，常規監督學習范式通常使用從所有用戶收集的交互來訓練一個統一的推薦模型，并基于學習到的特征表示對未看到的交互進行推薦。這種基于深度學習的方法通常需要大量的數據和計算。換句話說，基于深度學習的推薦系統的性能很大程度上依賴于大量訓練數據的可用性和足夠的計算量。在實際的推薦應用中，數據的收集主要來源于用戶在訪問網絡平臺過程中觀察到的用戶互動。存在可用用戶交互數據稀疏(如冷啟動推薦)和模型訓練計算受限(如在線推薦)的推薦場景。因此，數據不足和計算效率低下的問題成為基于深度學習的推薦模型的瓶頸。

最近，元學習提供了一種很有吸引力的學習范式，它針對數據和計算的不足，著重加強機器學習方法的泛化能力[36,98]。元學習的核心思想是從先前的多任務學習過程中獲得關于高效任務學習的先驗知識(即元知識)。元知識可以促進新任務的快速學習，在看不見的任務上具有良好的泛化性能。在這里，任務通常指屬于同一類或具有相同屬性的一組實例，涉及其上的單個學習過程。與提高深度學習模型的表征學習能力不同，元學習側重于學習更好的學習策略來替代固定的學習算法，被稱為學習到學習的概念。由于元學習技術在對看不見的任務進行快速適應方面具有巨大的潛力，它被廣泛應用于圖像識別[4,130]、圖像分割[60]、自然語言處理[48]、強化學習[75,103]等研究領域。

元學習的好處與推薦模型在實例有限和計算效率低下的情況下的推廣需求是一致的。早期基于元學習的推薦方法主要分為個性化推薦算法選擇[13,78]，提取元數據集的特征，針對不同的數據集(或任務)選擇合適的推薦算法。通過運用提取元知識和生成任務特定模型的思想，這種元學習的定義更接近自動化機器學習的研究[39,115]。**隨后，深度元學習[38]或神經網絡元學習[36]出現，并逐漸成為推薦模型中典型討論的元學習技術的主流[47,69]。如[36,38]所介紹的，深度元學習旨在提取元知識，以實現深度神經網絡的快速學習，這對目前流行的深度學習范式帶來了增強。2017年以來，深度元學習在推薦系統研究界受到關注。**在訓練傳統的深度推薦模型時，首先應用先進的元學習技術來緩解數據不足(即冷啟動問題)。例如，最成功的基于優化的元學習框架MAML，以神經網絡參數初始化的形式學習元知識，首先在冷啟動推薦場景[47]中表現出極大的有效性。此外，在元學習模式下還研究了點擊率預測[69]、在線推薦[123]、順序推薦[125]等多種推薦場景，以提高在數據不足和計算效率低下的情況下的學習能力。

在本文中，我們對快速增長的基于深度元學習的推薦系統的研究進行了及時和全面的綜述。在我們的研究中，雖然已經有一些關于元學習或深度元學習的研究綜述了通用元學習方法及其應用的細節[36,38,98]，但對推薦系統的最新進展仍然缺乏關注。此外，在其他應用領域也有一些關于元學習方法的綜述，如自然語言處理[48,117]，多模態[61]和圖像分割[60]。然而，目前還沒有關于深度元學習在推薦系統中的研究。與他們相比，我們的綜述是填補這一空白的第一次嘗試，系統地回顧了元學習和推薦系統相結合的最新論文。在我們的綜述中，我們的目的是全面回顧基于深度元學習的推薦系統的文獻，這將有助于讀者和研究人員對這一主題的全面理解。為了仔細定位該領域的工作，我們提供了一個從三個角度的分類，包括推薦場景、元學習技術和元知識表示。此外，我們還根據推薦場景討論了相關的方法，并介紹了不同的作品如何利用元學習技術提取特定的元知識，包括參數初始化、參數調制、超參數優化等多種形式。我們希望我們的分類可以為開發新的基于深度元學習的推薦方法提供設計空間。此外，我們還總結了構建元學習任務的常見方法，這是構建元學習范式的必要條件。 本次綜述的結構安排如下。在第2節中，我們介紹了元學習技術的共同基礎和典型的推薦場景，其中元學習方法已被研究，以緩解數據不足和計算效率低下。在第3節中，我們將介紹由三個獨立軸組成的分類法。在第4節中，我們總結了文獻中使用的元學習推薦任務構建的不同方法。然后，我們在第5節詳細闡述了在不同推薦場景下使用元學習技術的現有方法的方法論細節。最后，我們在第6部分討論了該領域未來的研究方向，并在第7部分總結了這一綜述。

基于深度元學習的推薦系統分類

在本節中，我們建立了基于深度元學習的推薦系統的分類，并根據分類總結了現有方法的特點。通常，我們根據三個獨立的軸來定義分類，包括推薦場景、元學習技術和元知識表示。圖1顯示了分類法。之前[38,98]對一般元學習方法的分類更多關注2.1節介紹的三種元學習框架，但對元學習技術的實際應用關注有限。此外，[36]提出了一個新的分類法，涉及元表示、元優化器和元目標三個方面。他們提供了一個更全面的分類，可以引導新的元學習方法的發展。但是，它側重于整個元學習領域，不適合反映基于深度元學習的推薦系統的研究現狀和應用場景。

最新《知識增強機器學習在自動駕駛中的應用》非常值得關注!

合適的數據集是許多成功的人工智能和機器學習模型的先決條件。然而，這些模型的后續應用通常涉及到訓練數據中沒有充分表達應用場景。原因是多方面的，從時間和成本的限制到倫理考慮。因此，這些模型的可靠使用，特別是在安全關鍵應用中，是一個巨大的挑戰。利用額外的、已經存在的知識來源是克服純數據驅動方法的局限性的關鍵，并最終提高這些模型的泛化能力。此外，即使在數據集不足的情況下，與知識相符的預測對于做出可靠和安全的決定也是至關重要的。這項工作提供了現有技術和方法在文獻中結合基于數據的模型與現有知識的概述。根據類別的嵌入、提取和整合對識別出的方法進行結構化。特別關注自動駕駛領域的應用。

//www.zhuanzhi.ai/paper/4f34bc805d3ecc878ef9dece3cff81c3

引言

數據驅動學習，首先是深度學習，已經成為當前絕大多數人工智能(AI)和機器學習(ML)應用的關鍵范式。許多以監督方式學習的模型的出色性能主要歸因于大量標記數據的可用性。突出的例子是圖像分類和目標檢測，順序數據處理以及決策。缺點是，這種前所未有的性能是以缺乏可解釋性和透明度為代價的，這導致了所謂的黑匣子模型無法進行簡單而直接的人工檢查。因此，將數據驅動的方法傳輸到安全關鍵的應用成為一個主要的挑戰。通常，在這些情況下，由于高昂的獲取成本或道德原因，標簽數據是稀缺的。此外，開發人員和用戶都假定需要能夠理解部署模型所做的決策。為了解決這兩個問題，以物理基本定律、事實的邏輯數據庫、特定場景下的共同行為或簡單的反事實樣例等形式來利用知識資源，是改進純數據化模型的關鍵，這些模型可以增強對擾動的魯棒性，更好地對不可見樣本進行泛化。并符合安全可靠行為的現有原則。

本綜述提供了一組不同的方法，這些方法適用于用知識增強數據驅動模型，從給定模型中提取信息概念和模式，并將觀察到的輸出和表示與現有的基本假設和對安全、可靠和直觀行為的共同理解進行比較。最后，本文對知識和數據集成的概述將為可靠的ML方法鋪平道路，這些方法可以在關鍵應用中安全地使用。本綜述的結構如下。在接下來的第二章中，我們將介紹自主智能體在與環境交互時遇到的三個主要任務。第3章討論了如何從不同的角度表示知識并使其具有機器可讀性，隨后，第4章討論了適合將知識與數據驅動方法結合的不同通用方法，以及針對自動駕駛用例的更具體的方法。第五章進一步介紹了知識遷移背景下的學習范式。

除了知識的整合，目前的方法集中于概念和結構的提取在后面的章節中進行了概述。第6章總結了提供符號化、部分自然語言解釋的方法，第7章強調了允許對決策過程進行視覺化的程序。我們將在第8章總結我們的綜述，并概述考慮與已經存在的以及新發現的知識組件的一致性的技術，這些技術最終完成了知識增強人工智能的流程。

用例概述

自動駕駛的任務可以細分為以下幾類:感知、情境解讀、計劃和控制[306]。自動駕駛的首要任務是理解和感知車輛周圍的環境。第2.1節介紹感知模塊，特別關注基于圖像的行人檢測。一旦目標被檢測和分割，自動駕駛的第二個任務就是隨著道路使用者了解環境。為了進行安全的機動，情況解釋是一個決定性的步驟。在本模塊中，目標是回答與對象的狀態和操作相關的重要問題，如對象下一步可以做什么。概述見第2.2節。在確定了這些情景場景后，自動駕駛的下一個任務就是規劃自動駕駛的運動。2.3節中描述的規劃模塊利用前兩個模塊的輸出，并進行高層次的路由和軌跡規劃決策。

知識表示

符號和連接方法代表了人工智能譜系的兩端。前者更多是由知識驅動，后者則是由數據驅動。在文獻中可以發現大量正在進行的研究，以開發利用彼此優勢的混合人工智能系統。然而，在符號空間中整合或增強數據驅動的次符號/統計世界的知識表示仍然存在一個核心挑戰。第3.1節概述了以事實、規則和結構化信息形式存在的象征知識的形式化和語言。此外，在第3.2節中對知識嵌入進行了概述，重點是將先驗知識從符號空間轉化為實向量空間，即嵌入。這些嵌入可以用于改進子符號方法(神經網絡(NN)，深度學習(DL))，以進行有效的訓練和推理。此外，在第3.2.3節討論了硬規則和軟規則的注入以及嵌入的方法。本章中處理不同機制表示知識的每一節都以更適合自動駕駛領域的展望來結束。將感知到的信息映射到語義概念，并使用符號模型進行推理，可以提高對駕駛情況的理解。此外，使用形式化的交通規則和法律概念來推導以其法律后果為條件的可能駕駛行為。

知識嵌入

文獻中已經提出了大量的方法，這些方法專注于用額外的先驗知識增強數據驅動模型和算法。其中最突出的方法是通過定制的代價函數修改訓練目標，特別是知識影響的約束和懲罰。第4.1節概述了考慮各種特性的物理和領域知識的輔助損耗和約束。通常，這些方法伴隨著特定問題的架構設計，導致以邏輯表達式或知識圖譜的形式利用符號知識的混合模型。符號和數據方法的合并，也稱為神經-符號整合是第4.2節的重點。除了外部輸入，最近的方法更好地依賴于內部表示，以便將注意力集中在網絡本身的不同特征和概念上。第4.3節討論了關鍵權重和指導方法。最后但并非最不重要的是，數據增強技術形成了骨干，將額外的領域知識集成到數據中，從而間接地集成到模型中。第4.4節討論了從數據轉換到特征空間增強到模擬的方法。除了這些流行的通用方法，本章還總結了更適合自動駕駛領域的方法和范式，考慮到多個智能體與所研究的應用程序的特定環境進行交互。特別是在4.5節的狀態空間模型和4.6節的強化學習中，推理和預測agent的狀態起著至關重要的作用。位置信息和語義信息的參與是4.7節中概述的信息融合方法的重要組成部分。

知識遷移

在前一章中，知識集成主要是通過適當的建模方法來解決的，例如，修改體系結構和代價函數設計。本章從更多的算法角度來研究這項任務，從而得出能夠將隱性知識(通常由神經網絡的權值或表示法捕獲和表示)轉移到感興趣的目標領域的學習策略。這里的主要目標之一是在只從目標領域提供少量數據的情況下學習可靠的模型。預訓練的網絡的選定層的微調可歸因于遷移學習，如第5.1節所示。這個概念關注的是對單一目標任務的適應，而在持續學習中，目標是穩定地適應各種連續的目標，而不忘記之前的任務。概述見第5.2節。在元學習中也有類似的想法，即在一個情景訓練過程中收集來自多個任務的經驗，以改進關于即將到來的任務的學習策略。第5.3節對該主題進行了介紹。最后，從數據的目的性選擇和重新標注的角度考慮知識轉移。這種主動學習策略的當前范例見第5.4節。

知識提取-符號解釋

對數據驅動模型的功能進行解釋是通向可信系統的必要前提。對學習到的決策模式和概念的提取和考慮不僅促進了功能的最終驗證，而且在開發用于安全關鍵應用的方法方面也同樣有用。符號解釋在其中起著重要的作用，近年來得到了廣泛的研究。為了以更正式的方式檢查神經網絡的功能，規則學習已經成為這一背景下最突出的方法之一。第6.1節介紹的方法包括從關注神經元內部結構和相互作用的方法到嘗試以人類可理解的方式建模輸入輸出關系的方法。后者還與輸入數據的規則提取和模式挖掘有關。自然語言作為超越規則的另一種符號表現形式，將在接下來的兩節中討論。從法律領域的規則和規范中提取知識是章節6.3的重點，而自然語言作為對視覺刺激的伴隨解釋是視覺問題回答的目標，章節6.4將介紹。

知識提取-視覺解釋

視覺化是一種以令人印象深刻的形式表示抽象和復雜知識的好方法。因此，它也可以作為一個有效的工具來演示從機器學習模型中提取的知識。與文本、公式或其他符號解釋不同，視覺化可以為人類提供一些復雜信息的直觀印象。視覺化可以激發更好的理解，甚至是算法的改進。許多研究都集中在機器學習模型的視覺解釋上。其中一種被稱為視覺分析，旨在利用人類的視覺系統和人類知識來識別或假設通常隱藏在大型數據集中的模式。視覺分析的不同方法將在第7.1節中討論。第7.2節中的顯著圖方法強調了如何在計算機視覺任務的輸入圖像上生成熱圖。在7.3節中，可解釋特征學習演示了視覺化結果如何被用來生成特別的解釋或數字證據。這些視覺化解釋提供了語義級的知識提取方法，具有更好的可解釋性。

知識整合

**自動駕駛汽車是安全關鍵系統，這意味著它們的故障可能會帶來嚴重的后果，例如，當行人被檢測系統忽略時。因此，我們必須確保它們安全可靠地運行。特別是，它們應該符合現有的安全原則和知識。其中一個原則是識別和處理不確定性，即可能導致系統以不可預測的方式運行的因素。我們在第8.1節中概述了估計和評估不確定性的現有概念和方法。另一個原則是可解釋性，也就是說，理想情況下人類應該能夠理解為什么一個系統會做出特定的決定。為了改善這一點，DL系統的決策過程應該與以因果推理為核心組成部分的人類決策更加一致。因此，我們將在第8.2節討論將因果推理注入DL系統的方法。另一個方面是與現有的關于自動駕駛汽車環境的知識的一致性。特別是，環境受某些規則約束，例如交通規則、物理法律或人類常識，第8.3節討論了關于規則整合的概念和方法。

預訓練語言模型已經成為大多數自然語言處理任務的事實范式。這也有利于生物醫學領域：來自信息學、醫學和計算機科學界的研究人員提出了各種在生物醫學數據集上訓練的預訓練模型，如生物醫學文本、電子健康記錄、蛋白質和DNA序列，用于各種生物醫學任務。然而，生物醫學預訓練的跨學科特點阻礙了它們在社區中的傳播，一些現有的工作是相互孤立的，沒有全面的比較和討論。需要系統地回顧生物醫學預訓練模型的最新進展和它們的應用，而且規范術語和基準。本文總結了預訓練語言模型在生物醫學領域的最新進展以及它們在生物醫學下游任務中的應用。特別是，本文討論了動機，并提出了現有生物醫學預訓練的分類法。本文詳盡地討論了它們在生物醫學下游任務中的應用。最后，本文說明了各種局限性和未來的趨勢，希望這能為研究界的未來研究提供靈感。

//www.zhuanzhi.ai/paper/aebdec7605f6af9fdfa1f313d9946a65

隨著表示學習在提供強大的預測和數據洞察方面取得的顯著成功，我們見證了表示學習技術在建模、分析和網絡學習方面的快速擴展。生物醫學網絡是相互作用系統的通用描述，從蛋白質相互作用到疾病網絡，一直到醫療保健系統和科學知識。

在本綜述論文中，我們提出了一項觀察，即長期存在的網絡生物學和醫學原理(在機器學習研究中經常未被提及)可以為表示學習提供概念基礎，解釋其目前的成功和局限，并為未來的發展提供信息。我們整合了一系列算法方法，其核心是利用拓撲特征將網絡嵌入緊湊的向量空間。我們還提供了可能從算法創新中獲益最多的生物醫學領域的分類。

表示學習技術在識別復雜特征背后的因果變異、解開單細胞行為及其對健康的影響、用安全有效的藥物診斷和治療疾病等方面正變得至關重要。

//arxiv.org/abs/2104.04883

引言

網絡，或稱圖表，在生物學和醫學中非常普遍，從分子相互作用圖到一個人疾病之間的依賴關系，一直到包括社會和健康相互作用的人群。根據網絡中編碼的信息類型，兩個實體之間“交互”的含義可能不同。例如，蛋白質-蛋白質相互作用(PPI)網絡中的邊緣可以表明實驗中測量到的物理相互作用，如酵母雙雜交篩選和質譜分析(例如，[148,197]);調節網絡中的邊緣可以指示通過動態單細胞表達測量的基因之間的因果相互作用(例如，[174]);電子健康記錄(EHR)網絡中的邊緣可以表明在醫療本體中發現的層次關系(例如，[182,190])。從分子到醫療保健系統，網絡已經成為代表、學習和推理生物醫學系統的主要范式。

生物醫學網絡上表示學習的案例。捕捉生物醫學系統中的交互作用會帶來令人困惑的復雜程度，只有通過整體和集成系統的觀點才能完全理解[17,28,164]。為此，網絡生物學和醫學在過去二十年中已經確定了一系列管理生物醫學網絡的組織原則(例如，[16,86,106,262])。這些原則將網絡結構與分子表型、生物學作用、疾病和健康聯系起來。我們認為，長期存在的原則——雖然在機器學習研究中經常未被提及——提供了概念基礎，可以解釋表示學習在生物醫學網絡建模中的成功(和局限性)，并為該領域的未來發展提供信息。特別是，當對網絡中邊緣的解釋取決于上下文時，相互作用的實體往往比非相互作用的實體更相似。例如，疾病本體的結構是這樣的:通過邊緣連接的疾病術語往往比不連接的疾病術語更相似。在PPI網絡中，相互作用的蛋白質突變常常導致類似的疾病。相反，與同一疾病有關的蛋白質之間相互作用的傾向增加。在細胞網絡中，與特定表型相關的成分往往聚集在同一網絡鄰居。

表示學習實現網絡生物學和醫學的關鍵原理。我們假設表示學習可以實現網絡生物學和醫學的關鍵原則。這個假設的一個推論是表示學習可以很好地適用于生物醫學網絡的分析、學習和推理。表示學習的核心是向量空間嵌入的概念。其思想是學習如何將網絡中的節點(或更大的圖結構)表示為低維空間中的點，該空間的幾何結構經過優化，以反映節點之間的交互結構。表示學習通過指定(深度的、非線性的)轉換函數，將節點映射到緊湊的向量空間(稱為嵌入)中的點，從而形式化了這一思想。這些函數被優化以嵌入輸入圖，以便在學習空間中執行代數運算反映圖的拓撲結構。節點被映射到嵌入點，這樣具有相似網絡鄰域的節點被緊密地嵌入到嵌入空間中。值得注意的是，嵌入空間對于理解生物醫學網絡(例如，PPI網絡)的意義在于空間中點的鄰近性(例如，蛋白質嵌入之間的距離)自然地反映了這些點所代表的實體的相似性(例如，蛋白質表型的相似性)，提示嵌入可被認為是網絡生物醫學關鍵原理的可微表現。

算法范式(圖1)。網絡科學和圖論技術促進了生物醫學的發現，從揭示疾病之間的關系[91,135,159,200]到藥物再利用[41,42,96]。進一步的算法創新，如隨機游走[40,229,242]、核函數[83]和網絡傳播[214]，也在從網絡中捕獲結構和鄰域信息以生成下游預測的嵌入信息方面發揮了關鍵作用。特征工程是生物醫學網絡上機器學習的另一個常用范例，包括但不限于硬編碼網絡特征(例如，高階結構、網絡主題、度計數和共同鄰居統計)，并將工程特征向量輸入預測模型。這種策略雖然強大，但并不能充分利用網絡信息，也不能推廣到新的網絡類型和數據集[255]。

近年來，圖表示學習方法已成為生物醫學網絡深度學習的主要范式。然而，對圖的深度學習具有挑戰性，因為圖包含復雜的拓撲結構，沒有固定的節點排序和參考點，它們由許多不同類型的實體(節點)和各種類型的相互關系(邊)組成。傳統的深度學習方法無法考慮生物醫學網絡的本質——多樣性的結構特性和豐富的交互作用。這是因為經典的深度模型主要是為固定大小的網格(例如，圖像和表格數據集)設計的，或者是為文本和序列優化的。因此，它們在計算機視覺、自然語言處理、語音和機器人技術方面取得了非凡的成就。就像對圖像和序列的深度學習徹底改變了圖像分析和自然語言處理領域一樣，圖表示學習也將改變生物學和醫學中復雜系統的研究。

我們的重點是表示學習，特別是流形學習[27]、圖變壓器網絡[250]、微分幾何深度學習[25]、拓撲數據分析(TDA)[34,224]和圖神經網絡(GNN)[125]。圖2描述了這次評審的結構和組織。我們首先提供流行的圖學習范式的技術說明，并描述其在加速生物醫學研究的關鍵影響。在圖表示學習的每個當前應用領域(圖4)，我們展示了圖表示學習的潛在方向，可以通過四個獨特的前瞻性研究，每個研究至少解決以下圖機器學習的關鍵預測任務之一:節點、邊緣、子圖和圖級預測、連續嵌入和生成。

【導讀】2020注定是寫入到歷史的一年，新冠變成主題詞。在2019年機器學習領域繼續快速發展，深度學習理論、對比學習、自監督學習、元學習、持續學習、小樣本學習等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、Recent advances in deep learning theory（深度學習理論）

陶大程院士等最新《深度學習理論進展》綜述論文，41頁pdf255篇文獻闡述六大方面進展

作者：Fengxiang He,Dacheng Tao

摘要：深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與泛化性的關系的日益關注。

網址： //www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey（少樣本學習）

清華大學張長水等最新《少樣本學習FSL》2020綜述論文，30頁pdf414篇參考文獻

作者：Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要：少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

網址：

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications（知識圖譜研究綜述論文）

最新！知識圖譜研究綜述論文: 表示學習、知識獲取與應用，25頁pdf詳述Knowledge Graphs技術趨勢

作者：Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要：人類知識提供了對世界的認知理解。表征實體間結構關系的知識圖譜已經成為認知和人類智能研究的一個日益流行的方向。在本次綜述論文中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。知識圖譜嵌入從表示空間、得分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了不同任務的數據集和開源庫的集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

網址：

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications（生成式對抗網絡綜述論文）

密歇根大學28頁最新《GANs生成式對抗網絡綜述：算法、理論與應用》最新論文，帶你全面了解GAN技術趨勢

作者：Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要：生成對抗網絡（GANs）是最近的熱門研究主題。自2014年以來，人們對GAN進行了廣泛的研究，并且提出了許多算法。但是，很少有全面的研究來解釋不同GANs變體之間的聯系以及它們是如何演變的。在本文中，我們嘗試從算法，理論和應用的角度對各種GANs方法進行敘述。首先，詳細介紹了大多數GANs算法的動機，數學表示形式和結構。此外，GANs已與其他機器學習算法結合用于特定應用，例如半監督學習，遷移學習和強化學習。本文比較了這些GANs方法的共性和差異。其次，研究了與GANs相關的理論問題。第三，說明了GANs在圖像處理和計算機視覺，自然語言處理，音樂，語音和音頻，醫學領域以及數據科學中的典型應用。最后，指出了GANs未來的開放性研究問題。

網址：

5、A Survey on Causal Inference（因果推斷綜述論文）

最新「因果推斷Causal Inference」綜述論文38頁pdf，阿里巴巴、Buffalo、Georgia、Virginia

作者：Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要：數十年來，因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前，與隨機對照試驗相比，利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向，因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展，各種針對觀測數據的因果關系估計方法層出不窮。在這項綜述中，我們提供了一個全面的綜述因果推理方法下的潛在結果框架，一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類，分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用，包括在廣告、推薦、醫藥等方面的應用。此外，還總結了常用的基準數據集和開放源代碼，便于研究者和實踐者探索、評價和應用因果推理方法。

網址：

6、Pre-trained Models for Natural Language Processing: A Survey（預訓練語言模型）

【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

作者：Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要：近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然后，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用于下游任務。最后，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

網址：

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources（異質圖網絡嵌入）

異質圖嵌入綜述: 方法、技術、應用和資源, 23頁pdf

作者：Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要：

異質圖（Heterogeneous Graph, HG）也稱為異質信息網絡（Heterogeneous Information Network, HIN），在現實世界中已經無處不在。異質圖嵌入(Heterogeneous Graph Embedding, HGE)，旨在在低維的空間中學習節點表示，同時保留異質結構和語義用于下游任務（例如，節點/圖分類，節點聚類，鏈接預測），在近年來受到了廣泛的關注。在綜述中，我們對異質圖嵌入的方法和技術的最新進展進行了全面回顧，探索了異質圖嵌入的問題和挑戰，并預測了該領域的未來研究方向。

該論文的主要貢獻如下：

討論了與同質圖相比，異質圖的異質性帶來的獨特挑戰 。該論文對現有的異質圖嵌入方法進行了全面的調研，并基于它們在學習過程中使用的信息進行分類，以解決異質性帶來的特定的挑戰。 對于每類代表性的異質圖嵌入方法和技術，提供詳細的介紹并進一步分析了其優缺點。此外，該論文首次探索了異質圖嵌入方法在現實工業環境中的可轉換性和適用性。 總結了開源代碼和基準數據集，并對現有的圖學習平臺進行了詳細介紹，以促進該領域的未來研究和應用。 探討異質圖嵌入的其他問題和挑戰，并預測該領域的未來研究方向。

網址：

8、Graph Neural Networks: Taxonomy, Advances and Trends（圖神經網絡）

太原理工最新《圖神經網絡:分類,進展,趨勢》綜述論文，50頁pdf400篇文獻

作者：Yu Zhou,Haixia Zheng,Xin Huang

摘要：圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

網址：

9、Efficient Transformers: A Survey（高效Transformer）

【Google】最新《高效Transformers》綜述大全，Efficient Transformers: A Survey

作者：Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要：Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。

圖片

網址：

10、Self-supervised Learning: Generative or Contrastive（自監督學習）

作者：Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要：深度監督學習在過去的十年中取得了巨大的成功。然而，它依賴于手工標簽的缺陷和易受攻擊的弱點促使人們探索更好的解決方案。作為另一種學習方式，自監督學習以其在表征學習領域的飛速發展吸引了眾多研究者的關注。自監督表示學習利用輸入數據本身作為監督，并使得幾乎所有類型的下游任務從中受益。在這項綜述中，我們著眼于新的自監督學習方法，用于計算機視覺、自然語言處理和圖學習。我們全面回顧了現有的實證方法，并根據它們的目的將它們歸納為三大類:生成型、對比型和生成-對比型(對抗型)。我們進一步研究了相關的理論分析工作，以提供對自監督學習如何工作的更深層次的思考。最后，我們簡要討論了自監督學習有待解決的問題和未來的發展方向。

網址：