亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要

多任務學習(Multi-Task Learning, MTL)是機器學習中的一種學習范式，其目的是利用多個相關任務中包含的有用信息來幫助提高所有任務的泛化性能。

本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，給出了MTL的定義，并將不同的MTL算法分為特征學習、低秩、任務聚類、任務關系學習和分解五類，并討論了每種方法的特點。

為了進一步提高學習任務的性能，MTL可以與半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型等學習范式相結合。當任務數量較大或數據維數較高時，我們回顧了在線、并行和分布式的MTL模型，以及維數降維和特征哈希，揭示了它們在計算和存儲方面的優勢。

許多現實世界的應用程序使用MTL來提高它們的性能，我們在本文中回顧了代表性的工作。最后，我們對MTL進行了理論分析，并討論了MTL的未來發展方向。

引言

人類可以同時學習多個任務，在這個學習過程中，人類可以使用在一個任務中學習到的知識來幫助學習另一個任務。例如，根據我們學習打網球和壁球的經驗，我們發現打網球的技巧可以幫助學習打壁球，反之亦然。多任務學習(Multi-Task learning, MTL)[1]是機器學習的一種學習范式，受人類這種學習能力的啟發，它的目標是共同學習多個相關的任務，使一個任務中包含的知識能夠被其他任務利用，從而提高手頭所有任務的泛化性能。

在其早期階段，MTL的一個重要動機是緩解數據稀疏問題，即每個任務都有有限數量的標記數據。在數據稀疏性問題中，每個任務中標記數據的數量不足以訓練出一個準確的學習器，而MTL則以數據增強的方式將所有任務中的標記數據進行聚合，從而為每個任務獲得更準確的學習器。從這個角度來看，MTL可以幫助重用已有的知識，降低學習任務的手工標注成本。當“大數據”時代在計算機視覺和自然語言處理(NLP)等領域到來時，人們發現，深度MTL模型比單任務模型具有更好的性能。MTL有效的一個原因是與單任務學習相比，它利用了更多來自不同學習任務的數據。有了更多的數據，MTL可以為多個任務學習到更健壯、更通用的表示形式和更強大的模型，從而更好地實現任務間的知識共享，提高每個任務的性能，降低每個任務的過擬合風險。

MTL與機器學習中的其他學習范式有關，包括遷移學習[2]、多標簽學習[3]和多輸出回歸。MTL的設置與遷移學習相似，但存在顯著差異。在MTL中，不同任務之間沒有區別，目標是提高所有任務的性能。而遷移學習是借助源任務來提高目標任務的性能，因此目標任務比源任務起著更重要的作用。總之，MTL對所有的任務一視同仁，但在遷移學習中目標任務最受關注。從知識流的角度來看，遷移學習中的知識轉移流是從源任務到目標任務，而在多任務學習中，任何一對任務之間都存在知識共享流，如圖1(a)所示。持續學習[4]是一個一個地學習任務，任務是有順序的，而MTL是將多個任務一起學習。在多標簽學習和多輸出回歸中，每個數據點都與多個標簽相關聯，這些標簽可以是分類的或數字的。如果我們把所有可能的標簽都當作一個任務，那么多標簽學習和多輸出回歸在某種意義上可以看作是多任務學習的一種特殊情況，不同的任務在訓練和測試階段總是共享相同的數據。一方面，這種多標簽學習和多輸出回歸的特點導致了與MTL不同的研究問題。例如，排名損失使得與數據點相關的標簽的分數(例如分類概率)大于沒有標簽的分數，可以用于多標簽學習，但它不適合MTL，因為不同的任務擁有不同的數據。另一方面，這種在多標簽學習和多輸出回歸中的特性在MTL問題中是無效的。例如，在2.7節中討論的一個MTL問題中，每個任務都是根據19個生物醫學特征預測患者帕金森病的癥狀評分，不同的患者/任務不應該共享生物醫學數據。總之，多標簽學習和多輸出回歸與圖1(b)所示的多任務學習是不同的，因此我們不會對多標簽學習和多輸出回歸的文獻進行綜述。此外，多視圖學習是機器學習的另一種學習范式，每個數據點與多個視圖相關聯，每個視圖由一組特征組成。雖然不同的視圖有不同的特征集，但是所有的視圖是一起學習同一個任務的，因此多視圖學習屬于具有多組特征的單任務學習，這與圖1(c)所示的MTL是不同的。

在過去的幾十年里，MTL在人工智能和機器學習領域引起了廣泛的關注。許多MTL模型已經被設計出來，并在其他領域得到了廣泛的應用。此外，對MTL的理論問題也進行了大量的分析。本文從算法建模、應用和理論分析三個方面對MTL進行了綜述。在算法建模方面，首先給出了MTL的定義，然后將不同的MTL算法分為5類: 特征學習方法，又可分為特征轉換與特征選擇方法、低秩方法、任務聚類方法、任務關系學習方法和分解方法。然后，我們討論了MTL與其他學習范式的結合，包括半監督學習、主動學習、無監督學習、強化學習、多視圖學習和圖形模型。為了處理大量的任務，我們回顧了在線、并行和分布式的MTL模型。對于高維空間中的數據，引入特征選擇、降維和特征哈希作為處理這些數據的重要工具。MTL作為一種很有前途的學習范式，在計算機視覺、生物信息學、健康信息學、語音、自然語言處理、web等領域有著廣泛的應用。從理論分析的角度，對MTL的相關工作進行回顧。最后，討論了MTL的未來發展方向。

通過人工神經網絡等獲得的預測具有很高的準確性，但人類經常將這些模型視為黑盒子。對于人類來說，關于決策制定的洞察大多是不透明的。在醫療保健或金融等高度敏感領域，對決策的理解至關重要。黑盒子背后的決策要求它對人類來說更加透明、可問責和可理解。這篇綜述論文提供了基本的定義，概述了可解釋監督機器學習(SML)的不同原理和方法。我們進行了最先進的綜述，回顧過去和最近可解釋的SML方法，并根據介紹的定義對它們進行分類。最后，我們通過一個解釋性的案例研究來說明原則，并討論未來的重要方向。

//www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的準確性是顯著的，但準確性并不是最重要的唯一方面。對于高風險的領域，對模型和輸出的詳細理解也很重要。底層的機器學習和深度學習算法構建的復雜模型對人類來說是不透明的。Holzinger等人(2019b)指出，醫學領域是人工智能面臨的最大挑戰之一。對于像醫療這樣的領域，深刻理解人工智能的應用是至關重要的，對可解釋人工智能(XAI)的需求是顯而易見的。

可解釋性在許多領域很重要，但不是在所有領域。我們已經提到了可解釋性很重要的領域，例如衛生保健。在其他領域，比如飛機碰撞避免，算法多年來一直在沒有人工交互的情況下運行，也沒有給出解釋。當存在某種程度的不完整時，需要可解釋性。可以肯定的是，不完整性不能與不確定性混淆。不確定性指的是可以通過數學模型形式化和處理的東西。另一方面，不完全性意味著關于問題的某些東西不能充分編碼到模型中(Doshi-Velez和Kim(2017))。例如，刑事風險評估工具應該是公正的，它也應該符合人類的公平和道德觀念。但倫理學是一個很寬泛的領域，它是主觀的，很難正式化。相比之下，飛機避免碰撞是一個很容易理解的問題，也可以被精確地描述。如果一個系統能夠很好地避免碰撞，就不用再擔心它了。不需要解釋。

本文詳細介紹了可解釋SML的定義，并為該領域中各種方法的分類奠定了基礎。我們區分了各種問題定義，將可解釋監督學習領域分為可解釋模型、代理模型擬合和解釋生成。可解釋模型的定義關注于自然實現的或通過使用設計原則強制實現的整個模型理解。代理模型擬合方法近似基于黑盒的局部或全局可解釋模型。解釋生成過程直接產生一種解釋，區分局部解釋和全局解釋。

綜上所述，本文的貢獻如下:

• 對五種不同的解釋方法進行形式化，并對整個解釋鏈的相應文獻(分類和回歸)進行回顧。
• 可解釋性的原因，審查重要領域和可解釋性的評估
• 這一章僅僅強調了圍繞數據和可解釋性主題的各個方面，比如數據質量和本體
• 支持理解不同解釋方法的連續用例
• 回顧重要的未來方向和討論

摘要

本文綜述了遷移學習在強化學習問題設置中的應用。RL已經成為序列決策問題的關鍵的解決方案。隨著RL在各個領域的快速發展。包括機器人技術和游戲，遷移學習是通過利用和遷移外部專業知識來促進學習過程來幫助RL的一項重要技術。在這篇綜述中，我們回顧了在RL領域中遷移學習的中心問題，提供了一個最先進技術的系統分類。我們分析他們的目標，方法，應用，以及在RL框架下這些遷移學習技術將是可接近的。本文從RL的角度探討了遷移學習與其他相關話題的關系，并探討了RL遷移學習的潛在挑戰和未來發展方向。

關鍵詞：遷移學習，強化學習，綜述，機器學習

介紹

強化學習(RL)被認為是解決連續決策任務的一種有效方法，在這種方法中，學習主體通過與環境相互作用，通過[1]來提高其性能。源于控制論并在計算機科學領域蓬勃發展的RL已被廣泛應用于學術界和工業界，以解決以前難以解決的任務。此外，隨著深度學習的快速發展，應用深度學習服務于學習任務的集成框架在近年來得到了廣泛的研究和發展。DL和RL的組合結構稱為深度強化學習[2](Deep Reinforcement Learning, DRL)。

DRL在機器人控制[3]、[4]、玩[5]游戲等領域取得了巨大的成功。在醫療保健系統[6]、電網[7]、智能交通系統[8]、[9]等領域也具有廣闊的應用前景。

在這些快速發展的同時，DRL也面臨著挑戰。在許多強化學習應用中，環境模型通常是未知的，只有收集到足夠的交互經驗，agent才能利用其對環境的知識來改進其性能。由于環境反饋的部分可觀察性、稀疏性或延遲性以及高維觀察和/或行動空間等問題，學習主體在沒有利用任何先驗知識的情況下尋找好的策略是非常耗時的。因此，遷移學習作為一種利用外部專業知識來加速學習過程的技術，在強化學習中成為一個重要的課題。

在監督學習(SL)領域[10]中，TL得到了廣泛的研究。與SL場景相比，由于MDP環境中涉及的組件更多，RL中的TL(尤其是DRL中的TL)通常更復雜。MDP的組件(知識來自何處)可能與知識轉移到何處不同。此外，專家知識也可以采取不同的形式，以不同的方式轉移，特別是在深度神經網絡的幫助下。隨著DRL的快速發展，以前總結用于RL的TL方法的努力沒有包括DRL的最新發展。注意到所有這些不同的角度和可能性，我們全面總結了在深度強化學習(TL in DRL)領域遷移學習的最新進展。我們將把它們分成不同的子主題，回顧每個主題的理論和應用，并找出它們之間的聯系。

本綜述的其余部分組織如下:在第2節中，我們介紹了強化學習的背景，關鍵的DRL算法，并帶來了這篇綜述中使用的重要術語。我們還簡要介紹了與TL不同但又緊密相關的相關研究領域(第2.3節)。

在第3節中，我們采用多種視角來評價TL方法，提供了對這些方法進行分類的不同方法(第3.1節)，討論了遷移源和目標之間的潛在差異(第3.2節)，并總結了評價TL有效性的常用指標(第3.3節)。

第4節詳細說明了DRL領域中最新的TL方法。特別是，所討論的內容主要是按照遷移知識的形式組織的，如成型的獎勵(4.1節)、先前的演示(4.2節)、專家策略(4.3節)，或者按照轉移發生的方式組織的，如任務間映射(4.4節)、學習可轉移表示(4.5節和4.6節)等。我們在第5節討論了TL在DRL中的應用，并在第6節提供了一些值得研究的未來展望。

當前的深度學習研究以基準評價為主。如果一種方法在專門的測試集上有良好的經驗表現，那么它就被認為是有利的。這種心態無縫地反映在持續學習的重現領域，在這里研究的是持續到達的基準數據集。核心挑戰是如何保護之前獲得的表示，以免由于迭代參數更新而出現災難性地遺忘的情況。然而，各個方法的比較是與現實應用程序隔離的，通常通過監視累積的測試集性能來判斷。封閉世界的假設仍然占主導地位。假設在部署過程中，一個模型保證會遇到來自與用于訓練的相同分布的數據。這帶來了一個巨大的挑戰，因為眾所周知，神經網絡會對未知的實例提供過于自信的錯誤預測，并在數據損壞的情況下崩潰。在這個工作我們認為值得注意的教訓來自開放數據集識別,識別的統計偏差以外的數據觀測數據集,和相鄰的主動學習領域,數據增量查詢等預期的性能收益最大化,這些常常在深度學習的時代被忽略。基于這些遺忘的教訓，我們提出了一個統一的觀點，以搭建持續學習，主動學習和開放集識別在深度神經網絡的橋梁。我們的結果表明，這不僅有利于每個個體范式，而且突出了在一個共同框架中的自然協同作用。我們從經驗上證明了在減輕災難性遺忘、主動學習中查詢數據、選擇任務順序等方面的改進，同時在以前提出的方法失敗的地方展示了強大的開放世界應用。

//www.zhuanzhi.ai/paper/e5bee7a1e93a93ef97e1c

概述：

隨著實用機器學習系統的不斷成熟，社區發現了對持續學習[1]、[2]的興趣。與廣泛練習的孤立學習不同，在孤立學習中，系統的算法訓練階段被限制在一個基于先前收集的i.i.d數據集的單一階段，持續學習需要利用隨著時間的推移而到來的數據的學習過程。盡管這種范式已經在許多機器學習系統中找到了各種應用，回顧一下最近關于終身機器學習[3]的書，深度學習的出現似乎已經將當前研究的焦點轉向了一種稱為“災難性推理”或“災難性遺忘”的現象[4]，[5]，正如最近的評論[6]，[7]，[8]，[9]和對深度持續學習[8]，[10]，[11]的實證調查所表明的那樣。后者是機器學習模型的一個特殊效應，機器學習模型貪婪地根據給定的數據群更新參數，比如神經網絡迭代地更新其權值，使用隨機梯度估計。當包括導致數據分布發生任何變化的不斷到達的數據時，學習到的表示集被單向引導，以接近系統當前公開的數據實例上的任何任務的解決方案。自然的結果是取代以前學到的表征，導致突然忘記以前獲得的信息。

盡管目前的研究主要集中在通過專門機制的設計來緩解持續深度學習中的這種遺忘，但我們認為，一種非常不同形式的災難性遺忘的風險正在增長，即忘記從過去的文獻中吸取教訓的危險。盡管在連續的訓練中保留神經網絡表示的努力值得稱贊，但除了只捕獲災難性遺忘[12]的度量之外，我們還高度關注了實際的需求和權衡，例如包括內存占用、計算成本、數據存儲成本、任務序列長度和訓練迭代次數等。如果在部署[14]、[15]、[16]期間遇到看不見的未知數據或小故障，那么大多數當前系統會立即崩潰，這幾乎可以被視為誤導。封閉世界的假設似乎無所不在，即認為模型始終只會遇到與訓練過程中遇到的數據分布相同的數據，這在真實的開放世界中是非常不現實的，因為在開放世界中，數據可以根據不同的程度變化，而這些變化是不現實的，無法捕獲到訓練集中，或者用戶能夠幾乎任意地向系統輸入預測信息。盡管當神經網絡遇到不可見的、未知的數據實例時，不可避免地會產生完全沒有意義的預測，這是眾所周知的事實，已經被暴露了幾十年了，但是當前的努力是為了通過不斷學習來規避這一挑戰。選擇例外嘗試解決識別不可見的和未知的示例、拒絕荒謬的預測或將它們放在一邊供以后使用的任務，通常總結在開放集識別的傘下。然而，大多數現有的深度連續學習系統仍然是黑盒，不幸的是，對于未知數據的錯誤預測、數據集的異常值或常見的圖像損壞[16]，這些系統并沒有表現出理想的魯棒性。

除了目前的基準測試實踐仍然局限于封閉的世界之外，另一個不幸的趨勢是對創建的持續學習數據集的本質缺乏理解。持續生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及類增量持續學習的大部分工作(如[12]中給出的工作,[23],[24],[25],[26],[27],[28])一般調查sequentialized版本的經過時間考驗的視覺分類基準如MNIST [29], CIFAR[30]或ImageNet[31],單獨的類只是分成分離集和序列所示。為了在基準中保持可比性，關于任務排序的影響或任務之間重疊的影響的問題通常會被忽略。值得注意的是，從鄰近領域的主動機器學習(半監督學習的一種特殊形式)中吸取的經驗教訓，似乎并沒有整合到現代的連續學習實踐中。在主動學習中，目標是學會在讓系統自己查詢接下來要包含哪些數據的挑戰下，逐步地找到與任務解決方案最接近的方法。因此，它可以被視為緩解災難性遺忘的對抗劑。當前的持續學習忙于維護在每個步驟中獲得的信息，而不是無休止地積累所有的數據，而主動學習則關注于識別合適的數據以納入增量訓練系統的補充問題。盡管在主動學習方面的早期開創性工作已經迅速識別出了通過使用啟發式[32]、[33]、[34]所面臨的強大應用的挑戰和陷阱，但后者在深度學習[35]、[36]、[37]、[38]的時代再次占據主導地位，這些挑戰將再次面臨。

在這項工作中，我們第一次努力建立一個原則性和鞏固的深度持續學習、主動學習和在開放的世界中學習的觀點。我們首先單獨回顧每一個主題，然后繼續找出在現代深度學習中似乎較少受到關注的以前學到的教訓。我們將繼續爭論，這些看似獨立的主題不僅從另一個角度受益，而且應該結合起來看待。在這個意義上，我們建議將當前的持續學習實踐擴展到一個更廣泛的視角，將持續學習作為一個總括性術語，自然地包含并建立在先前的主動學習和開放集識別工作之上。本文的主要目的并不是引入新的技術或提倡一種特定的方法作為通用的解決方案，而是對最近提出的神經網絡[39]和[40]中基于變分貝葉斯推理的方法進行了改進和擴展，以說明一種走向全面框架的可能選擇。重要的是，它作為論證的基礎，努力闡明生成建模作為深度學習系統關鍵組成部分的必要性。我們強調了在這篇論文中發展的觀點的重要性，通過實證證明，概述了未來研究的含義和有前景的方向。

在一個常見的機器學習問題中，使用對訓練數據集估計的模型，根據觀察到的特征預測未來的結果值。當測試數據和訓練數據來自相同的分布時，許多學習算法被提出并證明是成功的。然而，對于給定的訓練數據分布，性能最好的模型通常會利用特征之間微妙的統計關系，這使得它們在應用于分布與訓練數據不同的測試數據時，可能更容易出現預測錯誤。對于學術研究和實際應用來說，如何開發能夠穩定和穩健地轉換數據的學習模型是至關重要的。

因果推理是指根據效果發生的條件得出因果關系的結論的過程，是一種強大的統計建模工具，用于解釋和穩定學習。本教程側重于因果推理和穩定學習，旨在從觀察數據中探索因果知識，提高機器學習算法的可解釋性和穩定性。首先，我們將介紹因果推論，并介紹一些最近的數據驅動方法，以估計因果效應從觀測數據，特別是在高維設置。為了彌補因果推理和機器學習之間的差距，我們首先給出了穩定性和魯棒性學習算法的定義，然后將介紹一些最近的穩定學習算法來提高預測的穩定性和可解釋性。最后，我們將討論穩定學習的應用和未來的發展方向，并提供穩定學習的基準。

//kdd2020tutorial.thumedialab.com/

小樣本學習是當前研究關注的熱點。這篇論文總結了2016年到2020年的小樣本元學習文章，劃分為四類：基于數據增強; 基于度量學習，基于元優化; 和基于語義的。值得查看！

摘要：

在圖像識別和圖像分類等方面，深度神經網絡的表現已經超過了人類。然而，隨著各種新類別的出現，如何從有限的樣本中不斷擴大此類網絡的學習能力，仍然是一個挑戰。像元學習和/或小樣本學習這樣的技術表現出了良好的效果，他們可以根據先驗知識學習或歸納到一個新的類別/任務。在本文中，我們研究了計算機視覺領域中現有的小樣本元學習技術的方法和評價指標。我們為這些技術提供了一個分類法，并將它們分類為數據增強、嵌入、優化和基于語義的學習，用于小樣本、單樣本和零樣本設置。然后我們描述在每個類別中所做的重要工作，并討論他們解決從少數樣本中學習的困境的方法。最后，我們在常用的基準測試數據集Omniglot和MiniImagenet上比較了這些技術，并討論了提高這些技術性能的未來方向，從而達到超越人類的最終目標。

地址: //www.zhuanzhi.ai/paper/8d29a5f14fcd0cc9a1aa508d072fb328

概述：

基于人工智能(AI)的系統正在成為人類生活的重要組成部分，無論是個人生活還是專業生活。我們周圍都是基于人工智能的機器和應用程序，它們將使我們的生活變得更容易。例如，自動郵件過濾(垃圾郵件檢測)，購物網站推薦，智能手機中的社交網絡等[1,2,3,4]。這一令人印象深刻的進展之所以成為可能，是因為機器或深度學習模型[5]取得了突破性的成功。機器或深度學習占據了AI領域的很大一部分。深度學習模型是建立在多層感知器與應用基于梯度的優化技術的能力。深度學習模型最常見的兩個應用是:計算機視覺(CV)，其目標是教會機器如何像人類一樣看和感知事物;自然語言處理(NLP)和自然語言理解(NLU)，它們的目標是分析和理解大量的自然語言數據。這些深度學習模型在圖像識別[6,7,8]、語音識別[9,10,11,12,13]、自然語言處理與理解[14,15,16,17,18]、視頻分析[19,20,21,22,23]、網絡安全[24,25,26,27,28,29,30]等領域都取得了巨大的成功。機器和/或深度學習最常見的方法是監督學習，其中針對特定應用程序的大量數據樣本與它們各自的標簽一起被收集并形成一個數據集。該數據集分為三個部分: 訓練、驗證和測試。在訓練階段，將訓練集和驗證集的數據及其各自的標簽輸入模型，通過反向傳播和優化，將模型歸納為一個假設。在測試階段，將測試數據輸入模型，根據導出的假設，模型預測測試數據樣本的輸出類別。

由于計算機和現代系統的強大能力[31,32]，處理大量數據的能力已經非常出色。隨著各種算法和模型的進步，深度學習已經能夠趕上人類，在某些情況下甚至超過人類。AlphaGo[33]是一個基于人工智能的agent，在沒有任何人類指導的情況下訓練，能夠擊敗世界圍棋冠軍。圍棋是一種古老的棋盤游戲，被認為比國際象棋[34]復雜10倍;在另一個復雜的多人戰略游戲《DOTA》中，AI-agent打敗了《DOTA[35]》的人類玩家;對于圖像識別和分類的任務，ResNet[6]和Inception[36,37,38]等模型能夠在流行的ImageNet數據集上取得比人類更好的性能。ImageNet數據集包括超過1400萬張圖像，超過1000個類別[39]。

人工智能的最終目標之一是在任何給定的任務中趕上或超過人類。為了實現這一目標，必須盡量減少對大型平衡標記數據集的依賴。當前的模型在處理帶有大量標記數據的任務時取得了成功的結果，但是對于其他帶有標記數據很少的任務(只有少數樣本)，各自模型的性能顯著下降。對于任何特定任務，期望大型平衡數據集是不現實的，因為由于各種類別的性質，幾乎不可能跟上產生的標簽數據。此外，生成標記數據集需要時間、人力等資源，而且在經濟上可能非常昂貴。另一方面，人類可以快速地學習新的類或類，比如給一張奇怪動物的照片，它可以很容易地從一張由各種動物組成的照片中識別出動物。人類相對于機器的另一個優勢是能夠動態地學習新的概念或類，而機器必須經過昂貴的離線培訓和再培訓整個模型來學習新類，前提是要有標簽數據可用性。研究人員和開發人員的動機是彌合人類和機器之間的鴻溝。作為這個問題的一個潛在解決方案，我們已經看到元學習[40,41,42,43,44,45,46,47,48,49,50]、小樣本學習[51,52,53,54]、低資源學習[55,56,57,58]、零樣本學習[59,60,61,62,63,63,64,64,65]等領域的工作在不斷增加，這些領域的目標是使模型更好地推廣到包含少量標記樣本的新任務。

什么是小樣本元學習？

在few-shot, low-shot, n-shot learning (n一般在1 - 5之間)中，其基本思想是用大量的數據樣本對模型進行多類的訓練，在測試過程中，模型會給定一個新的類別(也稱為新集合)，每個類別都有多個數據樣本，一般類別數限制為5個。在元學習中，目標是泛化或學習學習過程，其中模型針對特定任務進行訓練，不同分類器的函數用于新任務集。目標是找到最佳的超參數和模型權值，使模型能夠輕松適應新任務而不過度擬合新任務。在元學習中，有兩類優化同時運行: 一類是學習新的任務; 另一個是訓練學習器。近年來，小樣本學習和元學習技術引起了人們極大的興趣。

元學習領域的早期研究工作是Yoshua和Samy Bengio[67]以及Fei-Fei Li在less -shot learning[68]中完成的。度量學習是使用的較老的技術之一，其目標是從嵌入空間中學習。將圖像轉換為嵌入向量，特定類別的圖像聚在一起，而不同類別的圖像聚在一起比較遠。另一種流行的方法是數據增強，從而在有限的可用樣本中產生更多的樣本。目前，基于語義的方法被廣泛地研究，分類僅僅基于類別的名稱及其屬性。這種基于語義的方法是為了解決零樣本學習應用的啟發。

遷移學習與自監督學習

遷移學習的總體目標是從一組任務中學習知識或經驗，并將其遷移到類似領域的任務中去[95]。用于訓練模型獲取知識的任務有大量的標記樣本，而遷移任務的標記數據相對較少(也稱為微調)，這不足以使模型訓練和收斂到特定的任務。遷移學習技術的表現依賴于兩項任務之間的相關性。在執行遷移學習時，分類層被訓練用于新的任務，而模型中先前層的權值保持不變[96]。對于每一個新的任務，在我們進行遷移學習的地方，學習速率的選擇和要凍結的層數都必須手工決定。與此相反，元學習技術可以相當迅速地自動適應新的任務。

自監督學習的研究近年來得到了廣泛的關注[97,98,99]。自監督學習(SSL)技術的訓練基于兩個步驟:一是在一個預定義代理任務上進行訓練，在大量的未標記數據樣本上進行訓練;第二，學習到的模型參數用于訓練或微調主要下游任務的模型。元學習或小樣本學習技術背后的理念與自監督學習非常相似，自監督學習是利用先前的知識，識別或微調一個新的任務。研究表明，自監督學習可以與小樣本學習一起使用，以提高模型對新類別的表現[100,101]。

方法體系組織：

元學習、小樣本學習、低資源學習、單樣本學習、零樣本學習等技術的主要目標是通過基于先驗知識或經驗的迭代訓練，使深度學習模型從少量樣本中學習能泛化到新類別。先驗知識是在包含大量樣本的帶標簽數據集上訓練樣本，然后利用這些知識在有限樣本下識別新的任務而獲得的知識。因此，在本文中，我們將所有這些技術結合在了小樣本體系下。由于這些技術沒有預定義的分類，我們將這些方法分為四大類: 基于數據增強; 基于度量學習，基于元優化; 和基于語義的(如圖1所示)。基于數據增強的技術非常流行，其思想是通過擴充最小可用樣本和生成更多樣化的樣本來訓練模型來擴展先驗知識。在基于嵌入的技術中，數據樣本被轉換為另一個低級維，然后根據這些嵌入之間的距離進行分類。在基于優化的技術中，元優化器用于在初始訓練期間更好地泛化模型，從而可以更好地預測新任務。基于語義的技術是將數據的語義與模型的先驗知識一起用于學習或優化新的類別。

本文綜述了元學習在圖像分類、自然語言處理和機器人技術等領域的應用。與深度學習不同，元學習使用較少的樣本數據集，并考慮進一步改進模型泛化以獲得更高的預測精度。我們將元學習模型歸納為三類: 黑箱適應模型、基于相似度的方法模型和元學習過程模型。最近的應用集中在將元學習與貝葉斯深度學習和強化學習相結合，以提供可行的集成問題解決方案。介紹了元學習方法的性能比較，并討論了今后的研究方向。

圖神經網絡是解決各種圖學習問題的有效的機器學習模型。盡管它們取得了經驗上的成功，但是GNNs的理論局限性最近已經被揭示出來。因此，人們提出了許多GNN模型來克服這些限制。在這次調查中，我們全面概述了GNNs的表達能力和可證明的強大的GNNs變體。