亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

序列決策，通常形式化為馬爾可夫決策過程(MDP)優化，是人工智能的一個重要挑戰。解決這個問題的兩種關鍵方法是強化學習(RL)和規劃。這項綜述是這兩個領域的集成，更廣為人知的是基于模型的強化學習。基于模型的RL有兩個主要步驟。首先，我們系統地介紹了動力學模型學習的方法，包括處理隨機性、不確定性、部分可觀察性和時間抽象等挑戰。其次，我們提出了規劃-學習集成的系統分類，包括:從哪里開始規劃，為規劃和實際數據收集分配哪些預算，如何規劃，以及如何在學習和行動循環中集成規劃。在這兩個部分之后，我們還討論了隱式基于模型的RL作為模型學習和規劃的端到端替代方案，并討論了基于模型的RL的潛在好處。在此過程中，調研還與幾個相關的RL領域建立了聯系，如分層RL和傳輸。

本文對常用于軍事目的的十種算法進行簡短綜述，然后分析它們對數據流和GaAs的潛在適用性，GaAs是芯片上超級計算機的特定架構和技術。每當一種算法或設備被用于軍事場合時，自然會假設與速度、可靠性、規模、能量、尺寸和精確度有關的嚴格要求。上述兩種范式在滿足這些要求中的大部分方面是有希望的。

1 引言

這是對優化和學習的十種具體算法的一個小型綜述，結合對它們在未來芯片上的超級計算機中的數據流實現的適用性的分析，如[1]所述，以及它們對GaAs技術的適用性，這也是未來芯片上的超級計算機的一個選擇。顯然，這些算法的計算量需要在一個小的物理空間內有大量的計算能力。

在第2節中，每個算法都用適當的數學和邏輯概念進行了說明，并使用[2]中的準則進行介紹，即以下幾點：

1.要解決的問題是什么。

2.在引入所提出的算法之前，現有的最佳算法是什么。

3.為什么新提出的算法會更好？

4.在哪些條件下，它的優勢有多大？

上述每個問題都盡可能簡明扼要地介紹，以便有效地深入了解其本質。

在第3節中，每一種算法都從適合數據流技術的角度進行了描述，數據流技術對高速、高精度、低功耗和低尺寸的航空航天和國防應用很有前途。

在第4節中，從適合GaAs技術的角度描述了每種算法，GaAs技術對航空航天和國防領域典型的高輻射環境下的超高速處理比較有用。

第5節介紹了與本綜述所關注的各種情況下的性價比有關的結論。

2 算法

人工智能（AI）算法已經進入國防領域，它們的廣泛使用正在改變戰爭和一般國防的經典理論。算法被用于檢測、規劃、現場作戰和輔助支持，這些都是國防部門的主要任務。算法和智能傳感器被用來在邊境口岸、海關檢查站和其他旅行口岸檢測潛在的危險人物和物體。作為這些算法的輸出，所獲得的洞察力被用來部署積極的警務工作，并對危機情況提供更全面的了解。在計劃中，可用的數據和算法被用來更好地預測資源需求和任務及培訓演習的相關費用。在實地行動中，這些可以提供實時信息和快速評估，以改善任務結果，保護人員、資產和信息。一些系統和武器配備了各種輔助決策系統，而無人駕駛車輛和機器人則以較高的精度和較少的資源執行涉及安全風險的任務。

在本文中，我們介紹了十種算法，這些算法被用于核心、戰術和支持作戰的軍事應用中。基礎問題的實例，即算法的輸入，通常規模很大。因此，有大量的數據需要快速處理，最好是實時的、準確的和可靠的，同時保證信息的保密性和控制，即使在惡劣的條件下操作。

在DARPA贊助的項目中，最常發現的算法與我們下面介紹的問題和算法有關。算法和問題的選擇似乎略微偏向于計算機視覺，因為它似乎是發展自動駕駛汽車的基本技術，取代了駕駛員的眼睛，從而使汽車能夠在危險的地點檢測到感興趣的物體。

A 大規模隨機規劃問題

軍隊中每天都有大量的優化問題，這些問題具有一定的不確定性，通常呈現在各種場景中。應用范圍從每月或每天的空運或海運貨物的調度[4]，到網絡勞動力規劃[5]或醫療設施部署規劃[6]。這些都需要快速、準確和可靠的大規模隨機規劃問題的求解器。

Benders分解法是一種數學規劃技術，用于解決具有特定塊結構的超大型線性規劃問題[7]。

假設一個問題分兩個或多個階段發生，后面階段的決策取決于前面階段的結果。第一次嘗試對第一階段的問題進行決策時，事先不知道關于后面階段決策的最優性。第一階段的決策是主問題，而后續階段被視為獨立的子問題，其信息被傳遞回主問題。如果檢測到任何違反子問題約束的情況，該約束將被添加到主問題中，然后被解決。主問題代表了一個初始的凸集，它被從子問題中收集到的信息進一步約束，因此隨著信息的增加，可行空間會縮小。如果矩陣A和B代表約束條件，Y代的可行集，我們要解決的問題被表示為最小化問題，如下所示：

在圖1中，我們說明了Bender分解算法。一旦得到初始主問題和子問題，在得出初始MP和子問題后，算法從主問題開始，然后在它們之間交替進行，直到找到一個最優解。較小的問題基本上是多項式時間可計算的問題，而它們的獨立性允許有效利用并行性。

一般來說，線性規劃是一個NP完全的問題，而Benders分解是一種能緩慢收斂到所需解決方案的方法。

B 圖像配準

機械臂和自主裝甲車的絕對精度是可能的，這要歸功于計算機視覺應用于從多個攝像機收集的高分辨率輸入，這些輸入最終需要轉化為相同的坐標系，以便為后續算法創建一致的數據。這是用所謂的圖像配準算法完成的。

圖像配準包括對源圖像進行空間轉換，以便與目標圖像對齊，如圖2所示。對齊是通過一個特定的映射來進行的，這個映射被稱為 "同構"，定義如下。

有大量的算法可以準確地進行圖像配準。當圖像被暴露在噪聲中，導致一個場景在圖像中顯得雜亂無章時，現有的最佳解決方案具有多項式時間復雜性（見[8]）。

最近，高分辨率圖像的實時配準（詳見[9]），正在由高速硬件來解決，這些硬件利用并行性和自適應采樣技術來滿足高速便攜式多媒體設備的要求（見[10]）。

C 視頻拼接

圖像和視頻拼接是通過拼接幾個有多處重疊的圖像/視頻來獲得全面的圖像/視頻視野，從而消除圖像或視頻中的視野限制。視頻拼接本質上是對多圖像拼接的概括，具有一系列新的限制和挑戰。

首先，圖像需要使用之前解釋過的圖像配準將其轉換為相同的坐標系。然后，根據使用情況，選擇一個適當的算法來尋找拼接縫隙。

較早開發的算法通常根據一個估計的單一變換對多個重疊的圖像進行全局變形和對齊。最近開發的算法將該問題轉化為更高級的優化問題，考慮到攝像機的移動，這需要穩定視頻。因此，視頻拼接可以被設定為優化一個由穩定項和拼接項組成的目標函數，在此基礎上進行迭代優化算法。顯然，即使是拼接低分辨率的視頻也需要大量的計算（見[11]）。把這個問題帶到國防應用的現實場景中，需要對位置不固定的攝像機獲得的高分辨率視頻進行拼接。

D 模式識別算法

模式識別涉及自動識別數據中的規律性，并將數據分為不同類別。

分類是指識別一個（或多個）觀測值屬于一組類別（子群體）中的哪一個的問題。這方面的例子是將視頻流中的識別對象標記為敵人，或者根據觀察到的設備特征（類型、某些特征的存在等）來分配網絡診斷中的一個設備。對于分類問題，我們將考慮邏輯回歸、kNN、感知機和SVM。

聚類是一種分類和預測分類標簽的方法，對于這個類別，我們將介紹kmeans算法。

最后，我們還將考慮集成學習，其本質是將多種學習算法結合在一起的有監督的元算法。

• 1）邏輯回歸

邏輯模型在統計學中被用來評估某個事件或現有的一組事件的概率，如通過/失敗、贏/輸、生/死或敵/友。它也可以擴展到對幾類事件進行建模，如確定圖像中的人是否有火箭筒，圖像中是否包含特定物體等。在圖像中檢測到的每個物體都被賦予0到1的概率，其總和為1。

• 2）online kNN

kNN是一種監督學習算法，它將標記好的訓練好的樣本存儲為一對(X1, Y1), (X2, Y2), ...... ，(Xn, Yn)，在Rd×{1, 2}中取值。訓練階段只包括存儲這些樣本。為了進行預測，kNN算法找到查詢點的k個最近的鄰居，并根據最近的k個最相似的點計算出類標簽。

• 3）感知機

感知機是一種學習閾值函數的算法：一個將其輸入x（實值向量）映射到輸出值f(x)（單一二進制值）的函數。單層感知機的自然擴展是多層感知機，它基本上包含了許多組織成層的感知機，從而獲得在合理時間內解決更復雜問題的能力。

• 4）用于實時目標檢測的神經網絡

一個可靠的、高度準確的實時目標檢測算法在防御中是最重要的。在給定的視頻中實時檢測某類語義物體的實例（如人類、動物、道路或車輛）。輸入是以連續視頻流的形式給出的，而輸出則是分配給每個檢測到的目標的注釋描述符，該描述符在其出現的幀中以適當的方框為界。

YOLO算法被認為是最先進的算法。YOLO的處理管道包括一個單一的神經網絡，它首先預測圖像中的界線框，之后問題被簡化為對空間分離的界線框的回歸。

YOLO首先將圖像分割成單元，通常是19x19的網格。然后每個單元負責預測K個邊界盒。YOLO根據單元格包含某個類別的概率，為盒子和類別確定一個置信度分數。詳細來說，一個類別的置信度分數是界線框置信度分數和類別概率的乘積。然后對所有單元格重復這一過程。然后，需要用所謂的非最大抑制法過濾掉不必要的界線框，通過這種方法，選擇一個具有最高類別概率的界線框。這樣做直到我們剩下所有不同的目標類別的界線框。

預測結果與地面實況之間的誤差之和被用來計算損失。損失函數包括：分類損失、定位損失（預測的邊界框和地面實況之間的誤差）和置信度損失（框的客觀性）。

這種方法在軍事上的應用有兩個額外的限制：（1）在準確性和速度之間不做權衡；（2）出于安全考慮，不使用在安全范圍外預訓練的網絡。

這些限制和問題的性質要求在數據流上有巨大的連續處理能力，以使這種算法能夠成功使用。

• 5）支持向量機（SVM）

為了檢測網絡中的入侵行為（IDS），需要對其流量進行特殊的簽名分析。正常的網絡流量往往表現出與攻擊相似的特征，而黑客經常應用混淆的方式進行網絡入侵。

機器學習為準確識別IDS提供了廣泛的有效工具，其限制條件是訓練數據集不應與惡意數據有關。支持向量機（SVM）是這項任務的一個有希望的候選者[14]。

這種算法的目的是在N維空間中找到一個超平面，在保持最大余量的同時將數據點分開，也就是各個類的點之間的最大距離。

盡管SVM的空間和時間復雜度是多項式的（分別是對輸入大小的二次和三次），但網絡中的數據量要求有特殊的結構，以使這種算法能有效地用于上述目的。

• 6）k-means

k-means聚類是一種矢量量化的方法，其目的是將n個觀測值劃分為k個聚類，每個觀測值都屬于平均值最近的聚類，作為聚類的原型。這導致數據空間被劃分為Voronoi單元。

• 7) 集成模型--Boosting

集成模型使用多個不同的建模算法或不同的訓練數據集來預測一個結果。然后，集成模型將每個使用過的模型的預測結果匯總，得出其對未見過的數據的最終預測結果。特別是，Boosting是一種集成模型，已被廣泛用于軍事應用中（見[15]）。

在實踐中，AdaBoost算法是通過級聯上述SVM弱分類器的數量來實現的。

3 數據流

數據流范式[16], [17], [18]已經被引入，與傳統的控制流范式[19]形成對比。在控制流中，編寫程序的目的是為了對通過硬件的數據流進行微觀控制。在數據流中，編寫程序的目的是為了配置硬件，因此，在理想情況下，電壓差可以通過硬件移動數據。

與控制流范式相比，數據流范式可以實現10倍、100倍、甚至1000倍的速度提升。同時，功率的降低可以達到10倍左右。精度可以在整個算法中變化，這就節省了芯片面積。設備的尺寸也得到了減少，系數高達10倍。

從這種模式中受益最多的算法是那些以耗時的循環和每個特定循環迭代中的大量數據可用性為特征的算法。在本文綜述的算法中，最適合數據流實現的算法是：邏輯回歸、K-means和集成模型。

這些算法的數據流實現的例子，以及其他類似的算法，可以在appgallery.maxeler.com 或[16]中找到。關于更多信息，感興趣的讀者可以參考文獻[19]、[17]、[18]。

4 GaAS

GaAs技術也可用于處理器的設計和算法的實現。它提供了明顯更高的處理器速度和精度或輻射硬度，這使得它適合在航空航天和國防環境中使用。另一方面，可以放置在單個芯片上的晶體管數量較少，而柵極延遲在很大程度上取決于柵極扇出。

這些特點決定了處理器設計和算法實現的具體要求。一方面，沒有多少邏輯可以放置在單個芯片上，另一方面，片外和片內延遲的比例相對較高。這就要求利用高度流水線架構，其中流水線元件的復雜性相對較小。

在DARPA的贊助下，實現各種類型的處理器工作在[20]和[21]中描述。重要的概念在[22]和[23]中被描述。這些概念也與本文描述的算法的實現有關。

基于上述事實，可以預期最有效的實現是那些可以使用許多小元素，以流水線方式連接的算法，如圖像/視頻配準和拼接。其他例子包括感知器、SVM、kmeans和集成建模。這些說法通過本文共同作者任教的大學中的一些學生項目得到了驗證。

5 結論

所綜述的算法是根據在選定的軍事應用中的使用頻率選擇的。我們從基于數據流范式和GaAs技術的實施角度來研究這些算法。

研究發現，有些算法比其他算法更適合于數據流。也就是說，最適合的算法是那些以循環對整個運行時間的高貢獻為特征的算法，以及那些在每個循環迭代中具有高水平數據重用性的算法。

就利用GaAs技術帶來的潛在好處而言，那些可以在大量小模塊上實現的、以流水線或系統方式連接的算法有望獲得最佳性能提升。此外，對片外和片內延遲的大比率不太敏感的算法更適合這種技術，因為這種技術可以提供高速度，但不允許使用大芯片。

最后，這項調查開辟了與三角中的協同作用有關的新研究途徑：算法-架構-技術。為了從眾多的選擇中適當地選擇一種特定的算法，有必要進行本文所介紹分析。

【導讀】首篇深度強化學習推薦系統綜述論文，值的關注!

摘要

鑒于深度強化學習(DRL)在推薦系統研究中的出現，以及近年來取得的豐碩成果，本研究旨在對深度強化學習在推薦系統中的最新發展趨勢提供一個及時而全面的概述。我們從在推薦系統中應用DRL的動機開始。然后，我們給出了當前基于DRL的推薦系統的分類，并對現有的方法進行了總結。我們討論新出現的話題和未決的問題，并提供我們推進該領域的觀點。本綜述為來自學術界和工業界的讀者提供了入門材料，并確定了進一步研究的顯著機會。

引言

近年來，推薦技術有了長足的發展，從傳統的協同過濾、基于內容的推薦、矩陣分解等推薦技術[62]，到基于深度學習的推薦技術。特別是深度學習在解決復雜任務和處理復雜數據方面具有很強的優勢，因為深度學習能夠捕捉非線性的用戶-項目關系，能夠處理圖像、文本等各種類型的數據源。因此，它在推薦系統中得到了越來越多的應用。由于分布的變化，基于深度學習的推薦系統在捕獲興趣動態方面存在局限性[17,115]，即訓練階段基于現有的數據集，這可能不能反映真實的用戶喜好，而用戶的喜好變化很快。而深度強化學習(deep reinforcement learning, DRL)的目標是將深度學習和強化學習的力量結合起來，訓練出一種能夠從環境提供的交互軌跡中學習的agent。由于DRL中的agent可以主動從用戶的實時反饋中學習，從而推斷出用戶的動態偏好，因此DRL特別適合于從交互中學習，如人-機器人協作; 它還推動了一系列互動應用的顯著進步，從視頻游戲、Alpha Go到自動駕駛[3]。鑒于DRL對推薦系統的重要性和最近的進展，我們旨在在本次綜述中及時總結和評論基于DRL的推薦系統。

最近的一項基于強化學習的推薦系統[2]綜述了推薦系統中的強化學習，但沒有對日益增長的深度強化學習領域進行復雜的研究。我們綜述重點在于系統全面地概述了基于DRL的推薦系統中的現有方法，并討論了新出現的主題、未決問題和未來的方向。這項綜述介紹了研究人員，實踐者和教育工作者到這個主題，并促進了對該領域的關鍵技術的理解。

這項綜述的主要貢獻包括:

• 我們提供關于推薦系統中深度強化學習的最新綜合綜述，具有最先進的技術和指向核心參考文獻的指針。據我們所知，這是基于深度強化學習的推薦系統的第一個全面綜述。

• 我們給出了推薦系統中深度強化學習的文獻分類。在概述分類和文獻綜述的同時，我們討論了其優缺點，并對未來的研究方向提出了建議。

• 我們闡明了基于DRL的推薦系統的新興主題和開放問題。我們還指出了未來發展方向，這對推進基于DRL的推薦系統至關重要。

本綜述的其余部分組織如下: 第2節概述了推薦系統、DRL及其集成。第3節提供了一個分類和分類機制的文獻綜述。第4節回顧了出現的話題，第5節指出了未解決的問題。最后，第6節為這一領域的進一步發展提供了一些有前景的未來方向。

【論文標題】多智能體深度強化學習：綜述Multi-agent deep reinforcement learning: a survey

【作者團隊】Sven Gronauer, Klaus Diepold

【論文鏈接】//link.springer.com/content/pdf/10.1007/s10462-021-09996-w.pdf

【推薦理由】強化學習的進步已記錄了各個領域的卓越成就。盡管在此過程中，多智能體領域已被其單智能體領域所遮蓋，但多智能體強化學習獲得了快速發展的動力，最新成果解決了現實世界中的復雜性問題。本文概述了多智能體深度強化學習領域的最新發展。主要關注近年來的文獻，這些文獻結合了深度強化學習方法和多智能體方案。主要內容分為三個部分。首先，分析了用于訓練多個特工的訓練方案的結構。第二，考慮了合作，競爭和混合場景中代理行為的新興模式。第三，系統地枚舉了多代理領域中唯一出現的挑戰，并回顧了用于應對這些挑戰的方法。本文討論了研究進展，確定趨勢并概述了該研究領域未來工作的可能方向。

【導讀】2020注定是寫入到歷史的一年，新冠變成主題詞。在2019年機器學習領域繼續快速發展，深度學習理論、對比學習、自監督學習、元學習、持續學習、小樣本學習等取得很多進展。在此，專知小編整理這一年這些研究熱點主題的綜述進展，共十篇，了解當下，方能向前。

1、Recent advances in deep learning theory（深度學習理論）

陶大程院士等最新《深度學習理論進展》綜述論文，41頁pdf255篇文獻闡述六大方面進展

作者：Fengxiang He,Dacheng Tao

摘要：深度學習通常被描述為一個實驗驅動的領域，并不斷受到缺乏理論基礎的批評。這個問題已經部分地被大量的文獻解決了，這些文獻至今沒有被很好地組織起來。本文對深度學習理論的最新進展進行了綜述和整理。文獻可分為六類: (1)基于模型復雜度和容量的深度學習泛化; (2)用于建模隨機梯度下降及其變量的隨機微分方程及其動力學系統，其特征是深度學習的優化和泛化，部分受到貝葉斯推理啟發; (3)驅動動力系統軌跡的損失的幾何結構; (4)深度神經網絡的過參數化從積極和消極兩個方面的作用; (5)網絡架構中幾種特殊結構的理論基礎; (6)對倫理和安全及其與泛化性的關系的日益關注。

網址： //www.zhuanzhi.ai/paper/b5ac0f259b59817b890b6c253123ee84

2、Learning from Very Few Samples: A Survey（少樣本學習）

清華大學張長水等最新《少樣本學習FSL》2020綜述論文，30頁pdf414篇參考文獻

作者：Jiang Lu,Pinghua Gong,Jieping Ye,Changshui Zhang

摘要：少樣本學習(FSL)在機器學習領域具有重要意義和挑戰性。成功地從很少的樣本中學習和歸納的能力是區分人工智能和人類智能的一個明顯的界限，因為人類可以很容易地從一個或幾個例子中建立他們對新穎性的認知，而機器學習算法通常需要數百或數千個監督樣本來保證泛化能力。盡管FSL的悠久歷史可以追溯到21世紀初，近年來隨著深度學習技術的蓬勃發展也引起了廣泛關注，但迄今為止，有關FSL的調研或評論還很少。在此背景下，我們廣泛回顧了2000年至2019年FSL的200多篇論文，為FSL提供了及時而全面的調研。在本綜述中，我們回顧了FSL的發展歷史和目前的進展，原則上將FSL方法分為基于生成模型和基于判別模型的兩大類，并特別強調了基于元學習的FSL方法。我們還總結了FSL中最近出現的幾個擴展主題，并回顧了這些主題的最新進展。此外，我們重點介紹了FSL在計算機視覺、自然語言處理、音頻和語音、強化學習和機器人、數據分析等領域的重要應用。最后，我們對調查進行了總結，并對未來的發展趨勢進行了討論，希望對后續研究提供指導和見解。

網址：

3、A Survey on Knowledge Graphs: Representation, Acquisition and Applications（知識圖譜研究綜述論文）

最新！知識圖譜研究綜述論文: 表示學習、知識獲取與應用，25頁pdf詳述Knowledge Graphs技術趨勢

作者：Shaoxiong Ji, Shirui Pan, Erik Cambria, Pekka Marttinen, Philip S. Yu

摘要：人類知識提供了對世界的認知理解。表征實體間結構關系的知識圖譜已經成為認知和人類智能研究的一個日益流行的方向。在本次綜述論文中，我們對知識圖譜進行了全面的綜述，涵蓋了知識圖譜表示學習、知識獲取與補全、時序知識圖譜、知識感知應用等方面的研究課題，并總結了最近的突破和未來的研究方向。我們提出對這些主題進行全視角分類和新的分類法。知識圖譜嵌入從表示空間、得分函數、編碼模型和輔助信息四個方面進行組織。對知識獲取，特別是知識圖譜的補全、嵌入方法、路徑推理和邏輯規則推理進行了綜述。我們進一步探討了幾個新興的主題，包括元關系學習、常識推理和時序知識圖譜。為了方便未來對知識圖的研究，我們還提供了不同任務的數據集和開源庫的集合。最后，我們對幾個有前景的研究方向進行了深入的展望。

網址：

4、A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications（生成式對抗網絡綜述論文）

密歇根大學28頁最新《GANs生成式對抗網絡綜述：算法、理論與應用》最新論文，帶你全面了解GAN技術趨勢

作者：Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye

摘要：生成對抗網絡（GANs）是最近的熱門研究主題。自2014年以來，人們對GAN進行了廣泛的研究，并且提出了許多算法。但是，很少有全面的研究來解釋不同GANs變體之間的聯系以及它們是如何演變的。在本文中，我們嘗試從算法，理論和應用的角度對各種GANs方法進行敘述。首先，詳細介紹了大多數GANs算法的動機，數學表示形式和結構。此外，GANs已與其他機器學習算法結合用于特定應用，例如半監督學習，遷移學習和強化學習。本文比較了這些GANs方法的共性和差異。其次，研究了與GANs相關的理論問題。第三，說明了GANs在圖像處理和計算機視覺，自然語言處理，音樂，語音和音頻，醫學領域以及數據科學中的典型應用。最后，指出了GANs未來的開放性研究問題。

網址：

5、A Survey on Causal Inference（因果推斷綜述論文）

最新「因果推斷Causal Inference」綜述論文38頁pdf，阿里巴巴、Buffalo、Georgia、Virginia

作者：Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang

摘要：數十年來，因果推理是一個跨統計、計算機科學、教育、公共政策和經濟學等多個領域的重要研究課題。目前，與隨機對照試驗相比，利用觀測數據進行因果關系估計已經成為一個有吸引力的研究方向，因為有大量的可用數據和較低的預算要求。隨著機器學習領域的迅速發展，各種針對觀測數據的因果關系估計方法層出不窮。在這項綜述中，我們提供了一個全面的綜述因果推理方法下的潛在結果框架，一個眾所周知的因果推理框架。這些方法根據是否需要潛在結果框架的所有三個假設分為兩類。對于每一類，分別對傳統的統計方法和最近的機器學習增強方法進行了討論和比較。并介紹了這些方法的合理應用，包括在廣告、推薦、醫藥等方面的應用。此外，還總結了常用的基準數據集和開放源代碼，便于研究者和實踐者探索、評價和應用因果推理方法。

網址：

6、Pre-trained Models for Natural Language Processing: A Survey（預訓練語言模型）

【復旦大學】最新《預訓練語言模型》2020綜述論文大全，50+PTMs分類體系，25頁pdf205篇參考文獻

作者：Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang

摘要：近年來，預訓練模型(PTMs)的出現將自然語言處理(NLP)帶入了一個新的時代。在這項綜述中，我們提供了一個全面的PTMs調研。首先簡要介紹了語言表示學習及其研究進展。然后，我們根據四種觀點對現有的PTMs進行了系統的分類。接下來，我們將描述如何將PTMs的知識應用于下游任務。最后，我們概述了未來PTMs研究的一些潛在方向。本調查旨在為理解、使用和開發各種NLP任務的PTMs提供實際指導。

網址：

7、A Survey on Heterogeneous Graph Embedding: Methods, Techniques, Applications and Sources（異質圖網絡嵌入）

異質圖嵌入綜述: 方法、技術、應用和資源, 23頁pdf

作者：Xiao Wang, Deyu Bo, Chuan Shi, Shaohua Fan, Yanfang Ye, Philip S. Yu

摘要：

異質圖（Heterogeneous Graph, HG）也稱為異質信息網絡（Heterogeneous Information Network, HIN），在現實世界中已經無處不在。異質圖嵌入(Heterogeneous Graph Embedding, HGE)，旨在在低維的空間中學習節點表示，同時保留異質結構和語義用于下游任務（例如，節點/圖分類，節點聚類，鏈接預測），在近年來受到了廣泛的關注。在綜述中，我們對異質圖嵌入的方法和技術的最新進展進行了全面回顧，探索了異質圖嵌入的問題和挑戰，并預測了該領域的未來研究方向。

該論文的主要貢獻如下：

討論了與同質圖相比，異質圖的異質性帶來的獨特挑戰 。該論文對現有的異質圖嵌入方法進行了全面的調研，并基于它們在學習過程中使用的信息進行分類，以解決異質性帶來的特定的挑戰。 對于每類代表性的異質圖嵌入方法和技術，提供詳細的介紹并進一步分析了其優缺點。此外，該論文首次探索了異質圖嵌入方法在現實工業環境中的可轉換性和適用性。 總結了開源代碼和基準數據集，并對現有的圖學習平臺進行了詳細介紹，以促進該領域的未來研究和應用。 探討異質圖嵌入的其他問題和挑戰，并預測該領域的未來研究方向。

網址：

8、Graph Neural Networks: Taxonomy, Advances and Trends（圖神經網絡）

太原理工最新《圖神經網絡:分類,進展,趨勢》綜述論文，50頁pdf400篇文獻

作者：Yu Zhou,Haixia Zheng,Xin Huang

摘要：圖神經網絡為根據特定任務將真實世界的圖嵌入低維空間提供了一個強大的工具包。到目前為止，已經有一些關于這個主題的綜述。然而，它們往往側重于不同的角度，使讀者看不到圖神經網絡的全貌。本論文旨在克服這一局限性，并對圖神經網絡進行了全面的綜述。首先，我們提出了一種新的圖神經網絡分類方法，然后參考了近400篇相關文獻，全面展示了圖神經網絡的全貌。它們都被分類到相應的類別中。為了推動圖神經網絡進入一個新的階段，我們總結了未來的四個研究方向，以克服所面臨的挑戰。希望有越來越多的學者能夠理解和開發圖神經網絡，并將其應用到自己的研究領域。

網址：

9、Efficient Transformers: A Survey（高效Transformer）

【Google】最新《高效Transformers》綜述大全，Efficient Transformers: A Survey

作者：Yi Tay, Mostafa Dehghani, Dara Bahri, Donald Metzler

摘要：Transformer模型架構最近引起了極大的興趣，因為它們在語言、視覺和強化學習等領域的有效性。例如，在自然語言處理領域，Transformer已經成為現代深度學習堆棧中不可缺少的主要部分。最近，提出的令人眼花繚亂的X-former模型如Linformer, Performer, Longformer等這些都改進了原始Transformer架構的X-former模型，其中許多改進了計算和內存效率。為了幫助熱心的研究人員在這一混亂中給予指導，本文描述了大量經過深思熟慮的最新高效X-former模型的選擇，提供了一個跨多個領域的現有工作和模型的有組織和全面的概述。

圖片

網址：

10、Self-supervised Learning: Generative or Contrastive（自監督學習）

作者：Xiao Liu, Fanjin Zhang, Zhenyu Hou, Zhaoyu Wang, Li Mian, Jing Zhang, Jie Tang

摘要：深度監督學習在過去的十年中取得了巨大的成功。然而，它依賴于手工標簽的缺陷和易受攻擊的弱點促使人們探索更好的解決方案。作為另一種學習方式，自監督學習以其在表征學習領域的飛速發展吸引了眾多研究者的關注。自監督表示學習利用輸入數據本身作為監督，并使得幾乎所有類型的下游任務從中受益。在這項綜述中，我們著眼于新的自監督學習方法，用于計算機視覺、自然語言處理和圖學習。我們全面回顧了現有的實證方法，并根據它們的目的將它們歸納為三大類:生成型、對比型和生成-對比型(對抗型)。我們進一步研究了相關的理論分析工作，以提供對自監督學習如何工作的更深層次的思考。最后，我們簡要討論了自監督學習有待解決的問題和未來的發展方向。

網址：

深度強化學習(deep reinforcement learning, DRL)方法在經濟學中的普及度呈指數級增長。DRL通過從增強學習(RL)到深度學習(DL)的廣泛功能，為處理復雜的動態業務環境提供了巨大的機會。DRL的特點是可擴展性，有可能應用于高維問題，并結合經濟數據的噪聲和非線性模式。本文首先對DL、RL和深度RL方法在經濟學中不同應用的簡要回顧，提供了對現有技術的深入了解。此外，為了突出DRL的復雜性、魯棒性、準確性、性能、計算任務、風險約束和盈利能力，還研究了DRL在經濟應用中的體系結構。調查結果表明，與傳統算法相比，DRL在面臨風險參數和不確定性不斷增加的現實經濟問題時，可以提供更好的性能和更高的精度。

【簡介】隨著深度表示學習的發展，強化學習（RL）已經成為了一個強大的學習框架，其可以在高維度空間中學習復雜的規則。這篇綜述總結了深度強化學習（DRL）算法，提供了采用強化學習的自動駕駛任務的分類方法，重點介紹了算法上的關鍵挑戰和在現實世界中將強化學習部署在自動駕駛方面的作用，以及最終評估，測試和加強強化學習和模仿學習健壯性的現有解決方案。

論文鏈接： //arxiv.org/abs/2002.00444

介紹：

自動駕駛(AD)系統由多個感知級任務組成，由于采用了深度學習架構，這些任務現在已經達到了很高的精度。除了感知任務之外，自主駕駛系統還包含多個其他任務，傳統的監督學習方法已經不再適用。首先，當對agent行為的預測發生變化時，從自動駕駛agent所處的環境中接收到的未來傳感器觀察到的結果，例如獲取市區最佳駕駛速度的任務。其次，監督信號（如碰撞時間（TTC），相對于agent最佳軌跡的側向誤差）表示agent的動態變化以及環境中的不確定性。這些問題都需要定義隨機損失函數來使其最大化。最后，agent需要學習當前環境新的配置參數，預測其所處的環境中每一時刻的最優決策。這表明在觀察agent和其所處環境的情況下，一個高維度的空間能夠給出大量唯一的配置參數。在這些場景中，我們的目標是解決一個連續決策的問題。在這篇綜述中，我們將介紹強化學習的概念，強化學習是一種很有前景的解決方案和任務分類方法，特別是在驅動策略、預測感知、路徑規劃以及低層控制器設計等領域。我們還重點回顧了強化學習在自動駕駛領域當中各種現實的應用。最后，我們通過闡述應用當前諸如模仿學習和Q學習等強化學習算法時所面臨的算力挑戰和風險來激勵使用者對強化學習作出改進。

章節目錄：

section2: 介紹一個典型的自動駕駛系統及其各個組件。

section3: 對深度強化學習進行介紹，并簡要討論關鍵概念。

section4: 探討在強化學習基本框架上對其進行更深層次，更加復雜的擴展。

section5: 對強化學習用于自動駕駛領域的所面臨的問題提供一個概述。

section6: 介紹將強化學習部署到真實世界自動駕駛系統中所面臨的挑戰。

section7: 總結