亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

圖像分類作為計算機視覺領域中的重要研究方向之一，應用領域非常廣泛.基于深度學習的圖像分類技術取得的成功，依賴大量的已標注數據，然而數據的標注成本往往是昂貴的.主動學習作為一種機器學習方法，旨在以盡可能少的高質量標注數據達到期望的模型性能，緩解監督學習任務中存在的標注成本高、標注信息難以大量獲取的問題.主動學習圖像分類算法根據樣本選擇策略，從未標記樣本數據集合中選擇出信息量豐富，對分類模型訓練貢獻更高的樣本進行標注，以更新已標注訓練數據池，如此循環直至滿足給定的停止條件或模型標注預算耗盡.本文對近年來提出的主動學習圖像分類算法進行了詳細綜述，并根據所用樣本數據處理及模型優化方案，將現有算法分為三類：基于數據增強的算法，包括利用圖像增廣來擴充訓練數據，或者根據圖像特征插值后的差異性來選擇高質量的訓練數據；基于數據分布信息的算法，根據數據分布的特點來優化樣本選擇策略；優化模型預測的算法，包括優化獲取和利用深度模型預測信息的方法、基于生成對抗網絡和強化學習來優化預測模型的結構，以及基于Transformer結構提升模型預測性能，以確保模型預測結果的可靠性.此外，本文還對各類主動學習圖像分類算法下的重要學術工作進行了實驗對比，并對各算法在不同規模數據集上的性能和適應性進行了分析.另外，本文探討了主動學習圖像分類技術所面臨的挑戰，并指出了未來研究的方向. 圖像分類是計算機視覺領域中的一大基本任務 . 圖像分類任務的核心在于圖像特征提取和分類器的設 計. 隨著深度學習（Deep Learning，DL）［1］ 技術的不斷發 展，基于卷積神經網絡（Convolutional Neural Networks， CNN）［2］ 的圖像特征提取技術取得了巨大的成就. 卷積 神經網絡可以通過組合簡單特征形成更復雜和抽象的 特征，從而提高圖像分類任務的準確性和魯棒性. 作為 一種數據表示學習的方法，深度學習可以通過迭代更 新深度網絡層級參數來訓練和優化模型，從而使結果 更加接近真實值 . 常用于圖像分類的深度網絡包括 LeNet［3］，GoogLeNet［4］，AlexNet［5］，VGGNet［6］，ResNet［7］ 等. 然而，在圖像分類領域，為了得到高精度的分類器， 深度學習模型很大程度上依賴大量已標注數據來優化 模型參數. 特別是在需要高水平專業知識的領域，如醫 學圖像［8］ 、遙感圖像［9］ 等，獲取大量的高質量已標注數 據集需要消耗大量的人力. 主動學習（Active Learning，AL）［10］ 作為一種能夠降 低樣本標注成本的學習方法，正逐漸受到越來越多的 關注. 主動學習作為監督式機器學習中的一種范式，旨 在標注盡可能少的樣本，同時最大化模型的性能增益. 具體來講，主動學習根據樣本選擇策略從未標記的數 據集中選擇信息豐富的樣本，交由 Oracle 進行標注，以 降低模型所需數據量、計算資源和存儲資源的需求，同 時保持分類器性能. Oracle是一個能夠提供準確標簽的 信息源，可以是人類專家或自動化系統. 樣本選擇策略 決定了算法選擇哪些樣本以獲得最大的模型性能提 升 . 目前，主動學習已被應用于分類與檢索［11］ 、圖像分 割［12］ 、目標檢測［13］ 等多種圖像處理任務.

在早期研究中，文獻［10］將目前主動學習方法定 義為三種基本框架：基于成員查詢的主動學習、基于流 的選擇性采樣和基于池的主動學習 . 基于成員查詢的 主動學習方法是指學習器可以請求查詢輸入空間中任 何未標記樣本的標簽，包括學習器生成的樣本. 基于流 的選擇性采樣是指每次從未標記數據源中提取一個樣本數據，學習器必須決定是查詢標簽還是丟棄該數據. 基于池的主動學習框架則維護一個未標注數據集合， 由樣本選擇策略從未標記集合中選擇要標注的樣本. 目前，基于池的主動學習框架更適用于圖像分類 任務中. 該框架能同時處理批量數據，從未標記數據集 中選出對模型訓練最有幫助的數據進行標注，提高標 注數據效率，降低成本 . 此外，該框架適用于數據集規 模較大、標注數據較少的情況，符合多數圖像分類技術 場景. 相比之下，基于成員查詢的主動學習算法需要逐 個查詢成員并進行標注，不適用于大規模的數據集. 基 于流的選擇性采樣在處理流數據時，對每個數據點進 行快速分類來實現快速標注，從而處理大量的數據流. 但在圖像分類中，每個數據點都是一個獨立的圖像，對 每個圖像進行分類和標注可能會帶來更多的標注成 本，因此該方法在圖像分類中使用較少. 該方法主要適 用于需要時效性的小型移動設備的應用場景，因為這 些小型設備通常具有有限的存儲和計算能力 . 圖 1 展 示了基于池的主動學習的基本框架.

深度學習模型通常限定在固定數據集中進行訓練，訓練完成之后模型無法隨著時間而擴展其行為. 將已訓練好的模型在新數據上訓練會出現災難性遺忘現象. 持續學習是一種能夠緩解深度學習模型災難性遺 忘的機器學習方法，它旨在不斷擴展模型的適應能力，讓模型能夠在不同時刻學習不同任務的知識. 目前，持 續學習算法主要分為 4 大方面，分別是正則化方法、記憶回放方法、參數孤立方法和綜合方法. 對這 4 大方面 方法的研究進展進行了系統總結與分析，梳理了衡量持續學習算法性能的評估方法，討論了持續學習的新興 研究趨勢. //www.yndxxb.ynu.edu.cn/yndxxbzrkxb/article/doi/10.7540/j.ynu.20220312?viewType=HTML 得益于更大的數據集、更強的計算能力以及 網絡結構創新，深度學習在圖像分類[1]、人臉識別[2] 等任務上已經實現了接近人類甚至超越人類的性 能. 然而大多數神經網絡只能在預先知道所有類的 批量學習設定下進行訓練直至擬合，當有新數據出 現時，必須使用全部數據重新訓練模型，以適應數 據分布變化[3] . 隨著移動設備和互聯網的飛速發展， 人們每天都會拍攝和分享大量圖片和視頻. 而從零 開始重新訓練模型是耗時且低效的，這就要求模型 擁有以序列方式進行持續學習和更新的能力，以適 應每天新產生的數據. 神經網絡從原來的批量學習模式轉變為序列 學習模式時，很容易出現對舊知識的遺忘，這意味 著，在使用新數據更新模型后，模型在先前學習的 任務中所達到的性能會急劇下降[4]，出現災難性遺 忘. 早在 30 多年前，人們就在多層感知器中發現了 災難性遺忘現象[5]，產生災難性遺忘的根本原因是 新任務訓練過程需要改變神經網絡權值，這不可避 免地修改了某些對于舊任務來說至關重要的權重， 使得模型不再適用于舊任務. 與此相反，人類可以 不斷學習和適應新知識，并且在自身積累新知識的 同時，也會對原有知識進行了補充和修正，學習新 知識很少會導致人類災難性地忘記之前的知識[6] . 如自然視覺系統，先前的知識得到了保留的同時， 新的視覺信息被不斷地整合到已有知識中. 為了克服災難性遺忘，學習系統一方面要在新 任務上表現出獲取新知識和提煉現有知識的能力， 另一方面要防止新任務對現有知識的顯著干擾. 持 續學習，也稱為終身學習，它建立在不斷學習外部 世界的想法之上，神經網絡通過持續學習算法能夠 漸進地學習新知識，并且保留過去學習的內容. 近 年來，如圖 1 所示，持續學習在計算機視覺領域獲 得了蓬勃發展，同時各單位也如火如荼開展著持續 學習的相關比賽[7] . 鑒于持續學習深刻的應用場景 和該領域飛速的發展，本文對持續學習的研究工作 進行綜述，從而幫助讀者掌握持續學習研究的最新 趨勢.

近年來，神經網絡在語音識別、計算機視覺、自然語言處理等領域都取得了良好的進展. 大量的神經網 絡被部署于諸如手機、攝像頭等依賴電池或太陽能供電的小型設備. 但神經網絡參數量大計算復雜，需占用大量 計算資源并消耗電能，從而限制了其在資源受限平臺上的應用. 學術界和工業界逐漸關注于神經網絡的高能耗問 題. 神經網絡輕量化方法可以有效地減少參數數量、降低參數精度或優化計算過程從而降低神經網絡能耗. 本文 從能耗優化的角度梳理了神經網絡能耗估算方法和神經網絡輕量化方法的基本思路，綜述了近年來該領域主要研 究成果，并提出了能耗估算和能耗優化的神經網絡輕量化方法存在的挑戰及進一步研究的方向. 其中神經網絡能 耗估算方法包括測量法、分析法和估算法. 能耗優化的神經網絡輕量化方法包括剪枝、量化、張量分解和知識蒸 餾. 對于進一步研究方向我們認為，首先需要建立可自適應網絡類型的能耗模型；然后需要考慮平衡精度和能耗 的輕量化方法. 其次需要實現硬件平臺可泛化的輕量化方法；最后開發搜索空間可約束的輕量化方法.

//cjc.ict.ac.cn/online/onlinepaper/gcp-2023112105635.pdf

作為人工智能實現的范式之一，神經網絡采用 廣泛互聯的結構與有效的學習機制來模擬人腦智能 信息處理的過程，是人工智能發展歷程中的重要方 法，也是類腦智能研究中的有效工具[1]. 近年來，人 工智能移動化的趨勢逐漸顯現[2]. 當前，越來越多的 神經網絡被部署于依靠電池或太陽能供電的小型移 動設備中，如智能手機、智能攝像頭等. 神經網絡 的移動端部署助力了許多智能應用的發展，常見的 包括語音助手、在線翻譯、人臉識別等. 值得注意 的是，這些智能移動設備的出貨量目前呈幾何式增 長. 以智能手機為例，到 2022 年，支持 AI 功能的 智能手機出貨量占比將從 2017 年的不到 10%提升 到 80%，年銷量將超 13 億部. AI 手機將是未來行業 的產品方向[3]. 到 2023 年，專用的人工智能芯片很 可能已經成為智能手機的標準配置[4]. 這些移動端設備通常外形尺寸較小，依靠電池 或綠色能源供電[5]，因而其可使用的電能有限. 神經 網絡的執行涉及大量計算，對電能消耗要求較高. 例如，具有 50 個卷積層的 ResNet-50 在推理階段處 理圖像時需要占用超過 95MB 的內存，執行超過 38 億次浮點乘法[6]；圖像分類的基礎網絡 AlexNet[7]在 手機端運行不到一個小時就耗光了手機全部電能[8]. 移動端神經網絡能耗受限問題日益突出. 能耗受限問題極大地影響了移動端設備的運行 時長，縮短了設備的服務時限，阻礙了移動端設備 的智能化發展[9]. 為了應對能耗受限問題，學術界和 工業界涌現了大量相關研究和解決方案. 一種解決 方案是在云邊結合的體系結構下將網絡部署于云 端，該方法較為直接地緩解了能耗受限問題，但云 邊端通信帶來了額外的通信成本，實時性、安全性 較差[10]；另一種解決方案是神經網絡能耗優化的神 經網絡輕量化方法. 這種解決方案延遲低、安全性 高且具有隱私優勢[2]. 能耗優化的神經網絡輕量化方法是降低神經網 絡在目標設備上能耗需求的有效方法，該方法關注 網絡自身的結構特征，壓縮成本低、效率高且易于 部署. 本文重點關注能耗優化的神經網絡輕量化方 法，從神經網絡能耗估算方法和網絡輕量化方法兩 個方面出發，概述優化思路，敘述具體方法，總結 當前能耗優化的神經網絡輕量化方法的研究進展并 提出進一步研究問題與挑戰. 在作者文獻查找范圍 內，本文是綠色計算和高性能計算領域中第一篇針 對能耗優化的神經網絡輕量化方法的中文綜述，系 統地總結了當前的研究進展. 本文第 2 節將介紹研究問題和思路；第 3 節介 紹能耗估算方法具體細節；第 4 節介紹能耗優化的 神經網絡輕量化方法的具體細節；第 5 節提出目前 能耗估算方法和網絡輕量化方法存在的問題與挑 戰；最后在第 6 節總結全文.

機器學習是實現人工智能的重要技術手段之一，在計算機視覺、自然語言處理、搜索引擎與推薦系統等領域有著重要應用.現有的機器學習方法往往注重數據中的相關關系而忽視其中的因果關系，而隨著應用需求的提高，其弊端也逐漸開始顯現，在可解釋性、可遷移性、魯棒性和公平性等方面面臨一系列亟待解決的問題.為了解決這些問題，研究者們開始重新審視因果關系建模的必要性，相關方法也成為近期的研究熱點之一.在此對近年來在機器學習領域中應用因果技術和思想解決實際問題的工作進行整理和總結，梳理出這一新興研究方向的發展脈絡．首先對與機器學習緊密相關的因果理論做簡要介紹；然后以機器學習中的不同問題需求為劃分依據對各工作進行分類介紹，從求解思路和技術手段的視角闡釋其區別與聯系；最后對因果機器學習的現狀進行總結，并對未來發展趨勢做出預測和展望．

地址：//crad.ict.ac.cn/CN/10.7544/issn1000-1239.202110780

0. 引言

機器學習是一門研究如何設計算法、利用數據 使機器在特定任務上取得更優表現的學科，其中以 深度學習[1] 為代表的相關技術已成為人們研究實現 人工智能方法的重要手段之一.至今機器學習研究已 經取得大量令人矚目的成就：在圖像分類任務上的 識別準確率超過人類水平[2] ；能夠生成人類無法輕易 識別的逼真圖像[3] 和文本[4] ；在圍棋項目中擊敗人類 頂尖棋手[5] ；蛋白質結構預測結果媲美真實實驗結 果 [6] 等.目前機器學習在計算機視覺、自然語言處理、 搜索引擎與推薦系統等領域發揮著不可替代的作用， 相關應用涉及互聯網、安防、醫療、交通和金融等眾 多行業，對社會發展起到了有力的促進作用. 盡管機器學習研究獲得了一系列豐碩的成果， 其自身的問題卻隨著應用需求的提高而日益凸顯.機 器學習模型往往在給出預測結果的同時不會解釋其 中的理由，以至于其行為難以被人理解[7] ；同時機器 學習模型還十分脆弱，在輸入數據受到擾動時可能 完全改變其預測結果，即使這些擾動在人看來是難以 察覺的[8] ；機器學習模型還容易產生歧視行為，對不 同性別或種族的人群給予不同的預測傾向，即使這 些敏感特征不應當成為決策的原因[9] .這些問題嚴重 限制了機器學習在實際應用中發揮進一步的作用.造成這一系列問題的一個關鍵原因是對因果關 系的忽視.因果關系，指的是 2 個事物之間，改變一 者將會影響另一者的關系.然而其與相關關系有所不 同，即使 2 個事物之間存在相關關系，也未必意味著 它們之間存在因果關系.例如圖像中草地與牛由于常 在一起出現而存在正相關關系，然而兩者之間卻沒 有必然的因果關系，單純將草地改為沙地并不會改 變圖像中物體為牛的本質.機器學習的問題在于其模 型的訓練過程僅僅是在建模輸入與輸出變量之間的 相關關系，例如一個識別圖像中物體類別的機器學 習模型容易將沙地上的牛識別為駱駝，是因為訓練 數據中的牛一般出現在草地上而沙地上更常見的是 駱駝.這種具備統計意義上的相關性卻不符合客觀的 因果規律的情況也被稱為偽相關（spurious correlation）. 偽相關問題的存在對只考慮相關性的機器學習模型 帶來了災難性的影響：利用偽相關特征進行推斷的 過程與人的理解不相符，引發可解釋性問題；在偽相 關特征發生變化時模型預測結果會隨之改變從而導 致預測錯誤，引發可遷移性和魯棒性問題；如果偽相 關特征恰好是性別和膚色等敏感特征，則模型決策 還會受到敏感特征的影響，引發公平性問題.忽視因 果關系導致的這些問題限制了機器學習在高風險領 域及各類社會決策中的應用.圖靈獎得主 Bengio 指出， 除非機器學習能夠超越模式識別并對因果有更多的 認識，否則無法發揮全部的潛力，也不會帶來真正的 人工智能革命.因此，因果關系的建模對機器學習是 必要的，需求也是十分迫切的. **因果理論即是描述、判別和度量因果關系的理 論，由統計學發展而來.長期以來，由于缺乏描述因果 關系的數學語言，因果理論在統計學中的發展十分 緩慢.**直到 20 世紀末因果模型被提出后，相關研究才 開始蓬勃興起，為自然科學和社會科學領域提供了 重要的數據分析手段，同時也使得在機器學習中應 用因果相關的技術和思想成為可能.圖靈獎得 主 Pearl 將這一發展歷程稱為“因果革命” [10] ，并列舉了 因果革命將為機器學習帶來的 7 個方面的幫助[11] . 本文將在機器學習中引入因果技術和思想的研究方 向稱為因果機器學習（causal machine learning）.目前機 器學習領域正處于因果革命的起步階段，研究者們 逐漸認識到了因果關系建模的必要性和緊迫性，而 因果機器學習的跨領域交叉特點卻限制了其自身的 前進步伐.本文希望通過對因果理論和因果機器學習 前沿進展的介紹，為相關研究者掃清障礙，促進因果 機器學習方向的快速發展.目前針對因果本身的研究 已有相關綜述文獻 [12?14]，內容主要涵蓋因果發現 和因果效應估計的相關方法，但很少涉及在機器學習任務上的應用.綜述文獻 [15?16] 詳細地介紹了因 果理論對機器學習發展的指導作用，著重闡述現有 機器學習方法的缺陷和因果理論將如何發揮作用， 但缺少對這一方向最前沿工作進展的整理和介紹， 而這正是本文重點介紹的內容.

1 因果理論簡介

因果理論發展至今已成為統計學中的一個重要 分支，具有獨有的概念、描述語言和方法體系.對于 因果關系的理解也已經不再僅停留在哲學概念的層 面，而是有著明確的數學語言表述和清晰的判定準 則.當前廣泛被認可和使用的因果模型有 2 種：潛在 結果框架（potential outcome framework）和結構因果模 型（structural causal model, SCM）.Splawa-Neyman 等 人 [17] 和 Rubin[18] 提出的潛在結果框架又被稱為魯賓 因果模型（Rubin causal model, RCM），主要研究 2 個 變量的平均因果效應問題；Pearl[19] 提出的結構因果 模型使用圖結構建模一組變量關系，除了效應估計 也會關注結構發現問題.RCM 與 SCM 對因果的理解 一致，均描述為改變一個變量是否能夠影響另一個 變量，這也是本文所考慮的因果范疇.兩者的主要區 別在于表述方法不同，RCM 更加簡潔直白，相關研究 更為豐富；而 SCM 表達能力更強，更擅長描述復雜 的問題.雖然目前依然存在對因果的其他不同理解， 這些理解通常不被視為真正的因果，例如格蘭杰因 果（Granger causality） [20] 描述的是引入一個變量是否 對另一個變量的預測有促進作用，本質上仍是一種 相關關系. 本節將對因果相關概念以及 RCM 與 SCM 的相 關理論和技術進行簡要介紹.由于本文關注的主要內 容是因果機器學習而不是因果本身，本節將側重于 介紹機器學習中所使用的因果的概念和思想，而不 會過多關注因果領域自身的前沿研究.

**2 因果機器學習相關工作介紹 **

近年來隨著因果理論和技術的成熟，機器學習 領域開始借助因果相關技術和思想解決自身的問題， 這一研究方向逐漸受到研究者越來越多的關注.至今，因果問題被認為是機器學習領域亟待解決的重要問 題，已成為當下研究的前沿熱點之一.機器學習可以 從因果技術和思想中獲得多個方面的益處.首先，因 果理論是一種針對數據中規律的普適分析工具，借 助因果圖等語言可以對研究的問題做出細致的分析， 有利于對機器學習模型的目標進行形式化以及對問 題假設的表述.其次，因果推斷提供了消除混雜因素 以及進行中介分析的手段，對于機器學習任務中需 要準確評估因果效應及區分直接與間接效應的場景 有十分重要的應用價值.再者，反事實作為因果中的 重要概念，也是人在思考求解問題時的常用手段，對 于機器學習模型的構建和問題的分析求解有一定的 指導意義. 本節將對近年來因果機器學習的相關工作進行 整理介紹，涉及應用領域包括計算機視覺、自然語言 處理、搜索引擎和推薦系統等.按照所解決問題的類 型進行劃分，因果機器學習主要包括以下內容：可解 釋性問題主要研究如何對已有機器學習模型的運作 機制進行解釋；可遷移性問題主要研究如何將模型 在特定訓練數據上學到的規律遷移到新的特定環境； 魯棒性問題主要研究尋找普適存在的規律使模型能 夠應對各種未知的環境；公平性問題主要研究公平 性度量指標并設計算法避免歧視；反事實評估問題 主要研究如何在存在數據缺失的場景中進行反事實 學習.這些問題與因果理論的關系如圖 4 所示，下面 針對這些問題分別展開介紹.

**2.1　可解釋性問題 **

機器學習模型會根據給定輸入計算得到對應的 輸出，但一般不會給出關于“為什么會得到此輸出” 的解釋.然而這種解釋有助于人們理解模型的運作機 制，合理的解釋能夠使結果更具有說服力.因此近年 來涌現出許多致力于為現有模型提供解釋方法的工 作，為模型的診斷分析提供了有效手段[39] .解釋的核 心在于“模型得到此輸出，是因為輸入具有什么樣的 特征”，這本質上是在探討在此模型參與過程中輸入 特征與輸出結果之間的因果關系，例如估計特征對 輸出變量的因果效應強度. 由于機器學習模型對輸入數據的處理過程是一 個獨立而完整的過程，輸入與輸出變量之間一般不 會受到混雜因素的影響，因此即使不使用因果術語 也可以對任務進行描述.這體現為早期的模型解釋方 法并不強調因果，少數強調因果的方法也并不一定依賴因果術語.因果理論的引入為可解釋性問題領域 帶來的貢獻主要有 2 個方面：一是在基于歸因分析 的解釋方法中建模特征內部的因果關系；二是引入 一類新的解釋方法即基于反事實的解釋.基于歸因分 析和基于反事實的解釋構成了當前最主要的 2 大類 模型解釋方法如表 1 所示，以下分別展開介紹.

2.2　可遷移性問題

機器學習研究通常會在一個給定的訓練數據集 上訓練模型，然后在同數據分布的驗證集或測試集 上進行測試，這種情況下模型的表現稱為分布內泛 化（in-distribution generalization）.在一般的應用場景中， 機器學習模型會部署在特定數據環境中，并使用該 環境中產生的數據進行模型訓練，其性能表現可以用分布內泛化能力來度量.然而在一些場景中，目標 環境中的標注數據難以獲取，因此更多的訓練數據 只能由相似的替代環境提供.例如訓練自動駕駛的智 能體時由于風險過高不能直接在真實道路上行駛收 集數據，而只能以模擬系統中所獲取的數據為主進 行訓練.這種場景下的機器學習任務又稱為域適應 （domain adaptation），屬于遷移學習（transfer learning） 的范疇，即將源域（source domain）中所學到知識遷移 至目標域（target domain）.這里的域（domain）和環境 （environment）的含義相同，可以由產生數據的不同概 率分布來描述，下文將沿用文獻中各自的習慣稱呼， 不再對這 2 個概念進行區分. 在可遷移性問題中，因果理論的主要價值在于 提供了清晰的描述語言和分析工具，使研究者能夠 更準確地判斷可遷移和不可遷移的成分，有助于設 計針對不同場景的解決方案.因果推斷中關注的效應 估計問題本質上是在研究改變特定環境作用機制而 保持其他機制不變的影響，這與遷移學習中域的改 變的假設相符，即目標域和源域相比繼承了部分不 變的機制可以直接遷移，而剩余部分改變的機制則 需要進行適應.因此在因果理論的指導下，遷移學習 中的關鍵問題就是建模并識別變與不變的機制.目前 因果遷移學習一般假設輸入 與輸出 之間有直接 因果關系，重點關注無混雜因素情況下變量的因果 方向和不變機制，如表 2 所示，以下介紹相關工作

2.3　魯棒性問題

遷移學習允許模型獲得目標環境的少量數據以 進行適應學習，然而在一些高風險場景中，可能需要 機器學習模型在完全陌生的環境中也能正常工作， 如醫療、法律、金融及交通等.以自動駕駛為例，即使 有大量的真實道路行駛數據，自動駕駛智能體仍會 面臨各種突發情況，這些情況可能無法被預見但仍 需要被正確處理.這類任務無法提供目標環境下的訓 練數據 ，此時模型的表現稱為分布外泛化（out-ofdistribution generalization）.如果模型具有良好的分布 外泛化能力，則稱其具有魯棒性（robustness）. X Y P ′ (X, Y) P(X, Y) Y X P ′ (X|Y) = P(X|Y) 這類問題在未引入因果術語的情況下就已經展 開了廣泛的研究.如分布魯棒性研究[79-81] 考慮當數據 分布改變在一定幅度之內時如何學習得到魯棒的模 型，常見思路是對訓練樣本做加權處理；對抗魯棒性 研究[8,82-83] 考慮當樣本受到小幅度擾動時模型不應當 改變輸出結果，常見思路是將對抗攻擊樣本加入訓 練.這類研究常常忽略變量間的因果結構，面臨的主 要問題是很難決定數據分布或者樣本的擾動幅度大 小和度量準則，這就使得研究中所做的假設很難符 合真實場景，極大地限制了在實際中的應用.因果理 論的引入為建模變量間的結構提供了可能，同時其 蘊含的“機制不變性”原理為魯棒性問題提供了更合 理的假設，因為真實數據往往是從遵循物理規律不 變的現實世界中采集獲得.例如針對輸入為 、輸出 為 的預測問題，不考慮結構的分布魯棒性方法會假 設未知環境 應當與真實環境 的差異較 小，如限制聯合分布的 KL 散度小于一定閾值；而考 慮結構的因果方法則通常會假設機制不變，例如當 是 的因時假設 ，在因果關系成立的 情況下后者通常是更合理的. 一些從偽相關特征入手研究魯棒性問題的工作 雖然未使用因果術語，實際上已經引入了因果結構 的假設.這些工作針對的往往是已知的偽相關特征， 如圖像分類任務中的背景、文本同義句判斷 SNLI 數 據集中的單條文本[84]、重復問題檢測 QuaraQP 數據 集中的樣本頻率[85] 等.在實際場景中針對這些偽相關 特征進行偏差去除（debias），以避免其分布發生變化 時影響模型表現.這類工作隱含的假設是偽相關特征 與目標預測變量沒有因果關系.一種直接的解決方法 是調整訓練數據的權重，使得偽相關特征不再與預 測變量相關[85] .還有一類方法會單獨訓練一個僅使用 偽相關特征預測的模型，然后將其與主模型融合在 一起再次訓練，完成后僅保留主模型[86-87] .然而由于實 際應用中通常很難預先確定偽相關特征，這類工作 在解決魯棒性問題上具有明顯的局限性. 因果理論的引入對于解決魯棒性問題提供了新 的思路，主要的優勢在于對變量結構的建模和更合 理的假設.這類方法包括反事實數據增強（counterfactual data augmentation）、因果效應校準和不變性學 習.如表 3 所示 ，反事實數據增強考慮從數據入手消 除偽相關關系，因果效應校準通過調整偏差特征的 作用來減輕偏差，不變性學習通過改變建模方式學 習不變的因果機制，以下分別展開介紹.

2.4　公平性問題

機器學習中的公平性（fairness）指的是，對于特 定的敏感特征如性別、年齡、種族等，不同的取值不 應該影響某些任務中機器學習模型的預測結果，如 貸款發放、法律判決、招生招聘等.公平性對于機器 學習在社會決策中的應用是十分重要的考慮因素， 與因果有密切的關系，直觀上體現為敏感特征不應 成為預測結果的因變量.模型中存在的不公平常常由 偽相關特征問題導致，因此公平性也可以視為針對 敏感特征的魯棒性，但有著自己獨有的術語和研究 體系.下面首先介紹一下公平性的基本概念，然后介 紹因果理論在公平性問題中的應用. A X Y f Y? = f(A, X) f(A, X) = f(X) 公平性的定義和度量指標目前十分多樣化，并 沒有完全統一確定，不同的定義所反映的問題也有 所不同，甚至可能是相互不兼容的[139] .為便于表述， 記敏感特征為 ，其他觀測特征為 ，真實輸出結果 為 ，模型為 ，模型預測結果為 （本節所用 符號與前文無關）.早期公平性問題的相關工作并沒 有考慮因果，最簡單直白的方式是在決策時避免使 用敏感特征[140] ，即 .然而這一方案顯然 是不夠的，因為其他特征中也可能會包含敏感特征 的信息.因此一般會考慮個體級別的公平性或者群體 級別的公平性的度量，并設計方法實現.個體公平性 （individual fairness）通常會限制相似的個體之間應該 P(Y?|A = 0) = P(Y?|A = 1) P (Y?|A = 0, Y = 1) = P(Y?|A = 1, Y = 1) F P(Y?|A = 0, F) = P(Y?|A = 1, F) 有相似的預測結果[141] ，難點在于相似性指標的設計. 群體公平性（group fairness）會定義不同的群體并設置 度量指標使得各個群體之間差異盡可能小，一種思 路是人群平等（demographic parity） [142] ，希望在不同敏 感特征取值的群體中預測結果的分布一致 ，即 ； 另 一 種 思 路 是 機 會 均 等 （equality of opportunity） [143] ，希望在那些本該有機會 的人群所獲得的機會不受敏感特征的影響 ，即 ；還有一種思路是條件 公平（conditional fairness） [144] ,希望在任意公平變量 條 件下不同敏感特征群體的結果一致，即 .這些定義并不考慮特征內部的依賴關系， 對模型的決策機制也沒有區分性，在更細致的公平 性分析中難以滿足要求.因果理論的引入為公平性研 究起到了極大的推動作用，許多概念必須借助因果 的語言才能表達，如表 4 所示:

2.5　反事實評估問題

反事實評估（counterfactual evaluation）指的是機 器學習模型的優化目標本身是反事實的，這通常出 現在使用有偏差的標注數據訓練得到無偏模型的情 景，例如基于點擊數據的檢索和推薦系統學習任 務.由于任務本身需要反事實術語進行表述，因果理 論對這類問題的建模和研究起到了關鍵性的作用， 如表 5 所示：

3 總結與展望

本文介紹了因果相關的概念、模型和方法，并著 重對因果機器學習在各類問題上的前沿研究工作展 開詳細介紹，包括可解釋性問題、可遷移性問題、魯 棒性問題、公平性問題和反事實評估問題等.從現有 的應用方式來看，因果理論對于機器學習的幫助在 不同的問題上具有不同的表現，包括建模數據內部 結構、表達不變性假設、引入反事實概念和提供效 應估計手段等，這在缺少因果術語和方法的時代是 難以實現的.有了因果理論的幫助，機器學習甚至可 以探討過去無法討論的問題，如干預和反事實操作 下的預測問題. 對于可解釋性、公平性和反事實評估問題，因果 理論和方法已成為描述和求解問題所不可缺少的一 部分，且應用方式也漸趨成熟.這是由于對特征的重 要程度的估計、對模型公平性的度量和對反事實策 略效用的評估均屬于因果效應估計的范疇，問題本 身需要使用因果的術語才能得到清晰且完整的表達， 因果推斷的相關方法自然也可以用于問題的求解.可 以預見，未來這些問題將繼續作為因果理論和方法 的重要應用場景，伴隨因果推斷技術的發展，向著更 加準確和高效的目標前進. 對于可遷移性和魯棒性問題，目前所采用的因 果相關方法大多還處于較淺的層次，有待深入挖掘 探索.在這些問題上，因果推斷的相關技術不易直接 得到應用，這是由于這類問題的目標不再是單純估 計因果效應或者發現因果結構，而是需要識別跨環 境不變的機制.這對于因果而言是一項全新的任務， 需要研究新的方法來求解.在機器學習尤其是深度學 習中，這項任務的主要難點在于數據的高維復雜性. 對于圖像和文本等數據而言，其顯式特征高度耦合， 難以從中提取出有效的因果變量，阻礙了效應估計 和結構發現等后續分析手段.目前所采用的反因果遷 移、反事實數據增強和因果效應校準等手段大多只 能針對可觀測的已知變量進行處理，適用范圍受到 很大限制.相對地，不變性學習有能力處理未知的偽 相關特征并識別因果特征，具有良好的發展前景.然 而目前的不變性學習方法也存在局限性，主要在于 對數據做了較強的因果結構假設，一方面數據可能 無法滿足假設而又缺少驗證假設的手段，另一方面 需要為滿足不同假設的數據設計不同的方法而缺乏 通用性.因此，未來在這些方向上都值得開展研究.一 種思路是繼續針對具體任務做出不同的因果結構假 設，并設計對應的學習算法，這就需要構建成體系的 解決方案并配備驗證假設的手段；另一種思路是從 數據本身出發，推斷和發現潛在的因果結構，這就需要研究全新的方法來突破由數據的高維復雜性帶來 的障礙. 從因果機器學習的研究進展來看，機器學習領 域的因果革命將大有可為.不可否認，當前正處于因 果革命的起步階段，由于現實問題存在極高的復雜 性，這一革命的歷程也將曲折而艱辛，需要更多的研 究和支持.希望更多的研究者能夠加入到因果機器學 習的研究中來，共同創造和見證因果革命的新時代.

深度強化學習是目前機器學習領域中重要的研究分支之一，它可以通過直接與環境進行交互實現端到端的學習，對高維度和大規模的問題有著很好的解決能力．雖然深度強化學習已經取得了矚目的成果，但其仍面臨著對環境探索能力不足、魯棒性差、容易受到由欺騙性獎勵導致的欺騙性梯度影響等問題．進化算法普遍具有較好的 全局搜索能力、良好的魯棒性和并行性等優點，因此將進化算法與深度強化學習結合用于彌補深度強化學習不足 的方法成為了當前研究的熱點．該文主要關注進化算法在無模型的深度強化學習方法中的應用，首先簡單介紹了 進化算法和強化學習基本方法，之后詳細闡述了兩類結合進化算法的強化學習方法，分別是進化算法引導策略搜 索的強化學習和結合進化算法的深度強化學習，同時對這些方法進行了對比與分析，最后對該領域的研究重點和 發展趨勢進行了探究． 長期以來，強化學習都是機器學習方法中不可 或缺的一部分，在國際上也一直是機器學習領域中 炙手可熱的研究分支．在強化學習中，智能體首先根 據環境狀態進行決策從而產生動作，之后通過產生 的動作與環境進行交互獲得強化信號，調整產生決 策的函數映射，使得智能體能夠選擇獲得環境最大 獎勵的決策方案．智能體經過長期與環境的交互，不 斷向累積回報最大的方向優化策略，最終使累積回 報盡可能地最大化．2013年，DeepMind團隊的 Mnih 等人首先將 傳統強化學習中的Q-Learning算法［１］與深度神經網 絡相結合，并提出了深度Ｑ 網絡（Deep Q-Network， ＤＱＮ）算法［２３］，使用 ＤＱＮ 算法訓練的智能體在Atari游戲中取得了超過人類得分的驚人表現．這一成 果開拓了深度強化學習這一新的方向，并成為了當今人工智能領 域新的研究熱點．深度強化學習是一種端到端的學習方法，它不需要標記的數據作為輸入，而是通過與環境進行交互獲取原始輸入信息，從而學習動作策略，通過不斷的試錯形成具有強大學習能力的智能體［４］．2016年，DeepMind團隊使用深度強化學習訓練的AlphaGo智能體［５］擊敗了人類最頂尖的圍棋 選手，是機器學習領域的重大標志性事件，使得深度強化學習成為研究者們關注的焦點．目前深度強化 學習在機器博弈［５７］、機器人控制［８］、自然語言處理［９］、最優控制［１０］和計算機視覺［１］等領域中取得了廣泛的應用，被認為是通向通用人工智能的重要方 法之一［１２］．

?視覺識別是當前計算機視覺、模式識別乃至人工智能領域最重要、最活躍的研究領域之一。它具有重大的基礎重要性和強烈的工業需求。在大量訓練數據和新的強大計算資源的幫助下，深度神經網絡在許多具體任務上大大提高了其性能。雖然識別精度通常是新進展的首要考慮，但效率實際上是相當重要的，有時對學術研究和工業應用都至關重要。此外，整個社會也高度需要對效率的機遇和挑戰有深刻見解。雖然從不同角度對DNN的效率問題進行了全面的調研，但據我們所知，很少有系統地關注視覺識別，因此不清楚哪些進展適用于視覺識別，還有哪些需要關注。在本文中，我們回顧了近年來的研究進展，并對提高DNN相關視覺識別方法的效率提出了可能的新方向。我們不僅從模型的角度進行調研，而且還從數據的角度進行調研(在現有的調研中并非如此)，并關注三種最常被研究的數據類型(圖像、視頻和點)。本文試圖通過全面的調研，對視覺識別問題進行系統的總結，以期對從事視覺識別研究的研究者和實踐者提供有價值的參考。

深度神經網絡(DNNs)在許多視覺識別任務中取得了巨大的成功。它們極大地改善了手寫數字識別[1]、人臉識別[2]、圖像分類[3]等長期存在的問題的性能。他們也使探索新的邊界，包括研究圖像和視頻字幕[4]-[6]，身體姿勢估計[7]，和許多其他。然而，這種成功通常取決于大量高質量的手標記訓練數據和最近非常先進的計算資源。顯然，在大多數成本敏感的應用程序中，這兩個條件通常過于昂貴而無法滿足。即使由于許多標注者的大量努力，人們確實有了足夠的高質量訓練數據，但要弄清楚如何在有限的資源和可接受的時間內訓練有效的模型，通常也是一個巨大的挑戰。假設模型可以以某種方式得到適當的訓練(無論花費多少努力)，在終端用戶的實際應用程序中部署模型仍然不容易，因為運行時推斷必須適合可用的或負擔得起的資源，而且運行速度必須滿足實際需要，可以是實時的，甚至是更高的。因此，除了學術界通常最關注的準確性之外，效率是另一個重要問題，在大多數情況下，是實際應用中不可缺少的需求。

雖然目前使用DNN進行視覺識別任務的研究主要集中在準確性方面，但在效率方面仍有許多可喜的進展，特別是在最近幾年。在過去的兩年中，已經發表了許多關于DNN效率問題的調研論文，詳細內容見下文I-A小節。然而，這些方法都沒有重點關注視覺識別任務，特別是缺少有效處理視覺數據的專項工作，而視覺數據處理有其自身的特點。在實踐中，有效的視覺識別必須是一個系統的解決方案，不僅要考慮到緊湊/壓縮的網絡和硬件加速，而且還要正確處理視覺數據，這些數據可能是各種類型(如圖像、視頻和點)，具有相當不同的屬性。這可能是缺乏關于這個主題的調研的一個重要原因。因此，就我們所知，本文首次對基于DNN的高效視覺識別進行了綜述。基于我們在主要視覺數據類型、它們的各種識別模型和網絡壓縮算法方面的專業知識和經驗，本課程旨在從各個方面系統地概述最近的進展和趨勢。

相比之下，本綜述主要關注從原始視覺數據到最終識別結果的生產全局效率，希望能幫助對現代視覺識別任務及其高效的基于DNN的解決方案感興趣的讀者。這篇論文在以下幾個方面也有我們所知的創新之處。1)系統地綜述了神經網絡在視覺識別領域的研究進展，這是我們所知的同類研究的首次。2)第一次總結了有效視覺識別的數據相關問題，包括數據壓縮、數據選擇和數據表示。3)從有利于視覺識別任務的角度研究網絡壓縮模型。4)在高效視覺識別領域，綜述了運行時推理和模型泛化的加速方法。5)對DNN高效視覺識別的挑戰、機遇和新方向進行深入討論。為了清楚地了解這個調研的脈絡，圖1是作為組織的藍圖。具體來說，在第二節中，我們將介紹視覺識別問題中常見的三種主要數據類型，并討論它們的屬性以及與它們相關的挑戰。第三節回顧了在實際識別部分之前的三個方面的工作: 數據壓縮、數據選擇和數據表示。第四節簡要介紹和分析了網絡壓縮在視覺識別領域的廣泛研究方向。第五部分對測試階段的高效模型泛化和快速推理的最新進展進行了總結，這對基于DNN的視覺識別系統的實際部署非常重要。最后，第六節概述了所有努力，以產生一個清晰的總體映射，并討論了一些重要的未發現的方面和新的研究方向。

深度學習在很多人工智能應用領域中取得成功的關鍵原因在于，通過復雜的深層網絡模型從海量數據中學習豐富的知識。然而，深度學習模型內部高度的復雜性常導致人們難以理解模型的決策結果，造成深度學習模型的不可解釋性，從而限制了模型的實際部署。因此，亟需提高深度學習模型的可解釋性，使模型透明化，以推動人工智能領域研究的發展。本文旨在對深度學習模型可解釋性的研究進展進行系統性的調研，從可解釋性原理的角度對現有方法進行分類，并且結合可解釋性方法在人工智能領域的實際應用，分析目前可解釋性研究存在的問題，以及深度學習模型可解釋性的發展趨勢。為全面掌握模型可解釋性的研究進展以及未來的研究方向提供新的思路。