亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

摘要——大型語言模型（LLMs）的快速進展有潛力革新各個領域，但其迅猛發展在監督、倫理開發和建立用戶信任方面帶來了顯著挑戰。本綜述全面調研了LLMs中的關鍵信任問題，重點關注意外傷害、缺乏透明性、易受攻擊、人類價值觀對齊和環境影響等問題。我們強調了可能破壞用戶信任的諸多障礙，包括社會偏見、決策過程中的不透明性、潛在的濫用以及技術快速演變帶來的挑戰。隨著LLMs在金融、醫療、教育和政策等敏感領域的普及，解決這些信任差距至關重要。 為了解決這些問題，我們建議采用綜合方法，包括倫理監督、行業問責、監管和公眾參與。我們主張重塑AI開發規范、對齊激勵措施，并在整個機器學習過程中整合倫理考量，這需要技術、倫理、法律和政策等不同領域專業人士的密切合作。我們的綜述通過提供一個評估LLMs信任的強大框架和對復雜信任動態的深入分析，為該領域作出了貢獻。我們提供了上下文化的指南和標準，旨在負責任地開發和部署這些強大的AI系統。 本綜述識別了在開發可信AI過程中面臨的關鍵限制和挑戰。通過應對這些問題，我們的目標是創建一個透明、負責的AI生態系統，在帶來社會利益的同時將風險降至最低。我們的研究成果為研究人員、政策制定者和行業領導者提供了寶貴的指導，幫助他們在各類應用中建立對LLMs的信任，并確保其負責任地使用造福社會。 關鍵詞——AI治理、算法偏見、可解釋的AI、大型語言模型、可信的AI。

人工智能（AI）的發展顯著受到了作出基礎性貢獻的關鍵人物的影響。AI的創始人約翰·麥卡錫提出了“人工智能”一詞，并倡導使用數學邏輯來表示知識，開創了知識表示領域。他還開發了LISP，這是一種對AI進展至關重要的編程語言[1]。麻省理工學院計算機科學與人工智能實驗室的聯合創始人馬文·明斯基通過理論AI研究推動了對機器智能和推理的理解[2]。由麥卡錫、明斯基、內森尼爾·羅切斯特和克勞德·香農提出的1956年達特茅斯會議是AI歷史上的一個關鍵時刻，將該領域從理論概念轉向實際應用[3]。這一時期見證了啟發式搜索技術和早期機器學習模型的進步，展示了AI向實際應用的轉變。

1970年代后期，AI進展放緩，被稱為“第一次AI寒冬”。這是由于未能達到預期和計算能力有限導致資金和興趣的減少。1980年代見證了向實際AI應用的轉變，如專家系統和自然語言處理，為大型語言模型（LLMs）奠定了基礎，推進了AI對語言理解和生成的能力。盡管在AI寒冬期間面臨挑戰，早期的專家系統在AI商業化方面起到了關鍵作用[4]。

最近的AI進展歸因于廣泛的數據集和日益增加的計算能力，特別是GPU的使用。這些因素在推動深度學習技術的發展中起到了關鍵作用，顯著影響了計算機視覺和語音識別[5]，[6]。另一個重要的里程碑是語言模型的創建，這些模型能夠處理和生成類人文本，從而擴展了AI的能力。深度神經網絡（DNNs）和LLMs的有效性導致了AI在醫療、金融、交通和零售等各個行業的廣泛采用，提高了效率和數據處理能力[8]-[10]。神經網絡（NNs）用于分析大量數據集并識別模式，而LLMs則用于為自動化客戶服務的聊天機器人提供動力[11]-[14]。這些技術革新了不同領域的技術互動，凸顯了深度學習和語言模型對AI進展的重大影響[9]。 DNN架構，包括LLMs，導致了“黑箱”問題，使得理解其工作原理及其結果變得困難[15]。雖然像決策樹這樣的簡單AI模型是透明的，但LLMs缺乏透明性，這在用于決策時引發了倫理問題。挑戰在于使這些系統更透明和可理解，同時考慮到潛在的偏見和錯誤。解決這些問題的努力包括開發使算法過程更透明的方法，但這在AI倫理和治理中仍然是一個重大挑戰[16]。要更好地理解這一點，請參見圖1，它展示了AI的演變和信任挑戰。

時間軸展示了AI在醫療、金融、交通、零售和電子商務領域的日益擴大影響。LLMs在利用先進的語言生成技術變革內容創建方面處于領先地位。時間軸強調了AI中的信任和監督挑戰以及建立信任策略的重要性[17]，[18]。它揭示了AI進展與政策和治理發展之間的差距。

LLMs的最新進展改善了其語言生成能力，但其復雜性阻礙了我們對其決策過程的理解。黃和王在2023年的調查[19]強調了解釋性對LLMs的重要性，特別是在需要透明度和信任的關鍵行業。主要發現包括：a）用于基于神經網絡的NLP模型的事后解釋工具如InSeq工具包；b）模型校準和不確定性估計技術；c）用于擴展和推理的指令微調LLMs研究，問題回答中的元推理；d）LLMs的數學推理能力，語義解析魯棒性研究，減少LLM使用危害的舉措，Aug-imodels等框架[19]用于高效和可解釋的模型，評估代碼訓練的LLMs，以及e）改進LLM推理性能的Chain-of-Thought樞紐措施。他們的研究強調了解釋性對LLMs的倫理和實際重要性。在LLMs被集成到多種應用中時，提供可理解和可解釋的響應是重要的。增強模型設計和交互、提高魯棒性和效率、指導訓練技術都是理解LLM操作的好處。他們的調查是揭開LLM復雜性的一個重要貢獻，為在醫療、金融和法律領域透明和倫理部署LLM奠定了基礎。它為未來研究奠定了基礎，以彌合原始LLM輸出與人類可理解解釋之間的差距。持續開發LLM解釋性對推進AI技術的可信性和可及性至關重要。

A. 構建大型語言模型的信任

黃和王的調查工作[19]及更廣泛的解決“黑箱”問題的努力指明了清晰的前進方向。然而，我們需要一種綜合方法，考慮倫理、技術和政策，以構建AI系統的信任，尤其是像LLMs這樣復雜的模型。 1）LLMs的倫理問題：LLMs在醫療、金融、政策制定和法律系統等領域的日益使用引發了關于隱私、偏見、公平和問責的倫理問題，原因是它們具有先進的自然語言能力。 LLMs可能會因為訓練文本數據中包含敏感信息而損害隱私。這可能導致隱私泄露，例如暴露醫療保健中的機密患者數據或在數據分析中泄露敏感的客戶記錄。為減少這些風險，有必要避免將個人可識別信息納入模型，并評估其隱私影響。確保LLM系統中的透明性和用戶對其數據的控制至關重要。明確的數據隱私指南和法規對于與用戶建立信任至關重要[20]-[30]。 偏見是LLMs的另一個倫理問題。它指的是LLMs在訓練數據中反映和延續的偏見，這可能導致偏見輸出或決策，損害邊緣化群體。性別、種族或文化偏見可能影響LLM模型，導致不公平或刻板印象的輸出和歧視性決策。例如，一個以人力資源為重點的LLM助手可能會對某些群體不利。為解決這一問題，公司應建立多元化的審查委員會，并定期使用偏見檢測工具審核LLM輸出[31]-[33]。 LLMs的另一個倫理問題是公平性，指的是公正待遇。LLM系統必須避免偏見并確保公平，通過公正對待每個人來實現。不公平的LLM模型可能會加劇不平等并造成傷害。例如，在公共政策中使用LLMs評估貸款或抵押申請可能會加劇經濟不平等。實現LLMs的公平性需要防止數據和算法中的偏見，使用對抗性去偏技術，并使用明確定義的指標持續評估公平性[34]-[37]。 問責在LLM系統中至關重要[38]-[40]。由于其復雜的推理過程，LLMs在醫療、司法和就業等影響人們生活的領域中尤其難以追究責任。用戶和利益相關者應知道誰對開發、部署和維護負責。他們應有錯誤、偏見或傷害的申訴機制。組織應建立明確的責任制和透明的治理，包括AI倫理委員會、模型性能的詳細記錄和跟蹤，以及關于LLM系統開發和部署的全面報告。 訓練和運行如GPT-3之類的LLMs需要大量的計算資源，導致高能耗和碳排放[41]。例如，GPT-3的訓練消耗了大約1287 MWh的電力，產生了502公噸的CO2排放，相當于112輛燃油車一年的排放。推理過程可能比訓練消耗更多的能量，估計約60%的AI能量用于推理，40%用于訓練[42]。一次ChatGPT請求的能耗可能是一次谷歌搜索的100倍。盡管LLMs目前對整個ICT行業的排放貢獻不到0.5%，對全球總排放的貢獻不到0.01%，但其影響正在迅速增加[43],[44]。為了促進AI的可持續性，行業應優先透明測量能耗和排放，利用可再生能源數據中心，開發更高效的AI硬件和算法，啟用排放跟蹤功能，并考慮轉向較小的專用模型而非大型通用LLMs。盡管LLMs目前對全球排放的貢獻很小，但其日益廣泛的使用需要積極努力減輕其環境影響，確保AI發展惠及世界而不加劇氣候變化。AI社區、政府和科技公司之間的合作對于實現更可持續的AI未來至關重要[45],[46]。

2）信任基礎上的LLMs技術進步：LLM系統需要解決技術挑戰以建立信任，例如解釋性。解釋性指的是理解和解釋LLM系統的決策過程。透明性通過使用戶理解系統的推理并識別潛在的偏見或錯誤來建立信任。可解釋的LLM系統可以幫助識別倫理問題并提供決策見解[20],[47],[48]。 可解釋AI（XAI）技術對于理解LLMs及建立其復雜系統的信任至關重要。注意力機制提供了對模型預測的見解[49]，但其解釋可能存在爭議[50]。更可靠的方法如綜合梯度[51]和代理模型[52]提供了特征相關性的量化指標，增強了我們對模型決策的理解。最新進展應用電路分析[53]來分解復雜的黑箱LLMs為可解釋的元素，提供了模型操作的詳細見解。使用提示技術生成的模型解釋允許全面的因果敘述[54]。然而，重要的是嚴格評估這些解釋的準確性和有用性[55]。使用各種XAI方法對于LLM的負責任使用至關重要。清晰的解釋通過描述模型的能力、局限性和風險來幫助建立終端用戶的信任[56]。它們對于調試[57]、識別偏見[58]和促進倫理使用至關重要。隨著LLMs的進步，開發可解釋的LLMs至關重要。這在技術上具有挑戰性，但在倫理和研究上必不可少。定制的XAI技術需要在各個層次提供解釋，反映模型的邏輯以增強用戶信心、確保安全并指導AI的倫理使用。

另一個技術挑戰是數據偏見。數據偏見指的是LLM訓練數據中的不公平偏向或歧視。它可能導致有偏見的結果并延續社會不平等。解決數據偏見需要采取措施，如數據審計、預處理以減輕偏見以及多樣化訓練數據集以實現代表性和包容性。明確定義的指標可以幫助評估LLM系統的公平性、準確性、可靠性和透明性，提供其倫理表現的量化指標[20],[37],[47],[48]。

最新研究探索了通過解決幻覺和缺乏可解釋性等問題來提高LLMs可信度的技術[59]。他們提出了一種稱為圖上的推理（RoG）的方法，通過知識圖譜與LLMs協同進行真實和可解釋的推理。在其檢索-推理優化方法中，RoG使用知識圖譜檢索推理路徑，以便LLMs生成答案。RoG中的推理模塊使LLMs能夠識別重要的推理路徑并提供可解釋的解釋，增強了AI系統的可信度。通過專注于知識圖譜中的推理過程并提供透明的解釋，像RoG這樣的方法展示了建立LLMs信任的有希望的方向[59]。

具有可靠日志記錄的可解釋系統增強了透明性、審計和問責制[60]。文檔和日志記錄提供了對決策過程的見解，支持錯誤解決，并確保遵守倫理和法規標準，從而建立用戶信任。這些機制使技術和非技術利益相關者能夠理解AI系統的內部運作，并確定影響其輸出的因素。

3）用戶信任的心理因素：用戶對LLMs的信任在很大程度上取決于心理因素，而不僅僅是技術的可靠性[61]-[65]。用戶必須對LLM系統的可靠性、準確性和可信度有信心。通過有效的溝通和透明性可以實現這一點。組織應清楚地傳達LLM系統的能力和局限性，提供有關系統工作原理和決策方式的信息。此外，組織應對其數據收集和使用實踐保持透明，讓用戶了解他們的數據如何被使用和保護。

4）信任基礎上的LLMs政策與治理：有效的治理對于管理部署LLM系統相關的倫理、技術和問責問題至關重要[36],[40],[47],[61],[66]-[69]。應建立結構和流程，以確保LLM系統的倫理和負責任開發、部署和監控。涉及關鍵利益相關者，如AI倫理委員會、監管機構和行業專家，可以提供指導和監督。為了確保公平和無偏見的決策，必須包括用戶反饋和多樣化的觀點。為了建立對LLMs的信任，我們必須解決解釋性和數據偏見等技術問題，同時建立強有力的治理框架。

5）社會經濟影響：必須評估LLMs的社會經濟影響，以了解其對勞動力和社會的影響。LLMs可能會取代人類工人，導致失業和社會動蕩。需要投資于技能發展，以幫助工人適應變化。再培訓計劃和其他培訓可以使工人能夠與LLMs協同工作或從事新角色。應實施優先考慮工作保障和社會支持的政策，以減輕影響。探索LLMs的潛在社會福利，如增加信息獲取，可以促進更包容的社會。在設計和實施LLMs時，倫理考量和負責任的部署至關重要。應建立促進透明、問責和公平的政策和法規。對LLMs影響的仔細考慮、技能發展的投資和負責任的部署對于對社會產生積極影響至關重要[70]-[72]。

B. 本綜述的主要貢獻

本綜述對AI系統的信任進行了全面分析，重點關注LLMs。通過審查倫理、技術和社會因素，我們為負責任的AI開發討論作出了貢獻。我們的綜述提供了應對構建AI系統信任挑戰的見解和建議，特別是LLMs。主要貢獻如下所述。

? 綜合評估框架：本綜述提供了一個用于分析高級AI系統，特別是LLMs中的算法偏見和漏洞的分類法。該框架由八個視角組成，涵蓋透明性、魯棒性、人類價值對齊和環境影響等方面。此方法使得能夠對LLMs的信任進行徹底評估，解決其開發和部署中的問題。通過整合多種視角，該框架提供了LLM可信度的全貌，對負責任的AI作出了重要貢獻。 ?** 綜合信任動態分析**：本綜述審查了影響用戶對AI系統信任的因素，包括心理、倫理、技術和政策方面。通過分析AI能力、法規和社會接受度的交叉點，識別了實現可信AI的障礙。此研究揭示了信任動態，為從事負責任的AI開發和實施的研究人員、政策制定者和行業專業人士提供了指導。 ? 針對LLMs的上下文化指南和標準：本綜述審查了現代AI系統，特別是不透明模型如LLMs的倫理指南和政策標準的應用。倫理指南在確保AI使用的責任方面發揮重要作用。然而，LLMs由于其類人文本生成和缺乏透明性，面臨獨特的挑戰，這使得理解和解釋其行為變得困難。本綜述探討了在實際LLM部署中實施倫理原則的實際意義，考慮了技術限制、社會影響和潛在風險。它識別了局限性并提供了解釋和操作化LLM開發和部署倫理指南的見解。目標是通過突出差距并倡導完善LLM特定指南來促進AI治理，促進AI使用的透明性、公平性和問責制。

C. 本綜述的局限性

本綜述對AI信任進行了全面審查，特別關注LLMs。然而，重要的是要承認我們研究的局限性。我們的分析基于現有的AI倫理和信任領域的文獻和研究，包括專門針對LLMs的相關工作。因此，本綜述可能無法完全捕捉這些快速發展的領域中最新的想法或進展。

我們的分析范圍限于學術出版物和行業報告，這限制了所考慮的觀點范圍。對于LLMs，這尤為相關，因為本綜述可能未包括未出版的研究或不太知名的觀點，這些觀點可能提供寶貴的見解。此外，鑒于AI技術發展和LLMs倫理考慮不斷演變的速度，本綜述中提出的一些討論和結論可能會隨著時間的推移而變得不再相關。盡管我們的綜述旨在涵蓋AI，包括LLMs，越來越多部署在高風險領域中的情況，但它并未詳盡地解決所有與LLMs相關的信任方面或行業特定挑戰。本綜述中提出的解釋和分析基于撰寫時可獲得的最佳數據和研究。讀者在評估這些發現和建議時應考慮這些局限性。

需要強調的是，本綜述的目標是對AI和LLMs的信任進行全面審查，同時保持對分析范圍的透明度。我們旨在通過探索現有的指南和框架、討論構建LLMs信任的方法和挑戰以及提出未來研究方向，為AI信任和倫理的持續對話作出貢獻。我們鼓勵在可能探索較少或快速發展的領域進行進一步研究和對話，因為這些討論對于AI系統負責任的開發和部署至關重要。在本綜述中，我們創建了一個敘述，捕捉了AI信任的當前狀態及其領域中的潛在發展。然而，AI倫理和信任的領域是復雜和多面的，我們的綜述可能未涵蓋每一個細微差別或觀點。盡管如此，我們希望這項工作能為研究人員、政策制定者和從業人員在應對與AI和LLMs信任相關的挑戰和機遇時，提供有價值的資源。

摘要 —— 隨著ChatGPT的興起，大型模型的使用顯著增加，迅速在整個行業中脫穎而出，并在互聯網上廣泛傳播。本文是對大型模型微調方法的全面綜述。本文研究了最新的技術進展以及在諸如任務適應性微調、領域適應性微調、小樣本學習、知識蒸餾、多任務學習、高效參數微調和動態微調等方面應用先進方法。 索引術語 —— 大型語言模型（LLMs）、任務適應性微調、領域適應性微調、小樣本學習、知識蒸餾、多任務學習、高效參數微調、動態微調 I. 引言 變換器（Transformer）模型的出現標志著自然語言處理（NLP）領域的一個重要里程碑。變換器架構最初是為了解決循環神經網絡（RNNs [143]）和卷積神經網絡（CNNs [55]）在處理長距離依賴關系中的局限而設計的，該架構由Vaswani等人在2017年引入[126]，徹底改變了我們處理語言理解和生成任務的方式。 變換器架構背景：變換器模型源于對比傳統模型更有效處理序列數據的需求。其獨特的架構，不依賴遞歸和卷積，利用注意力機制來抽取輸入與輸出之間的全局依賴關系，顯著提高了處理效率和模型性能。 編碼器[19]、解碼器[95] [96] [13]以及編解碼器[100]架構：變換器架構主要由其編碼器和解碼器組成。編碼器處理輸入序列，創建每個詞的豐富上下文表征。相比之下，解碼器通常在語言翻譯任務中生成輸出序列，使用編碼信息。 兩者的區別在于它們的角色：編碼器是輸入的上下文感知處理器，而解碼器基于編碼輸入生成預測。編解碼器架構常用于序列到序列的任務，結合這兩個組件，便于處理復雜任務，如機器翻譯，編碼器處理源語言，解碼器生成目標語言。 大型模型中的微調興起：微調大型語言模型的概念源于將這些模型從訓練于龐大、多樣的數據集適應到特定任務或領域的挑戰。微調調整模型的權重，針對特定任務，增強其從廣泛語言模式到特定應用需求的泛化能力。隨著模型規模和復雜性的增長，這種方法變得越來越重要，需要更精細的適應技術來充分發揮其潛力。 本文的結構旨在提供關于微調大型語言模型的方法論和進展的全面概覽。后續部分的組織如下： 文獻回顧：審視語言模型的發展，突出變換器架構的關鍵發展和基礎概念。 理論基礎：深入探討變換器模型的理論基礎，包括注意力機制、編碼器和解碼器的機制。 微調策略：討論各種微調方法，如任務特定、領域特定的適應和高級技術，如小樣本學習和動態微調。 挑戰與未來方向：識別微調方法中的當前挑戰，并探索這一迅速發展領域的潛在未來研究方向。 本文介紹了基于變換器架構的大型語言模型的范式，并提供了常用的大模型微調方法的詳細概述。文章以一個比較實驗結束，聚焦于六個文本分類數據集上的模型大小和LoRA微調范式。實驗代碼已在GitHub上提供。

可控文本生成是生成式AI的重要技術之一，在智能創作、自動客服、游戲制作和數字人等領域具有廣闊的應用前景。本報告將從三個部分進行介紹：可控文本生成的研究進展、瀾舟可控文本生成的應用、可控我文本生成未來發展方向。關于可控文本生成研究進展，我將綜述可控文本生成神經網絡模型、模型訓練與解碼、改進生成質量的若干關鍵技術。然后，我將介紹瀾舟可控文本生成的相關研究和應用，例如營銷文案生成、小說生成和續寫、ESG報告生成、科技文獻寫作、可控對話生成和插圖生成等。最后我將討論可控文本生成存在的問題，包括前后一致性問題、常識問題和多樣化生成問題，并探討未來的發展方向。

摘要

近年來，深度學習在計算機視覺各個領域中的應用成效顯著，新的深度學習方法和深度神經網絡模型不斷涌現，算法性能被不斷刷新。本文著眼于2016年以來的一些典型網絡和模型，對基于深度學習的計算機視覺研究新進展進行綜述。首先總結了針對圖像分類的主流深度神經網絡模型，包括標準模型及輕量化模型等；然后總結了針對不同計算機視覺領域的主流方法和模型，包括目標檢測、圖像分割和圖像超分辨率等；最后總結了深度神經網絡搜索方法。

關鍵詞

深度學習; 目標檢測; 圖像分割; 超分辨率; 計算機視覺

引 言

近20年來，隨著深度學習技術的迅猛發展和圖形處理器（Graphics processing unit， GPU）等硬件計算設備的廣泛普及，深度學習技術幾乎已經應用到計算機視覺的各個領域，如目標檢測、圖像分割、超分辨率重建及人臉識別等，并在圖像搜索、自動駕駛、用戶行為分析、文字識別、虛擬現實和激光雷達等產品中具有不可估量的商業價值和廣闊的應用前景［1］。基于深度學習技術的計算機視覺同時可以對其他學科領域產生深遠的影響，如在計算機圖形學中的動畫仿真和實時渲染技術、材料領域的顯微圖像分析技術、醫學圖像分析處理技術、實時評估師生課堂表現和考場行為的智慧教育、分析運動員比賽表現和技術統計的智能系統等。

深度學習早在1986年就被Dechter［2］引入機器學習領域，2000年Aizenberg等［3］又在機器學習領域引入了人工神經網絡（Artificial neural network，ANN）［4］。深度學習方法由多層組成，用于學習多層次抽象的數據特征［5］。在人工神經網絡領域中，深度學習又被稱為分層學習［6］，是一種通過在不同計算階段精確地分配分數來調節網絡激活的技術［4］。深度學習常常用多種抽象結構來學習復雜的映射關系，如2009年蒙特利爾大學的Bengio教授提出的帶隱藏層的ANN［7］等。深度學習技術可以被視作一種表征學習，是機器學習的一個分支。

2005年多倫多大學的Hinton教授團隊試圖用圖模型模擬人類的大腦［8］，在文獻［9］中提出了一種逐層貪婪算法來預訓練深度信念網，克服了深度網絡難以訓練的弊端，并用自編碼器降低數據維度［10］，開啟了深度學習的熱潮，使其被廣泛應用在語音識別、計算機視覺和自然語言處理等領域。2011—2012年，深度學習技術在語音識別領域中最先取得重大突破，Dahl團隊［11］和Hinton團隊［12］先后將識別錯誤率降至20%~30%。在2012年的ImageNet大規模視覺識別挑戰競賽（ImageNet large scale visual recognition challenge，ILSVRC）中，Hinton的學生提出的AlexNet［13］以超過第二名準確率10%的巨大優勢奪得冠軍，深度學習正式進入了爆發期。近年來各大互聯網科技公司，如Google、Microsoft、Facebook、百度、阿里巴巴和騰訊等也爭相投入大規模深度學習系統的研發中。

筆者在2016年發表“深度卷積神經網絡在計算機視覺中的應用研究綜述”［1］，總結了2016年之前深度卷積神經網絡在計算機視覺中的研究成果。本文在文獻［1］的基礎上，重點綜述2016年以后基于深度學習的計算機視覺研究新進展。但為了表述的完整和邏輯的嚴謹，本文與文獻［1］內容有少量重合。

1 通用深度神經網絡模型

本文將解決圖像分類任務的神經網絡模型稱為通用網絡，這類模型通常是解決其他視覺任務的基礎模型。1989年AT&T貝爾實驗室的研究員LeCun通過反向傳播算法成功地訓練了卷積神經網絡［14］，這項工作代表了20世紀80年代神經網絡的研究成果。1998年LeCun等基于前人的工作提出了LeNet［15］，由2個卷積層和3個全連接層組成，因此也被稱為LeNet?5，其結構如圖1所示。但LeNet?5的復雜度遠遠無法和今天的深度網絡模型相比，性能也相差懸殊，但在當時取得了和支持向量機相媲美的效果，并被廣泛應用于識別手寫數字，受到了廣泛的關注。

圖1 LeNet-5結構示意圖[15]

Fig.1 Structure of LeNet-5[15]

在LeNet提出后，很長一段時間卷積神經網絡并不是計算機視覺領域的主流方法，因為LeNet只在小數據集上表現良好，在規模更大、更真實的數據集上表現一般。由于當時未普及高性能的神經網絡加速硬件設備，卷積神經網絡訓練的時間成本和空間開銷太大。因此在2012年AlexNet［13］提出之前，大多數研究者都采用SIFT［16］、HOG［17］和SURF［18］等手工方法提取特征，并花費大量的精力進行數據整理。

2007年，普林斯頓大學李飛飛團隊基于WordNet的層級結構開始搭建ImageNet數據集［19］，通過網絡抓取、人力標注和眾包平臺等各種方式，最終在2009年公開。如今ImageNet數據集包含超過14 000 000張帶標簽的高清圖像、超過22 000個類別。從2010年開始舉辦的ILSVRC圖像分類比賽成為計算機視覺領域的重要賽事，用于評估圖像分類算法的準確率。ILSVRC比賽數據集是ImageNet的一個子集，包含1 000類、數百萬張圖片。來自NEC實驗室的林元慶帶領NEC?UIUC團隊以28.2%的top?5錯誤率贏得了2010年ILSVRC冠軍。2010和2011這兩年的冠軍方案主要采用HOG［17］、LBP［20?21］等算法手動提取特征再輸入到特征向量機進行分類。

2012年的冠軍AlexNet［13］首次將深度學習技術應用到大規模圖像分類領域，證明了深度學習技術學習到的特征可以超越手工設計的特征，開啟了計算機視覺領域中的深度學習熱潮。AlexNet和LeNet結構理念相似，采用5層卷積層和3層全連接層，激活函數用ReLU取代了sigmoid，用dropout方法取代了權重衰減緩解過擬合，結構如圖2所示。AlexNet取得了17.0%的top?5錯誤率。

圖2 AlexNet結構示意圖[13] Fig.2 Structure of AlexNet[13]

2014年的冠軍團隊提出的ZFNet［22］通過反卷積可視化CNN學習到的特征，取得了11.7%的錯誤率。2015年的冠軍團隊Szegedy等提出的GoogLeNet［23］將錯誤率降到了6.7%。GoogLeNet提出了一種Inception模塊，如圖3所示。這種結構基于網絡中的網絡（Network in network，NiN）的思想［24］，有4條分支，通過不同尺寸的卷積層和最大池化層并行提取信息，1×11×1卷積層可以顯著減少參數量，降低模型復雜度。GoogLeNet一共使用9個Inception模塊，和全局平均池化層、卷積層及全連接層串聯。Szegedy提出很多改進的Inception版本，陸續使用了Batch Normalization［25］、Label Smoothing［26］和殘差連接［27］等方法。

圖3 Inception模塊示意圖[23] Fig.3 Inception block[23]

2015年的ILSVRC亞軍是由牛津大學視覺幾何團隊提出的VGGNet［28］。VGGNet重復使用了3××3的卷積核和2××2的池化層，將深度網絡加深到16~19層，如圖4所示。

圖4 VGG模塊和VGG結構示意圖 Fig.4 Block and structure of VGG

2016年，微軟亞洲研究院He等提出的ResNet［29］奪得了ILSVRC冠軍，將top?5錯誤率降至3.6%。ResNet最深可達152層，以絕對優勢獲得了目標檢測、分類和定位3個賽道的冠軍。該研究提出了殘差模塊的跳接結構，網絡學習殘差映射f(x)?xfx-x，每1個殘差模塊里有2個相同輸出通道的3××3卷積層，每個卷積層后接1個BN（Batch normalization）層和ReLU激活函數。跳接結構可以使數據更快地向前傳播，保證網絡沿著正確的方向深化，準確率可以不斷提高。ResNet的思想產生了深遠的影響，是深度學習領域的一個重要進步，奠定了訓練更深的深度網絡的基礎，其結構如圖5所示。

圖5 殘差模塊 Fig.5 Residual block

2017年提出的DenseNet［30］和ResNeXt［31］都是受ResNet［29］的啟發。DenseNet的目標不僅僅是學習殘差映射，而且是學習類似泰勒展開的更高階的項。因此DenseNet的跳接結構沒有用加法，而是用了聯結，如圖6所示。

圖6 ResNet和DenseNet結構比較 Fig.6 Structures of ResNet and DenseNet

ResNeXt［31］則是結合了ResNet［29］和Inception v4［27］，采用GoogLeNet分組卷積的思想，在簡化的Inception結構中加入殘差連接，并通過一個超參數“基數”調整ResNeXt模塊中分支的數量。這種簡化的Inception結構不需要人工設計每個分支，而是全部采用相同的拓撲結構，結構如圖7所示。ResNeXt在2016年ILSVRC的分類任務上獲得了亞軍。

圖7 ResNet殘差模塊和基數為32的ResNeXt模塊[31] Fig.7 ResNet block and ResNeXt block with cardinality of 32[31]

和ResNeXt同年提出的Xception［32］也是一種基于Inception分組卷積思想的模型。分組卷積的核心思想是將通道拆分成不同大小感受野的子通道，不僅可以提取多尺寸的特征，還可以減少參數量，降低模型復雜度。Xception模塊可以視為一種極端情況的Inception模塊，它的輸入先經過一個1××1的卷積層后進入多個完全相同的3××3卷積層分支，如圖8所示。

圖8 經典及簡化的Inception模塊和Xception模塊[32] Fig.8 Classical and simplified Inception blocks and Xception block[32]

ImageNet數據規模大，圖像類別多，因此在ImageNet上訓練的模型泛化能力較好。如今很多模型都是在ImageNet上預訓練后進行微調，有些模型微調后準確率可以超過只在目標訓練集上訓練模型的20%。受ImageNet自由開放思想的影響，很多科技巨頭也陸續開放了自己的大規模數據集：2018年谷歌發布了Open Image數據集［33］，包含了被分為6 000多類的900萬張帶有目標位置信息的圖片；JFT?300M數據集［34］包含300萬張非精確標注的圖像；DeepMind也公開了Kinetics數據集［35?36］，包含650 000張人體動作的視頻截圖。這些大規模數據集增強了深度學習模型的泛化能力，為全世界深度學習工作者和數據科學家提供了數據支持，保障了深度學習領域的蓬勃發展。

生成模型可以學習數據中隱含的特征并對數據分布進行建模，它的應用非常廣泛，可以對圖像、文本、語音等不同數據建模真實的分布，然后基于這一分布通過采樣生成新的數據。在深度學習之前就已經有許多生成模型被提出，但由于生成模型往往難以建模，因此科研人員遇到了許多挑戰。變分自編碼器（Variational autoencoder， VAE）［37］是一種當前主流的基于深度學習技術的生成模型，它是對標準自編碼器的一種變形。自編碼器將真實樣本的高級特征通過編碼器映射到低級特征，被稱為隱向量（或潛向量），然后又通過解碼器生成相同樣本的高級特征。標準自編碼器和變分自編碼器的區別在于對隱向量的約束不同。標準自編碼器關注重構損失，即

L(X,X')=∥X?X'∥22?X,X'=X-X'22 （1） 式中：XX和X'X'分別為輸入圖像和重構圖像。 變分自編碼器則強迫隱變量服從單位高斯分布，優化如下損失函數

L(X)=Ez~q[lg P(X|z)]?KL(q(z|X)||p(z))?X=Ez~q[lg P(X|z)]-KL(q(z|X)||p(z)) （2） 式中：EE表示期望；z為隱變量；q(z|X)q(z|X)表示隱變量的建議分布，即編碼器輸出的隱變量的分布；p(z)p(z)表示標準高斯分布；P(X|z)P(X|z)表示解碼器分布；KLKL表示KL散度。式（2）等號右邊第1項表示重構圖片的精確度，用均方誤差度量；第2項表示圖片的潛變量分布和單位高斯分布之間的差異，用KL散度來度量。為了優化KL散度，變分自編碼器生成1個均值向量和1個標準差向量用于參數重構。此時在隱向量分布中采樣就可以生成新的圖片。自編碼器和變分自編碼器示意圖如圖9、10所示。

圖9 自編碼器示意圖Fig.9 Autoencoder

圖10 變分自編碼器示意圖 Fig.10 Variational autoencoder

生成對抗網絡（Generative adversarial net， GAN）［38］是另一種十分常見的基于深度學習技術的生成模型，它包括2個同時進行的組件：生成器和判別器，其結構如圖11所示。生成器從隱向量生成圖像，判別器對真偽圖像進行分類，二者相互對抗，互相促進。

圖11 生成對抗網絡示意圖 Fig.11 Generative adversarial net

變分自編碼器和生成對抗網絡近年來有了顯著的發展［39］。在計算機視覺領域中，變分自編碼器和生成對抗網絡已經被廣泛應用于圖像翻譯、超分辨率、目標檢測、視頻生成和圖像分割等領域，具有廣闊的研究價值和應用前景。

2 輕量化網絡

隨著網絡層數的加深，各種深度網絡模型的性能變得越來越好，隨之而來的問題是模型巨大的參數量和緩慢的推理速度，因此輕量化網絡的需求變得愈加強烈。輕量化網絡的設計核心是在盡可能保證模型精度的前提下，降低模型的計算復雜度和空間復雜度，從而使得深度神經網絡可以被部署在計算性能和存儲空間有限的嵌入式邊緣設備上，實現從學術界到工業界的躍遷。在分布式訓練中，小模型使得服務器之間通信產生的帶寬負擔也相對較小。目前學術界和工業界設計輕量化的深度網絡模型主要有4種方法：人工設計的輕量化神經網絡、基于神經網絡架構搜索（Neural architecture search，NAS）的自動設計神經網絡技術、卷積神經網絡壓縮和基于AutoML的自動模型壓縮。

2016年由伯克利和斯坦福的研究者提出的SqueezeNet［40］是最早進行深度模型輕量化的工作之一，其結構如圖12所示。SqueezeNet提出了一種Fire模塊用來減少參數量，其結構如圖13所示。它分成Squeeze和Expand兩部分：Squeeze層只由數個1××1卷積層構成；Expand層則包含數個1××1和3××3卷積層。Fire模塊和Inception模塊的結構很相近，二者都使用了1××1和3××3組合的拓撲結構，在使用了不同尺寸的卷積層后進行連結。在網絡結構上，SqueezeNet借鑒了VGG堆疊的形式，在2層卷積層和池化層中間堆疊了8個Fire模塊。最終SqueezeNet在ImageNet上實現了AlexNet級別的精確度，參數減少到原來的1/501/50。通過使用Deep Compression模型壓縮技術，SqueezeNet的參數量僅有50萬個，約為AlexNet的1/5001/500。

圖12 SqueezeNet網絡結構示意圖[40]

Fig.12 Structure of SqueezeNet[40]

圖13 SqueezeNet的Fire 模塊[40]

Fig.13 Fire block in SqueezeNet[40]

MobileNet［41］是谷歌于2017年提出的輕量化網絡，核心是通過用深度可分離卷積代替標準的卷積。深度可分離卷積將標準卷積拆成1個深度卷積和1個逐點卷積（也就是1××1卷積），可以將計算量降低至原來的1/8~1/91/8~1/9。標準卷積和深度可分離卷積+BN+ReLU結構如圖14所示。

圖14 標準卷積+BN+ReLU網絡和深度可分離卷積+BN+ReLU網絡[41]

Fig.14 Standard convolution+BN+ReLU network and depthwise separable convolution+BN+ReLU network[41]

深度可分離卷積的結構成為了很多輕量化網絡設計的參照，這種結構的有效性自從被Xception［32］證明后成為輕量化網絡設計的主流思想。比MobileNet晚2個月由Face++團隊提出的ShuffleNet［42］基于這一思想，使用了Channel Shuffle和分組卷積。分組卷積的思想最早由AlexNet［13］提出，初衷是為了降低單張GPU的占用，將輸入通道分成相同的幾條分支然后連結，從而減少訓練參數量。之后的Inception模塊將這一思想發揚光大，ResNeXt［31］的成功也證明了分組卷積的有效性。由于分組卷積會讓信息的流通不當，ShuffleNet設計了Channel Shuffle，將各組通道均分并進行混洗，然后依次重新構成特征圖，示意圖如圖15所示。

圖15 Channel Shuffle示意圖[42]

Fig.15 Diagrammatic sketch of Channel Shuffle[42]

圖15中，Channel Shuffle后第2個組卷積GConv2的輸入信息來自各個通道，圖15（c，b）達到了一樣的效果。ShuffleNet模塊的設計借鑒了ResNet bottleneck的結構，如圖16所示。

圖16 ShuffleNet模塊[42] Fig.16 ShuffleNet block[42]

ShuffleNet模塊摒棄了Pointwise卷積，因為對于輸入維度較高的小型網絡，1××1卷積的開銷巨大。例如在ResNeXt模塊中，1××1卷積占據了93.4%的計算量。在網絡拓撲上，SqueezeNet和MobileNet都采用了VGG（Visual geometry group）的堆疊結構，而ShuffleNet采用了ResNet的跳接結構。

2018年，MobileNet和ShuffleNet又相繼提出了改進版本。MobileNet v2［43］結構如圖17所示，采用了效率更高的殘差結構，提出了一種逆殘差模塊，并將MobileNet v1模塊的最后一個ReLU6層改成線性層。ShuffleNet v2［44］用更直接的運算速度評估模型，摒棄了之前如每秒浮點運算次數（FLOPS）等間接的指標。結構上ShuffleNet v2采用了一種Channel Split操作，將輸入的特征圖分到2個分支里，最后通過連結和Channel Shuffle合并分支并輸出。ShuffleNet v1和ShuffleNet v2結構如圖18所示。

圖17 MobileNet v2模塊[43]

Fig.17 MobileNet v2 block[43]

圖18 ShuffleNet v1和ShuffleNet v2結構[44]

Fig.18 Structures of ShuffleNet v1 and ShuffleNet v2[44]

2020年華為諾亞方舟實驗室的團隊提出了GhostNet［45］，如圖19所示，可以用更少的參數量提取更多的特征圖。首先對輸入特征圖進行卷積操作，然后進行一系列簡單的線性操作生成特征圖，從而在實現了傳統卷積層效果的同時降低了參數量和計算量。該團隊認為性能較好的主流卷積神經網絡如ResNet?50通常存在大量冗余的特征圖，正是這些特征圖保證了網絡對數據深刻的理解。Ghost模塊用更小的代價模擬了傳統卷積層的效果。

圖19 卷積層和Ghost模塊[45]

Fig.19 Convolutional layer and Ghost module[45]

人工設計的輕量化網絡MobileNet系列［41，43］和ShuffleNet系列［42，44］的基本思想主要是通過分離卷積操作減少運算量，再采用殘差跳接結構和Channel Shuffle等混合通道的操作促進分支間的交流，提高信息利用率。隨著模型規模的擴大，硬件資源變得更加稀缺，在保證精度的前提下壓縮并加速模型將會是經久不衰的熱門研究方向，也是信息化時代發展的必經之路。近年來大量的關于模型壓縮和結構優化的工作不斷涌現，如網絡剪枝［46］、張量分解［47?48］和知識遷移［49］等。輕量化模型的發展有助于深度學習技術的推廣和應用，推動深度學習技術的產業化發展。

3 面向特定任務的深度網絡模型

計算機視覺任務眾多，深度學習最開始在圖像分類實現突破，當前深度學習幾乎深入到了計算機視覺的各個領域。本節將針對目標檢測、圖像分割、圖像超分辨率和神經架構搜索等其他計算機視覺任務簡要總結深度學習方法。

3.1　目標檢測

目標檢測任務作為計算機視覺的基本任務之一，包含物體的分類、定位和檢測。近年來隨著深度學習技術的發展，目標檢測算法已經從基于手工特征的HOG［17］、SIFT［16］及LBP［20?21］等傳統算法轉向了基于深度神經網絡的機器學習技術。自2014年Girshick等提出了R?CNN［50］模型以來，目標檢測就成為了計算機視覺最受人關注的領域之一。在R?CNN之后，Girshick團隊相繼提出了Fast R?CNN［51］、Faster R?CNN［52］等一系列模型，這些模型均將目標檢測問題歸結為如何提出可能包含目標的候選區域和如何對這些區域分類兩個階段，因此這類模型也被稱作兩階段模型。

受當時性能最好的圖像分類網絡，如AlexNet［13］和VGG［28］等的影響，R?CNN系列模型的網絡結構由2個子網組成：第1個子網用普通分類網絡的卷積層提取共享特征；第2個子網的全連接層進行感興趣區域（Region of interest，RoI）的預測和回歸，中間用一個RoI池化層連接。這些網絡的結構在文獻［1］中已做介紹，這里不再贅述。在ResNet［29］、GoogLeNet［23］等性能更強的分類網絡出現后，這種全卷積網絡結構也被應用到了目標檢測任務上。然而，由于卷積層并不能有針對性地保留位置信息，這種全卷積結構的檢測精度遠低于它的分類精度。R?FCN［53］提出了一種位置敏感分數圖來增強網絡對于位置信息的表達能力，提高網絡的檢測精度，其結構如圖20所示。R?FCN［53］在PASCAL VOC 2007數據集上平均精度均值（mean Average precision， mAP）達到了83.6%，單張圖片的推理速度達到170 ms。

圖20 R-FCN結構示意圖[53] Fig.20 Structure of R-FCN[53]

如何準確識別不同尺寸的物體是目標檢測任務的難點之一。圖21（a）中的方法通過對不同尺寸的圖片提取不同尺度特征來增強不同尺度特征的語義信息，但時間和計算成本太高。圖21（b）中的單一特征圖方法即為SPPnet［54］、Fast R?CNN［51］和Faster R?CNN［52］使用的方法，即在最后一層的特征圖上進行預測。盡管速度較快，但包含的語義信息很少，不能準確地預測目標的位置。圖21（c）是SSD［55］采用的多尺度融合方法，從網絡的不同層抽取不同尺度的特征分別進行預測，這種方法不需要額外的計算，但不能很好地提取小目標敏感的淺層高分辨率特征。

圖21 多尺度檢測的常見結構[56] Fig.21 Common structures of multiscale detection[56]

特征金字塔網絡（Feature Pyramid network， FPN）［56］借鑒了ResNet跳接的思想，結合了層間特征融合與多分辨率預測，其結構如圖22所示。文獻［56］將FPN用于Faster R?CNN的區域候選網絡（Region proposal network， RPN），在每層金字塔后面接一個RPN頭。由于輸入了多尺度的特征，因此不需要生成多尺度的錨框，只需要在每個尺度上設置不同的寬高比，并共享參數。以ResNet?101為骨干網絡的Faster R?CNN+FPN在COCO test?dev上[email protected]達到了59.1%，超過不用FPN的Faster R?CNN 3.4%。實驗證明對于基于區域的目標檢測器，該特征金字塔結構的特征提取效果優于單尺度的特征提取效果。

圖22 FPN結構示意圖[56] Fig.22 Structure of FPN[56]

YOLO［57］是單階段模型的代表，它沒有提出候選區域的過程，而是直接將提出候選區域和分類統一為一個邊界框回歸的問題，將整張圖片作為網絡的輸入，在輸出層對邊界框位置信息和類別進行回歸，實現了端到端的學習過程，其示意圖如圖23所示。它首先將圖片縮放并劃分為等分的網格，然后在每張圖片上運行單獨的卷積網絡，最后用非極大值抑制得到最后的預測框。損失函數被分為3部分：坐標誤差、物體誤差和類別誤差。為了平衡類別不均衡和大小物體等帶來的影響，損失函數中添加了權重并將長寬取根號。

圖23 YOLO示意圖[57] Fig.23 Pipeline of YOLO[57]

YOLO的網絡結構借鑒了GoogLeNet的結構，用24層卷積層后接2層全連接層，將Inception模塊替換為類似網中網［24］中的1××1卷積層后接3××3卷積層，并在ImageNet上預訓練，其結構如圖24所示。在PASCAL VOC 07+12數據集上，YOLO在達到最高幀率155 幀/s時mAP可以達到52.7%，在mAP最高達到63.4%時幀率可達45幀/s。YOLO在保證了準確率的同時擁有極高的推理速度，遠超當時的兩階段模型。

圖24 YOLO網絡結構圖[57] Fig.24 Structure of YOLO[57]

YOLOv1的訓練流程簡單，背景誤檢率低，但由于只選擇交并比最高的邊界框作為輸出，每個格子最多只能預測出一個物體。當每個格子包含多個物體時，YOLOv1只能檢測出1個目標。YOLOv2［58］在YOLOv1的基礎上，骨干網絡采用了以VGG16為基礎的Darknet19，使用了批量歸一化緩解了梯度爆炸和消失的問題。YOLOv2借鑒了Faster R?CNN錨框的設計，將YOLOv1的全連接層替換為錨框預測邊界框的位置，解耦了位置和類別的回歸計算。YOLOv2［58］同時采用了多尺度訓練，提升了模型的健壯性。后續的YOLOv3［59］骨干網絡采用了Darknet53，使用了ResNet的跳接結構，并引入了FPN，一定程度上解決了YOLOv2小目標檢測精度較差的問題。YOLOv3在分辨率320 像素×像素×320 像素的輸入上以22 ms的推理時間使得mAP達到28.2%，和當時最好的單階段檢測器SSD達到相同精度，但擁有3倍的推理速度。YOLOv3以51 ms的推理時間使得[email protected]達到57.9%，相較于以198 ms的推理時間[email protected]達到57.5%的RetinaNet［60］，精度相近但YOLOv3的速度是RetinaNet［60］的近4倍。

SSD［55］是最早達到兩階段模型精度的單階段模型之一，對后期的單階段工作影響很深，其結構如圖25所示。為解決YOLOv1小目標檢測精度低的問題，基于VGG不同的卷積段采用了多尺度的特征圖，并在每個網格點生成更多的不同大小和長寬比的預測框。SSD在PASCAL VOC 2007數據集上，對于300 像素××300 像素的輸入mAP達到了74.3%，512 像素××512 像素的輸入mAP達到了76.9%。在COCO trainval35k數據集上預訓練再在PASCAL VOC 07+12上微調后，SSD最終mAP達到了81.6%。

圖25 SSD網絡結構圖[55] Fig.25 Structure of SSD[55]

和兩階段模型相比，單階段模型只需要進行一次類別預測和位置回歸，因此卷積運算的共享程度更高，擁有更快的速度和更小的內存占用。最新的單階段模型如FCOS［61］、VFNet［62］等工作已經可以達到接近兩階段模型精度，同時擁有更好的實時性，更適合在移動端部署。

目標檢測技術從傳統的手工特征算法到如今的深度學習算法，精度越來越高的同時速度也越來越快。在過去幾年中，工業界已經出現了成熟的基于目標檢測技術的應用，如人臉檢測識別、行人檢測、交通信號檢測、文本檢測和遙感目標檢測等。這些應用不僅便利了人們的生活，也為學術界提供了啟發和指導。

在未來的研究工作中，小目標檢測和視頻目標檢測依舊是研究的熱點問題。同時，為了加快推理速度并在移動端嵌入式設備部署模型，目標檢測的輕量化一直備受工業界的關注。在采集到多模態的信息（如文字、圖像、點云等）后，如何通過更好的信息融合來提高檢測性能也是未來的一個重點研究方向。

3.2　圖像分割

本文的圖像分割指圖像語義分割任務，其要求將整張圖片的所有像素分類為預先定義的多個類別之一。由于是像素級的稠密分類任務，相比圖像分類和目標檢測更加困難，是圖像處理和計算機視覺中的一個重要課題，在場景理解、醫學圖像分析、機器人感知及視頻監控等領域有著廣泛的應用。近年來，由于深度學習技術在計算機視覺領域應用中取得的成功，人們也進行了大量的工作研究基于深度學習模型的圖像分割方法。

U?Net［63］和全卷積網絡（Fully convolutional network， FCN）［64］都是在2015年提出的網絡，啟發了后來的很多圖像分割和目標檢測的工作。FCN已在文獻［1］中進行介紹，此處不再贅述。U?Net最初是一個用于醫學圖像分割的卷積神經網絡，分別贏得了ISBI 2015細胞追蹤挑戰賽和齲齒檢測挑戰賽的冠軍。U?Net可視為一個編碼器?解碼器結構，編碼器有4個子模塊，每個子模塊通過一個最大池化層下采樣，解碼器再通過上采樣的4個子模塊增大分辨率直到與輸入圖像的分辨率保持一致，其結構如圖26所示。由于卷積采用的是Valid模式，實際輸出圖像的分辨率低于輸入圖像的分辨率。U?Net網絡同時還采取了跳接結構（即圖26中的灰色箭頭），將上采樣結果與編碼器中具有相同分辨率的子模塊的輸出進行連接，作為解碼器中下一個子模塊的輸入。

圖26 U-Net結構示意圖[63] Fig.26 Structure of U-Net[63]

由于人體結構相對固定，分割目標在圖像內的分布很有規律，醫學圖像大多語義明確，需要低分辨率的信息用于目標物體的識別。同時醫學圖像形態復雜，往往要求高精度的分割，需要高分辨率的信息用于精準分割。U?Net融合了高低分辨率的信息，因此對醫學圖像分割的效果很好。

Mask R?CNN［65］是R?CNN團隊的又一次探索，他們在之前Faster R?CNN［52］的基礎上，將其擴展到更精細的像素級別的分類，從而從目標檢測領域拓展到圖像分割領域。通過使用RoIAlign代替RoIPooling，得到更好的定位效果，并在Faster R?CNN上添加了二進制的Mask，表征像素是否在目標范圍內完成圖像分割的任務。Mask R?CNN網絡結構圖和分支結構圖如圖27、28所示。 圖27 Mask R-CNN網絡示意圖[65]Fig.27 Structure of Mask R-CNN[65] 圖28 Mask R-CNN分支示意圖[65]Fig.28 Structure of Mask R-CNN’s branches[65]

深度卷積神經網絡中池化層和上采樣層的設計對于圖像分割的設計有致命缺陷。因為參數不可學習，而且池化會導致像素的空間信息和內部的數據結構丟失，上采樣也無法重建小物體信息，因此圖像分割的精度一直處于瓶頸。針對這一問題，2016年的DeepLab［66］又提出了一種空洞卷積，避免了池化層帶來的信息損失，并使用全連接的條件隨機場（Conditional random field， CRF）優化分割精度，其結構如圖29所示。

圖29 空洞卷積示意圖（卷積核尺寸為3，輸入步長為2，輸出步長為1）[66] Fig.29 Dilated convolution (kernel size=3, input stride=2, output stride=1)[66]

空洞卷積可以在避免使用池化層損失信息的情況下增大感受野，同時不增加參數數量。作為后處理，DeepLabv1將每個像素點作為節點，像素之間的關系作為節點間的連線，構成一個條件隨機場，再用一個二元勢函數描述像素點之間的關系，將相似像素分配相同的標簽，從而在分割邊界取得良好的效果。DeepLabv1速度很快，幀率達到8 幀/s，在PASCAL VOC 2012數據集上平均交并比（Mean intersection over union，mIoU）達到了71.6%，它的“深度卷積神經網絡+條件隨機場”結構對之后很多工作產生了深遠的影響。

2017年劍橋大學提出的SegNet［67］的主要動機是針對道路和室內場景理解，設計一個像素級別的圖像分割網絡，同時保證內存和計算時間方面上的高效。SegNet采用“編碼器?解碼器”的全卷積結構，編碼網絡采用VGG16［28］的卷積層，解碼器從相應的編碼器獲取最大池化索引后上采樣，產生稀疏特征映射。復用池化索引減少了端到端訓練的參數量，并改善了邊界的劃分。SegNet在道路場景分割數據集CamVid 11 Road Class Segmentation［68］上mIoU達到60.1%， 邊界F1得分（Boundary F1 score，BF） 達到46.84%；在室內場景分割數據集SUN RGB?D Indoor Scenes［69］上幾乎所有當時的深層網絡結構都表現不佳，但SegNet依然在絕大多數的指標上超過了其他網絡。SegNet結構如圖30所示。

圖30 SegNet結構示意圖[67] Fig.30 Structure of SegNet[67]

2017年香港中文大學提出了PSPNet［70］，該網絡采用金字塔池化模塊，用大小為1××1、2××2、3××3和6××6的4層金字塔分別提取不同尺度的信息，然后通過雙線性插值恢復長寬，把不同層的特征連結起來得到全局信息，這種結構比全局池化更具有代表性，融合了多尺度的信息。PSPNet在PASCAL VOC 2012數據集上mIoU達到了82.6%，在MS COCO數據集上預訓練后達到85.4%。PSPNet結構如圖31所示。

圖31 PSPNet結構示意圖[70] Fig.31 Structure of PSPNet[70]

DeepLabv2［71］在DeepLabv1［66］和PSPNet［70］的基礎上用ResNet101代替VGG16，并提出了一種帶有空洞卷積的空間金字塔池化模塊（Atrous spatial Pyramid pooling， ASPP），用多尺度的方法以不同的速率并行地提取特征圖信息，極大地增加了感受野，其結構如圖32所示。DeepLabv2使用不同的學習率，相比DeepLabv1， mIoU達到了79.7%，提升了8.1%，但二者都使用了全連接條件隨機場模塊。

圖32 空洞空間金字塔池化示意圖[71] Fig.32 Structure of ASPP[71]

DeepLabv3［72］重新審視了空洞卷積的作用，將其級聯模塊應用在ResNet最后一個模塊之后。不使用空洞卷積和使用空洞卷積的級聯模塊示意圖如圖33所示。

圖33 不使用和使用空洞卷積的級聯模塊示意圖[72] Fig.33 Structures of cascade modules without and with atrous convolution[72]

DeepLabv3改進了ASPP模塊，應用BN層，并將DeepLabv2中Rate=24的3××3卷積模塊替換為1××1卷積模塊和全局池化模塊，克服了像素點相對距離增大時有效權重減少的問題。DeepLabv3去掉了后處理的DenseCRF模塊，并最終在PASCAL VOC 2012數據集上mIoU達到了86.9%，相較DeepLabv2進一步提升了7.2%。改進的ASPP模塊示意圖如圖34所示。

圖34 改進的ASPP模塊示意圖[72] Fig.34 Improved ASPP module[72]

DeepLabv3+［73］相對于DeepLabv3，采用了“編碼器?解碼器”的結構，編碼器中包含豐富的語義信息，解碼器則輸出圖像的邊緣細節信息。空間金字塔池化模塊，“編碼器?解碼器”結構和帶有空洞卷積的“編碼器?解碼器”結構如圖35所示，DeepLabv3+結構如圖36所示。

圖35 DeepLabv3+使用了空間金字塔池化模塊，“編碼器-解碼器”結構和空洞卷積[73] Fig.35 DeepLabv3+ employing spatial Pyramid pooling, encoder-decoder and atrous convolution[73]

圖36 DeepLabv3+示意圖[73] Fig.36 Structure of DeepLabv3+[73]

DeepLabv3+將之前的骨干網絡ResNet101替換為Xception，并結合深度可分離卷積的思想提出了空洞深度可分離卷積，在減少參數量的同時進一步增大感受野。和DeepLabv3一樣，DeepLabv3+也沒有使用DenseCRF后處理模塊。最終DeepLabv3+在PASCAL VOC 2012數據集上mIoU達到了89.0%，相較DeepLabv3提升了2.1%。深度卷積、逐點卷積和空洞深度可分離卷積示意圖如圖37所示。

圖37 空洞深度可分離卷積示意圖[73] Fig.37 Structure of atrous depthwise separable convolution[73]

2019年曠視科技提出了一種名為DFANet［74］的高效CNN架構，通過子網和子級聯的方式聚合多尺度特征，極大地減少了參數量，其結構如圖38所示。DFANet采用“編碼器?解碼器”結構，解碼器的骨干網絡采用3個改良的輕量級Xception融合結構，編碼器則是一個高效的上采樣模塊，用于融合高層和底層的語義信息。在CityScapes［75］測試數據集上，對于1 024像素××1 024像素的輸入圖片，DFANet在一塊NVIDIA Titan X上mIoU達到71.3%，FLOPS僅為3.4××109，幀率達到100 幀/s；在CamVid［68］測試數據集上，對于960像素××720像素的輸入圖片，DFANet在8 ms的計算時間內mIoU達到64.7%，幀率達到120 幀/s。

圖38 DFANet結構示意圖[74] Fig.38 Structure of DFANet[74]

2020年筆者提出一種輕量級網絡LRNNet［76］。其中分解卷積塊FCB（圖39（a））利用1××3和3××1的空間分解卷積處理短距離特征，并利用空洞深度分離卷積處理遠距離特征，實現了參數量和計算量更少、深度更快、準確率更高的特征提取；高效的簡化Non?Local模塊LRN（圖39（b））利用區域主奇異向量作為Non?Local模塊的Key和Value，在降低Non?Local模塊的計算量和內存占用的同時，保持其處理遠距離關聯的效果。在Cityscapes［75］測試集上，LRNNet的mIoU達到了72.2%，而網絡僅有68萬個參數，并在1張GTX 1080Ti卡上達到71 幀/s的推理速度；在CamVid［68］測試集上，對于360像素××480像素的輸入，LRNNet的mIoU達到了69.2%，參數量也為68萬個，在1張GTX 1080Ti卡上幀率達到76.5 幀/s。

圖39 LRNNet中的FCB和LRN模塊[76] Fig.39 FCB and LRN modules in LRNNet[76]

圖像分割是像素級的稠密分類任務，在搜集數據集時需要真值標注每個像素，但由于這個要求極其耗時且非常昂貴，許多研究人員開始用弱監督學習和半監督學習的方法訓練網絡。常見的弱標注有圖像類別標簽、邊界框、顯著圖和類激活圖（Class activation map，CAM）等。

2015年谷歌和UCLA團隊的工作［77］是最早開始研究基于弱監督學習技術的圖像分割算法之一。該工作基于DeepLab模型［66］，研究了弱標注（類別標簽、邊界框等）與少量強標注（像素級標簽）和大量弱標注混合對DCNN圖像分割模型的影響，并在半監督和弱監督的設定下提出了一種期望最大化方法（Expectation?maximization，EM）。這項工作證實了僅使用圖像級標簽的弱標注存在性能差距，而在半監督設定下使用少量強標注和大量弱標注混合可以獲得優越的性能，在MS COCO數據集上使用5 000張強標注圖片和118 287張弱標注圖片mIoU超過70%。

盡管類別標簽的獲取成本很低，但這類標注信息僅僅標明某類目標存在，不能表示出目標的位置和形狀，這往往會導致分割效果不夠理想，存在邊界模糊等問題。當出現目標遮擋的情況時，僅使用圖像級標簽獲取完整的目標邊界會更加困難。為了補充監督信息中缺少的位置和形狀信息，使用圖像的顯著性信息是一種常見的手段。文獻［78］提出了一個僅使用類別標簽和顯著圖信息的圖像分割模型，其結構如圖40所示。該模型將圖像的顯著圖定義為一個人最有可能先看到的目標的二進制掩膜，用預訓練的目標檢測網絡提取出顯著性區域，通過種子信息確定目標的類別和位置。該工作同樣基于DeepLab［66］的網絡結構，提出的模型測試精度mIoU達到56.7%，實現了全監督模型80%的性能。

圖40 高層信息指導的圖像分割網絡結構圖[78] Fig.40 High-level guided segmentation architecture[78]

定位線索的另一個流行的選擇是使用CAM。主流的弱監督方法通過將CAM作為分割種子，突出局部的顯著部分，然后逐漸生長直到覆蓋整個目標區域，從而補充了缺失的目標形狀信息。2018年提出的AffinityNet［79］結合了類別標簽和CAM信息，首先計算圖像的CAM作為監督源訓練AffinityNet，通過構建圖像的語義相似度矩陣，結合隨機游走進行擴散，不斷獎勵或懲罰從而修改CAM，最終恢復出目標的形狀。AffinityNet流程如圖41所示。

圖41 AffinityNet流程示意圖[79] Fig.41 Pipeline of AffinityNet[79]

深度學習技術在圖像分割領域取得了顯著成就，但仍然面臨不小的挑戰。當前的大規模數據集如MS COCO［80］和PASCAL VOC［81］并不能滿足工業界的需求，而具有多目標和重疊目標的數據集對于圖像分割而言更具有應用價值，這可以使得圖像分割技術更好地處理密集目標場景和現實生活中常見的重疊目標場景。基于小樣本學習技術的圖像分割算法同樣具有廣闊的前景，因為在許多應用領域，例如醫學圖像分析領域，獲取學習樣本的成本較高，難度也較大。圖像分割技術的實時性也是一個難題，目前大多數模型并不能達到實時性的要求，但在很多應用場景下，速度的重要性遠高于精度。

3.3　超分辨率

超分辨率技術是計算機視覺領域提高圖像和視頻分辨率的重要處理技術之一，研究如何將低分辨率的圖像或圖像序列恢復出具有更多細節信息的高分辨率圖像或圖像序列，在高清電視、監控視頻、醫學成像、遙感衛星成像、顯微成像及老舊圖像視頻修復等領域有著重要的應用價值。傳統上超分辨率屬于底層視覺領域，但本文敘述順序從圖像分類、目標檢測、圖像分割到超分辨率，輸出逐級復雜，依次為圖像標簽、目標位置和類別標簽、與輸入同大小的分割圖、比輸入圖像大的高分辨率圖像等。與前幾個任務不同，超分辨率需要生成和恢復輸入中不存在的信息。

超分辨率的概念最早出現在光學領域，1952年Francia第一次提出了用于提高光學分辨率的超分辨率的概念［82］。1964年前后，Harris［83］和Goodman［84］分別提出了后來稱為Harris?Goodman頻譜外推的方法，這被認為是最早的圖像復原方法，但這種技術只能在一些理想情況下進行仿真，實際效果不太理想，因此并未得到推廣。1984年Tsai等［85］首次利用單幅低分辨率圖像的頻域信息重建出高分辨率圖像后，超分辨率重建技術才得到廣泛的認可和應用，如今它已經成為圖像增強和計算機視覺領域中最重要的研究方向之一。

傳統的超分辨率方法包括基于預測、基于邊緣、基于統計、基于塊和基于稀疏表示等方法。根據輸入輸出的不同，超分辨率問題可以分為基于重建的超分辨率問題、視頻超分辨率問題和單幅圖像超分辨率問題。根據是否依賴訓練樣本，超分辨率問題則又可以分為增強邊緣的超分辨率問題（無訓練樣本） 和基于學習的超分辨率問題 （有訓練樣本）。

最簡單、應用最廣泛的經典單幅圖像超分辨率方法是插值法，包括Lanczos、Bicubic、Bilinear和Nearest等，這種方法操作簡單、實施性好，但并不能恢復出清晰的邊緣和細節信息，因此很多其他用于增強細節的傳統算法相繼被提出。文獻［86］提出了基于塊的方法，也被稱為基于鄰域嵌入的方法。這種方法使用流形學習中的局部線性嵌入，假設高、低維度中圖像塊的線性關系可以保持，用低分辨率圖像的特征（梯度等）重構高分辨率圖像。文獻［87?88］提出了基于稀疏表示的方法，也被成為字典學習。這種方法將低分辨率圖像和高分辨率圖像表示為字典DD與原子αα，高分辨率圖像可表示為x=Dhighx=Dhigh，低分辨率圖像為y=Dlowy=Dlow，假設不同分辨率的同一幅圖像的原子αα，在訓練完字典DhighDhigh和DlowDlow后，用低分辨率的圖像得到αα，隨后得到重構的高清圖像。基于學習的超分辨率技術［89］如圖42所示，上、下采樣方法示意圖［90］如圖43所示。

圖42 基于學習的超分辨率技術[89] Fig.42 Learning-based super-resolution[89]

圖43 超分辨率問題中的上采樣和下采樣方法[90] Fig.43 Upsampling and downsampling in super-resolution[90]

經典的超分辨率方法要求研究者具備深厚的相關領域先驗知識。隨著深度學習技術的興起，用神經網絡方法重建的圖像質量超過了傳統方法，速度也更快，這使得大批學者轉向對深度學習技術在超分辨率領域的應用研究。香港中文大學Dong等于2015年首次將卷積神經網絡用于單幅圖像超分辨率重建，提出了SRCNN［91］，該網絡僅僅用了3個卷積層，利用傳統稀疏編碼，依次進行圖像塊提取、非線性映射和圖像重建，實現了從低分辨率圖像到高分辨率圖像的端到端映射，流程圖如圖44所示。SRCNN激活函數采用ReLU，損失函數采用均方誤差。

圖44 SRCNN流程圖[91] Fig.44 Pipeline of SRCNN[91]

2016年Dong團隊在之前SRCNN的基礎上提出了更快、實時性更好的FSRCNN［92］，在原始網絡的最后加入反卷積層放大尺寸，摒棄了Bicubic插值方法，使用了更多的映射層和更小的卷積核，改變了特征維度，并共享其中的映射層，FSRCNN改進示意圖如圖45所示。訓練時FSRCNN只需要微調最后的反卷積層，因此訓練速度很快。FSRCNN激活函數采用PReLU，損失函數仍采用均方誤差。

圖45 FSRCNN對SRCNN的改進[92] Fig.45 FSRCNN’s improvement on SRCNN[92]

2016年提出的ESPCN［93］在SRCNN基礎上進一步提高了速度，其結構如圖46所示。該工作提出了一種亞像素卷積層，可以直接在低分辨率圖像上提取特征，從而避免在高分辨率圖像上進行卷積，降低了計算復雜度。ESPCN激活函數采用tanh，損失函數仍然采用均方誤差。

圖46 ESPCN示意圖[93] Fig.46 Structure of ESPCN[93]

SRCNN的網絡輸入是經過上采樣的低分辨率圖像，計算復雜度很高，因此FSRCNN和ESPCN都選擇在網絡末端上采樣以降低計算復雜度。但如果在上采樣后沒有足夠深的網絡提取特征，圖像信息就會損失。為了更好地使用更深的網絡，很多工作引入了殘差網絡。2016年首爾國立大學Kim等提出的VDSR［94］是第一個引入全局殘差的模型，其結構如圖47所示。Kim等指出，高低分辨率圖像攜帶的低頻信息很相近，因此事實上網絡只需要學習高頻信息之間的殘差即可。VSDR思想啟發了很多之后利用殘差結構的工作。

圖47 VSDR網絡結構圖[94] Fig.47 Structure of VSDR[94]

CARN［95］是NTIRE2018超分辨率挑戰賽的冠軍方案，該方案使用全局和局部級聯，將ResNet的殘差塊替換成級聯模塊和1×11×1卷積模塊組合，并提出了一種殘差?E模塊，可以提升CARN的效率。CARN的改進如圖48所示，其局部級聯模塊如圖49所示。

圖48 CARN對于ResNet的改進[95] Fig.48 Improvement of CARN based on ResNet[95]

圖49 殘差-E模塊與其他常見模塊的對比[95] Fig.49 Comparison between residual-E block and other common blocks[95]

EDVR［96］是商湯科技2019年提出的一種用于視頻修復的通用框架，在NITRE 2019 的4個賽道中均以較大的優勢獲得了冠軍。視頻修復任務包括超分辨率、去噪聲等任務，早期的研究者們簡單地將視頻修復視作圖像修復的延伸，幀間冗余的時間信息并沒能被充分利用。EDVR通過增強的可變形卷積網絡實現視頻的修復和增強，適用于各種視頻修復任務，如超分辨率、去模糊等任務。EDVR框架示意圖如圖50所示。

圖50 EVDR框架示意圖[96] Fig.50 Pipeline of EDVR[96]

EDVR提出了PCD（Pyramid， cascading and deformable）對齊模塊和TSA（Temporal and spatial attention）融合模塊，其結構如圖51所示。PCD模塊受TDAN［97］的啟發，用一種金字塔結構從低尺度到高尺度使用可變形卷積將每個相鄰幀與參考幀對齊。TSA模塊則用于在多個對齊的特征層之間融合信息，通過計算每個相鄰幀與參考幀特征之間的元素相關性引入時間注意力機制，相關系數代表每個位置上相鄰幀特征信息量的大小。在融合時間特征后進一步應用空間注意力機制，從而更有效地利用跨通道空間信息。

圖51 EVDR中的PCD模塊和 TSA模塊[96] Fig.51 PCD and TSA modules in EVDR[96]

三維卷積是一種常見的利用視頻時空間信息的方法，但這種方法往往復雜度較高，限制了模型的深度。2019年提出的FSTRN［98］通過使用一種快速時空間殘差模塊將三維卷積用于視頻超分辨率任務，將每個三維濾波器分解為2個維數更低的3位濾波器乘積，從而降低復雜度，實現更深的網絡和更好的性能。此外，FSTRN還提出了一種跨空間殘差學習方法，直接連接低分辨率空間和高分辨率空間，減輕了特征融合和上采樣部分的計算負擔。FSTRN結構如圖52所示。

圖52 FSTRN結構示意圖[98] Fig.52 Pipeline of FSTRN[98]

隨著深度學習技術的興起，近20年來超分辨率領域發展迅速，出現了很多具有優異性能的模型，但距離實際應用還有一定的距離。圖像配準技術對于多幀圖像超分辨率的重建效果至關重要，目前還沒有成熟的解決方案。另一個難點則是大量未知的密集計算限制了視頻超分辨率重建的計算效率，難以達到實時性的要求。超分辨率算法的魯棒性和可遷移性仍然是下階段的研究熱點，現有的評價標準，如均方誤差、峰值噪聲比、結構相似性等還不能客觀地衡量重建效果，有時甚至會出現和人眼視覺相違背的情況。

4 神經架構搜索

深度學習技術在圖像分類、語音識別及機器翻譯等諸多領域上取得了舉世矚目的成功，可以自動地學習數據信息，讓研究人員擺脫特征工程，這離不開GoogLeNet、ResNet等經典的深度神經網絡模型。然而一個具有優異性能的網絡結構往往需要花費研究人員大量的時間資金投入，同時需要具備扎實的專業知識和豐富的經驗。因此人們開始研究讓機器代替人類，根據數據集和算法自動設計網絡結構。神經架構搜索技術（Neural architecture search，NAS）設計的模型如今已經在很多任務上取得了超過人工設計深度模型的性能，如圖像分割領域的Auto?DeepLab［99］，目標檢測領域的NAS?FPN［100］。神經架構搜索技術是機器學習自動化（Automated machine learning，AutoML）的子領域，代表了機器學習未來發展的方向。神經架構搜索技術的流程如圖53所示，首先從一個搜索空間中通過某種策略搜索候選網絡架構，然后對其精度、速度等指標進行評估，通過迭代不斷優化直到找到最優的網絡架構。

圖53 神經架構搜索流程圖

Fig.53 Pipeline of NAS

搜索空間內定義了優化問題的變量，如網絡架構參數和超參數，這些變量決定了模型的性能。常見的網絡架構有鏈式結構和分支結構等，每一個節點的網絡架構參數包括卷積層、池化層和激活函數等，超參數包括卷積的尺寸、步長、加法或連結等。典型的網絡架構［101］如圖54所示。

圖54 網絡架構[101]

Fig.54 Network architecture[101]

搜索策略被用于探索神經架構空間，常見的策略包括隨機搜索、貝葉斯優化、遺傳算法、強化學習［102?103］和梯度算法等，其中強化學習、遺傳算法及梯度算法是目前主流的搜索策略。在性能評估時，由于訓練和驗證的時間成本較高，因此常常需要采用評估策略降低評估成本，如減少迭代次數、在訓練集的子集上訓練、減少卷積核數量等，但這些策略往往會導致一些偏差，可能會對最終的優劣次序產生影響。更高級的策略包括權重共享、通過迭代時的表現推斷最終性能以及通過模塊預測網絡性能等方法。

DARTS［104］是第一個基于連續松弛的搜索空間的神經網絡架構技術。早期傳統的NAS方法如NasNet［105］、PNAS［106］和ENAS［107］等大多在離散不可微的搜索空間上應用強化學習、進化算法等搜索策略，由于搜索空間內待搜索的參數不可導，因此一個性能優異的模型往往需要耗費大量的計算資源和時間成本。事實上，當時的研究者們將神經架構搜索技術視為一個在離散空間上的黑箱優化問題，每次架構的迭代優化都需要性能評估，效率十分低下。而DARTS使用了松弛連續的結構表示，使用梯度下降優化網絡在驗證集上的性能，實現了端到端的網絡搜索，大大減少了迭代次數，把搜索時間從數千個GPU日降低到數個GPU日。

DARTS流程如圖55所示。其中：圖（a）表示邊上的初始未知操作；圖（b）在每條邊上放置候選操作的組合，連續松弛搜索空間，不斷放寬搜索條件；圖（c）通過解決一個雙層規劃問題聯合優化混合概率與網絡權重；圖（d）用學到的混合概率求得最終的網絡架構。DARTS是一種簡單的NAS方法，適用于CNN和RNN，在CIFAR?10數據集［108］上用4個GPU日達到了2.76%的測試誤差，參數量僅有330萬個；在PTB數據集［109］上用1個GPU日以2 300萬個的參數量達到了55.7%的測試困惑度，達到了當時的最好性能。在CIFAR?10數據集上搜索出來的模型架構在ImageNet［19］數據集上以470萬個的參數量達到8.7%的top?5錯誤率，在PTB數據集上搜索出來的模型架構在WikiText?2數據集［110］上以3 300萬個的參數量達到69.6%的困惑度，優于很多手工設計的輕量化模型。

圖55 DARTS流程示意圖[104]

Fig.55 Pipeline of DARTS[104]

基于DARTS，一系列改進算法被相繼提出。在DARTS中，搜索在一個有8個單元的網絡上進行，搜索出來的架構通過堆疊在一個具有20個單元的網絡上被評估，但深度網絡和淺層網絡的結構往往不同。例如，在代理數據集（如CIFAR?10數據集）上搜索出來的網絡架構可能在目標數據集（如ImageNet數據集）上表現不理想。2019年華為諾亞方舟實驗室提出P?DARTS［111］，針對這一問題（被稱為Depth Gap）提出了一種漸進式搜索的方法，如圖56所示。搜索網絡的深度從最初的5個單元增加到中期的11個和后期的17個，而候選操作的數量（用不同的顏色表示）相應地從5個減少到4個和2個。在上一階段得分最低的操作將被丟棄，最后結合分數和可能的附加規則確定最終架構［111］。

圖56 P-DARTS流程示意圖[111]

Fig.56 Pipeline of P-DARTS[111]

2019年MIT提出ProxylessNAS［112］，針對DARTS只能在小型代理數據集上搜索而在大型數據集上則會出現顯存爆炸的問題提出了無代理神經架構搜索技術，在訓練時二值化路徑，用和DARTS雙層規劃類似的思想聯合訓練權重參數和架構參數，從而達到降低顯存的目的，并首次提出針對不同的硬件平臺搜索滿足特定時延的神經網絡架構方法。ProxylessNAS不再采用搜索單元然后堆疊達到更深網絡的方法，而是選擇主干網絡，如MobileNet［41］、ShuffleNet［42］等。ProxylessNAS在CIFAR?10數據集上以僅570萬個的參數量達到2.08%的測試誤差。ProxylessNAS示意圖如圖57所示。

圖57 ProxylessNAS示意圖[112]

Fig.57 Pipeline of ProxylessNAS[112]

當迭代次數過大后，DARTS設計出的網絡架構會包含很多跳接結構，使得性能變得很差，稱為DARTS的坍塌。2020年諾亞方舟實驗室提出的DARTS+［113］通過引入早停機制，即當一個正常單元出現2個或2個以上的跳接結構時就停止搜索，縮短了DARTS搜索的時間，極大地提高了DARTS的性能，其示意圖如圖58所示。

圖58 DARTS+中的早停機制示意圖[113]

Fig.58 Early Stopping in DARTS+[113]

2020年商湯研究院提出的隨機神經架構搜索SNAS［114］也是一種可微的端到端方法，但與DARTS相比，SNAS將NAS重新表述為在一個單元中搜索空間的聯合分布參數優化問題，直接優化損失函數，偏差更小。在同一輪反向傳播中SNAS同時訓練操作參數和架構參數，并提出了一種新的搜索梯度。相比基于強化學習的神經架構搜索技術，SNAS優化相同的目標函數，但更高效地只使用訓練損失作為獎勵。

PC?DARTS［115］是華為諾亞方舟實驗室2020年提出的NAS技術，在P?DARTS［111］的基礎上設計了部分通道連接機制，每次只有一部分通道進行操作搜索，這節省了訓練需要的顯存，減少了計算量，并采用邊正則化降低由于操作搜索不全造成的不確定性。PC?DARTS在CIFAR?10數據集［108］上用0.1個GPU日達到了2.57%的測試誤差，參數量僅有360萬個；在ImageNet數據集［19］上用3.8個GPU日以530萬個的參數量達到了7.3%的top?5錯誤率，取得了更快更好的搜索效果。PC?DARTS結構如圖59所示。

圖59 PC-DARTS結構示意圖[115]

Fig.59 Structure of PC-DARTS[115]

當前的神經架構搜索技術大多被用于圖像分類任務，這促使許多研究人員試圖設計出更好的人工網絡。但一方面由于搜索空間的定義被局限在現有的網絡結構設計經驗中，使得NAS設計出的網絡很難與人工網絡有本質上的區別。另一方面，NAS技術設計的網絡可解釋性很差，由于研究人員采用的數據增強、搜索空間、訓練方法及正則化策略等方法常常不同，這使得NAS設計出的架構很難被復現，不同網絡架構的性能也難以比較。由此可見，神經架構搜索領域仍然存在很多挑戰，如何解決這些問題將會是下一階段的熱門研究方向之一。

5 結束語

深度學習技術近年來在計算機視覺中的目標檢測、圖像分割、超分辨率和模型壓縮等任務上都取得了卓越的成績，充分證明了它的價值和潛力。然而深度學習領域仍然有不少難題無法解決，如對數據的依賴性強、模型難以在不同領域之間直接遷移、深度學習模型的可解釋性不強等，如何攻克這些難題將是下一階段的發展方向。為了追求極致的性能，很多科技巨頭投入了巨大的人力財力搭建巨型模型，如OpenAI發布的擁有1 750億個參數的GPT?3，谷歌發布的擁有1.6萬億個參數的Switch Transformer，快手發布的擁有1.9萬億個參數的推薦精排模型，這些模型需要大量的訓練時間和計算資源，如何設計計算硬件、系統和算法來加速訓練是一項新的挑戰。深度學習技術嚴重依賴大規模帶標簽的數據集，因此無監督學習技術、自監督技術，例如表示學習、預訓練模型等，仍然是重要的研究方向。同時深度學習技術帶來的安全隱患也引起了重視，如何在保護用戶隱私的前提下優化分布式訓練是另一個具有潛力的研究方向。

摘要： 隨著深度神經網絡和智能移動設備的快速發展，網絡結構輕量化設計逐漸成為前沿且熱門的研究方向，而輕量化的本質是在保持深度神經網絡精度的前提下優化存儲空間和提升運行速度。闡述深度學習的輕量化網絡結構設計方法，對比與分析人工設計的輕量化方法、基于神經網絡結構搜索的輕量化方法和基于自動模型壓縮的輕量化方法的創新點與優劣勢，總結與歸納上述3種主流輕量化方法中性能優異的網絡結構并分析各自的優勢和局限性。在此基礎上，指出輕量化網絡結構設計所面臨的挑戰，同時對其應用方向及未來發展趨勢進行展望。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060931

摘要：隨著自然語言處理（NLP）領域中預訓練技術的快速發展，將外部知識引入到預訓練語言模型的知識驅動方法在NLP任務中表現優異，知識表示學習和預訓練技術為知識融合的預訓練方法提供了理論依據。概述目前經典預訓練方法的相關研究成果，分析在新興預訓練技術支持下具有代表性的知識感知的預訓練語言模型，分別介紹引入不同外部知識的預訓練語言模型，并結合相關實驗數據評估知識感知的預訓練語言模型在NLP各個下游任務中的性能表現。在此基礎上，分析當前預訓練語言模型發展過程中所面臨的問題和挑戰，并對領域發展前景進行展望。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060823

摘要 隨著深度學習算法在圖像分割領域的成功應用，在圖像實例分割方向上涌現出一大批優秀的算法架構.這些架構在分割效果、運行速度等方面都超越了傳統方法.本文圍繞圖像實例分割技術的最新研究進展，對現階段經典網絡架構和前沿網絡架構進行梳理總結，結合常用數據集和權威評價指標對各個架構的分割效果進行比較和分析.最后，對目前圖像實例分割技術面臨的挑戰以及可能的發展趨勢進行了展望.

//www.ejournal.org.cn/CN/abstract/abstract12215.shtml

摘要： 隨著深度學習技術的快速發展，許多研究者嘗試利用深度學習來解決文本分類問題，特別在卷積神 經網絡和循環神經網絡方面，出現了許多新穎且富有成效的分類方法。本文對基于深度神經網絡的文本分類問題進行分析。分類介紹基于深度學習的文本分類方法，研究卷積神經網絡、循環神經網絡、注意力機 制等方法在文本分類中的應用和發展，分析不同深度學習文本分類方法的特點和性能，從準確率和運行時 間方面對基礎網絡結構進行比較。已有研究和本文實驗結果表明，深度神經網絡方法的分類性能超過了傳 統的機器學習方法，卷積神經網絡具有良好的分類性能。分析當前深度文本分類模型的不足，并對未來的 研究方向進行展望。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0059099

文本分類技術經歷了從專家系統到機器學習再到深度學習的發展過程。上世紀 80 年代 以前，基于規則系統的文本分類方法需要領域專家定義一系列分類規則，通過規則匹配判斷 文本類別。基于規則的分類方法容易理解，但該方法依賴專家知識，構建成本高，系統可移 植性差。到上世紀 90 年代，機器學習技術逐漸走向成熟，出現了許多經典的文本分類算法， 如決策樹[1]、樸素貝葉斯[2]、支持向量機[3]、最大熵[4]、最近鄰方法[5]等，這些方法部分克服 了前述缺點，一定程度上實現了分類器的自動生成，被廣泛應用的各個領域，但其缺點是在 構建分類器之前，通常需要繁雜的人工特征工程。2012 年開始，深度學習算法引起了越來 越多人的關注，深度學習為機器學習建模提供了一種直接端到端的解決方案，避免了復雜的 特征工程。Golve[6]和 word2vec[7]等詞向量模型的提出，為深度學習算法應用到文本處理領域 上鋪平了道路，隨后出現了各種基于深度神經網絡的文本分類方法，這些方法主要采用了卷 積神經網絡（convolutional neural networks，CNN）、循環神經網絡（recurrent neural networks， RNN）、注意力機制（attention mechanism）等深度學習技術，并且取得了比傳統方法更為 出色的性能。近年來，圖卷積網絡（graph convolutional network，GCN）、區域嵌入（region embedding）、元學習（meta-learning）等一些新的深度學習方法也被應用到文本分類領域。本文對基于深度神經網絡的文本分類技術進行了介紹和分析，將詳細介紹卷積神經網 絡、循環神經網絡、組合模型、注意力機制等方法在文本分類中的應用和發展，分析各類方 法的特點以及之間的區別，對不同方法的性能表現和適用場景進行分析比較，討論在應用深度學習方法處理文本分類任務時應當注意的問題，最后指出未來的研究方向。

摘要： 深度學習的可解釋性研究是人工智能、機器學習、認知心理學、邏輯學等眾多學科的交叉研究課題，其在信息推送、醫療研究、金融、信息安全等領域具有重要的理論研究意義和實際應用價值.從深度學習可解釋性研究起源、研究探索期、模型構建期3方面回顧了深度學習可解釋性研究歷史，從可視化分析、魯棒性擾動分析、敏感性分析3方面展現了深度學習現有模型可解釋性分析研究現狀，從模型代理、邏輯推理、網絡節點關聯分析、傳統機器學習模型改進4方面剖析了可解釋性深度學習模型構建研究，同時對當前該領域研究存在的不足作出了分析，展示了可解釋性深度學習的典型應用，并對未來可能的研究方向作出了展望.

摘要: 手語識別涉及計算機視覺、模式識別、人機交互等領域，具有重要的研究意義與應用價值。深度學習技術的蓬勃發展為更加精準、實時的手語識別帶來了新的機遇。該文綜述了近年來基于深度學習的手語識別技術，從孤立詞與連續語句兩個分支展開詳細的算法闡述與分析。孤立詞識別技術劃分為基于卷積神經網絡(CNN)、3維卷積神經網絡(3D-CNN)和循環神經網絡(RNN) 3種架構的方法；連續語句識別所用模型復雜度更高，通常需要輔助某種長時時序建模算法，按其主體結構分為雙向長短時記憶網絡模型、3維卷積網絡模型和混合模型。歸納總結了目前國內外常用手語數據集，探討了手語識別技術的研究挑戰與發展趨勢，高精度前提下的魯棒性和實用化仍有待于推進。