隨著ChatGPT等大型人工智能（AI）模型的廣泛應用，人工智能生成內容（AIGC）越來越受到關注，正引領著內容創建和知識表示的范式轉變。AIGC使用生成性大型AI算法，根據用戶提供的提示，以更快的速度和更低的成本輔助或替代人類創建大量的、高質量的、類似人類的內容。盡管AIGC最近取得了顯著的進步，但其安全性、隱私性、道德和法律挑戰仍需得到解決。本文深入調研了AIGC的工作原理、安全和隱私威脅、最先進的解決方案以及AIGC范式的未來挑戰。具體而言，我們首先探討了AIGC的啟用技術、通用架構，并討論其工作模式和關鍵特征。然后，我們調研了AIGC的安全和隱私威脅的分類，并強調了GPT和AIGC技術的道德和社會影響。此外，我們回顧了關于AIGC模型及其生成內容的可規范AIGC范式的最新AIGC水印方法。最后，我們確定了與AIGC相關的未來挑戰和開放的研究方向。

//www.zhuanzhi.ai/paper/b8bd2d1b3785e54627ad947b1997f5d9

1. 引言

人工智能生成內容（AIGC）指的是利用生成性AI算法來協助或替代人類，基于用戶的輸入或需求，以更快的速度和更低的成本創建豐富的個性化和高質量內容[1]-[3]。AIGC包含了廣泛的合成內容，包括文本（如詩歌），圖片（如藝術品），音頻（如音樂），視頻（如動畫），增強訓練樣本和交互式3D內容（如虛擬化身，資產和環境）。作為傳統內容創作范例，如專業生成內容（PGC）和用戶生成內容（UGC）的補充，充滿前景的AIGC范例允許以自動化和有效的方式生產大量的內容，且成本低[4]，這對各種新興應用如元宇宙[5]和數字孿生[6]都非常有益。例如，在Roblox（一款交互式元宇宙游戲）中，AIGC可以為化身產生個性化皮膚和3D游戲場景，使用戶能在一個沉浸式的虛擬空間中玩耍，合作和社交。根據Gartner的數據[7]，到2025年，生成性AI算法預計將生產約10%的所有數據。

從技術角度看，AIGC通常由兩個階段組成[3]：(i) 提取和理解用戶的意圖信息，以及 (ii) 根據提取的意圖生成所需的內容。2022年11月，OpenAI發布了ChatGPT，這是一個多功能的語言模型，能夠生成代碼，編寫故事，執行機器翻譯，進行語義分析等等。到2023年1月，每天有近1300萬用戶在與ChatGPT交互[8]。ChatGPT是生成預訓練Transformer（GPT）的一個變種，GPT是一個基于Transformer的大型語言模型（LLM），能夠理解人類語言并創造類似人類的文本（例如，故事和文章）[9]，如圖1所示。隨著最近大型語言模型（如ChatGPT和其后繼者GPT-4）的進步，AIGC的能力得到了顯著加強，可以執行更復雜的任務（例如，多模態任務）并具有更高的準確性，這得益于LLM提供的更好的意圖提取[10]。由于技術進步和需求增加，AIGC已經引起了全球的關注，并在娛樂，廣告，藝術和教育等各種應用中展現出了巨大的潛力。包括OpenAI，Google，Microsoft，NVIDIA和百度在內的科技巨頭都已經宣布他們將探索AIGC，并開發了他們自己的AIGC產品。

在AIGC時代，更大的數據集是"燃料"，更大的基礎模型是"引擎"，而廣泛的計算能力則起到了"加速器"的作用。對于從GPT-3.5模型微調的ChatGPT，其訓練數據集包括近1萬億個詞，大約45TB大小[11]，并且在預訓練GPT中整合了自我監督學習，強化學習和提示學習等多種AI技術。ChatGPT的訓練所需的計算能力大約是每天3640 PetaFLOPs，相當于每秒計算10萬億次，需要3640天才能完成[12]。在大數據，大模型和大計算能力的工程組合下，ChatGPT展示了強大的新功能和更高級模式的學習能力，并能根據用戶的多模態提示自動創作有價值的內容。除了大規模訓練數據和廣泛計算能力帶來的好處外，ChatGPT還整合了一系列新技術。例如，ChatGPT使用了思維鏈（CoT）提示[13]，這使得預訓練的LLM能夠通過逐步推理來解釋其推理過程，在少示例和零示例學習設置中。此外，從人類反饋中的強化學習（RLHF）[14]被整合進來，通過訓練一個包含人類反饋的獎勵模型并通過強化學習對LLM進行微調，幫助ChatGPT更好地理解人類的偏好。更進一步的，在計算機視覺（CV）領域，由創業公司Stability AI開發的穩定擴散[15]和由OpenAI在2022年開發的DALL-E 2[16]已經成功地從復雜和多樣的文本描述中生成高分辨率和自然看起來的圖像。

A.動機 盡管AIGC的前景光明，但安全和隱私問題對其廣泛應用構成了重大障礙。在AIGC服務的生命周期中，可能會出現一些安全漏洞、隱私泄露、信任問題和道德問題，這些問題可能源自普遍的數據收集，智能模型/數據盜竊，到大量的網絡釣魚郵件的分發。

• 安全漏洞。AIGC模型在生命周期的每個階段都面臨著安全威脅。例如，在模型訓練過程中，攻擊者可能使用有毒或敵對的樣本來降低模型性能[17]，或發起后門攻擊以操縱模型結果[18]；在模型部署后，攻擊者可能通過智能模型盜竊攻擊來竊取AIGC模型或其部分功能[19]。由于大型AIGC模型如ChatGPT采用的策略比通用模型更復雜，可能會出現更多的安全威脅（如越獄[20]和提示注入[21]），這些威脅可能是全新的。此外，生成型AI模型仍然面臨著關于透明度、魯棒性和偏見/歧視的技術限制。

• 隱私侵權。AIGC模型的成功在很大程度上依賴于可能無可避免地包含用戶敏感和私人信息的大量訓練數據集。例如，ChatGPT在與用戶交互時，能夠記住與會話相關的項目以及用戶輸入、cookie和日志[22]，[23]。這為在AIGC中的數據濫用和犯罪活動帶來了新的可能。根據最近的一項研究[24]，對黑盒GPT-2模型，攻擊者可以使用提示注入和公共文本特征從AI記憶中恢復最多67%的訓練文本，包括個人名字、地址和電話號碼。2023年3月，由于對隱私合規的擔憂，意大利禁止使用ChatGPT[25]。

• 信任問題。AIGC技術的快速發展使得創造和傳播虛假信息和假證據，如深度偽造內容和假新聞[26]變得越來越容易。這導致了新類型的犯罪活動的出現，如AI欺詐、誹謗、身份盜竊和冒充[27]。例如，ChatGPT可以產生誤導和不道德的回應，具有惡意意圖的個人可以利用其生成無瑕疵文本的能力進行欺詐，復制語音模式進行冒充，和開發惡意代碼進行黑客攻擊。這極大地增加了為由生成性AI模型產生的材料建立可追溯來源和規定的需求，以確保其問責制。

• 道德影響。作為一把雙刃劍，AIGC技術也對人類社會產生了負面影響，并可能被濫用用于分發惡意軟件、勒索軟件和網絡釣魚郵件。例如，ChatGPT產生即時和令人信服的對話的能力可以使其更容易制作釣魚郵件，誘騙收件人點擊有害鏈接，下載惡意軟件，或者泄露機密信息[28]。此外，AIGC可以促進課堂上的作弊，藝術中的抄襲，和學術論文的欺詐，使得這樣的行為更容易被犯下，也更難被發現。

本文的其余部分按如下方式組織。在第二部分，我們介紹AIGC的工作原理。第三部分討論了AIGC中安全和隱私問題的分類，以及最新的對策。第四部分介紹了AIGC模型和內容的IP保護和規定。第五部分探討了未來的研究方向。最后，第六部分得出結論。本文的組織結構在圖2中展示。

2. AI生成內容：工作原理

在這一部分，我們首先介紹AIGC的發展路線圖和啟用技術。然后，我們討論內容創建范式以及知識表示和使用范式的范式轉變。之后，我們展示了AIGC的一般架構，工作模式，關鍵特性，應用，以及現代原型。

如圖3所示，人工智能生成內容即服務（AIGCaaS）的一般架構包括以下三層：（i）基礎設施層，（ii）AIGC引擎層，和（iii）AIGC服務層。

? 基礎層。隨著大型AI模型（如參數達1750B的GPT-3）的規模持續擴大，對廣泛的計算能力，強大的AI算法，和大量訓練數據的需求日益增長。對于ChatGPT，大計算能力，大數據，和大模型的組合釋放出了其在學習用戶提供的多模態提示并自動生成高質量內容方面的強大的突現能力。AI算法包括AI框架（如TensorFlow，Pytorch，和Keras），有監督/無監督學習算法，和生成AI模型（如transformer和擴散模型）。配備了強大的GPU，TPU，AI芯片和大量存儲的云服務器，使得基礎AIGC模型的高效訓練成為可能。所涉及的訓練數據可以是已標注的數據，或從互聯網收集的數據，可以是非結構化和多模態的。

? AIGC引擎層。多模態基礎模型（如GPT-4）在大量的多模態數據上進行預訓練，并能在不需要任務特定微調的情況下執行多種不同的任務[33]。此外，各種底層技術，如CoT提示，人類反饋的強化學習（RLHF），和多模態技術，都被集成到訓練和優化基礎模型中。多模態基礎模型作為AIGCaaS的引擎，為上層AIGC服務賦予了越來越強的實時學習能力。此外，多模態基礎模型可以通過與數十億用戶的實時和密集交互進行逐步的演化和優化，因為它允許從更多的私有數據（如用戶輸入和歷史對話）以及個人和機構的反饋中學習[38]。

? AIGC服務層。從能力的角度看，AIGC服務包括生成文本，音頻，圖像，視頻，代碼，3D內容，數字人，和多模態內容。從終端用戶的角度看，AIGC服務可以分為兩種類型：ToB（面向業務）和ToC（面向消費者）。雖然基礎模型為各種任務提供了一種一刀切的解決方案，但它可能在特定任務上的表現不如專用AI模型。① 對于ToB情況，一個機構或機構聯盟可以通過在包含標注業務數據的較小數據集上對基礎模型進行微調，訓練出一個專用AI模型來執行特定任務，如醫療診斷或財務分析。例如，一個機構聯盟可以通過聯邦學習和遷移學習技術使用本地業務數據共同訓練一個在基礎模型之上的專用AI模型[39]。此外，還可以結合兩種方法以獲得更好的結果。例如，可以使用一個專用AI模型進行特定任務，并將其輸出作為輸入提供給基礎模型，以生成更全面的響應。 ② 對于ToC情況，每個用戶都可以定制一個網絡分身[6]（即智能手機或PC中的程序），并使用自然語言與之交流。網絡分身有自己的記憶存儲用戶的偏好，興趣和歷史行為，以及任務特定的專業知識。利用這些知識，網絡分身為用戶生成個性化的提示，從而提供高效和定制的AIGC服務。此外，它還實現了一個反饋環，用戶可以對AI提供的建議進行評價。網絡分身也可以通過構建一個連接的網絡并自由分享所學習的知識和技能，來協同完成更復雜的任務[6]。 對于ToB和ToC兩種情況，以倫理和保護隱私的方式處理個人和機構的私有數據都至關重要。此外，在提供AIGC服務時，保護基礎模型和專用AI模型的知識產權，以及AI生成內容的出處，也是非常重要的。

在未來，AIGC有可能完全取代簡單和非創新的人類工作，同時也加速了人機協作時代的到來。AIGC在內容生成方面有兩種主要模式：輔助生成和自主生成[5]。

? AI-Assisted Content Creation（需要人類干預）。在這種模式下，AI算法為創造內容的人類提供建議或幫助。然后，人類可以根據AI提出的建議編輯和改進內容，以提高最終產品的質量。然而，這種模式在內容創建上往往比較慢且成本更高。

? Autonomous Content Creation by AI（不需要人類干預）。在這種模式下，AI完全自主地創造內容，沒有任何人類的干預。AI機器人可以自主快速且低成本地創建大量內容，而產生的內容質量取決于生成的AI模型。

在此部分，我們將討論不同類型的AI生成內容以及其應用： 1）文本生成。大型語言模型（LLM）可以比人類作者更快、更有效地生成高質量的文本 [10]。這包括博客、新聞、代碼、文章、營銷副本和產品描述。此外，它使聊天機器人和虛擬助手能夠通過AI生成的文本以人類的方式與客戶和客戶進行溝通。 2）圖像生成。大型視覺模型（LVM）可以將草圖轉化為數字繪制的圖像，用于各種目的，包括創造視覺藝術、廣告圖片、游戲場景、駕駛模擬環境以及增加訓練樣本。 3）音頻生成。AI生成的音頻有著廣泛的應用，包括語音合成、音樂創作和聲音設計。如Amper Music這樣的音樂創作AI程序，允許用戶使用AI創建原創音樂。 4）視頻生成。AI生成的視頻可以廣泛用于虛擬現實、增強現實、營銷、廣告、娛樂和教育等各種領域。 5）3D內容生成。AIGC可以通過分析照片和視頻等真實世界的數據來創建逼真的3D模型，AI生成的3D模型可以用來創建動畫、游戲資產和產品設計。 6）數字人生成。AIGC可以生成具有高度逼真動作和表情的數字人，可用于游戲、虛擬現實和廣告等各種領域。 7）跨模態生成。AIGC中的跨模態內容生成指的是使用基礎AIGC模型在多種模態之間生成新內容 [3]。它包括文本到圖像、圖像到文本、文本到代碼、文本到視頻、文本到音頻等。 總的來說，AIGC讓生活變得更加便捷和高效，但也帶來了新的安全/隱私威脅、倫理問題以及潛在的偏見，這些將在下一節中展示。

計算機視覺中的一項挑戰性任務是尋找技術來提高用于處理移動空中平臺所獲圖像的機器學習（ML）模型的目標檢測和分類能力。目標的檢測和分類通常是通過應用有監督的ML技術完成的，這需要標記的訓練數據集。為這些訓練數據集收集圖像是昂貴而低效的。由于一般不可能從所有可能的仰角、太陽角、距離等方面收集圖像，這就導致了具有最小圖像多樣性的小型訓練數據集。為了提高在這些數據集上訓練的監督性ML模型的準確性，可以采用各種數據增強技術來增加其規模和多樣性。傳統的數據增強技術，如圖像的旋轉和變暗，在修改后的數據集中沒有提供新的實例或多樣性。生成對抗網絡（GAN）是一種ML數據增強技術，它可以從數據集中學習樣本的分布，并產生合成的復制，被稱為 "深度偽造"。這項研究探討了GAN增強的無人駕駛飛行器（UAV）訓練集是否能提高在所述數據上訓練的檢測模型的可推廣性。為了回答這個問題，我們用描述農村環境的航空圖像訓練集來訓練"你只看一次"（YOLOv4-Tiny）目標檢測模型。使用各種GAN架構重新創建幀中的突出目標，并將其放回原始幀中，然后將增強的幀附加到原始訓練集上。對航空圖像訓練集的GAN增強導致YOLOv4-微小目標檢測模型的平均平均精度（mAP）平均增加6.75%，最佳情況下增加15.76%。同樣，在交叉聯合（IoU）率方面，平均增加了4.13%，最佳情況下增加了9.60%。最后，產生了100.00%的真陽性（TP）、4.70%的假陽性（FP）和零的假陰性（FN）檢測率，為支持目標檢測模型訓練集的GAN增強提供了進一步證據。

引言

對從移動平臺上獲得的數據進行圖像和視頻分類技術的調查，目前是計算機視覺領域中一個越來越受關注的領域。由空中飛行器收集的圖像對于收集信息和獲得對環境的洞察力非常重要，否則在地面上的評估是無法實現的。對于訓練目標檢測模型來說，用于創建這些模型的訓練集的一個重要特征是這些訓練集必須在其圖像中包含廣泛的細節多樣性。過去的數據增強技術，例如旋轉、添加噪音和翻轉圖像，被用來增加訓練集的多樣性，但由于它們無法向數據集添加任何新的圖像，所以是弱的方法。研究新的圖像增強和分類方法，其中包括機器學習（ML）技術，有助于提高用于航空圖像分類的模型的性能。

1.1 背景與問題陳述

1.1.1 背景

最近，使用ML算法對圖像進行分類或預測的情況越來越多。雖然ML已經被使用了幾十年，但在圖像上，我們看到合理的進展是在過去的20年里。隨著信息收集和存儲的技術進步及其可及性的擴大，可用于分析的數據量正以指數級的速度增長。計算機的隨機存取存儲器（RAM）和硬件存儲的增加迎合了擁有巨大的數據集來訓練、測試和驗證ML模型以實現較低的偏差和變異的需要。技術上的其他進步來自于計算機圖形處理單元（GPU）的改進，它允許以更快的速度處理大量的數據，這是實時圖像處理的兩個重要能力[2]。

人工神經網絡（ANNs）是ML的一個子集，其靈感來自于大腦中神經元的生物結構，旨在解決復雜的分類和回歸問題[3]。深度學習是ANNs的一個子集，它創建了多個相互連接的層，以努力提供更多的計算優勢[3]。卷積神經網絡（CNN）是ANN的一個子集，它允許自動提取特征并進行統一分類。一般來說，CNN和ANN需要有代表性的數據，以滿足操作上的需要，因此，由于現實世界中的變化，它們往往需要大量的數據。雖然在過去的十年中收集了大量的數據，但微不足道和不平衡的訓練數據集的問題仍然阻礙著ML模型的訓練，導致糟糕的、有偏見的分類和分析。相對較小的數據集導致了ML模型訓練中的過擬合或欠擬合。過度擬合的模型在訓練數據上顯示出良好的性能，但在模型訓練完成后，卻無法推廣到相關的真實世界數據。通過提供更大、更多樣化的訓練數據集，以及降低模型的復雜性和引入正則化，可以避免模型過擬合[4]。

過度擬合的模型不能學習訓練集的特征和模式，并對類似的真實世界數據做出不準確的預測。增加模型的復雜性可以減少欠擬合的影響。另一個克服模型欠擬合的方法是減少施加在模型上的約束數量[4]。有很多原因可以說明為什么大型、多樣的圖像集對訓練模型以檢測視頻幀中捕獲的目標很有用。當視頻取自移動平臺，如無人機或汽車時，存在Bang等人[5]所描述的進一步問題。首先，一天中拍攝圖像的時間以及天氣狀況都會影響亮度和陰影。其次，移動平臺收集的圖像有時會模糊和失真，這是因為所使用的相機類型以及它如何被移動平臺的推進系統投射的物理振動所影響。移動平臺的高度、太陽角度、觀察角度、云層和距離，以及目標的顏色/形狀等，都會進一步導致相機采集的樣本出現扭曲的影響。研究人員忽視這些參數的傾向性會導致模型在面對不同的操作數據時容易崩潰。這些因素使得我們有必要收集大量包含各種特征、圖像不規則性和扭曲的視頻幀，以復制在真實世界的圖像收集中發現的那些特征，從而訓練一個強大的目標檢測和分類模型。

為了增加圖像的多樣性，希望提高在數據上訓練的分類模型的結果準確性，可以使用數據增強技術來扭曲由無人駕駛飛行器（UAV）收集的圖像。目前的一些數據增強技術包括翻轉、旋轉或扭曲圖像的顏色。雖然這些增強技術可以在數據集中引入更多的多樣性，但它們無法為模型的訓練提供全新的框架實例。

生成性對抗網絡（GAN）是一種ML技術，它從數據集的概率分布和特征中學習，以生成數據集的新的合成實例，稱為 "深度假象"。GAN的實現是一種更強大的數據增強技術，因為它為訓練集增加了新的、從未見過的實例，這些實例仍然是可信的，并能代表原生群體。為ML模型提供這種新的訓練實例，可以使模型在實際操作環境中用于檢測時更加強大。

1.1.2 問題說明

圖像采集面臨的一個普遍問題是沒有收集足夠大和多樣化的訓練和測試數據集來產生高效的ML模型。這些微不足道的訓練集所顯示的多樣性的缺乏，使模型在用于實時檢測時表現很差。找到增加這些數據集的方法，無論是通過額外的數據收集還是其他方法，對于創建一個強大的、可歸納的模型都很重要。

計算機視覺中的第二個問題是傳統的數據增強技術所產生的圖像多樣性增加不足。通過旋轉、翻轉或調暗每一個收集到的視頻幀來增強數據集，不能為訓練集增加任何額外的實例，這與上面提到的第一個問題相矛盾。需要找到一種新的數據增強技術，在不需要收集更多數據的情況下提供新的實例，這對于快速訓練檢測模型以便在快速變化的操作環境中部署非常重要。

1.2 研究問題

本研究試圖回答以下問題：

1.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高卷積神經網絡（CNN）目標檢測模型的分類精度和可推廣性？

2.由移動平臺獲取的包含GAN生成的合成圖像的增強圖像訓練數據集是否會提高CNN目標檢測模型的定位和通用性？

3.從未增強的數據集和增強的數據集中可以得出什么推論，顯示它們的相似性和不相似性？

提供支持第一和第二個問題的證據可以改變數據科學家進行數據收集的方式，并將他們的努力轉向使用GAN的增強技術來創建用于ML研究的數據集。該模型不僅要能夠對目標進行分類，而且要訓練一個強大的目標檢測模型，使其能夠在圖像中找到感興趣的目標，并具有較高的交叉聯合（IoU）值，這就驗證了該模型能夠找到移動的目標，這些目標在捕獲的幀中的位置各不相同。一個模型的泛化是指該模型對網絡從未見過的輸入進行準確預測和分類的能力[6]。增強的數據集必須在質量和數量上與原始數據集相似，以證明模型泛化能力增強的斷言。

對最后一個問題的回答提供了理由，即來自GAN的增強對象在性質上是否與原始樣本相似，并且是對現實世界環境中發現的東西的合理復制。同類目標之間的高相似率可能會使GAN增強變得脆弱，需要進一步研究以用于實際應用。

1.3 研究的局限性

本研究的最大限制之一是能否獲得適當的硬件和軟件來實現不同的ML算法。雖然ML模型可以在中央處理器（CPU）上執行，但本論文中的模型在單個CPU上運行需要幾天，甚至幾周的時間。在運行深度學習模型時，GPU的效率要高得多，尤其是那些為圖像探索設計的模型。在整個研究過程中，GPU的使用非常有限，這給CNN和GAN模型的復雜性增加了限制，也增加了每個模型完成訓練迭代的時間。模型不可能同時運行，大大增加了本論文的完成時間。

另一個限制是本研究過程中可用的內存和硬盤內存的數量。內存不足進一步導致了模型復雜性的下降，以及模型在研究的訓練和測試過程中某一時刻可以利用的數據量的下降。這兩個模型組成部分的減少會導致次優模型。在這項研究中，我們采取了一些措施來減輕這些影響，包括選擇參數較少但性能與較復雜的模型相同的高水平的模型。此外，在訓練和測試過程中，將數據集劃分為多個批次，有助于緩解RAM和硬盤內存問題。

1.4 論文組織

本章討論了本論文將集中研究的ML的一般領域，以及概述了ML研究中出現的好處和限制。第2章提供了一個文獻回顧，研究了CNNs和GANs的理論。此外，它還提供了使用CNNs、GANs和從無人機收集的圖像幀進行的相關研究。第3章詳細介紹了數據集增強前后的CNN檢測模型的訓練過程。第4章提供了用于增強訓練集的合成目標的細節。第5章介紹了在原始和增強的訓練集上訓練的最佳模型的評估結果。第6章概述了在原始測試集訓練結束后進行的三個不同實驗的方法。第7章回顧了這三個不同實驗的結果。最后，第8章討論了從結果中得出的結論，以及對使用生成性對抗網絡（GANs）對移動平臺獲取的圖像進行數據增強領域的未來研究建議。

圖像壓縮算法是圖像處理領域中媒體傳輸和壓縮的基礎。在其誕生的幾十年后，諸如JPEG圖像編解碼器等算法仍然是行業標準。在壓縮領域，一個值得注意的研究課題是深度學習（DL）。本文探討了理想圖像壓縮和物體檢測（OD）應用的DL模型的優化。

要優化的DL模型是基于一個現有的壓縮框架，即CONNECT模型。這個框架將傳統的JPEG圖像編解碼器包裹在兩個卷積神經網絡（CNNs）中。第一個網絡，ComCNN，專注于將輸入的圖像壓縮成一個緊湊的表示，以輸入到圖像編解碼器。第二個網絡，RecCNN，著重于從編解碼器中重建輸出圖像，使之與原始圖像盡可能相似。為了提高CONNECT模型的性能，一個名為Optuna的優化軟件包裹了該框架。從每個CNN中選擇超參數，由Optuna進行評估和優化。一旦CONNECT模型產生了理想的結果，輸出的圖像就被應用于YOLOv5 OD網絡。

本文探討了DL超參數對圖像質量和壓縮指標的影響。此外，檢測網絡將為圖像壓縮對計算機視覺應用的影響提供背景。

在過去的十年中，許多深度學習模型在機器智能的各個領域得到了良好的訓練并取得了巨大的成功，特別是在計算機視覺和自然語言處理方面。為了更好地利用這些訓練有素的模型在域內或跨域遷移學習情況下的潛力，知識蒸餾(KD)和域自適應(DA)被提出并成為研究熱點。它們的目的都是利用原始的訓練數據從訓練有素的模型中傳遞有用的信息。然而，在許多情況下，由于隱私、版權或機密性，原始數據并不總是可用的。最近，無數據知識遷移范式引起了人們的關注，因為它處理的是從訓練有素的模型中提取有價值的知識，而不需要訪問訓練數據。它主要包括無數據知識蒸餾(DFKD)和無源數據領域適應(SFDA)。一方面，DFKD的目標是將原始數據的域內知識從一個繁瑣的教師網絡轉移到一個緊湊的學生網絡中，進行模型壓縮和高效推理。另一方面，SFDA的目標是重用存儲在經過良好訓練的源模型中的跨領域知識，并使其適應于目標領域。本文從知識蒸餾和無監督領域適應的角度對無數據知識遷移的研究進行了全面的綜述，以幫助讀者更好地了解目前的研究現狀和思路。本文將分別簡要回顧這兩個領域的應用和挑戰。在此基礎上，對未來的研究提出了一些看法。

圖1. 知識蒸餾(KD)和無監督領域自適應(UDA)綜述

隨著深度學習的復興，深度神經網絡(DNN)在人工智能的各個領域取得了顯著的進展，包括計算機視覺(CV)[1]和自然語言處理(NLP)[2]。特別是計算機視覺領域已經開發了大量深度卷積神經網絡的應用(如圖像分類[3]、目標檢測[4]、語義分割[5]等)，極大地促進了深度學習的繁榮。從LeNet[6]、AlexNet[1]到ResNet[7]和DenseNet[8]，深度神經網絡的顯著成功主要依賴于超參數化的架構和大規模標注的訓練數據。在實踐中，DNN的應用可能面臨兩個問題:1)笨重的模型不可能部署在存儲和計算能力有限的移動設備上，如自動駕駛汽車[9]和實時人臉識別系統[10]; 2) 由于標注成本過高，整個標注數據集無法用于訓練，例如用于語義分割的像素級標注。

圖2. 無數據知識蒸餾(DFKD)和無源領域適應(SFDA)概述

為了解決模型的深度部署問題，對[11]模型進行壓縮以降低存儲和計算成本，包括剪枝[12]、量化[13]和知識蒸餾[14]。知識蒸餾(Knowledge精餾，KD)[14]是一種流行的模型壓縮方法，它將有價值的信息從一個繁瑣的教師網絡傳輸到一個緊湊的學生網絡中。作為如圖1(a)所示的通用師生知識傳遞框架，它可以與其他模型壓縮方法相結合，無需進行任何具體設計[15]，[16]。學生網絡以訓練數據為輸入，模擬訓練良好的教師網絡，與人類的學習方案非常相似。大多數的蒸餾方法都是從教師網絡的中間特征圖或預測中提取和傳遞知識。在模型壓縮方面，近年來知識蒸餾技術的快速發展對半監督學習[17]、[18]、增量學習[19]、[20]、隱私保護[21]、[22]等產生了巨大的影響。

圖3. 2016 - 2021年無數據知識遷移工作發展

除了繁瑣的網絡架構外，大規模數據集的高成本標注也限制了深度學習的應用。例如，手動注釋cityscape[23]圖像進行語義分割需要大約90分鐘。解決這個問題的一種直觀的方法是，利用來自相關領域(源領域)的特定知識來研究被考慮的目標領域，這是受到人類研究能力的啟發。領域自適應[24]是一種很有前途的遷移學習范式，如圖1(b)所示。它旨在將知識從源領域轉移到目標領域，避免了勞動密集型的數據注釋。根據目標域數據的標注率，可以將域自適應進一步分為無監督域自適應、半監督域自適應和弱監督域自適應。實際上，只有UDA方法完全避免了標注的代價，本文主要考慮的是UDA的設置。

綜上所述，知識蒸餾和領域自適應是將有價值的知識從訓練良好的深度神經網絡遷移到域內或跨域網絡的兩個主要研究課題。上述方法都是基于數據驅動的，并依賴于原始數據或源數據可訪問的前提下進行蒸餾或域適應。然而，由于隱私或版權的原因，在很多實際案例中，原始的訓練數據是不可用的。例如，一些知名社區[26]-[29]發布了大量的預訓練的深度學習模型[4]、[5]、[7]、[25]。但并不是所有的訓練數據都可以用于壓縮或使其適應新的領域。此外，醫療或面部數據是公共或第三方機構無法訪問的，因為它涉及到患者或用戶的隱私。因此，如何利用訓練良好的模型(沒有訓練數據)進行知識遷移成為一個新的研究課題。將其概括為圖2所示的“無數據知識遷移(Data-Free Knowledge Transfer, DFKT)”。特別地，該方法還涉及兩個主要的研究領域:(1)沒有訓練數據的知識蒸餾方法稱為無數據知識蒸餾(data - free knowledge精餾，DFKD);(2)沒有源數據的域適應方法稱為無源數據域適應(source -free domain adaptation, SFDA)。DFKD的目標是將訓練數據集的原始信息提取并轉換為一個緊湊的學生模型，SFDA的目標是通過目標數據查詢和探索跨領域的知識。換句話說，DFKD在兩個模型之間傳遞域內知識，而SFDA通過體系結構共享模型傳遞跨域知識。

近年來，無數據知識轉移范式在深度學習的各個領域引起了人們的關注，特別是計算機視覺(包括圖像分類[30]-[32]、目標檢測[33]-[35]和超分辨率[36])。無數據知識轉移的時間軸如圖3所示。我們分別描述了DFKD和SFDA在上游和下游的發展。Lopes等人[37]在2016年首次提出了DNN的無數據知識蒸餾。它利用網絡激活的摘要來重建其訓練集。隨著生成式對抗網絡的興起，2019年以來，一些生成式DFKD方法如雨后春筍般涌現，試圖合成替代樣本進行知識轉移。還有一些研究是在[37]的基礎上，利用激活狀態總結[41]或批歸一化統計量(BNS)[32]、[42]從噪聲中恢復出原始圖像數據。此外，2021年還發布了兩個知識蒸餾綜述[43]、[44]。SFDA方面，Chidlovskii等人[45]在這方面做了開拓性的工作。2018年至2020年，研究人員主要關注分類[30]、[46]、[47]的無源域自適應。SFDA的語義分割算法[48]、[49]和目標檢測算法[33]、[35]從2020年開始研發。毫無疑問，未來將會有更多關于DFKT的研究發表。

雖然傳統的數據驅動的知識遷移一直是計算機視覺領域的一個長期挑戰，在模型壓縮和數據標注的成本降低方面取得了很大的成功，但大多數工作都忽視了數據隱私和商業版權問題，這些問題越來越受到關注。一些研究人員對傳統的數據驅動知識蒸餾[43]、[44]、[50]和領域適應[24]、[51]-[53]進行了全面、詳細的綜述，其中DFKD或SFDA只是冰山一角。然而，隨著DFKT的不斷成熟，相關的研究也越來越多，這使得研究和產業界都難以跟上新進展的步伐。有鑒于此，我們迫切需要對現有的工作進行調研，這對社區是有益的。在本綜述中，我們重點在一個統一的無數據知識遷移框架下，對現有的DFKD和SFDA方法進行分類和分析。我們分別討論了無數據知識蒸餾和無源領域自適應，并從數據重構算法和知識遷移策略兩個方面對它們進行了連接和比較。為了便于理解，我們根據DFKD和SFDA的實現對它們進行了分層分類，如圖4所示，并展示了我們調研的組織結構。總之，我們的貢獻有三方面:

• 我們對無數據知識遷移進行了系統的概述，包括分類、定義、兩類方法的DFKD和SFDA以及各種應用。據我們所知，這是第一次對DFKT進行調研。

• 從領域內和跨領域知識遷移的角度，提出了一種新的分類方法，將無數據的知識提煉和無源的領域適應結合起來。

• 全面總結了每種方法的優勢或面臨的挑戰，并分析了一些有前景的研究方向。

弱監督目標檢測(WSOD)和定位(WSOL)，即使用圖像級標簽檢測圖像中包含邊界框的多個或單個實例，是CV領域中長期存在且具有挑戰性的任務。隨著深度神經網絡在目標檢測中的成功，WSOD和WSOL都受到了前所未有的關注。在深度學習時代，已有數百種WSOD和WSOL方法和大量技術被提出。為此，本文將WSOL視為WSOD的一個子任務，并對近年來WSOD的成就進行了全面的綜述。具體來說，我們首先描述了WSOD的制定和設置，包括產生的背景、面臨的挑戰、基本框架。同時，總結和分析了提高檢測性能的各種先進技術和訓練技巧。然后，介紹了目前廣泛使用的WSOD數據集和評價指標。最后，討論了WSOD的未來發展方向。我們相信這些總結可以為今后的WSOD和WSOL研究鋪平道路。

引言

目標檢測[2]是一項基礎的、具有挑戰性的任務，旨在定位和分類圖像中的對象實例。對象定位是使用邊界框(一個與軸對齊的矩形緊緊包圍對象)在圖像中搜索盡可能多的對象的空間位置和范圍[3]，[4]。對象分類是評估圖像中給定一組對象類中是否存在對象。目標檢測作為計算機視覺最基本的任務之一，是許多高級應用不可或缺的技術，如機器人視覺[5]、人臉識別[6]、圖像檢索[7]、[8]、增強現實[9]、自動駕駛[10]、變化檢測[11]等。隨著卷積神經網絡在視覺識別領域[12]-[14]的發展，以及大規模數據集[4]、[15]的發布，當今最先進的目標檢測器在全監督設置下可以達到近乎完美的性能，即全監督目標檢測(FSOD)[16] -[21]。然而，這些完全監督的對象檢測方法存在兩個不可避免的局限性:1)大量實例注釋難以獲取，而且需要大量的人工。2)在標注這些數據時，可能會無意中引入標注噪聲。

為了避免上述問題，社區開始在弱監督設置下解決對象檢測問題，即弱監督對象檢測(WSOD)。與完全監督的設置不同(參見圖1 (a))， WSOD的目的是檢測只有圖像級標簽的實例(例如，實例在整個圖像中的類別)。同時，WSOD也可以從網絡上的大規模數據集中獲益，如Facebook和Twitter。另一個類似的任務是弱監督對象定位(WSOL)，它只檢測圖像中的一個實例。由于WSOD和WSOL分別檢測多個實例和單個實例，所以我們認為WSOL是WSOD的一個子任務。在接下來的文章中，我們使用WSOD來表示WSOD和WSOL。

在本文中，我們回顧了所有典型的WSOD方法，并對WSOD的最新進展進行了全面的綜述(參見圖2)。在第二部分，我們介紹了背景、主要挑戰和基本框架。在第三部分中，我們根據WSOD的發展時間表，詳細介紹了幾種現代經典方法。然后，對主要挑戰的所有先進技術和技巧進行了深入分析。在第8節中，我們將演示WSOD的所有流行基準和標準評估指標。在第9節中，我們簡要地討論了未來的方向。

在本文中，我們總結了大量的深度學習 WSOD方法，并給出了大量的解決方案來解決上述挑戰。綜上所述，本文的主要內容如下:

• 分析了WSOD的背景、主要挑戰和基本框架。此外，我們還詳細介紹了幾種主流方法。
• 對于主要挑戰，我們分析了2016年以來幾乎所有的WSOD方法，并總結了許多技巧和訓練技巧(參見表V)。
• 在WSOD任務中引入了當前流行的數據集和重要的評估指標。
• 總結并討論了關于模型和應用方向未來進展的有價值的見解和指南。

在計算機視覺領域，對抗網絡(GANs)在生成逼真圖像方面取得了巨大的成功。最近，基于GAN的技術在基于時空的應用如軌跡預測、事件生成和時間序列數據估算中顯示出了良好的前景。雖然在計算機視覺中對GANs提出了一些評論，但沒有人考慮解決與時空數據相關的實際應用和挑戰。在這篇文章中，我們對GANs在時空數據方面的最新發展進行了全面的回顧。我們總結了在時空數據中流行的GAN架構，以及用GANs評估時空應用程序性能的常見做法。最后，提出了未來的研究方向，希望能對相關研究者有所幫助。

//arxiv.org/abs/2008.08903

概述：

時空屬性在交通運輸(shao2017travel)、社會科學(kupilik2018spatio)、犯罪學(rumi2019crime)等各個領域都很常見，其中，傳感器和大數據的激增迅速改變了時空屬性。大量的時空(ST)數據需要適當的處理技術來建立有效的應用。通常，處理表格數據或圖形數據的傳統方法在應用于時空數據集時表現不佳。原因主要有三層(wang2019deep): (1) ST數據通常是連續空間，而表或圖數據往往是離散的; (2) ST數據通常同時具有空間和時間屬性，其中數據相關性較復雜，傳統技術難以捕捉; (3) ST數據具有高度的自相關性，通常不像傳統數據那樣獨立生成數據樣本。

隨著深度學習的普及，許多神經網絡(如卷積神經網絡(CNN) (krizhevsky2012imagenet)，遞歸神經網絡(RNN) (mikolov2010recurrent)， Autoencoder (AE) (hinton2006 reduce)，圖卷積網絡 (GCN) (kipf2016gcn))被提出并在ST數據建模方面取得了顯著的成功。ST數據的深度學習之所以被廣泛采用，是因為它在層次特征工程能力方面顯示出了潛力。在本次調研中，我們關注的是深度學習領域最有趣的突破之一——生成對抗網絡(GANs) (goodfellow2014generate)及其在ST數據方面的潛在應用。

GAN是一種對抗學習生成真實數據的生成模型。它由兩個組件(goodfellow2014)組成:generator G和discriminator D。G捕獲數據分布并從潛在變量z生成真實數據，D估計來自真實數據空間的數據概率。GAN采用了零和非合作博弈的概念，其中G和D被訓練為相互競爭，直到達到納什均衡。GAN在各領域獲得了相當大的關注,包括圖像(例如,圖像翻譯(isola2017image)超分辨率(ledig2017photo),聯合圖像生成(liu2016coupled),對象檢測(ehsani2018segan),改變面部屬性(donahue2017semantically))、視頻(例如,視頻一代(vondrick2016generating)),自然語言處理(例如,文本生成(lin2017adversarial),文本圖像(zhang2017stackgan))。

然而，直接使用圖像或視頻生成并不適用于ST數據的建模，如交通流、區域降雨和行人軌跡。一方面，圖像生成通常考慮輸入和輸出圖像之間的外觀，不能充分處理空間變化。另一方面，視頻生成考慮了圖像間的空間動態，但是，當對下一幅圖像的預測高度依賴于前一幅圖像時，時間變化沒有得到充分考慮(saxena2019d)。因此，將GANs成功應用于ST數據需要探索新的方法。

最近，GANs開始應用于ST數據。GANs在ST數據上的應用主要包括生成去識別的時空事件(saxena2019d);jin2019crime)，時間序列歸責(luo2018multivariate;，軌跡預測(gupta2018;kosaraju2019)， 圖表示 (wang2018;bojchevski2018)等。盡管GANs在計算機視覺領域取得了成功，但將GANs應用于ST數據預測具有挑戰性(saxena2019d)。例如，利用額外的信息，如景點(PoI)，天氣信息在以前的研究中仍然是未觸及的。此外，與研究者可以依靠對生成的實例進行可視化檢查的圖像不同，GANs對ST數據的評估仍然是一個未解決的問題。在ST數據上采用傳統的GAN評價指標(saxena2019d;esteban2017real)。

一些研究回顧了最近關于ST數據或GAN在不同領域的應用問題的文獻。與從傳統關系數據挖掘模式相比，建模ST數據特別具有挑戰性，因為除了實際測量之外，它還具有空間和時間屬性。Atluri等人(atluri2018spatio)回顧了ST數據建模的流行問題和方法。提供了不同類型ST數據的分類、定義和描述數據實例的方法，以確定實際應用程序中任何類型ST數據的相關問題。他們還列出了通常研究的ST問題，并回顧了處理不同ST類型的獨特屬性的問題。Want等人(wang2019deep)回顧了將深度學習應用于ST數據挖掘任務的最新進展，并提出了一個利用深度學習模型解決ST數據建模問題的流程。Hong等人(hong2019生成)從不同的角度解釋了GANs，并列舉了常用的用于多任務的GAN變體。在(pan2019recent)中討論了GANs的最新進展，Wang et al. (wang2019生)提出了一種用于計算機視覺領域的GANs分類。特別是，Yi等人(yi2019生)回顧了GANs在醫學成像中的最新進展。

然而，上述工作回顧了ST數據建模問題或GANs在計算機視覺領域的最新進展。盡管許多研究者(saxena2019d;esteban2017real;gupta2018social;luo20192;已經用GANs對ST數據進行建模，在這個領域還沒有相關的調查來解決在ST數據應用中使用GANs的潛力。本文第一次全面概述了ST數據中的GANs，描述了GANs有希望的應用，并確定了在不同ST相關任務中成功應用尚需解決的一些挑戰。

深度神經網絡(DNNs)在許多計算機視覺任務中是成功的。然而，最精確的DNN需要數以百萬計的參數和操作，這使得它們需要大量的能量、計算和內存。這就阻礙了大型DNN在計算資源有限的低功耗設備中的部署。最近的研究改進了DNN模型，在不顯著降低精度的前提下，降低了內存需求、能耗和操作次數。本文綜述了低功耗深度學習和計算機視覺在推理方面的研究進展，討論了壓縮和加速DNN模型的方法。這些技術可以分為四大類:(1)參數量化和剪枝;(2)壓縮卷積濾波器和矩陣分解;(3)網絡結構搜索;(4)知識提取。我們分析了每一類技術的準確性、優點、缺點和潛在的問題解決方案。我們還討論了新的評價指標，作為今后研究的指導。