亚洲男人的天堂2018av,欧美草比,久久久久久免费视频精选,国色天香在线看免费,久久久久亚洲av成人片仓井空

文/李文斌

摘 要：

當前機器學習方法往往依賴大規模標注數據，無法像人類那樣從少量樣本和標記中進行高效的學習和泛化。本文針對開放場景下存在的樣本稀缺、標記稀缺和計算資源稀缺等挑戰，提出局部表征與度量的小樣本學習方法體系、基于親和矩陣的自監督對比學習框架和基于類中心化約束的數據集蒸餾技術，增強了開放場景下機器學習技術應用能力。此外，簡要介紹以上研究所取得的代表性成果。 關鍵詞：

新型機器學習；小樣本學習；對比學習；數據集蒸餾

近年來，隨著計算設備計算能力的增強，大型標注數據的出現，以及深度學習的迅猛發展，機器學習特別是深度學習，在計算機視覺和自然語言處理等領域取得了顯著的進步和成功。機器學習算法已經在不少領域遠遠超越了人類，例如，殘差網絡ResNet 在 ImageNet 數據集上的分類準確率已經遠超過人類，AlphaGo 在圍棋游戲上也遠勝于人類圍棋冠軍。然而，現有機器學習方法往往是在數據充足、標記完備，以及計算資源充裕的閉式場景下進行研究和驗證的，忽略了真實開放場景下數據可能是稀缺的、標記是不完備的，甚至計算資源是有限的。在真實開放應用場景下，一方面數據常常呈現不規則及長尾分布的情況，對于某些特定的類別，數據往往是稀少的，即小樣本問題；另一方面，在某些場景中盡管能夠獲得大量數據，但是標注的代價卻是昂貴的，即無標記問題。此外，在很多資源受限的應用場景中，硬件的計算資源也是有限的，無法針對大量訓練數據進行學習。在這些開放場景問題中，現有機器學習的能力遠遠達不到人類的智能。相反，人類能夠在開放環境中與周圍的環境進行交互，然后不斷學習和進化。特別地，人類能夠從很少的實例中學習新的概念，甚至從幼兒發育開始就能進行無監督學習，并擁有很強的泛化能力。因此，如何利用有限少量的標注數據和大量無標注數據，在有限的計算資源下進行學習，并使模型具有較高的泛化能力就成為一個很重要的研究問題。

1 樣本稀缺場景下的小樣本學習

針對開放場景中新類樣本稀缺的問題，即小樣本問題，現有研究主要構建小樣本學習理論與方法進行解決，其核心是如何從一個額外的輔助數據集中學習和遷移有用的表征和知識來幫助解決目標新類的學習和識別。其中主要存在四個難點：① 知識遷移，如何從輔助數據集上學習和遷移知識或者特征表示？② 概念表征，如何精確且有效地表征一個類別？③ 圖像表征，如何精確且有效地表征一張圖像？④ 關系度量，如何有效地度量一個查詢圖像與一個類別之間的關系？

針對上述問題和難點，我們針對性地提出一套以局部表征學習為基底、新型度量函數設計為核心、元學習為驅動力的小樣本學習方法體系，相對于全局表征技術，局部表征能夠天然擴充百倍樣本空間，有效緩解開放場景下機器學習算法對數據依賴過強的問題。小樣本學習問題中由于標記數據匱乏，采用傳統全局特征學習的方式，難以緩解由數據不足帶來的過擬合問題，我們創新地在小樣本學習中引入局部表征與局部度量學習，并產生了下述一系列創新成果。

（1）針對小樣本學習方法通常采用一階均值信息對類別進行表征的問題，我們提出一種基于豐富局部描述子特征的二階協方差類別表征方法CovaMNet；此外定義了一個新的深度協方差度量函數 (covariance metric function)，可以有效計算查詢樣本的局部描述子特征與類別概念之間的分布一致性。具體地，CovaMNet 通過引入情景訓練來學習可遷移的知識，設計了一個局部協方差表示，并將其嵌入到深度神經網絡中來學習表達每個類別。因為協方差表示提取的是二階統計信息，所以能夠天然地捕獲每個概念潛在的分布信息，故能夠成為一種很好的概念表征方法。

（2）為了更好利用和學習深度局部描述子特征，我們提出使用非量化的深度局部描述子對圖像和類別進行表征，以及一種圖像到類別的度量方法；專門設計了一個新穎的深度最近鄰神經網絡（deepnearest neighbor neural network，DN4）模型。DN4遵循情景訓練機制，并且是完全端到端訓練的。它和現有相關的小樣本學習方法最核心的不同之處在于，深度網絡中最后分類層中，基于圖像級別特征的度量方式被替換成基于局部描述子的圖像到類別的度量方式。這種度量方式是通過在局部描述子池中進行 k-NN 搜索實現的，然而在大量的局部描述子的集合中進行最近鄰搜索非常耗費時間。幸運的是，小樣本學習下每個類別樣本不足的缺點反而變成了優點，既能獲得較好的性能，又能保證高效的運行效率。

（3）我們發現以往的小樣本學習工作主要集中在圖像級的特征表示上，由于樣本的稀缺性，這種方法理論上無法有效地估計類的分布。因此，在局部表征的基礎上，提出非對稱分布測量（asymmetricdistribution measure，ADM）方法，采用由均值向量和協方差矩陣構成局部特征分布對圖像樣本和圖像類別進行表征。此外，現有基于度量的小樣本學習方法均采用對稱假設來度量查詢圖像與支撐類別之間的關系，并不符合實際理論假設。針對該問題，提出一種非對稱度量假設，進而提出一種基于局部特征分布的非對稱度量小樣本學習方法，證明了這種有偏的非對稱度量能取得更好的度量性能。

（4）我們還提出了一個新的防御型小樣本學習問題，考慮在小樣本場景下如何增強機器學習模型的安全性和魯棒性。然而，將現有樣本充裕場景下的對抗性防御方法直接應用于小樣本場景中，并不能有效地解決這一問題。這是因為通常訓練集和測試集之間的樣本分布一致性的假設，在小樣本設置中不再滿足。為此研究如何學習魯棒的小樣本學習模型來防御對抗性攻擊，并驗證了基于情景的對抗訓練機制可以遷移對抗防御性知識，通過假設任務級分布一致性來解決跨類別對抗防御問題；另外，驗證了基于局部特征的對抗訓練技術相對于全局特征更能有效地提高模型的對抗防御能力。

最后，我們發現不同的小樣本學習工作可能會使用不同的軟件平臺、不同的訓練技巧、不同的骨干網絡，甚至不同的輸入圖像大小，這給可復現性帶來困難，并使得公平比較變得困難。為了解決這些問題，構建并開源了一個統一的小樣本學習框架 LibFewshot。如圖 1 所示，該框架包含了 25 個2017—2022 年具有代表性的小樣本學習算法，為小樣本學習領域中算法對比采用統一框架、統一設置、實現公平對比等提供便利。該框架在開源社區受到廣泛的關注和討論，其 GitHub Star 數量 798、Fork數量 157。

圖 1 LibFewshot 框架

**2 **標記稀缺場景下的自監督對比學習

通過在大規模數據上進行訓練，機器學習模型在多個任務中展現出了卓越性能。然而，機器學習的這些成功很大程度上依賴于大量完全標注數據，但是在許多實際場景中，很難收集和標注如此大規模的數據集。一方面，我們無法在現實世界中為所有可能的類別收集足夠多的數據；另一方面，標注特定種類的數據可能需要專業領域的知識，使得大規模標注非常困難。因此，針對開放場景下標記稀缺的問題，我們將自監督對比學習和新類發現作為主要研究方向，增強在標記稀缺場景下的通用視覺表征能力，并利用有標記樣本在無標記數據中發現新的類別。

自監督對比學習通過使用大量無標簽數據，利用實例判別的前置任務，訓練一個具有通用視覺特征能力的神經網絡，能夠在下游特定的任務取得接近有監督訓練甚至更好的效果。現有自監督對比學習方法可以分成四類，即基于正負樣本對比的方法、基于正樣本的方法、基于特征去相關的方法和基于一致性正則化的方法。我們提出了一個基于親和矩陣的自監督對比學習框架 UniCLR，最大化地統一以上的四類方法。盡管這些方法從動機到具體實施的手段都有不同，我們發現從親和矩陣的角度出發，能夠將這些方法通過同一個視角都統一起來。從這個角度來看，當前的絕大多數自監督對比學習方法都可以看作是 UniCLR 的特例或者變體；也就是說，UniCLR 具有較高的靈活性和可擴展性。基于 UniCLR 框架，我們首先提出了 SimAffinity 方法，使用交叉熵損失函數直接優化不同分支特征的親和矩陣；之后，提出了 SimWhitening 方法，在SimAffinity 的基礎上加上了白化操作；最后，基于白化操作的 SimWhitening，進一步提出了 SimTrace方法，去掉了 SimWhitening 中的負樣本，僅使用正樣本的對比學習進行網絡優化。SimTrace 不依賴其他的非對稱網絡設計，以及其他的正則項來防止模式崩潰。另外還提出了一種新的一致性正則化方法——對稱損失，能夠加速自監督對比學習的收斂過程。方法結構如圖 2 所示，圖中，①代表對稱損失；②代表基于正負樣本對比的 Affinity 損失；③代表白化操作；④代表使用親和矩陣的負跡損失。

圖 2 中，UniCLR 框架使用和其他方法相同的兩條分支結構。具體而言，我們將輸入圖像通過數據增廣得到兩組不同的圖像，并且送入特征提取網絡得到兩組特征；然后計算兩組特征之間的親和矩陣（相似性矩陣），通過不同方式最大化相似性矩陣對角線上的值，也就是同一對樣本的相似度。

圖 2 UniCLR 方法結構

**

**

表 1 展示了我們在 ImageNet1K 數據集上和其他先進方法的對比結果。從結果中可以看到，我們方法的三種變體都能夠取得較高的結果。在 200 輪次的自監督預訓練的測試結果中，SimAffinity、SimWhitening 和 SimTrace 都能夠取得相較于已有的方法來說更高的結果。SimAffinity 能夠取得 73.8%的 Top-1 準確率，相較于 SimSiam、DINO，以及BYOL 能夠分別取得 3.8%、3.6% 和 3.2% 的提升。當進行更長（400、800 輪）的訓練時，UniCLR 也能夠取得更好的結果。例如，當進行 800 輪的訓練時，SimAffinity 可以取得 75.6% 的準確率，超過了SwAV 以及 DINO 相同訓練輪次的結果，同時超過了 Barlow Twins、VICReg 和 BYOL 訓練 1 000 輪的結果。

表 1 在 ImageNet1K 上自監督預訓練的結果與先進結果的對比

新類發現任務，試圖利用已有的標注數據，在無標注數據中自動發現新的視覺類別。給定一個有標簽數據集和一個無標簽數據集，新類發現的目標是通過有標簽數據集中蘊含的潛在語義信息，訓練深度學習模型，使其能夠將這些信息遷移至無標簽數據集，從而識別其中的新類別。我們基于對稱 KL 散 度（symmetric Kullback-Leiblerdivergence，sKLD）提出了 IIC（inter-class and intra class constraints）方法，來對新類發現任務中的類間和類內約束進行建模。具體來說，首先提出了一個類間約束來有效地利用有標簽類別和無標簽類別之間的不相交關系，保證不同類別在嵌入空間中的可分性；其次還提出了一個類內約束，用于確保每個樣本與其增廣樣本之間的內部關系，同時該約束也可以保證整個模型訓練過程的穩定性。整體方法結構，如圖 3 所示。

圖 3 IIC 方法結構

**

**

圖 3 中，藍色表示“原始部分”（包括有標簽樣本 xil、無標簽樣本 xiu 及其對應的原始預測值和概率分布）；綠色表示“增廣部分”（包括有標簽樣本的增廣 、無標簽樣本的增廣及其對應的原始預測值和概率分布）。IIC 方法整體結構由一個編碼器 E，以及兩個分類頭 h 和 g 兩部分組成。編碼器 E 在具體實驗中被實現為一個標準的卷積神經網絡（CNN），它將輸入的圖像轉換為對應的特征向量。用于有標簽數據的分類頭 h，被實現為一個擁有 cl個輸出單元的線性分類器；而用于無標簽數據的分類頭 g，由一個多層感知機（MLP）和一個擁有 cu 個輸出單元的線性分類器組成。在訓練階段，每個樣本 xi 首先被 E 編碼為特征向量，然后分別通過兩個分類頭獲得對應的原始預測值（logits）

表 2 展示了新類發現方法使用任務感知評估協議在無標簽子集的訓練圖像上的聚類精度，實驗結果在標簽子集的訓練數據上以聚類精度（%）的形式報告，包括均值和標準差兩部分。可以看出，所提出的 IIC 方法在所有基準數據集上都優于當前的新類發現方法。

**3 **計算資源稀缺場景下的數據集蒸餾

機器學習方法的成功很大程度依賴于大量訓練數據，特別是在當今大模型時代背景下，預訓練階段使用的海量數據集包含從互聯網上收集的數十 TB的數據，使用大規模的數據集進行訓練意味著需要高昂的計算資源和巨大的時間代價。因此，我們將數據集蒸餾作為一個重要研究方向，通過將大規模數據壓縮為一個足夠精煉的極小規模數據集，從而減少模型訓練所需的計算資源，大大減少訓練時間，以適應計算資源稀缺的場景。

表 2 在四個數據集劃分上與先進方法進行比較

基于分布匹配方法作為數據集蒸餾的代表性方法之一，通過匹配嵌入空間中的特征分布來實現數據集壓縮。但現有的基于分布匹配方法面臨兩個主要不足，一是合成數據集中同一類內的特征分布分散，降低了類別區分度；二是現有方法僅關注平均特征一致性，缺乏精確性和全面性。我們提出基于樣本間關系和特征間關系的數據集蒸餾方法，通過類中心化約束和局部協方差匹配約束來解決上述不足。針對之前方法存在的合成數據集類別區分度不足的問題，我們提出了類中化約束，旨在將從合成數據集中提取的樣本特征更靠近類中心，防止特征分散，該約束的損失計算為

圖 4 局部協方差矩陣匹配約束

表 3 CIFAR100 數據集上數據集蒸餾任務平均準確率

表 4 TinyImagenet 數據集上數據集蒸餾任務平均準確率

4 結束語

本文主要介紹了我們在開放場景下，針對樣本稀缺、標記稀缺和計算資源稀缺等問題開展關于小樣本學習、自監督對比學習、新類發現和數據集蒸餾技術的研究，并產生的一系列研究成果。然而，除了上述問題，開放場景中還存在噪音干擾、數據分布偏移、對抗攻擊，以及面對序列任務學習時災難性遺忘等問題。未來，擬針對開放環境下“對抗性攻擊 - 魯棒機器學習、災難性遺忘 - 持續學習”的問題，為了提高機器學習模型對噪音和對抗性攻擊的魯棒性，以及機器學習模型的持續學習和持續泛化能力，研究防御型機器學習和基于預訓練大模型的持續學習技術。 （參考文獻略）

李文斌 南京大學副研究員。主要研究方向為新型機器學習、計算機視覺和軟硬件協同優化。在IEEE TPAMI、NeurIPS、CVPR、ICCV 等 CCF-A 類國際會議和期刊發表論文 20 余篇。入選中國科協青年人才托舉工程。

選自《中國人工智能學會通訊》 2024年第14卷第5期

摘要：為全面、客觀地評估人工智能技術發展對軍事變革的影響，進行多視角綜合研究。通過對時代演進、技 術創新和實戰應用全面審視人工智能對軍事變革的影響，力圖全面客觀地分析人工智能在引領軍事變革過程中發揮 的作用。結果表明，該研究為促進軍事領域人工智能的建設發展提供理論參考。 關鍵詞：人工智能；戰爭形態演進；通用技術創新；俄烏沖突

軍事技術的進步與創新在歷史上每一次軍事變 革中都發揮了重要作用，作為特殊的武裝集團，軍 隊的作戰規模、作戰方式和指揮控制隨著不同時代 戰爭形勢的變化而不斷調整更新。根據相關研究， 每當軍事技術出現革命性變化時，軍隊結構、作戰 理念和戰爭形態也會隨之相應變革，并直接影響軍 事沖突的方式。軍事技術創新與軍事變革之間存在 著密不可分的內在聯系。綜觀人類戰爭史，從火藥 的發明到信息技術的應用，先進的軍事技術與裝備 的出現都對作戰方式和軍隊組織產生過深遠影響； 因此，要準確預測未來戰爭的面貌，必須密切關注 軍事技術發展的前沿與趨勢，以確保軍事力量現代 化建設與作戰理念的先進性。 當前，隨著人工智能技術的快速發展，軍事領 域正在經歷前所未有的變革。人工智能技術在自動 化武器系統、無人機、輔助決策等軍事應用方面取 得長足進展，被美國、俄羅斯等軍事強國視為改變 未來戰爭形態的關鍵技術之一[1]。然而，人工智能 技術發展與應用還處在起步階段，其對軍事領域的 影響機理與作用路徑尚不明確，相關研究多停留在 理論探討層面，缺乏系統性的實證分析。為全面、 客觀地評估人工智能技術發展對軍事變革的影響， 有必要從多個視角進行研究，綜合考量戰爭形態演 進規律、通用技術發展理論以及實戰案例觀察，以 提出科學合理的研究建議。基于此，筆者以人工智 能技術在軍事領域的應用為研究對象，從戰爭形態 演進、俄烏沖突應用和通用技術發展 3 個視角對其 影響機理進行全面研究。

隨著信息技術、人工智能和機器人技術的飛速發展，無人自主系統在軍事、航空航天、海洋探索、災難救援以及智能交通等領域展現出巨大的應用潛力。分布式協同控制作為實現多無人自主系統高效、靈活協作的關鍵技術，已成為研究的熱點。本文綜述了無人自主系統分布式協同控制的研究進展。首先探討了在一致性問題、編隊控制和分布式優化三個方面的核心理論，然后結合當前多無人自主系統的實際應用，給出了無人機、無人車、無人水面艦艇、無人潛航器和多模態協同控制的最新研究成果介紹，最后探討了該領域的未來挑戰和發展方向。 無人自主系統，包括無人機、無人車、無人水面 艦艇、無人潛航器等，是具備集成感知、決策和執行 能力的一類系統，能夠在沒有直接人工操控的情況 下自主完成特定任務[1-5] 。它們在諸如搜救偵察、安全 監控、環境與交通監測、電力線與管道巡查、建筑物 檢查、地理測繪、隧道檢測、影視制作、物流配送以及 工業生產等多個領域發揮著至關重要的作用。 隨著無人自主系統應用領域的不斷拓展，其所 面臨的環境復雜性也在逐漸增加，致使高精度地完 成控制目標變得越來越艱巨。相較于單獨運作的無人自主系統，多無人自主系統的協同控制在多個方 面展現出了其優越性。例如，多無人自主系統能夠對 分布式任務進行處理，大大提升了任務執行的效率 與覆蓋面。其次，原本由單一無人系統承擔的復雜任 務，現在可以通過多個無人系統分工合作，各自執行 更為簡單的任務來完成，這不僅降低了任務執行難 度，還增強了系統的靈活性和適應性[6] 。因此，多無人 系統的協同控制技術受到了業界和學術界的廣泛關 注與深入研究。

摘要: 無人機集群以其具備的應用優勢及發展前景，成為當前人工智能領域研究者關注的熱點之一，而非完全信息下的無人機集群對抗技術，因其集群結構變化的高動態性以及環境信息復雜多變且不能完全感知的特點，成為對集群協同性與智能性要求最高的研究方向之一，其研究成果可以促進智能化無人系統的快速發展和廣泛應用。該文全面回顧了非完全信息環境下無人機集群對抗研究的最新進展，按照包以德循環理論的思路將無人機集群對抗過程劃分為態勢評估、意圖推斷、任務規劃與機動決策4個相互銜接的關鍵組成部分，并進一步將其細分為8個子研究目標。通過分析比較近年來的相關研究，著重闡述了無人機集群對抗領域各項任務的研究重點和難點以及已取得的成果，并討論了無人機集群對抗技術所面臨的挑戰，包括大規模異構集群的協同控制、非完全信息的處理、復雜決策過程的建模以及實際應用任務的應對等。

**1.1 無人機集群對抗的定義和背景

無人機(Unmanned Aerial Vehicle, UAV)因其低維護成本和高機動性，在民用與軍事領域成為研究熱點[1,2]。單一無人機能力有限，易損壞導致任務失敗，因此研究重心轉向無人機集群，以實現群體智能，提高效率和性能。無人機集群技術的發展進一步促進了無人機集群對抗的研究，多架無人機可以高度協同執行戰術行動，如打擊、掩護和情報搜集等，增強了其在軍事和安全領域的應用，成為軍事和安全領域的重要研究方向。同時，這一技術也推動了工業、物流和農業領域的自動化生產和管理，促進了智能應用技術的發展。 無人機集群對抗要求無人機具備自主判斷、規劃、和決策能力，并能實現集群間的信息交互和協同行動。多種算法的配合形成完整系統，以提高任務執行效率和精確度。無人機集群對抗廣泛應用于軍事和安全領域，如對恐怖組織的打擊、軍事突襲、領空防御、海上巡邏等，能提高作戰效率，降低成本和人員傷亡。此外，為了滿足更復雜的任務需求，設計了不同類型的無人機以及由不同無人系統組成的異構集群[3,4]，這對無人系統的適應力和自主性提出了更高的要求。

**1.2 非完全信息下無人機集群對抗方法研究意義

在無人機集群對抗中，真實對抗環境往往存在非完全信息環境，集群無法獲取完整的信息，包括友機、敵機以及其他環境信息。這些特點通常由通信干擾、數據傳輸帶寬限制、通信距離限制、敵方決策誤導、突發障礙物威脅、極端氣候等多種因素引起。因此，非完全信息問題成為當前無人機控制領域的熱點和難點之一。為了幫助研究人員應對這一問題，本文總結了近年來非完全信息下無人機集群對抗的研究現狀。 提升無人機在非完全信息環境下的決策能力具有重要意義，但也帶來了很大的挑戰。非完全信息條件使模型更加貼近真實應用場景，增強了模型可行性和實用性。要突破這一難關，不僅需要更先進的硬件設計、感知算法和通訊技術，方法研究也是關鍵，它是提高無人機集群智能化的核心。非完全信息條件會增加信息處理難度，需要研究者提出更高效靈活的對抗策略與方法，增強方法的魯棒性。現有研究通過多種任務算法配合使用，以提高無人機智能化水平，推動無人機集群模型向實用性方向發展。

**1.3 非完全信息下無人機集群對抗研究內容

非完全信息下無人機集群對抗研究，參考由美國空軍軍事戰略家John Boyd提出的包以德循環(Observe-Orient-Decide-Act Loop, OODA Loop)理論，可以分成幾個階段。OODA循環描述了空戰中飛行員決策過程，由觀察、定位、決策、執行組成，強調的是比敵人具備更靈活的觀察與反應能力，能夠快而準確的在敵人的決策周期中瓦解敵人招式而取得優勢[5]。參照此循環結構及其各部分的內在邏輯關系，本文將復雜的無人機對抗過程對應地分解為如圖1所示的多階段循環研究任務，包括態勢評估、意圖推斷、任務規劃、機動決策4個主要部分。通過OODA循環不斷迭代，無人機集群能夠快速適應并響應環境中的變化與不確定性，快速理解環境，識別目標意圖，靈活地調整策略，進而采取有利的行動。

根據OODA循環環節，并結合近年來的研究進展情況，本文進一步將非完全信息下的無人機集群對抗研究的具體內容分解為8個子任務，如表1所示。OODA循環的觀察階段對應態勢評估，涵蓋對抗態勢評估研究與威脅因素評估研究。定位階段則對應敵機行為的意圖推斷，無人機集群進一步對收集到的敵機行為數據進行分析，通過對敵機行為的預測與識別對潛在的意圖進行推斷，進而快速響應、精準打擊，獲得決策優勢。OODA循環的決策階段需要制定最佳行動方案，對應任務規劃研究，包括目標分配與航跡規劃兩部分。機動決策對應于OODA循環中的執行階段，其核心研究涵蓋協同對抗與追蹤合圍兩部分內容，在執行階段將觀察、定位與決策結果轉化為具體的無人機集群自主協同機動決策。

在無人機集群對抗的OODA循環中，態勢評估和意圖推斷主要進行非完全信息環境下的數據處理與分析，為決策提供依據。而任務規劃與機動決策側重于集群內外信息融合的綜合決策，有很高的協同性與靈活性要求。隨對抗進展， OODA循環持續迭代至對抗結束，以優化無人機集群的作戰效能。下面分別從態勢評估、意圖推斷、任務規劃與機動決策這四個方面對無人機集群對抗的研究現狀做進一步的闡述。

在目標檢測技術的驅動下，被賦予智能感知能力的無人機得以實現高效靈活的數據收集能力。隨著無人機 的普及與智能技術的成熟，無人機視角下的目標檢測在諸多領域中作為關鍵核心技術，具有重要的研究意義。為了 進一步促進無人機視角下目標檢測研究的發展，本文對無人機視角下的目標檢測算法進行了全面的總結，并對已有 算法進行了歸類、分析和比較。首先，介紹無人機視角下的目標檢測概念，并總結了無人機視角下目標檢測所面臨 的目標尺度、空間分布、樣本數量、類別語義以及優化目標等五大不均衡挑戰。**在介紹現有研究方法的基礎上，本 文特別整理并介紹了無人機視角下目標檢測算法在交通監控、電力巡檢、作物分析和災害救援等實際場景中的應用。**然后，重點闡述從數據增強策略、多尺度特征融合、區域聚焦策略、多任務學習、以及模型輕量化等方面來提升無 人機視角下目標檢測性能的方法，總結這些方法的優缺點并分析了其與現存挑戰之間的關聯性。之后，全面介紹基 于無人機視角的目標檢測數據集，并呈現已有算法在兩個較為常用的公共數據集上的性能評估。最后本文對無人機 視角下目標檢測技術的未來發展方向進行了展望。

0. 引言

計算機視覺技術為無人機賦予了自主感知、分 析和決策能力，而目標檢測則是提高無人機感知能 力的關鍵技術之一。無人機結合智能目標檢測技術 可充分發揮其高機動性優勢，在廣闊的空中視野中 定位感興趣目標，進而實現靈活高效的數據收集能 力。在目標檢測技術的驅動下，無人機在交通監控 （Byun 等，2021）、電力巡檢（Abdelfattah 等， 2020）、作物分析（Osco 等，2021a）和災害救援 （Bo?i?-?tuli? 等，2019）等多個領域中展現出廣闊 的應用前景。例如在交通監控領域，無人機可以空 中飛行進行偵測，不受道路限制，具有速度快、自 由度高、視野寬廣等優點。當交通事故等突發事件 發生時，無人機可以第一時間進行響應，到達現場 進行圖像采集與分析，為應急救援與管理提供及時 有效的數據支撐。在深度學習的驅動下，目標檢測 技術獲得了長足的發展，取得了諸多令人矚目的成 就。然而，大多數研究聚焦于地面視頻監控圖像的 分析，面向無人機視角圖像的目標檢測還未得到充 分的研究。目前，即使是最好的目標檢測算法，在 無人機圖像上的平均精確率也難以達到40%（Cao 等，2021）。

**無人機視角下的目標檢測之所以難，其主要原 因在于無人機圖像存在尺度變化、疏密分布、目標 數量較多且小目標占比較高等問題，特別是無人機 高分辨率圖像高計算需求與現階段低功耗芯片有 限算力之間的矛盾難以平衡。**相對于地面視角拍攝 的自然圖像，無人機視角下的廣闊視場意味著更為 復雜的場景和更加多樣的目標，在提供更為豐富的 可視化信息的同時，也帶來了更多無用噪聲的干擾。特別是無人機視角下，圖像中的目標往往因遠端拍 攝、背景遮擋或光照影響等因素檢測難度較大，需 要使用高分辨率圖像提供更多的信息以達到較好 的檢測效果。這極大地增加了目標檢測算法的計算 開銷與內存需求，特別是直接使用未經過特殊設計 的通用目標檢測算法將帶來難以承受的計算開銷 與內存需求，進一步加劇了目標檢測的難度。在實 際應用場景中，往往面臨著類似于識別車輛種類這 種細粒度分類的問題，這些相似目標給模型正確識 別目標帶來了巨大的挑戰。此外，受限于現實世界 中的目標數量，無人機視角下某些類別的樣本數量 往往極為有限，這種數據不均衡的狀況也對模型的 學習能力提出了更高的要求。因此，緊密地結合智能目標檢測技術，針對無 人機圖像的特性設計行之有效的方法，促使模型學 習理解無人機視角下的視覺數據，對于無人機在實 際場景中充分發揮其效用是至關重要的。無人機視 角下的目標檢測在應用廣泛的同時面臨著諸多挑 戰，具有深刻的現實意義與重要的研究意義。對無 人機視角下的目標檢測展開研究將有助于推動目 標檢測領域的進一步發展，增強目標檢測在面對真 實場景時的應用能力。

目標檢測作為計算機視覺領域的基礎研究，已 有學者對此進行研究與總結，并發表許多優秀的綜 述。Zou等人（2019）梳理了400多篇關于目標檢測 技術發展的論文，系統而全面地展現了目標檢測領 域。Oksuz等人（2020）則從目標檢測中存在的類別 不平衡、尺度不平衡、空間不平衡以及優化目標不 平衡等四大不平衡問題出發，對現有的目標檢測算 法進行了深入的總結。Chen等人（2020）則從小目 標四大基礎方法的角度出發，總結并分析了小目標 檢測的相關優化思路。曹家樂等人（2022）回顧并 總結了基于單目相機的視覺目標檢測方法，并對比 介紹了單目目標檢測和雙目目標檢測的國內外研 究進展情況。然而，以上綜述對于無人機視角下目 標檢測的關注不夠，未能系統地梳理無人機視角下 的目標檢測方法和面臨的挑戰。 **聚焦到無人機視角下的目標檢測，Mittal等人 （2020）關注低空無人機數據集，評估并總結了當 前流行的目標檢測算法，但是局限于簡單的性能對 比，沒有深入的總結分析。**Sambolek等人（2020） 介紹了在搜索和救援行動中使用無人機的可能性， 并提供了在無人機圖像中檢測相關人員的方法概 述。Srivastava等人（2021）則關注無人機圖像的車 輛檢測，從提高精度和減少計算開銷兩個方面回顧 了這些工作。Bouguettaya等人（2021）則關注于無 人機視角下的車輛檢測應用，總結并介紹了多種網 絡結構對于改善車輛檢測的貢獻。江波等人（2021） 對常見的航空影像數據集進行了梳理，并對近期的 無人機目標檢測研究進行了歸納和分析。楊浩然等 人（2022a）則對目標檢測相關算法進行了簡單的優 缺點分析。然而，這些綜述對于無人機視角下面臨 的挑戰總結不夠系統，算法方面的趨勢總結較為薄 弱，而且對于目標檢測算法的實際應用闡述也較少。

與以往關注通用領域的目標檢測綜述或僅關 注于無人機相關的特定應用場景下的綜述不同，**本 文著重于對無人機視角下的目標檢測這一意義重大且極具挑戰性的研究領域進行系統且深入的分 析與總結。**本文首先簡要闡述無人機視角下目標檢 測的重要研究意義，然后將對無人機視角下目標檢 測領域中存在的挑戰進行系統的歸納和總結，隨之 將介紹并分析無人機視角下的目標檢測優化思路， 包括數據增強、多尺度特征融合、區域聚焦策略、 多任務學習、模型輕量化以及其他優化策略等。本 文將特別展示無人機視角下目標檢測算法的應用， 闡明該研究的實際意義。此外，本文將介紹無人機 視角下適用于檢測任務的相關數據集，并在常用的 數據集上分析對比現有算法的檢測性能。最后，對 本文內容進行簡要的總結，并討論無人機視角下的 目標檢測未來可能的研究方向和發展趨勢。

摘要： 隨著深度神經網絡和智能移動設備的快速發展，網絡結構輕量化設計逐漸成為前沿且熱門的研究方向，而輕量化的本質是在保持深度神經網絡精度的前提下優化存儲空間和提升運行速度。闡述深度學習的輕量化網絡結構設計方法，對比與分析人工設計的輕量化方法、基于神經網絡結構搜索的輕量化方法和基于自動模型壓縮的輕量化方法的創新點與優劣勢，總結與歸納上述3種主流輕量化方法中性能優異的網絡結構并分析各自的優勢和局限性。在此基礎上，指出輕量化網絡結構設計所面臨的挑戰，同時對其應用方向及未來發展趨勢進行展望。

//www.ecice06.com/CN/10.19678/j.issn.1000-3428.0060931

摘要：針對隱私保護的法律法規相繼出臺，數據孤島現象已成為阻礙大數據和人工智能技術發展的主要瓶頸。聯邦學習作為隱私計算的重要技術被廣泛關注。從聯邦學習的歷史發展、概念、架構分類角度，闡述了聯邦學習的技術優勢，同時分析了聯邦學習系統的各種攻擊方式及其分類，討論了不同聯邦學習加密算法的差異。總結了聯邦學習隱私保護和安全機制領域的研究，并提出了挑戰和展望。

//www.infocomm-journal.com/bdr/CN/10.11959/j.issn.2096-0271.2021030

關鍵詞：聯邦學習 ; 聯邦學習系統攻擊 ; 隱私保護 ; 加密算法

論文引用格式：

王健宗, 孔令煒, 黃章成, 等. 聯邦學習隱私保護研究進展[J]. 大數據, 2021, 7(3): 130-149.

WANG J Z, KONG L W, HUANG Z C, et al. Research advances on privacy protection of federated learning[J]. Big Data Research, 2021, 7(3): 130-149.

圖片

1 引言

大數據、人工智能和云產業等的爆發式發展，一方面為傳統行業帶來升級變革的新機遇，另一方面也給數據和網絡安全帶來了新挑戰。不同行業的公司會收集大量的數據信息，同一企業下不同層級的部門也會收集不同的信息，由于行業間的競爭和壟斷，以及同一企業下不同系統和業務的閉塞性與阻隔性，很難實現數據信息的交流與整合。當不同的企業之間，以及同一企業下屬不同部門之間需要合作進行聯合建模時，將面臨跨越重重數據壁壘的考驗。這類挑戰也被稱為數據孤島問題。

早期的分布式計算試圖通過整合不同來源的數據進行分布式的建模，從而解決這類數據孤島問題。分布式建模將具有龐大計算量的任務部署到多臺機器上，提升了計算效率，減少了任務耗能。但是分布式機器學習依舊存在問題，重量級的分布式系統架構通常會產生巨大的溝通成本，影響數據的傳輸和處理效率。隨著人工智能技術的進一步發展和更廣泛的應用，數據隱私敏感性問題日益被重視。大規模的數據傳輸不可避免地會涉及隱私泄露問題，對于異構數據的聯合訓練和隱私安全問題，依然沒有找到一個令人滿意的解決方案。

聯邦學習（federated learning，FL）給上述難題提供了解決方案。聯邦學習是由谷歌公司在2016年率先提出的概念，該技術在數據不共享的情況下完成聯合建模共享模型。具體來講，各個數據持有方（個人/企業/機構）的自有數據不出本地，通過聯邦系統中加密機制下的模型參數交換方式（即在不違反數據隱私法規的情況下），聯合建立一個全局的共享模型，建好的模型為所有參與方共享使用。相對于分布式計算，聯邦學習有更多的優勢，例如在隱私保護領域，聯邦學習從算法層面上設計并考慮了客戶端間傳輸信息的加密。本文主要從隱私保護和安全加密的角度，對聯邦學習進行系統綜述。

本文的主要貢獻如下。

● 本文對聯邦學習的歷史進行了詳細的敘述，從安全隱私的分布式學習發展到現在的聯邦學習系統，總結了聯邦學習發展的歷程。

● 本文從新的角度闡述了聯邦學習的類型。與傳統方式不同，本文從面向企業（to business，ToB）和面向客戶（to customer，ToC）的應用場景的區別出發，分析了聯邦學習的不同。

● 詳細地從聯邦學習攻擊的角度分析聯邦系統面臨的各種可能的攻擊手段，并系統地將聯邦學習的攻擊手段進行了分類總結。

● 聯邦學習的加密機制在一定程度上可以抵御一些聯邦學習攻擊，或者大大增加攻擊的難度。本文從加密算法的角度詳細討論了聯邦學習的加密機制。

摘要：復雜未知環境下智能感知與自動控制是目前機器人在控制領域的研究熱點之一,而新一代人工智能為其實現智能自動化賦予了可能.近年來,在高維連續狀態-動作空間中,嘗試運用深度強化學習進行機器人運動控制的新興方法受到了相關研究人員的關注.本篇綜述首先回顧了深度強化學習的興起與發展,將用于機器人運動控制的深度強化學習算法分為基于值函數和策略梯度2類,并對各自典型算法及其特點進行了詳細介紹;其次,針對仿真至現實之前的學習過程,簡要介紹了5種常用于深度強化學習的機器人運動控制仿真平臺;然后根據研究類型的不同,綜述了目前基于深度強化學習的機器人運動控制方法在自主導航、物體抓取、步態控制、人機協作以及群體協同等5個方面的研究進展.最后,對其未來所面臨的挑戰以及發展趨勢進行了總結與展望.

//kzyjc.cnjournals.com/kzyjc/article/pdf/2020-1382

摘要： 深度學習的可解釋性研究是人工智能、機器學習、認知心理學、邏輯學等眾多學科的交叉研究課題，其在信息推送、醫療研究、金融、信息安全等領域具有重要的理論研究意義和實際應用價值.從深度學習可解釋性研究起源、研究探索期、模型構建期3方面回顧了深度學習可解釋性研究歷史，從可視化分析、魯棒性擾動分析、敏感性分析3方面展現了深度學習現有模型可解釋性分析研究現狀，從模型代理、邏輯推理、網絡節點關聯分析、傳統機器學習模型改進4方面剖析了可解釋性深度學習模型構建研究，同時對當前該領域研究存在的不足作出了分析，展示了可解釋性深度學習的典型應用，并對未來可能的研究方向作出了展望.