深度學習應用于目標檢測中失衡問題研究綜述

任 寧，付 巖+，吳艷霞，梁鵬舉，韓 希

1.哈爾濱工程大學，哈爾濱 150001

2.黑龍江省自然資源技術保障中心，哈爾濱 150030

目標檢測是提取圖片或者視頻等數據特征去定位目標位置并進行準確分類，這是計算機視覺中的基本問題之一，并且在安全監控、自動駕駛、醫療決策、遙感等領域有廣泛應用。

目標檢測算法主要分類為：基于階段的檢測方案、是否采用錨的檢測方案和基于標簽的檢測方案。盡管三類方法在深度學習的目標檢測方面都很實用，但近幾年大多數的目標檢測方法都普遍存在失衡問題。其中基于階段的檢測方案中單階段檢測器出現的失衡問題較為嚴重，雙階段和多階段相對穩定。Anchor-base的方法主要代表有SSD（single shot multibox detector）、RetinaNet等，造成失衡問題的主要原因是錨框對應的參數長寬比、空間特征信息和IoU 的微小變化會直接影響檢測效果。Anchorfree的方法是近幾年才提出的，典型的代表作是YOLO（you only look once）變種，主要特點是快速且魯棒，但是由于追求檢測速度導致的失衡問題也隨之而來。基于標簽的檢測方案分為region proposal-based、author-IOU 和keypoint-based，其中region proposalbased 的檢測方法核心思想是將依賴離線的算法工具直接嵌入到傳統算法中，加快了檢測速度，但是直接造成了均衡問題；author-IoU 的方案是巧妙地在訓練過程中動態設置樣本來篩選閾值去分配正樣本優化IoU 對實例本身的不敏感問題；keypoint-based 的出現直接替換了anchor預設框的概念，用點代替框的同時也造成嚴重的均衡問題。

應用深度學習的目標檢測綜述，Litjens 等人討論了各種應用深度神經網絡的方法，如分類、檢測、分割在醫學圖像分析中的應用。Johnson 等人僅考慮機器學習方法，未特別關注基于深度學習的方法。董文軒等人以時間和算法架構為研究主線，綜述了近年來基于深度卷積的目標檢測代表性算法的研究和發展歷程。李柯泉等人介紹了圖像目標檢測模型中常用的卷積神經網絡，從候選區域、回歸和anchor-free 方法的角度對現有經典的圖像目標檢測模型進行綜述。但以上文章并未提到目標檢測失衡問題。

近幾年關于目標檢測失衡的綜述主要介紹應用深度學習的通用目標檢測發展過程。綜述提出了一個分類法，用于正輸入邊界框的對象IoU 分布整個圖像中對象的位置不同任務（即分類、回歸）對整體損失檢測方法的貢獻，并詳細分析典型優化方法。其中，Zou 等人對處理規模失衡的方法進行了辯證分析。程旭等人總結了深度學習中區域提案和單階段基準檢測模型。并從特征圖、上下文模型、邊框優化、區域提案、類別不平衡處理、訓練策略、弱監督學習和無監督學習這八個角度分類總結當前主流的目標檢測模型。但是僅僅討論了類別失衡問題，并且未深度解析產生的原因。Dollar 等人對處理尺度失衡的特征提取方法進行了全面分析。張偉針對目標檢測尺度失衡問題進行全面分析和歸納，總結引起尺度不平衡的原因，針對每種原因分析解決方案。然而從失衡的角度，以上綜述只分析了一類或者其中一種失衡問題。與這些綜述不同的是，本文應用深度學習模型剖析目標檢測失衡的每一類問題在模型中產生的原因，并對優化失衡問題的方法進行全面對比分析。

目前針對目標檢測的深度學習技術綜述相對較多，但針對目標檢測失衡問題的綜述論文涉及較少或者簡單介紹其中的一類。然而失衡問題發生在神經網絡訓練中的每一個環節并且每一個微小的變化都會產生意想不到的影響，因此目標檢測中的失衡問題一直是困擾研究人員進一步優化檢測器需要解決的核心問題之一。本文的目標是全面介紹目標檢測中的失衡問題，剖析問題產生的原因并將問題根據產生原因進行分類，總結主要優化方案，分析優化策略的對比結果，最后展望此領域未來的研究方向。

1 目標檢測失衡問題

近年來深度學習應用于目標檢測算法取得了顯著成果。最常用的檢測算法主要分為兩個方向：一是基于Region Proposal 的雙階段算法（R-CNN、Fast R-CNN、Faster R-CNN）；另一類是YOLO 和SSD 系列的單階段算法。圖1（a）展示了單階段網絡的訓練流程示例圖，首先將圖像輸入到深度卷積神經網絡進行特征提取，得到一組密集的假設錨，然后將假設錨與真實數據框匹配和采樣，最后將以上輸出反饋給分類和回歸網絡進行訓練。與單階段不同的是，在雙階段中第一階段做前景-背景分類和候選區域回歸，第二階段是特征提取和候選區域篩選、精確和再分類。由于單階段中刪去RPN（region proposal network）操作，雙階段存在的失衡問題在單階段中更為突出。當然，無論是單階段還是雙階段檢測方案均需要訓練神經網絡達到實驗效果。

圖1 失衡問題示例圖Fig.1 Example diagram of imbalance problem

如圖1（b）展示訓練的四個環節存在的四類目標檢測失衡問題，從上到下為數據失衡、尺度失衡、相對空間失衡和分類與回歸失衡。其中數據失衡包括：前景/背景失衡、前景/前景失衡、類別標簽失衡、長尾數據失衡。尺度失衡包括：目標實例/邊界框失衡、特征失衡。相對空間失衡包括：回歸損失失衡、目標位置失衡。

2 失衡問題分類

2.1 數據失衡

數據失衡是指在一個數據集中類別數量分布直接導致數據特征偏移形成的分布失衡。主要分為四種：前景/背景失衡、前景/前景失衡、類別標簽失衡和長尾數據失衡。

（1）前景/背景失衡

前景/背景失衡中背景類是過度代表類，前景類是不足代表類。此類問題是由邊界框匹配和標記模塊邊界框過多被標記為背景（負類）導致訓練過程出現前景/背景失衡，因為它不包含任何背景標注，所以它不依賴于數據集中每一類的實例數量。

可以將前景/背景類失衡的解決方案分為四種：硬采樣方法、軟采樣方法、無采樣方法和生成方法。

（2）前景/前景失衡

在前景/前景類失衡中，過度代表類和不足代表類都是前景類。根據問題的起因可以分為兩種：數據集和批處理。數據集引起的前景/前景失衡是由于目標存在不同性質，在數據集中會出現目標類之間的失衡。通過直接生成人工樣本并將其插值到訓練數據集中的生成方法可解決此類問題。批處理引起的數據失衡是指不同的類在一個批次中的分布不均勻導致模型在訓練期間偏向于代表性過強的類而忽略了代表性不足的類。針對批處理引起的失衡問題，OFB（online foreground balanced）表明通過給每個待采樣邊界框分配概率，可以在批處理級別上解決前景/前景類失衡問題，使得批處理中不同類的分布均勻。同理，該方法旨在提升抽樣過程中正樣本數量較少的類。

（3）類別標簽失衡

類別標簽失衡主要是發生在半監督學習的訓練中，是由訓練過程中參數的更新過度依賴固定閾值來計算無監督損失導致的，僅用預測置信度高于閾值的未標記數據造成標簽之間的失衡從而影響檢測結果。主要分類是標簽內失衡、標簽間失衡和標簽集失衡。

目前的解決方案分為重采樣、分類器自適應和集成方法。

（4）長尾數據失衡

長尾數據失衡是指在訓練樣本中，其中頭部有大量的樣本點，但尾部僅有少部分樣本，如圖2 所示。這種訓練樣本級的類失衡導致深度學習模型的識別和分類表現不佳。目前的研究方案分為以下三類：類-再平衡、信息增強和模型改進。

圖2 長尾數據標簽分布Fig.2 Label distribution of long-tail data

2.2 尺度失衡

尺度失衡是目標檢測對象與預測邊界框的尺度之間的失衡。主要分為以下兩種：目標實例/邊界框失衡和特征失衡。

（1）目標實例/邊界框失衡

當部分大小的目標或輸入邊界框在數據集中過度表示時會導致尺寸失衡。已經證明，這會影響估計ROIs 的尺寸和整體檢測性能。He 等人提出了邊界框對目標檢測結果的直接影響分為圖3 中的四種情況。

圖3 邊界框示例圖Fig.3 Example diagram of boundary box

圖3（a）（c）中的邊界框標記不準確；（b）有遮擋物導致的標記偏差；（d）圖像中待檢測物體邊界模糊。以上幾個問題會直接導致目標檢測的分類和定位偏差。

深度學習應用于目標檢測的檢測器時存在一個缺陷是依賴于主干卷積神經網絡，預先訓練圖像分類任務以便從輸入圖像中提取視覺特征。Henderson等人提出一種專門為目標檢測任務而設計的主干網絡，通過限制高層特征的空間降采樣率，減小此類問題對檢測結果帶來的影響。

（2）特征失衡

主干網絡的特征集在低特征和高特征層之間進行平衡，才能得到一致的預測結果。傳統的FPN（feature pyramid network）系統架構如圖4 所示，2 層自下而上通過低級特征的5 層特征金字塔，然而2和2 層直接集成層，導致2 和5 層中的高級和低級特性的效果是不同的。

圖4 特征失衡問題在FPN 中的體系結構Fig.4 Architecture of feature imbalance problem in FPN

解決FPN 架構中的失衡問題的主要趨勢是從改進的自上而下特征層連接到新的架構，用新的架構來解決特征失衡問題的方法分為兩大類：金字塔特征提取方法或主干特征提取方法。

對于金字塔型代表方法是PANet（path aggregation network）。PANet 是第一個表明FPN 提取的特征可以進一步增強，采用自頂向下和自底向上的雙向融合骨干網絡，提升預測掩碼的質量。主干特征提取的代表方法是STDN（scale transferrable detection network），利用Dense-Net 塊提取主干特征的最后一個層特征生成金字塔特征。

2.3 相對空間失衡

相對空間失衡是由圖片大小、形狀、位置（相對于圖像或另一個框）和IoU（邊界框）的空間屬性的失衡造成的。在單階段檢測器分類與定位是并行的，因此空間失衡在單階段檢測器中愈加嚴重。例如，損失函數的選擇、位置的微小變化可能會導致回歸（局部化）損失的大幅變化。主要分為：回歸損失失衡和目標位置失衡。

（1）回歸損失失衡

回歸損失主要分為點回歸損失和邊框回歸損失（IoU 損失）。其中點回歸損失包含均方差損失、平均絕對誤差損失、Huber Loss 和分位數損失。邊框回歸損失包含IoU Loss、GIoU Loss、DIoU Loss、CIoU Loss、EIoU Loss 和Focal-EIoU Loss。其中最常見的回歸損失失衡是IoU 分布失衡。

IoU 分布失衡是當輸入邊界框呈傾斜的IoU 分布時，會觀察到IoU 分布失衡，回歸后退化的錨的比率逐漸向回歸器訓練的閾值下降。另一方面，假陽性錨的比例正向增加，其中陽性錨被回歸變量丟失。R-CNN方法是第一個解決IoU 失衡的方法，直接最小化Anchor 和目標框之間的歸一化距離以達到更快的收斂速度。Multi-Region CNN和AttractioNet迭代地將相同的網絡應用到邊界框達到均衡。另一個解決IoU 失衡的方法是HSD（hierarchical shot detector），在邊界框回歸之后運行分類器使分布更加均衡。

（2）目標失衡

目標失衡是由目標在整個圖像中的分布不勻導致的，目前的深度檢測器使用密集采樣錨作為滑動窗口分類器。大部分方法默認錨點在圖像中均勻分布，因此圖像中的每一部分都被認為具有相同的權重。另一方面，圖像中物體的不均勻分布導致物體位置存在失衡問題。主要解決方案是同時學習錨點的位置、尺度和長寬比屬性，針對不同的任務設計生成錨點，減少錨點的數量同時提高召回率。

2.4 分類與回歸失衡

目標檢測任務中包含分類任務和回歸任務，分類的目的是目標識別，而回歸的任務是位置的回歸，實現目標定位。分類與回歸都是監督學習，對輸入的數據進行預測。其中分類的輸出結果是分散的，例如目標所屬的類別，貓、狗、熊等，最終的目的是得到一個決策面?；貧w的輸出結果是連續的目標值，最終目的是得到一個最優擬合線。分類的分支任務是用來目標識別，回歸的分支任務是用來實現目標定位。

分類與回歸失衡是指訓練過程中目標（損失）功能被最小化。根據定義，目標檢測要同時解決分類和回歸任務，如圖5（a）所示。然而不同的任務可能由以下情況導致失衡：（1）如果分類損失函數相較于回歸損失下降速度很快，會導致其中一個任務主導整個訓練，如圖5（b）。（2）不同任務的損失函數范圍不同，導致了任務之間的失衡，如圖5（c）。（3）各個任務的訓練成本不同直接影響任務的學習速度，從而影響訓練結果，如圖5（d）。

圖5 分類與回歸損失函數圖Fig.5 Classification and regression loss function diagram

3 優化策略

3.1 數據失衡優化策略

數據失衡問題的優化策略之一硬采樣，采用啟發式方法執行，通過一組給定的標記BBs中選擇正負樣本示例的子集來解決失衡問題。雙階段算法中的硬采樣代表作是Faster R-CNN，通過預先定義的前景背景比例隨機檢測樣本，但這種方案忽視了難易樣本的區別。OHEM（online hard example mining）提出來一種考慮正負樣本損失值的方案。但是傾向于采樣更難的目標示例，而不是更容易的示例，導致難易樣本差距更大。S-OHEM（stratified online hard example mining for object detection）是基于OHEM的改進，根據loss 的分布抽樣訓練樣本避免了僅使用高損失的樣本來更新模型參數，卻引入額外超參數增加了訓練成本。

軟采樣方法的經典之作是Focal Loss，它動態地給復雜例子分配權重，如下公式所示：

在式（1）中，當=0 時，Focal Loss退化為香農交叉熵損失。當=2 時，體系結構中復雜示例和簡單示例之間達到良好平衡狀態。Focal Loss針對的是難易樣本失衡問題，提出關注部分很少但很難被分類的樣本上，避免容易樣本在分類過程中主導檢測器的訓練過程，設計出簡單的密集檢測器RetinaNet取得顯著成果。然而當樣本中有離群點，即使模型已經收斂了，Focal Loss還是由于離群點導致判斷錯誤。因此梯度均衡機制GHM（gradient harmonized singlestage detector)出現了，提出計算梯度密度的倒數作為損失函數的權重分別引入到分類損失函數（GHMC）和邊框損失函數（GHM-R）。它抑制了容易產生的正、負梯度。與Focal Loss 的不同點是，GHM 運用一種基于計數的方法計算具有相似梯度范數的樣本數量，如果有許多具有相似梯度的樣本，則降低樣本的損失，如式（2）所示。

式中，(BB)為梯度范數接近BB梯度范數的樣本個數；為輸入邊界框的個數。GHM 方法預先假設簡單的例子是具有多相似梯度的示例。與其他方法的不同點是GHM 能夠證明不僅對類別耦合任務有效，也對回歸任務有效。

2020 年PISA（prime sample attention）提出新的研究角度，從樣本獨立性和平等性出發，根據mAP測量的整體性能重新定義范式，更關注對檢測性能方面發揮關鍵作用的樣本，開發一種簡單有效的采樣和學習策略。提出了IoU-HLR 對小批量邊界框樣本的重要性進行排序優化失衡問題。

由于上述方案中超參數量不斷增加，無采樣方法應運而生，代表方案是AP-Loss，直接根據最終的損失分類建模成一項排序任務，并使用平均精度作為任務的損失函數減少超參數數量來平衡前景/背景類失衡問題。DR-Loss將前景/背景的置信度值分布推向決策邊界，優化派生分布的期望進行排序代替原始示例，解決背景中困難樣本的問題，從而達到相對平衡的狀態。

2021 年Chen 等人提出的無采樣機制是基于類別自適應的思想。在研究中發現訓練檢測器時不采用抽樣啟發式會直接導致檢測精度大幅度下降，而這種下降主要由于分類梯度失衡。因此Sampling-Free 通過初始化bias、引導損失函數權重和類別分數閾值自適應來解決正負樣本失衡問題取得了顯著成效。然而與減少超參數量的初衷相悖。

生成方法的主要思想是將人工生成的樣本注入到數據集中解決數據失衡問題，代表作是生成性對抗網絡（generative adversarial networks，GAN）。優勢是在訓練過程中生成更難的樣本訓練模型，得到更穩定的模型。例如，TADS（task-aware data synthesis）是一種特定于任務的合成數據生成方法，通過評估目標分類器的優缺點來產生有意義的訓練樣本。合成器和目標網絡以對抗方式進行訓練，其中每個網絡都以超越另一個的目標進行更新，優化數據失衡問題。另一種研究方向是GA-RPN（guided anchoring region proposal network），一種新的anchor 生成方法。該方案通過圖像特征來指導生成anchor，運用CNN 預測anchor 的形狀和位置，生成稀疏而且形狀任意的anchor，并且設計Feature Adaption 模塊來修正特征圖使之與anchor 精確匹配，從基于anchor 的角度優化失衡問題。

此類方案的性能對比結果如表1 所示，可以總結為：（1）軟采樣方案中的PISA 在Faster R-CNN 上獲得最高AP 值41.5%，相對硬采樣中的MBS 提升了5.1個百分點；PISA 在RetinaNet 上取得40.4%的效果，相比無采樣方案的AP Loss提升了5.4個百分點。（2）生成方案中，在Fast R-CNN 上，GA-RPN 相比TADS 提升了7.4 個百分點。（3）四類方案中整體性能都處于上升趨勢，其中軟采樣方案和生成方案相對提升顯著。

表1 前景/背景失衡優化策略性能對比Table 1 Performance comparison of foregroundbackground class imbalance optimization strategies

針對前景/前景失衡問題，Oksuz 等人開發了一種生成器pRoI Generator，根據IoU 分布自動生成RoI來模擬正樣本的采樣方式，平衡前景/前景失衡問題。實驗證明pRoI 在Pascal VOC 2007 數據集上獲得了77.8%的mAP。pRoI 應用在Faster R-CNN 上在低IoU 下取得更好或者同等性能，同時也體現出該方案的局限性，在高IoU 下無優勢。另一種方案是預先訓練主干網絡的最后一層的特征做內積，再構建類之間的相似度度量，并分層分組來優化數據集級前景類失衡。針對設計的層次樹中的每個節點，根據分類器的置信度得分來學習分類器。

針對以上方案存在的問題，GraphSMOTE（graph synthetic minority oversampling techniques）在特征提取階段先用GNN（graph neural networks）學習Embedding，得到低維且稠密的特征避免引入域外噪音，且能夠同時編碼節點特征和圖結構。然后生成合成節點，將生成的結果輸入到GNN 分類器最終進行端到端的訓練。該模型構造一個嵌入空間來編碼節點之間的相似性，從未生成新樣本，具備良好的可擴展性。

2022 年Hou 等人提出新的研究方向，從Batch內失衡的角度解決失衡問題，設計批量轉換在訓練期間隱式探索樣本關系，實現不同樣本間的協作關系，同時將BatchFormer 設計成即插即用模式，在測試期間將其刪除，來減少時間消耗。實驗表明Batch-Former 在數據集ImageNet-LT、iNaturalist 2018 和Places分別取得了47.6%、74.1%和41.6%的AP值。在零樣本學習中的MIT-States、UT-Zap50K 和C-GQA 數據集上取得了6.7%、34.6%和3.8%的AUC 值。

類別標簽失衡問題的優化方法之重采樣，是一種應用廣泛的優化數據失衡問題的方案。例如，MLSOL（synthetic oversampling of multi-label data based on local label distribution）首先根據局部標簽分布計算實例的權重向量和合成實例生成的類型矩陣，使用加權采樣進行實例選擇，新實例的標簽會根據位置發生變化，從而避免標簽失衡。

另一種采樣方式是MMT（mutual mean-teaching），利用更魯棒的“軟”標簽對偽標簽進行在線優化，并設計針對三元組的合理偽標簽以及對應的損失函數來優化標簽失衡問題。實驗證明MMT 在Duke-to-Market和Market-to-Duke上分別取得76.50%和65.75%的mAP 值，相比不采用MMT 的方案優化效果顯著。

類別自適應的核心思想是直接從數據集中的類中學習失衡分布?；诜菍ΨQ的stagewise loss函數來動態調整正負樣本的損失來解決弱監督多標簽學習中的失衡問題。Zhang 等人提出COCOA（crosscoupling aggregation），結合當前標簽對應的二元類不平衡分類器的預測結果和多類不平衡學習器的預測結果得到每個類標簽的最終決策優化失衡問題。實驗證明COCOA 在F-measure、G-mean、Balanced Acc、AUC-ROC 和AUC-PR 五個評價指標中分別取得了4.22、5.00、4.50、4.31 和4.55 的效果。

集成方法的核心思想是結合多個分類器作為集合訓練多變標簽的分類器，可以實現多樣化的多標簽預測和解決失衡問題。MCHE（multi-label classification using heterogeneous ensemble）通過結合最先進的多標簽方法，提出多標簽學習者的異構集成。該方法同時解決了樣本失衡和標簽相關性問題。由五個分類器組成，在同一數據上使用不同的算法進行訓練。測試連接單個預測的方法，以及通過交叉驗證調整不同閾值和加權方案。ECCRU（ensemble of classifier chains with random undersampling）通過耦合欠采樣和改進對多數樣本的利用，擴展了ECC 對失衡的彈性。實驗證明ECCRU3 在F-measure、Gmean、Balanced Acc、AUC-ROC 和AUC-PR 五個評價指標中分別取得了2.81、2.72、1.91、1.84 和2.06 的效果。相較于COCOA 方案有明顯優勢。

長尾數據失衡的優化方案之一類-再平衡，目的是平衡模型訓練過程中不同類的訓練樣本數。SimCal提出了一種新的雙層類平衡采樣策略來處理長尾實例分割。具體來說，雙層采樣策略結合了圖像級重采樣和實例級重采樣，以緩解實例分割中的失衡問題。BALMS（balanced meta-Softmax）開發了一種基于元學習的采樣方法來估計長尾學習的不同類別的最佳采樣率。提出的元學習方法是一種雙層優化策略，通過在平衡的元驗證集上優化模型分類性能來學習最佳樣本分布參數。FVR（framework for long-tail visual recognition）提出一種自適應校準函數對分類器的輸出進行評估和一種廣義重加權校準方法，通過數據集分布的先驗信息對損失函數進行調整。FASA（feature augmentation and sampling adaptation）提出使用平衡元驗證集（作為度量）上的模型分類損失來調整不同類別的特征采樣率，從而可以對代表性不足的尾類進行更多采樣。

面對長尾失衡問題，類-再平衡方案的性能分析如表2，其中AP 表示平均精度，AP、AP和AP分別表示稀有類、常見類和頻繁類的平均精度，可以看出整體檢測精度不斷提高。其中FVR 方案的表現不如BALMS，但是提出的自適應校準和廣義重加權是一個新的研究方向。

表2 類-再平衡策略性能對比表Table 2 Performance comparison of class re-balancing

信息增強的核心思想是試圖在模型訓練中引入額外的信息，以便在長尾學習中提高模型性能。LEAP（learnable embedding augmentation perspective）為每個類構建“特征云”，通過對尾類樣本進行一定的擴充，并尋求通過在特征空間中增加具有一定擾動的尾類樣本來轉移頭類特征云的知識，以增強尾類特征云的類內變化，最終減輕了類間類內特征方差的失真。M2M（major-to-minor）提出通過基于擾動的優化將頭級樣本轉換為尾級樣本來增強尾級，這基本上類似于對抗攻擊。處理后的尾類樣本將用于構建給模型訓練的更平衡的訓練集。GIST（geometric structure transfer network）提出在分類器級別進行頭對尾傳輸。通過利用頭類相對較大的分類器幾何信息來增強尾類的分類器權重，GIST 能夠獲得更好的尾類性能。

模型改進是從網絡模型的角度優化失衡問題。KCL提出了一種k-positive contrastive loss 來學習平衡的特征空間，這有助于緩解類不平衡并提高模型泛化能力。另一種方案是引入一種原型對比學習策略來增強長尾學習。PaCo（parametric contrastive）通過添加一組參數可學習的類中心進一步創新了監督對比學習，如果將類中心視為分類器權重，則它們起到與分類器相同的作用。DRO-LT（distributional robustness loss for long-tail）使用分布魯棒優化擴展了原型對比學習，這使得學習模型對數據分布變化更加魯棒。

表3 總結了在不同數據集上信息增益和模型改進方案的檢測準確度對比結果。從表2 與表3 可以總結出，相較于類-再平衡，信息增益和模型改進方案的整體性能具有優勢。尤其是GIST 在iNaturalist 2018數據集上的ACC 已經達到70.8%。PaCo 在ImageNet-LT 數據集上相較于KCL 提升5.26 個百分點，DROLT 在CIFAR-LT-100 數據集上相較于Hybrid-PSC 提升2.34 個百分點。

表3 信息增益和模型改進方案性能對比Table 3 Performance comparison of information augmentation and module improvement

因此無標簽的類-再平衡值得進一步研究，具體而言，實際的長尾任務除了類別失衡之外，還存在標簽頻繁出現導致的失衡問題，影響著訓練結果。如何獲得準確的標簽頻率從而精進類-重平衡方案是進一步研究的方向。

3.2 尺度失衡優化策略

針對目標實例/邊界框失衡，主要的優化策略如下：（1）從主干特征層次進行預測的方法是根據主干網絡不同級別的特征進行獨立的預測。由于不同的層次在不同的尺度上編碼信息不同，該方法考慮了多尺度上的目標檢測。Scale Aware Fast R-CNN方法是學習兩個分類器的集成，一個用于小尺度目標，一個用于大尺度目標，進行聯合預測。同時Fast R-CNN 采用隨機梯度下降訓練，使用分層抽樣進行采樣。并且對每一張圖都要取足夠的候選框，因此與Faster R-CNN 相比，在檢測速度上效果不好。（2）特征金字塔網絡（FPN）在進行預測前將不同尺度的特征進行組合。FPN 利用了一種附加的自上而下的方法，橫向連接高層和低層的功能，在增加極小計算量前提下處理目標檢測多尺度失衡問題。但是由于直接從主干網絡提取特征進行組合導致了一定的特征失衡。（3）相比FPN 的不斷疊加特征，SNIP（scale normalization for image pyramids）巧妙地引入圖像金字塔來處理數據集中的尺寸失衡問題。SNIP是Singh和Davis 提出的一種新的訓練方法。該研究證明通過向檢測器輸入特定尺度數據進行訓練會損壞數據，并且在單個檢測器上使用多尺度訓練。由于保留數據的變化導致尺度不平衡。因此SNIP 只對尺寸在指定范圍內的目標回傳損失，減小了Domain-Shift的影響。在訓練過程中用不同大小的圖像訓練多個網絡模型和檢測器網絡，并且對于每個網絡只標記適當尺寸的輸入邊界框為有效框來控制多尺寸訓練下數據損失。SNIPER（scale normalization for image pyramids with efficient resampling）不是處理圖像金字塔中的每個像素，而是以適當的比例處理真實實例周圍的上下文區域。在訓練期間每個圖像生成的chips 的數量會根據場景復雜度自適應地變化。（4）圖像與特征金字塔相結合的方法是生成超分辨率特征圖。Noh 等人提出了用于雙階段目標檢測器的小目標檢測的超分辨率，這些檢測器在RoI 標準化層之后缺乏小目標的強表示。另一種方法，Scale-Aware Trident Network結合基于特征金字塔和圖像金字塔方法的優點，未使用多個下采樣圖像，而是用擴大卷積來提高檢測準確率。為了保證每個分支的特定比例，將三種不同的感受野網絡并行化，根據其大小為適當的分支設置輸入邊界框，并且提出了一種使用單個參數共享分支來近似其他分支優化損失函數的方案。

特征失衡的優化方案中，PANet（path aggregation network）通過自下而上的路徑擴展特征金字塔，將底層特征更快地輸入到預測層，然后建立自適應特征池，將每個ROI 與每個級別相關聯，再應用ROI 池化操作進行融合，得到固定大小的特征網格傳播到檢測器網絡。但是PANet 依然采用順序路徑提取特征。ThunderNet 網絡的檢測部分采用壓縮的RPN 網絡，即CEM（context enhancement module）整合局部和全局特征增強網絡特征表達能力，并提出Spatial Attention Module 空間注意模塊，引入來自RPN 的前后景信息用以優化特征分布。然而Libra FPN打破順序提取特征的方式，采用縮放和平均將來自不同層的所有特征圖都集成為一個單一特征圖，再運用卷積網絡將細化后的結果添加到金字塔特征的每一層，保證提取特征能夠被充分利用。使用整體平衡的設計優化檢測器訓練過程中的失衡，從而盡可能地挖掘模型架構的潛力。

STDN（scale-transferrable detection network）使用DenseNet-169 作為基礎網絡提取特征，基于多層特征做預測，并對預測結果做融合得到最終結果。該方案提出Scale-transfer Layer，在幾乎不增加參數量和計算量的情況下生成大尺度的特征圖，STDN 不僅mAP 高，而且運行速度快。

NAS-FPN（neural architecture search FPN）通過使用神經架構搜索方法來搜索最佳架構，以在給定主干特征的情況下生成金字塔特征，此方案在圖像分類任務中取得良好效果。Auto FPN是另一個使用NAS 的方案，同時學習從主干到金字塔功能和其他功能的連接。雖然NAS-FPN 實現了更高的性能，但Auto FPN 效率更高，內存占用更少。

GraphFPN使用拓撲結構的神經網絡跨空間和尺度地執行特征交互。通過泛化卷積神經網絡的全局通道注意力，為圖神經網絡引入了兩種類型的局部通道注意力。提出的圖特征金字塔網絡增強卷積特征金字塔網絡的多尺度特征，使得特征層之間達到平衡。

另一個研究方向是基于主干特征網絡的探索，例如Multi-level FPN主要由特征融合模塊FFM（feature fusion module）、細化U 型模塊TUM（thinned Ushape modules）和尺度特征聚合模塊SFAM（scale-wise feature aggregation module）三個模塊組成。實現了比FPN 融合更多的特征，且按照不同size進行融合。

2022 年AdaMixer的出現提出了自適應的特征采樣位置，將Query 解耦成內容向量和位置向量，并且將位置向量采用參數化使得Query 與多層特征形成的3D 特征空間直接聯系。該方案通過自適應地學習目標物體的位置和尺度變化來優化失衡問題。消融實驗證明AdaMixer 在不加入額外金字塔網絡的條件下效果高出0.01（AP）。在COCO 數據集上取得AP 值45.0%，相比GraphFPN 高出0.013。

3.3 相對空間失衡優化策略

針對回歸損失失衡的優化策略，GIOU-loss（generalized-IoU loss）直接把IOU 設為回歸的loss，基于一種距離度量方法不僅關注重疊區域，還關注非重合區域，從重合角度優化尺度失衡問題。更進一步，DIoU Loss（distance-IoU loss）將目標與anchor 的距離、重疊率和尺度都作為建模參考值，實現了收斂速度比GIOU-loss 更快，并且當出現兩個框在水平方向或者垂直方向時，DIoU Loss 回歸非常快，而此時的GIOU-loss 會退化為IOU loss。CIoU Loss（complete-IoU loss）是在DIoU Loss 的基礎上考慮長寬比問題，引入了一個影響因子，把預測框的長寬比擬合目標框的長寬比來計算損失，改進了DIoU Loss 存在的對小尺度樣本精確度低的問題，優化了大小尺度樣本間的失衡問題。EIoU Loss摒棄IoU Loss 的長寬比指標，直接運用邊長（寬和高的值）作為懲罰項，直接優化DIoU-Loss 存在的邊長被錯誤放大問題，從而達到平衡。

基于IoU 系列方案的性能對比結果如表4 所示。從相對對比結果看到整體性能是在提升的，CIoU 在YOLOv3、SSD 和Faster R-CNN 上相較于GIoU-loss 和DIoU-loss 分別有3.10%、0.74%和1.66%相對提升結果。EIoU 在COCO val-2017 數據集上相比GIoU 和CIoU 分別有1.66%和4.11%的相對提升結果。整體性能呈上升趨勢，下一步研究可以繼續探索基于IoU 的優化策略。

表4 IOU 系列性能對比Table 4 Performance comparison of IOU

另一種優化思路是Cascade R-CNN，在樣本數不減少的情況下通過調試最優閾值來訓練一個高性能檢測器。在出現偏態的分布下使回歸對單個閾值過擬合，證明正樣本的分布對回歸有影響，表明分布的失衡可以從左偏移到近似均勻，甚至右偏移，為訓練最優閾值提供足夠的樣本。IoU-uniform R-CNN增加可控的抖動，并以這種方式只向回歸變量提供近似一致的正輸入邊達到均衡。相對于其他方法，Oksuz等人的一個重要研究是系統地使用邊界框生成器生成邊界框，優化失衡問題的同時提高檢測效率。

針對目標失衡問題，主要的工作是在anchor上做改進來優化失衡問題。Wang 等人提出同時學習錨的位置、尺度和長寬比屬性，以減少錨的數量，同時提高召回率。利用在特征圖上的完全卷積分類器，提出基于可變形卷積的錨特征自適應，以獲得基于錨大小的平衡表示。2018年RefineDet算法改進SSD算法，采用ARM+ODM結合調整anchors的失衡，簡化模型的同時優化失衡問題。2019年提出RepPoints，通過卷積的方式預測各個點的相對位置偏移，以此作為卷積網絡的偏移量對原特征圖進行卷積，得到重合率更高的特征與目標區域，再進行第二階段的預測來優化失衡問題。Free anchor沒有學習錨，而是減小匹配策略的硬約束。通過修改loss函數刪去固定閾值使網絡自主學習選擇anchor 真實目標匹配。實驗證明Free anchor 在COCO 數據集上獲得43.1%的AP 值。

2020 年YOLO 系列中YOLOv4在輸入端引入數據增強（Mosaic）、cmBN 模塊；將主干網絡更換為CSDarknet-53 結合Mish 激活函數；將原來的FPN 換為PANet 中的FPN；針對回歸失衡問題采用CIOU_Loss 進行回歸預測。實驗證明YOLOv4 取得43.5%（AP），相比Free anchor 和RefineDet 的43.1%（AP）和41.0%（AP）有優勢。

3.4 分類與回歸失衡優化策略

針對分類與回歸任務失衡問題，Jiang等人證明了基于CNN 的目標檢測方法存在分類置信度和定位置信度不匹配問題，并設計IoU-Net來解決此類問題。IoU-Net學習預測每個檢測得到的邊界框和與之匹配的目標之間的IoU 作為該框的定位置信度。利用這種定位置信度，檢測器能確保定位更準確的邊界框在NMS 過程中被保留下來，從而改進NMS 過程。研究者在MS-COCO 數據集上進行了大量實驗，證明IoU-Net的有效性。

Kendall 等人已經證明，基于多任務學習的模型的性能在很大程度上取決于每個任務損失之間的相對權重。但是以前的方法主要關注如何增強模型體系結構的識別能力。

2020 年出現的aLRP Loss（average localisationrecall-precision loss）是第一個用于分類和回歸任務中的基于排名的損失函數且僅引入單個超參數。aLRP執行對高精度的分類實施高質量的定位，并且證明了正面和負面樣本之間的平衡。

Double-Head RCNN的出現是一個轉折點，開啟了分類與回歸的解耦之路。由于雙階段目標檢測器中共享一個分類和回歸的頭部，然而對全連接頭部和卷積頭部結構之間缺乏聯系。通過對比發現，兩種頭部可以實現互補。全連接頭部可以更好地區分一個完整目標和一個目標的局部，用于分類任務，卷積頭部輸出更準確的回歸邊界框用于回歸任務。在此基礎之上研究者提出Double-Head RCNN。但由于輸入到兩個分支的是同一個proposal ROI pooling之后的特征，因此分類和回歸任務失衡依然存在。Song 等人從空間維度上來解耦目標檢測中的分類和回歸失衡問題，作者證明分類和回歸存在空間維度上的不對齊問題。即兩個任務在特征學習時關注的點是不一樣的，某些顯著區域的特征可能具有豐富的分類信息，而邊界附近的特征更有利于位置回歸。TSD（task-aware spatial disentanglement）的出現為它們生成兩個通過共享估計得到的解耦Proposal，將它們與空間維度解耦。實驗表明，TSD 使COCO和谷歌Open-Image 上的所有主骨架和模型一致地增加約0.03 的mAP。

2021 年YOLO 系列提出一個無錨框的高性能目標檢測器YOLOX，參考雙階段中的Double-Head RCNN 和TSD 中的思想用解耦頭替換YOLO 的耦合檢測頭。實驗結果如表5 所示，在速度增加的情況下，AP 精度提高0.8～2.9 個百分點。當網絡結構較輕時，YOLOX-S 相較于YOLOv5-S 提升了2.9 個百分點，隨著網絡結構的加深和擴寬，AP 增長逐漸降低到0.8 個百分點。因此進一步研究探索如何精簡網絡結構成為關鍵。

表5 YOLOX 性能對比Table 5 Performance comparison of YOLOX

在經典的失衡問題下，Yang 等人探索回歸失衡問題提出了DIR（delving into deep imbalanced regression），并泛化到整個目標范圍。分別提出LDS（labeldistribution smoothing）和FDS（feature distribution smoothing），運用目標之間的相似性解決在computer vision、NLP 和healthcare上的回歸任務失衡。

單階段中分類與回歸失衡問題相較于雙階段更加嚴重，單階段的分類任務和回歸任務是并行分支且共享參數導致兩個任務之間相互限制。TOOD（taskaligned one-stage object detection）設計T-head 增強分類與定位之間的相互作用，提出TAL 對兩個任務進行顯示對齊，該方法平衡學習任務交互和任務特定功能。實驗證明在COCO數據集上達到51.1%AP。

RS（rank &sort）Loss的提出開辟了新的研究方向。該方案在沒有額外輔助頭的情況下對陽性樣本屬性（中心，IoU，mask-IoU)進行優先排序，也因此RS Loss 對目標失衡具有魯棒性；使用無需調整的任務平衡系數來解決視覺檢測器的多任務失衡問題。因此RS Loss 是采用一種簡潔高效、基于損失且無需調參的啟發式算法來平衡多任務中的失衡問題。

3.5 方案總結

本節系統總結分析應用深度學習的目標檢測算法針對失衡問題提出的優化策略。

數據失衡問題主要改進思路是從采樣的角度優化失衡問題，優勢是直接且高效，局限性表現在內存和時間成本上。從表6～表8 可以得出以下結論：

表6 前景/背景&前景/前景失衡優化策略總結Table 6 Summary of foreground/background&foreground/foreground imbalance optimization strategy

表7 類別標簽失衡優化策略總結Table 7 Summary of category label imbalance optimization strategy

表8 長尾數據失衡優化策略總結Table 8 Summary of long-tail data imbalance optimization strategy

（1）前景/背景失衡的優化方案在早期主要采用硬采樣，核心思想是設置固定數量或者比例的正負樣本優化失衡問題，優勢是啟發式抽樣提高算法精度，局限性主要表現在時間成本上。軟采樣方案的核心思想是通過對訓練過程的相對權重來設定樣本損失權重，優勢是訓練更高效，局限性表現在泛化性上。無采樣方法的核心思想是引入新的分支，根據前一批樣本預測后一批樣本的權重。優勢是分類問題轉化為排序問題更精確，局限性表現為超參數過量。近期出現的生成式方案主要是基于GAN 的生成器和判別器組成的一系列方法，優勢是提高召回率，局限性表現在訓練時間上。

（2）前景/前景問題的優化主要是針對數據集失衡和每個批次內的類別失衡問題。基于數據集的失衡代表作是pRoI Generator，生成新的圖像和類別進行優化；基于批次內的類別失衡優化思路是提升捕捉類間關系實現不同樣本之間的協作關系，使得樣本之間達到平衡如Batch Former。綜合評價兩種改進方向各有優缺點，并且探索樣本關系會一直是優化前景/前景失衡的熱門話題。

（3）類別標簽失衡的優化策略中重采樣方法是具有優勢的，因為它脫離于分類器且不需要任何特定的多標簽分類器來預處理MLD。但標簽之間失衡的差異以及標簽之間的高并發會直接影響重采樣結果。因此在低并發的情況下是最有優勢的策略。分類器自適應是依賴分類器進行優化的策略，優勢是直接從數據集的分布中學習且自適應輸出結果。但由于分類器是根據實驗環境設計則很難在不同的環境中適用。集成方法的創新點在于集合幾個基本模型的優點來產生一個最優的預測模型，可以完成多樣化的多標簽預測，異構集成突破了同時解決樣本失衡和標簽相關性的問題，然而該方案存在計算復雜性問題。

（4）長尾數據失衡的優化方案中類-再平衡方法相對簡單，卻取得很好的效果。但該方法是以犧牲頭類性能為代價來改善尾類性能。雖然整體性能有所提高，卻無法從本質上解決缺少信息的問題。為了解決這一局限性，提出對所有類進行信息擴充，即信息增益。信息增益的代表方案是數據增強，一種運用類條件統計量來優化失衡問題的方案。該方案可以保證在不犧牲頭部信息的條件下提高尾部性能。然而，簡單地使用現有的與類無關的增強技術來改進長尾學習是不利的，因為頭部類有更多的樣本會被更多地增強，存在進一步增加失衡的風險。模型改進方案中解耦訓練越來越受到關注。該方法在類-再平衡分類器學習的第二階段不引入大量計算開銷，卻帶來顯著的性能提升。解耦訓練的思想在概念上很簡單，易于設計解決各種長尾學習問題的新方法，但同時也伴隨著訓練時間的問題。

尺度失衡問題的核心改進思路是提升多尺度目標的檢測效果，優勢是實現多尺度目標檢測性能，局限性表現在網絡結構加深。表9 可以總結為：（1）目標實例/邊界框失衡的優化策略主要是基于特征層的優化思路，從主干特征層次到圖像與金字塔的結合是不斷改進的過程，性能也在不斷提升，但更進一步的模型改進遇到了瓶頸。（2）針對特征失衡問題的優化方案主要是基于FPN 的改進過程，如Libra FPN、Multi-level FPN、NAS-FPN 和GraphFPN，雖然該系列的改進取得顯著效果，卻在時間上有一定的局限性。當然也有PANet、ThunderNet、SSD、STDN 和Objectness Prior 等方案的進一步優化提升。主要研究趨勢是克服時間和空間問題。

表9 尺度失衡優化策略總結Table 9 Summary of scale imbalance optimization strategy

相對空間失衡問題的改進思路分為回歸和目標兩類。表10 可以總結為：（1）回歸失衡問題的改進是基于IOU 損失函數系列，優勢是反映預測檢測框與真實檢測框的檢測效果，局限性表現在收斂和退化問題上需要進一步研究。（2）目標失衡基于錨的方案和無錨點優化?；阱^點的優勢是獲得更精細的目標檢測框，提高定位準確率；局限性是存儲空間需求大和網絡量較大影響檢測速度。無錨點的方案優勢是減少超參數，泛化能力強；局限性表現在檢測精度偏低。因此提取更有價值的錨點成為研究熱點。

表10 相對空間失衡優化策略總結Table 10 Summary of relative spatial imbalance optimization strategy

分類與回歸失衡的優化算法分為解耦和不解耦兩個方向。如表11 所示優化方案主要在于如何設置權重來保持分類與回歸平衡，如IoU-Net。此類方案是以一種控制的方式優化失衡，分類與回歸失衡依然存在于每一個空間點。因此出現了新的研究方向在空間上對頭部進行解耦來優化失衡問題，如Double-Head RCNN、TSD、TOOD 和YOLOX。這些優化方案都是運用解耦的思想使分類與回歸達到時間或者空間上的平衡，但是網絡模型在不斷地擴寬，雖然失衡得到控制，性能有所提升，卻導致訓練和檢測速度降低，難以滿足端側實時檢測的要求，因此分類與回歸失衡依然是一個有待解決的問題。

表11 分類與回歸失衡優化策略總結Table 11 Summary of classification and regression imbalance optimization strategy

4 未來展望

隨著特征提取網絡的深入、優化和更新，目標檢測的算法精度在逐步提升，但是依然存在待解決的問題。本文針對在深度學習系統中出現的目標失衡問題開展了一系列的優化策略總結，但隨著應用環境和目標對象的多元化，檢測難度越來越大。目標檢測失衡問題也仍需解決，以下列出幾個未來面臨的主要挑戰：

（1）抽象特征層語義提取方式。較高層次的特征包括對象或者部分對象的高級語義相對低層次的信息（邊緣、輪廓等）更難提取。例如一只熊貓頭的圖片高層語義特征只顯示一張臉的輪廓。目前的解決方案大多采用特征融合（FPN、HRNet），但會引入高低層特征信息不對等和高低層特征之間在空間上存在不對齊的問題。因此設計可行的特征篩選機制和利用圖像的幀來對齊高低層特征或許可以提高高層語義的利用率。

（2）分析異常值和不變量對回歸損失函數的影響。目前關于損失函數的研究方法中研究者根據具體問題描述損失函數的結果。例如，AP Loss 損失的計算是基于所有BBs 的置信度得分的單個示例的排名，因此損失是由整個集合得到而不是單個示例，卻因單個或者個別異常值降低模型整體性能。因此是否可以借鑒LSTM 中“過濾門”的思想減小異常值和不變量引導整體的性能。

（3）剖析損失函數失衡問題，損失函數在深度學習目標檢測中直接反映一個模型的性能。然而目前的研究都在優化損失失衡，未考慮失衡原因?；诰嚯x度量的損失函數和基于概率分布計算的損失函數失衡的誘因不同。是否可以采用對抗訓練的方式引入重構損失和分類損失對失衡問題引入額外約束探索此類問題。

（4）Anchors 相似性對失衡問題的影響，單階段目標檢測器的顯著效果依賴于大量的錨，因此數據失衡問題在單階段檢測器中異常突出。Anchors 之間的相似性關系是否可以通過Anchor based 和Anchor free融合解決此類問題有待研究。

（5）量化與評估失衡問題，失衡問題發生在深度學習目標檢測的每個環節。但在多樣化的應用場景下如何量化失衡問題并且建模一個具有魯棒性的評估模型將會是一個研究趨勢。今后可以綜合準確度、精度、召回率和平均精度等的計算方法評估每個環節的平衡度結果供研究人員參考。

目標檢測作為計算機視覺任務的基礎性研究，受到了很多學者的關注，近年來也取得了較大進展。本文從不同角度指出應用深度學習的通用目標檢測算法中存在的失衡問題并總結目前的優化策略。未來，深度學習中的目標檢測領域仍有許多問題需要解決，目標檢測與各個領域的結合不斷推動未來發展。

5 結束語

由于深度學習算法及其應用場景的多元化，檢測失衡的問題也會隨之有所差異，本著解決問題的角度，本文綜述了目前一些具有代表性的優化策略。未來隨著加速器以及應用場景的變化，相信此類問題會提出更好的優化方案。