結(jié)合密度圖回歸與檢測(cè)的密集計(jì)數(shù)研究

高 潔，趙心馨，于 健，徐天一，潘 麗，楊 珺，喻 梅，李雪威+

1.天津大學(xué) 智能與計(jì)算學(xué)部，天津 300350

2.天津大學(xué) 天津市認(rèn)知計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300350

3.天津大學(xué) 天津市先進(jìn)網(wǎng)絡(luò)技術(shù)與應(yīng)用重點(diǎn)實(shí)驗(yàn)室，天津 300350

4.天津大學(xué) 未來(lái)技術(shù)學(xué)院，天津 300350

密集計(jì)數(shù)是視覺(jué)目標(biāo)計(jì)數(shù)的一個(gè)分支，旨在通過(guò)圖像或視頻分析密集分布目標(biāo)的數(shù)量及空間分布，用于人群、物料計(jì)數(shù)、動(dòng)物計(jì)數(shù)等眾多場(chǎng)景。目前關(guān)于密集計(jì)數(shù)的研究主要分為基于檢測(cè)[1-2]以及基于密度圖[3-5]兩類(lèi)方法。

基于檢測(cè)的方法有兩個(gè)分支，即傳統(tǒng)機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。傳統(tǒng)方法依賴(lài)于結(jié)合人類(lèi)先驗(yàn)知識(shí)設(shè)計(jì)的特征工程，可解釋性好，但過(guò)程復(fù)雜，易受無(wú)關(guān)背景、陰影以及截面重疊等影響。深度學(xué)習(xí)方法依賴(lài)大量帶有邊框標(biāo)注信息的數(shù)據(jù)建模，整體效果優(yōu)于傳統(tǒng)方法，但標(biāo)注信息成本極高，且仍存在漏檢率高的問(wèn)題[6]。近年來(lái)局部檢測(cè)思路[7]被用于該領(lǐng)域，通過(guò)針對(duì)特定區(qū)域的分析，檢測(cè)和計(jì)數(shù)準(zhǔn)確率有所提升，但物體的尺寸變化和形狀多樣限制了此類(lèi)方法。如圖1所示，由左至右分別展示了深度學(xué)習(xí)方法受尺度變化、拍攝角度傾斜、遮擋導(dǎo)致漏檢的場(chǎng)景。整體上，目標(biāo)檢測(cè)技術(shù)是密集技術(shù)的基礎(chǔ)，但把密集計(jì)數(shù)問(wèn)題等價(jià)于目標(biāo)檢測(cè)仍存在很多問(wèn)題[8-10]。

圖1 小物體遮擋檢測(cè)效果Fig.1 Detection effect of small object occlusion

基于密度圖的方法以回歸思路為基礎(chǔ)，計(jì)算圖像中物體分布的密度圖，進(jìn)而將密度圖映射至計(jì)數(shù)結(jié)果[11]。密度圖蘊(yùn)含空間信息，且可根據(jù)密度大小反映數(shù)量，因此方法原理清晰，易于實(shí)現(xiàn)，被廣泛使用。但是，由于缺乏目標(biāo)精確的具體位置信息，基于密度圖的方法在一些熱點(diǎn)領(lǐng)域的應(yīng)用受限。

本文提出結(jié)合密度圖回歸與檢測(cè)的密集計(jì)數(shù)方法，在同一網(wǎng)絡(luò)結(jié)構(gòu)中同時(shí)實(shí)現(xiàn)密度圖估計(jì)和目標(biāo)定位。利用密度圖所提供的位置信息降低對(duì)標(biāo)注框的依賴(lài)，利用物體檢測(cè)確定目標(biāo)具體位置，二者結(jié)合可以有效提高準(zhǔn)確率，實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)。同時(shí)，該方法不局限于截面對(duì)齊的圖像計(jì)數(shù)，有效地避免特殊位置的漏檢情況，與人工計(jì)數(shù)條件相同，具有良好的普適性。

論文的主要貢獻(xiàn)概括如下：

（1）提出融合密度圖回歸與目標(biāo)檢測(cè)的密集計(jì)數(shù)方法，在保持計(jì)數(shù)效果穩(wěn)定的條件下，提高召回率，同時(shí)自動(dòng)標(biāo)注目標(biāo)的位置信息。

（2）提出優(yōu)化的特征金字塔結(jié)構(gòu)（feature pyramid networks plus，F(xiàn)PN-Plus），縱向融合底層高分辨特征與頂層抽象語(yǔ)義特征，橫向融合同尺寸的特征，豐富整體語(yǔ)義表達(dá)，利于密集目標(biāo)檢測(cè)。

（3）提出融合注意力機(jī)制的損失函數(shù)，增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)物體的注意力，緩解陰影、遮擋等問(wèn)題，提高對(duì)小目標(biāo)的檢測(cè)能力，從而提升整體檢測(cè)效果。

1 相關(guān)工作

1.1 基于檢測(cè)的計(jì)數(shù)方法

傳統(tǒng)基于圖像目標(biāo)檢測(cè)的計(jì)數(shù)方法依賴(lài)特征工程，即先通過(guò)融合人為先驗(yàn)預(yù)設(shè)計(jì)的方法提取圖像全局或局部特征，再使用滑動(dòng)窗口定位圖像中的實(shí)例。特征工程是此類(lèi)方法的重點(diǎn)，常用的有小波、梯度方向直方圖、邊緣等特征[12]。

近年來(lái)的研究集中于消除背景、遮擋、陰影等的影響。景林等人[13]提出利用物料端面的色彩特征進(jìn)行計(jì)數(shù)，該方法可濾除類(lèi)似天空、綠樹(shù)等背景，但對(duì)于與物料顏色相近的背景濾除則不理想。王昱棠[14]根據(jù)物料堆放規(guī)律先驗(yàn)，即由下至上物料堆放具有逐層減少的特點(diǎn)，通過(guò)聚類(lèi)分析對(duì)計(jì)數(shù)結(jié)果進(jìn)行修正，能夠避免因被其他物料包圍而導(dǎo)致邊緣不突出的物料被漏檢。但根據(jù)物料堆放規(guī)律計(jì)數(shù)的方法主要適用于自然擺放的物料，對(duì)于借助外力存放的物料不具有普適性。龍德帆等人[15]結(jié)合數(shù)學(xué)形態(tài)學(xué)中的骨架提取算法，利用動(dòng)態(tài)規(guī)劃的方法來(lái)獲得能量泛函的全局極值，從而實(shí)現(xiàn)了精確提取端面輪廓，但對(duì)于成像效果較差的端面處理效果不佳。文獻(xiàn)[16-17]利用從行人全身提取的小波、梯度方向直方圖、邊緣等特征去檢測(cè)行人，主要學(xué)習(xí)算法有支持向量機(jī)（support vector machine，SVM）[18]、Boosting[19]和隨機(jī)森林（random forest，RF）[20]等。

近年來(lái)隨著深度學(xué)習(xí)的迅速發(fā)展，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法展現(xiàn)了優(yōu)異的效果，兩階段的Mask RCNN（mask region-based convolutional neural network）[21]，單階段的SSD（single shot multibox detector）[22]、YOLO（you only look once）[23]、RetinaNet[24]、EfficientDet[25]和基于anchor-free 的CenterNet[26]、FCOS[27]、Transformbased[28]、Swin Transformer[29]類(lèi) 等在公開(kāi)數(shù)據(jù)集Pascal[30]和COCO[31]上取得較大突破，并且已運(yùn)用在實(shí)際的工業(yè)場(chǎng)景中。

目前，基于檢測(cè)的計(jì)數(shù)方法進(jìn)步很大，但消除遮擋、背景等因素的干擾始終是研究熱點(diǎn)[32-33]。

1.2 基于密度圖估計(jì)的計(jì)數(shù)方法

基于密度圖估計(jì)的計(jì)數(shù)方法主要通過(guò)學(xué)習(xí)密度圖回歸來(lái)更新網(wǎng)絡(luò)模型參數(shù)，最終對(duì)密度圖進(jìn)行積分從而得到密集計(jì)數(shù)結(jié)果，密度圖所提供的物體空間分布信息可用于粗定位目標(biāo)。密度圖本質(zhì)上是一種表示目標(biāo)在某一位置存在概率的方法，在前向傳播過(guò)程中，通過(guò)比較真實(shí)密度圖和預(yù)測(cè)的密度圖之間的差異來(lái)計(jì)算損失，更新網(wǎng)絡(luò)參數(shù)。

基于密度圖[34]的計(jì)數(shù)模型首先需要通過(guò)分類(lèi)網(wǎng)絡(luò)提取物體的特征。得益于卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）強(qiáng)大的特征提取能力，此類(lèi)方法的準(zhǔn)確率也在不斷提升，其中基于全卷積網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）[35]的模型已成為密度估計(jì)的主流特征提取結(jié)構(gòu)。研究者根據(jù)不同區(qū)域視角及密度的變化，設(shè)計(jì)了許多網(wǎng)絡(luò)模型如MCNN（multi-scale convolutional neural network）[36]、switch-CNN[37]、CSRNet[38]等，均有良好性能，根據(jù)不同的尺度[39]，細(xì)化密度圖[40-42]。

Zhang等人提出的MCN（multi-column convolutional neural network）[43]將多列卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于單張圖像人群計(jì)數(shù)問(wèn)題上，利用卷積神經(jīng)網(wǎng)絡(luò)建立人群密度圖與人群圖像之間的非線性映射，通過(guò)獲取人群密度圖得到人群計(jì)數(shù)結(jié)果。

Laradji 等人的工作[44]提出了一個(gè)新穎的損失函數(shù)，使模型在僅有點(diǎn)標(biāo)注的情況下學(xué)習(xí)輸出實(shí)例掩膜，這種方法由于不需要輸出物體的形狀，計(jì)算效率較高。

Idrees 等人提出的CL（composition loss）[45]同時(shí)實(shí)現(xiàn)對(duì)密集圖像中的人群計(jì)數(shù)、密度圖估計(jì)和定位。基于三個(gè)問(wèn)題之間存在的內(nèi)在聯(lián)系，CL 使優(yōu)化深層卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)可分解，即計(jì)數(shù)可以在沒(méi)有任何有關(guān)位置信息的前提下估計(jì)物體數(shù)量，密度圖可以提供有關(guān)每個(gè)物體位置的弱信息，定位可以提供位置信息，但由于數(shù)據(jù)的標(biāo)注稀疏，直接定位較難實(shí)現(xiàn)。

基于密度圖回歸的密集計(jì)數(shù)方法通常會(huì)獲得比檢測(cè)計(jì)數(shù)方法更好的效果，但無(wú)法精確定位目標(biāo)位置。

1.3 特征金字塔網(wǎng)絡(luò)

目標(biāo)檢測(cè)計(jì)數(shù)通常面臨遮擋、光照不均以及物體尺度變化等問(wèn)題，尤其密集計(jì)數(shù)場(chǎng)景通常包含較多的小目標(biāo)，對(duì)特征提取網(wǎng)絡(luò)表達(dá)語(yǔ)義的豐富性要求較高。特征金字塔網(wǎng)絡(luò)（feature pyramid networks，F(xiàn)PN）由Lin等人提出[46]，是一種用于多尺度特征提取的有效方法。引入特征金字塔結(jié)構(gòu)的網(wǎng)絡(luò)模型，通常具有更好的魯棒性。

特征金字塔網(wǎng)絡(luò)可以用于構(gòu)建各種尺度的高級(jí)語(yǔ)義特征圖，將相同尺寸輸出的特征圖視作一個(gè)等級(jí)，多個(gè)等級(jí)堆疊形成金字塔結(jié)構(gòu)。網(wǎng)絡(luò)訓(xùn)練時(shí)，自底向上的路徑即為網(wǎng)絡(luò)前向傳播，自頂向下的路徑通過(guò)從較高的金字塔等級(jí)對(duì)空間上較粗糙但具有更強(qiáng)語(yǔ)義的特征圖進(jìn)行上采樣，從而展現(xiàn)出更高分辨率的特征。

2 結(jié)合密度圖回歸與檢測(cè)的密集計(jì)數(shù)方法

本文提出一種結(jié)合密度圖回歸與檢測(cè)的密集計(jì)數(shù)方法（detection and counting method based on density map estimation，DCDM），在基于密度圖估計(jì)的密集計(jì)數(shù)網(wǎng)絡(luò)基礎(chǔ)上添加檢測(cè)定位方法實(shí)現(xiàn)對(duì)密集物體的檢測(cè)計(jì)數(shù)與定位。方法設(shè)計(jì)過(guò)程中，考慮到密度圖保留物體位置信息較少，提出FPN-Plus 模塊，縱向融合底層高分辨特征與頂層抽象語(yǔ)義特征，橫向融合同尺寸的特征，增強(qiáng)特征語(yǔ)義。同時(shí)，為進(jìn)一步提升對(duì)小尺度目標(biāo)的檢測(cè)效果，本文提出融合注意力機(jī)制的損失函數(shù)，實(shí)現(xiàn)對(duì)各個(gè)層級(jí)特征信息進(jìn)行充分利用，從而加強(qiáng)網(wǎng)絡(luò)對(duì)目標(biāo)物體的注意力。

2.1 基于密度圖估計(jì)的目標(biāo)檢測(cè)計(jì)數(shù)模型架構(gòu)

2.1.1 特征提取網(wǎng)絡(luò)

本文所提出方法基于C-3-Framework 密集計(jì)數(shù)框架[47]，該框架是西北工業(yè)大學(xué)高君宇等人開(kāi)發(fā)的開(kāi)源計(jì)數(shù)算法框架，提供常見(jiàn)的六個(gè)主流數(shù)據(jù)庫(kù)的預(yù)處理代碼、處理好的數(shù)據(jù)集，以及一些主流的密集計(jì)數(shù)模型。本文在C-3-Framework 上增添檢測(cè)分支（見(jiàn)圖2 中右下角部分），根據(jù)密度圖所保留物體的空間位置信息實(shí)現(xiàn)物體定位，整體架構(gòu)如圖2所示。圖像中由左至右首先基于ResNet101 網(wǎng)絡(luò)進(jìn)行原始圖像的特征提取，完成特征提取后對(duì)w×h末端特征圖進(jìn)行上采樣得到密度圖和目標(biāo)定位信息。特征提取網(wǎng)絡(luò)整體為全卷積模式，以保留更準(zhǔn)確的空間信息，具體結(jié)構(gòu)如表1所示。

表1 殘差網(wǎng)絡(luò)結(jié)構(gòu)Table 1 ResNet structure

圖2 密度圖估計(jì)結(jié)合檢測(cè)定位網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Structure maps of density map estimation combined with detection of localization network

C-3-Framework 對(duì)ResNet101 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行優(yōu)化，修改下采樣層stride參數(shù)，使得最后一個(gè)特征圖輸出大小為1 024×72×48，修改后的ResNet101 所輸出特征圖尺寸大小不再滿足通道數(shù)依次變?yōu)樵瓉?lái)的2倍、特征圖長(zhǎng)、寬依次縮小50%的規(guī)則。此外，添加1×1 卷積核以改變通道數(shù)目，在特征圖尺寸不變的情況下增加非線性映射。

特征提取網(wǎng)絡(luò)中，由上到下各層輸出特征圖分別記為C1、C2、C3、C4。C4作為特征提取輸出的最后一個(gè)特征圖，大小為1 024×72×96，同時(shí)作為結(jié)合密度圖的檢測(cè)計(jì)數(shù)網(wǎng)絡(luò)的輸入數(shù)據(jù)。為適應(yīng)較小目標(biāo)的尺寸，本文在C-3-Framework 框架基礎(chǔ)之上對(duì)主干網(wǎng)絡(luò)ResNet101 繼續(xù)下采樣。下采樣層采用kernel size=3、stride=2 的卷積層，并將這一層輸出的特征圖記為C5。最終得到主干網(wǎng)絡(luò)提取出的特征為C1、C2、C3、C4、C5，尺寸分別為64×144×192、256×144×192、512×72×96、1 024×72×96、2 048×36×48，其中C1、C2和C3、C4分別為相同大小的特征圖。

2.1.2 目標(biāo)檢測(cè)定位

為實(shí)現(xiàn)目標(biāo)檢測(cè)定位，首先輸出密度圖求得局部極大值所得到圖像中所有物體的中心點(diǎn)坐標(biāo)，再根據(jù)中心點(diǎn)坐標(biāo)構(gòu)建目標(biāo)物體檢測(cè)邊框。

根據(jù)中心點(diǎn)坐標(biāo)值，計(jì)算圖像索引向量如式（3）所示，即可得到該物體中心點(diǎn)位置信息，從而進(jìn)行物體檢測(cè)框的信息轉(zhuǎn)換。

考慮到索引取整計(jì)算存在誤差，論文引入偏移分支修正模型輸出框的寬度和高度，用分別表示第i個(gè)目標(biāo)檢測(cè)框?qū)挾葁和高度h與取整后索引值的偏差量，如式（4）、式（5）所示：

根據(jù)偏移分支的輸出可以修正定位分支輸出的目標(biāo)定位信息，從而提高物體檢測(cè)的準(zhǔn)確率。添加偏移分支后，網(wǎng)絡(luò)結(jié)構(gòu)圖如圖3所示。

圖3 添加偏移分支后網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Network structure diagram after adding offset branches

本文采用固定核的高斯函數(shù)生成密度圖，根據(jù)輸出的密度圖找到中心點(diǎn)的坐標(biāo)，利用式（1）～式（3）將密度圖轉(zhuǎn)換為索引即可得到對(duì)應(yīng)物體的寬度和高度。檢測(cè)定位分支輸出以每一個(gè)像素點(diǎn)為目標(biāo)中心點(diǎn)所對(duì)應(yīng)的寬度和高度，通過(guò)引入檢測(cè)分支頭進(jìn)行物體定位，從而實(shí)現(xiàn)定位分支和密度圖估計(jì)共享網(wǎng)絡(luò)結(jié)構(gòu)。密度圖保留了物體的空間信息，同時(shí)無(wú)需引入基于檢測(cè)框的目標(biāo)檢測(cè)模型，因此網(wǎng)絡(luò)可以靈活地學(xué)習(xí)各種尺寸的目標(biāo)物體，具有較好的普適性。

2.2 優(yōu)化的FPN模塊

本文需要根據(jù)密度圖恢復(fù)物體空間位置信息，因此密度圖回歸任務(wù)分支需要豐富的語(yǔ)義信息。但是FPN 將相同尺寸的特征圖視為一個(gè)層級(jí)，對(duì)同一層級(jí)特征圖的信息融合不足。為了充分利用本文中特征提取網(wǎng)絡(luò)的結(jié)構(gòu)特性，本文改進(jìn)FPN 中同層級(jí)特征間的關(guān)聯(lián)，提出優(yōu)化的FPN，稱(chēng)之為FPN-Plus。

FPN-Plus的核心網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，不僅利用特征提取網(wǎng)絡(luò)不同尺度特征圖的語(yǔ)義信息，而且還充分利用多個(gè)層級(jí)的語(yǔ)義信息，對(duì)于相同尺寸的層級(jí)采用逐像素相加的方式，以獲得更加豐富的語(yǔ)義信息。在本文實(shí)驗(yàn)中，C1、C2具有相同尺寸，C3、C4具有相同尺寸。FPN-Plus 首先對(duì)C5執(zhí)行1×1 卷積操作生成特征圖P1，同時(shí)改變通道數(shù)為128。通過(guò)雙線性插值對(duì)P1執(zhí)行兩倍上采樣，并和C4相加形成橫向連接輸出為P2。由于P2和C3具有相同尺寸的特征圖，對(duì)C3執(zhí)行1×1 卷積以改變通道數(shù)，最終與P2直接相加形成P3，從而使得特征提取網(wǎng)絡(luò)結(jié)構(gòu)的多個(gè)特征圖信息均被包含在最后一層的特征圖中，語(yǔ)義信息更加完整，從而提升計(jì)數(shù)的準(zhǔn)確性。

圖4 FPN-Plus核心結(jié)構(gòu)圖Fig.4 FPN-Plus core structure diagram

添加FPN-plus 網(wǎng)絡(luò)結(jié)構(gòu)后，形成完整的DCDM網(wǎng)絡(luò)結(jié)構(gòu)，如圖5 所示，具有相同顏色部分表示相同大小的特征圖。圖像輸入至DCDM 網(wǎng)絡(luò)后，先經(jīng)自底向上的前向傳播，通過(guò)自頂向下以及橫向連接的結(jié)構(gòu)生成具有豐富語(yǔ)義信息的特征圖。然后，通過(guò)檢測(cè)分支、偏移分支以及密度圖估計(jì)分支共享最后一層特征圖作為輸入數(shù)據(jù)，參考C-3-Framework 密集計(jì)數(shù)網(wǎng)絡(luò)框架添加檢測(cè)分支形成多任務(wù)網(wǎng)絡(luò)模型，分別輸出目標(biāo)位置信息、偏移信息以及密度圖，實(shí)現(xiàn)基于密度圖估計(jì)的目標(biāo)檢測(cè)計(jì)數(shù)算法。

圖5 DCDM完整網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 Structure diagram of complete DCDM network

2.3 注意力損失函數(shù)

本文采用多任務(wù)損失函數(shù)，將目標(biāo)檢測(cè)定位分支、偏移分支以及密度圖估計(jì)分支的損失函數(shù)與注意力損失函數(shù)相結(jié)合，同時(shí)學(xué)習(xí)多個(gè)任務(wù)以實(shí)現(xiàn)端到端的檢測(cè)計(jì)數(shù)。損失函數(shù)如式（6）所示：

其中，Loffset、Ldet、Ldm、Latt分別表示偏移分支、定位分支、密度圖估計(jì)分支以及注意力損失函數(shù)。Ldm采用密集計(jì)數(shù)方法中常用損失函數(shù)MSE（mean squared error），計(jì)算方法如式（7）所示：

其中，Ei表示的是模型預(yù)測(cè)圖像i的密度圖，Gi表示圖像i的真實(shí)密度圖，N是訓(xùn)練圖像總數(shù)。由于定位分支和偏移分支輸出以實(shí)現(xiàn)定位物體，損失函數(shù)均選用計(jì)算兩個(gè)坐標(biāo)對(duì)應(yīng)的歐式距離。

損失函數(shù)Ldm對(duì)圖像中的每一個(gè)像素計(jì)算其與真實(shí)值的偏差，但是由于圖像中背景等無(wú)關(guān)像素點(diǎn)占據(jù)比例較高，即正樣本數(shù)目遠(yuǎn)小于負(fù)樣本數(shù)目，對(duì)每一個(gè)像素點(diǎn)計(jì)算與真實(shí)值之間的偏差會(huì)導(dǎo)致正負(fù)樣本失衡的問(wèn)題。除此之外，對(duì)像素點(diǎn)均勻計(jì)算回歸密度，導(dǎo)致網(wǎng)絡(luò)在訓(xùn)練過(guò)程中不會(huì)將注意力集中在目標(biāo)物體上。

為促進(jìn)模型準(zhǔn)確率提高，本文提出注意力損失函數(shù)Latt。首先，對(duì)輸入圖像生成一個(gè)掩膜。掩膜的生成過(guò)程同密度圖生成過(guò)程相同，但是將高斯核函數(shù)用固定值1 代替。通過(guò)此注意力實(shí)現(xiàn)網(wǎng)絡(luò)注意力集中于目標(biāo)物體上。

基于上述思路構(gòu)造注意力損失函數(shù)，如式（8）所示：

其中，Mi表示第i張圖生產(chǎn)的掩膜。通過(guò)式（8）可得，注意力損失函數(shù)僅對(duì)正樣本進(jìn)行了損失計(jì)數(shù)，通過(guò)掩膜去除負(fù)樣本對(duì)損失函數(shù)的影響。在密度圖估計(jì)損失函數(shù)的基礎(chǔ)上結(jié)合注意力損失函數(shù)，得到密度估計(jì)損失函數(shù)公式如式（9）所示。注意力機(jī)制有利于提高對(duì)小目標(biāo)等的檢測(cè)效果，從而提升網(wǎng)絡(luò)對(duì)目標(biāo)的整體檢測(cè)能力。

3 結(jié)果與分析

完成DCDM 模型構(gòu)建后，本文將該模型應(yīng)用于現(xiàn)有數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)測(cè)試，同時(shí)與其他目標(biāo)檢測(cè)方法進(jìn)行比較分析。除此之外，本文進(jìn)行充分的消融實(shí)驗(yàn)以驗(yàn)證所提出網(wǎng)絡(luò)結(jié)構(gòu)的有效性。

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文測(cè)試數(shù)據(jù)集來(lái)自“智能盤(pán)點(diǎn)——鋼筋數(shù)量AI 識(shí)別”人工智能比賽，拍攝于工地現(xiàn)場(chǎng)，通過(guò)手機(jī)進(jìn)行采集，數(shù)據(jù)包含直徑12～32 mm 等不同規(guī)格的鋼筋圖片。數(shù)據(jù)集由訓(xùn)練集和測(cè)試集組成，其中訓(xùn)練集一共250 張圖片，測(cè)試集一共200 張圖片。為使得實(shí)驗(yàn)結(jié)果有效，利用圖像處理進(jìn)行數(shù)據(jù)集擴(kuò)充，部分?jǐn)?shù)據(jù)集如圖6所示。

圖6 鋼筋數(shù)據(jù)樣例圖Fig.6 Example diagram of rebar data

3.2 評(píng)價(jià)指標(biāo)

本文采用多個(gè)指標(biāo)定量評(píng)估DCDM 檢測(cè)計(jì)數(shù)性能，分別是F1-score、MAE（mean absolute error）以及MSE。F1-score 可由召回率和準(zhǔn)確率計(jì)算可得，如式（10）所示：

其中，召回率表示所有樣本中預(yù)測(cè)為正樣本部分的比例，準(zhǔn)確率為所有預(yù)測(cè)正樣本中正確預(yù)測(cè)的正樣本比例。召回率的計(jì)算涉及到TP（true positive）和FN（false negative），TP 表示被正確劃分為正樣本的實(shí)例個(gè)數(shù)，F(xiàn)N 表示被錯(cuò)誤劃分為負(fù)樣本的正樣本實(shí)例個(gè)數(shù)。召回率表示網(wǎng)絡(luò)能夠找到目標(biāo)物體的能力，計(jì)算公式見(jiàn)式（11）：

準(zhǔn)確率的計(jì)算涉及到TP和FP（false positive），其中FP 表示被錯(cuò)誤劃分為正樣本的實(shí)例個(gè)數(shù)，準(zhǔn)確率計(jì)算公式見(jiàn)式（12）：

其中，TP和FP可以通過(guò)計(jì)算真實(shí)框和預(yù)測(cè)框的交并比IoU（intersection over union）得到。當(dāng)IoU＞0.5時(shí)，則認(rèn)為該目標(biāo)檢測(cè)框是正樣例，否則為負(fù)樣例。

MAE 和MSE 常被密集計(jì)數(shù)領(lǐng)域用來(lái)衡量計(jì)數(shù)的性能。MAE計(jì)算方法如式（13）所示：

其中，N表示訓(xùn)練樣本中圖像的總數(shù)目，Mi表示第i幅圖像中物體的真實(shí)數(shù)目，表示模型對(duì)第i幅圖像中物體的預(yù)測(cè)數(shù)目，即用真實(shí)值減去預(yù)測(cè)值后取絕對(duì)值，然后求和取平均值。MSE 稱(chēng)為均方誤差，計(jì)算方法如式（14）所示：

3.3 實(shí)現(xiàn)細(xì)節(jié)描述

考慮到收集得到數(shù)據(jù)量較少，為增加訓(xùn)練階段模型的魯棒性，采用隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)。在訓(xùn)練初期，使用ImageNet 預(yù)訓(xùn)練網(wǎng)絡(luò)初始化網(wǎng)絡(luò)權(quán)重。優(yōu)化器采用Adam，其中weight decay 為1×10-4，采用動(dòng)態(tài)學(xué)習(xí)率，初始學(xué)習(xí)率為1×10-5，10個(gè)epoch內(nèi)損失函數(shù)值沒(méi)有下降，則將學(xué)習(xí)率降低10%，最低可降低到1×10-8。

3.4 對(duì)比實(shí)驗(yàn)

論文將DCDM 模型與基于anchor 的目標(biāo)檢測(cè)模型Mask RCNN 以及基于anchor-free的目標(biāo)檢測(cè)模型CenterNet進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如表2所示。

表2 鋼筋數(shù)據(jù)集實(shí)驗(yàn)結(jié)果對(duì)比數(shù)據(jù)Table 2 Data comparison of experimental results of rebar dataset

對(duì)于F1-score 指標(biāo)，DCDM 在測(cè)試集達(dá)到0.923，比Mask RCNN 方法提升0.082，比CenterNet 方法提升0.075。同時(shí)，Mask RCNN 和CenterNet 的召回率均在0.70 左右，而DCDM 達(dá)到0.91，從而證明DCDM模型能夠在實(shí)現(xiàn)定位物體的同時(shí)獲得較高召回率。此外，DCDM 方法的MAE 和MSE 指標(biāo)遠(yuǎn)低于Mask RCNN 和CenterNet 相應(yīng)指標(biāo)，由此說(shuō)明DCDM 方法計(jì)數(shù)準(zhǔn)確率比通用目標(biāo)檢測(cè)方法準(zhǔn)確率高。綜上所述，通過(guò)實(shí)驗(yàn)證明，本文提出的DCDM 模型能夠獲得比通用檢測(cè)計(jì)數(shù)方法更加準(zhǔn)確的計(jì)數(shù)結(jié)果，并且對(duì)于復(fù)雜的遮擋和傾斜場(chǎng)景具有強(qiáng)魯棒性。

基于3.3節(jié)所描述的參數(shù)設(shè)置，圖7所示為DCDM在鋼筋數(shù)據(jù)集上的訓(xùn)練過(guò)程中各指標(biāo)的變化圖。其中圖7（a）為訓(xùn)練過(guò)程中訓(xùn)練集的總損失變化情況，其由密度估計(jì)損失和檢測(cè)定位損失加權(quán)和所得，反映模型整體訓(xùn)練過(guò)程中損失函數(shù)的收斂情況，從圖中可以看出經(jīng)過(guò)迭代后，損失函數(shù)值已經(jīng)正常收斂。圖7（b）及圖7（c）所示分別為訓(xùn)練集密度圖及檢測(cè)定位損失函數(shù)值變化情況，比較兩者可得檢測(cè)定位損失函數(shù)值收斂較快，而密度估計(jì)損失函數(shù)呈現(xiàn)緩慢下降趨勢(shì)，說(shuō)明檢測(cè)定位學(xué)習(xí)的回歸任務(wù)比密度估計(jì)的回歸任務(wù)更加容易學(xué)習(xí)。圖7（d）～圖7（f）分別為訓(xùn)練過(guò)程中MAE、MSE 指標(biāo)的變化情況以及學(xué)習(xí)率的動(dòng)態(tài)變化過(guò)程，在40 到50 輪次的訓(xùn)練過(guò)程中指標(biāo)出現(xiàn)異常上升情況，通過(guò)動(dòng)態(tài)調(diào)節(jié)學(xué)習(xí)率使得指標(biāo)穩(wěn)定下降，說(shuō)明動(dòng)態(tài)調(diào)整學(xué)習(xí)率有助于模型收斂。

圖7 DCDM訓(xùn)練過(guò)程中參數(shù)指標(biāo)變化Fig.7 Changes of parameter value during DCDM training

圖8 所示為DCDM 在鋼筋數(shù)據(jù)集上的檢測(cè)計(jì)數(shù)效果圖。檢測(cè)的結(jié)果依賴(lài)于密度圖提供的中心點(diǎn)，第一行展示DCDM 模型輸出的密度圖疊加在原圖上的實(shí)驗(yàn)結(jié)果，可以看出每個(gè)物體的中心點(diǎn)都對(duì)應(yīng)著密度點(diǎn)分布，越靠近中心點(diǎn)像素值越高。第二行是經(jīng)過(guò)后處理的檢測(cè)計(jì)數(shù)結(jié)果圖，根據(jù)輸出結(jié)果可以看出計(jì)數(shù)準(zhǔn)確度較高。同時(shí)在左圖中對(duì)于右下角被強(qiáng)光照射的鋼筋，DCDM 也能夠?qū)崿F(xiàn)準(zhǔn)確檢測(cè)，對(duì)于右圖出現(xiàn)自上而下的尺寸變形，DCDM 檢測(cè)結(jié)果不受其影響。但是對(duì)于中間圖像，由于存在一些嚴(yán)重遮擋導(dǎo)致模型存在一定誤差。

圖8 DCDM測(cè)試輸出圖Fig.8 DCDM test output graph

如圖9所示將產(chǎn)生誤差部分進(jìn)行局部放大，可以看出右下角的鋼筋被疊放在其上面的鋼筋遮擋住了多半部分，從而造成誤差。

圖9 DCDM測(cè)試局部放大圖Fig.9 DCDM test local enlargement

除此之外，本文對(duì)Mask RCNN 及CenterNet網(wǎng)絡(luò)在鋼筋數(shù)據(jù)集上的實(shí)驗(yàn)效果可視化并與DCDM 形成對(duì)比，對(duì)比效果如圖10 所示，其中圖10（a）～（c）列分別表示DCDM、Mask RCNN、CenterNet 測(cè)試樣例輸出結(jié)果，其中第二行實(shí)驗(yàn)結(jié)果中，Mask RCNN 和CenterNet 實(shí)驗(yàn)結(jié)果較為相近，召回率都不到50%，而DCDM 可以實(shí)現(xiàn)近98%的召回率。由此說(shuō)明對(duì)于比較復(fù)雜的數(shù)據(jù)，Mask RCNN 和CenterNet 檢測(cè)計(jì)數(shù)結(jié)果均遠(yuǎn)小于其真實(shí)值，DCDM檢測(cè)效果較好。

圖10 DCDM、Mask RCNN、CenterNet測(cè)試樣例圖Fig.10 Test sample diagram of DCDM,Mask RCNN and CenterNet

3.5 消融實(shí)驗(yàn)

如表3所示為消融實(shí)驗(yàn)結(jié)果，用以驗(yàn)證本文所提出方法中各模塊的有效性。其中，基線方法選用C-3-Framework中的密度估計(jì)方法，backbone為ResNet101。

表3 鋼筋數(shù)據(jù)集消融實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Comparison of ablation experiment results of rebar dataset

如表3 所示，實(shí)驗(yàn)（a）作為基準(zhǔn)，實(shí)驗(yàn)（c）相較于實(shí)驗(yàn)（b）中Recall、Precision 及F1-score 指標(biāo)均有提升，說(shuō)明FPN-Plus 改進(jìn)結(jié)構(gòu)能夠提高物體的檢測(cè)能力并增加召回率。同時(shí)，根據(jù)實(shí)驗(yàn)（d）可得在網(wǎng)絡(luò)中加入注意力損失函數(shù)使得模型在測(cè)試集上的F1-score 指標(biāo)從0.913 提升到0.923，從而表明注意力損失函數(shù)可以增加DCDM 對(duì)物體的注意力，進(jìn)一步提高網(wǎng)絡(luò)的檢測(cè)計(jì)數(shù)能力。

上述各部分實(shí)驗(yàn)的結(jié)果說(shuō)明充分利用密度圖的空間信息使得基于密度圖估計(jì)的檢測(cè)計(jì)數(shù)網(wǎng)絡(luò)DCDM 比通用目標(biāo)檢測(cè)網(wǎng)絡(luò)具有更高的召回率以及更加準(zhǔn)確的密集計(jì)數(shù)能力。為充分利用各層級(jí)語(yǔ)義信息，本文提出FPN-Plus 網(wǎng)絡(luò)結(jié)構(gòu)。此外，注意力損失函數(shù)通過(guò)將注意力集中在物體上從而減少背景對(duì)模型的影響，增強(qiáng)魯棒性。但由于本文在計(jì)數(shù)網(wǎng)絡(luò)基礎(chǔ)上引入定位任務(wù)，形成一種多任務(wù)訓(xùn)練模型，計(jì)數(shù)效果相較于基于密度估計(jì)網(wǎng)絡(luò)存在一定差距。但是定位任務(wù)的引入使得DCDM 檢測(cè)計(jì)數(shù)結(jié)果可靠，同時(shí)獲得比通用目標(biāo)檢測(cè)更好的檢測(cè)計(jì)數(shù)效果。

4 結(jié)束語(yǔ)

密集計(jì)數(shù)可應(yīng)用于估計(jì)人群密度、野生動(dòng)物計(jì)數(shù)，且在安全、防空領(lǐng)域具有廣大的應(yīng)用前景?；跈z測(cè)的計(jì)數(shù)方法雖然能夠定位物體，但是其計(jì)數(shù)值遠(yuǎn)小于真實(shí)計(jì)數(shù)值；基于密度估計(jì)的計(jì)數(shù)方法雖然能夠?qū)崿F(xiàn)較為接近真實(shí)值的計(jì)數(shù)結(jié)果，但由于缺少物體的位置信息，其計(jì)數(shù)結(jié)果存在局部不一致的問(wèn)題。

基于以上觀察，本文提出基于密集計(jì)數(shù)的檢測(cè)算法DCDM，同時(shí)實(shí)現(xiàn)檢測(cè)和密度圖估計(jì)任務(wù)，適用于截面非對(duì)齊條件下的密集計(jì)數(shù)。DCDM 在基于密度估計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)上添加物體定位結(jié)構(gòu)，利用密度圖的弱空間信息以提供物體中心點(diǎn)信息。為使得網(wǎng)絡(luò)模型能夠應(yīng)對(duì)物體的多種尺度變化，本文同時(shí)提出FPN-Plus 網(wǎng)絡(luò)結(jié)構(gòu)，充分利用DCDM 中特征提取網(wǎng)絡(luò)的結(jié)構(gòu)特性，使得輸出特征圖具有豐富的語(yǔ)義信息。此外，為使得模型將注意力集中在感興趣的物體上，提出注意力損失函數(shù)，通過(guò)掩膜來(lái)提取正樣本的損失值。通過(guò)對(duì)比實(shí)驗(yàn)，驗(yàn)證得到DCDM 模型相較于通用目標(biāo)檢測(cè)算法準(zhǔn)確性較高，同時(shí)消融實(shí)驗(yàn)說(shuō)明本文提出的各模塊都是有效的。