多視角圖像與PP-YOLOE 結(jié)合的人群QR 碼檢測方法

摘 要：現(xiàn)有目標(biāo)檢測系統(tǒng)在人群密集場景中無法有效實(shí)現(xiàn)尺寸極小快速響應(yīng)碼（QR 碼）的批量自動(dòng)化檢測，為此，提出一種基于多視角圖像與改進(jìn)PP-YOLOE 模型的人群QR 碼輔助檢測方法：首先構(gòu)建多視角圖像采集系統(tǒng)，通過側(cè)視圖與頂視圖圖像完成多種目標(biāo)歸屬主體的正確關(guān)聯(lián)；隨后在路徑聚合網(wǎng)絡(luò)（PAN）中增加跨層空間注意力模塊，提升模型算法小目標(biāo)檢測能力；利用深度可分離卷積對RepResBlock 模塊進(jìn)行輕量化改進(jìn)，提升模型算法執(zhí)行效率. 與其他4 種算法的對比實(shí)驗(yàn)表明，最優(yōu)有效目標(biāo)檢測準(zhǔn)確率提高9.9%，單次可完成的檢測數(shù)量達(dá)到13 個(gè)、單目標(biāo)檢測平均耗時(shí)72.5 ms.

關(guān)鍵詞：PP-YOLOE；多視角圖像；PAN；深度可分離卷積

中圖分類號(hào)：TP391

DOI： 10.19504/j.cnki.issn1671-5365.2024.06.06

作為二維碼之一的快速響應(yīng)碼（Quick Re?sponse Code， QR 碼），是萬物互聯(lián)時(shí)代重要的信息載體之一，廣泛應(yīng)用于無紙化支付、物流快遞標(biāo)記、個(gè)人信息校驗(yàn)等場景. 當(dāng)前針對單一QR 碼的檢測定位方法成熟，但當(dāng)其面對密集QR 碼時(shí)效果欠佳，尤其在車站、校園、展會(huì)等公共場合進(jìn)行密集人群手持終端QR 碼檢測時(shí)，容易發(fā)生快速定位失效現(xiàn)象.作為典型的小目標(biāo)檢測問題，其檢測定位受到兩方面的挑戰(zhàn)：一是QR 碼在畫面中的有效占比通常低于10%，導(dǎo)致深度卷積神經(jīng)網(wǎng)絡(luò)模型運(yùn)算時(shí)獲得的特征信息有限，容易出現(xiàn)漏檢；二是實(shí)時(shí)性及多目標(biāo)檢測的需求，帶來部署終端較大的算力消耗，造成較高的硬件成本. 對于前者，眾多學(xué)者在通用多目標(biāo)檢測算法模型框架基礎(chǔ)之上，針對小目標(biāo)特征進(jìn)行優(yōu)化改進(jìn)[1]；對于后者，輕量化技術(shù)被廣泛研究[2]，模型運(yùn)算量及參數(shù)量的逐步降低，帶來高性能框架在邊緣設(shè)備運(yùn)行的可能.

對于深度卷積神經(jīng)網(wǎng)絡(luò)適配小目標(biāo)檢測的研究，主要集中于優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行小尺度特征的提取與融合. 典型的改進(jìn)是在通用目標(biāo)檢測模型基礎(chǔ)上，添加更大分辨率的輸出預(yù)測分支，如SSD 模型[3]通過在6 個(gè)不同分辨率的尺度分支上進(jìn)行檢測來降低小目標(biāo)漏檢概率；后來Fu 等人改進(jìn)該模型的骨干網(wǎng)絡(luò)，并利用特征金字塔（Feature Pyramid Network，F(xiàn)PN）[4]結(jié)構(gòu)進(jìn)行多級特征融合后形成DSSD 模型[5]提升小目標(biāo)檢測性能. 最近Tang 等人通過在其中引入卷積塊注意力模塊（Convolutional Block AttentionModule， CBAM），形成交互式通道空間注意力，實(shí)現(xiàn)衛(wèi)星圖像中車輛小目標(biāo)的檢測[6]. 此外，Ju 等人使用上下文機(jī)制[7]擴(kuò)大有效特征區(qū)域，也提升了小目標(biāo)檢測效果.

對于深度卷積神經(jīng)網(wǎng)絡(luò)輕量化的研究，Howard等人在MobileNet 框架中創(chuàng)新地提出深度可分離卷積（Depthwise Convolution），大幅度降低傳統(tǒng)卷積運(yùn)算量和參數(shù)量[8]，成為后續(xù)網(wǎng)絡(luò)輕量化的標(biāo)準(zhǔn)操作.后續(xù)對MobileNet 框架的改進(jìn)中，Sandler 等人增加了與殘差結(jié)構(gòu)相關(guān)聯(lián)的倒殘差結(jié)構(gòu)[9]，Howard 等人增加了注意力模塊[10]，最終形成系列化的模型框架.Iandola 等人則是將傳統(tǒng)的大尺寸卷積過程替換為多個(gè)更小尺寸的卷積核的組合，并最終形成SqueezeNet 系列模型[11]. 在最新的研究中，Wiec?zorek 等人將大視野場景下人臉檢測模型框架拆分為模糊人臉檢測與確定人臉檢測兩個(gè)階段，并將后一階段的開啟時(shí)機(jī)與前一階段關(guān)聯(lián)，進(jìn)而宏觀上使得模型框架輕量化[12].

1 多視角圖像采集系統(tǒng)方案

本文設(shè)計(jì)的多視角圖像采集系統(tǒng)如圖1（a）所示，主要包括3 個(gè)不同視角的攝像頭及其網(wǎng)絡(luò)連接所需路由器，以及執(zhí)行算法的服務(wù)器. 攝像頭1 與攝像頭2 的視野分別從兩個(gè)側(cè)面向人群中心形成交叉，以滿足QR 碼采集方向的多樣性. 攝像頭3 置于人群正上方，獲得頂視圖視角下的視野. 側(cè)面圖像中會(huì)計(jì)算行人頭部垂直長度m，及其與手持終端之間的垂直距離β 和直線距離γ. 頂視圖視角的視野中主要包括行人頭部、手臂、手持終端等信息，需要計(jì)算行人頭部寬度n 及其與手持終端之間的水平距離α. 服務(wù)器運(yùn)行基于PP-YOLOE 改進(jìn)的小目標(biāo)輕量化檢測算法實(shí)現(xiàn)單幀圖像中手持終端、行人整體、手臂、頭部及QR 碼的檢測.

由于在側(cè)面圖像中進(jìn)行行人手臂檢測時(shí)，可能存在被遮擋而檢測失效的問題，從而導(dǎo)致行人與手持終端的關(guān)聯(lián)出錯(cuò)，為此本文中提出行人頭部與手持終端的位置約束方法. 如圖1（b）中所示，在側(cè)面視圖中，設(shè)定真實(shí)的行人頭部與手持終端之間的水平距離為kα、垂直距離為β、直線距離為γ，三者近似滿足約束關(guān)系：

其中λ 為實(shí)驗(yàn)統(tǒng)計(jì)參數(shù)，λ ∈ [ 0.32，0.81].

2 模型算法改進(jìn)

2.1 PP-YOLOE 目標(biāo)檢測原理

結(jié)合通用單階段目標(biāo)檢測模型在小目標(biāo)檢測與網(wǎng)絡(luò)模型輕量化方面的最新研究進(jìn)展，本文基于PP-YOLOE 模型進(jìn)行輕量化改進(jìn). PP-YOLOE 是百度PaddleDetection 團(tuán)隊(duì)針對YOLO 系列單階段目標(biāo)檢測模型的最新改進(jìn)優(yōu)化，其在COCO 數(shù)據(jù)集上的檢測平均精確率達(dá)到51.4 mAP、在Tesla V100GPU 上的每秒測試幀率達(dá)到78.1 FPS，實(shí)現(xiàn)了目標(biāo)檢測精確率與效率的兼?zhèn)鋄13]. 其模型主要在骨干網(wǎng)絡(luò)中改進(jìn)CSPRepResNet 結(jié)構(gòu)、在特征金字塔結(jié)構(gòu)后使用路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）來進(jìn)行多尺度特征融合、在檢測輸出頭中提出ET-head （Efficient Task-aligned Head） 結(jié)構(gòu). CSP?RepResNet 骨干網(wǎng)絡(luò)的核心在于RepResBlock 模塊，該模塊來自TreeBlock[14]的啟發(fā)，將殘差連接和稠密連接進(jìn)行結(jié)合，更有效地提取目標(biāo)特征. 路徑聚合網(wǎng)絡(luò)則是Liu 等人在圖像分割中提出的一種特征融合機(jī)制，與過往單一方向融合不同尺度特征不同，其在上下兩個(gè)方向都進(jìn)行多尺度特征融合[15].ET-head 結(jié)構(gòu)使用ESE （Effective Squeeze and Ex?traction） 代替TOOD （Task-aligned One-stage Ob?ject Detection）中的層注意力，簡化分類分支，用分布焦點(diǎn)損失（Distribution Focal Loss， DFL）層[16]代替回歸分支，進(jìn)而協(xié)調(diào)過往目標(biāo)檢測模型中分類與定位任務(wù)之間的矛盾. 模型的總體損失函數(shù)lall 為：

其中：lloss - GIoU 為計(jì)算IoU 的損失函數(shù)值，lloss -VFL 為變焦距損失函數(shù)值，lloss -DFL 為分布焦點(diǎn)損失函數(shù)值，t?代表標(biāo)準(zhǔn)化目標(biāo)分?jǐn)?shù)，φ、?、ρ 等為超參數(shù).

2.2 針對小目標(biāo)檢測的算法改進(jìn)

本文將空間注意力機(jī)制進(jìn)行跨層連接，提升PP-YOLOE 框架對小目標(biāo)的檢測能力. 傳統(tǒng)空間注意力機(jī)制通過對輸入的特征圖在多通道之間分別進(jìn)行平均池化和最大池化，并將其輸出的特征平面拼接后壓縮為單通道特征平面，是一種同層間連接. 如圖2（a）所示，PP-YOLOE 框架在P3、P4、P5 三個(gè)分支進(jìn)行輸出目標(biāo)的多尺度預(yù)測，且本文場景中的QR 碼目標(biāo)尺寸極小，其主要在P3 分支中進(jìn)行有效特征提取，同時(shí)P4 分支中將進(jìn)行終端目標(biāo)的檢測. 由于終端目標(biāo)與QR 碼目標(biāo)的位置總是直接關(guān)聯(lián)，因此本文從P4 分支中進(jìn)行空間注意力提取，并跨層連接到P3 層，輔助該分支中極小尺寸QR 碼的有效檢測，如圖2（b）所示. 跨層連接時(shí)是對平均池化和最大池化輸出特征平面的上采樣.

2.3 模型輕量化改進(jìn)

本文將深度可分離卷積方法融入RepResBlock模塊進(jìn)行模型輕量化改進(jìn). 如圖3（a）所示，深度可分離卷積將傳統(tǒng)卷積運(yùn)算拆分為通道分離卷積和逐點(diǎn)卷積兩個(gè)過程，前者要求每個(gè)3×3 卷積核只對一個(gè)特征通道進(jìn)行卷積運(yùn)算，獲得平面特征，后者將多通道特征拼接之后利用多維度的1×1 卷積核進(jìn)行通道間特征的關(guān)聯(lián)，該方法使得參數(shù)規(guī)模可以降低約30%. 從圖3（b）中可以看出，RepResBlock 模塊、Tree?Block 模塊、SRB 模塊中都使用3×3 卷積核提取特征，并直接進(jìn)行殘差連接、1×1 卷積核殘差連接、或兩種組合方式的殘差連接. 本文具體融合時(shí)，RepResBlock 模塊中的第一個(gè)3×3 卷積過程替換為先進(jìn)行分離通道卷積，后進(jìn)行逐點(diǎn)卷積，且此時(shí)的逐點(diǎn)卷積也起到殘差連接作用. 第二個(gè)3×3 卷積過程則替換為先進(jìn)行逐點(diǎn)卷積，后進(jìn)行分離通道卷積，且第二個(gè)深度可分離卷積過程的輸入數(shù)據(jù)是第一個(gè)卷積核分離通道卷積后的輸出，進(jìn)而使得兩個(gè)深度可分離卷積過程可有效聯(lián)合.

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集及評價(jià)指標(biāo)

按照圖1 所示搭建實(shí)驗(yàn)環(huán)境，算法服務(wù)器配置為RTX2060 顯卡、16 GB 內(nèi)存. 采集的數(shù)據(jù)樣本如圖4（a）、圖4（b）所示，使用labelme 工具完成行人整體、頭部、手臂、手持終端、QR 碼等目標(biāo)的邊界框標(biāo)注. 其共包含11750 個(gè)有效行人及其相關(guān)目標(biāo)，其中左右側(cè)視圖采集的樣本數(shù)量整體均衡. 另一個(gè)數(shù)據(jù)集如圖4（c）所示，包含22 000 個(gè)QR 碼圖像，用于對模型的QR 碼識(shí)別能力的預(yù)訓(xùn)練.

算法結(jié)合工程應(yīng)用場景，設(shè)置5 個(gè)評價(jià)指標(biāo). 指標(biāo)Sp 完成所有可檢測目標(biāo)，在IoU 為0.75 時(shí)的精確率計(jì)算，以統(tǒng)計(jì)正確預(yù)測的樣本數(shù)在被預(yù)測到的樣本總數(shù)中的占比；指標(biāo)Sr 完成所有可檢測目標(biāo)，在IoU 為0.75 時(shí)的召回率的計(jì)算，以統(tǒng)計(jì)被正確預(yù)測的樣本數(shù)在應(yīng)當(dāng)被預(yù)測的樣本數(shù)中的占比；指標(biāo)Sa用于表示有效核心目標(biāo)檢測數(shù)量Cmatch 在總目標(biāo)數(shù)量CALL 中的占比，核心目標(biāo)的有效性是指正確將行人、QR 碼進(jìn)行關(guān)聯(lián)；指標(biāo)4 是系統(tǒng)單次可完成的有效核心目標(biāo)檢測數(shù)量的最大值Mmax _match；指標(biāo)5 為tFPS，用于衡量系統(tǒng)檢測單個(gè)核心目標(biāo)時(shí)的耗時(shí). Sp、Sr 與Sa 計(jì)算如下：

其中CTP 表示正確樣本被預(yù)測為正，CFP 表示錯(cuò)誤樣本被預(yù)測為正，CFN 表示錯(cuò)誤樣本被預(yù)測為負(fù).

3.2 結(jié)果分析

對比實(shí)驗(yàn)分別選擇PP-YOLOE、DSSD[4]、YO?LOv3 tiny[17]、YOLOv6[18]算法. YOLOv3 tiny 算法是YOLOv3 模型的縮減版本，損失了部分準(zhǔn)確率，但執(zhí)行效率更高. YOLOv6 是YOLO 系列的改進(jìn)之一，其將此前的相關(guān)模型的有錨范式替換為無錨范式，并在骨干網(wǎng)絡(luò)中使用RepVGG style 結(jié)構(gòu)，使得模型對硬件性能要求降低. DSSD 算法是在SSD 算法基礎(chǔ)上，使用沙漏結(jié)構(gòu)進(jìn)行編解碼，提高對小目標(biāo)的檢測性能.

所有可檢測目標(biāo)實(shí)驗(yàn)對比結(jié)果如表1 所示. 由于大多數(shù)行人尺寸相對較大，全部算法對行人檢測的性能相當(dāng)，但不可避免的行人遮擋也導(dǎo)致少量的漏檢，同時(shí)兩個(gè)側(cè)方位相機(jī)拍攝圖像中包含大量行人背面信息，也造成部分錯(cuò)檢. 對于中等尺寸的頭部的檢測，本文算法及PP-YOLOE 算法的性能最佳. 由于行人手臂的無規(guī)則運(yùn)動(dòng)，所有算法都存在錯(cuò)檢與漏檢手臂. 對于尺寸較小的終端的檢測，本文算法與DSSD 算法獲得較好結(jié)果，PP-YOLOE 算法與YOLOv6 算法的檢測召回率也較高，但精確率相對降低，表明這些算法存在較小尺寸目標(biāo)的錯(cuò)檢，多是將終端檢測為QR 碼. 對于極小尺寸QR 碼的檢測，本文算法的精確率優(yōu)于對比算法中最高值3.4%，召回率優(yōu)于對比算法中最高值4.1%，這是由于其他算法存在QR 碼與終端的混淆以及QR 碼的漏檢.

多種算法對有效核心目標(biāo)的檢測結(jié)果見表2.本文算法準(zhǔn)確率為79.5%，其單次最多可完成13 個(gè)有效目標(biāo)檢測，且單目標(biāo)檢測平均耗時(shí)為72.5 ms.YOLOv3 tiny 算法獲得最優(yōu)的單目標(biāo)檢測平均時(shí)間消耗，但準(zhǔn)確率也相對最低，這是由該模型的輕量化裁剪導(dǎo)致的. DSSD 與PP-YOLOE 算法獲得較高的準(zhǔn)確率，但其相對耗時(shí)更多，兩者算法中增加的模型結(jié)構(gòu)改善了小目標(biāo)檢測效果，但也帶來運(yùn)算量的增加. YOLOv6 算法的檢測準(zhǔn)確率與平均耗時(shí)相對平衡. 對比可視化結(jié)果如圖5 所示，本文算法完成了畫面中所有10 個(gè)目標(biāo)的檢測定位，其他算法都存在目標(biāo)漏檢，其中DSSD 算法僅漏檢1 個(gè)目標(biāo)，YOLOv6算法漏檢2 個(gè)目標(biāo)，YOLOv3 tiny 與PP-YOLOE 算法都漏檢了3 個(gè)目標(biāo)，但后者檢測框精度更高.

4 結(jié)語

在人群密集場景中實(shí)現(xiàn)批量QR 碼的檢測，具有重要的工程價(jià)值，本文針對其中尺寸較小QR 碼的實(shí)時(shí)有效檢測困難的問題，構(gòu)建了以PP-YOLOE模型為基礎(chǔ)的人群QR 碼輔助檢測系統(tǒng). 系統(tǒng)以PP-YOLOE 模型為尺度跨度較大多類別目標(biāo)檢測的基礎(chǔ). 針對多種目標(biāo)歸屬主體的關(guān)聯(lián)問題，提出一種多視角的圖像采集系統(tǒng)及其關(guān)聯(lián)約束算法. 通過改進(jìn)傳統(tǒng)空間注意力模塊，并添加到PP-YOLOE模型的PAN 網(wǎng)絡(luò)的兩個(gè)相鄰層中，實(shí)現(xiàn)對小目標(biāo)檢測的優(yōu)化. 結(jié)合骨干網(wǎng)絡(luò)中RepResBlock 模塊特征和深度可分離卷積計(jì)算過程，實(shí)現(xiàn)網(wǎng)絡(luò)模型的輕量化，在降低算法參數(shù)量的同時(shí)，提高執(zhí)行效率. 最終實(shí)現(xiàn)密集人群QR 碼的實(shí)時(shí)準(zhǔn)確檢測. 但受到遮擋現(xiàn)象的干擾，多目標(biāo)檢測及多視角目標(biāo)主體關(guān)聯(lián)時(shí)可能產(chǎn)生錯(cuò)誤，其帶來的算法模型漏檢、錯(cuò)檢問題是下一步研究的重點(diǎn).

參考文獻(xiàn)：

[1] 杜紫薇， 周恒， 李承陽， 等. 面向深度卷積神經(jīng)網(wǎng)絡(luò)的小目標(biāo)檢測算法綜述[J]. 計(jì)算機(jī)科學(xué)， 2022， 49（12）： 205-218.

[2] 畢鵬程， 羅健欣， 陳衛(wèi)衛(wèi). 輕量化卷積神經(jīng)網(wǎng)絡(luò)技術(shù)研究[J]. 計(jì)算機(jī)工程與應(yīng)用， 2019， 55（16）： 25-35.

[3] LIU W， ANGUELOV D， ERHAN D， et al. SSD： Singleshot multibox detector[C]//Leibe B， Matas J， Sebe N， et al.Computer Vision – ECCV 2016. Springer， 2016： 21-37.doi： 10.1007/978-3-319-46448-0_2.

[4] LIN T Y， DOLLáR P， GIRSHICK R. Feature PyramidNetworks for Object Detection[C]//The 2017 IEEE Confer?ence on Computer Vision and Pattern Recognition， Hono?lulu： IEEE， 2017： 936-944. doi： 10.1109/CVPR.2017.106.

[5] FU C Y， LIU W， RANGA A， et al. DSSD： Deconvolutionalsingle shot detector[EB/OL]. 2017-01-23. arXiv：1701.06659.

[6] TANG T， WANG Y， LIU H， et al. CFAR-guided dualstreamsingle-shot multibox detector for vehicle detection inSAR images[J]. IEEE Geoscience and Remote Sensing Let?ters， 2022（19）： 1-5. doi： 10.1109/LGRS.2022.3186075.

[7] JU M， LUO J N， WANG Z B， et al. Adaptive feature fusionwith attention mechanism for multi-scale target detection[J].Neural Computing and Applications， 2021， 33（7）： 2769-2781. doi： 10.1007/s00521-020-05150-9.

[8] HOWARD A G， ZHU M， CHEN B， et al. Mobilenets： Effi?ficient convolutional neural networks for mobile vision appli?cations[EB/OL]. 2017-04-17. arXiv：1704.04861.

[9] SANDLER M， HOWARD A， ZHU M， et al. Mobile?NetV2： Inverted residuals and linear bottlenecks[C]//2018IEEE/CVF Conference on Computer Vision and PatternRecognition， Salt Lake City： IEEE， 2018： 4510-4520. doi：10.1109/CVPR.2018.00474.

[10] HOWARD A， SANDLER M， CHEN B， et al. Searching formobilenetv3[C]//2019 IEEE/CVF International Conferenceon Computer Vision. Seoul： IEEE， 2019： 1314-1324. doi：10.1109/ICCV.2019.00140.

[11] IANDOLA F N， HAN S， MOSKEWICZ M W， et al.SqueezeNet： AlexNet-level accuracy with 50x fewer param?eters and lt; 0.5 MB model size[EB/OL]. 2016-02-24. arXiv：1602.07360.

[12] WIECZOREK M， SI?KA J， WO?NIAK M， et al. Lightweightconvolutional neural network model for human face detectionin risk situations[J]. IEEE Transactions on Industrial Informatics，2021， 18（7）： 4820-4829. doi： 10.1109/TII.2021.3129629.

[13] XU S， WANG X， LV W， et al. PP-YOLOE： An evolvedversion of YOLO[EB/OL]. 2022-03-30. arXiv：2203.16250.

[14] RAO L. TreeNet： A lightweight one-shot aggregation con?volutional network[EB/OL]. 2021-09-25. arXiv：2109.12342.

[15] LIU S， QI L， QIN H， et al. Path aggregation network for in?stance segmentation[C]//2018 IEEE/CVF Conference onComputer Vision and Pattern Recognition. Salt Lake City：IEEE， 2018： 8759-8768. doi： 10.1109/CVPR.2018.00 913.

[16] LI X， WANG W， WU L， et al. Generalized focal loss： Learn?ing qualified and distributed bounding boxes for dense objectdetection[EB/OL]. 2020-06-08. arXiv：2006.04388.

[17] REDMON J， FARHADI A. YOLOv3： An incremental im?provement[EB/OL]. 2018-04-08. arXiv：1804.02767.

[18] LI C， LI L， JIANG H， et al. YOLOv6： A single-stage objectdetection framework for industrial applications[EB/OL].2022-09-07. arXiv：2209.02976.

【編校：王露】

基金項(xiàng)目：內(nèi)江市東興區(qū)經(jīng)濟(jì)和信息化局科研項(xiàng)目（QKJ202103）