基于嵌入式終端的YOLOv3 算法優(yōu)化實(shí)現(xiàn)?

侯 勇 楊爭爭 薛少輝 翟二寧

（西北機(jī)電工程研究所 咸陽 712000）

1 引言

目標(biāo)檢測技術(shù)是從特定復(fù)雜場景中提取并自動識別出感興趣目標(biāo)的類別和位置坐標(biāo)信息，目前已經(jīng)被廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)跟蹤和軍事偵察等領(lǐng)域。鑒于傳統(tǒng)的目標(biāo)檢測算法均存在識別準(zhǔn)確率低、跨平臺移植性和魯棒性較差等問題，在分類任務(wù)上大放異彩的深度學(xué)習(xí)技術(shù)已成為該研究任務(wù)的主要手段。目前基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測算法主要劃為兩類：一類是先提取候選區(qū)域再進(jìn)行目標(biāo)檢測的雙步式（Two-stage）檢測，另一類是設(shè)計端到端網(wǎng)絡(luò)直接進(jìn)行回歸預(yù)測的單步式（One-stage）檢測［1］。

其中，雙步式目標(biāo)檢測方法分兩步進(jìn)行，第一步采用選擇性搜索算法大致檢測出目標(biāo)區(qū)域的所在位置，第二步對目標(biāo)區(qū)域位置采取精細(xì)化后再進(jìn)行全局整合。這類最具代表性的算法是RCNN［2］、Fast-RCNN［3］和Faster-RCNN［4］，也被稱為RCNN 系列檢測算法。

由于該類算法采取了較為精細(xì)化的目標(biāo)區(qū)域特征提取方式，相較于傳統(tǒng)使用滑窗遍歷提取特征進(jìn)行目標(biāo)識別的算法，其在檢測準(zhǔn)確度和速度上都有了較大的進(jìn)步。但由于其檢測過程需要兩個步驟，而導(dǎo)致計算量較大，耗時較長，無法滿足實(shí)時性需求。隨后，相關(guān)研究者提出了基于回歸的單步式檢測方法。

單步式檢測方法采用端到端式網(wǎng)絡(luò)結(jié)構(gòu)僅需要一步就可以完成整個目標(biāo)檢測流程。單階段代表性檢測方法包括：SSD［5］、YOLO 系列［6～9］。該類算法不再預(yù)先進(jìn)行目標(biāo)候選區(qū)域的預(yù)測，而是直接通過網(wǎng)絡(luò)回歸的方式輸出待測目標(biāo)的類別與位置坐標(biāo)信息。相比較雙步式目標(biāo)檢測方法，該類算法采用的端到端式檢測流程大幅度地提高了檢測效率。同時，在該類以檢測速度著稱的算法中，YOLO算法取得了非常好的目標(biāo)檢測效果，并且在很多場景中已經(jīng)實(shí)現(xiàn)了工程化落地應(yīng)用［10～13］。并且提出團(tuán)隊對該算法進(jìn)行了系列優(yōu)化，本工作中使用已經(jīng)工程化應(yīng)用的YOLOv3 算法來進(jìn)行輕量化目標(biāo)檢測任務(wù)的訓(xùn)練學(xué)習(xí)，并將訓(xùn)練好的模型部署在百度EdgeBoard 計算盒上，實(shí)現(xiàn)輕量化檢測模型的嵌入式終端落地應(yīng)用。

2 嵌入式終端介紹

本文基于百度EdgeBoard-FZ9B 邊緣AI 計算盒進(jìn)行深度目標(biāo)檢測模型的部署，該計算盒基于Xilinx Zynq UltraScale 和MPSoCs開發(fā)平臺打造，采用Xilinx FPGA 核心處理器將多核ARM Cortex-A53 和FPGA 可編程邏輯集成在一顆芯片上，并在此基礎(chǔ)上搭載了豐富的外部接口和設(shè)備［14］。

2.1 硬件環(huán)境

百度EdgeBoard 邊緣AI 計算盒中內(nèi)含嵌入式FPGA高性能計算卡和深度模型嵌入開發(fā)工具包以及AI 模型加速工具包等，具有強(qiáng)悍的終端加速性能。Xilinx FPGA 高性能的加速引擎提供3.6Tops的強(qiáng)大AI 算力，經(jīng)典分類模型Resnet50 部署在計算盒上實(shí)測可達(dá)到60FPS處理速度，且用戶可以根據(jù)需要輸入百度大腦預(yù)置或自定制算法模型。EdgeBoard 邊緣AI 計算盒具有豐富的開發(fā)資源：定制化圖像識別開發(fā)平臺（EasyDL）、視頻監(jiān)控開發(fā)平臺（EasyMonitor）和開源深度學(xué)習(xí)平臺（Paddle-Paddle）。如圖1 展示了EdgeBoard AI 計算盒實(shí)物圖。

圖1 EdgeBoard AI計算盒實(shí)物圖

EdgeBoard 靈活的芯片架構(gòu)，可適配行業(yè)內(nèi)最前沿、效果最好的算法模型。基于EdgeBoard 打造的軟硬一體化產(chǎn)品，可應(yīng)用于安防、工業(yè)、教育、交通等各個場景。EdgeBoard 計算盒參數(shù)指標(biāo)如表1所示。

表1 EdgeBoard-FZ9B計算盒性能參數(shù)

2.2 軟件環(huán)境

EdgeBoard計算盒基于Linux系統(tǒng)，整個開發(fā)過程就是一個Linux應(yīng)用程序的開發(fā)。應(yīng)用程序獲取視頻輸入，調(diào)用預(yù)測庫加載模型，調(diào)度模型，驅(qū)動加速模塊進(jìn)行計算，加速模型運(yùn)行，獲得運(yùn)行結(jié)果。EdgeBoard計算盒的軟件架構(gòu)如圖2所示。

圖2 EdgeBoard邊緣AI計算盒軟件架構(gòu)

典型圖像識別模型在EdgeBoard-FZ9B 計算盒上的性能數(shù)據(jù)如表2所示。

表2 典型識別模型在計算盒上的性能數(shù)據(jù)

3 YOLOv3模型優(yōu)化

3.1 YOLOv1

YOLOv1 網(wǎng)絡(luò)首先提取輸入待測圖像的特征圖并將其劃分成S*S 個網(wǎng)格，然后用每個格子來預(yù)測所含目標(biāo)物體的矩形邊界框、目標(biāo)所屬類別的概率和置信度。其中，目標(biāo)邊界框信息包含了五個預(yù)測信息，具體包括目標(biāo)物體的中心位置坐標(biāo)（x，y），目標(biāo)的寬w 和高h(yuǎn) 以及預(yù)測物體邊界框相對于真實(shí)目標(biāo)標(biāo)注框（Ground Truth）的重合百分比即IOU，也稱為目標(biāo)預(yù)測框的置信度。檢測時，將每個網(wǎng)格所預(yù)測目標(biāo)的類別概率和每一個目標(biāo)預(yù)測邊界框的置信度相乘，就得到了該目標(biāo)邊界框所屬類別的準(zhǔn)確度，如式（1）所示：

上式中，Pr（Class|Object）表示邊界框預(yù)測目標(biāo)類別的信息，Pr（Object）表示預(yù)測邊界框內(nèi)是否含有目標(biāo)，IOUp表示目標(biāo)預(yù)測邊界框坐標(biāo)的準(zhǔn)確度。YOLO 算法在實(shí)際訓(xùn)練模型時，會選擇網(wǎng)格上與目標(biāo)物體真實(shí)標(biāo)注框重合百分比即IOU 最大的邊界框來預(yù)測目標(biāo)物體位置信息。

隨著網(wǎng)絡(luò)模型的訓(xùn)練迭代次數(shù)增加，檢測精度也在不斷提升。但實(shí)際應(yīng)用中YOLOv1 也顯示出了弊端：

1）因?yàn)槊總€劃分的網(wǎng)格只能預(yù)測一個目標(biāo)類別和兩個矩形邊界框，當(dāng)存在多個目標(biāo)中心落入到一個格子的情況時，模型最終檢測的準(zhǔn)確度將無法保證。

2）v1 框架中沒有考慮到不同比例尺度大小的預(yù)測邊界框設(shè)計，需要借助大量數(shù)據(jù)來支撐模型訓(xùn)練，嚴(yán)重限制了算法模型的泛化能力。

3.2 YOLOv2

YOLOv2是v1模型的升級版本，v2在v1檢測網(wǎng)絡(luò)架構(gòu)基礎(chǔ)上，優(yōu)化使用了骨干網(wǎng)絡(luò)框架Darknet-19，并去掉了Dropout 機(jī)制從而使得整個網(wǎng)絡(luò)模型更容易得到充分訓(xùn)練和收斂。為了進(jìn)一步減小冗余的模型參數(shù)提高計算效率，舍棄了分類任務(wù)常使用的全連接層而改用效率更高的全卷積來進(jìn)行運(yùn)算。同時，相對于v1 網(wǎng)絡(luò)架構(gòu)，v2 中添加了高效率的anchors 多比例尺度預(yù)測框機(jī)制，更精細(xì)化地預(yù)測模型輸出邊界框相較于目標(biāo)真實(shí)標(biāo)注框的偏移量。在模型訓(xùn)練時，通過輸入不同尺度大小的圖像來進(jìn)一步提升模型泛化能力。同時使用了K-means 聚類算法在訓(xùn)練數(shù)據(jù)集的真實(shí)標(biāo)注框中產(chǎn)生目標(biāo)物體對應(yīng)的先驗(yàn)框。

3.3 YOLOv3

相較于v1、v2，YOLOv3 模型整體增加了整個網(wǎng)絡(luò)的深度，提出了Darknet53 的骨干網(wǎng)絡(luò)框架。其借鑒了ResNet［15］網(wǎng)絡(luò)的思想，多次使用了殘差的跳層連接方式，同時為了提取更豐富的高級語義特征信息，V3 網(wǎng)絡(luò)中去掉了池化層與全連接層，而是使用步長為2 的卷積操作來替代傳統(tǒng)的池化層對較大特征圖進(jìn)行下采樣操作。同時結(jié)合多尺度預(yù)測機(jī)制，YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，分別在三種尺度上進(jìn)行目標(biāo)檢測，每種尺度的特征圖各產(chǎn)生三個預(yù)測框，每個目標(biāo)框返回四個坐標(biāo)參數(shù)。YOLOv3 使用邏輯回歸判定每個邊界框的目標(biāo)評分，如果預(yù)測框與真值框重疊超過某一閾值，則設(shè)置其目標(biāo)評分為1，最后根據(jù)目標(biāo)評分結(jié)果選擇對應(yīng)的預(yù)測框。

圖3 原始YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

3.4 YOLOv3網(wǎng)絡(luò)優(yōu)化

為了進(jìn)一步優(yōu)化模型參數(shù)，提升檢測模型的推理速度，本文將原始骨干網(wǎng)絡(luò)Darknet-53 替換為高效的輕量化網(wǎng)絡(luò)MobileNetv1［16］。Mobile-Netv1 網(wǎng)絡(luò)主要利用點(diǎn)卷積和分組卷積操作來替代原來的標(biāo)準(zhǔn)卷積操作，可以極大地消除網(wǎng)絡(luò)中卷積運(yùn)算部分，從而使得網(wǎng)絡(luò)整體計算量和復(fù)雜度大大減小。我們將該網(wǎng)絡(luò)模型命名為YOLOv3-MobileNetv1，詳細(xì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 YOLOv3-MobileNetv1網(wǎng)絡(luò)結(jié)構(gòu)

4 YOLOv3模型優(yōu)化與部署

4.1 實(shí)驗(yàn)環(huán)境

本節(jié)對優(yōu)化后的YOLOv3-MobileNetv1 模型進(jìn)行訓(xùn)練和部署，實(shí)驗(yàn)中用到的軟硬件環(huán)境如表3 所示。

表3 實(shí)驗(yàn)軟硬件環(huán)境

4.2 實(shí)驗(yàn)數(shù)據(jù)集

在目標(biāo)檢測領(lǐng)域，PASCAL VOC 數(shù)據(jù)集是經(jīng)典且具有影響力的基準(zhǔn)數(shù)據(jù)集。PASCAL VOC 從2005 年開始舉辦挑戰(zhàn)賽，數(shù)據(jù)集包含的樣本數(shù)量和類別也在不斷完善更新。PASCAL VOC 數(shù)據(jù)集的層級結(jié)構(gòu)如圖5所示。

圖5 PASCAL VOC數(shù)據(jù)集層級結(jié)構(gòu)

在本工作中，我們采用VOC2007 數(shù)據(jù)集來訓(xùn)練和測試優(yōu)化后的YOLOv3 網(wǎng)絡(luò)。該數(shù)據(jù)集的樣本統(tǒng)計信息如表4所示。

表4 PASCAL VOC2007數(shù)據(jù)集統(tǒng)計信息

4.3 目標(biāo)損失函數(shù)

YOLOv3-MobileNetv1 網(wǎng)絡(luò)的目標(biāo)損失函數(shù)如式（2）所示。共分為三部分：坐標(biāo)預(yù)測誤差，置信度預(yù)測誤差和類別預(yù)測誤差。網(wǎng)絡(luò)在預(yù)測目標(biāo)位置時將特征圖劃分為S*S 個網(wǎng)絡(luò)，每個網(wǎng)絡(luò)又分別產(chǎn)生B 個目標(biāo)候選框，每個候選框經(jīng)過迭代優(yōu)化會得到相應(yīng)的Bounding Box。

4.4 網(wǎng)絡(luò)訓(xùn)練配置文件

表5 分別定義了YOLOv3-MobileNetv1 網(wǎng)絡(luò)訓(xùn)練過程中的學(xué)習(xí)率Lr、優(yōu)化器Optimizer、迭代次數(shù)Iter和Batch Size等參數(shù)。

表5 網(wǎng)絡(luò)訓(xùn)練配置文件

4.5 檢測模型識別性能評估

通常，PASCAL VOC 數(shù)據(jù)集檢測性能的評價標(biāo)準(zhǔn)為MAP，即數(shù)據(jù)集中所有類別目標(biāo)的檢測準(zhǔn)確率平均值，本工作中沿用該評價標(biāo)準(zhǔn)。

4.6 實(shí)驗(yàn)結(jié)果分析

在PASCAL VOC2007 訓(xùn)練集上優(yōu)化好網(wǎng)絡(luò)模型后在相應(yīng)的測試集上進(jìn)行測試，得到的測試精度MAP為76.2%。

同時，在圖6（a）～6（b）中展示了訓(xùn)練收斂的模型在PASCAL VOC2007 測試數(shù)據(jù)集上得到的部分檢測結(jié)果。其中，上邊是原始測試圖像，下邊是訓(xùn)練收斂的YOLOv3-MobileNetv1 模型推理得到的目標(biāo)檢測結(jié)果，檢測結(jié)果圖包含了預(yù)測目標(biāo)的類別、置信度和位置坐標(biāo)等信息。

圖6 測試結(jié)果展示

從圖6（a）～6（b）展示的部分測試結(jié)果來看，優(yōu)化后的YOLOv3-MobileNetv1 模型對于行人、風(fēng)箏等小目標(biāo)均具有良好的檢測識別效果。

接下來將訓(xùn)練收斂好的檢測網(wǎng)絡(luò)模型部署到EdgeBoard-FZ9B 計算盒上，同時在互聯(lián)網(wǎng)上采集了一些飛機(jī)、坦克等典型軍事目標(biāo)圖像，并基于計算盒使用該模型進(jìn)行檢測，測試結(jié)果如圖7（a）～7（b）所示。其中，上邊是原始測試圖像，下邊是計算盒上部署模型推理的檢測結(jié)果。

圖7 計算盒部署模型測試結(jié)果展示

從圖7（a）～7（b）展示的測試結(jié)果來看，計算盒上部署的YOLOv3-MobileNetv1 模型對于飛機(jī)、坦克等典型軍事目標(biāo)圖像均具有良好的檢測識別效果。

5 結(jié)語

近年來，目標(biāo)檢測技術(shù)廣泛應(yīng)用于視頻監(jiān)控、目標(biāo)動態(tài)跟蹤和軍事偵察等多個領(lǐng)域。本文首先對先進(jìn)的YOLOv3 目標(biāo)檢測模型進(jìn)行了輕量型優(yōu)化，將骨干網(wǎng)絡(luò)Darknet-53 替換為更為高效的MobileNetv1網(wǎng)絡(luò)，極大地縮減了網(wǎng)絡(luò)模型的參數(shù)和計算量。之后基于經(jīng)典的PASCAL VOC2007 圖像目標(biāo)檢測數(shù)據(jù)集對YOLOv3-MobileNetv1 模型進(jìn)行了充分訓(xùn)練，并在相應(yīng)的測試集上取得了76.2%的高識別準(zhǔn)確度。之后將訓(xùn)練收斂的模型部署在百度EdgeBoard-FZ9B AI 計算盒上，并采集了部分互聯(lián)網(wǎng)上的圖像進(jìn)行測試。實(shí)驗(yàn)結(jié)果表明優(yōu)化后的YOLOv3-MobileNetv1 檢測模型具有優(yōu)良的目標(biāo)識別性能，并可以高效地部署到嵌入式終端以實(shí)現(xiàn)目標(biāo)識別技術(shù)的落地應(yīng)用。但同時由于PASCAL VOC數(shù)據(jù)集的訓(xùn)練樣本有限，在一定程度上限制了模型的最終識別性能。在下一步研究工作中，可以進(jìn)一步采取一些手段來擴(kuò)充訓(xùn)練的數(shù)據(jù)樣本量，并通過充分訓(xùn)練來獲取準(zhǔn)確率更高的深度檢測模型，以更高效地部署到嵌入式終端。