基于動態視覺傳感器成像的行人檢測算法研究?

童曉斌 范平清

（上海工程技術大學機械與汽車工程學院 上海201620）

1 引言

傳統相機以矩陣形式存儲及處理圖像信息。這是一種簡單通用的圖像存儲格式，但對于實際中的圖像處理而言可能并不理想。因為原始的視頻數據對于實時存儲，傳輸及后端處理而言相當巨大。綜合圖像采集及處理系統必須由功能強大的計算機或是昂貴的專業協同處理設備支持。

瑞士蘇黎世聯邦理工學院的J?rg Kramer教授發明了第一個動態視覺傳感器（DVS）［1］。動態視覺傳感器模仿生物視覺的工作機理，像素異步工作，僅輸出光強發生變化像素的地址和信息，而不是被動依次讀出“幀”內每個像素信息［2］。這從源頭上消除了冗余數據，還可以將目標從背景中分離開，減少圖像傳感器輸出的數據量。因此大大降低了對后端處理能力的要求，而相關的算法的實現也就相對容易。這使實際應用過程中不需要非常大的存儲單元，也不需要運算能力非常強的處理器，使算法可以在各種嵌入式終端上快速實現。同時，DVS還具有高幀頻、大動態范圍等特點，非常適合高速運動的場景。由于動態視覺傳感器生成的圖片與傳統的CCD、CMOS圖像傳感器生成的圖片有很大的不同，其圖像處理算法需要有針對性的改進，才能充分發揮動態視覺傳感器的優勢。

2 改進的MobileNet-YOLOv3算法

2.1 目標檢測算法

傳統的目標檢測方法通常采用特征工程結合分類器的方法。首先使用算子（如HOG、SHIFT、Haar）提取特征，然后選擇合適的分類器（如SVM、Adaboosting）依據特征進行分類，得到目標檢測結果［3］。但是傳統方法存在兩個致命缺點：1）手工設計的特征缺乏魯棒性；2）算子選擇依賴于大量人工經驗［4］。

基于深度學習的目標檢測方法主要有兩類：一類是將檢測算法分兩步實現，分別是生成建議框和分類，典型代表有Fast R-CNN系列［5］，其檢測效果較佳，但是在速度方面還遠不能滿足實時檢測需求。另一類是端到端的檢測算法，使用回歸思想，典型代表有YOLO系列［6］、SSD［7］。然而此類大型的網絡參數多、計算量大、生成模型大，還是難以移植到計算能力及存儲空間有限的嵌入式終端應用。

目前，優化卷積神經網絡降低其運行所需條件的方法主要有以下四類：一是采用手工方式設計高效 的 精 細 模 塊，典 型 代 表 有SqueezeNet［8］、Mo?bileNet系列［9］、Inception系列［10］。二是通過網絡剪枝與稀疏化，去除模型中冗余的參數，減少計算量［11］。三是使用知識遷移［12］，通過訓練好的教師網絡得到學生網絡，完成網絡的壓縮與加速。四是張量分解，張量分解的思想即是將原始張量分解為若干低秩張量，有助于減少卷積操作數量，加速網絡運行過程［13］。

2.2 MobileNet-YOLOv3算法

MobileNet是一種基于深度可分離卷積的模型。標準卷積一步完成從輸入到輸出的運算，所需算力較大。而深度可分離卷積是將標準卷積分解成兩步，分別是深度卷積和1×1的逐點卷積。Mo?bileNet先用深度卷積對每一個輸入通道分別進行濾波，然后使用逐點卷積來結合所有深度卷積得到的輸出［14］。這種分解能夠有效地減少計算量以及模型的大小。其壓縮率為

如圖1所示，一個標準的卷積被分解成深度卷積以及1×1的逐點卷積。DK為卷積核大小，N為輸入通道數，M為輸出通道數。

圖1 MobileNet原理示意圖

MobileNet-YOLOv3（下 文 簡 寫 為MY3）是Github上的一個開源項目。在計算量，存儲空間和準確率方面取得了非常不錯的平衡。Mo?bileNet-YOLOv3-lite（下文簡寫為MYL3）是項目提供的對MobileNe-YOLOv3精簡后的網絡。

2.3 Mobilenet-YOLOv3算法的改進

動態視覺傳感器僅有發生事件（光照強度變化）的單元對外輸出信號，無事件發生的單元不對外輸出。所以，DVS對運動物體非常敏感而與其相對靜止的物體則不會成像。如圖2所示，在靜態采集圖片時，像地面、建筑等不會運動的背景信息都被很好地過濾掉了。其次，DVS輸出的是每個發生事件的單元的亮度信息，所以它的成像是沒有顏色信息，但又與普通的灰度圖像不同，具有清晰的輪廓信息，紋理信息較少。

圖2 行人圖片

顯而易見，該圖像比彩色圖像、普通灰度圖像具有更少更突出的特征與信息。所以，對網絡的改進方法提出了兩個猜想。第一，網絡更容易從該類圖像中學習到有用的特征，可以采用更淺的網絡。第二，使用單通道訓練，并減少一部分訓練過程中的圖像變換，如圖像對比度、飽和度等，不會降低算法的檢測效果。

然而，該類圖像只有較少的可用特征，可能導致算法的檢測效果不如在普通圖像上好。為此，加入了ResNet結構。

ResNet［15］的設計思想是使某一層網絡的輸出直接輸入到后面相隔幾層的網絡中。信息在卷積網絡或者全連接網絡中傳遞的時候，或多或少會有一定的損失。ResNet通過將原始的數據與經過卷積的數據融合，使信息得到更加充分的利用，包括在前向傳播時提供特征重用，在反向傳播時緩解梯度信號消失。ResNet的結構如圖3中的RES單元所示。

基于以上總體設計原則，最終得到的改進算法MobileNe-YOLOv3-ResNet（下文簡寫為MYR3）的結構如圖3所示。

圖3 MobileNet-YOLOv3-ResNet的結構圖

3 實驗與分析

3.1 基于動態視覺傳感器的行人數據集

在目標檢測問題中，訓練數據集的選擇和原始圖像的標簽制作是兩個至關重要的步驟，原始圖像標簽的準確性直接影響訓練效果和測試的準確性［16］。由于此類攝像頭還未普及，所以需要自行采集、標注數據集。本文采集數據使用的是芯侖光電動態圖像傳感器。本數據集一部分是在行車測試中采集的，另一部分則是在學校出入口、小區出入口、商場出入口等人流量比較大的地方定點采集的。數據集圖像像素為1080*800共包含2400張行人圖片，其中360張為測試集。手工標注圖像，并生成lmdb文件。

3.2 實驗環境配置與測試指標

在Ubuntu 16.04操作系統下進行實驗。為了提高計算速度、減少訓練時間，使用Nvidia GeForce GTX2080 Ti顯 卡、CUDA10.2和cuDNN7.1，調 用GPU進行加速。

本文用四個指標來衡量網絡的優劣：FLOPs、Recall、Precision、AP。

FLOPs在CNN中用來指浮點運算次數，即實現該算法所需的算力。查全率（Recall）是測試集中所有正樣本樣例中，被正確識別為正樣本的比例。查準率（Precision）是在識別出來的圖片中，被正確識別為正樣本的比例。

其計算公式為

其中，TP、FN和FP分別為真正例、假反例和假正例的數量。

AP即平均精度。本文使用的是11-point inter?polation的方法。設 定一組recall閾 值，［0，0.1，0.2，…，1］。recall分別處于某個閾值時，各求得一個對應的最大precision，共計11個。AP即為這11個precision的平均值。

3.3 實驗結果與分析

訓練過程中，對算法的平均損失指標進行動態記錄，隨著迭代次數的不斷增加，變化趨勢如圖4所示。

圖4 訓練損失對比曲線

損失值體現了算法在訓練集上的驗證效果。損失值越大即算法在訓練集上的檢測結果與標注結果差別越大，即算法的性能越差。觀察圖4，可以發現MYR3的訓練損失下降速度遠快于MY3、MYL3、MobileNe-YOLOv3-Single（僅將三通道訓練改為單通道訓練，下文簡寫為MYS3）。且其最終的損 失 值 也 遠 小 于MY3、MYL3、MYS3。MY3與MYS3的損失下降速度，和最終值都要好于MYL3。

用訓練好的網絡在測試集上進行測試，得到測試效果如圖5所示。

圖5 檢測效果對比圖

記錄各項測試指標的值，制成表格如下

表1 測試結果對比

以上的Precision值與Recall值是在置信度為0.5的情況下檢測所得。顯而易見，改進的MYR3在四項指標上都要明顯好于MY3、MYL3、MYS3。其中MYR3的Flops僅為原算法的19.7%。在性能上，查全率提高了8%，平均精度提高了4.8%。除了MYL3的查準率略差一籌，另外的算法在查準率一項差別不大。

結合圖4中MY3與MYR3的損失下降趨勢與結果差別不大。可見，在該類圖像上使用單通道訓練，能大大地降低算法的所需算力，而對算法的檢測效果并無明顯差異。

4 結語

現在的深度學習算法基本上都是在彩色圖或灰度圖上訓練與識別。其優勢是包含信息豐富，物與人的特征較多。然而，這使得算法需要更深更龐大的網絡來達到一個滿意的效果。本文基于動態視覺傳感器的成像特點，研究了在特征信息少而突出圖片上的深度學習算法。首先，對MobileNe-YOLOv3算法進行剪枝。其次，加入ResNet結構，得到了改進的算法MobileNe-YOLOv3-ResNet。然后，將MobileNe-YOLOv3-ResNet、MobileNe-YO?LOv3-Single與 原 本 的MobileNe-YOLOv3、Mo?bileNet-YOLOv3-lite在自主采集的行人數據集上訓練、檢測。通過對結果的分析，證明Mo?bileNe-YOLOv3-ResNet大大減少了算法所需的計算量，并對算法檢測效果有一定的提升。由此可見，此類特殊成像的相機與相應的算法結合，有利于深度學習算法在算力有限的嵌入式終端快速實現。