基于OpenCV的機器人目標檢測候選區域生成算法

喬詩展

摘? 要：針對當前目標檢測算法主要集中在GPU上運行且對家庭機器人任務針對性不強的問題，提出了一種基于OpenCV的RMFC算法。該算法首先對輸入圖像進行裁剪、腐蝕、Canny邊緣檢測操作;其次使用二維順序查找的方法過濾地面邊緣以外的區域;隨后使用卷積判斷模塊抽取物體的位置，最后在視頻測試集上測試，結果表明該方法在快速提高檢測速度的同時兼顧了準確性及針對性，并得到每幅圖像少于10個的候選區域。

關鍵詞：目標檢測;候選區域;順序查找;卷積

中圖分類號：TP311.5 文獻標志碼：A 文章編號：2095-2945（2020）17-0001-06

Abstract： In order to solve the problem that the current target detection algorithms mainly run on GPU and are not targeted to home robot tasks， a RMFC algorithm based on OpenCV is proposed. Firstly， the algorithm clips， erodes and conducts Canny edge detection to the input image. Secondly， the two-dimensional sequential search method is used to filter the areas outside the ground edge. Then， the algorithm utilizes a two-dimensions sequential search to filter the regions out of the bound of the ground. To extract the position of objects， the convolution and judge method would be processed after that. Finally， after the video data test， it is demonstrated that the algorithm can reach the balance among speed， accuracy， and pertinence. Also， the region proposal in every picture is less than 10.

Keywords： object detection; region proposal; sequential search; convolution

1 概述

近年來隨著家庭機器人的發展，諸如樹莓派、32單片機被廣泛搭載于機器人之上。而原生樹莓派不支持CPU加速，其資源也較為緊張，而在家庭機器人中，識別目標是進行目標抓捕的前提[1]。而目標候選區域的生成（Region Proposal， RP）又是識別目標的基礎。因此對于以樹莓派等為核心的家庭機器人而言，進行目標的實時定位仍是目前的挑戰之一。

Girshick等人提出的Fast-RCNN模型，采用選擇搜索（Selective Search， SS）來提取目標，而使用該方法在CPU上進行RP時每張圖片需花費2秒，無法做到實時檢測[2]。而Ren等人提出的Faster-RCNN網絡首次采用了候選區域生成網絡（Region Proposal Network，RPN）及GPU加速來完成候選區域生成的過程[3，4]。此外Redmon等人在2016年提出了YOLO模型，采用回歸的方式實現了目標的檢測，每張圖片僅生成98個候選區域，使訓練和測試的速度大幅提升[5]。

而對非機器學習算法而言，原生SIFT算法在進行目標檢測時，關鍵點配對查準率低，速度較慢[6]。此外Zitnick等人提出了一種基于邊緣檢測的Edge Boxes算法，該算法采用結構化邊緣檢測算法生成邊緣，隨后遍歷邊緣組成邊緣組（edge group， EP），并以EP的相似度對EP進行評分，最后輸出評分較高的候選區域[7，8]。

綜上，國內外眾多學者的研究已提出了基于機器學習算法和非機器學習算法實現RP的方法。但仍然存在下述問題：（1）CPU環境下使用機器學習算法速度較慢，效率較低。（2）針對諸如掃地機器人等家庭機器人的目標檢測任務無針對性策略。（3）生成的候選框個數較多。

針對上述問題，本文針對家庭機器人行動貼近地面的特征提出了一種基于OpenCV實現的區域遮罩-卷積判斷模型（regionMask-fakeConv，RMFC）。該模型基于Canny算子進行圖像的邊緣檢測，并通過平均顏色模型及順序查找的方法提取地面的有效區域，隨后通過卷積判斷模塊獲取候選框，能有效減少候選框的數量，并加速圖像的運算[9]。

2 算法框架

RMFC模型的總體框架如圖1所示。首先通過OpenCV的imread（）函數輸入包含地面及地面上物體的BGR三通道圖像，在進行數據預處理和圖像裁減后，進入區域遮罩二維搜索算法（regionMask）中查找并去除地面邊界。隨后進行卷積判斷（fakeConv）算法，進行目標的定位和提取操作，最后生成目標的候選區域框。

2.1 平均顏色模型

由于光線的直線傳播原理及地面顏色一般較均勻，目標物體和地面間的亮度和梯度差異較大。而如圖2所示，通過取圖形最下方的區域作為模板，對模板內像素點（取值為0-255）取平均值后對灰度圖像做絕對值差分，并進行類型轉換，得到整張灰度圖像與地面平均像素值的差異。該差異充分體現了物體與地面間的亮度差異。而所選區域的大小一般為整張圖像的，可近似于地面的總體顏色，因此可在未定義地面顏色的情況下進行處理。

2.2 regionMask搜索算法

2.2.1 二維空間的順序查找

regionMask搜索算法的本質是一種順序查找算法。而地面的邊界分為如圖3所示的四種情況。

其中，I型邊緣和II型邊緣的主要特征為左右兩側地面邊界所連的圖像邊界均在圖像下沿或圖像左右兩側。而III型邊緣及IV型邊緣的特征為各有一邊連于圖像下邊緣，另一側連與圖像的左/右邊界。此外，地面邊緣還具有（1）地面邊界均成直線或近似為直線;（2）地面邊界外可能有其他物品等特點。

因此，若需將地面區域從圖像中分割出來，可先取圖像下邊緣中點分別朝左及右側順序搜索，當目標像素為黑色（值為0）時，進行下一個像素的搜索。而當目標像素為白色（值為255）時，停止搜索，如圖4所示。

將停止搜索的點記為點A，如圖5所示，進行斜向上的搜索算法，直到搜索到下一個點B，并記錄點A、B的坐標（w1，h1）及（w2，h2）。設地面邊界所連于圖像上邊緣的點為C，坐標為（w3，0），則A、B、C三點近似滿足關系式（1）及式（2）。

2.2.2 重合點映射算法

順序查找存在查找失敗的可能，針對于上述任務，查找失敗時查找點的坐標為（0，0）或（W，0），此時無法構建出一條直線。因而需要將該點視為重合點，分別垂直地向兩個方向移動一段距離，視作一條直線，如圖6所示。

2.2.3 圖像與操作

由順序查找算法及各邊緣的類型可得地板邊界各點的坐標，而OpenCV中的fillPoly（）函數可將各點繪制成一個閉合且填充非0值像素點的多邊形。利用bitwise_and（）函數使該多邊形與原始圖像進行像素點的操作，可將地面多邊形以外的像素點全部排除，僅保留地面多邊形內的像素點。

2.3 fakeConv判斷算法

針對regionMask搜索算法生成的圖像具有較多0值像素點的問題，可采用逐一卷積判斷的方法。如圖7所示，分別截取圖像15*15的像素區域，對其中的像素點的值作和S，其等價于采用size=15的全1卷積核對圖像進行卷積。

而當S=0時，說明感受野內均為0值像素點，可另等價的卷積核直接向右移動size=15個單位，進行下一步卷積判斷。

當S≠0時，說明感受野內存在非0值像素點，此時感受野每次均向右移動一格，并記錄下當前的S，及當前點的坐標（wx，hx），按照式（4）計算結果R。

其中式（4）中分母所代表的幾何含義即當前點距機器人視野中心點（，H）之間的距離。因而距離視野中心點的距離越大，所占的權重也越小，也即物體被注意到的可能性也就越小。因而該公式也對regionMask搜索算法沒有除凈的邊界點起到了一定的過濾作用。

上述fakeConv算法會對卷積結果不為0的點進行結果的計算，但此時列表長度較長，且對同一個物體會有不同的候選點。因此可通過列表降序排列，且設定物體間距來進行候選點過濾。而考慮部分物體靠近地面邊緣，即距離機器仍有一定的距離，因此可判斷通過候選點所生成的矩形左上點是否超出地面區域從而判定該物體是否被檢測到。

此外，對區域內的物體，按照候選區域左上角距視野中心距離進行排序，以起到后期對機器人抓捕目標路徑規劃的作用。

2.4 Jit-RMFC算法

針對含有大量for循環及numpy數組運算的python代碼，由于Python解釋器逐行轉換和編譯的原理，其效率會非常低。而Python中的Numba庫可通過即時編譯（Just In Time， JIT）功能將Python代碼預先轉換為本地機器碼，從而達到提高效率的目的[10]。

而RMFC中的fakeConv和regionMask的二維搜索部分恰好具備了含有大量循環及numpy數組運算的特性，因此可以通過Jit進行編譯加速。并且，使用Jit加速只需要在需加速的函數前添加一個裝飾器，無需改動算法框架。

3 實驗

3.1 實驗環境

本文使用一臺搭載Intel（R） Core（TM） i7-8750H的CPU的個人計算機在Windows10下進行實驗，RAM大小為8GB。使用python語言的OpenCV 3.4.1版本編寫，采用CPU進行運算。

3.2 實驗數據集

如圖8所示，測試數據集為一段長1分35秒的視頻，共包含2864張圖片，每張圖片中含有0-10個中央物體，每張圖片大小為1280*720，為確保差異度，每隔五幀取一張圖片作為測試數據。

測試集讀取使用OpenCV提供的VideoCapture（）函數逐幀讀取，隨后對每一幀進行運算，運算的結果使用imwrite（）函數保存到本地，直到最后一幀讀取完畢。

3.3 數據預處理

考慮到1280*720的輸入圖片過大，因此首先使用OpenCV的resize（）函數，將輸入圖片調整為384*216的尺寸作為算法的輸入。隨后使用cvtColor（）函數將輸入圖像轉化為灰度圖，并使用absdiff（）函數做圖像差分，erode（）函數做圖像形態學的腐蝕操作，其中腐蝕濾波器的大小為5*5，最后再使用Canny（）函數完成圖像的邊緣檢測。

3.4 評估指標

模型評估主要采用平均用時、查準率、候選框個數三個指標，平均用時T和查準率P的計算公式如式（5）及式（6）所示。選取SS算法、Edge Boxes算法與本模型進行性能對比。

3.5 實驗結果及分析

RMFC模型及其他模型的實驗數據如表1所示。

從表中可以看出，RMFC模型每張圖片的用時僅為Edge Boxes的三分之一左右，而經過JIT加速后的Jit-RMFC模型的用時僅為原生RMFC模型的五分之一。且RMFC模型生成的候選框個數相比于SS和Edge Boxes均明顯減少，查準率相較于上述兩種方法提高了4%左右。

而在平臺方面，對比其他神經網絡模型，包括Faster RCNN， YOLO等機器學習算法的結果如表2所示。

對于Faster-R-CNN的RPN和YOLO而言，輸入圖像后首先需要將比例縮放到1：1，這樣會讓圖像產生擠壓，從而丟失一些特征并影響精度。針對地面視覺導航而言，由于地面視野較寬，因而整體圖像長寬比較大，不宜采用壓縮到1：1的方式進行數據的處理，這也是RPN和YOLO的一個缺陷。

在速度方面，Jit- RMFC模型在CPU上處理每張圖片的速度超過了GPU上的原生DPM，并且接近RPN在GPU上的用時。Jit-RMFC模型每秒可處理59.8張圖片，對于機器人輸入的視頻流，達到了實時檢測的效果。

對于RMFC模型而言，由于一開始的resize（）操作，改變了輸入圖像的大小，雖然不改變原始比例，但由于大小的改變造成了特征丟失，導致查準率下降。而由于Jit-RMFC的效率是原生RMFC的六倍，因此可以適當增加圖像大小，同時保證實時性，即每秒處理30張以上圖片。增加圖像大小后Jit-RMFC的準確率及效率如表3所示。

從表中可看出，隨著Resize的大小不斷增大，查準率也在緩慢增大，而Resize尺寸達到原圖的50%時，該算法依然可以在保證查準率的情況下實時檢測。

4 結論

為了針對性地解決家庭機器人視覺導航中目標檢測的RP問題，提出了一種基于OpenCV的RMFC算法。一方面，通過regionMask可快速提取出地面的有效區域，同時抑制掉地面邊緣以外的區域，可讓候選區域生成的有效范圍比例增大。另一方面，通過fakeConv算法，可有效并快速提取目標所在區域而無需經過漫長的訓練過程，在一定程度上節約了移動機器人的資源。

參考文獻：

[1]Gareth， Halfacree. Raspberry Pi user guide. Raspberry Pi User Guide. Wiley Publishing， 2014.

[2]Girshick， Ross. Fast R-CNN. Computer Science （2015）.

[3]Ren， Shaoqing， et al. Faster R-CNN： Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis & Machine Intelligence， 39.6（2015）：1137-1149.

[4]Shih KH， Chiu CT， Lin JA， Bu YY. Real-Time Object Detection with Reduced Region Proposal Network via Multi-Feature Concatenation [published online ahead of print， 2019 Aug 21]. IEEE Trans Neural Netw Learn Syst.

[5]Redmon， Joseph， et al. You Only Look Once： Unified， Real-Time Object Detection. 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） IEEE， 2016.

[6]Prakash， Choudhary Shyam， et al. Detection of copy-move forgery using AKAZE and SIFT keypoint extraction. Multimedia Tools and Applications 7（2019）.

[7]Zitnick， Charles Lawrence， and P. Dollar. Edge Boxes： Locating Object Proposals from Edges. （2014）.

[8]Piotr Dollár， and L. C. Zitnick. Structured Forests for Fast Edge Detection. ICCV IEEE Computer Society， 2013.

[9]Canny， John. A Computational Approach To Edge Detection. IEEE Transactions on Pattern Analysis and Machine Intelligence PAMI-8.6（1986）：679-698.

[10]Lam， Siu Kwan， A. Pitrou， and S. Seibert. Numba： a LLVM-based Python JIT compiler. the Second Workshop ACM， 2015.

[11]Felzenszwalb， Pedro F， et al. Object Detection with Discriminatively Trained Part-Based Models. IEEE Transactions on Software Engineering，32.9（2010）：1627-1645.