基于目標(biāo)檢測結(jié)果的輪廓及顏色識別研究

余化鵬， 李 舟， 楊新瑞， 劉 雷(成都大學(xué) 信息科學(xué)與工程學(xué)院， 四川 成都 610106)

0 引 言

隨著深度學(xué)習(xí)相關(guān)領(lǐng)域的發(fā)展，實時目標(biāo)檢測相關(guān)技術(shù)也迅速發(fā)展起來.在目標(biāo)檢測結(jié)果的基礎(chǔ)上，目標(biāo)的輪廓提取、顏色識別則是進一步完成目標(biāo)屬性識別的重要環(huán)節(jié).對于復(fù)雜場景下的目標(biāo)輪廓提取，基于深度學(xué)習(xí)的實時目標(biāo)檢測系統(tǒng)通常能較好地標(biāo)出物體的位置矩形框，但目標(biāo)檢測系統(tǒng)本身就采用了深度學(xué)習(xí)方法，如輪廓提取再次使用深度學(xué)習(xí)方法，需要的計算資源過大，對于實時目標(biāo)檢測系統(tǒng)來說，其代價難以承受.深度學(xué)習(xí)方法還可能導(dǎo)致識別結(jié)果有誤，學(xué)到錯誤的特征.而且，深度學(xué)習(xí)的方法依賴大量有標(biāo)定的數(shù)據(jù)集，這部分工作通常只能由人力完成，輪廓識別的準(zhǔn)確度依賴于數(shù)據(jù)集標(biāo)定的準(zhǔn)確度，準(zhǔn)確的輪廓標(biāo)定需要消耗大量人力資源和成本.本研究通過手工標(biāo)定了700幅含有無人機輪廓的圖像，在Mask R-CNN[1]模型上訓(xùn)練出了無人機檢測和輪廓提取模型，檢測效果和精度合宜，但其輪廓提取需要耗費大量計算資源，其效率無法滿足實時系統(tǒng)的要求.

對于復(fù)雜環(huán)境下的目標(biāo)輪廓提取，本研究嘗試直接通過Canny邊緣檢測算法[2]、Marr-Hildreth[3]邊緣檢測算法對圖像進行檢測，雖能較好地提取圖像中的邊緣，但無法定位哪部分邊緣是屬于感興趣的目標(biāo)，難以使用底層數(shù)字圖像處理的方法.背景區(qū)域和目標(biāo)區(qū)域在數(shù)字圖像的層面并沒有本質(zhì)區(qū)別，無法直接用底層方法加以區(qū)分.

實時目標(biāo)檢測系統(tǒng)能檢測出目標(biāo)所在位置并標(biāo)定矩形框，在此矩形框中的圖像主要部分即為物體的主體(即圖像的尺度近似等于目標(biāo)的尺度)，其圖像范圍已經(jīng)縮小，然而基于深度學(xué)習(xí)方法的輪廓提取并沒有很好地利用這個先驗知識.為此，本研究在結(jié)合了多種基于數(shù)字圖像處理的算法后，提出了一種基于目標(biāo)檢測結(jié)果的輪廓提取方法.在已有目標(biāo)輪廓的情況下，目標(biāo)的顏色也易于識別.本研究通過對輪廓內(nèi)包圍的像素點在HSI顏色空間下進行統(tǒng)計，識別目標(biāo)主體顏色.本研究首先將檢測結(jié)果(與目標(biāo)尺度大致相當(dāng))的圖像提取出來，將其灰度化后用Canny邊緣提取算法進行初步輪廓提取.同時，為減少噪聲所帶來的誤差、將目標(biāo)的主體提取出來，進行多次形態(tài)學(xué)閉操作使邊緣主體部分?jǐn)U大，隨后在形態(tài)學(xué)閉操作后的圖像中尋找最大輪廓，將其繪制并傳入顏色識別模塊.

1 Canny邊緣提取原理

首先考慮如何將輸入的圖像轉(zhuǎn)換為灰度圖?目前，常見的三原色RGB圖像轉(zhuǎn)為灰度圖的算法有3種，本研究采用的是較廣泛使用的一種.任何顏色都由紅、綠、藍三原色組成，如某點的顏色為RGB(R，G，B)，其灰度圖像對應(yīng)的點的灰度值gray為，

gray=R×0.3+G×0.59+B×0.11

(1)

由式(1)計算出灰度值，產(chǎn)生灰度圖像后， 本研究通過Canny邊緣檢測算法來初步提取圖像的輪廓.

Canny邊緣檢測算法基于3個基本原則：同時考慮查準(zhǔn)率與召回率，盡可能找到所有真實的邊緣，同時應(yīng)該盡量降低偽響應(yīng)；邊緣點的定位誤差應(yīng)該低，真實邊緣中心與檢測器標(biāo)記為邊緣的點之間的距離應(yīng)該最小；僅檢測出單一邊緣點，對于一個真實邊緣點，檢測器應(yīng)僅檢測并返回一個點，而在只有一個單一邊緣點的位置，檢測器不應(yīng)返回多個邊緣點.

Canny邊緣檢測算法在數(shù)學(xué)層面表達了此3個基本原則，具體如下：

1)令f(x,y)表示輸入圖像，G(x,y)表示高斯函數(shù)，

(2)

用G和f的卷積形成一幅平滑后的圖像，

(3)

上述過程采用高斯濾波器將輸入圖像平滑.隨后，計算出該點的梯度幅值和方向，

(4)

和

(5)

2)通過計算出的梯度方向矩陣α(x,y)對梯度幅值矩陣M(x,y)進行非極大值抑制.首先將梯度方向離散化為4個方向，即上下、左右、正斜與反斜，以便對應(yīng)3×3鄰域.在梯度幅值矩陣M(x,y)中以點(i，j)為中心的3×3鄰域內(nèi)沿梯度方向α(i,j)進行比對，若點(i,j)處的梯度幅值M(i,j)大于梯度方向α(i,j)上與其相鄰的2個點，則認為點(i,j)是邊緣點，保持其梯度幅值不變，反之則認為它是非邊緣點，將其梯度幅值設(shè)置為0.

3)用雙閾值處理和連接分析來檢測并連接邊緣.首先選取高閾值TH和低閾值TL，隨后遍歷整個圖像.若某點(i,j)的梯度幅值M(i,j)低于TL，則此點為非邊緣點；若某點(i,j)的梯度幅值M(i,j)高于TH，則此點為強邊緣點；若某點(i,j)的梯度幅值M(i,j)低于TH且高于TL，則此點為弱邊緣點.對于弱邊緣點，對其8鄰域像素進行判斷，若其鄰域內(nèi)存在邊緣點，則將該弱邊緣點視為邊緣點，反之則視為非邊緣點.最后，輸出最終的邊緣圖像.

需注意的是，應(yīng)用Canny邊緣檢測算法時，如雙閾值設(shè)置過高，會導(dǎo)致本屬于目標(biāo)主體的輪廓未被檢測出；如雙閾值設(shè)置過低，會導(dǎo)致噪聲和背景產(chǎn)生的干擾輪廓過多，難以與屬于目標(biāo)主體的輪廓相區(qū)分.故本研究在應(yīng)用Canny邊緣檢測算法時高低閾值比選取為2∶1，充分考慮了上述兩方面問題，取得了較好的平衡.

2 形態(tài)學(xué)閉操作與尋找最大輪廓

在上述得到的圖像中，本研究已經(jīng)初步地通過Canny算法提取了圖像中的輪廓.因目標(biāo)尺度與圖像大小大致相當(dāng)，本研究設(shè)想提取其中的最大輪廓即為目標(biāo)的輪廓.但在大多數(shù)情況下(即有少量背景干擾)，上述操作提取到的輪廓實際上是由多個線段組成的不連通的輪廓，這些線段標(biāo)出的輪廓有些屬于目標(biāo)輪廓的一部分，另一些則屬于背景和噪聲.在數(shù)字圖像的層面上，無法較好地將背景、噪聲和目標(biāo)主體區(qū)分開來，如果直接在此圖像尋找最大輪廓，提取到的輪廓通常僅表示目標(biāo)主體的一部分，誤差較大.如何連接屬于目標(biāo)主體的多個輪廓，同時又排除背景與噪聲產(chǎn)生的輪廓，是本研究考慮的重點.由目標(biāo)主體組成的輪廓線段位置相近，背景輪廓又通常位于圖像邊緣并且離目標(biāo)主體較遠，這是一個很好的先驗信息，因此本研究通過多次形態(tài)學(xué)閉操作[4-7]，將這些互不相連的屬于目標(biāo)主體的輪廓線段相連接，同時通過控制結(jié)構(gòu)元大小，如此的操作并不會將背景和噪聲產(chǎn)生的輪廓與目標(biāo)輪廓相連.

閉操作會平滑輪廓的一部分，彌合較窄的間斷和細長的溝壑，消除小的孔洞，填補輪廓線中的斷裂[8].用結(jié)構(gòu)元B對集合A的閉操作，可表示為A°B，其定義如下，

(6)

(7)

(8)

通過多次形態(tài)學(xué)閉操作，將目標(biāo)中互不連接的主體輪廓線段相連，形成了一個由包圍面積較小的背景、噪聲輪廓和包圍面積較大的目標(biāo)主體輪廓組成的二值圖像.隨后通過調(diào)用OpenCV中的findContours函數(shù)實現(xiàn)尋找圖像中的最大輪廓，其輪廓搜索方法是由Suzuki等[9]提出的一種基于二值圖像外輪廓搜索的方法.此方法會對圖像中所有像素點進行搜索，生成多個輪廓.本研究將提取的多個輪廓按輪廓包圍的面積進行比較，取面積最大的輪廓即是目標(biāo)主體的輪廓.

由此，本研究應(yīng)用的取最大面積輪廓算法步驟如下：

輸入：多個輪廓λ1，λ2，…，λn.

輸出：最大面積輪廓λmax.

1)從輸入輪廓中讀取下一個輪廓λnow；

2)如最大面積輪廓標(biāo)號λmax為空，則λmax=λnow，否則將λmax的輪廓包圍面積與λnow的輪廓包圍面積進行比較，如λnow的輪廓包圍面積更大，則λmax=λnow；

3)如λnow已是最后一個輪廓，結(jié)束流程，輸出λmax；否則跳至步驟1.

本研究提出的輪廓提取算法基于以下原則：算法時間復(fù)雜度應(yīng)相對較低，這是由實時系統(tǒng)的特性決定的；算法要良好地利用“目標(biāo)大致尺度已經(jīng)由實時目標(biāo)檢測系統(tǒng)給定”這一先驗知識；輪廓提取精度應(yīng)遠高于直接應(yīng)用底層數(shù)字圖像處理的方法.

由此，本研究提出的基于目標(biāo)檢測結(jié)果的目標(biāo)輪廓提取算法步驟如下：

輸入：目標(biāo)檢測結(jié)果圖像(圖像大小與目標(biāo)尺度大致相當(dāng).

輸出：目標(biāo)輪廓.

1)將輸入圖像轉(zhuǎn)為灰度圖；

2)將此灰度圖應(yīng)用Canny邊緣提取算法；

3)對步驟2中輸出的圖像進行3次形態(tài)學(xué)閉操作；

4)對步驟3中輸出的圖像應(yīng)用取最大面積輪廓算法搜索最大輪廓；

5)輸出此最大輪廓，即為本算法提取的目標(biāo)輪廓.

3 顏色識別

RGB系統(tǒng)通常用來描述顏色，其與人眼強烈感知紅、綠、藍三原色的事實能很好地匹配，但不能很好地適應(yīng)實際解釋的顏色.HSI顏色空間在彩色圖像中從攜帶的彩色信息(色度和飽和度)里消去強度分量的影響,這種顏色空間對人來說是自然且直觀的[10]，因此本研究采用HSI顏色空間來描述圖像.從RGB到HSI的彩色轉(zhuǎn)換公式為，

(9)

式中，

(10)

飽和度分量為，

S=1-(3/(R+G+B))[min(R,G,B)]

(11)

強度分量為，

I=1/3(R+G+B)

(12)

本研究通過下述過程完成顏色識別：首先，將僅含有目標(biāo)輪廓的圖像通過填充算法將目標(biāo)區(qū)域填充為白色，將背景區(qū)域填充為黑色，形成一個二值圖像(該二值圖像與原圖像的長寬相同)，以便于下一步的顏色識別操作.通過實驗發(fā)現(xiàn)，目標(biāo)主體顏色通常取決于中心部分顏色，因為邊緣部分通常與背景有混淆.故本研究在顏色識別過程中將前述步驟得到的填充后圖像應(yīng)用了形態(tài)學(xué)腐蝕操作，進一步縮小輪廓范圍，提高顏色識別準(zhǔn)確率.最后，對上述處理后的二值圖像進行遍歷.如果顏色為白色的像素點，則對原圖中相應(yīng)的點通過上述HSI顏色空間的方法進行顏色判定，并根據(jù)顏色范圍表計入黑、灰、白、紅、橙、黃、綠、青、藍、紫，進行統(tǒng)計.通過實踐發(fā)現(xiàn)，無人機圖像中由于背景等原因，盡管有些無人機并不是黑色或灰色的，但其黑色和灰色的統(tǒng)計量會顯著升高從而影響判定，因此本研究經(jīng)驗性地將黑色和灰色的統(tǒng)計量權(quán)值降低為原來的2/3.通過驗證發(fā)現(xiàn)，這樣做能顯著降低非黑色非灰色圖像誤判為黑色或灰色，同時不會使本是黑色或灰色的圖像誤判為其他顏色.通過統(tǒng)計10種顏色分類的值，其統(tǒng)計值最高的一個顏色，即為目標(biāo)主體的顏色.

綜上所述，本研究提出的顏色識別算法步驟如下：

輸入：目標(biāo)圖像，目標(biāo)圖像類別，目標(biāo)輪廓圖像.

輸出：目標(biāo)顏色.

1)將輪廓圖像填充；

2)對步驟1中輸出的圖像應(yīng)用形態(tài)學(xué)腐蝕操作；

3)對于步驟2中輸出圖像的每個像素點m：如果m為白色，則檢測目標(biāo)圖像中對應(yīng)點的HSI空間下的顏色，將其納入10種顏色的數(shù)量統(tǒng)計值；否則認為該點是背景，對下一個點繼續(xù)檢測；

4)如目標(biāo)圖像類別是無人機圖像，則經(jīng)驗性地將黑色和灰色統(tǒng)計量降權(quán)為原來的2/3；

5)分析10種類別顏色的統(tǒng)計值，輸出統(tǒng)計值最高的顏色.

4 結(jié)果、評價與對比

本研究選取了真實場景下的無人機、小汽車和人3類目標(biāo)進行測試，建立了用于驗證本研究算法的測試集，共有圖像405幅，其中有無人機目標(biāo)180幅、小汽車目標(biāo)152幅及人目標(biāo)101幅.本研究選取2個重要指標(biāo)進行比較，即提取目標(biāo)輪廓所需時間和目標(biāo)輪廓交并比IoU(Intersection over Union)，并將目標(biāo)輪廓內(nèi)的像素點視為集合，計算手工標(biāo)定的真實輪廓與算法提取的輪廓之間的IoU.

本研究用C++在Visual Studio 2017平臺上實現(xiàn)了下述3種算法，并進行了對比實驗：用Canny算法提取輪廓；用Mask R-CNN[1]算法提取目標(biāo)的輪廓；用本研究提出的算法基于目標(biāo)檢測結(jié)果提取輪廓.

本研究在第1種算法和第3種算法下選取的Canny雙閾值均為40,80；在第2種算法下選取的最小置信度為0.9.實驗中采用的部分圖像及其輪廓提取結(jié)果如圖1所示.圖1中，第1、2排為無人機圖像；第3排為人圖像；第4、5排為小汽車圖像.圖1中，提取到的輪廓已被疊加至原圖，矩形框是YOLO實時目標(biāo)檢測系統(tǒng)標(biāo)定的目標(biāo)范圍矩形框，即本研究進行輪廓提取的圖像區(qū)域.

圖1 本研究算法得出的部分結(jié)果

3種算法的對比如圖2所示.

圖2中，Canny算法得出的結(jié)果沒有矩形框標(biāo)定，是因為Canny算法無法定位哪部分是待提取輪廓的目標(biāo).

本研究采用的計算機配置與環(huán)境是Windows 7操作系統(tǒng)、NVIDIA GeForce GTX 960圖形適配器、IntelXeon E3-1231 CPU及16 GiB內(nèi)存.上述3種算法的對比實驗結(jié)果如表1所示.

圖2 3種算法對比

表1 實驗結(jié)果

需要說明的是，本研究采用的實時目標(biāo)檢測系統(tǒng)是通過YOLO[11]實現(xiàn)的，在平均速度指標(biāo)統(tǒng)計中，已經(jīng)包含了通過YOLO獲取目標(biāo)檢測結(jié)果的時間.

對于本研究提出的算法，無人機和小汽車這2類目標(biāo)的顏色都有主體顏色，識別其顏色有應(yīng)用價值；但人這一目標(biāo)有膚色、服裝顏色等不同顏色特征，通過本研究的算法識別的顏色沒有顯著的應(yīng)用價值，故沒有納入統(tǒng)計范圍.

由圖1、圖2和表1可見，在3組算法中，直接Canny算法提取輪廓的效率很高，但其輪廓平均交并比與顏色識別正確率很低，其原因是Canny找到的輪廓是整個圖像的輪廓，而不是待檢測目標(biāo)的輪廓.Mask R-CNN[1]算法提取輪廓的精度很高，輪廓平均交并比與顏色識別正確率都非常高，但其識別平均速度非常慢，難以應(yīng)用于實時系統(tǒng)上.本研究提出的算法輪廓平均交并比與顏色識別正確率略低于Mask R-CNN[1]算法，但運行速度遠快于Mask R-CNN算法.

5 結(jié) 論

本研究通過基于目標(biāo)檢測結(jié)果的圖像進行了輪廓提取和顏色識別.對于輪廓提取，本研究采用的結(jié)合實時目標(biāo)檢測系統(tǒng)的數(shù)字圖像處理方法在速度上數(shù)百倍快于目前廣泛使用的深度學(xué)習(xí)方法,精度數(shù)倍高于直接應(yīng)用的底層數(shù)字圖像處理方法，能較好地滿足實時系統(tǒng)中輪廓提取對效率和精度的要求.

由于通過像素統(tǒng)計的方法得出的值是所有局部信息相加的結(jié)果，然而人的視覺系統(tǒng)是一個很復(fù)雜的系統(tǒng)，例如一部分人眼認為是白色的無人機，放大后查看每個像素點，確實又有很大一部分是灰色的，這符合本研究的算法結(jié)果，但與人眼直覺有一定的差距，未來的工作需要更深入地研究人類視覺系統(tǒng)對整體信息的理解.