基于形態分析的無人機視頻車輛自動識別算法

彭 博，蔡曉禹，周 濤，李少博，張有節，段連飛

(1. 山地城市交通系統與安全重慶市重點實驗室，重慶 400074； 2. 重慶交通大學 交通運輸學院，重慶 400074；3. 城市交通管理集成與優化技術公安部重點實驗室，安徽 合肥 230088； 4. 重慶市交通規劃研究院，重慶 401147；5. 安徽科力信息產業有限責任公司，安徽 合肥 230088)

0 引 言

城市智能交通系統建設的基礎和關鍵在于交通信息獲取。目前，傳統交通信息的檢測方式有感應線圈、地磁設備、超聲波、視頻卡口和浮動車等，這些檢測方式可有效提取占有率、流量、速度等交通信息，在城市交通系統中得到了廣泛應用。但是，這些方式卻難以從廣域視角直觀地提供路網連續交通流信息。

2002年，美國運輸署和國家航空航天局開展了專項研究，結果顯示無人機在交通監控管理領域具有較好的可行性[1]。由于小型無人機具有檢測區域廣、經濟成本低、不干擾地面交通、可檢測多種交通參數等優勢，受到了美國[1]、德國、俄羅斯[2]、韓國及中國[3]等國家管理部門和研究院所的重視，并開展了一系列研究，包括無人機路徑規劃[3]、交叉口監測[4]、交通參數提取[5]和交通事件檢測[2,6]等。研究結果表明：利用無人機采集交通視頻，在交通信息采集、城市交通監測等方面具有很大潛力，但同時也面臨車輛識別難、計算量大等挑戰。

無人機交通監控與信息采集關鍵在于無人機視頻車輛檢測，目前學界對航拍視頻/圖像的車輛識別已有一定研究積累，例如：K.KOZEMPEL等[7]利用多個形態邊緣濾波器來快速識別航拍圖像的車輛；CHENG Penggen等[8]通過背景消除和背景配準技術來識別無人機視頻車輛；劉慧等[9]針對背景像素移動提出了SURF特征穩像和光流法向量相結合的方法來解決低空視頻車輛檢測；C.L.AZEVEDO等[10]采用中值背景差分法來識別無人機視頻車輛；張新[11]利用背景差分法來識別無人機視頻車輛，并在此基礎上提取交通信息、標定城市道路車輛跟蹤模型；YU Xinran等[12]根據顯著性信息和Haar-like局部外形特征，建立了遙感圖像車輛檢測方法。這些方法均是基于背景差分和Haar-like、Harris角點、HoG、SURF、SIFT等圖像特征來進行車輛識別。

總而言之，專門針對無人機視頻的車輛檢測研究還處于起步發展階段，相應的定量評價分析研究也較少。此外，無人機視頻場景廣而復雜，現有的車輛檢測算法適用性也有所不足，檢測準確率和全面性有待于提高。故筆者提出了一種新的基于形態分析的無人機視頻車輛自動識別方法，并基于548幀圖像進行了系統的測試與分析。

1 算法簡介

筆者以邊緣檢測圖像為基礎，基于候選目標圖像的骨架形態特征和區域形態特征進行車輛識別。所采用的視頻數據由無人機懸停于道路正上方100～200 m處、攝像機鏡頭垂直向下拍攝，視頻分辨率為3 840 px × 2 160 px(寬×高)。算法基本流程如圖1。其步驟如下：

1)圖像預處理。人工勾勒出感興趣區域(ROI, region of interest)，并對圖像進行灰度化處理可獲得ROI灰度圖像；

2)圖像骨架分析與處理。檢測ROI灰度圖像邊緣并據此生成圖像骨架，然后將骨架圖像分解為直線和曲線單元，最后根據鄰近性原則進行重連接。該步驟生成重構骨架圖像，可增強候選目標圖像結構的封閉性、連續性和完整性。

3)基于區域形態分析的車輛識別。填充重構骨架圖像的封閉區域，利用膨脹和腐蝕操作、基于矩形度、面積、外接橢圓軸長等閾值規則識別車輛。

圖1 算法流程Fig. 1 Algorithm flowchart

2 圖像預處理

2.1 感興趣區域勾畫處理

隨著無人機云臺和減震技術不斷發展，經主/被動減震處理，懸停拍攝的無人機視頻能較好地避免抖動現象，因此懸停無人機視頻的廣域場景相對穩定。由于車輛識別時僅需針對一定道路范圍進行處理，因此有必要通過人工勾畫出ROI，后續檢測工作只需對該區域展開運算，進而降低減少運算量、節省運行時間，也可改善檢測效果，如圖2。

圖2 ROI勾畫Fig. 2 ROI sketching

2.2 圖像灰度化處理

根據既有視頻和圖像識別研究的常見做法，筆者將彩色圖像轉化為灰度圖像，后續步驟針對灰度圖像ROI展開邊緣檢測、骨架重構和區域形態分析處理。灰度圖像如圖3，其中的矩形線框范圍為ROI。

圖3 灰度圖像Fig. 3 Grayscale image

3 圖像骨架分析與處理

對于視頻圖像目標檢測而言，邊緣信息提取可大幅度地減少數據量，剔除大部分無關或弱相關信息，保留圖像結構屬性，因此許多研究均以邊緣特征進行目標識別。文中算法以Canny邊緣檢測圖像為基礎，提取、分解和重構圖像骨架，為車輛識別奠定基礎。

3.1 骨架圖像生成

3.1.1 Canny邊緣檢測

Canny邊緣檢測算法是一種廣泛應用的經典邊緣檢測算法。該算法主要思想和步驟為：① 應用高斯濾波消除圖像噪聲；② 通過Sobel算子卷積獲得圖像梯度強度與方向；③ 應用非極大抑制技術(non-maximum suppression)保留每個像素點上梯度強度的極大值，而刪掉其他的值；④通過雙閾值技術界定弱邊界和強邊界，并進行邊緣連接處理、形成邊緣圖像。

以圖3灰度圖像為例，對ROI進行Canny邊緣檢測，獲得邊緣強度圖像；然后利用簡單閾值分割法或OTSU分割法，得到二值邊緣圖像，如圖4。

圖4 邊緣強度和二值化邊緣Fig. 4 Edge amplitude and binary edges

3.1.2 生成亞像素級骨架圖像

為對ROI邊緣圖像的骨架圖進行分解和重構，需生成亞像素級骨架圖像。亞像素(sub-pixel)的概念如圖5，每個物理像素可以分為m×m個亞像素，用數學插值算法可計算每個亞像素值，通過亞像素圖像處理可更大限度利用圖像信息。

圖5 亞像素Fig. 5 Sub-pixel

ROI邊緣圖像中的線條寬度為1px。圖5中：每個像素的中心亞像素相連即可構成亞像素骨架。以圖4中ROI邊緣圖像左上角第1個候選車輛區域為例，其亞像素骨架生成如圖6。

圖6 亞像素骨架生成Fig. 6 Generation of sub-pixel skeleton

3.2 圖像骨架分解

利用Ramer多邊形逼近算法[13]將亞像素骨架分解為直線段或弧線段，其主要步驟為：① 沿邊界分配若干點作為初始點，按順序連接初始點形成初始多邊形；② 在任意兩相鄰斷點之間，沿著骨架曲線段找到距離兩斷點連線的垂直距離最大的點，若該距離d>d1，那么把這一點作為新的斷點繼續分割；③ 不斷進骨架分解，直到全部滿足閾值條件d≤d1；④ 設定閾值d2(d2

圖7 骨架分解Fig. 7 Skeleton decomposition

步驟①～③骨架分解算法偽代碼如下，第④步與之類似，此處不再贅述。

算法1：圖像骨架分解算法(“←”表示賦值)

①：int SkeletonNum←骨架圖像的曲線數量；

②：intd1←距離閾值；

③：For inti=1 to SkeletonNum；

④：Curve[i]←第i個骨架曲線；

⑤：InitPt[ ]←Curve[i]的初始斷點集；

⑥：Line[ ]←任意初始斷點形成的線段集；

⑦：maxDist←Curve[i]與? Line最大垂直距離；

⑧：pTemp←Curve[i]上產生maxDist的點；

⑨：If maxDist>d1；

⑩：從斷點pTemp分割Curve[i]；

3.3 圖像骨架重構

根據骨架分解結果，對于任意相鄰骨架曲線，若其端點距離小于閾值d3，則連接這兩個端點，處理結果如圖8。由圖8可看出：通過骨架連接處理，能有效增強候選目標圖像結構的封閉性、連續性和完整性，有助于車輛識別。

圖8 骨架重構過程Fig. 8 Skeleton reconstruction process

由于骨架連接結果仍為亞像素級圖像，為便于開展后續車輛識別工作并降低運算成本，還需將其還原為像素級圖像(圖8)。根據圖4中的 ROI邊緣圖像，處理后得到的像素級骨架圖像如圖9。

圖9 骨架重構圖像Fig. 9 Reconstructed skeleton image

4 基于形態分析的車輛識別

主要利用膨脹、腐蝕、填充、閉運算這4種形態學算子對骨架重構圖像進行處理，同時結合連通域的面積、矩形度、等效橢圓長短軸等多種形態特征提取車輛目標。

4.1 形態學算子簡介

膨脹利用t×t的結構元素使目標區域邊界向外部擴張，可用來填補圖像區域的部分空隙。腐蝕與膨脹相反，是利用t×t結構元素使目標區域邊界向內部收縮，從而消除尺寸較小且無意義的物體。先膨脹后腐蝕的過程稱為閉運算，可用來填補物體內細小空洞、連接鄰近物體、平滑邊界。填充則是將輪廓包圍的區域全部充實，以消除物體內部的空洞和間隙，如圖10。左圖為中圖的腐蝕效果，反之，中圖為左圖的膨脹效果，而右圖為中圖的填充效果。閉運算效果如圖11。

圖10 腐蝕、膨脹和填充Fig. 10 Erosion, dilation and filling

圖11 閉運算Fig. 11 Closed operations

4.2 連通域形態特征

在圖像中，像素是最小單位，每個像素周圍有8個鄰接像素，常見的鄰接關系有2種：4鄰接與8鄰接。4鄰接有上下左右4個鄰接點；8鄰接有8個鄰接點，包括了上下左右及對角線位置的點，如圖12。

圖12 4鄰接和8鄰接Fig. 12 4-neighbourhood and 8-neighbourhood

根據4鄰接或8鄰接關系，彼此連通的像素點形成區域稱為連通域。在圖像處理中，常常對連通域展開計算分析，以達到圖像分割、噪聲去除和目標識別等目的。筆者基于8鄰接關系建立連通域，并展開面積、矩形度和等效橢圓長短軸等形態特征計算分析。

1)面積S：連通域所含像素總數；

2)矩形度R：連通域面積S與最小外接矩形面積W比值，反映區域對其外接矩形的充滿度(圖13)；

圖13 矩形度Fig. 13 Rectangularity

3)等效橢圓[14]長短軸：每個連通域可求得一個對應的橢圓，其方程與連通域轉動慣量形式一致。假定某橢圓區域是均質的且與連通域的轉動慣量相同，那么該橢圓參數就能反映前述連通域的特性，這個橢圓就稱為等效橢圓。據此可求得等效橢圓長軸ra和短軸rb(圖14)。

圖14 等效橢圓Fig. 14 Equivalent ellipse

4.3 基于形態分析的車輛識別算法

車輛識別過程主要包括4個步驟：① 對骨架重構圖像進行膨脹[15]、填充操作，獲得連通域圖像，結果如圖15(a)；② 基于連通域矩形度、面積和等效橢圓短軸閾值，初步提取滿足條件的連通域，結果如圖15(b)。由圖15(b)可看出：此步驟剔除了一些面積較小的區域和狹長的車道標線；③ 基于面積和等效橢圓長軸閾值，選擇較大的連通域，對其進行閉運算、膨脹和腐蝕操作，結果如圖15(c)。由圖15(c)可看出：該步驟有效分割了大型連通域，進一步消除了狹長的車道標線和道路邊緣；④ 基于面積和等效橢圓短軸閾值篩選滿足要求的連通域，將其作為最終的車輛目標，結果如圖16。

綜上所述，算法主要利用形態學運算[16]對骨架結構圖像進行線-面轉換，進而計算和分析連通域形態特征，最終識別車輛。步驟①～④的車輛識別算法偽代碼如下。

算法2：基于形態分析的車輛識別算法(“←”表示賦值)

①：Skeleton←骨架重構圖像；

②：Image0←對Skeleton進行膨脹、填充處理；

③：R[i]、A[i]←第i個連通域的矩形度、面積；

④：ra[i]、rb[i]←第i個連通域等效橢圓的長軸長度、短軸長度；

⑤：For inti= 1 toM//M為Image0的連通域個數；

圖15 連通域圖像Fig. 15 Connected component image

圖16 車輛識別結果Fig. 16 Vehicle detection result

⑥：IfR[i]∈[r1,r2] orA[i]>s1orrb[i]∈[b1,b2]；

⑦：保留Image0第i個連通域//r1、r2、s1、b1、b2為閾值參數；

⑧：End For // 令為Image1；

⑨：For intj=1 toN//N為Image1連通域個數；

⑩：IfA[j]>s2orra[j]>a2//s2、a2為閾值參數；

5 算法性能評價與分析

5.1 評價方法

車輛識別結果存在著準確檢測、漏檢等多種可能情況，可細分為如下4類：① 準確檢測車輛，即單個輛車被準確識別為一輛車；② 車輛重檢，即一輛車被檢測成兩個或多個車；③ 車輛漏檢；④ 其他物體被識別為車輛。為此，可對如下4個指標性能進行評估，如式(1)～(4)。

PT=NT/NS

(1)

PR=NR/NS

(2)

PM=NM/NS

(3)

PW=(NR+NE)/NS

(4)

式中：PT為正檢率；PR為重檢率；PM為漏檢率；PW為錯檢率；NT為檢測區內準確檢測的車輛數；NR為檢測區內被重復檢測的車輛數；NM為檢測區內被漏檢的車輛數；NE為檢測區內被檢測成車輛的非車輛物體個數；NS為實際車輛數，NS=NT+NM+NR。

由此可見：正檢率越高，重檢率、漏檢率和錯檢率越低，算法越優。

5.2 評價結果分析

在VS2013+Halcon11.0+OpenCV2.4.9環境下編制文中算法程序，識別無人機視頻車輛。對于每一幀檢測結果圖像，可分別由人工判讀出NT、NR、NM、NE和NS，進而計算出一組正檢率、重檢率、漏檢率和錯檢率。對548幀檢測結果圖像的評價指標值進行統計分析，結果如表1。

由表1可看出：算法正檢率均值95.02%；重檢率均值為2.20%，表明算法很少將一輛車識別為多輛車；漏檢率均值2.77%、錯檢率均值為8.24%，即很少出現漏檢情況，也較少將其他物體誤認為是車輛。4個評價指標的均值和中值都顯示算法具有較優的檢測效果。從標準差來看，正檢率、重檢率、漏檢率和錯檢率標準差分別為2.09%，1.67%,1.67%和2.56%，說明評價指標值大都集中于均值附近、離散程度較小，檢測算法穩定性較高。

表1 算法指標 Table 1 Algorithm indexes %

圖17是算法評價指標值分布。由圖17可看出：① 只有7個樣本(占樣本總量的1.28%)的正檢率低于90%，分布于85.42%～ 89.89%；其余541個樣本(占樣本總量的98.72%)正檢率均高于90%，表明對于絕大部分圖像，正檢率都能達到較高水平② 有2個樣本重檢率為8.99%和8.33%，其余546個樣本重檢率均在6.52%以下，97.26%的樣本重檢率分布于0～5%，表明算法對車輛目標分割效果較好，可保證車輛完整性；③ 漏檢率分布范圍為0～10.11%，其中只有1個樣本漏檢率為10.11%，其余樣本重檢率均在8.14%以下，表明車輛漏檢幾率較低；④ 錯檢率分布范圍為0～ 16.84%，其中有5個樣本錯檢率為15.12%、15.22%、15.79%、16.09%和16.84%，其余樣本的錯檢率均在15%以下，絕大部分集中于4%～12%，表明算法很少將其他物體誤判為車輛。

圖17 算法評價指標值分布Fig. 17 Distribution of algorithm evaluation indexes

上述分析表明：該算法在正檢率、重檢率、漏檢率和錯檢率方面表現良好，對交通擁擠狀態下的車輛識別也比較準確全面(圖16)。相對而言，算法錯檢率還不甚滿意，有待進一步改善。從測試結果來看：錯檢主要原因在于車道標線或路面指路文字的形狀與車輛形狀較為相似，算法可能會將其誤識為車輛。如何有效區分車輛與路面非車輛物體，將是筆者下一步著重研究的課題。此外需說明的是，文中算法人工勾勒感興趣區域，適用于懸停拍攝的穩定視頻。

6 結 論

筆者針對無人機視頻，提出了一種基于形態分析的車輛自動識別方法。該方法基于邊緣檢測生成亞像素級圖像骨架，然后對骨架圖像進行分解和重構，最后通過連通域形態學運算和形態分析識別車輛目標。通過對548幀視頻圖像測試分析表明：算法具有較高的正檢率，而重檢率、錯檢率和漏檢率均較低。

文中方法可準確有效地實現車輛識別，為基于無人機視頻的廣域交通信息(例如：車輛密度、車輛軌跡、車輛速度和加速度等)實時采集奠定基礎，有望作為傳統交通信息采集技術(感應線圈、定點攝像機、超聲波和浮動車等)的補充，為推動廣域中微觀交通流建模分析等相關研究，具有較大應用價值和理論意義。由于交通場景復雜多樣，準確無誤地識別低空視頻的車輛目標仍充滿挑戰，需要進行更全面測試和長期深入研究。