基于無人機視覺的道路違法搭建檢測

張 晨，劉寧鐘

(南京航空航天大學 計算機科學與技術學院，江蘇 南京 211106)

0 引 言

隨著公路網的日趨完備，公路的養護和管理問題也日益突出。公路的管理水平和綜合服務能力，不但要通過暢通、安全的基礎設施予以體現，更需要整潔、優美的路域環境予以提升。整潔良好的路容路貌不僅體現出一個城市的路域環境的綜合治理能力，更是為道路交通安全暢通提供的基礎保障。目前，路域環境管理存在的問題主要有違規廣告牌混亂、私開道口問題、雜亂堆積物[1]。傳統的道路違法搭建和檢測工作基本是靠人工用肉眼進行識別判斷，并沒有實現全自動智能化，這種檢測方法速度慢，效率低，成本高，工作量大，準確率低，很難適應公路養護現代化的發展需求。因此，亟須通過技術創新，對道路周圍違法堆積物搭建物的檢測進行智能化升級。

無人機應用于交通領域的理念最早來自美國，其運輸署和國家航空航天局專門開展了一個項目，證實了小型無人機數據采集系統用于交通監控和管理的可行性[2]。近年來，無人機技術發展迅速。無人機信息采集方式在機動性、采集范圍和時空連續性等方面具有獨特的優勢，因此，在交通領域的運用也得到了越來越多的重視和研究[3]。對于無人機拍攝圖像或視頻處理中存在的相關問題，比如消除抖動帶來的影響、目標檢測等，已經提出了一些可行算法。劉慧等針對背景像素的移動，提出了SURF特征穩像和光流法向量相結合的方法來解決低空視頻的道路目標檢測[4]；Kozempel等基于四個形態邊緣濾波器，快速檢測航拍圖像的目標[5]；Cheng等針對無人機視頻，利用背景消除和背景配準技巧來進行消抖和檢測[6]。這些算法大都基于傳統的特征提取方法進行車輛識別。由于無人機視頻時空場景復雜，干擾因素多樣，這些方法并不能適用于所有情況，在檢測準確性和魯棒性上有待提高。

1 處理框架和總體流程

文中提出采用無人機飛過相同路段兩次進行拍攝對比的方法。在第一次飛行時，保證路域環境正常，沒有違法搭建物，作為標準模板。若干天后，進行第二次飛行拍攝，也就是進行檢測。將兩次拍攝的圖像作為輸入，通過數字圖像處理和機器視覺技術對其進行對比，識別出明顯發生變化的圖像區域，作為疑似違法搭接物異常進行輸出。圖1分別為兩次無人機飛過拍攝下的圖像，右邊第二次拍攝的圖像中，用圓圈標記出了搭建的廣告牌，這是需要通過算法自動檢測出來的目標。

圖1 無人機兩次飛過拍攝的圖像比較

在檢測識別算法中，首先要做的是將兩次拍攝同一地區的圖像進行匹配對準，使用了直方圖規范化來消除光照差異，用SURF特征匹配變換來進行關鍵點位置匹配。使用邊緣檢測方法和形態學閉運算來自動檢測出指定需要匹配的檢控區域。最后使用綜合性特征匹配方法來保證更穩定的匹配。總體流程如圖2所示。

2 算法流程

2.1 圖像匹配

由于兩次拍攝的圖像都是無人機在空中拍攝的，并且是在不同時間拍攝的，即便用過無人機GPS等硬件條件定位，也不能保證兩張圖的光照、角度和位置完全相同。如圖3所示，這樣的兩張照片就在光照、角度和位置上存在一定的偏差，需要對這兩張圖先進行一定的預處理，以消除光照、角度和位置的不匹配性。文中將第一次飛行拍攝下的照片作為原始圖像，將第二次飛行拍攝下的照片作為標定圖像。所做的匹配變換，是以標定圖像為目標，將原始圖像進行變換，以得到和標定圖像具有相同模式的變換圖像。

圖2 算法流程

圖3 兩次拍攝的圖像在光照和位置上的差異

2.1.1 光照匹配矯正

對于不同光照情況下拍攝的兩幅圖像，在兩幅圖像對應區域展現出來的色澤或亮度會存在一些偏差，這樣會對后面的處理操作產生干擾。所以在最開始階段，需要對圖像進行光照匹配矯正，使得兩幅圖像具備同樣的光照性質。文中采用直方圖規定化的方法[7]來進行光照匹配矯正。

在直方圖均衡化的基礎上，通過建立原始圖像與標定圖像之間的關系，使得原始圖像的直方圖匹配特定的形狀。

先對原始圖像進行均衡化，如式1。

(1)

然后對標定圖像進行均衡化，如式2。

(2)

令s=v，有如下關系：

z=g-1(s)=g-1(f(r))

(3)

可按照如下方式由輸入圖像得到標定圖像的匹配變換圖像：根據式1得到變換關系f(r)；根據式2得到變換關系g(z)；求得反變換函數g-1(s)；對輸入圖像所有像素應用式3中的變換，從而得到輸出圖像。

由于上述變換是單通道的，這里對實際圖像采用的方法是先將RGB三個通道分離，然后分別對每個通道進行光照矯正變換，最后合并三個通道。

2.1.2 特征點匹配

由于無人機在空中飛行拍攝，本身定位存在一定誤差，而且風力對飛行姿態也會產生一定的影響，導致傾斜、抖動、顛簸。這些因素使得無人機在空中拍攝的兩次圖像在位置上無法做到完全一致，所以應該采用圖像匹配技術，對原始圖像進行形變，以得到和標定圖像對應位置關系的匹配圖像。

分別計算兩幅圖像的SURF[8]特征點，對每個特征點，得到一個64維的特征向量。對兩幅圖的特征向量進行暴力匹配，排除匹配度太低的20%的點對。剩余的點對集采用RANSAC方法[9]進行計算，得到透視變換矩陣M[10]：

(4)

將原始圖像根據式5進行此透視變換。其中原始圖像中點的坐標為(u,v)，變換后的圖像坐標為(x,y)，x=x'/w'，y=y'/w'。

[x',y',w']=[u,v,w]M

(5)

變換后即可得到與標定圖像角度、位置匹配的圖像，如圖4所示。其中右圖是將圖像進行匹配變換得到與左圖位置關系一樣的圖像。

圖4 圖像匹配變換

2.2 確定監控區域

通常在道路兩側15 m范圍內屬于道路違法搭建的指定監控區域，需要自動找出這塊區域，只對該區域內的圖像內容進行比對。即不考慮道路內車輛對對比結果造成的干擾，也不考慮路面過遠的區域。顯而易見，也就是要先識別出路面區域，然后根據路面區域位置推算出檢控區域。由于道路區域和非道路區域存在明顯的邊緣、色度差別，可以將圖像分成一個個小塊，對每個小塊圖像區域內容進行邊緣屬性和色度屬性的判別，以對可能的路面區域圖像塊進行篩選。對篩選后的圖像進行連通域的判斷，最大連通域的兩側即為道路兩側，由此可以確定監控區域。

2.2.1 粗糙區域過濾

由于路面整體顏色的一致性，圖像路面區域比較平滑，邊緣特性弱；而道路外景物復雜[11]，尤其是一些植物會為圖像帶來很強的邊緣特性。可以根據這個特點來進行圖像塊區分。

根據式6～8，先用Sobel算子[12-13]對原圖像塊I進行邊緣檢測，得到邊緣圖像G。

(6)

(7)

(8)

如式9，選取特定閾值t，將邊緣圖像進行二值化。

(9)

二值化后的圖像白色區域表示原圖像中邊緣強烈的區域。根據二值化后的區域對原圖像做掩模，即進行與操作，得到的圖像再進行顏色過濾。

2.2.2 顏色過濾

根據路面區域顏色總是偏藍這一特性，可以對圖像像素中RGB分量進行判斷對比，若藍色分量大于其他分量，則保留，若綠色分量最大，或紅色分量最大，則將此像素排除，如式10所示。

(10)

該方法可以有效排除掉河塘、池水等同樣平滑，但顏色不同的區域。

通過這兩步過濾之后留下的區域如圖5(b)所示。

圖5 確定道路監控區域

2.2.3 確定路邊平行線

對于經過粗糙區域過濾和顏色過濾后的圖像，進行先膨脹再腐蝕的形態學閉運算[14-15]，如圖5(c)所示，可以將主要連通區域連接起來，并有效去除小的噪聲連通區域。最后得到的連通區域的兩側即為道路區域的兩側，如圖5(d)所示。兩側邊線外延指定長度即為指定道路監控區域。

2.3 圖像塊特征匹配

這里還是將圖像分為好多小的圖像塊，以分別對每對圖像塊做是否匹配的判斷。由于在道路兩側區域內環境復雜，變化多樣，提取圖像的特征要有一定的穩定性，即不能太容易受到噪聲的干擾；但同時也要具有一定的區分性，即變化太多的圖像在提取出的特征處能夠表現出很大的差異。基于這兩點需求，提出的特征提取方法為基于圖像塊均值和邊緣特性的匹配方法。

將圖像塊內的所有像素的色度取均值，得到的顏色值即為提取出的顏色均值特征。該方法看此簡單，但是能夠很好地滿足所需求的兩個特性：在圖像塊內，由于一些物體的細微不同不能夠對整體圖像顏色均值產生足夠的影響，而大面積的違法搭建往往和原來背景在整體顏色上存在一些不同。

另外提取出圖像塊的邊緣特征：通過Sobel算子提取出圖塊的邊緣圖像，并取一定閾值將其二值化，二值化后的圖像塊的白色像素個數即為提取出的特征。該特征反映的是該圖像塊的邊緣區域豐富程度。此方法可以有效補充圖像均值方法，使得提取出的區域包含物體邊緣，顯得更加豐富飽滿。

匹配過程如式11所示。對于第i個圖像塊是否匹配，用1表示匹配，即兩圖像塊近似；用0表示不匹配，即兩圖像塊存在較大差異。

(11)

其中，mean1,mean2分別表示兩個圖像塊的均值；N1，N2分別表示兩個圖像塊邊緣強于閾值的像素個數。

3 實驗結果與分析

實地考察了江蘇省南京市的某條高速公路，在兩天天氣晴朗的環境下使用無人機采集了圖像，并設置了一些搭建物來做實驗，以驗證檢測效果。

實驗是在Windows10平臺上進行，采用C++語言進行程序的編寫。將拍攝的圖像輸入系統，經過算法流程，檢測得到的結果如圖6所示。其中(a)、(c)是第一次飛過拍攝下的圖像，(b)、(d)是第二次飛過拍攝下的圖像。其中道路兩側的監控區域都能夠自動地識別出來，第二天拍攝時的兩處搭建物也能通過算法正確地識別出來。

實驗共檢測了64組圖像，對于8處的搭建物，都能夠正確地識別出來。但存在兩處誤檢測，主要是反光和陰影造成的。

圖6 實驗檢測結果

4 結束語

針對道路圖像違法搭建的自動檢測，設計了一種基于無人機采集與機器視覺相結合的方法，并設計了一種強魯棒性和高識別率的算法。算法采用了許多數字圖像處理中的核心技術，比如特征點匹配、邊緣檢測、形態學操作等。實驗結果表明，該算法對于客觀拍攝條件的不穩定性和景物的時延變化帶來的干擾具有很好的魯棒性，同時對于明顯變化的圖像景物區域的檢測準確率高。當然，由于無人機高空拍攝時空場景復雜，算法對于拍攝角度偏差過大或重疊度過小的兩張圖片處理效果不太理想，對于較強的干擾還不能處理得十分完美。這些問題還需要進一步的探索。