基于SIFT算法和改進的RANSAC算法對森林火災的圖像識別與試驗研究

劉九慶項前王宇航

(東北林業大學 機電工程學院,哈爾濱 150040)

0 引言

森林里雜草叢生,一旦發生火災火情,其蔓延的速度十分快,并且在森林里交通不便,人員不齊,很難及時有效地撲滅火災。因此,盡早地發現森林里發生的火災,就顯得尤為關鍵。

迄今為止,很多學者已經研究出大量的火災識別算法[1],并取得了一定的成果。目前在森林火災的圖像匹配[2]研究領域當中,出現了很多種基于不同原理的圖像匹配算法,比如基于灰度值匹配[3]、基于三維點云匹配[4]等,但是以上的方法大多數都會存在因角度、平移和光照等因素干擾[5],從而對最終的匹配結果產生影響。Harris算法是一種提取特征點的算法[6],該算法雖然也具有旋轉不變性和尺度不變性的特點,但其不具有良好的穩定性,在森林這種較為復雜的地形中匹配的準確度不是很高。David Lowe 在1999年首先提出SIFT算法[7],并最終在2004年加以改善,該算法已經在圖像識別領域中有了不小的貢獻。SIFT算法具有尺度不變性抗干擾能力強、魯棒性好等特點。RANSAC算法的核心就是采用迭代的方式從一組觀測數據中去計算其他數據,最后篩選掉不正確的數據[8]。但經典的RANSAC算法由于需要不斷地迭代,會耗費大量時間,對火災的監控不能達到實時性。本文將SIFT算法與改進后的RANSAC算法相結合,首先將圖片進行預處理然后用SIFT算法識別出特征點進行粗匹配,再用改進后的RANSAC算法對這些特征點進行篩選,得到準確無誤的匹配點。通過實驗數據表明,本文改進后的算法能有效地提高森林火災圖像識別的匹配精度和匹配時間。

1 SIFT算法原理

SIFT(Scale-invariant feature transform)全稱為尺度不變性特征轉換[9-10],是一種關于圖像視覺的算法,目前已經被廣泛應用到圖像識別、圖像拼接和圖像檢測等方面。其原理可簡單描述為在圖像的空間尺度上尋找特征點,并計算其特征點的方向。SIFT特征匹配具有很強的抗干擾能力,無論圖片經過怎樣的平移、光照或旋轉等變化,他都能保持良好的穩定性和魯棒性。尺度不變性[11]的概念是指同一個物體在不同尺度上的圖片表示,其尺度空間理論的主要過程大致是利用高斯核函數對原圖像先進行變化,獲得不同尺度下的圖片,然后在每個尺度下都提取其特征點。

SIFT算法具體可分為4個步驟。

(1)尺度空間極值點檢測

SIFT算法通過檢測所有尺度上的圖像位置,然后找到其穩定的極值點。首先,SIFT算法在構建尺度空間的時候采用高斯微分函數,使其保留圖像上的局部特征。所以需要構建高斯差分尺度空間,而圖像的尺度空間公式為

式中:I(x,y)為待檢測的二維圖像;(x,y,σ)為圖片像素的空間坐標位置;G(x,y,σ)為高斯函數;σ為尺度空間因子。

而高斯差分尺度空間是由不同尺度的差值得出

式中,k為相鄰尺度空間的倍數。

(2)關鍵點的精準確定

之前檢測到的極值點是屬于圖片上離散空間的極值點,通過不斷去擬合三維二次函數來精準地描述出關鍵點所在的位置,同時一定程度上也能過濾掉對比度較低的關鍵點。將尺度空間進行泰勒二次項展開后得到公式(4),即擬合函數。

式中,x=(x,y,σ)T。

對其進行求導并使方程等于零,就可以得到關鍵點的偏移量

經過上述變換,再通過已確定的經驗值(0.03～0.04),就可過濾掉對比度低的點,從而得到關鍵點。

(3)分配關鍵點的方向

為了讓其描述符具有旋轉不變性,需要同時使用圖片上的局部特征給每一個關鍵點都分配一個基準方向,通常使用圖像梯度的方法來求關鍵點局部特征的穩定方向。梯度的模和方向見公式(6)和公式(7)。

式中,L(x,y)表示特征點所在的尺度空間。

(4)生成特征點描述符

通過上述步驟,對于每一個關鍵點,都擁有3個最關鍵的信息:位置、尺度以及方向。然后需要用一組向量將這個關鍵點的關鍵信息描述出來,使其不隨旋轉、光照以及平移等變化而變化。而且這個特征點描述符,不僅包含著關鍵點,也同時包含著其周圍對其有貢獻的像素點。為了實現這種特性,需要以關鍵點為中心,并同時分成16個方塊,在每個方塊上分別計算其8個方向梯度,這樣就形成了128維的特征向量,然后通過特征向量的歸一化處理,提高特征點的識別度。

2 改進的RANSAC算法原理

2.1 RANSAC算法原理

RANSAC(random sample consensus)算法全稱為隨機抽樣一致性算法[12],最早是由Fischler和Bolles 共同提出的[13]。簡單來說,該算法就是從一組包含異常數據的數據集中,通過不斷迭代的方式計算出最合適的數據模型,進而得到有效的數據,把無效的數據剔除掉。該算法假設已知的數據中包括正確匹配數據和錯誤匹配數據(噪聲),把正確數據標作為內點,異常數據標作為外點。使用該算法時,首先需要找到一個最佳單應性矩陣H見公式(8),H的大小為3×3,并且使得滿足最佳單應性矩陣的點的個數最多,因為該矩陣有8個未知量,所以至少需要8個線性方程去求解。每組點可以列出2個方程,所以至少需要包含4組匹配點對。

式中:(x,y)為目標點的位置;(x′,y′)為場景圖像角點的位置;s為尺度參數。

傳統的RANSAC算法在已知的數據集中去尋找4個樣本點,并保證這4個樣本點之間不共線,然后去計算出單應性矩陣。若此模型為最優解,則其對應的代價函數是最小。其代價函數為

總結RANSAC算法步驟。

(1)隨機從已知數據集中抽取4個不共線的樣本數據,計算出變換矩陣H,記為模型M。

(2)計算出所有的數據與模型M的投影誤差,如果小于閾值,則加到內點集。

(3)而當內點集Q中元素的個數大于最優內點集Q-best時,則更新Q-best=Q,同時更新迭代的次數K。

(4)如果迭代次數大于K,則退出;否則迭代次數加1,并重復上述操作。

2.2 RANSAC 算法改進

由于RANSAC算法需要進行不斷的迭代,樣本點的個數如果很多,那么就會造成隨機采樣的次數變多,運行的時間特別緩慢,達不到實時性的標準,對于森林火災防控不能起到良好的效果,所以對其進行改進。本文首先采用SIFT算法得到初始特征點,然后通過初始特征點進行領域投票與正確匹配點絕對斜率相似的方式篩選掉部分錯誤匹配點,得到最終的樣本點集合,這樣極大程度地減少了RANSAC算法的迭代次數[14]。

領域投票的方式主要是在SIFT算法得到特征點之后,在每個特征點的領域的局部主方向和距離上做累積,給其分別設定一個方向閾值和距離閾值[15],判斷待匹配圖像和參考圖像相對應的匹配點之間的方向和距離是否在已經設定好的閾值之內,如果這一對匹配點都小于已設定好的閾值,則把其放進內點集,反之則放入到外點集。具體過程如下。

(1)分別計算待匹配圖像和參考圖像同一圖像上任意一對初始匹配點的距離d和主方向夾角的差值Δθ。

式中:i、j為同一幅圖像上任意一對初始匹配點;(xi,yi,θi) 和(xj,yj,θj)表示為i、j2個點的像素坐標和主方向。

(2)將得到的距離d和主方向夾角的差值Δθ按照行向量分別進行歸一化處理,然后去計算其待匹配圖像和參考圖像的距離內積dot1和主方向夾角內積值dot2。

式中:(xT,yT,θT) 和(xt,yt,θt) 分別為待匹配圖像和參考圖像的一對匹配點的像素坐標和主方向;im1、im2為矩陣的像。

(3)通過大量的實驗進行驗證,最終得出當距離閾值td和方向閾值tθ分別設為0.4與0.5時,可以得到比較多的內點集合。

(4)最終通過已經設定好的閾值,去比較一對匹配點的距離內積值和主方向夾角內積值和閾值,若小于該閾值,則放入到內點集,反之則放入外點集。

在已知的內點集合中,應該知道一對絕對準確匹配點之間的相對斜率應該相同,所以再通過這層關系去進一步地剔除掉誤匹配點,來計算RANSAC的最佳單應性矩陣。設(Xi,Xj)和(Yi,Yj)是待匹配圖像和參考圖像的一對正確匹配點,那么Xi和Yi的絕對斜率k(Xi,Yi) 一定相似于Xj和Yj的絕對斜率k(Xj,Yj)。通過上述的原理可以提出如下的評價函數

式中:r(i,j) 表示Xi、Yi與其自身圖像上每個特征點的斜率的絕對差異;K(i,j) 表示Xi、Yi與其自身圖像上每個特征點的平均斜率。

2.3 本文算法

使用傳統的SIFT算法與RANSAC算法相結合[16]的方法去進行圖像匹配,很容易造成匹配時間過長、匹配精度不高等現象,為此本文提出一種基于SIFT算法與改進后的RANSAC算法相結合的圖片匹配算法。首先對匹配圖像和參考圖像進行預處理,然后提取特征點,通過SIFT算法進行粗匹配,然后通過正確匹配特征點的領域投票加正確匹配點絕對斜率相似的特點去剔除掉誤匹配的點,最終通過RANSAC算法進行準確匹配。算法流程如圖1所示。

圖1 算法流程圖Fig.1 Algorithm flow chart

3 實驗結果與分析

為了驗證本文改進后算法的有效性,做了一組點火實驗,并用紅外相機和可見光相機同時對火場進行拍攝,得到了2組視頻文件,通過截取視頻幀得到本文所需要的圖片集,如圖2所示。

實驗設計:在地面劃分出一個6 m×14 m的矩形區域,作為實驗場地,矩形短邊為東西方向,長邊為南北方向。并在矩形場內搭建一個斜坡,模擬真實火場中的坡度變化。實驗時,在火場內鋪設一定厚度的可燃物進行實驗,可以模擬火從平坡蔓延到斜坡的過程,坡度可以調節。其中可燃物選取樟子松樹葉,樟子松樹葉做可燃物火線蔓延較慢,有利于較小實驗范圍下數據采集和模型驗證,且火勢易于控制,利于保障實驗安全。

圖2 實驗圖像Fig.2 Experimental image

本文所用的參考圖像和待匹配圖像都是從紅外圖像中選取,并做出變化。本文實驗中的圖像變化以牛津大學機器人實驗室給出的圖像變化為依據。圖3(a)為相機視角發生了25°變化,圖3(b)為亮度和對比度發生了變化,圖3(c)為圖像做出了垂直平移變化。

通過SIFT算法、SIFT+RANSAC算法以及本文算法分別對這3組圖像進行圖像識別。實驗中使用的是同一臺電腦上的MATLAB2020b,并且實驗過程中,無其他程序運行,得到的特征點匹配圖如圖4—圖6所示。

通過得到的特征點匹配圖可知,SIFT算法產生的錯誤匹配點比較多,匹配得不是很精確,達不到預期的效果;而在圖5和圖6的SIFT+RANSAC算法得出的特征點圖中也可以明顯地看出,SIFT+RANSAC算法會產生過多的匹配點,導致匹配的時間增加,雖然不會產生過多的錯誤匹配點,但是存在達不到實時性的問題;而在本文算法的匹配效果圖中明顯能感覺到,在不會產生錯誤匹配點的同時,也極大地減少了匹配特征點的個數。所以通過實驗結果的圖像可以明顯地看出,本文改進的算法對紅外圖像下火的旋轉、光照、亮度和平移都有較強的魯棒性[17],能較為正確地匹配火場圖像[18],并能較好地適應復雜環境帶來的影響,對森林火災[19]的防控有較好的提升[20]。

圖3 紅外圖像變化效果Fig.3 Infrared image change effect

圖4 視差25°變化下3種算法的匹配效果圖Fig.4 Matching effect diagram of three algorithms under parallax 25 °

圖5 亮度與對比度變化下3種算法的匹配效果圖Fig.5 Matching effect diagram of three algorithms under the changes of brightness and contrast

圖6 垂直平移變化下3種算法的匹配效果圖Fig.6 Matching effect diagram of three algorithms under vertical translation change

3.1 匹配時間的對比

為了直觀地驗證本文算法所需要的匹配時間較短,對其3種算法都進行了時間的測定。為了驗證實驗的一般性,通過截取視頻中的幀數,對其中多個圖像都進行了預處理,并最后進行MATLAB實驗匹配,將最后得出的時間繪制成散點圖,如圖7—圖9所示。

對圖7—圖9圖像[21]進行分析對比可以得出,圖像[22]在視頻幀數的后期匹配時間都有所增長,原因可能是因為火災燃燒的中后期,會出現大量的煙霧,影響到了原來的識別,但總體來說本文算法無論在何種變化下都有不錯的表現。從上述散點圖對比可得出SIFT算法的匹配時間最慢,基本上達不到實時性的標準。而SIFT+RANSAC[23]算法時間相對于SIFT算法有明顯的縮短。而改進后的算法的時間相對于SIFT+RANSAC算法也有了不小的提升,基本上可以達到實時性的要求。 因為森林火災的狀況跟其他火災發生的類型不太一樣,森林地形復雜,雜草叢生,一旦發生火災就會不斷地蔓延,所以要準確地防控森林火災,實時性是必不可少的。

圖7 視差25°變化下3種算法耗費時間Fig.7 Three algorithmsof time-consuming under the parallax changes by 25 °

圖8 亮度與對比度變化下3種算法耗費時間Fig.8 Three algorithms of time-consuming under the change of brightness and contrast

圖9 垂直平移變化下3種算法耗費時間Fig.9 Three algorithms of time-consuming under the change of vertical translation

3.2 匹配精度的確定

表1—表3是對比了3種圖片變化情況下的3種算法的匹配點個數、誤匹配點個數及匹配精度。從表1—表3可以更加直觀明顯地觀察出SIFT算法產生的誤匹配點較多,匹配的精度不夠好,達不到匹配的準確性。而SIFT+RANSAC算法具有不穩定性,在某種情況下雖然會達到很高的匹配率,但在另一種情況下又產生較低的匹配率,這說明該算法不具有很好的適應性,不適合與復雜環境下的圖片匹配。而本文的算法匹配精度較高,基本上不會產生誤匹配點,能較好地適應各種復雜環境,有較好的魯棒性,適合用于森林火災的圖像匹配。

表1 視差25°變化時3種算法性能比較Tab.1 Performance comparison of three algorithms when parallax changes by 25 °

表2 亮度與對比度變化時3種算法性能比較Tab.2 Performance comparison of three algorithms when brightness and contrast changes

表3 垂直平移變化時3種算法性能比較Tab.3 Performance comparison of three algorithms when vertical translation changes

4 結論

針對森林火災的圖像識別,本文提出一種基于SIFT和改進RANSAC算法。首先通過SIFT算法識別圖片中的特征點,然后通過領域投票和正確匹配點之間斜率相似相結合的方法過濾掉一些錯誤匹配點,使得RANSAC算法的內點集變少,極大地減少了迭代次數。通過實驗仿真結果可以得出改進后的本文算法匹配精度得到改善,匹配時間得到明顯的減少,其中匹配精度平均提高了11%,匹配時間平均縮短了4.8 s。并且該算法可以應用到類似森林等復雜地形的火災圖像識別,能夠在短時間內有效地檢測到火災的發生。后續準備通過無人機搭載激光雷達做一組關于SIFT算法結合三維點云的森林火災圖像識別與森林火災的蔓延情況實驗。