火災視頻圖像定位中特征點提取和匹配

趙丹陽，王慧琴，胡 燕，殷 穎

西安建筑科技大學 信息與控制工程學院，西安 710055

1 引言

火災的發生具有突發性和很強破壞性，嚴重威脅人類的生命財產安全和自然環境。火災視頻作為圖像型火災探測的基礎，與傳統的感溫感煙火災探測滅火設備相比，重點突出了火災的實時性和便易性。在視頻監控的基礎上增加火災的探測與滅火裝備功能可以有效地節省開支，并在火災的初級階段發現火災，做到有效地減少資源浪費和火災的早期防范控制。在早期的火災探測中火災定位技術是火災撲救的一個重要環節。火災發生時，準確地找到火災空間位置，驅動高壓水炮進行自動滅火，具有重要的研究意義和應用價值。

定位技術主要研究的是在背景環境中獲取目標位置問題。利用計算機采集兩幅或兩幅以上的圖像中，選取空間位置一致性的點，利用機器視覺的相關原理，恢復空間位置的三維信息。特征點的提取和匹配是計算機定位技術的核心[1-2]。通常的方法依靠角點信息。Moravec角點檢測實現了立體視覺的匹配，在此基礎上，Harris對Moravec算子進行了改進。Harry算子具有旋轉不變性和縮放不變性等特點，可廣泛應用于各種圖像匹配和融合算法中。1999年，D.G.Lowe提出了 SIFT（Scale Invariant Feature Transform）算法，2004年完善總結。該算法不僅具有旋轉、尺度縮放、視角、光照不變性，對運動物體，視角變化、仿射變換、噪聲也保持一定程度的穩定性[3]，廣泛應用于機器定位、三維目標識別中[4]。

SIFT算法的一個重要特性就是多量性，即使少數的幾個物體也能產生大量的SIFT特征向量，這個特性對于三維信息重建非常有利。但它用的128維向量表示每個特征點，使處理的數據量過于冗長，存在局限性[5]。尤其在視頻監控的火災定位探測中，過長的時間計算量，將會使監控的實時性下降。火災發生的突發性和高擴散性，使高壓水炮滅火產生偏離和誤差，失去了實時監控滅火的意義。本文以SIFT算法為基礎，針對火災圖像的特性，對SIFT算法進行改進，在匹配數量大致相同的情況下，提高了處理的實時性，保持了算法的準確性以及SIFT算法的旋轉、尺度、光照不變性。

2 SIFT算法原理

尺度空間理論最早出現于計算機視覺領域，其目的是模擬圖像數據的多尺度特征。一幅二維圖像，在不同尺度下的尺度空間可由圖像與高斯核卷積得到：

式（1）中，I(x,y)代表圖像的像素位置。σ為尺度空間因子，其值代表圖像被平滑的程度。值越小，平滑程度越小，相應的尺度也越小。大尺度對應于圖像的概貌特征，小尺度對應于圖像的細節特征。L代表了圖像的尺度空間。式（2）為二維高斯函數的定義。

3 SIFT特征點提取與匹配

SIFT算法的主要包括以下四個步驟：

（1）尺度空間生成

為了有效地在尺度空間檢測到穩定的關鍵點，Lowe提出了高斯差分空間（Different Of Gaussian，DOG）利用不同尺度的高斯差分核與圖像卷積生成[6]。

（2）尺度空間極值點檢測

為了尋找尺度空間的極值點，每一個采樣點要和它所有的相鄰點比較，如圖1所示。中間的檢測點和它同尺度的8個相鄰點和相鄰尺度對應的9×2個點，共26個點比較，以確保尺度空間和二維圖像空間都檢測到極值點。

圖1 DOG尺度空間極值點檢測

（3）關鍵點方向分配

利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。

其中L所用的尺度為每個關鍵點各自所在的尺度，m(x,y)表示像素(x,y)處梯度的模值，θ(x,y)表示像素(x,y)處梯度的方向。

實際計算時，在以關鍵點為中心的鄰域窗口內采樣，并用直方圖統計鄰域像素的梯度方向。梯度直方圖的范圍是0°～360°，其中每10°一個柱，總共36個柱。直方圖的峰值則代表了該關鍵點處鄰域梯度的主方向，即作為該關鍵點的方向。圖2是采用7個柱時使用梯度直方圖為關鍵點確定主方向的示例。

圖2 梯度方向直方圖確定梯度方向

（4）特征點描述生成

將坐標軸旋轉到特征點方向，保證旋轉不變性。如圖3所示，以中央黑點即關鍵點為中心取8×8的窗口，每個小格代表關鍵點領域所在尺度空間的一個像素，箭頭方向表示像素的梯度方向，箭頭長度代表梯度的模值。然后用高斯窗口對其進行加權運算，在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。Lowe建議在實際中使用4×4共16個種子點來描述，這樣對于一個關鍵點就可以產生128個數據。此時SIFT特征向量已經去除了尺度變化、旋轉等幾何變形因素的影響，再繼續將特征向量的長度歸一化，可進一步去除光照變化的影響。

圖3 由關鍵點領域梯度生成特征向量

（5）特征點匹配

兩幅圖像關鍵點特征向量生成后，采用關鍵點的歐式距離將作為相似性的判斷依據，并設定閾值，進行特征點匹配。

4 火災圖像中SIFT算法改進

實驗表明，SIFT算法第四步用128個特征點描述占用了系統大量時間，嚴重影響算法的實時性，尤其是在視頻圖像火災定位中，該缺陷更加明顯。為此對傳統的SIFT算法進行改進。SIFT算法對實時性的主要影響在第四步，因此，將128維特征向量降低為窗為4×4的8維特征向量，使算法局部化。由于關鍵點的向量描述減少了，所以降低了特征點的提取時間。同時局部化的改進對匹配率有較大的影響。為此，算法對實時性影響較小的兩個地方進行了相應的改進。增加了每個像素的點的多方向性和關鍵點的雙向匹配算法，這兩個改進目的是為了提高算法匹配率，提高整體的穩定性和魯棒性。

具體改進步驟如下：

（1）修改關鍵點方向分配閾值。

在多尺度空間特征點形成后，關鍵點方向檢測時，降低輔方向的閾值。這樣的作用使得每個關鍵點在生成直方圖后，一個像素點可能產生多個方向（一個主方向，一個以上輔方向），一個像素點包含的方向越多，這個像素點就具有越多的不同方向的特性，這樣的多方向的像素點在對關鍵點進行描述的時候，就能保持更多的關鍵點的特性和唯一性，對關鍵點的描述也更全面。這樣就增加了關鍵點匹配的魯棒性，確保特征點描述改進后的匹配穩定性[7]。

（2）降低特征點向量個數。

①對特征點的描述，取以關鍵點為中心的4×4窗口的16為向量，表示關鍵點的特征描述。如圖4所示，每個窗體由于增加了像素點的輔方向，雖然在關鍵點處的特征向量減少，但是保持了匹配的穩健性。

②利用4×4的窗體，加上權值累加信息，統計出關鍵點的8個梯度方向信息。如圖5所示。

圖4 由特征點生成的特征向量

圖5 關鍵點的8維向量特征

③將這8個梯度方向歸一化，以保證光照的不變性。假設 8維特征點向量a=[1，2，3，4，5，6，7，8]按照歸一化公式（5）得到歸一化的值。

④查找最大梯度方向，得到關鍵點的8維向量后，利用公式（6）將向量的最大元素移至開頭，其余特征向量保持不變，假設8維特征點向量a=[1，2，3，4，5，6，7，8]，則最終關鍵點的特征向量為a=[8，1，2，3，4，5，6，7]。這樣做的作用是消除特征向量排序是產生的減小歐式距離的度量后果，能使得特征描述符在后續步驟中消除錯誤匹配。同時，采用8維向量匹配，并去除種子點的描述，極大地縮短了特征點的提取時間，增加匹配速率。

（3）由于特征點向量由128維向量減低到8維向量的描述，容易在特征點匹配上產生誤差，因此，為了保證匹配的效率，遵循匹配的維一性約束原則，將圖像進行雙項匹配，如公式（7）所示。匹配的維一性約束指匹配點間的維一映射關系。

在原算法的基礎上增加歐式距離算法的匹配，交換圖像順序，再進行匹配。當兩次匹配的坐標相同，則完成匹配。一般雙目定位采用兩張圖像，則是2次歐式距離匹配。單目視頻圖像序列則一般采用每秒6幀圖像，將6幀圖像分為三組，每組進行雙向匹配。然后再進行火焰定位。

5 實驗結果

本實驗環境選用CPU E5300 2.9 GHz，2 GB的內存。操作系統為Microsoft Windows XP SP3，仿真平臺為Matalab 7.8。

實驗主要分為以下三類：

（1）將改進算法和SIFT算法進行比較。如圖6所示，綠色箭頭為SIFT算法，紅色為改進后的算法。

（2）利用表格測試改進算法的匹配率。如圖7所示。

（3）利用多種火災圖像，仿真改進算法在火災圖像下的匹配效果。如圖8所示。

圖6 SIFT算法與改進算法比較

圖7 表格測試改進算法

圖8 火災圖像中的匹配

表1為對多幅不同場景下的火災圖像進行原SIFT算法和改進SIFT算法仿真出的實驗相關數據對比。從表1中可以得到：改進前后的SIFT算法在匹配率雖然有小范圍的降低，但是極大地縮短了匹配的時間，在火災圖像中，這種實時性的提高是必要的。

表1 圖像匹配比較數據

6 結束語

圖像特征點的提取與匹配中，提取穩定、可靠的特征點是提高匹配準確度的重要環節。本文采用SIFT特征點提取算法，其不受圖像的伸縮、旋轉、光照等影響，能夠正確地提取出描述物體本質的信息。為了滿足視頻火災圖像定位速度和準確性的要求，在原算法基礎上對SIFT算法進行了改進。改進后的算法極大地縮短了SIFT特征點提取時間，提高了實時性，同時保證了旋轉不變性，為下一步的火災視頻監控下的空間定位奠定了基礎。

[1]王兆仲，周付根，劉志芳，等.一種高精度的圖像匹配算法[J].紅外與激光工程，2006，35（6）：75l-755.

[2]張文明，劉彬，林偉，等.基于雙目視覺的三位重建中特征點提取及匹配算法的研究[J].光學技術，2008，34（2）：181-185.

[3]郭黎，廖宇，陳為龍，等.基于改進SIFT的超視頻分辨率重建快速配準算法研究[J].湖北民族學院學報，2010，28（2）：177-183.

[4]孟浩，程康.基于SIFT特征點的雙目視覺定位[J].哈爾濱工程大學學報，2009，30（6）：649-652.

[5]曹娟，李興瑋，林偉延，等.SIFT特征匹配算法改進研究[J].系統仿真學報，2010，22（11）：2760-2763.

[6]Lowe D G.Object recognition from local scale-invariant features[D].Vancouver，Canada：Computer ScienceDepartment，University of British Columbia，1999.

[7]Lowe D G.Distinctive image features from scale-invariant keypoints[D].Vancouver，Canada：ComputerScienceDepartment，University of British Columbia，2004.

[8]Lowe D G.Local feature view clustering for 3D object recognition[D].Vancouver，Canada：Computer Science Department，University of British Columbia，2001.

[9]Li Canlin，Ma Lizhuang.A new framework for feature descriptor based on SIFT[J].Pattern Recognition Letters，2009，30（5）：544-557.

[10]Moreno P，Bernardino A.Improving theSIFT descriptor with smooth derivative filters[J].Pattern Recognition Letters，2008.