胡興剛 李明宸 王 騰 卜樂平
(1.中國船舶重工集團公司第七二六研究所 上海 201108)(2.92771部隊 青島 266400)(3.海軍工程大學 武漢 430022)
火災是影響艦船安全航行的巨大威脅。視頻火災探測技術由于其探測范圍廣、實時性好、智能化程度高等獨特優勢[1]在艦船大空間中得到廣泛應用。采用普通彩色攝像頭進行火災探測與識別,一般先提取疑似火焰目標區域,再利用火災的圖像特征通過圖像識別算法對感興趣目標區域進行判別,繼而實現火災的準確探測[2]。疑似火焰目標區域的有效提取是后期圖像特征分析和綜合識別的重要前提。
作為視頻火災探測的重要一環,目標提取主要用于將疑似火焰目標區域與背景分割開來,可以根據火焰的靜態特征和動態特征進行選取。根據火焰的靜態特征提取感興趣區域,可以利用顏色、紋理、形狀等特征對單幅圖像視野范圍內的物體進行篩選,因為紋理、形狀等特征多是基于區域提取的,所以一般都是通過建立火焰或煙霧的顏色模型進行像素級處理來選取感興趣的區域;根據火焰的動態特征提取感興趣區域,需要對序列圖像中的運動物體進行提取、跟蹤。因為目前絕大部分的視頻火災圖像算法是針對室外火災或廣泛火源進行的,不同的火源在不同的戶外環境中顏色上存在較大差異,而無論是何種火源產生的火焰或煙霧都是運動的,因此目前的視頻火災探測方法多用運動檢測來提取感興趣目標區域[3~21]。根據技術路線的不同,目前的運動目標提取方法可以分為幀間差分法[3~7]、背景差分法[8~13]、光流法[14~15]、小波變換法[16~17]、分形編碼法[18]、均值漂移法[19]、最小能量法[20]和基于機器學習的方法。其中,幀間差分法、背景差分法和光流法能夠自動提取運動物體,其他的幾種方法都需要人工干預提取過程才能實現運動目標的提取。
綜上所述,不同的目標提取方法各有優缺點,在不同的應用場景中表現出不同的性能。因此,需要針對特定的應用環境在提取精度、復雜度和實時性方面選擇或改進合適的目標提取方法以獲得最佳的目標提取效果。
如引言中所述,因為視頻火災探測是一項應用性很強的技術,對于視頻的實時性處理要求運動目標的探測必須自動快速,因此本文只對前三種應用廣泛的自動目標提取方法進行研究。為了對比分析不同目標提取方法在艦船大空間視頻火災探測中的應用性能,本文使用四種艦船大空間中典型的火焰及干擾(近距離明火,遠距離小火,強光干擾下的火焰以及手電光)視頻圖像對各方法進行檢驗。
幀間差分法是對連續圖像序列里兩個或三個相鄰幀圖像進行差分運算,得到相鄰幀圖像間對應像素點發生的相對變化,再與設定的變化閾值進行比較,進而提取圖像中的運動目標區域。幀間差分法原理簡單、運算量小、在對實時性要求高的方向應用廣泛。幀間差分法的關鍵在于設定合理的變化閾值,如果閾值過大,則會漏檢運動目標或者讓運動目標碎片化;如果閾值過小,又會引入大量的噪聲。所以差分閾值必須具有根據圖像整體特性進行自適應調整的能力。文獻[22]提出了一種根據差分圖像的灰度值分布確定自適應閾值的方法。其主要內容如下。
最后,對閾值進行更新,并使用先開啟后閉合的數學形態學方法去除噪聲影響。
以此方法得到的幀間差分法對于室內環境中典型的火焰及干擾檢測圖像如圖1。
從圖1的檢測效果圖可以看出,幀間差分法容易被噪聲干擾,即使使用數學形態學運算進行了一定程度的噪聲剔除,仍然存在很多噪聲,而且對于手電光和強烈燈光下的運動變化檢測非常不準確,對于明顯火焰的提取也存在“空洞”現象。這些問題極大地限制了其在燈光復雜的室內環境中視頻火災檢測的應用。
圖1 幀間差分法檢測結果
背景差分法是基于序列圖像建立起相對穩定的背景模型,然后將其與當前圖像做差以提取變化目標區域的方法。相比于幀間差分法,背景差分法的背景圖像更加穩定,更能反映出當前圖像的真實變化,同時其根據圖像序列得到的差分閾值比兩三幀相鄰圖像得到的差分閾值也更加準確有效。背景差分法的關鍵在于及時、準確地對背景模型進行更新。文獻[12]提出了一種基于背景模型更新實現運動目標快速檢測的方法。該方法主要分為三個步驟實現。首先,在像素級別上計算出差分閾值;然后,根據當前幀圖像和原背景圖像的差分提取目標區域;最后,根據當前幀圖像和背景圖像對背景模型進行更新。具體實現如下。
設有圖像序列 f1,f2,…,fk-1,fk,fk+1,… ,當前幀圖像 fk,通過如式(3)所示的RGB到HIS顏色空間的幾何轉換得到其強度圖像為Ifk,即有,Ifk=rgb2hsi(fk)。
其中χ為比率值,文中設為25%。ΔL和ΔH分別是閾值變化的減少率和增加率,文中都設定為30%。然后根據判斷各目標區域內的像素個數和圖像總像素數的比值剔除噪聲,并根據當前圖像fk和原背景圖像Bfk進行更新:
其中,α為背景的更新速率,其值越大更新越快,同時背景圖像越不穩定,文中設定為10%。
以此方法得到的背景差分法對于常見室內環境中的火焰及干擾檢測圖像如圖2。
圖2 背景差分法檢測結果
從圖2的檢測效果來看,對于近距離明火,背景差分法能夠提取出其運動部分,但對于焰心等固定區域無法提取,同樣存在“空洞”現象。對于遠距離的火焰因為變化不明顯則不能檢測出運動部分。同樣,對于強光干擾下的火焰無法檢測出其變化,對于移動手電光也是會把光束部分當作目標區域進行提取。該方法在室外環境的火災探測中獲得了較好的檢測效果[22],但在復雜的室內環境中卻無法準確提取出火焰區域。因此,該方法同樣難以滿足艦船大空間內的視頻火災探測要求。
光流法是根據目標和背景光流場之間的不連續性來實現運動目標區域的提取的。根據目標提取和光流計算之間關系的不同,光流法可以被分為貝葉斯法、參數聚類法、同時估算和檢測分割法三大類。光流法的優點在于即使是在攝像機運動的情況下也能提取出不同速度的運動目標區域。
圖3是根據文獻[26]的方法計算得到的光流,其中圖(d)是光流的顯示圖,不同的顏色表示光流場的大小。從圖中可以看到,在復雜環境中光流的計算也容易收到噪聲的干擾,對于遠距離的火焰和強光干擾下的火焰都無法檢測出來。而且光流的計算非常耗時,以圖(3.3)為例,使用文中所提的經典快速光流計算方法,在處理器為Inter(R)Core(TM) i5-4200M CPU@2.50GHz,安裝內存為12.0GB的電腦上使用Matlab2012計算兩幀像素為720×1280的相鄰圖片光流場耗時352.537723s,大大超出了視頻火災探測的實際應用時間要求。因此,光流法也不適用于室內環境中的目標區域提取。
圖3 檢測圖像的光流
從第2節的分析來看,因為室內環境復雜,存在燈光干擾和光照迅速變化等情況,運動檢測方法并不適用于艦船大空間中的目標區域提取。除去運動目標提取方法,還可以根據火焰的靜態特征來提取感興趣區域,即利用顏色、紋理、形狀等特征對單幅圖像視野范圍內的物體進行篩選。因為紋理、形狀等特征多是基于區域提取的,所以一般都是通過建立火焰或煙霧的顏色模型進行像素級的處理來選取感興趣區域。
作為火焰最具代表特征的顏色,在視頻火災探測中常被作為識別火災的特征,研究者對火焰的顏色進行分析,在不同的顏色空間建立不同的顏色模型。因為室內和室外光照環境的差異,室內和室外的火焰顏色是不一樣的。在室外環境中,尤其是天氣晴朗時候,攝像頭采集的圖片中火焰區域顏色偏暗,但是在室內環境中,火焰區域偏亮。艦船大空間中光照變化頻繁,又存在較多燈光干擾,受自然光照影響較弱,其環境更接近于室內光照。因此,本文主要對室內火焰顏色模型進行研究。其中最具代表性的就是Chen等[22]在RGB與HSI顏色空間的建立的火焰顏色模型和 Celik等[23~24]在 YCbCr顏色空間建立的火焰顏色模型。
火焰的早期顏色為紅色到黃色。紅色到黃色的顏色范圍對應到RGB空間就是R≤G>B。在火焰的RGB圖像中,R分量是主要分量,這是因為火是一個光源,同樣視頻攝像機需要一個足夠的亮度在夜間捕捉圖像序列。因此,火焰的R分量應該大于一個閾值RT。同時,為了避免背景光照的干擾,火焰的飽和度應該大于一個閾值以排除其他類似火焰的干擾。這將推導出三個火焰圖像決策規則來提取火焰圖像,這些規則如下:
其中,RT、ST分別為R顏色分量、S顏色分量的閾值。關于火焰像素點的R值和S值之間的關系如圖4所示。根據大量實驗結果統計得到,ST和RT的取值范圍分別在55~65和115~135之間,本文所用ST值為55,RT值為120。
圖4 R-S關系
從圖5的檢測效果圖中可以發現,RGB-HIS火焰顏色模型對于室內火焰具有很好的提取效果,無論是遠距離的火焰還是被強光干擾的小火焰區域都能被準確提地提取出來。即使對于一些干擾如反光、手電等不能有效去除,但這些干擾可以通過更高層次的特征進行排除。所以這是一種適用于室內環境中的火焰區域提取方法。
圖5 RGB-HIS火焰顏色模型檢測結果
為了排除圖像亮度對火焰顏色模型的干擾,Celik等將火焰的亮度和色度信息獨立出來,在YCbCr顏色空間建立了火焰顏色模型。在RGB顏色空間火焰像素顏色分量的關系R≥G≥B轉換到YCbCr空間則有規則1。
設 Ymean、Cbmean、Crmean分別為給定圖像在 YCbCr顏色空間的Y、Cb、Cr顏色分量的均值,即
式中,(xi,yi)為像素點在圖像中的坐標,Ymean、Cb?mean、Crmean分別為圖像的亮度、藍色分量、紅色分量均值,K為圖像中像素點總數。
一般的火焰是場景中最亮的區域,因此在圖像中火焰亮度分量Y要大于圖像亮度均值Ymean。但是一般火焰場景圖像中,火焰藍色分量Cb要小于圖像藍色分量均值Cbmean,火焰紅色分量Cr比圖像紅色分量均值大。即有規則2:
根據文獻[25]的分析,火焰像素點的Cb分量成分更接近“黑色”,而Cr分量成分更接近“白色”。因此有規則3:
文中根據大量火焰圖像使用ROC曲線確定τ=40時能取得最佳的分割效果。
除了以上三條規則,Celik等還基于大量火焰圖像色度信息的統計分析建立了規則4:
根據該火焰顏色模型得到的檢測效果如圖6所示。
從圖6的檢測效果可以看出,YCbCr火焰顏色模型具有較強的抗干擾能力,能夠提出手電和金屬反光的干擾。但是該模型提取的火焰區域不完整,對于偏亮偏白的焰心區域無法提取出來,給進一步分析帶來難處。所以,RGB-HIS火焰顏色模型可以作為艦船大空間中疑似火焰區域的提取方法。
通過艦船大空間環境中四種典型的火焰及干擾視頻圖像的檢測結果對比分析可以看到,常用的運動檢測方法并不能準確提取出遠距離的小火和強光干擾下的火焰,而Chen等提出的RGB-HIS火焰顏色模型卻能準確檢測出四種情況下的疑似火焰目標區域,適用于艦船大空間的視頻火災探測應用,對于室內火焰目標提取具有一定的借鑒意義。