基于無人機的森林火災檢測系統

徐燕翔，裴海龍+

(1.華南理工大學 自主系統與網絡控制教育部重點實驗室，廣東 廣州 510640；2.華南理工大學 自動化科學與工程學院，廣東 廣州 510640)

0 引 言

隨著科學技術的進步發展，基于無人機的森林火災自動化檢測技術逐漸成為預防和監測森林火災的有效手段[1]。比如美國航空航天局(NASA)使用“牽牛星(Altair)”無人機進行森林火災監測；在我國根河一架無人機開始了森林防火的飛行[2]；在加拿大和奧地利也已開始利用小型無人機進行森林火災等災難的預警。

在傳統的火災檢測中，比較常用的方法是利用傳感器進行檢測[3]。這些方法過于單一，會導致誤報率較高，而圖像檢測可以有效解決這個問題。火災圖像中包含了許多火災中的信息，如火焰的形狀、紋理以及煙霧等[4]。可以通過使用圖像處理算法提高火災的識別率。通過對比紅外和彩色攝像頭的圖像，紅外攝像頭在火災檢測中具有明顯優勢，紅外攝像頭能夠迅速找到發熱源位置，不會受到顏色的干擾。由于是紅外圖像，因煙霧擋住火焰而產生的影響會很小，而普通彩色圖像就可能因為煙霧遮擋而分割不出火源。

基于以上分析，本文提出了一種基于無人機平臺通過紅外圖像找到高溫疑似火焰區域并提取其特征，進行識別與定位，彩色圖像作為監控傳給地面站的森林火災檢測系統。

1 系統硬件搭建

硬件系統是保證整個系統能夠正常高效運行的前提，本系統的硬件主要由機載系統與地面系統組成。機載系統由雙目攝像系統，嵌入式系統，圖傳發射機和通信設備組成。地面系統由PC，圖傳接收機和通信設備組成。硬件部分將介紹一下雙目攝像系統和嵌入式系統。圖1為整個系統的硬件組成圖。

圖1 系統框架

雙攝像系統是火災探測的重要的硬件設備，它集圖像設備和轉動云臺為一體。結合森林火災檢測與監控的任務，采用紅外圖像來進行火災識別，彩色圖像來用作監控視頻傳到地面站。轉動云臺的作用主要有兩個:首先就是掛載雙目系統，在硬件上通過減震裝置來減少飛機抖動的影響，進而提高圖像的質量；然后就是通過控制云臺來進行轉動，從而改變攝像頭的視角，擴大火災的監控范圍，實現對火場的跟蹤。掛載雙目攝像頭的云臺如圖2所示。

圖2 掛載雙目攝像頭的云臺

機載嵌入式系統使用的核心板是CM-T3730核心板[5]，該核心板是以色列Compulab公司生產的一種專門處理數字視頻的嵌入式平臺。CM-T3730采用了TI公司生產的Cortex-A8 DM3730作為核心處理器，主頻最高可以達1 GHz，另外還有一個TMS320C64x+DSP的核處理器；整個核心板的尺寸只有66mm×44mm×5mm，尺寸非常小巧，功耗也是非常低，只有0.2 w-2 w；并且該核心板接口十分豐富，其中擁有3個USB2.0接口，3個串口，一個100 M以太網口，還支持WiFi 802.11b/g/n 和Bluetooth 4.0協議，并且還擁有一個256 M的高速動態內存。

CM-T3730核心板適用于作為嵌入式系統的開發板，滿足算法對運算的需求。核心板運行的操作系統為Linux系統，內核版本為Linux 3.0.38。

2 火焰紅外圖像特征提取

由于飛機上抖動比較大，因此盡量選取靜態特征作為火焰識別的特征。本文選擇高溫特性進行火焰分割，圓形度、面積變化率、灰度共生的紋理特性作為火焰識別特征，其中只有一個為動態特征。下面對這些特征分別進行提取。

2.1 火焰分割

對于紅外圖像而言，不同的溫度對應的灰度不同[6]。所以為了把高溫區域從圖像中分割出來，可以按照圖像的灰度值切割出來。圖像分割中最常用的方法是閾值分割法[7]，因為閾值分割法的原理簡單，所以算法的運算量小，運行耗時短。在實際的嵌入式系統中可以表現出比較好的性能。

閾值分割的主要思想是：通過設定特定的閾值，將圖像的像素點分為若干類。設原圖像為I(x,y)，特征閾值設為T，就可以將圖像分為兩個部分

(1)

如果b0=0和b1=255，那么圖像就會實現黑白二值化。對于灰度圖像而言，灰度值大于閾值的像素點就會變成白色，灰度值小于閾值的像素點就會變成黑色。由于該系統運用在無人機上，經測試，閾值設為155的效果比較好，分割出來的效果如圖3所示。

圖3 閾值法分割火焰

2.2 火焰特征提取

2.2.1 圓形度

圓形度是圖像處理中相對重要的概念，可以用作于對圖像輪廓特征的描述與提取。圓形度可以表示物體輪廓與圓接近的程度，可以反映出物體的不規則特性。在火焰特征中，圓形度可以表示火焰的復雜與分散程度[8]。火焰的形狀是在無規律地不斷地變化著，這使得火焰的表面輪廓特征更為復雜，從而使得火焰的圓形度與其它物體相比不太不一樣。圓形度可以由輪廓物體占有的面積和其外圍輪廓的周長之比來定義

e=4π*S/L2

(2)

式中:S代表輪廓的面積，L代表輪廓的周長。圓形度的范圍為0～1，等于1是就是圓。由于白熾燈的輪廓接近圓，圓形度比較大，因此可以通過圓形度來排除該干擾。

圓形度的提取是通過尋找最大面積的輪廓，計算出它的周長，再通過上式計算出來的。提取出來的最大輪廓如圖4所示。

圖4 提取的最大輪廓

2.2.2 面積變化率

面積變化率可以反映了火焰形狀的變化特性，定義火焰的面積變換率為

(3)

式中:Si代表當前幀的面積，Si-1代表前一幀的面積。由于火焰的形狀是不斷變化的，這樣可以通過面積變化率將一些比較穩定的高溫干擾物排除掉。面積的變化率也是通過計算出最大輪廓的面積變化得到的。

2.2.3 紋理特性

對于紋理特性，本文采用統計方法中的灰度共生矩陣[7]方法來進行提取。灰度共生矩陣是通過統計圖像上具有某種特定位置關系的像素灰度對出現的頻率來研究與描述圖像紋理的常用方法，接下來介紹該方法。

在一幅圖中，灰度共生矩陣P的第(i,j)個元素值等于灰度級為i和j在沿某一固定方向θ相距距離為d的灰度對同時出現的次數。再除以總數R，就可以得到此時的概率

(4)

其中，I(l,m)和I(l′,m′)在圖像上沿θ方向上相距d，即l′=l+dcosθ，m′=m+dsinθ。為了方便計算，一般在θ={0°,45°,90°,135°}4個方向選取。

一般通過計算灰度共生矩陣的一些二次統計參數來定量描述紋理特性。Haralick等從灰度共生矩陣中提取14個可以反映共生矩陣特點的參數，本文使用其中的4個參數來作為火焰紋理特征描述的參數指標：

(1)熵

(5)

熵是圖像所具有的信息的度量，反映了紋理的復雜程度。如果圖像的紋理較為分散，隨機性越強，則圖像的熵就越大；反之，圖像的紋理越有序，則圖像的熵值越小。

(2)能量

(6)

能量是灰度共生矩陣各元素值的平方和，是對圖像紋理的灰度變化穩定程度的度量，反應了圖像灰度分布均勻程度和紋理粗細度。從圖像上，紋理越粗，則能量應越大；反之，能量越小，圖像比較均勻或光滑。

農業節水灌溉技術可以節約水資源、降低土壤鹽堿化的程度、提高農作物的產量、促進農業經濟的發展，是非常值得推廣的。雖然農業節水灌溉技術的投入非常大，但是隨著農業節水灌溉技術的成熟，農業節水灌溉技術的投入已經得到了有效控制。同時，該項技術給農業發展帶來的經濟效益已經遠遠超過了其成本投入。農業節水灌溉技術必然是未來農業發展的推動因素，給農業發展帶來更大的經濟效益[3]。

(3)對比度

(7)

對比度是用于衡量灰度共生矩陣值的分布和圖像局部的變化的指標，反應了圖像的清晰度和紋理的溝紋深淺。在圖像上，紋理的溝紋越深，反差越大，效果越清晰，對比度就越大；反之，溝紋越淺，反差越小，效果越模糊，對比度就越小。

(4)相關性

(8)

其中

相關性是用來度量圖像的灰度級在行或列方向上的相似程度。當共生矩陣的元素值分布均勻相等時，其相關值就越大；反之，當共生矩陣元素值相差很大時，其相關值就越小。

對于灰度紋理特征提取方法，首先要將灰度圖像進行灰度級量化，本文采取的是將256級灰度量化到64級，然后分別計算出熵，能力，對比度和相關性等特征。下面是分別選取100幀火焰，電燈和水杯圖片作為特征統計，最終的統計結果如圖5和表1所示。

特征火焰電燈水杯圓形度0.22140.78580.6997面積變化率0.03530.00820.0036熵1.98321.80071.6756能量0.03050.03440.0544對比度4.36131.22822.0091自相關性128 780 169 690323 720

3 識別算法與火場定位

3.1 BP神經網絡

BP神經網絡的定義參見文獻[9]。BP神經網絡能夠解決許多非線性的問題，具有非常強的非線性映射能力。而且BP神經網絡可以通過在訓練時，可以通過學習輸入數據和輸出數據間存在的合理規則，并自適應將學到的規則應用在網絡權值中，因而具有很強的自學習和自適應能力[10]，并且BP神經網絡泛化能力和容錯能力，因此在很多的實際問題中得到了應用。下面將簡單介紹BP神經網絡算法。

對于BP神經網絡，訓練步驟一般如下：

(1)首先，對網絡初始化：初始化輸入層節點數，隱含層的節點數，輸出層的節點數；神經元之間的連接權值w，以及各神經元的閾值θ。

(2)根據神經元的輸出公式

(9)

計算出隱含層節點t的輸出ht和輸出層神經元節點k的實際輸出Ok，其中xi為上一層神經元的輸出值，f(·)一般選擇為Sigmoid函數。

(3)根據輸出層節點k的期望輸出Yk，求出接到輸出層節點k的權值誤差δk

δk=Ok(1-Ok)(Yk-Ok)

(10)

(4)根據誤差δk和Sigmoid函數得性質，可以求出連接到隱含層節點j的權值誤差δt

(11)

(5)根據誤差和常數α、β更新神經網絡的連接權值w和閾值θ

wij=wij+αδjxi

(12)

θj=θj+βδj

(13)

(6)判斷是否滿足精度要求或者達到迭代次數。如果沒有，則轉向步驟(2)繼續進行學習；如果滿足，則迭代結束。

3.2 火場定位

根據GPS傳下來的高度H，偏航角θ，云臺傳下來的它與飛機水平方向的夾角α以及地面夾角β，可以計算出火場的位置，計算方法如下。

根據高度H和夾角β計算出火場與飛機的投影距離L，然后根據偏航角θ以及云臺與飛機的水平夾角α，計算出L在N方向的夾角γ，在經緯度方向進行投影，得到與飛機的經緯度偏差，最后加上飛機的經緯度就可以得到火場的位置，如圖6所示。

圖6 火場位置計算

由圖6可知，L=H*cotβ,而γ=θ+α，在經緯度方向的偏差距離

ΔLat=L*cosγ

(14)

ΔLng=L*sinγ

(15)

已知地球半徑為6370 km，飛機的經緯度Lat_fly,Lng_fly，可以得到火場的經緯度Lat_fire,Lng_fire

ΔLat_ang=ΔLat*180/(6371*1000*π)

(16)

Lat_fire=Lat_fly+ΔLat_ang

(17)

ΔLng_ang=ΔLng*180/(6371*1000*cos(Lat_fire)*π)

(18)

Lng_fire=Lng_fly+ΔLng_ang

(19)

4 實驗結果與分析

4.1 識別效果測試

為了驗證BP神經網絡的火焰識別方法的有效性，我們使用支持向量機作為對比測試。

支持向量機(support vector machine，SVM)的定義參見文獻[11]。它在解決小樣本，非線性及高維模式上有獨特的優勢[12]，因此在很多模式識別領域有成功的應用。

首先，我們先準備好了800組正樣本和800組負樣本。分別分割出這些樣本的疑似火焰區域，并提取該區域的圓形度、面積變化率和紋理特征。火焰識別就是要判斷有沒有火焰，這是一個二分類問題。因此，將正負樣本分別標記進行訓練。最后，將飛機拍到的800組火焰正樣本和剩下沒訓練的800組負樣本進行測試。

用BP神經網絡訓練時，首先將樣本進行歸一化并分類標記，一般神經網絡訓練只包含1到2個隱層，由于特征量不是很多，隱層設定只包含一個隱層的3層神經網絡。由于選取的特征為6，因此輸入層節點為6。隱層節點根據幾個經驗公式，經測試設置為5的時候效果最好，由于是個二分類問題，所以輸出層節點設置為1。用SVM訓練時，使用的樣本要和BP神經網絡一樣。最終兩種方法的識別效果見表2。

表2 兩種識別方法效果

可以看出，SVM和BP神經網絡都基本可以把正負測試的樣本分開。但是，以測試樣本的正確率來看，不管是正樣本的還是負樣本的BP神經網絡都要比SVM的準確率要稍高。這是由于訓練的樣本量比較大，而SVM卻在小樣本量的訓練中具有優勢，對大規模樣本難以實施。而火災識別這一問題的確需要大量數據來進行訓練，再加上神經網絡自主學習能力和推廣概況能力，使得BP神經網絡在此次火焰識別的測試中效果更好。

最終，識別到火焰時，就用矩形框出識別到的火焰區域，測試效果如圖7所示。

4.2 火點定位測試

統計通過計算出的火場位置，并與實際火場的位置作對比。實際的經緯度通過將飛機放在火場位置得到。下面是100組通過計算得到的火場經緯度以及誤差，如圖8所示。

圖7 測試效果

圖8 計算得到的經緯度與誤差

可以看出，經過計算后得到的經緯度相比直接使用飛機的經緯度誤差要小一些，經統計平均誤差為7.353 m。誤差還是有點大，這是云臺裝在飛機上有安裝誤差，就是云臺的水平方向的初始0°相對于飛機的偏航不是完全重合。還有一點就是圖像上找到的火點位置不是正好在圖像的中間，它與云臺存在一定的夾角。不過，總體上，還是可以基本可以完成對火場的定位這一任務。

5 結束語

本文基于小型無人機設計了一個森林火災檢測系統。在火焰識別上，通過對火焰特征的分析，確定了使用圓形度，面積變化率和灰度共生矩陣的二次統計量作為火焰識別的特征。然后研究了BP神經網絡的相關理論，并用BP神經網絡和SVM進行測試比較。最終的實驗結果中，BP神經網絡在測試樣本中正確率更高一些。火場定位方面，通過飛機的經緯度和高度，偏航角，云臺的角度，計算出火場的經緯度。最后與實際的火場經緯度進行對比，通過對誤差分析，本系統基本可以完成對火場的定位。由于本系統只用紅外攝像進行識別，對于一些使用紅外圖像比較難排除的干擾，可以在以后的工作中加上彩色攝像頭的識別，通過彩色攝像頭對火焰和煙霧等進行輔助判斷，這樣可以提高算法的識別效率。火場定位方面，可以考慮火場圖像與云臺的夾角以及飛機的俯仰角和滾轉角對火場定位的影響，這樣可以進一步提高火場定位的精度。

參考文獻：

[1]ZHANG Zeng,WANG Bing,WU Xiaojie,et al.An algorithm of forest fire detection based on UAV remote sensing[J].Remote Sensing Information,2015,30(1):107-110(in Chinese).[張增,王兵,伍小潔,等.無人機在森林火災監測中火情檢測方法研究[J].遙感信息,2015,30(1):107-110.]

[2]LI Bin,WANG Hongyu,YANG Xiaotian.Unmanned aerial vehicle (UAV) system in the application and development of fo-rest fire prevention[J].Electronic Technology,2015(5):15-18(in Chinese).[李濱,王宏宇,楊笑天.無人機系統在森林防火方面的應用及其發展[J].電子技術,2015(5):15-18.]

[3]ZHANG Nan.A research of fire detection and identification based on video image[D].Guangzhou:South China University of Technology,2013(in Chinese).[張楠.基于視頻圖像的火災檢測與識別方法研究[D].廣州:華南理工大學,2013.]

[4]CHEN Jiaqing.Research on fire image detection technology based on flame features[D].Zhenjiang:Jiangsu University of Science and Technology,2016(in Chinese).[陳嘉卿.基于火焰特征的圖像型火災探測技術研究[D].鎮江:江蘇科技大學,2016.]

[5]CompuLab.CM-T3730 CoM reference guide[G/OL].[2017-07-22].http://www.compulab.com/wp-content/uploads/2012/08/cm-t3730_refman_2012-08-09.pdf.

[6]HUANG Qingdong.The research of fire detection algorithm based on infrared thermal imaging[D].Guangzhou:South China University of Technology,2014(in Chinese).[黃慶東.基于紅外熱成像的火災檢測算法研究[D].廣州:華南理工大學,2014.]

[7]SUN Zheng.Digital image processing and recognition[M].Beijing:China Machine Press,2014:72-86,127-131(in Chinese).[孫正.數字圖像處理與識別[M].北京:機械工業出版社,2014:72-86,127-131.]

[8]LI Ling.The research based on fire detection based on video image[D].Guangzhou:South China University of Technology,2012(in Chinese).[李玲.基于視頻圖像的火災識別研究[D].廣州:華南理工大學,2012.]

[9]HU Li,CHEN Bin,LAI Qiming,et al.Improved BP neural network[J].Computing Technology and Automation,2015,34(4):86-89(in Chinese).[胡麗,陳斌,賴啟明,等.BP神經網絡的改進[J].計算機技術與自動化,2015,34(4):86-89.]

[10]MA Haizhi.The research and application on BP neural network[D].Harbin:Northeast Agricultural University,2015(in Chinese).[馬海志.BP神經網絡的改進研究及應用[D].哈爾濱:東北林業大學,2015.]

[11]WANG Daoming,LU Changhua,JIANG Weiwei,et al.Study on PSO-based decision-tree SVM multi-class classification method[J].Journal of Electronic Measurement and Instrumentation,2015,29(4):611-615(in Chinese).[王道明,魯昌華,蔣薇薇,等.基于粒子群算法的決策樹SVM多分類方法研究[J].電子測量與儀器學報,2015,29(4):611-615.]

[12]GUO Mingwei,ZHAO Yuzhou,XIANG Junping,et al.Review of object detection methods based on SVM[J].Control and Decision,2014,29(2):193-200(in Chinese).[郭明瑋,趙宇宙,項俊平,等.基于支持向量機的目標檢測算法綜述[J].控制與決策,2014,29(2):193-200.]