基于北斗與圖像識(shí)別技術(shù)的智慧林火監(jiān)測防控研究

丁超，唐雅勤，魏曉莉，張家精，萬文芳，武鋼，李田田，周紫倩，陸賽賽

（1.安徽建筑大學(xué)；2.上海海積信息科技股份有限公司）

1 引言

據(jù)統(tǒng)計(jì),全國年均累計(jì)發(fā)生各類森林火災(zāi)案例達(dá)22 余萬起,受災(zāi)地區(qū)森林覆蓋面積更高達(dá)640 多萬公頃,約等于占全國森林總覆蓋面積的1.8%。“預(yù)防為主,積極消滅”的森林防火工作方針已經(jīng)代表當(dāng)今世界國際上關(guān)于森林資源防火的一種主流技術(shù)理念,如何做到各類火情情況及時(shí)發(fā)現(xiàn)、及時(shí)預(yù)報(bào)、及時(shí)撲救已逐漸成為當(dāng)前世界各個(gè)國家加強(qiáng)森林資源防火管理工作的一項(xiàng)重大歷史課題。目前國際上，德國的Fire-WatchSystem 森林火災(zāi)自動(dòng)預(yù)警系統(tǒng)主要利用數(shù)碼攝像技術(shù)即時(shí)識(shí)別與定位森林火災(zāi)；美國的智能微塵監(jiān)測網(wǎng)絡(luò)主要通過直升機(jī)飛播溫度傳感器來了解火災(zāi)情況。我國的森林火情監(jiān)測系統(tǒng)部分是基于紅外線、紫外線探測和衛(wèi)星監(jiān)測。但以上防火措施存在著受氣候影響大、誤報(bào)、不能滿足全天監(jiān)測和花費(fèi)高等弊端。

為全面貫徹落實(shí)《全國森林防火中長期發(fā)展規(guī)劃》,綜合地運(yùn)用云計(jì)算技術(shù)、大數(shù)據(jù)技術(shù)和移動(dòng)互聯(lián)網(wǎng)技術(shù)等相關(guān)信息技術(shù)，將現(xiàn)代信息化技術(shù)與消防業(yè)務(wù)工作進(jìn)行融合[1]，不斷加大森林防火減災(zāi)投入,加強(qiáng)全國森林林區(qū)火災(zāi)災(zāi)害預(yù)防、撲救和安全保障三大消防體系工程建設(shè)，并針對(duì)當(dāng)前系統(tǒng)存在的受外界影響大與成本高問題，初步建設(shè)覆蓋森林火災(zāi)防火智能視頻火災(zāi)監(jiān)控、智能火災(zāi)預(yù)警、輔助消防決策及火災(zāi)應(yīng)急管理指揮系統(tǒng)。該方案主要包括北斗的定位及導(dǎo)航技術(shù)研究，圖像識(shí)別的處理、分割、識(shí)別煙或火的研究，傳感器集合的監(jiān)測研究，基于此三項(xiàng)技術(shù)的結(jié)合制定系統(tǒng)框架如圖1 所示，通過云臺(tái)與傳感器收集火源信息，將數(shù)據(jù)傳輸?shù)綌?shù)據(jù)處理與分析器中，一旦確認(rèn)識(shí)別火情，通過接收機(jī)捕獲跟蹤的衛(wèi)星信號(hào)，測量出接收天線至衛(wèi)星的距離和距離的變化率,解調(diào)出衛(wèi)星軌道參數(shù)等數(shù)據(jù)。根據(jù)這些數(shù)據(jù)，接收機(jī)中的微處理計(jì)算機(jī)就可按定位解算方法進(jìn)行定位計(jì)算，計(jì)算出火源所在地理位置的經(jīng)緯度、高度、速度、時(shí)間等信息，上報(bào)政府安監(jiān)部門，并通過北斗導(dǎo)航安全路線調(diào)度消防員滅火。此方案實(shí)現(xiàn)集成了圖像、報(bào)警、定位各種信息的全天候、全方位、網(wǎng)絡(luò)化的遠(yuǎn)程高清晰度的實(shí)時(shí)管控信息系統(tǒng)[1]，減少外界影響與成本支出，并且實(shí)現(xiàn)森林防火減災(zāi)工作的消防科學(xué)化、標(biāo)準(zhǔn)化、信息化和消防專業(yè)化,研究先進(jìn)現(xiàn)代科學(xué)技術(shù)手段，從而有效率地提高林區(qū)綜合森林防控火災(zāi)能力。

圖1 基于北斗的林火監(jiān)測防控系統(tǒng)實(shí)施框架

2 基于北斗與圖像識(shí)別技術(shù)的林火監(jiān)測防控系統(tǒng)的北斗模塊研究

2.1 系統(tǒng)模塊化結(jié)構(gòu)

系統(tǒng)采用模塊化結(jié)構(gòu)，主要包括傳感器感知模塊，功能是采集各項(xiàng)火警數(shù)據(jù)；單片機(jī)主控模塊，功能是控制各模塊協(xié)調(diào)工作；北斗衛(wèi)星通信模塊，主要功能是進(jìn)行數(shù)據(jù)傳輸和通信。軟件設(shè)計(jì)流程圖如圖2 所示。

2.2 北斗系統(tǒng)應(yīng)用方案

應(yīng)用主要是北斗模塊在終端設(shè)備的使用，北斗通信模塊采用GYM2003B 北斗RDSS 全功能通信模塊，主控芯片采用具有高速、低功耗、超強(qiáng)抗干擾能力的STC89C52RC 單片機(jī)。經(jīng)文獻(xiàn)參考、研究與實(shí)踐證明，此系統(tǒng)具有結(jié)構(gòu)簡單、監(jiān)測準(zhǔn)確、報(bào)警成功率高及成本低等優(yōu)點(diǎn)。一旦設(shè)備檢測到火焰和空氣煙霧,利用主控單片機(jī)等驅(qū)動(dòng)微處理器即可進(jìn)行檢測位置的實(shí)時(shí)上報(bào)[3]。

圖2 軟件設(shè)計(jì)流程圖

發(fā)生火災(zāi)時(shí)，報(bào)警及實(shí)時(shí)參數(shù)等數(shù)據(jù)最先通過自主設(shè)計(jì)的配備有北斗衛(wèi)星通信模塊的監(jiān)測終端設(shè)備發(fā)送給衛(wèi)星，經(jīng)衛(wèi)星轉(zhuǎn)發(fā)給中心站，中心站處理后傳回給衛(wèi)星，衛(wèi)星再將實(shí)時(shí)數(shù)據(jù)等信息轉(zhuǎn)發(fā)給監(jiān)測中心做出相應(yīng)指示。軟件接口上，采用北斗系統(tǒng)通信層協(xié)議，即在應(yīng)用層系統(tǒng)自定義通信規(guī)則。考慮到系統(tǒng)通信的特點(diǎn)及系統(tǒng)對(duì)于可靠性的要求，采用自報(bào)式與查詢應(yīng)答式相結(jié)合的數(shù)據(jù)傳輸方式.自報(bào)式傳輸數(shù)據(jù)是指終端按照規(guī)定的時(shí)間主動(dòng)向中心站傳送實(shí)時(shí)數(shù)據(jù)。查詢式數(shù)據(jù)傳輸是指中心站通過發(fā)送查詢指令來獲得數(shù)據(jù)。實(shí)時(shí)定位，實(shí)時(shí)導(dǎo)航安全路線由此減少人員傷亡損失。

3 基于北斗與圖像識(shí)別技術(shù)的林火監(jiān)測防控系統(tǒng)的圖像識(shí)別模塊研究

3.1 圖像預(yù)處理

1）解壓

在整個(gè)林火監(jiān)控視頻圖像監(jiān)控中,接收到的圖像是經(jīng)過壓縮后傳輸?shù)?因此首先就需要進(jìn)行整個(gè)林火監(jiān)控視頻的圖像解壓。視頻圖像解壓主要軟件采用了DirectShow 解壓技術(shù),在快速解壓視頻過程中用戶可用幀差法或者用背景減法可以得到可疑林火的圖像。

2）降噪

林火視頻數(shù)字圖像在系統(tǒng)形成、傳輸、接收和最后處理的整個(gè)過程中,會(huì)同時(shí)受到來自外界工作環(huán)境、系統(tǒng)硬件性能和人為因素等諸多客觀方面的影響,不可避免地會(huì)存在外界噪聲源的干擾,影響視頻圖像的傳輸質(zhì)量[3]。因此,林火視頻圖像分析中也常常需要同時(shí)進(jìn)行視頻圖像識(shí)別預(yù)處理,去除視頻圖像處理中的一些噪聲和缺點(diǎn),改善視頻圖像的整體視覺效果,使視頻圖像清晰,邊緣曲線輪廓明顯,以便于視頻圖像的進(jìn)一步準(zhǔn)確識(shí)別和預(yù)處理。

3）銳化

圖像銳化預(yù)處理的各種方法主要包括直方形視圖銳化修正、對(duì)比度銳化修正、去模糊、平滑、銳化、校正、復(fù)原、重建等。

3.2 圖像分割

在進(jìn)行圖像層的預(yù)處理后,再進(jìn)行圖像層的分割。把兩個(gè)圖像處理中的目標(biāo)與背景元素進(jìn)行準(zhǔn)確分離。圖像區(qū)域分割主要靠通過調(diào)節(jié)圖像閾區(qū)的值來實(shí)現(xiàn),通常方法有圖像區(qū)域法、邊界邊緣法和局部邊緣法三種。其主要檢測技術(shù)手段有針對(duì)邊緣與區(qū)域線的圖像檢測、區(qū)域分割形狀、抽取邊緣圖像作為特征的一部分例如邊緣線、區(qū)域和邊緣物體以及它們相互關(guān)系的參數(shù)信息等。

3.3 目標(biāo)識(shí)別

圖像識(shí)別是以圖像源的分割分析為技術(shù)基礎(chǔ)的,進(jìn)一步研究了對(duì)圖像源的分析、檢測和再識(shí)別。通過進(jìn)行圖像檢測分析和特征提取把原來以標(biāo)準(zhǔn)像素形式描述的目標(biāo)圖像轉(zhuǎn)變成較簡單的非標(biāo)準(zhǔn)圖像化形式的目標(biāo)符號(hào)進(jìn)行描述,對(duì)被特征提取的每個(gè)目標(biāo)符號(hào)進(jìn)行圖像檢測和區(qū)域分割圖像分析以便于判斷該提取目標(biāo)確實(shí)可能是存在火災(zāi)災(zāi)害現(xiàn)象或者還是其他的電磁干擾災(zāi)害現(xiàn)象。森林中的火災(zāi)火焰圖像的森林火焰輻射檢測即是在系統(tǒng)分割火災(zāi)圖像后,獲得一些用于描述森林火災(zāi)火焰圖像的基本信息及其特征,如檢測目標(biāo)的森林顏色變化特征、面積大小變化、相似度和森林形狀特征描述等,檢測目標(biāo)是否已經(jīng)發(fā)生森林區(qū)域性的生長,結(jié)合火災(zāi)圖像,實(shí)現(xiàn)了在森林中的火災(zāi)火焰檢測。

在研究技術(shù)上主要利用OPENCV開源計(jì)算機(jī)視覺庫，可以對(duì)視頻流逐幀的火焰和煙霧進(jìn)行識(shí)別，精確度高。利用輕度神經(jīng)網(wǎng)絡(luò)對(duì)視頻進(jìn)行實(shí)時(shí)處理，利用Tenflow 平臺(tái)進(jìn)行訓(xùn)練模型。使用MobileNet 等輕量級(jí)模型，同時(shí)使用通道剪枝等優(yōu)化方法，提升識(shí)別的精確度，如圖3 所示。

4 基于北斗與圖像識(shí)別技術(shù)的林火監(jiān)測防控系統(tǒng)的傳感器模塊研究

研究應(yīng)用風(fēng)速傳感器、溫度傳感器、濕度傳感器實(shí)現(xiàn)隨火災(zāi)動(dòng)態(tài)變化實(shí)時(shí)監(jiān)測火勢發(fā)展的功能，針對(duì)各地勢樹種、燃燒點(diǎn)、地形地貌對(duì)火勢發(fā)展的影響制定傳感器技術(shù)方案。

傳感器裝置搭建方案：每個(gè)帶有傳感器的裝置間隔10m ～15m，矩陣排布，為森林劃分區(qū)域。當(dāng)林火發(fā)生時(shí)，傳感器裝置與云臺(tái)及時(shí)發(fā)現(xiàn)預(yù)警，以各傳感器主導(dǎo)的設(shè)備對(duì)當(dāng)?shù)氐乩硇畔⑶闆r進(jìn)行分析，快速判斷火勢發(fā)展的趨勢，緊急救援減少森林的經(jīng)濟(jì)損失。通過顯示端實(shí)時(shí)監(jiān)測風(fēng)速、溫度、濕度動(dòng)態(tài)，計(jì)算機(jī)模擬檢測曲線如圖4 所示。

5 基于北斗與圖像識(shí)別技術(shù)的林火監(jiān)測防控系統(tǒng)的性能與效果

北斗模塊采用的GYM2003B 北斗RDSS 全功能通信模塊，接收靈敏度在-127.6dBm,發(fā)射功率為5W，定位成功率≥99%，自動(dòng)定位時(shí)間≤2min，實(shí)現(xiàn)定位準(zhǔn)確高效。

在圖像識(shí)別技術(shù)研究上采用輕量型網(wǎng)絡(luò)結(jié)構(gòu)與通道剪枝方法。輕量型網(wǎng)絡(luò)結(jié)構(gòu)主要通過加入1×1 卷積核結(jié)構(gòu)和深度可分離結(jié)構(gòu)實(shí)現(xiàn)。1×1 卷積核實(shí)現(xiàn)跨通道的交互和信息整合，同時(shí)起到降維的作用，從而減少計(jì)算量。深度可分離卷積將對(duì)于不同的輸入通道采取不同的卷積核進(jìn)行卷積，極大地加速了網(wǎng)絡(luò)的訓(xùn)練和推導(dǎo)。假設(shè)輸入通道數(shù)為3，要求輸出通道數(shù)為256 ,相對(duì)傳統(tǒng)3×3卷積結(jié)構(gòu)，深度可分離結(jié)構(gòu)可以減少大約8.7 倍的參數(shù)量。通道剪枝方法在32×32 圖像數(shù)據(jù)集上對(duì)輕量型網(wǎng)絡(luò)結(jié)構(gòu)MobileNet_上進(jìn)行剪枝時(shí)可以減少96%的參數(shù)量和74%的計(jì)算量，同時(shí)最終的識(shí)別準(zhǔn)確率只損失了0.04%。利用了輕量型網(wǎng)絡(luò)結(jié)構(gòu)和通道剪枝方法實(shí)現(xiàn)了實(shí)時(shí)的、更經(jīng)濟(jì)且準(zhǔn)確的識(shí)別與檢測。

在傳感器模塊研究上，發(fā)現(xiàn)傳統(tǒng)火災(zāi)探測器以內(nèi)部設(shè)置的報(bào)警數(shù)值為標(biāo)準(zhǔn), 當(dāng)空氣中煙霧顆粒濃度達(dá)到相關(guān)數(shù)值時(shí), 便會(huì)發(fā)出警告信號(hào), 這種報(bào)警數(shù)值容易導(dǎo)致誤報(bào)火災(zāi)的情況。而多傳感器信息融合技術(shù)的火災(zāi)探測系統(tǒng)可以有效避免該情況出現(xiàn), 彌補(bǔ)傳統(tǒng)火災(zāi)探測器探測數(shù)據(jù)單一的情況。但是無論是傳統(tǒng)的單一火災(zāi)探測系統(tǒng)還是多傳感器信息融合技術(shù)下的火災(zāi)探測系統(tǒng), 都會(huì)受到外界環(huán)境的干擾產(chǎn)生誤報(bào)火警的情況, 由此結(jié)合圖像檢測，改進(jìn)融合算法進(jìn)一步提高系統(tǒng)穩(wěn)定性。綜上所述，改進(jìn)后的設(shè)計(jì)方案技術(shù)性能優(yōu)越。

圖3 圖像識(shí)別技術(shù)

圖4 風(fēng)速、溫度、濕度檢測曲線

6 結(jié)語

隨著智慧消防的迅猛發(fā)展，森林防火信息化的應(yīng)用逐漸得到擴(kuò)展和延伸，能夠?qū)崿F(xiàn)對(duì)森林中的人、物、設(shè)備等信息化管理。利用傳感器與圖像識(shí)別，精準(zhǔn)識(shí)別火情，利用北斗導(dǎo)航規(guī)劃安全路線撲救，安全調(diào)度消防隊(duì)的救援與撤離，可達(dá)到快速預(yù)警，精確定位，判斷規(guī)模，規(guī)劃安全路線的一體化效果，有效減少林地財(cái)產(chǎn)損失與人員傷亡。北斗系統(tǒng)和圖像識(shí)別的結(jié)合給撲火作業(yè)帶來了革命性的變化，提高了撲火作業(yè)的效率，降低了裝配的成本，傳統(tǒng)定位通信系統(tǒng)應(yīng)用的弊端得到了徹底的解決。傳統(tǒng)的短波、超短波系統(tǒng)，傳輸距離有限，且在野外的惡劣條件下常常聯(lián)系不上，撲火隊(duì)不了解指揮部的撲火部署，導(dǎo)致?lián)浠鹑蝿?wù)損耗巨大甚至貽誤撲火時(shí)機(jī)。而此系統(tǒng)解決了上述難題使撲火任務(wù)效率得到了極大的提高。