關(guān)于無人機(jī)視頻跟蹤技術(shù)的研究

(浙江農(nóng)林大學(xué)　浙江　杭州　310000)

一、引言

目前，由于人類社會(huì)需求的日新月異，技術(shù)不斷革新，其中，無人機(jī)事業(yè)的蓬勃發(fā)展和在諸多領(lǐng)域的創(chuàng)新應(yīng)用，不斷推動(dòng)社會(huì)的進(jìn)步。無人機(jī)技術(shù)的興起和發(fā)展為森林防火事業(yè)拉開了新的篇章，無人機(jī)技術(shù)在森林養(yǎng)護(hù)中的應(yīng)用取得了矚目的成效。陳鑫深入的分析了無人機(jī)在森林防火領(lǐng)域的應(yīng)用現(xiàn)狀，并對(duì)無人機(jī)應(yīng)用過程中的系統(tǒng)發(fā)展趨勢進(jìn)行了完整的分析[1]；李濱等研究了無人機(jī)系統(tǒng)在森林防火方面的應(yīng)用及其發(fā)展[2]；崔新宇等關(guān)于無人機(jī)在森林防火監(jiān)測方面的探究[3]等，詳細(xì)地指明了當(dāng)前國內(nèi)森林防火領(lǐng)域的現(xiàn)狀和無人機(jī)技術(shù)在森林防火領(lǐng)域的理論應(yīng)用傾向和發(fā)展展望，為無人機(jī)的功能開發(fā)研究和森林防火體系的建設(shè)帶來了方向。

在國外，Dios M D等研究了無人機(jī)自動(dòng)火災(zāi)探測與監(jiān)測的實(shí)驗(yàn)，源于歐盟委員會(huì)IST計(jì)劃項(xiàng)目“COMETS：多種無人機(jī)的實(shí)時(shí)協(xié)調(diào)與控制”，使用低成本多功能無人機(jī)進(jìn)行自動(dòng)火災(zāi)探測與監(jiān)測[4]；Merino L等研究了使用無人機(jī)作為森林火災(zāi)監(jiān)測的工具，監(jiān)測火前形狀演化的實(shí)時(shí)計(jì)算以及與火焰?zhèn)鞑ビ嘘P(guān)的潛在的其他參數(shù)，利用無人機(jī)的懸停功能，近距離觀測森林火災(zāi)，聯(lián)合使用多架無人機(jī)進(jìn)行森林火災(zāi)監(jiān)測[5]；Zhang L等根據(jù)無人機(jī)平臺(tái)上林業(yè)應(yīng)用要求處理無人機(jī)空中影像數(shù)據(jù)的功能。同時(shí)無人機(jī)在飛行中獲得航空數(shù)據(jù)，幫助用戶快速掌握火點(diǎn)的數(shù)量和位置，還提供了較好的用戶可視化界面，方便用戶操作和交互[6]；Ghamry K A等研究了森林火災(zāi)檢測和跟蹤任務(wù)的多臺(tái)無人機(jī)的容錯(cuò)合作控制，在森林監(jiān)測，檢測和跟蹤中使用合作無人機(jī)容錯(cuò)協(xié)同控制(FTCC)戰(zhàn)略，該算法解決了森林資源的監(jiān)測和檢測問題，即使在一個(gè)或多個(gè)無人機(jī)發(fā)生故障時(shí)也是能很好的監(jiān)測[7]。

在國內(nèi)，郭偉研究了一款用于森林防火的小型無人機(jī)設(shè)計(jì)[8]，張慶杰等研究了森林防火無人機(jī)系統(tǒng)設(shè)計(jì)與林火識(shí)別算法[9]，李寧研究了基于網(wǎng)絡(luò)傳輸?shù)乃男盹w行器在森林防火中的應(yīng)用[10]；周宇飛等基于多智能體系統(tǒng)建設(shè)思想,綜合衛(wèi)星遙感監(jiān)測、無人機(jī)監(jiān)測、無線射頻傳感器網(wǎng)絡(luò)監(jiān)測和自動(dòng)氣象站監(jiān)測等多種林火監(jiān)測平臺(tái),建立一個(gè)松散耦合的森林火災(zāi)火情監(jiān)測的協(xié)作運(yùn)行體系,并進(jìn)行了一次林火現(xiàn)場點(diǎn)燒試驗(yàn).結(jié)果表明,應(yīng)用多智能體的思想建立的松散耦合林火協(xié)作監(jiān)測體系可采集豐富的火場數(shù)據(jù),實(shí)現(xiàn)對(duì)火場多方位的描述,為林火現(xiàn)場實(shí)時(shí)監(jiān)測提供了新的思路和辦法[11]；郭偉等針對(duì)森林這種復(fù)雜大空間場景，常規(guī)傳感式火災(zāi)監(jiān)測方法不能滿足現(xiàn)代林火監(jiān)測靈活性、實(shí)時(shí)性和高效性的要求，提出一種基于無人機(jī)平臺(tái)和動(dòng)態(tài)特征分析的視頻圖像型火災(zāi)檢測算法，通過機(jī)載攝像機(jī)拍攝森林視頻圖像，建立基于混合高斯背景模型和顏色模型多級(jí)火災(zāi)隱患特征驗(yàn)證算法[12]。

綜上所述，無人機(jī)以其輕巧、方便、廉價(jià)等優(yōu)勢在森林養(yǎng)護(hù)技術(shù)中，成為越來越普遍和重要的技術(shù)。視頻跟蹤定位技術(shù)是重要的監(jiān)測手段，以往的視頻監(jiān)控技術(shù)大多是基于組網(wǎng)設(shè)備，但是，組網(wǎng)設(shè)施耗資大、設(shè)備更新?lián)Q代慢和位置固定等因素嚴(yán)重制約視頻監(jiān)控技術(shù)的發(fā)展和應(yīng)用，無人機(jī)由于其廉價(jià)、機(jī)動(dòng)性強(qiáng)，可以克服以往的困難環(huán)境進(jìn)行監(jiān)視和管控，但是，現(xiàn)階段無人機(jī)在林業(yè)中的應(yīng)用處于初級(jí)階段，無人機(jī)在森林養(yǎng)護(hù)中的視頻跟蹤技術(shù)還不成熟，其中，由于當(dāng)前的技術(shù)制約，無人機(jī)定位信息與無人機(jī)搭載的拍攝設(shè)備結(jié)合的還不足，民用無人機(jī)研發(fā)公司在PC端和手機(jī)端應(yīng)用開發(fā)不統(tǒng)一，導(dǎo)致信息割斷，GPS定位信息獲取與視頻信息獲取不同步，無人機(jī)視頻跟蹤技術(shù)仍不能實(shí)時(shí)用于森林監(jiān)控。因此，本文著重研究了民用無人機(jī)獨(dú)特的視頻跟蹤技術(shù)，以期用于補(bǔ)足應(yīng)用短板，在森林養(yǎng)護(hù)中貢獻(xiàn)一份力量。

二、問題的提出和解決方法

無人機(jī)視頻跟蹤技術(shù)能夠?qū)崿F(xiàn)實(shí)時(shí)監(jiān)控森林的功能，不僅克服了固定組網(wǎng)設(shè)備設(shè)施搭建困難、成本高和監(jiān)控范圍容易受自然條件制約的缺點(diǎn)，無人機(jī)視頻跟蹤技術(shù)還能夠根據(jù)需要實(shí)時(shí)提供跟蹤、探查和指揮服務(wù)。廉價(jià)、低成本、便捷和機(jī)動(dòng)性強(qiáng)等優(yōu)勢為無人機(jī)在森林康養(yǎng)中提供新的技術(shù)引領(lǐng)，并將在未來形成獨(dú)特的監(jiān)控手段。

無人機(jī)視頻跟蹤技術(shù)的實(shí)現(xiàn)不僅需要實(shí)時(shí)定位支持，還需要提供實(shí)時(shí)視頻信息，將視頻定位信息與視頻匹配整合，獲取目標(biāo)區(qū)域數(shù)字高程圖和影像圖，制作三維影像圖，通過處理視頻，獲取圖片集，通過算法程序?qū)崿F(xiàn)圖片集與經(jīng)緯度信息的匹配，然后再將匹配結(jié)果與三維影像配準(zhǔn)融合，形成獨(dú)特的視頻場景信息。以下為本文具體的實(shí)現(xiàn)方法：

(一)部署無人機(jī)信息平臺(tái)

在PC端上安裝Microsoft Visual Studio 2010(C++C#)、SQL Sever數(shù)據(jù)庫、服務(wù)器和Android studio，搭建測試開發(fā)平臺(tái)，配置測試程序，并將測試程序在手機(jī)端上安裝和運(yùn)行，把手機(jī)端與無人機(jī)遙控端連接起來。

(二)獲取GPS信息和視頻信息

啟動(dòng)無人機(jī)和無人機(jī)遙控端，在Android studio中通過編程實(shí)現(xiàn)無人機(jī)飛行數(shù)據(jù)的接收，當(dāng)測試程序運(yùn)行時(shí)，無人機(jī)通過無線網(wǎng)絡(luò)將無人機(jī)飛行數(shù)據(jù)信息和傳輸?shù)椒?wù)器，用SQL Sever數(shù)據(jù)庫接收并存儲(chǔ)無人機(jī)飛行數(shù)據(jù)信息，通過查詢語句提取GPS信息。無人機(jī)通過無線網(wǎng)絡(luò)將視頻信息傳輸手機(jī)端，再通過網(wǎng)絡(luò)利用手機(jī)端應(yīng)用程序推流到服務(wù)器。

(三)搭建視頻跟蹤開發(fā)平臺(tái)

在PC端上安裝ArcGIS Engine、Arc Object for Microsoft.Net Framework、Open CV庫，結(jié)合Microsoft Visual Studio 2010(C++C#)搭建視頻跟蹤開發(fā)平臺(tái)，各個(gè)軟件通過環(huán)境配置統(tǒng)一聯(lián)系起來，共同組成開發(fā)平臺(tái)，再通過接口獲取服務(wù)器和數(shù)據(jù)庫中的視頻數(shù)據(jù)和無人機(jī)飛行數(shù)據(jù)信息，利用開發(fā)平臺(tái)功能，將視頻數(shù)據(jù)分解成圖片集，通過控制幀數(shù)將圖片與GPS信息匹配起來，再獲取目標(biāo)區(qū)域DEM和影像圖，將DEM和影像圖匹配形成三維影像(三維場景)，再應(yīng)用算法將結(jié)果與三維影像配準(zhǔn)并融合在一起，如圖1，然后再通過線程控制，不斷將圖片集與三維場景匹配融合。實(shí)現(xiàn)視頻流與三維影像的配準(zhǔn)和融合，從而實(shí)現(xiàn)無人機(jī)拍攝目標(biāo)的視頻跟蹤。

圖1　目標(biāo)區(qū)域三維影像圖的合成

(四)平臺(tái)測試

首先，對(duì)各個(gè)軟件搭建的無人機(jī)測試開發(fā)平臺(tái)和視頻跟蹤開發(fā)平臺(tái)分別進(jìn)行調(diào)試，確保實(shí)驗(yàn)過程的順利進(jìn)行。然后，檢測平臺(tái)中各個(gè)功能控件是否準(zhǔn)確運(yùn)行，窗口1、窗口2輸出效果是否流暢。再次，根據(jù)計(jì)時(shí)器計(jì)算窗口1和窗口2的運(yùn)行延遲，通過調(diào)試代碼參數(shù)控制，使其達(dá)到理想效果。最后，根據(jù)平臺(tái)運(yùn)行能力、展示效果和實(shí)驗(yàn)結(jié)果對(duì)平臺(tái)綜合評(píng)價(jià)。

三、主要應(yīng)用工具設(shè)備

Android studio、ArcGIS Engine 10.2、Arc Object for Microsoft.Net Framework、Microsoft Visual Studio 2010(C++/C#)、SQL Sever數(shù)據(jù)庫、Nginx流媒體服務(wù)器、無人機(jī)手機(jī)端應(yīng)用程序和測試程序、實(shí)驗(yàn)區(qū)域數(shù)字高程圖和影像圖、Global Mapper、Arc Scene 10.2、PC端、手機(jī)端和相關(guān)無人機(jī)設(shè)備。

四、技術(shù)路線和研究方法

圖2　技術(shù)路線圖

圖3　數(shù)據(jù)處理開發(fā)平臺(tái)功能示圖

功能一區(qū)：在開發(fā)平臺(tái)中用于實(shí)現(xiàn)視頻文件的處理，將視頻文件處理成一幀一幀的圖片，通過設(shè)置參數(shù)可以控制圖片幀數(shù)，根據(jù)實(shí)驗(yàn)功能的流暢度和準(zhǔn)確度，調(diào)節(jié)參數(shù)可以知道當(dāng)視頻被分割為多少幀的時(shí)候，可以使圖片與經(jīng)緯度匹配后再與三維影像配準(zhǔn)融合的速率與準(zhǔn)確度最好。

功能二區(qū)：在平臺(tái)中主要負(fù)責(zé)圖片與經(jīng)緯度的匹配，當(dāng)視頻經(jīng)過功能一區(qū)處理后，可以獲取圖片，然后根據(jù)無人機(jī)飛行時(shí)，記錄并傳輸?shù)椒?wù)器的經(jīng)緯度信息，開發(fā)平臺(tái)通過接口從SQL Sever數(shù)據(jù)庫中調(diào)用與視頻配對(duì)的經(jīng)緯度信息，調(diào)用字段分別為經(jīng)度、緯度和高度，將調(diào)用到的經(jīng)緯度信息與圖片通過算法匹配起來，讓每一張圖片都具有位置信息，然后再將輸出結(jié)果傳遞到功能三區(qū)。

功能三區(qū)：在平臺(tái)中主要負(fù)責(zé)具有位置信息的圖片與三維影像的配準(zhǔn)融合，三維影像是具有位置信息和高度信息的三維場景模型，當(dāng)帶有位置信息的圖片輸入到三維場景中的時(shí)候，圖片不能及時(shí)匹配并定位到三維場景中，因?yàn)殡m然圖片具有了位置信息，但是圖片沒有空間參考，而實(shí)驗(yàn)應(yīng)用的三維影像圖是具有空間參考和空間坐標(biāo)系的，如果不給圖片賦值一個(gè)空間參考，那么圖片就不能夠投影到三維場景中，因此在處理前還需要為圖片賦值一個(gè)投影信息，即圖片與三維影像圖共用一個(gè)投影(本研究應(yīng)用的是UTM投影)。然后再將圖片與三維場景匹配，這樣圖片就能夠迅速定位到其在三維場景中的位置，此時(shí)，只需要再通過控制圖片高度信息即Z軸，使三維場景的目標(biāo)像元點(diǎn)Z軸與圖片的中心點(diǎn)Z軸疊加，如圖4，X為緯度，Y為經(jīng)度，Z為高度，這樣就可以讓圖片與三維場景融合起來，從而實(shí)現(xiàn)圖片與三維場景的簡單融合，再通過程序算法中的線程控制可以實(shí)現(xiàn)無人機(jī)視頻跟蹤效果。其中，在圖片與三維場景的匹配融合中，需要根據(jù)圖片的長度和寬度來計(jì)算圖片在三維場景中的實(shí)際范圍大小，即可視域的范圍大小，當(dāng)圖片整幅投影到三維場景中，長度和寬度要按照一定比例放大，所用公式為：

f=w*D/W & f=h*D/H

公式

f=m*H/M & f=n*H/N

公式2

根據(jù)實(shí)驗(yàn)要求由公式1可得公式2，f為無人機(jī)相機(jī)的焦距，m為圖片的長度，H為無人機(jī)拍攝視頻時(shí)距地高度，M為圖片投影到三維場景的可視域邊界的長度，n為圖片的寬度，N為可視域邊界的寬度，通過公式計(jì)算就可以將圖片轉(zhuǎn)化成可視域。A、b、c、d為圖片的頂點(diǎn)，O1為圖片中心點(diǎn)，A、B、C、D為可視域邊界頂點(diǎn)，O為可視域中心點(diǎn)，如下圖：

圖4　功能三區(qū)中圖片與三維場景匹配示意圖

五、實(shí)驗(yàn)預(yù)測試

研究經(jīng)過實(shí)驗(yàn)預(yù)測試，兩個(gè)平臺(tái)配置環(huán)境運(yùn)行正常，平臺(tái)界面展示如下圖所示，在實(shí)驗(yàn)中兩個(gè)平臺(tái)需要同時(shí)打開，當(dāng)無人機(jī)數(shù)據(jù)獲取平臺(tái)運(yùn)行的時(shí)候，數(shù)據(jù)處理平臺(tái)就開始通過接口調(diào)用數(shù)據(jù)庫和服務(wù)器中的信息，當(dāng)無人機(jī)在工作中時(shí)，視頻流就可以在展示窗口1中觀看，然后根據(jù)預(yù)設(shè)窗口中的控件按鈕執(zhí)行相應(yīng)的操作，數(shù)據(jù)加載按鈕是控制加載三維影像圖，視頻加載是打開視頻流獲取程序，點(diǎn)擊視頻播放按鈕就可以播放視頻，啟動(dòng)和停止按鈕是用來控制視頻流轉(zhuǎn)化為圖片集的線程，可以通過打開圖片按鈕查看截取到的圖片集，定位融合按鈕即為用來實(shí)現(xiàn)圖片定位賦值，并且通過算法轉(zhuǎn)化成實(shí)際可視域，在三維場景中展現(xiàn)出來。經(jīng)過實(shí)驗(yàn)預(yù)測試，本研究可以實(shí)現(xiàn)視頻的定位跟蹤，并在展示窗口2實(shí)現(xiàn)視頻在三維場景中的展示，通過與正常視頻播放時(shí)間相比，經(jīng)過程序處理后的視頻定位功能存在延遲，實(shí)驗(yàn)參數(shù)的設(shè)置，代碼的實(shí)現(xiàn)以及網(wǎng)絡(luò)傳輸速度都對(duì)研究有制約，在誤差允許的范圍內(nèi)，通過算法和代碼的后期優(yōu)化可以達(dá)到預(yù)期效果。

圖5　無人機(jī)數(shù)據(jù)獲取平臺(tái)

圖6　數(shù)據(jù)處理平臺(tái)預(yù)設(shè)窗口視圖

六、結(jié)論與討論

無人機(jī)視頻跟蹤技術(shù)是為了解決現(xiàn)有視頻組網(wǎng)設(shè)備在森林火災(zāi)監(jiān)控中的局限性，同時(shí)將無人機(jī)技術(shù)深入推廣進(jìn)入森林防火應(yīng)用中，相比于現(xiàn)有的森林無人機(jī)應(yīng)用技術(shù)，無人機(jī)視頻還不能高效運(yùn)用，大多數(shù)應(yīng)用仍然只限于無人機(jī)攝影技術(shù)，但是圖片與視頻相比，視頻更能涵蓋更多的信息，根據(jù)實(shí)驗(yàn)室項(xiàng)目支持，無人機(jī)技術(shù)實(shí)現(xiàn)了無人機(jī)視頻流可以實(shí)時(shí)傳輸?shù)奖镜胤?wù)器的功能性突破，用戶可以及時(shí)獲取無人機(jī)在飛行過程中觀察到的信息，這些信息是無人機(jī)通過網(wǎng)絡(luò)傳輸?shù)椒?wù)器，用戶通過手機(jī)端網(wǎng)絡(luò)從服務(wù)器端下載，從而實(shí)現(xiàn)無人機(jī)信息的實(shí)時(shí)傳輸和觀察，PC端也可以通過網(wǎng)絡(luò)傳輸獲取有效信息并處理，為實(shí)驗(yàn)研究和應(yīng)用提供技術(shù)支持。因此，本文在此基礎(chǔ)上研究的無人機(jī)視頻跟蹤技術(shù)可以有效地利用無人機(jī)拍攝的視頻，實(shí)現(xiàn)現(xiàn)場定位，并且能夠通過定位觀察現(xiàn)場三維實(shí)景，從而可以為森林應(yīng)用領(lǐng)域提供更多有效信息。無人機(jī)視頻跟蹤技術(shù)不僅可以用于森林防火，而且可以用于森林資源觀察，在開發(fā)平臺(tái)中還可以深入研究森林火災(zāi)識(shí)別檢測和資源檢測，迄今為止，森林資源康養(yǎng)技術(shù)還不能系統(tǒng)化，單個(gè)功能模塊的應(yīng)用已經(jīng)不能滿足現(xiàn)有的需求，因此，本文提出并研究的無人機(jī)視頻跟蹤技術(shù)和開發(fā)平臺(tái)可以開源出更多的應(yīng)用方法，為解決森林資源問題提供了新的森林資源系統(tǒng)應(yīng)用方向，希望本文的實(shí)驗(yàn)研究能夠提高研究人員在森林系統(tǒng)應(yīng)用中新的研究水平。

通過實(shí)驗(yàn)測試表明，本技術(shù)在實(shí)際應(yīng)用中實(shí)現(xiàn)了視頻跟蹤功能，但是同時(shí)也為新技術(shù)帶來了諸多問題，本文研究的是無人機(jī)在飛行過程中鏡頭垂直向下的視頻，針對(duì)無人機(jī)任意變換角度的視頻還不能夠?qū)崿F(xiàn)，攝像機(jī)角度的變換可以拍攝出更大范圍的場景信息，但是這種角度變換在研究中也是出現(xiàn)了諸多難點(diǎn)，比如如何實(shí)現(xiàn)場景信息的真實(shí)化，如何換算由于角度信息變化帶來的圖像經(jīng)緯度和高度變化等，都是研究中的難點(diǎn)。還有研究中出現(xiàn)的三維場景與圖片的融合，如何實(shí)現(xiàn)三維立體化目標(biāo)信息，都亟待解決。另外，由于無人機(jī)技術(shù)的制約，無人機(jī)不能全天候的進(jìn)行森林監(jiān)控，如續(xù)航能力、抗風(fēng)能力和傳輸通道和距離等，如何實(shí)現(xiàn)無人機(jī)聯(lián)合作業(yè)的數(shù)據(jù)互通，如何使無人機(jī)實(shí)現(xiàn)工作接力等都對(duì)于研究無人機(jī)在森林資源應(yīng)用領(lǐng)域產(chǎn)生制約。但是，問題是推動(dòng)技術(shù)發(fā)展的基石，有了問題和需求才能不斷推進(jìn)新技術(shù)的發(fā)展和應(yīng)用，無人機(jī)技術(shù)的應(yīng)用和發(fā)展永遠(yuǎn)在路上。