航空儀表圖像自動監(jiān)測系統(tǒng)研究

伍瑞卿,張 雷,李小翠,文茂森,姜繼琦

(1.電子科技大學(xué)，四川 成都611731；(2.中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊050081)

航空儀表圖像自動監(jiān)測系統(tǒng)研究

伍瑞卿1,張 雷2,李小翠1,文茂森1,姜繼琦1

(1.電子科技大學(xué)，四川 成都611731；(2.中國電子科技集團(tuán)公司第五十四研究所，河北 石家莊050081)

針對航空虛擬儀表系統(tǒng)的研發(fā)、生產(chǎn)過程中測試操作繁瑣、重復(fù)勞動強(qiáng)度大等問題，設(shè)計了座艙儀表圖像自動監(jiān)測識別系統(tǒng)，系統(tǒng)包括圖像采集、變化檢測、儀表圖檢測和識別、檢測結(jié)果歸檔4個部分。基于航空虛擬儀表圖的結(jié)構(gòu)特點，提出了一種分層模板圖快速匹配的儀表圖像檢測算法，采用二值化的模板圖與搜索區(qū)域的二值化圖進(jìn)行分級匹配方法實現(xiàn)快速檢測。測試結(jié)果表明，提出的方法均能快速準(zhǔn)確檢測出屏顯上出現(xiàn)的單儀表圖和重復(fù)的多儀表圖，系統(tǒng)整體上能達(dá)到準(zhǔn)實時處理高清屏幕圖的監(jiān)測。

航空座艙；虛擬儀表；分級匹配；監(jiān)測系統(tǒng)

0 引言

近年來，液晶顯示和觸屏技術(shù)促進(jìn)了圖形、圖像顯示控制系統(tǒng)的迅速發(fā)展。由計算機(jī)顯示和儀表技術(shù)相結(jié)合的虛擬儀表，因其具有外表美觀、操控靈活、空間利用率高等優(yōu)點，廣泛應(yīng)用于航空航天[1]、交通設(shè)備[2]和醫(yī)療儀器等多個領(lǐng)域。原本由機(jī)械按鈕、燈管等構(gòu)成的物理儀表以虛擬儀表的形式繪制在顯示屏上，并且可以隨意切換，極大地節(jié)省駕駛艙空間。在正常狀態(tài)下可以僅顯示主要參數(shù)，其他參數(shù)則隨調(diào)隨看，極大地減輕了飛行員的視覺負(fù)擔(dān)。在航空領(lǐng)域，國外先進(jìn)飛機(jī)已采用觸摸液晶屏幕構(gòu)成座艙顯示系統(tǒng)，使得機(jī)身重量更輕、性能更好[3]。航空座艙的顯控技術(shù)正在朝著智能化和人性化方向發(fā)展[4]。

航空虛擬儀表關(guān)聯(lián)了大量的機(jī)載設(shè)備，在其開發(fā)和生產(chǎn)過程中，涉及大量的測試環(huán)節(jié)。測試過程需要人工對狀態(tài)參數(shù)顯示界面進(jìn)行觀察、記錄和判斷，勞動強(qiáng)度大、效率低，極易導(dǎo)致人眼疲勞和誤判[5]。因此，本文利用視頻采集相關(guān)技術(shù)，結(jié)合圖像處理方法，提出并設(shè)計了針對座艙虛擬儀表圖像的監(jiān)測系統(tǒng)，以降低人工值守和判斷的勞動強(qiáng)度，提高系統(tǒng)自動化測試的效率。

1 系統(tǒng)總體設(shè)計

座艙儀表圖自動監(jiān)測系統(tǒng)以通用計算機(jī)為硬件平臺，結(jié)合視頻采集技術(shù)，以圖像處理算法設(shè)計為重點。自動監(jiān)測系統(tǒng)的總體框架如圖1所示。系統(tǒng)架構(gòu)采用分層化設(shè)計模式[6]，主要分為3個層次：用戶交互層、功能控制與參數(shù)配置層、數(shù)據(jù)處理層。

圖1 監(jiān)測系統(tǒng)總體框架及流程

用戶交互層為系統(tǒng)最頂層，是直接顯示信息和捕獲用戶操作的模塊，主要包含信息顯示區(qū)域、按鈕控件和菜單欄等工具選項。功能控制與參數(shù)配置層實現(xiàn)各項功能的啟動控制和初始化參數(shù)的配置，主要包括視頻顯示及播放的控制、輸入端口的選擇、監(jiān)測中各子功能的開關(guān)控制等。數(shù)據(jù)處理模塊是監(jiān)測系統(tǒng)的核心處理部分，按數(shù)據(jù)流程分別包括視頻獲取、變化檢測、儀表處理和存檔管理等模塊。

自動監(jiān)測系統(tǒng)的數(shù)據(jù)源于儀表屏中的屏幕圖像。圖像獲取模塊支持工業(yè)相機(jī)拍攝儀表屏幕、專業(yè)采集卡從屏幕的視頻通用輸出口采集視頻、網(wǎng)絡(luò)屏幕共享等多種方式獲取屏幕圖像。本文利用視頻采集卡直接采集屏幕圖像。對獲取到的每幀圖像，首先進(jìn)行圖像的濾波和灰度化等預(yù)處理，以消除圖像采集過程中產(chǎn)生的噪聲，進(jìn)而利用運動檢測算法實現(xiàn)對圖像動態(tài)檢測，從而獲取圖像變化區(qū)域。為提高算法實時性，僅對變化區(qū)域調(diào)用儀表的檢測和識別算法，對檢測和識別結(jié)果生成儀表特征參數(shù)描述符，并記錄、重構(gòu)和保存這些特征參數(shù)，最終歸檔保存到數(shù)據(jù)中心。

2 關(guān)鍵算法的設(shè)計

座艙儀表屏幕以圖形化、虛擬化直觀顯示飛行器各項狀態(tài)參數(shù)進(jìn)行[7]。虛擬儀表具有線條清晰直觀、結(jié)構(gòu)固定、色彩靈活搭配、符合人體工學(xué)等特點。虛擬儀表圖既能直觀形象地展現(xiàn)飛行器的狀態(tài)，又能夠醒目地實現(xiàn)故障預(yù)報、異常報警等功能，還可以表達(dá)復(fù)雜而多樣的含義。因而，檢測和識別座艙儀表所示的狀態(tài)參數(shù)是自動監(jiān)測系統(tǒng)的主要內(nèi)容。座艙儀表屏幕包括虛擬儀表圖和部分字符讀數(shù)值，其中儀表圖最為顯著。儀表圖像在顯示過程中，伴隨著顏色和指針位置變化，但總體結(jié)構(gòu)不會改變，背景相對簡單。針對航空儀表的這些特點，提出了一種以分層金字塔與有效點相結(jié)合的搜索方法，以及以雙閾值與全匹配相結(jié)合作為判別準(zhǔn)則的儀表檢測算法，快速檢測和識別各個儀表圖。數(shù)據(jù)處理主要包括：圖像預(yù)處理、變化檢測、儀表檢測、參數(shù)識別和儀表特征參數(shù)描述等幾個關(guān)鍵部分。儀表檢測的主要流程如圖2所示。

圖2 儀表檢測流程

2.1 圖像預(yù)處理

儀表圖像的預(yù)處理主要包括：彩色圖轉(zhuǎn)成灰度圖、變化檢測、降噪濾波和二值化分割，最后生成金字塔圖像。預(yù)處理算法流程具體步驟如下：

① 對采集到的單幀彩色圖像I(x,y)進(jìn)行預(yù)處理操作，先將I(x,y)進(jìn)行灰度化操作轉(zhuǎn)換為灰度圖Igray(x,y)，再使用高斯濾波器h(x,y)對Igray(x,y)進(jìn)行濾波，消除采集過程中產(chǎn)生的噪聲。濾波過程為：

Ifilter(x,y)=I(x,y)*h(x,y)=

② 利用當(dāng)前幀圖像與前一幀圖像做差分，根據(jù)像素差值的范圍限制計算出圖像中的變化區(qū)域，以變化區(qū)域作為匹配搜索區(qū)域。

③ 利用自適應(yīng)閾值分割法分別對待匹配圖像和儀表模板圖像中的各個像素計算局部閾值，計算方法如下：

(1)

式中，Ifilter(x,y)為待處理圖像Ifilter在(x,y)坐標(biāo)處的像素值；n表示局部的大小；th(x,y)為待分割像素點(x,y)的局部閾值。結(jié)合二值化分割方法實現(xiàn)獲得分割圖像Ibw，二值化分割方法如下：

(2)

④ 對分割后的二值化圖像Ibw采用鄰近值采樣方法分別構(gòu)建待匹配二值圖像金字塔和模板二值圖像金字塔；設(shè)金字塔各層按照分辨率從小到大分別為{G0,G1…Gn}，分別表示第0～n層圖像，金字塔分級圖像創(chuàng)建過程表示為：

(3)

2.2 單儀表模板檢測與匹配

單儀表模板圖是指某類的儀表在同一時刻或者同一幀屏幕圖像中最多出現(xiàn)一次，同一個儀表圖不會多個同時重復(fù)出現(xiàn)同一幀圖像中。記模板圖為Tn,其寬和高分別為Wn和Hn。針對這類儀表模板圖的檢測和匹配算法步驟如下：

① 在變化區(qū)域內(nèi)，對待匹配圖像的最上層圖像進(jìn)行掃描，獲得其中的有效點，即像素值為1的點，待匹配圖像中所檢測出的有效點作為搜索空間Cp，

Cp={I|Ibw(x,y)=1}。

(4)

同時計算模板圖的有效點，獲得其外接矩形，并記錄位于最上方的有效點與外界矩形的左上角定點位置關(guān)系(dx,dy)。

② 遍歷Cp，獲得一個有效點(i,j)后，通過式(5)計算其對應(yīng)左上角的坐標(biāo)(x,y)，

(5)

通過(x,y)獲取與模板圖對應(yīng)的待匹配子圖Sxy，

Sxy=Ibw(x,y,Wn,Hn)，

(6)

式中，x、y為子圖左上角起始坐標(biāo)。采用歸一化平方差的判別準(zhǔn)則，計算子圖與二值模板圖像的相似度[8]，因參與匹配計算的結(jié)果圖像為二值圖像，平方差計算過程可以表示成2幅圖像的異或運算過程：

(7)

式中，Sxy、Tn分別為待檢測子圖和儀表模板圖。使用異或運算代替平方求和運算，可降低算法復(fù)雜度，節(jié)省時間。

③ 判定步驟②的相似性度R(x,y)是否小于閾值Threshold。閾值的計算方法為：

Threshold=α*sum(Ibw)/(W*H),

(8)

式中，Ibw為模板二值圖像；W、H分別為對應(yīng)層模板圖像的寬和高；α為比例系數(shù)。若R(x,y)大于閾值Threshold，返回第②步繼續(xù)搜索當(dāng)前點(i,j)的下一個候選點。若R(x,y)小于閾值，則記錄粗匹配點坐標(biāo)(x,y)，進(jìn)行下一步。

④ 切換到下一層圖像，根據(jù)步驟③獲得的粗匹配點(x,y)，通過式可得

Gk(x,y)=Gk-1(2x,2y)，k=1,2…n。

(9)

利用式(9)獲得在下一層圖像上對應(yīng)的新坐標(biāo)(2x,2y)，同時獲取以坐標(biāo)(2x,2y)為中心的3*3鄰域。搜索鄰域內(nèi)的9個點，若所有點的計算結(jié)果大于閾值Threshold，則返回步驟②，繼續(xù)在Gk-1層搜索(x,y)的下一個候選點。如果存在位置點(x0,y0)小于閾值Threshold，則獲取結(jié)果最佳匹配點(x0,y0)，進(jìn)入下一步。

⑤ 對于點(x0,y0)，進(jìn)行灰度圖匹配，若結(jié)果大于閾值Tg，返回步驟①，若結(jié)果小于閾值Tg，則為最終的匹配結(jié)果。如果Cp遍歷未結(jié)束則將遍歷范圍按照模板尺寸作為步長，進(jìn)行一次寬高步進(jìn)，計算搜索范圍內(nèi)下一個點。

通過對單個虛擬儀表檢測過程進(jìn)行擴(kuò)展，添加檢測結(jié)果記錄矩陣，利用結(jié)果矩陣記錄下各個儀表檢測的相似度檢測結(jié)果，通過對相似性檢測結(jié)果進(jìn)行比較判別，保留結(jié)果最為準(zhǔn)確的目標(biāo)區(qū)域。

2.3 多儀表模板檢測與匹配

與單儀表模板不同，部分儀表可能在座艙屏幕同時出現(xiàn)多個同類型儀表圖。比如2個發(fā)動機(jī)的狀態(tài)指示儀表同時出現(xiàn)在屏幕上，雖然儀表讀數(shù)值可能不一樣，但是儀表圖像完全相同。這類多儀表圖的檢測可以借助單儀表模板的方法，其主要過程如下：

① 創(chuàng)建結(jié)果記錄矩陣M，

M(x,y)={R(x,y);Rect(x,y,w,h)}。

(10)

初始化大小與待檢測圖像相同，點(x,y)記錄的信息為R(x,y)、Rect(x,y,w,h)，分別表示為相似性匹配結(jié)果和檢測區(qū)域2類信息。

② 所有儀表模板作為搜索空間CT，

CT={T0,T1…Tn},

(11)

式中，Ti為儀表模板序號；n為儀表模板總數(shù)。

遍歷CT，調(diào)用單儀表檢測算法，獲取檢測結(jié)果Pk，

Pk={Ti;R(x,y);Rect(x,y,w,h)}，

(12)

Pk為模板序號為Ti的儀表的檢測結(jié)果，其中包含相似度值R(x,y)和目標(biāo)區(qū)域；k為檢測目標(biāo)序號。若Pk中數(shù)據(jù)有效，則進(jìn)入下一步，否則繼續(xù)遍歷CT。

③ 獲取檢測目標(biāo)點的匹配區(qū)域以及相似性匹配結(jié)果，同時獲取結(jié)果記錄矩陣中對應(yīng)檢測目標(biāo)點3*3鄰域的所有點的記錄信息，若含有有效的檢測結(jié)果，分別對當(dāng)前檢測結(jié)果進(jìn)行比較，比較更新方式如下：

如果M{R(x,y)}≥Pk{R(x,y)}，則M(x,y)不變；如果M{R(x,y)}

根據(jù)上述更新方式，對比記錄信息中的相似度結(jié)果，選擇相似度結(jié)果較大的為新的匹配信息，更新結(jié)果矩陣。

④ 判定遍歷儀表模板是否完成，若未完成，返回步驟②，若完成，按照結(jié)果記錄矩陣中的檢測信息獲得最終的檢測結(jié)果。

2.4 儀表屬性參數(shù)描述

為了便于快速觀察和識別座艙屏幕上的儀表參數(shù)值，通常圖形化的儀表伴有字符型的讀數(shù)值，而且圖形儀表與其對應(yīng)的讀數(shù)字符串的位置相對固定。通過儀表模板檢測獲得儀表所在區(qū)域和類型，進(jìn)而獲取刻度值讀數(shù)的子圖像，利用OCR模塊識別出讀數(shù)值[9]。

座艙屏幕中不同儀表的屬性各不相同，主要包括固有屬性、紋理信息描述、儀表參數(shù)描述三大類。固有屬性是儀表本身特定的屬性，不會發(fā)生改變，包含儀表序號、儀表中包含結(jié)果參數(shù)的數(shù)目、儀表結(jié)構(gòu)和尺寸；紋理信息中包含儀表的主要顏色、次要顏色和其閃爍頻率；儀表參數(shù)信息中包含檢測到的目標(biāo)位置坐標(biāo)信息和儀表中的結(jié)果讀數(shù)。

自動監(jiān)測系統(tǒng)對各種不同種類的儀表特征信息按照統(tǒng)一方式進(jìn)行描述，使其歸檔信息具備完備性和可擴(kuò)展性，便于后續(xù)信息檢索和分析。為了更好地對儀表特征進(jìn)行描述、簡化系統(tǒng)實現(xiàn)過程，儀表中的文字性標(biāo)題以及多字符信息均通過創(chuàng)建數(shù)字映射表的方式實現(xiàn)。通過創(chuàng)建數(shù)據(jù)字典，建立編碼集合Code={0,1…n}和字符描述集合String={title1,title2,…,titlen}，映射關(guān)系如下：

F:Code(k)→String(k)。

通過上述映射關(guān)系，使用碼字描述代替字符信息描述。信息記錄過程中，首先將當(dāng)前時間、當(dāng)前幀數(shù)和儀表檢測總數(shù)按照統(tǒng)一結(jié)構(gòu)組成文件信息頭進(jìn)行記錄，進(jìn)而按照順序，以節(jié)點形式依次記錄下所有檢測出的儀表特征描述符，最后將記錄文件歸檔到數(shù)據(jù)中心。

3 實驗及結(jié)果分析

為了驗證上述方案及算法性能，首先基于VS 2010開發(fā)平臺建立軟件框架，設(shè)計人機(jī)交互界面，并利用DirectShow以及外部通用視頻接口實現(xiàn)視頻采集，同時基于OpenCV庫實現(xiàn)儀表檢測與識別算法，對檢測到的儀表生成儀表特征描述符，并將結(jié)果寫入XML文件中保存。算法實現(xiàn)過程中，自適應(yīng)二值化采用3*3區(qū)域，金字塔層數(shù)設(shè)為2層搜索，閾值因子α取經(jīng)驗值為0.53。為了檢驗算法的時間效率和準(zhǔn)確率，對分別編號的11種不同尺寸、不同特征的儀表圖像進(jìn)行匹配檢測，每一對圖像進(jìn)行10次計算，取平均值作為運算時間。分別采用基于三通道圖像FFT加速匹配、基于灰度圖FFT加速匹配以及采用分層金字塔并結(jié)合FFT加速匹配3種匹配策略作為對比，經(jīng)過測試，各方法的檢測率均達(dá)到100%，時間效率如圖3所示。

圖3 不同算法的時間消耗對比

采用單通道灰度圖進(jìn)行匹配時，平均耗時約為70 ms；采用分層金字塔搜索，F(xiàn)FT進(jìn)行相關(guān)加速，時間消耗約為30 ms；采用本文改進(jìn)的方法進(jìn)行測試時，時間平均約為20 ms。在保證準(zhǔn)確率的情況下，較大程度地減少了耗時，提高了系統(tǒng)的實時性，達(dá)到了系統(tǒng)設(shè)計要求。

對監(jiān)測系統(tǒng)的整體測試中，以1 280*720分辨率的視頻作為數(shù)據(jù)源進(jìn)行實時處理。在視頻源中儀表的顏色、數(shù)據(jù)間斷發(fā)生變化，同時通過外部人為控制儀表的調(diào)出和隱藏，通過長時間測試，在利用檢測結(jié)果重構(gòu)的圖像與視頻源對比后，系統(tǒng)的整體處理速度約為8幀/s，準(zhǔn)確率達(dá)到100%，在系統(tǒng)測試開發(fā)過程中，基本能夠滿足實時監(jiān)測的需要。

4 結(jié)束語

本文針對航空座艙顯示屏的虛擬儀表圖像的特征，設(shè)計了圖像自動監(jiān)測系統(tǒng)的方案，并提出了快速匹配的儀表圖檢測算法。該航空儀表檢測算法能夠有效、快速地將液晶顯示器中的航空儀表準(zhǔn)確定位和識別，同時通過對檢測到的儀表進(jìn)行特征描述，采用統(tǒng)一方式創(chuàng)建、記錄，既簡化了系統(tǒng)實現(xiàn)過程、利于規(guī)范性信息檢索，又利于后期擴(kuò)展補(bǔ)充。監(jiān)測系統(tǒng)具有友好的操作界面，能夠方便地控制視頻的采集、儀表的檢測以及結(jié)果的查看，可以在無人看守下自動對屏幕儀表的狀態(tài)進(jìn)行監(jiān)測記錄。

[1] 李皖玲.VAPS 技術(shù)在載人航天器 MFD 軟件開發(fā)中的應(yīng)用[J].航天器工程,2008,17(5)：70-76.

[2] 劉善坤,竇立謙,宗群,等.車載虛擬儀表及診斷系統(tǒng)的設(shè)計與實現(xiàn)[J].計算機(jī)應(yīng)用與軟件,2016,33(8):229-233.

[3] MICHAEL S.F-35 Lightning II Cockpit Vision[J].SAE International Journal of Passenger Cars-Electronic Electrical Systems,2010,3(2)：131-140.

[4] 吳健,吳啟兵,顏正.戰(zhàn)斗機(jī)座艙發(fā)展與設(shè)計展望[C]∥沈陽:第六屆中國航空學(xué)會青年科技論壇,2014:35-40

[5] 毛姬琛,范竹榮.圖形識別在航空指示儀表檢測中的應(yīng)用[C]∥西安：2011年航空試驗測試技術(shù)學(xué)術(shù)交流會,2011:253-255.

[6] 杜栓柱,譚建榮,陸國棟.基于界面構(gòu)件關(guān)聯(lián)圖的軟件功能測試技術(shù)[J].計算機(jī)研究與發(fā)展,2002,39(2)：148-152.

[7] 王鶴,邱云飛.飛行仿真中虛擬航空儀表顯示系統(tǒng)的開發(fā)[J].微計算機(jī)信息,2011(5):180-181.

[8] 劉寶生,閆莉萍,周東華.幾種經(jīng)典相似性度量的比較研究[J].計算機(jī)應(yīng)用研究,2006,23(11)：1-3.

[9] SMITH R,ANTONOVA D,LEE D S.Adapting the Tesseract Open Source OCR Engine for Multilingual OCR[J].Proceedings of the International Workshop on Multilingual OCR.ACM,2009,1:1-8.

StudyofAuto-monitoringSystemforAviationInstrumentImage

WU Rui-qing1,ZHANG Lei2,LI Xiao-cui1,WEN Mao-sen1,JIANG Ji-qi1

(1.UniversityofElectronicScienceandTechnologyofChina,ChengduSichuan611731,China; 2.The54thResearchInstituteofCETC,ShijiazhuangHebei050081,China)

In order to reduce the manual operation and improve the efficiency during the design,manufacture and testing of virtual aviation instrument systems,an auto-monitoring and recognition system is designed for virtual instrument of aircraft cockpit,which consist of four modules,including image acquisition,frame change detection,location of meter diagram and storage of structured data.Furthermore,a hierarchical binary template fast matching algorithm is proposed to detect and locate the meter image and recognize the reading.Finally,the auto-monitoring system is implemented to verify the proposed algorithms.Experiment results show that the algorithms can accurately detect the single and multiple meter diagrams in screen image,and the system has a strong capability for quasi-real time processing HD images.

aircraft cockpit;virtual instrument;hierarchically matching;monitoring system

10.3969/j.issn.1003-3106.2017.12.07

伍瑞卿,張雷,李小翠,等.航空儀表圖像自動監(jiān)測系統(tǒng)研究[J].無線電工程,2017,47(12):30-33,48.[WU Ruiqing,ZHANG Lei,LI Xiaocui,et al.Study of Anauto-monitoring System for Aircraft Instrument Image[J].Radio Engineering,2017,47(12):30-33,48.]

TP391.41

A

1003-3106(2017)12-0030-04

2017-04-12

四川省科技廳應(yīng)用基礎(chǔ)研究計劃基金資助項目(2014JY0209)。

伍瑞卿男，(1977—)，副教授。主要研究方向：圖像處理和網(wǎng)絡(luò)通信。

張雷男，(1989—)，碩士研究生。主要研究方向：圖像處理、復(fù)雜系統(tǒng)仿真與測試技術(shù)。