戰斗機機載雷達視頻識別與分析方法研究*

邢寶峻 彭曉明 殷 哲

（空軍預警學院 武漢 430014）

1 引言

近年來，隨著軍事科技的不斷發展，越來越多的高技術裝備列裝部隊，這些裝備技術集成度高，操作難度大，對部隊訓練水平提出了更高的要求，尤其是對于航空兵部隊，隨著戰斗機的不斷更新，如何正確評估飛行員的訓練水平、制定科學高效的訓練計劃成為制約半部隊實戰化水平提升的關鍵。而隨著視頻與圖像識別技術的發展，視頻的識別與分析與軍事訓練結合的越來越緊密，通過對戰斗機機載雷達視頻進行分析，不僅可以準確評估飛行員對機載雷達的操縱水平，還可以為查找飛行員飛行訓練短板弱項，針對性制定飛行訓練計劃提供有力的數據支撐，提升飛行部隊實戰化訓練水平。

現代主流視頻分析的設計模式分為前端視頻分析和后端視頻分析，由于戰場環境瞬息萬變，且前端視頻分析具有對硬件資源要求高和緩存難度大的特點［1］，而戰斗機機載雷達視頻分析，更多地是為飛行訓練計劃制定、飛行員雷達操縱評估等方面提供可靠依據，所以主要采用后端視頻分析的方式，即將視頻采集和視頻分析分離進行，對實時性要求不高。本文主要通過對已有的戰斗機機載雷達視頻特點進行分析，提出了視頻識別的方法手段，為利用雷達視頻為下步飛行相關訓練進行評估和計劃制定提升了可能。

2 機載雷達視頻的特點

1）分辨率較低。由于戰斗機在作戰過程中機動性強、電信通道低的特點，所以機載雷達視頻通常采用H.263編碼模式進行，H.263是由ITU-T制定的應用低碼率的視頻編碼標準，它采用混合的視頻編碼體系，可以保證視頻信息在易誤碼、易丟包的異構網絡環境下的傳輸，同時采用高精度的運動補償來實現更加精確的預測［2］，但是由于H.263模式是面向低碼率的視頻編碼而設定的，所以得到的視頻分辨率較低。

2）視頻畫面呈現二值化。為方便飛行員戰斗時快速尋找并鎖定目標，戰斗機機載雷達視頻普遍簡捷易懂，視頻畫面以黑白兩色為主，以幾何圖形、字符為主要形式，在進行視頻處理時無需對視頻畫面進行灰度處理，有利于提升視頻處理的效率。

3 機載雷達視頻的預處理

由于現代機載視頻的分辨率較低、視頻畫面二值化等特點，所以為準確分析戰斗機機載雷達視頻，首先要對視頻進行預處理，通過視頻的壓縮、按幀截取成圖像、圖像的拼接融合等工作，將視頻信息轉化為圖像信息，再通過對拼接的圖像進行腐蝕與膨脹的操作，降低原機載雷達視頻分辨率低以及在圖像拼接過程中對圖像造成的損壞的影響，為下步識別做準備。

3.1 視頻的壓縮

由于戰斗機機載視頻占用空間較大，在進行視頻分析過程中會占用大量的時長，導致分析效率降低。針對這一情況，在對視頻進行預處理時，可先對視頻進行有損壓縮，即舍棄視頻中不影響原含義的數據［3］，由于視頻中的數據信息實際由信息量和冗余數據量兩部分組成，通過視頻的壓縮算法，可以對視頻原始數據進行變換、量化、編碼，保留信息量，把實際存在的冗余信息去掉，從而減少它的數據量，既保證了視頻圖像質量，又達到了減小占用容量的目的。通常重新進行編碼后的視頻會完成視頻文件格式的轉換，由AVI視頻文件格式轉換為占用空間較小的flv、mp4等格式，這些格式的特點是自身空間占有率低、視頻畫面質量良好，有利于縮短視頻分析過程中的時長，提高分析效率。

3.2 圖像截取與拼接

由于是對已有的戰斗機機載雷達視頻進行分析，實時性要求不高，所以采用將視頻信息轉化為圖像信息而后進行識別的方法進行，利用python語言和OpenCV將視頻按幀截取成圖像進行保存，而后利用Tesseract引擎對圖像信息進行OCR識別，提取出關鍵信息。

由于對視頻流進行按幀截取操作得到的圖像較多，為提高識別效率，適當采用圖像拼接技術將截取的圖像進行拼接，再對拼接后的圖像進行識別。圖像的拼接技術通常包括特征點提取與匹配、圖像配準、圖像融合等三大部分。首先，進行特征點提取，由于SURF算法［4］具有良好的精度和魯棒性，同時又具有較好的實時性，所以采用SURF算法完成圖像序列特征點的提取。其次，圖像配準是一種確定待拼接圖像間的重疊區域以及重疊位置的技術，是整個圖像拼接的核心，可以采用基于特征點的圖像配準方法，即通過匹配點對構建圖像序列之間的變換矩陣完成全景圖像的拼接。最后，根據圖像間變換矩陣，對相應圖像進行變換以確定圖像間的重疊區域，并將待融合圖像映射到到一幅新的空白圖像中形成拼接圖。

圖1 拼接后的圖像

3.3 腐蝕與膨脹

在進行戰斗機機載雷達視頻預處理時，由于視頻具有分辨率低的特點，且在經過對視頻進行壓縮和圖像的拼接后，得到的圖像中個別字符會變得模糊不清，同時會出現一些孤立的“白點”，這些“白點”的存在會影響識別的準確率，所以要對圖像進行腐蝕與膨脹的處理，以消除“白點”的影響。

圖像形狀學中膨脹運算實質是采用向量加法對兩個集合進行合并，達到將目標區域的外邊界變成對象，使目標區域得以擴展，即將圖像的邊緣進行擴大的目的，實現將目標的邊緣或者是內部的坑填掉的效果［5］。其表達式如下：

其中膨脹A⊕B是兩個向量之和的集合，而向量加法的兩個操作數分別取自向量A和B。

而腐蝕運算的實質則是通過向量減法實現對兩個集合元素的合并，通過運算，尋找線段的內點段并將它們保存下來，起到將目標區域的內邊界變成背景，以此來縮小目標區域的目的，實現將圖像邊緣的“毛刺”踢除掉的效果。腐蝕算法是膨脹算法的對偶運算，其表達式：

在對圖像進行處理時，本文通過進行形態學梯度計算，即膨脹圖像與腐蝕圖像的作差得到的差值圖像，來刻畫目標邊界或邊緣位于圖像灰度級劇烈變化的區域，以此突出圖像中處于高亮區域的字符的外圍，從而使字符的外輪廓更加突出，方便進行字符的識別。

圖2 原圖

圖3 膨脹圖像

圖4 腐蝕圖像

圖5 形態學梯度圖像

4 機載雷達視頻的識別

對戰斗機機載雷達視頻的識別主要通過調用Tesseract引擎進行。Tesseract是惠普實驗室在1985到1995年間開發的一個開源的OCR（Optical Character Recognition，光學字符識別）引擎［6］。2005年，惠普將Tesseract的源代碼對外開放并放棄對其的維護，2006年Google繼續對Tesseract進行改進、消除Bug以及優化工作［7］。由于Tessseract引擎具有開源性和提供自定義字符庫訓練方法的特殊性，所以其可以通過不斷進行訓練，增加字符庫，不斷增強其圖像轉換為文本的能力，最終使Tesseract成為目前公認最優秀、最精確的開源OCR系統。

4.1 Tesseract的識別架構

Tesseract識別字符過程通常由五個部分構成：頁面布局分析、查找目標塊區域、定位文本行和單詞并進行分割、分析識別、模糊區域改進。

圖6 Tesseract的架構

1）頁面布局分析。對文本進行頁面布局分析，通過頁面布局分析，可以將圖像中的文本和非文本區分開，同時提取出文本區域，得到圖像中文本區域的排列布局和分布方式，并檢測出文本區域中的字符的輪廓。

2）查找目標塊區域。在Tesseract中，通過對文本區域中的排列布局進行分析，可以得到一個或多個相互關聯的“塊”，這個“塊”被稱為Blob，在計算機視覺中的Blob是指圖像中的具有相似顏色、紋理等特征所組成的一塊連通區域，這些“塊”組合形成目標塊區域。

3）定位文本行和單詞并進行分割。在找到目標塊區域后，通過對區域中相鄰字符之間的垂直重疊關系進行檢測，可以得到處于水平狀態的文本行。對字符間的水平關系進行檢測可得到字符的間隔，根據字符間隔對文本行進行分割方可得到單詞。通常文本中的字符連通區域的間隔可分為固定字符間隔、按比例排列的字符間隔和模糊字符間隔，對于固定間隔的文本可通過字符單元分割出單個字符，而對按比例排列的文本和模糊間隔的文本以協作關系共同分割得到單個字符。

4）分析識別。Tesseract會采用自適應分類器依次對每個單詞進行分析，分類器會對每個單詞進行分類，并將結果在相對應的字典中進行搜索，并與樣本圖像進行對比，在字典中找到相似度最高的樣本圖片對應的單詞則進行確認［9］。自適應分類器本身具有“學習能力”，可以將先分析得到的滿足條件的單詞作為訓練樣本，增加后面字符識別的準確率。而對于識別不準的單詞，則通過利用A*算法搜索最優的字符組合，直到得到滿意的識別結果。

5）模糊區域改進。對于粘連的字符形成的模糊區域，可以將字體形狀的幾何體頂點作為備選分割點進行分割，之后根據識別置信度來判別字符。如果都失敗，就認為字符破損不全，則對字符進行修補，而后利用A*算法搜索最優的字符組合，得到識別結果。

4.2 建立字符庫

雖然Tesseract引擎提供了相應字符庫以滿足字符識別的需要，但是通過實驗發現直接調用Tesseract引擎中的字符庫進行識別準確率不高，會影響相關數據的分析效果，所以利用Tesseract引擎可自行訓練字符庫的特點，結合戰斗機機載雷達視頻中字符的特點，訓練出自己的字符庫。具體方法如下：

圖7 Tesseract訓練字符過程

1）選取樣本圖像。在戰斗機機載雷達視頻截取的圖像中選取一定數量有代表性的圖片作為樣本圖像，根據機載雷達視頻的記錄特點，主要識別內容有三項內容，一是作戰時間，二是雷達所處的工作狀態，三是雷達中記錄的飛機的飛行狀態、搜索到的目標等相關參數，根據這三項內容選取樣本，樣本內容要包含全部需要識別的字符，其中對于經常出現的字符，每個字符至少選取10次以上的樣本數量，保證樣本數量充足，有利于提高訓練的質量，提升識別的準確率。此外，在訓練字庫時，對視頻中出現的不同字體的字符分成不同的字庫進行訓練，保證同一個字庫內的字體的統一。

2）合并樣本圖像，生成Tiff圖片集。Tiff（Taggen Image File Format，標記位圖文件格式）是為跨平臺儲存掃描圖像而設計的一種圖像文件格式，由于它采用無損壓縮的形式，所以以tiff格式存儲的圖像信息多、質量高，具有拓展性強、存儲方便、可改性的特點，基于這些特點，在進行字符訓練時，多采用tiff格式的圖像進行。因此，將準備好的戰斗機機載雷達視頻字符的樣本圖片統一轉換成tiff格式文件，并整合到同一個Tiff圖片集里，供后面訓練使用。

3）文本檢測，生成Box文件。文本檢測是一種特殊的目標檢測，可以對圖像中的文本進行定位，正確檢測出需要覆蓋的文本的長度，并在文本四周生成矩形邊界框［10］。通過文本檢測可以按順序地列出訓練圖像中的字符，并通過邊界框將每個字符分開，同時顯示出每個字符在圖像中的定位信息和邊界框的長寬、大小，其中Box文件是一個文本文件，是Tesseract引擎中識別出的文字和其坐標的集合。

4）文字校正。對文本檢測后的文本進行校正，調整在文本檢測中標記邊界框時出現的偏差。在對新字符進行訓練時，由于Tesseract對新字體的識別正確率有限，所以文本檢測時會出現一些錯誤，可以通過合并、分離、添加、刪除等手段對矩形邊界框進行調整，使邊界框剛好框住每個字符，通過校正可以使Tesseract引擎在識別時正確分割出每個字符并進行識別，以此形成的字庫才可以有效提升識別的準確率。

圖8 文字校正

5）計算字符集，生成字符集文件：Unicharset文件。Unicharset文件是Tesseract中的字符集文件，它包含了Tesseract引擎訓練后可以識別的每個字符的信息，是Tesseract新字庫語言的一部分，其中Unicharset文件的第一行顯示了文件中所包含的字符數，后面的每一行則是所有單個字符的信息。

6）生成字體特征文件。由于在現實生活中，同一種語言中往往存在很多種不同的字體，所以字庫文件中也包含了記錄字體屬性的文件，這類文件就是字體特征文件，而字體特征則是用來識別文字的關鍵信息，每個不同的文字都能通過特征來和其他文字進行區分。而常用的特征提取方法是HOG（Histogram of Oriented Gridients）方向梯度直方圖［11］。方向梯度直方圖是目前計算機視覺、模式識別領域中常用的一種描述圖像局部紋理特征的一種方法。首先將文本圖像分成小的連通區域，這些連通區域也被叫做細胞單元。然后采集細胞單元中各像素點的梯度的或邊緣的方向直方圖。最后把這些直方圖累積組合起來，構成特征描述符，并作為特征，可以輸入Tesseract分類器中完成字符的識別。

7）合并訓練文件，生成字符庫。將box文件、Unicharset文件、字體特征文件等文件進行合并，生成字符庫。

4.3 優化與提高

對于Tesseract引擎而言，雖然其可以通過改變圖像尺度、二值化、旋轉和抗扭斜等方法來提升識別的質量，但是基于戰斗機機載雷達視頻的特點，通過不斷完善字符庫提升識別的準確率無疑是最有效的途徑，在后期進行訓練時，可以字庫中添加模糊字文件［12］來提升識別質量。模糊字文件不是字庫中所必需的文件，它是對識別過程中容易出錯的字符的匯總，通過調用模糊文件，可以幫助修正識別中的錯誤，以提高最終準確率。在后期進行識別時，對容易出錯的字符進行整理與匯總，形成模糊字文件，并對這些字符進行多次訓練與識別，最終形成詞典。再次調用Tesseract引擎對類似字符進行識別時，可以通過A*算法搜索最優的字符組合，自動調用形成的詞典，得到正確的識別結果，達到提升識別準確率的效果。

5 識別結果分析

為檢驗方法的有效性，本文將收集到的戰斗機機載雷達視頻分為樣本集和測試集兩部分，其中，對樣本集中的視頻主要進行字符樣本的收集和字符庫的訓練，通過大量的樣本字符建立起完整可靠的字符庫。測試集中的視頻主要用來檢測視頻識別的可靠性，通過調用利用樣本集訓練的字符庫，對測試集中的視頻進行識別，檢測出識別的準確率。通過測試發現，利用本文研究的視頻關鍵信息識別方法準確率為90.72%。

圖9 字符重疊圖

其中，絕大部分內容識別正確。少數內容在識別過程中會出現符號識別錯誤，主要原因在視頻運行過程中部分非符號部分會與符號部分在個別時段會產生重疊（如圖9所示），產生交叉后的字符與原本字符形態相差較大，這導致在對字符進行分割后，Tesseract引擎無法在字庫中找到與之相對應的字符，影響對符號的識別。在后期研究中，會加大視頻的語義分析，根據視頻前后幀之間的關聯進行識別。

6 結語

本文通過研究，得出了對戰斗機機載雷達視頻識別的一般方法，通過前期對視頻進行預處理后，調用Tesseract引擎對視頻內容進行識別，同時不斷訓練字符庫以增強識別的質量和準確率，對戰斗機機載雷達視頻的識別與分析，不僅可以科學準確地評估飛行員對機載雷達的操作水平，查找其在飛行過程中的短板弱項，完成對飛行訓練的復盤檢討和對飛行訓練的成績評定的需要，進而促進航空兵部隊實戰化訓練水平的提升，還可以通過對不同人員的訓練數據進行匯總，能夠形成相關的飛行訓練數據庫，為下一步的訓練評估與訓練計劃制定提供依據。