李祥,姜程亮,徐宗澤
(1.中國電子科技集團公司第二十八研究所,南京 210007;2.海軍指揮所,北京 100841 3.南京捷敏信軟件科技有限公司,南京 210000)
軍隊標號草書標繪識別技術研究與實現
李祥1,姜程亮2,徐宗澤3
(1.中國電子科技集團公司第二十八研究所,南京 210007;2.海軍指揮所,北京 100841 3.南京捷敏信軟件科技有限公司,南京 210000)
展現戰場敵我雙方態勢的物理沙盤逐漸被電子沙盤取代,針對在電子沙盤上快速調整戰斗進展情況和標繪首長戰斗決心圖的應用需求。提出通過手(或手寫筆)描繪標號輪廓,使用圖像識別算法進行軍標識別的軍隊標號草書標繪方法。通過示例程序驗證表明,此方法可有效實現電子沙盤自然、快速地草書標繪需求。
軍隊標號;手繪;識別;Shape Context算法
隨著信息技術的發展,展現戰場敵我雙方態勢[1]的物理沙盤逐漸被電子沙盤所取代[2],電子沙盤應用觸控設備和技術實現用戶對電子沙盤軟件的干預操作。如何在電子沙盤上快速調整戰斗進展情況,快速標繪首長戰斗決心圖,是電子沙盤實現必須解決的重要課題之一。戰斗進展情況和首長戰斗決心通過軍隊標號(簡稱“軍標”)表現,基于鼠標鍵盤操作的電子標圖軟件發展已經比較成熟,廣泛應用于各類指揮信息系統,使用觸控手勢實現軍標標繪的研究目前較少,比較常見的方法是通過手勢模擬鼠標操作來實現軍標標繪[3-4],操作繁瑣且不自然。本文提出通過手(或手寫筆)描繪標號輪廓(簡稱“草書標繪”,此類軍標定義為“手繪軍標”),使用圖像識別算法進行軍標識別的軍隊標號草書標繪方法,實現電子沙盤軍標的自然、快速標繪。基于點狀軍標形狀固定(線面軍標形狀不固定)的特點,本文研究如何識別手繪點狀態軍標并轉換為矢量軍標的方法。
1.1 算法選擇
手繪軍標識別的主要思想是將手繪的圖像與軍標樣本庫進行相似度匹配,得出相似度最高的軍標。在圖像識別領域,有許多算法可以實現手繪圖像識別,如感知哈希算法[5]、SVM算法[6]和Shape Context算法[7]等,這些算法能夠有效識別出輸入圖像與樣本圖像庫中相似的圖像。因每個算法均有其特點和局限性,適用場景不同,下面結合軍標的特征,分析選擇手繪軍標識別算法。
感知哈希(Perceptual Hash Algorithm)算法是哈希算法的一種,將圖像的主要特征提取出來,生成一組指紋,然后對指紋進行比較,比較算法主要運用漢明算法。指紋重合越多,圖像的相似度越高,越高相似度的圖像越可能是需要識別出的圖像。該算法運行速度快,忽略圖像細節只保留主要部分,對圖像的大小和顏色沒有要求,可以運用在相似圖像搜索領域。該算法不能解決圖像在旋轉情況下的識別問題,軍標有方向,因此手繪軍標不適合使用感知哈希算法識別。
SVM(Support Vector Machine,支持向量機)算法是一種機器學習算法,是一個有監督的學習模型,通常運用在模式識別、分類以及回歸分析。其優點是:可以解決小樣本下機器學習,解決了高維和非線性問題;缺點是:SVM對大規模訓練樣本難以實施,處理多分類問題比較困難。軍標樣本庫中圖像比較多,不適合使用該算法。
Shape Context(形狀上下文)算法是由Serge Belongie,Jitendra Malik以及Jan Puzicha在2002年提出的基于輪廓點集的形狀匹配算法,該算法在數字識別、基于圖像內容的檢索以及基于形狀匹配方面具有較高的識別率,因而引起人們廣泛關注。現在該算法已經在多個應用領域得到良好發展,能夠解決手繪軍標的識別問題。
1.2 Shape Context算法原理
Shape Context算法是一種良好的輪廓形狀識別器,它可以有效地識別出兩個圖像的相似度,是一種常用的輪廓識別算法。該算法的最終思想是將圖像形狀之間的匹配轉換成特征點點集之間的匹配。
若一幅圖中有N個點,某點P與其余的N-1點均存在關系,即產生N-1個向量。這些N-1個向量描述豐富的信息,決定了目標形狀特征。如果N越大,信息量越多,描述圖像越準確。在邊界提取之后,進行對數極坐標變換,求出對數極坐標直方圖。對數極坐標直方圖代表此基準點與其他離散輪廓點之間的空間位置關系。所以,Shape Context算法關注的是每個點對應的其他所有輪廓點的全局的空間分布信息,這有助于查找兩個圖像的對應點。
如圖1所示為指揮所軍標的識別示例,(a)是原始的二值圖像;(b)是均勻的選取邊緣輪廓上的若干個點,選取點數根據圖像特征確定,(c)是某點P和其余點組成的向量關系圖;(d)是對于邊緣上的任意一個點P,構建類似于雷達掃描系統的極坐標系,它將整個區域劃分成5×12=60個區域,統計落入每個區域中邊界點的個數;(e)以θ為橫坐標,lnr為縱坐標建立的形狀直方圖,(f)根據二分圖最大匹配算法(最大流或匈牙利算法)找出對應點的最大匹配。
軍標是指標示軍事情況的圖形語言,由一些規則和不規則圖形組成。在對手繪軍標識別時,轉換成對軍標樣本庫中軍標圖像相似度進行判斷,通過相似度進行排序,選取相似度最高的幾個圖像供用戶確認選取。因此,手繪軍標識別問題轉換為兩個圖像的相似度計算問題,本文使用Shape Context算法進行圖像相似度計算,具體分為六個步驟,分別為:預處理、邊緣提取、對數極坐標轉換、對數極坐標直方圖轉換、歸一化和對應點匹配。

圖1 Shape Context算法主要步驟
2.1 預處理
預處理是將軍標圖像轉成灰度圖像。灰度處理可以去除軍標的顏色屬性,獲取輪廓形狀,減少處理信息大小。
2.2 邊緣提取
對軍標圖像預處理后,提取出軍標邊緣輪廓點,具體分兩步,一是使用Canny算法邊緣檢測,二是輪廓跟蹤。Canny算法檢測出邊緣,提取出邊緣信息的二值圖像;然后用輪廓提取算法獲得二值圖像的輪廓,在將輪廓中尋找能夠體現輪廓形狀的點,選擇點的數量越多,匹配效果越精確,但相應的時間復雜度會增加。經過對軍標結構特性分析,為保證高識別率和低時間復雜度,本文選取80個點描述二值圖像輪廓的形狀。圖像輪廓點應根據輪廓曲率合理選擇,輪廓曲率越小(如直線),取點間隔應越大,輪廓曲率越大,取點間隔應越小。經過試驗驗證,本文取出的輪廓點可以很好的體現出軍標輪廓的形狀,同時運算復雜度在可接收范圍內。
2.3 對數極坐標轉換
對數極坐標轉換的方法是:先將軍標圖像輪廓點的位置用笛卡爾坐標表示,再將笛卡爾坐標轉換成極坐標。假設圖像上某一點笛卡爾坐標用(x,y)表示,在極坐標上用(r,θ)表示,笛卡爾坐標轉換成對數極坐標的映射方程是p(x,y)=lnr,q(x,y)=θ。
在笛卡爾坐標中,點坐標(x,y)相對于原點坐標發生變換時,若軍標圖像發生放大r0,軍標圖像角度旋轉θ0,坐標(x,y)的變化在極坐標中表示為(r+r0,θ+θ0),在對數極坐標中表示為p(x,y)=lnr+lnr0,q(x,y)=θ+θ0。
笛卡爾坐標系中,軍標圖像的縮放在對數極坐標系中表現為圖像的水平位移,軍標圖像的旋轉在對數坐標系中表現為圖像的垂直位移,這些特性稱為對數極坐標映射的二維不變性。Shape Context算法便是利用對數極坐標二維不變性特性,很好地識別出有角度或縮放過的軍標。
2.4 對數極坐標直方圖轉換
將軍標圖像轉換為對數極坐標直方圖。假設手繪軍標圖像某一點的坐標為pi,對應的對數極坐標直方圖的步驟如下:
(1)以pi為坐標原點進行對數極坐標變換;
(2)求落在每一格里的點數;
(3)進行歸一化處理,獲得直方圖。
如圖2所示,(a)圖是根據輪廓邊緣提取的輪廓點集,(b)圖是分成5×12個區域的對數極坐標變換圖,(c)為(a)圖中某一點在對數極坐標上的直方圖。

圖2 對數極坐標直方圖轉換
2.5 圖像歸一化
歸一化目的是將數據按比例縮放,使之落入一個小的特定區間,由于信用指標體系的各個指標的度量單位不同,對指標進行規范化處理,就可以讓指標參與評價計算中。
Hx(1,…,n)、Hx(1,…,n)分別是2個數集,使用經驗密度函數hx和hy來歸一化:

2.6 對應點匹配
綜上所述,輪廓上的一個點可以用一個對應形狀的直方圖表示。因此,可利用兩個形狀的直方圖之間的相似度來衡量對應點的相似度。圖3中(a)、(b)分別表示在字母中選取的邊界點,而(c)、(d)、(e)分別表示(a)中a點、(b)中b點和(a)中c點三個邊界點所對應的形狀直方圖。

圖3 圖像邊界點的形狀直方圖表示
直方圖代價公式為:

在識別匹配過程中往往選取匹配代價最小的點作為離一點最近的對應點,這樣就將兩個點集轉換成二分圖最佳匹配問題,處理二分圖最佳匹配問題往往采用匈牙利算法或最大流算法,本文采用的是匈牙利算法解決最佳匹配問題。
3.1 程序設計
為了提高工程應用中手寫軍標識別的速度,盡量減少識別樣花費在時間,本程序先對軍標樣本庫中的樣本軍標圖像進行特征點集提取并保存,在每次對軍標識別時,無需再對樣本圖像進行特征點集提取,可有效節省識別時間。同時,為了進一步減少識別時間,本程序利用多線程處理。
3.2 程序實現
驗證程序使用VS2010開發環境,C++程序實現,并應用了OpenCV庫(Open Source Computer Vision Library,開源計算機視覺庫,2.4.9版)。
如圖4所示為驗證程序主界面,包括手寫區域、圖像顯示區域和操作指令區。手寫區域供用戶手繪軍標,通過點擊“確認選擇”按鈕完成手寫并在圖像顯示區顯示;重繪圖像按鈕是將繪制好的進行清除,清除后,手寫區域變成白色,可以再次在該區域進行手繪操作;匹配結果按鈕是獲取軍標樣本庫中與手寫圖像相似的軍標,并且顯示出4個最相似軍標的名稱,路徑以及相似度指標距離,如圖5所示(因特殊原因,部分文字和圖像模糊處理)。

圖4 驗證程序主界面
每個軍標顯示信息包括軍標圖像、名稱、路徑以及SC距離。SC距離是判斷相似度的標準,SC距離越小,說明兩者之間的相似度越高。相似越大的樣本軍標排在最前面,最終選取4個與輸入圖像相似的軍標,盡量排除在手寫時繪圖不準確對識別結果帶來的干擾。
為了能減低時間復雜度,本程序利用多線程處理,進過反復試驗,選取12個線程用時比較小。
3.3 效能分析
在雙核CUP(主頻3.46GHz)和4G內存的計算機上運行示例程序,手繪軍標,在800個樣本軍標中找出相似標準軍標,平均消耗時3秒以內,識別準確率平均達85%,能夠滿足電子沙盤草書標繪應用需要。

圖5 圖像顯示結果
軍隊標號草書標繪識別技術解決了電子沙盤應用中軍標標繪的技術難題,實現了軍標的自然、快速錄入。但是,該技術僅解決了具有一個定位點的點軍標標繪問題,對于具有多個定位點的線面軍標(線面軍標形狀不定)草書標繪識別無法解決。后續將進一步研究線面軍標草書繪制方法和識別技術,實現線面軍標的自然、快速錄入。
[1]程曉雪.海戰場綜合態勢構建與同步方法[J].指揮信息系統與技術,2016,7(3).
[2]吳振鋒,趙克儉.未來指揮所發展展望[J].火力與指揮控制,2005(4).
[3]陸錫高.軍交指揮空間用戶操作模型應用研究[碩士學位論文].國防科學技術大學,2008.
[4]張宏宇,李祥.基于實時戰場態勢的電子白板系統研究與實現[J].現代計算機,2015,11(上).
[5]牛夏牧,焦玉華.感知哈希綜述[J].電子學報,2008(7).
[6]Franois Poulet.SVM and Graphical Algorithms:a Cooperative Approach[C].IEEE International Conference on Data Mining(ICDM'04),2007
[7]Z.Y.Wang,L.Bin,and Z.R.Chi.Leaf Image Classification with Shape Context and SIFT Descriptors[J].Proceedings of International Conference on Digital Image Computing Techniques and Applications(DICTA),6-8 Dec 2011,pp.650-654.
Research and Implemention of Handwriting Military Symbols Recognition
LI Xiang1,JIANG Cheng-liang2,XU Zong-ze3
(1.The 14th research institute of China Electronic Technology Group Corporation,Nanjing 210007;2.Naval Command Post,Beijing 100841;3.Nanjing JMX Software Technology Co.Ltd.,Nanjing 210000)
The physical sand table is replaced by the electronic sand table for showing the whole battlefield situation.For solving how to plot combat process and combat determination of the commander in an electronic table quickly,proposes a handwriting military mark marking method which has three steps.Firstly,the military mark outline is depicted by hand.Then,the outline is recognizing by an image recognition algorithm.Finally,the outline is replaced by the real military mark.It is proved that the method can solve the problem of how to plot military marks by hand naturally and quickly.
Military Symbol;Handwriting;Recognition;Shape Context Algorithm
1007-1423(2016)33-0042-05
10.3969/j.issn.1007-1423.2016.33.009
李祥(1985-),男,江蘇南通人,碩士,工程師,研究方向為數據可視化與展現技術
姜程亮(1983-),男,北京人,本科,工程師,研究方向為軍事指揮學及指揮自動化技術
徐宗澤(1990-),男,江蘇淮安人,碩士,工程師,研究方向為圖像處理與識別技術
2016-09-27
2016-11-15