基于視頻圖像處理的彈孔檢測提取算法研究?

柳華林 姚立波 張立民 黃友澎 王海鵬

（1.海軍航空大學 煙臺 264001）（2.武漢數字工程研究所 武漢 430074）

1 引言

隨著軍隊改革的持續深入，我軍信息化程度不斷提高，實彈化訓練的頻率和強度也達到新的高度。在射擊領域，由于自動報靶能夠有效克服傳統人工報靶所存在的人為誤報、工作量大、安全性低等缺點［1］，滿足現代化部隊訓練要求，提高官兵訓練水平，因此面臨越來越大的需求［2］。

目前，有關自動報靶系統的研究成果很多［3～5］，基于視頻圖像處理的相關算法也層出不窮［6］，但大多停留在整體系統設計，具體到系統的各個方面，多經不起實際靶場環境的考驗。就當前時刻彈孔的檢測提取而言，多建立在彈孔成形狀況理想和靶紙抖動等外界因素影響輕微的前提下，沒有對彈孔提取面臨的復雜實際情況進行分析，更少對彈孔的共性特征加以總結和利用。例如，對比彈孔生成前后靶圖的彩色數據信息差異［7］、設置閾值優化“差影”［8］、前后靶圖幀差結果應用形態學方法去除干擾［9］、運用彈孔形成前后靶紙的顏色變化［10］以及彈孔的灰度值最低特征［11］等方法在實際靶場環境下都無法做到當前時刻彈孔的精確檢測提取。此外，多集中于單張視頻幀的研究，致使成果僅滿足一類或幾類彈孔的檢測提取，不具有普適性。

本文基于靶場實地考察和真實打靶視頻的研究，分析彈孔提取制約性難題，提出一種區域二值化的彈孔粗檢測算法，實現當前視頻幀彈孔的全部檢測提取。以此為基礎，從彈孔特性融合的角度出發，以彈孔的不可逆性為核心，彈孔檢測提取分區域進行為手段，融合彈孔和干擾特性，設計了基于視覺模型的當前時刻彈孔檢測提取算法。經真實打靶視頻驗證，該算法能夠依次全部檢測提取視頻中當前時刻上靶的彈孔，速度快且抗干擾性、普適性強。

2 彈孔檢測提取主要問題分析

通過對真實打靶視頻的實驗分析，現將彈孔檢測提取實際問題和技術難點總結如下：

1）靶場光照環境。緩慢變化光照干擾的去除一直是視頻圖像處理領域的瓶頸。當前時刻彈孔的檢測提取需要幀差操作，變化的光照環境必然帶來干擾。實驗發現，存在光照變化引起的干擾和子彈上靶引起的靶紙變化相似，極易被誤檢為彈孔。此外，在干擾去除方面，由于各視頻幀所處的光照環境不同，難以設計通用的算法將此干擾徹底去除。

2）靶紙抖動。子彈上靶的沖擊力以及風等外力因素使靶紙存在抖動現象。靶紙位置的輕微偏移導致幀差法無法準確檢測彈孔同時帶來大量干擾。同樣，靶紙抖動具有隨機性，無法通過圖像配準技術將靶紙環線等部分配準，也無法設計有效方法將抖動干擾去除。

3）靶紙制作工藝。靶紙質量參差不齊，靶面極易出現色彩深淺不一和深色點狀、塊狀區域等印刷不均勻情況。實驗發現，存在靶紙上的這些干擾和彈孔的色彩或大小相近。在光照變化和靶紙抖動的影響下易產生類似彈孔的干擾，影響彈孔的檢測提取工作。

4）彈孔成形狀況。如圖1所示，實際的靶紙上并不全是清晰且類似圓形的彈孔。會出現靶紙未脫落，隨外力條件在彈孔處做有規律運動；子彈穿過靶紙生成印記而未形成彈孔，使彈孔引起的響應微弱和所處背景區別度小；由于子彈和靶紙摩擦消除了靶紙顏色，致使彈孔灰度值升高等現象。

圖1 靶紙圖

3 彈孔特性分析

本文在實驗分析基礎上總結彈孔規律特性，現對彈孔的形狀大小、色彩屬性和不可逆性進行特性分析如下。

3.1 形狀大小

彈孔由子彈迅速穿透靶紙而成，形狀不規則呈類圓狀弱小暗斑［12］，直徑在確定的閾值之間，主要取決于彈孔的成形狀況。

通過彈孔的形狀大小進行檢測提取即利用子彈上靶前后兩幀圖像進行差分，將彈孔和干擾檢測出來，并將大小在閾值內的圓形或類似區域判定為彈孔。這種方法條件苛刻，一是打靶視頻中不能有類似彈孔形狀大小的干擾出現，滿足幀差結果中彈孔和干擾有明顯差別；二是彈孔必須清晰完整，如此才能準確實現彈孔檢測。

3.2 色彩屬性

彈孔的顏色通常偏深，因彈孔成形狀況而有所不同。如圖1所示，白色靶面彈孔的色彩屬性跟所處背景有明顯區別；墨綠色靶面彈孔的色彩屬性受彈孔成形狀況影響大：清晰完整的彈孔近乎黑色，亮度等屬性值低于背景；靶紙未脫落的彈孔色彩屬性和背景區別度低；因摩擦而消除顏色的不完整彈孔，色彩屬性值往往高于背景靶紙。

利用彈孔的色彩特性主要是利用彈孔和背景靶紙在顏色亮度等方面的不同。該方法對靶紙制作工藝和彈孔成形狀況要求較高，整個靶面不能存在和彈孔色彩屬性相似的干擾。

3.3 不可逆性

子彈一旦上靶必然留下痕跡，且不可逆。無論彈孔成形狀況如何，一直到打靶結束彈孔都將顯示于靶上。

靶場環境下除彈孔外其他因素必然不斷變化，理論上依據此特性可以準確的檢測提取彈孔。當子彈上靶后的視頻幀數取無窮大時，彈孔可以被唯一確定。因算法可行性和時效性要求，該值不能過大，因此彈孔的檢測提取仍受到干擾的影響。

4 基于視覺模型的彈孔檢測提取算法

通過彈孔檢測提取主要問題和彈孔特性的詳細分析，彈孔的三個特性在其檢測提取方面各具優勢和局限性，無法僅依靠某一特性將視頻中彈孔依次全部檢測提取出來。經過對各部分難點的詳細分析，本文提出了基于視覺模型的彈孔檢測提取算法。算法整體流程如圖2所示。

圖2 算法流程圖

視覺模型以彈孔的不可逆性為核心，利用彈孔特性的融合準確實現當前時刻彈孔的檢測提取，具體分為三部分：靶紙區域二值化、彈孔粗提取和彈孔精細化。

4.1 靶紙區域二值化

靶紙區域二值化是整個視覺模型的基礎工作，實現視頻幀中全部彈孔和背景分割，并盡量減少干擾的引入。二值化［13］方法很多但不具普適性，核心在于閾值T的確定。理想狀態下彈孔灰度值較背景靶紙低，以靶紙灰度值最小值為閾值即可實現全部彈孔的分割。由彈孔的色彩屬性知，存在彈孔的灰度值高于所處背景，如圖3、圖4所示，通過設置全局閾值無法實現彈孔的全部檢測提取。進一步對整個視頻幀采用多閾值方法分割彈孔，根據彈孔的色彩屬性設置三閾值，則背景區域為Ω=(T1＜f(x ，y) ＜T2)|(f(x ，y )＞T3)。其中，f(x ，y)為靶紙灰度圖，T1、T2為墨綠色靶面灰度最低值和最高值、T3為白色靶面灰度最低值。二值化結果如圖5所示，結合圖1知存在彈孔沒有被清晰檢測出來。選取未被清晰檢測的彈孔1（見圖1）和彈孔4（見圖1）進行灰度分析，彈孔1和彈孔4的灰度值范圍分別是 88～219 和 51～159，背景區域為Ω=(60＜f(x ，y )＜124)|(f(x ，y) ＞129)?？梢钥吹剑嬖趶椏缀捅尘皡^域的灰度值嚴重重疊，因此多閾值設置無法實現彈孔全部分割。

本文從問題分解的角度出發，采用區域二值化的方法實現全部彈孔的檢測。白色靶面彈孔的灰度值大部分小于其背景，通過設置全局閾值即可實現區域內彈孔的全部檢測。 f(x ，y)為靶紙圖像灰度圖，閾值處理后的二值圖像g(x，y)定義為［16］

圖10為閾值T=0.63時二值化結果圖，該區域全部彈孔被有效分割出來。

圖3 靶紙原圖

圖4 全局閾值彈孔提取

圖5 多閾值彈孔提取

圖6 墨綠色靶面二值化算法流程圖

墨綠色靶面同時存在灰度值大于和小于背景靶紙的彈孔，采用雙閾值的方法將區域內全部彈孔和背景進行分割。由于靶紙上存在瑕疵和彈孔的灰度值相近，導致彈孔灰度值在墨綠色靶面灰度值范圍之間，因此不能直接選取墨綠色靶面灰度范圍的最值為閾值。本文在墨綠色靶面和彈孔直方圖分析的基礎上提出了一種墨綠色靶面的二值化方法，有效檢測該區域的全部彈孔。算法流程如圖6所示。

墨綠色靶面掩模圖和灰度圖如圖7、圖8所示。墨綠色靶面灰度值統計分析即首先不同灰度值的像素數進行順序排序，然后以最大像素數為起始，逆序依次取大于該像素數的灰度值的像素數并求和，直至像素數和占全部像素數的99%，如圖9所示，將對應的灰度值集范圍的最值作為二值化閾值T1、T2。閾值處理后生成的墨綠色靶面區域二值圖g(x ，y)由下式給出：

其中，f(x，y)為靶紙圖像灰度圖，如圖11所示，將墨綠色靶面的彈孔被全部檢測提取出來。

圖7 墨綠色靶面掩模

圖8 區域灰度圖

圖9 灰度值統計分析圖

4.2 彈孔粗提取

彈孔粗提取部分是整個視覺模型的關鍵，實現當前時刻彈孔的粗提取。該部分以彈孔的不可逆性為核心，運用當前幀與其后N幀圖像進行差影運算［14］，并將結果融合以消除不斷變化的干擾，函數如下：

其中，A(x ，y )、B(x ，y)為二值圖像。

圖10 白色靶面二值圖

圖11 墨綠色靶面二值圖

由于彈孔形成后具有不可逆性，因此當前時刻的彈孔得以有效保留，取N次結果融合實現在保留彈孔的同時抑制不斷變化的干擾。理論上N的值足夠大，可以直接將彈孔從干擾中檢測提取出來。實際中，N的值應根據時效性要求和對干擾的抑制程度選擇，使干擾不具有和彈孔相似的特征，為彈孔精細化奠定基礎。

下面分別就白色靶面和墨綠色靶面的彈孔粗提取部分進行結果分析。

選取白色靶面的彈孔（圖1彈孔1）和墨綠色靶面的彈孔（圖1彈孔5）進行實驗結果分析如下。

圖12和圖14為前后兩幀的幀差結果，圖13和圖15分別為N=10和N=24時的彈孔粗提取結果。由結果可知，白色靶面中干擾被嚴重削弱，和彈孔大小類似的干擾被不斷分解為較小的干擾，同時彈孔的原貌得到很好的保留。墨綠色靶面中，雖然變化的干擾被嚴重削弱，但是由于靶紙區域二值化的原因，彈孔原貌受到一定影響的同時環線邊緣也產生較多干擾。此時需要N取更大的值才能達到白色靶面中的效果。

圖12 白色靶面幀差圖

圖13 彈孔粗提取結果

圖14 墨綠色靶面幀差圖

圖15 彈孔粗提取結果

4.3 彈孔精細化

彈孔精細化部分是將當前時刻的彈孔從彈孔粗提取結果中精確的檢測提取。本文在干擾共性分析基礎上通過融合彈孔大小等特性就不同靶紙區域彈孔粗提取結果的特點同時采用形態學處理手法［15］分別設計通用的彈孔精確化算法，確保在N取值一致的前提下實現當前時刻彈孔的精確提取。本文主要采用形態學處理中基礎的膨脹和腐蝕運算［16］。數學上，膨脹定義為集合運算。A被B膨脹記為A⊕B，定義為

腐蝕的數學定義與膨脹類似，A被B腐蝕記為A?B，定義為

其中，?為空集，B為結構元素。

白色靶面的彈孔粗提取中N取較小值時干擾就得到迅速抑制，且與彈孔存在明顯區別，因此該區域的彈孔精細化通過彈孔形狀大小特征的約束輔以形態學處理手法即可實現彈孔的精確提取，結果如圖16所示。

圖16 白色靶面彈孔精細化結果

墨綠色靶面的彈孔精細化過程相對復雜，包括環線干擾去除和殘余小干擾去除兩部分。環線干擾去除部分通過利用墨綠色靶面掩模提取結果，如圖8所示，與彈孔粗提取結果進行融合，消除環線干擾同時將彈孔凸顯出來。殘余小干擾去除則是利用彈孔大小等特性進行最后篩選，確保精確提取彈孔。結果如圖17所示。通過真實打靶視頻驗證，本方法在N取值一致的前提下完全能夠實現當前時刻墨綠色靶面部分的彈孔精確檢測提取。

圖17 墨綠色靶面彈孔精 細化結果

5 實驗結果展示

經真實打靶視頻驗證，本文提出的基于視覺模型的當前時刻彈孔檢測提取算法精確有效且具有良好的時效性，完全能夠達到自動報靶系統的要求。提取視頻中的彈孔如圖18～圖27所示。

圖18 彈孔1

圖19 彈孔2

圖20 彈孔3

圖21 彈孔4

圖23 彈孔6

圖24 彈孔7

圖25 彈孔8

圖26 彈孔9

圖27 彈孔10

6 結語

本文基于自動報靶系統中當前時刻彈孔檢測提取部分展開研究，通過實際問題和彈孔特性的仿真實驗與分析，排除理論可行但靶場實際難以實現的算法，并在此基礎上以彈孔的不可逆性為核心提出了基于視覺模型的當前時刻彈孔檢測提取算法。分析靶紙二值化特點，提出靶紙區域二值化思路，并設計墨綠色靶面的二值化算法，實現視頻幀上彈孔的全部粗略提取工作。分區域進行當前時刻彈孔粗提取和彈孔精細化，提出墨綠色靶紙區域的精細化方法，實現了N值較小情況下的彈孔精確提取，保證了算法的可行性和時效性。經真實打靶視頻驗證，該算法可以準確的將當前時刻的彈孔依次識別出來，速度快且抗干擾能力強。

特殊情況下，即彈孔位于白色和墨綠色靶面的面積相同時，存在同一彈孔被兩個靶紙區域分別檢測提取的情況。由于子彈上靶的時空對應關系，同一彈孔不會被重復保留。當然，此算法仍有不足之處，算法建立在彈孔不可逆性的基礎上，必然需要當前幀之后的視頻幀進行操作，數量可以控制在10幀以內時間不足0.5s，可滿足正常的點射報靶需要。對于連射的自動報靶以及實時報靶，需在打靶視頻的基礎上作進一步的分析。