張韓西子
(中國艦船研究院,北京100192)
紅外圖像中船舶目標的檢測與跟蹤在海洋監測、船舶交通、海上戰爭等方面均具有重要作用。
目前,國內外已提出了大量針對船舶目標檢測與跟蹤的計算機視覺系統。通常,這些系統包含3個處理步驟:圖像預處理、目標檢測與目標跟蹤。
圖像預處理方面,多采用圖像增強方法克服紅外圖像對比度低、噪點多的情況,常用的方法有直方圖均衡、平滑濾波、銳化等。同時,為了提高系統的處理效率,可加入一些限制條件,例如水天線檢測[1]等來縮小圖像掃描范圍,達到減少后續操作時間,提高系統實時性的目的。
目標檢測的目的是從背景中分割出可能的艦船目標,常用的方法包括基于閾值的分割方法[2],基于聚類的分割方法[3]以及基于主動輪廓的分割方法[4]等。
目標跟蹤環節用于研究序列圖像,通過預測目標運動的規律,實現對指定目標準確且連續的跟蹤。目前常用的跟蹤算法可分為以下幾類:根據目標的運動特征,可分為圖像差分跟蹤算法、基于目標光流特征的跟蹤算法等;根據跟蹤序列前后的相關性,可分為模板相關算法、基于特征點的相關算法等;根據目標特征參數,可分為基于目標輪廓的跟蹤算法、基于目標特征點的跟蹤算法等[5]。
本文首先對紅外圖像進行平滑濾波及銳化處理來消除圖像噪聲,突出目標輪廓,再通過檢測水天線確定目標可能存在的區域,在候選區域內進行圖像分割獲得可能的候選目標作為感興趣區域(Regions of Interest,ROI),對所有ROI 通過特征辨識完成艦船目標的定位檢測,最后對檢測到的目標進行自適應波門跟蹤。
紅外圖像往往含有由外界環境因素或成像系統本身原因造成的噪聲,從而造成圖像模糊問題。為了提高圖像信噪比和后續目標檢測與跟蹤階段的精度,需對紅外圖像進行平滑濾波來抑制噪聲影響。
根據文獻[6]的研究結果,中值濾波具有平滑效果好、易于硬件實現和利于系統實時性等諸多優點。本研究選擇該方法對紅外圖像進行平滑處理,模板大小選為3 ×3,平滑結果如圖1所示。

圖1 圖像平滑Fig.1 Image smoothing
經過平滑處理后的圖像雖然達到了噪聲抑制目的,但同時也提高了圖像模糊程度。為了提高目標輪廓的清晰度,使后續目標檢測與跟蹤的結果更為準確,本研究采用微分銳化法中的拉普拉斯銳化[7]對平滑后的圖像進行處理,結果如圖2所示。

圖2 圖像銳化Fig.2 Image sharpening
對水天線的檢測采用邊緣檢測與Hough 變換相結合的方式進行。這種方法與一些規定水天線總是處于水平方向的方法[8]相比,考慮到了水天線是傾斜的情況。首先通過canny 算子檢測圖像邊緣,然后通過累計概率Hough 變換(Progressive Probabilistic Hough Transform,PPHT)算法定位圖像空間中的直線位置。
PPHT 是標準霍夫變換 (Standard Hough Transform,SHT)的一種改進算法,它不是對圖像中所有的邊緣點進行圖像空間至參數空間的投影,而是只在參數空間中對圖像空間中的一部分點進行累加,可以有效降低算法復雜度,提高系統實時性,該方法的算法流程如圖3所示。

圖3 累計概率Hough 變換算法流程Fig.3 The algorithm flow of PPHT
考慮到邊緣圖像中最長的直線通常為艦船下緣,同時水天線應在水平方向附近變化。故選擇邊緣圖像中與水平線夾角在±60°間的最長直線作為檢測到的水天線。檢測結果如圖4所示,紅線為檢測到的水天線,綠色框為進行后續操作的圖像區域。

圖4 水天線檢測Fig.4 Waterline detection
由于紅外圖像中背景與目標的灰度值不是常數,目標與背景的對比度在圖像中是變化的,因此需從概率的角度選擇合適的閾值來對圖像進行分割。本研究選擇大津閾值分割法對水天線檢測后獲得的區域進行檢測。
設一幅圖像的灰度值為0~m-1 級,灰度值i的像素數為ni,圖像的全部像素為N,則:

各個灰度值的概率:
整體圖像的灰度平均值:

閾值為T 時的灰度平均值:

然后用閾值T 將圖像的m 級灰度值劃分為2 組C0=(0,1,…,T)和C1=(T +1,T +2,…,m-1),則C0和C1產生的概率、平均值和方差分別為:
C0產生的概率:

C1產生的概率:

C0的平均值:

C1的平均值:

C0的方差:
C1的方差:

全部采樣的灰度平均值為:

類間方差為:

在灰度值范圍內改變T,令式(2)有最大值,則T*=maxδ2(T)即為所求的閾值,δ2(T)稱為閾值選擇函數。
此方法在圖像的灰度直方圖不存在明顯雙峰的情況下也能得到較滿意的結果,因此是自適應閾值分割中的最優方法。
大津閾值分割的結果如圖5(b)所示。對原圖像直接進行大津閾值分割的結果如圖5(a)所示,可以看到圖像增強提高了圖像分割的準確率。

圖5 圖像分割Fig.5 Image segmentation
對圖像分割后的所有ROI 進行特征辨別,符合艦船目標特征的作為最終檢測到的目標,本研究通過分析紅外圖像中艦船目標的各類特征,選擇面積和長寬比對ROI 進行判別。當ROI的面積小于一定閾值時,認為其不可能是艦船目標,或是艦船目標但距離過遠尚無需檢測。根據實際艦船的形狀,目標的長寬比應在一定范圍內,若長寬比超出該范圍,則認為該ROI為虛假目標。目標檢測結果如圖6所示。
波門跟蹤是目前跟蹤系統中一種常用的方法。利用波門進行目標跟蹤時,首先需要設計一個比目標尺寸略大,但小于整個視場的波門,在跟蹤過程中該波門應緊緊套住目標圖像,是跟蹤系統中真正的處理窗口。這樣除了可以減少程序需要處理的數據,也可以減少跟蹤過程中其他因素的干擾。

圖6 目標檢測結果Fig.6 Target detection results
跟蹤波門可分為固定與自適應2 種,固定波門在跟蹤過程中尺寸始終不變,自適應跟蹤波門的大小、中心位置會隨目標大小及姿態的改變而變化。考慮到序列圖像中目標的大小及運動姿態不可能完全不變,本文選擇自適應波門法對目標進行跟蹤。跟蹤波門形狀選擇矩形。考慮到目標形心受姿態變化影響較小,且在戰爭中,形心是最好的瞄準點,本文選擇目標的形心位置作為波門跟蹤的參考點。
假設視頻中的某一幀經過二值化后的圖像為g(x,y),處理窗口尺寸為M×N,用(△X,△Y)來表示當前幀中目標的形心位置,則其由式(13)計算得出。

其中,g(x,y)為圖像中位于坐標(x,y)處的像素點的灰度值,在這里用二值(0,1)表示,目標區域上的像素點g(x,y)= 1,背景區域上的像素點g(x,y)= 0。
基于形心的波門跟蹤算法處理過程如圖7所示。

圖7 基于形心的波門跟蹤算法處理過程Fig.7 Process of window-tracking algorithm base on target centroid
對網上獲得的視頻[10]進行檢測跟蹤,結果如圖8所示。淺色矩形框為跟蹤波門。

圖8 目標跟蹤結果Fig.8 Tracking results
對500 幅艦船紅外圖像的檢測結果進行統計,檢測的準確率可達到92%。在水天線檢測時,對于上層建筑較少的船只,船只上緣也會出現較長的直線,而船只下緣由于一些干擾物的影響,可能會出現直線長度小于上緣的情況,如圖9所示。由于水天線檢測只是為了縮小后續處理的區域,提高系統實時性。因此,只要艦船目標仍在由水天線推斷出的候選區域中,則此情況不會影響到后續的處理效果。

圖9 水天線誤檢測情況Fig.9 Wrong detection of waterline
檢測時間受處理器性能及圖片大小等影響。本文實驗平臺為Lenovo Y480 筆記本,CPU為Intel 酷睿i5-3210M,2.5 GHz,內存容量4 GB,操作系統為Microsoft Windows 7。本文將圖片統一縮放至600×450 大小進行定位檢測,檢測時間為紅外圖像中檢測到一個目標所需的平均時間,各流程所需算法時間如表1所示。

表1 算法時間Tab.1 Process time
對序列圖像第一幀進行檢測跟蹤的時間約為39.97 ms,對后續幀的操作因僅在波門內進行處理,故處理時間小于39.97 ms,可滿足系統實時性要求。
本研究對紅外成像過程中艦船目標的檢測跟蹤方法進行研究,主要分為以下3個階段:
預處理階段,首先通過圖像增強抑制噪聲,突出目標輪廓,對原圖和增強后的圖像分別進行閾值分割,對比結果證明該圖像增強方法可有效提高后續算法的準確率。接著對圖像中的水天線進行檢測,獲得目標可能存在的候選區域,降低后續檢測算法的操作區域,提高了系統實時性。
檢測階段,首先對候選區域進行閾值分割,獲得ROI 后進行特征辨識,符合要求的作為最終的目標檢測結果,實驗結果證明該方法可獲得較高的準確率。
跟蹤階段,采用基于形心的波門跟蹤算法實現序列圖像中艦船目標的跟蹤。
對本研究提出的檢測跟蹤方法中各個算法流程的處理時間進行統計分析,結果證明該方法具有較好的實時性。
[1]LI Heng,WANG Xin-yu.Automatic reccog-nition of ship types from infrared images using support vector machines[J].2008 International Conference on Computer Science and Software Engineering,2008,6:483-486.
[2]LIAO M,WANG C.Using SAR images to detect ships from sea clutter[J].IEEE Geosci.Remote Sens.Lett.,2008,5(2):194-198.
[3]COMANICIU D,MEER P.Mean shift:a robust approach toward feature space analysis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24:603-619.
[4]CHAN T F,VESE L A.Active contours without edges[J].IEEE Transactions on Image Processing,2001,10:266-277.
[5]奚慧婷.剛性運動目標的跟蹤算法研究[D].吉林:吉林大學,2008.
[6]于天河,郝富春,康為民,等.紅外圖像增強技術綜述[J].紅外與激光工程,2007,36(z2):335-338.YU Tian-he,HAO Fu-chun,KANG Wei-min,et al.Summarization on the infrared image enhancement technology[J].Infrared and Laser Engineering,2007,36(z2):335-338.
[7]劉延武,何友金,孫旭輝.艦船目標紅外圖像銳化處理[J].紅外技術,2004,26(5):5-9.LIU Yan-wu,HE You-jin,SUN Xu-hui.Infrared image sharpening for warship targets[J].Infrared Technology,2004,26(5):5-9.
[8]張天序.成像自動目標識別[M].武漢:湖北科學出版社,2005.
[9]劉延武.艦船紅外圖像的傳輸與識別[J].計算機仿真,2011,28(2):316-319.LIU Yan-wu.Transmission and recognition of infrared image for warship[J].Computer Simulation,2011,28(2):316-319.
[10]山東神戎.山東神戎電子紅外熱成像3kn 清晰觀察船只[EB/OL].http://www.tudou.com/programs/view/TEP1_KYoXQg/.