基于條件隨機場的視頻運動目標可靠性檢測方法

李曉峰，邢金明

(1.黑龍江外國語學院 信息工程系，黑龍江 哈爾濱 150025；2.東北師范大學，吉林 長春 130024)

1 概 述

智能圖像和視頻信息處理技術應用中，采用圖像信息處理技術進行視頻運動目標分析，對視頻運動目標進行可靠性檢測，提高視頻運動目標的檢測和識別能力，相關的視頻運動目標可靠性檢測方法研究受到人們的極大關注[1]。對視頻運動目標的檢測是建立在圖像信息處理的基礎上，構建視頻運動目標的三維視覺特征分析模型，采用高分辨的視頻運動目標識別和特征提取方法，進行視頻運動目標檢測，對視頻運動目標識別和運動視頻特征分析研究具有重要意義。

視頻運動目標成像多采用光學成像，受到條件隨機場的干擾，導致視頻運動目標的可分辨性不高，一些發達國家經過長時間的分析與探討，對視頻運動目標成像也進行了探索和研究。文獻[2]提出了基于背景更新算法的運動目標偽裝效果檢測方法，采用偽裝原理進行目標檢測，以軍用卡車模型為研究對象，基于背景更新模型和實驗室三通道技術，利用一種新的運動物體偽裝效果的檢測方法，根據建立的實驗系統，計算軍用卡車偽裝前后形狀特征參數之間的歐氏距離，實現了運動目標偽裝效果檢測；文獻[3]提出了基于Ka波段視頻合成孔徑雷達的低雷達散射截面積運動目標檢測方法，首先研究了目標陰影的特征，主要受目標尺寸、雷達波束入射角和目標速度的影響，然后利用視頻合成孔徑雷達系統檢測運動目標，并對其運動目標檢測性能進行了分析；文獻[4]提出了基于格式塔原理的運動行星檢測與跟蹤方法，構造高斯混合模型，從視覺認知的角度檢測運動區域，利用天文圖像的圖形特征確定行星的位置，然后提出了跟蹤行星的時空融合模型，完成運動行星檢測與跟蹤。但是以上三種方法的目標檢測的分辨率較低，降低了檢測效果。國內在這方面研究也相對較多，例如，文獻[5]提出了基于背景減除法的視頻序列運動目標檢測方法，該算法利用背景減除法和幀間差分法，確定視頻圖像幀像素點的運動狀態，根據像素點的運動狀態，采用最大類間方差法對提取差分圖像，并使用數學形態學運算去除目標圖像中的噪聲，完成視頻序列運動目標檢測；文獻[6]提出了基于聯合直方圖的運動目標檢測方法，該方法利用聯合直方圖來描述相鄰幀間的相似性，通過對視頻序列中相鄰兩幀圖像進行逐次分塊，計算相鄰幀對應分塊的聯合直方圖并結合構造的相似性指標以逐步去除背景塊，該方法對運動目標本身不作處理，就能有效地避免檢測到的運動目標出現空洞現象，最終得到了完整的運動目標。但是以上兩種方法在進行運動目標檢測時，檢測時間較長，檢測效率較低；文獻[7]提出了一種綜合使用混合高斯、均值濾波和碼本的多方法融合的檢測方法，該融合檢測方法以上述3種檢測方法為準則建立一個多準則決策框架，通過雙閾值檢測法來表征檢測過程中的不確定性，最終利用謹慎有序加權平均方法進行決策級融合，實現多種方法的優勢互補。但是該方法由于運動特征分布散亂，導致目標跟蹤精度較低，跟蹤效果差；文獻[8]提出了基于改進高斯混合模型的體育視頻運動目標檢測與跟蹤方法，通過分析高斯混合模型的弊端，保留原有的“背景重建-模型更新-背景更新-目標檢測”處理進程，將彩色圖像轉換為灰度圖像，在像素相似度差別小的背景區域進行動態擴張，加入基于灰度直方圖的目標跟蹤進程，提高高斯混合模型對體育視頻運動目標的處理效率與精度。但是該方法的運動目標檢測準確率較低。

針對上述問題，通過對運動目標進行跟蹤，可以利用目標之間的相對位置信息，但是在建立模型時，訓練樣本相對較多，而條件隨機場是一種判別式機率模型，是隨機場的一種，常用于標注或分析序列目標，具有訓練樣本少的特點。因此，文中提出基于條件隨機場模型的視頻運動目標可靠性檢測方法。首先構建視頻運動目標的像素特征點塊匹配結構模型，提取目標特征的關鍵幀頻帶，并構建幀內編碼函數，跟蹤目標運動軌跡。再建立目標圖像的條件隨機場分布模型，通過粗重構和超分辨率重建，最終實現運動目標的可靠性檢測。最后通過仿真實驗可知，該方法具有較高的視頻運動目標的檢測準確率、跟蹤精度和檢測分辨率，且檢測時間較少。

2 視頻運動目標圖像自適應跟蹤

2.1 目標特征關鍵幀頻帶劃分

為了實現視頻運動目標的可靠性檢測，首先采用模板匹配方法構建視頻運動目標的像素特征點塊匹配結構模型，如圖1所示。

圖1 視頻運動目標的塊匹配結構模型

在圖1所示的塊匹配結構模型中，采用像素幀匹配視頻運動目標的模板，對第k個子帶中采集的目標圖像，采用關鍵幀融合方法，構建碼視頻運動目標圖像的頻帶劃分模型[9-11]，根據關鍵幀間的相關性，得到視頻運動目標圖像分塊融合的均方誤差函數準則(MSE)，計算公式如下：

(1)

(2)

其中，N1×N2為視頻編解碼框架提取中視頻運動目標圖像的高頻帶編碼帶寬分布，(mvx,mvy)為視頻運動模板的分塊融合矢量，fi(x,y)和fi-1(x+d1,y+d2)分別表示視頻運動目標圖像當前幀和參考幀的像素點[12-13]。

采用圖像像素空間融合匹配技術實現在每個尺度下的視頻運動信息統計分析，得到統計特征量LogfEcv(c1,c2)為：

LogfEcv(c1,c2)=μ·Length(C)+ν·Area(inside(C))+

(3)

其中，c1和c2分別表示視頻運動目標圖像的灰度系數和亮度系數，μ、ν、λ1和λ2表示稀疏性特征分布函數，均為大于0的常數。

采用關鍵幀檢測方法，對目標統計特征量中的關鍵幀進行分析，像素關鍵幀的頻帶劃分D的計算公式如下：

(4)

2.2 基于幀內編碼函數的運動軌跡跟蹤

根據上述獲取的像素關鍵幀頻帶劃分結果，進行視頻運動目標軌跡自適應跟蹤分析，主要通過構建幀內編碼函數實現跟蹤[16-18]。

采用分塊模板匹配方法，采集視頻運動目標圖像的視覺信息，得到視頻運動區域內的視頻序列的每幀軌跡跟蹤函數，定義如下：

v(x)=g-1(g(1)-g(u(x)))

(5)

其中，u(x)為視頻運動目標圖像的鄰域灰度函數，g(·)表示關鍵幀編碼模式下的軌跡跟蹤目標函數，滿足g:[0,1]→[0,1]。由此提取視頻運動信息特征量，得到視頻運動目標圖像的關聯規則系數P(Y)的表達式為：

(6)

(7)

3 視頻運動目標可靠性檢測優化

3.1 目標圖像的條件隨機場分布模型

文中提出基于條件隨機場模型的視頻運動目標可靠性檢測方法，對視頻運動目標圖像邊界特征進行分段檢測，解決了視頻運動特征分布散亂、跟蹤效果差的問題，提高了視頻運動目標檢測的準確率。初始化視頻運動目標圖像的邊緣輪廓中心，得到視頻運動目標圖像的輪廓像素分布模型g(xi,yj|μk,αk)，其表達式為：

(8)

(9)

其中，xj表示視頻運動目標圖像的每個像素特征聚類點j的邊界信息，dist(xi,xj)表示視頻運動目標圖像標記特征點xi和xj之間的歐氏距離，參數σ表示關鍵幀編碼的幀調節系數。

3.2 目標高分辨視覺重建及檢測

在上述基礎上，根據邊緣輪廓特征分布進行目標重構與可靠性檢測，得到視頻運動目標圖像的高分辨率像素特征g的表達式為：

g=k?f+n

(10)

其中，?表示卷積算子，對采集的視頻運動目標圖像進行點識別，得到其特征匹配函數sPPM(t)為：

(11)

其中，Ts是視頻運動目標圖像的邊緣輪廓增益，采用鄰域插值方法進行視頻運動目標圖像的高分辨重建，得到視頻運動目標特征粗重構g'(x,y)的表達為：

(12)

其中，wxy為灰度像素分量，利用空間區域像素增強方法進行視頻運動目標的灰度增強，得到灰度增模板函數為：

(13)

其中，η表示視頻運動目標圖像的邊緣輪廓特征檢測系數，φ表示高分辨率圖像重構的像素誤差，D表示邊緣模糊像素集。使用梯度下降法進行視頻運動目標圖像的區域像素點匹配，得到圖像的稀疏度系數滿足C∈S，視頻運動目標圖像的最佳分辨率檢測結果輸出P(k/k)的表達式為：

視頻運動目標圖像受到零均值的加性高斯白噪聲的干擾，得到基于稀疏表示的視頻運動目標圖像精細重構模型g(x,y)為：

g(x,y)=f(x,y)+ε(x,y)

(15)

其中，f(x,y)、g(x,y)、ε(x,y)分別代表原始圖像、高分辨重構后視頻目標圖像以及灰度圖像，由此得到視頻運動目標的可靠性檢測輸出結果I(i,j)，表示為：

(16)

綜上分析，實現視頻運動目標的優化檢測，提高對視頻運動目標的可靠性檢測[20]。

4 實驗與結果分析

4.1 實驗環境和數據集

通過仿真實驗驗證基于條件隨機場模型的視頻運動目標可靠性檢測方法的有效性。實驗在Matlab仿真工具，Microsoft Windows10操作系統，Intel/英特爾 酷睿 I7 8100 酷睿8代處理器，24 GB內存環境下完成，對視頻運動目標圖像檢測的樣本數據庫來源于Olympic sports dataset視頻圖像數據庫(http://vision.stanford.edu/Datasets/OlympicSports/)，共采集數據5 000個，進行50組實驗，每次使用100個數據。

4.2 實驗指標

以視頻運動目標檢測的分辨率、檢測時間、目標跟蹤精度、檢測準確率為實驗指標，采用文獻[2-8]的方法和文中方法進行對比實驗。

(1)檢測準確率：由于視頻運動特征分布散亂，跟蹤效果差，嚴重影響了視頻運動目標檢測的準確率，所以文中采用分塊模板匹配技術解決此問題，以提高檢測準確率。

(2)目標跟蹤精度：精度為驗證測試值的準確性，由于視頻運動特征存在分布散亂現象，導致目標跟蹤精度較低，由此，采用文中方法和文獻[4-6]的方法進行對比分析。

(3)檢測時間：視頻運動目標圖像檢測的過程中需要產生大量的時間，能夠對檢測效率產生影響，檢測時間越快，檢測效率越高。采用文中方法與文獻[5-8]的方法對視頻運動目標圖像檢測時間進行對比。

(4)檢測分辨率：較多視頻運動目標圖像檢測會借助圖像的分辨率來做出更為準確的檢測判斷，大大增加了檢測效果，檢測分辨率越高，視頻運動目標檢測效果越好，為此采用文中方法與文獻[2-5]的方法進行對比分析。

4.3 實驗結果

研究的視頻目標有高速運動的車輛以及球員，對目標圖像采樣的灰度像素級為120×200，搜索窗口的起始位置為(1.2,3)，濾波的觀測值為0.25，檢測的迭代次數為2 000，視頻運動目標圖像的邊緣輪廓像素分布為20*20，最大似然學習系數為0.48，0.92，根據上述仿真參量設定，進行實驗分析。圖2為視頻運動目標圖像測試樣本基準圖。

圖2 視頻運動目標圖像的基準圖

以圖2的視頻運動目標圖像為研究樣本，進行視頻運動目標檢測，提取視頻運動目標圖像的邊緣輪廓特征量，采用分塊模板匹配技術進行視頻運動目標圖像的塊特征匹配和高分辨視覺重建，實現目標跟蹤識別，得到在200幀下的檢測輸出結果，如圖3所示。

圖3 視頻運動目標檢測輸出結果

分析圖3得知，采用文中方法進行視頻運動目標檢測，其檢測結果準確性較好。采用文中方法、文獻[5-7]的方法，對視頻運動目標檢測的準確率做進一步驗證，驗證結果見表1。

表1 檢測準確率對比 %

分析表1結果得知，采用文中方法進行視頻運動目標檢測的準確率較好，最高可達99.63%，文獻[5]方法和文獻[6]方法的檢測準確率最高可達95%左右，但仍舊低于文中方法，而文獻[7]方法的檢測準確率最高只有89%，驗證了文中檢測方法的優越性。主要是因為文中方法在運動目標檢測過程中，對運動目標分別進行了粗重構和精細化重建，以此獲取檢測結果，大大提高了檢測結果的準確率。

在實現視頻運動目標檢測過程中，為避免因特征點分布散亂出現的跟蹤效果差的問題，對運動目標進行了跟蹤處理，以增強檢測效果。為驗證文中方法的可靠性，將文中方法與文獻[4-6]的方法進行目標跟蹤精度對比，結果如圖4所示。

分析圖4可以看出，利用文中方法獲取的目標跟蹤精度較高，隨著實驗數據量的增多，跟蹤精度可高達80%，而文獻[4]方法的最高跟蹤精度為75%，文獻[5]方法的最高跟蹤精度為40%，文獻[6]方法的最高跟蹤精度為45%。由此可以看出，文中方法的跟蹤精度較高，為目標的可靠性檢測提供了數據基礎。

圖4 目標跟蹤精度對比

為進一步驗證文中方法的有效性，對文中方法與文獻[5-8]的方法的視頻運動目標的檢測時間進行對比分析，對比結果如圖5所示。

圖5 視頻運動目標檢測時間對比

根據圖5可知，文中方法的檢測時間隨著實驗次數的增長而逐漸降低，其檢測時間在25 s以下；文獻[5]方法的檢測時間在50 s以下；文獻[6]方法的檢測時間在75 s以下；文獻[7]方法的檢測時間在80 s以下；文獻[8]方法的檢測時間在61 s以下。文中方法的檢測時間比傳統方法的檢測時間少，說明該方法具有較高的檢測效率。

采用文中方法、文獻[2-5]的方法，對視頻運動目標圖像檢測的分辨率進行對比分析，對比結果如圖6所示。

根據圖6可知，采用文中方法的視頻運動目標圖像的檢測分辨率在90%～100%之間；采用文獻[2]方法的視頻運動目標圖像的檢測分辨率在60%～80%之間；采用文獻[3]方法的視頻運動目標圖像的檢測分辨率在40%以下；采用文獻[4]方法的視頻運動目標圖像的檢測分辨率在70%～90%之間；采用文獻[5]方法的視頻運動目標圖像的檢測分辨率在40%～50%之間。文中方法的視頻運動目標圖像的檢測分辨率較高，說明視頻運動目標檢測效果好。

圖6 視頻運動目標圖像的檢測分辨率對比

5 結束語

由于傳統的視頻運動目標檢測方法存在檢測性能較差的問題，為提高視頻運動目標的檢測和識別能力，提出基于條件隨機場模型的視頻運動目標可靠性檢測方法。采用分塊模板匹配技術進行視頻運動目標圖像的塊特征匹配，采用圖像像素空間融合匹配技術實現在每個尺度下的視頻運動信息統計分析，獲取特征點檢測結果。在此基礎上，建立目標圖像的條件隨機場分布模型，并對目標進行高分辨視覺重建，根據視頻運動目標圖像的邊緣輪廓特征分布進行目標的可靠性檢測。研究得知，文中方法進行視頻運動目標檢測時，其檢測準確率、跟蹤精度均較高，且檢測時間較少，檢測分辨率較高，說明該方法的檢測效果較好。為日后運動目標圖像檢測奠定了較深的基礎。鑒于視頻運動目標檢測是一個非常復雜的問題，涉及到很多領域的知識，在建立目標圖像的條件隨機場分布模型基礎上，根據視頻運動目標圖像的邊緣輪廓特征分布進行目標重構與可靠性檢測，但是如果換做其他的模型是否會有更好的效果，這也是需要進一步研究的問題。