基于視頻處理技術的運動目標姿態檢測與控制

楊 軍

(西北政法大學 人工智能與智慧法治研究院，西安 710199)

視頻處理技術已廣泛應用于不同領域的智能監控中.智能監控采集視頻圖像利用處理技術自動分析，獲取不同視頻動態場景中目標定位與跟蹤結果，通過定位以及跟蹤結果判斷目標姿態行為[1]，為智能監控的日常管理以及姿態異常識別提供依據.視頻處理技術具有實時性強、非接觸測量等特點，目前被廣泛應用于對監控需求較高的領域中.運動目標姿態檢測與控制是視頻處理領域的重要部分.利用分割的視頻前景與背景實現運動目標姿態精準檢測[2]，通過檢測結果實現運動目標姿態的有效控制.同時，視頻圖像序列具有較高復雜性，視頻圖像采集過程中由于目標存在動態性變化，受光線等情況影響[3-4]，背景與前景提取較為困難，運動目標姿態檢測難度提升.在運動目標受到遮擋以及目標運動速度較快、運動姿態存在較高不確定性時，其姿態檢測更加困難[5-7].

視覺技術、模式識別技術等是視頻處理技術中的主要方法.目前針對視頻姿態檢測的研究較多，趙邢等[8]提出了一種結合目標檢測與雙目視覺的三維姿態檢測，利用深度學習的目標檢測方法獲取二維圖片上的信息，結合深度相機利用雙目視覺獲取物品的關鍵三維空間信息，綜合二維與三維信息建立三維空間坐標，繪制邊框，輔助區分出物體空間上的位置，實現了目標的檢測，但是該方法存在分割效果較差的情況.陸華才等[9]提出了一種改進Canny邊緣算子和高斯混合模型的運動目標檢測方法，用中值濾波器和雙邊濾波器構成的混合濾波器代替邊緣檢測算法中固有濾波器，并且使用Otsu算法取代人工設置雙閾值，避免丟失真實邊緣，保證邊緣信息的完整性.用隔幀處理的四幀差分法得到差分圖像，獲得運動目標區域，再利用高斯混合模型提取前景圖像，結合兩種算法的前景圖像能夠獲得較完整的運動目標輪廓，但是該方法存在檢測耗時過長以及漏檢率較高的缺陷，并且在光照等復雜環境下檢測精度較低.歐先鋒等[10]提出了基于深度幀差卷積神經網絡的運動目標檢測方法，其由DifferenceNet和AppearanceNet組成，用于學習兩個連續幀之間的變化，獲取時序信息，并且提取空間信息，與時序信息融合，實現運動目標檢測，但是該方法的姿態檢測誤差較大.

針對上述問題，本文基于視頻處理技術的運動目標姿態檢測與控制，利用視頻處理技術對所采集視頻圖像進行處理，實現運動目標姿態的有效檢測、跟蹤以及分析，利用檢測結果實現目標運動姿態的有效控制，提升視頻處理技術的應用性能，降低檢測誤差.

1 運動目標姿態檢測與控制

1.1 基于貝葉斯決策方法劃分視頻圖像

視頻采集圖像為彩色時，通過幀間差分法對視頻中相鄰兩幀圖像實施減法處理，選取自適應閾值方法對視頻中的不同顏色分量實施幀間差分，得到的圖像像素包含部分靜止點，利用貝葉斯決策方法對完成幀間差分處理后的圖像進一步分類，實現靜止點以及運動點的背景點與前景點的分類，獲取候選前景區域以及候選背景區域，其過程如圖1所示.

圖1 視頻圖像劃分框圖

采用n=(x，y)表示視頻中的圖像像素，時間為t時，st表示視頻圖像中所提取的離散特征矢量；q與b分別表示圖像前景以及圖像背景，利用貝葉斯決策方法獲取候選前景q的后驗概率為

(1)

式中，P(st|n)為概率密度函數.

貝葉斯決策方法獲取背景b的后驗概率為

(2)

滿足P(b|st，n)P(q|st，n)條件時，像素點分別滿足n∈q與n∈b，即像素點分別為前景像素點以及背景像素點.

從圖像的前景目標以及背景目標中提取特征矢量wt，獲取特征矢量概率公式為

P(st|n)=P(st|b，n)P(b|n)+

P(st|q，n)P(q|n)

(3)

綜合上述分析，可得

2P(st|b，n)P(b|n)>P(st|n)

(4)

由式(4)可以看出，利用先驗概率P(b|n)、概率密度函數P(st|n)以及條件概率P(st|b，n)的學習，令圖像中的候選前景、候選背景和特征矢量st關聯，將視頻圖像中的像素點n劃分為候選前景像素點以及候選背景像素點.

1.2 基于主成分分析法的運動目標姿態實時檢測

加權處理獲取視頻圖像的候選背景，將權值賦予視頻圖像中像素點，視頻圖像中像素點與背景相似時，設置較大權重.權重計算表達式為

(5)

式中，wa為像素因子.

利用式(5)獲取視頻圖像中不同像素點的權重向量，設置權重向量為對角元素，建立對角權重矩陣Wi，將該矩陣中對角元素設置為矩陣中的列向量，通過列向量的排列，獲取視頻序列的權重矩陣W.加權處理候選前景區域以及候選背景區域，設置背景區域具有較高的權重，運動前景區域具有較小權重，抑制視頻圖像中的背景區域，過濾視頻圖像中的非結構化背景.通過多層范式中的粗化方案建立全局視圖，全局視圖設置為目標姿態實時檢測的初始值，通過進一步分割提升運動目標姿態檢測精度.

獲取估計的運動目標姿態區域時，建立實時檢測模型為

(6)

式中：λ為目標姿態參數；Fi為旋轉矩陣；B與F分別為低秩成分以及稀疏成分；D為觀測數據.

通過權重矩陣抑制目標內的背景信息，提升目標與背景區域的區分性能，令檢測區域中的前景信息更加突出[11].利用增廣拉格朗日乘子求解式(6)的凸優化問題，獲取增廣拉格朗日函數為

〈Y，D-B-F〉+

(7)

式中：Y為拉格朗日乘子；μ為懲罰參數.

通過迭代求解方法求解式(7)的多變量優化問題.迭代次數為K時，乘子更新以及交替優化過程如下：

1)固定稀疏成分，更新低秩成分，通過合并簡化處理獲取目標函數為

Rμ-(D-F+h-1Y)

(8)

式中：h-1為收縮閾值；Rμ為比例因子.式(8)的子問題具有解析解，與二次項內常數項矩陣D-F+μ-1Y的奇異值收縮相對應.

2)固定低秩成分，更新稀疏成分，通過合并簡化處理獲取目標函數為

XrWi/μ(D-Bk+1+μ-1Y)

(9)

式中：XrWi/μ為目標函數；Bk+1為特征參數.式(9)的解析解用T=D-B+μ-1Y表示，選取逐分量軟閾值操作求解式(9)，獲取結果為

Fk+1=sig(T)(abs(T)-W×μ-1λ)

(10)

式中：sig()為sigmod函數；abs()為abs函數.

3)更新乘子.乘子更新表達式為

Y=Y+μ(D-B-F)

(11)

(12)

重復迭代以上過程，直至滿足所設定收斂條件.為提升算法的運行速度，將懲罰參數更新過程應用于迭代過程中，懲罰參數更新公式為

μ=min(μρ，μmax)

(13)

式中，ρ為常數.

式(12)為運動目標姿態檢測的收斂條件，將所獲取的候選背景以及候選前景設置為主成分分析方法迭代更新過程中的初始值[12]，實現視頻中動態背景的有效控制，獲取運動目標姿態的實時檢測結果，其算法流程如圖2所示.

圖2 運動目標姿態實時檢測流程圖

1.3 運動目標姿態控制

依據運動目標姿態實時檢測結果，實施運動目標姿態控制，設計PD控制器跟蹤以及控制視頻圖像中運動目標姿態.利用目標姿態執行機構建立姿態動力學方程，即

(14)

PD控制器具有極高的控制性能，將其應用于運動目標姿態控制.視頻圖像處理的運動目標姿態控制需較高的實時性，因此，選取PD控制器作為運動目標姿態控制的控制器[13].不考慮外部干擾力矩Td情況下，控制力矩表達式為

(15)

運動目標期望姿態的誤差角速度ωe以及誤差四元數re可滿足

(16)

(17)

式中，Ξ為目標中像素點坐標.建立加入控制后的閉環方程，即

(18)

設存在Lyapunov函數，則有

(19)

求導U，可得

(20)

參數Kp與Kd決定了PD控制器的控制性能，視頻跟蹤成像過程中，控制器參數利用視軸偏差角度以及目標視線確定[14].利用σ表示目標視線rp與視軸偏差角度r的夾角，其計算公式為

σ=arccos(rpr)

(21)

為保證運動目標姿態控制的持續性，需要持續跟蹤視頻圖像中目標，保障控制誤差最低[15].利用兩組PD控制器參數Kp1、Kd1與Kp2、Kd2實現跟蹤成像過程中控制誤差最小化.

控制運動目標姿態的PD控制器參數Kp與Kd為

(22)

式中，τ為所設定的小角度閾值.

2 實例分析

為驗證本文方法實時檢測與控制運動目標姿態的有效性，本文選取某六自由度抓取機器人運動視頻作為研究對象，圖像處理均在具有2 GB內存和Intel i5-4 2.5 GHz CPU的計算機上進行，程序開發環境是Windows 10操作系統下微軟開發的Visual Studio 2017社區版本.隨機截取本文方法所采集不同幀機器人運動姿態視頻圖像結果，如圖3所示，分別為58、86、165和185幀的原始視頻圖像.設置實驗對照組，對比方法分別為文獻[8]和文獻[9]方法，實驗指標為分割效果、檢測率和檢測誤差.

圖3 原始視頻圖像

檢測率計算公式為

(23)

式中：Z1為正確分為正例的像素數；Z2為正確分為負例的像素數；Z3為錯分為負例的像素數；Z4為錯分為正例的像素數.

檢測誤差計算公式為

(24)

式中：Ca為距離誤差；C1為檢測距離；C2為實際距離；Cb為角度誤差；C3為檢測角度；C4為實際角度.

采用3種方法對圖3中的原始視頻圖像實施圖像分割，本文方法的分割結果如圖4所示，文獻[8]方法的分割結果如圖5所示，文獻[9]方法的分割結果如圖6所示.通過對比圖4～6的結果可知，采用本文方法的分割結果優于文獻[8-9]方法的分割結果，本文方法所分割視頻圖像目標輪廓完整，可實現視頻陰影的有效抑制，將有效前景信息完整保留，避免出現將背景劃分為前景情況，而文獻方法并沒有對背景進行更強的抑制，導致前景與背景的對比度不夠，極容易混淆，對目標狀態識別的效果較差.

圖4 本文方法分割結果

圖5 文獻[8]方法分割結果

圖6 文獻[9]方法分割結果

統計采用3種方法檢測視頻中機器人不同運動姿態時的檢測率.在不同收縮閾值時，3種方法的檢測目標運動姿態的檢測率結果如圖7所示.在同一收縮閾值下，文獻[8-9]方法的檢測率遠低于本文方法，在收縮閾值為0.5時，3種方法均具有最優的運動目標姿態檢測結果，本文方法的平均檢測率高達0.94，文獻[9]方法的平均檢測率為0.83，文獻[8]方法的平均檢測率為0.81.檢測視頻中運動目標姿態時，分割圖像前景與背景，可設置收縮閾值為0.5，獲取最佳的運動目標姿態檢測結果.

圖7 不同收縮閾值時檢測結果

采用3種方法檢測不同機器人平移、旋轉兩種運動姿態時的誤差，結果如圖8所示.由圖8可以看出，本文方法對視頻中不同運動姿態的機器人的檢測結果優于文獻[8-9]方法，平移運動時本文方法檢測誤差低于3 mm，而文獻[8-9]方法的檢測誤差在3～5 mm之間；旋轉運動時本文方法檢測誤差低于1°，而文獻[8-9]方法的檢測誤差在3.2°～4.0°之間.實驗結果驗證本文方法具有極高的目標運動姿態檢測性能，可實現視頻中運動目標姿態的有效檢測.

圖8 姿態檢測誤差

統計采用本文方法控制機器人第3個關節的運動姿態，控制目標期望姿態曲線以及機器人實際姿態曲線對比結果如圖9所示.從圖9實驗結果可以看出，采用本文方法可實現機器人運動姿態的有效控制，機器人運動的實際姿態與期望姿態曲線極為接近，驗證了本文方法控制機器人運動姿態的有效性.本文方法可實現視頻目標運動姿態的良好控制，具有較高的應用性.

圖9 本文方法控制結果

3 結 論

利用視頻處理技術實現運動目標姿態的檢測與控制，通過劃分視頻圖像中的前景與背景實現運動目標姿態的實時檢測，依據運動目標姿態實時檢測結果實現運動目標姿態的有效控制.通過對比實驗驗證，本文方法可有效識別視頻中運動目標姿態，實現了運動目標姿態的有效控制.在視頻中存在陰影、干擾等情況下，仍可實現圖像的精準分割，具有較高的檢測精度，設置收縮閾值為0.5的情況下平均檢測率高達0.94，平移運動誤差小于3 mm，旋轉運動誤差小于1°，僅存在極小的誤檢以及漏檢情況，能對機器人進行有效控制.