基于DSP的交通視頻穩(wěn)像算法設(shè)計與實現(xiàn)*

劉 剛，凌 強，李 峰，王 嵩

(中國科學(xué)技術(shù)大學(xué) 自動化系，安徽 合肥 230027)

基于DSP的交通視頻穩(wěn)像算法設(shè)計與實現(xiàn)*

劉 剛，凌 強，李 峰，王 嵩

(中國科學(xué)技術(shù)大學(xué) 自動化系，安徽 合肥 230027)

針對因交通監(jiān)控設(shè)備抖動而引起的視頻圖像序列不穩(wěn)定問題，提出了一種在設(shè)備內(nèi)的DSP上直接工作的快速穩(wěn)像方法。該方法采用Harris算子提取參考幀圖像的特征點，利用金字塔LK光流在當前幀跟蹤參考幀的特征點，從而獲得運動矢量。通過RANSAC剔除匹配錯誤或前景物體的特征點對，篩選出全局運動矢量。采用描述復(fù)雜運動的單應(yīng)性模型估算全局運動參數(shù)，用單純形法和模板相似性微調(diào)參數(shù)優(yōu)化整體效果。最后進行全局運動補償，實現(xiàn)圖像的穩(wěn)定。依賴TI公司C674X系列DSP的優(yōu)化方法，實現(xiàn)了對720×480交通視頻精確、實時的圖像穩(wěn)定處理。

視頻穩(wěn)定；全局運動估計；單應(yīng)性；運動補償；DSP

0 引言

交通安防監(jiān)控車輛停靠在路邊監(jiān)視路況信息時，安裝在車輛頂部的監(jiān)控設(shè)備易受到載重車輛經(jīng)過等因素影響而抖動，導(dǎo)致監(jiān)控視頻不穩(wěn)定。不穩(wěn)定的圖像序列干擾交通內(nèi)容的觀察，同時也會影響后期視頻信息處理其他環(huán)節(jié)(如車速估計、目標識別與跟蹤等)的準確性。因此，發(fā)展基于采集交通信息設(shè)備的視頻圖像穩(wěn)定技術(shù)變得越來越重要。

穩(wěn)像算法主要包括兩個部分：運動估計和運動補償。運動估計是提取圖像序列的幀間變化量，為運動補償提供可靠參數(shù)。常用于提取幀間變化量的方法有塊匹配[1]、灰度投影法[2]、特征匹配等。抖動視頻圖像幀間的運動形式主要為旋轉(zhuǎn)和平移，因而設(shè)定運動模型為平移的塊匹配、灰度投影等方法不適用于本場景。特征匹配法能夠準確地估算任意形式抖動的運動矢量，是主流的研究方向和發(fā)展趨勢。估算幀間運動參數(shù)的模型主要有4參數(shù)的相似變換模型[3]、6參數(shù)的仿射模型[4]和8參數(shù)的單應(yīng)性模型。模型參數(shù)越多，描述場景變化越充分，相似變換和仿射模型在交通場景的表現(xiàn)力不夠，單應(yīng)性是此場景的理想模型。運動補償是依據(jù)運動參數(shù)對當前幀圖像像元重組實現(xiàn)視頻圖像的穩(wěn)定。

針對交通視頻穩(wěn)像的需求，本文提出一種均衡準確度和實時性的基于TI公司C674x系列DSP的快速視頻穩(wěn)像方法。首先，在運動估計環(huán)節(jié)用Harris算子和金字塔LK光流獲得粗略的運動矢量。然后通過RANSAC剔除匹配錯誤或前景物體的特征點對，篩選出反映監(jiān)控設(shè)備抖動量的全局運動矢量。接著，采用單應(yīng)性模型估算全局運動參數(shù)，用單純形法和模板相似性微調(diào)參數(shù)以優(yōu)化整體效果。再通過全局運動參數(shù)對當前幀圖像進行全局運動補償，實現(xiàn)視頻穩(wěn)像。依賴TI公司C6000系列DSP的優(yōu)化方法，實現(xiàn)了720×480交通視頻精確、實時的圖像穩(wěn)定處理。

1 視頻穩(wěn)像原理及算法

1.1 穩(wěn)像原理

在視頻拍攝過程中，由于攝像機受到外界干擾發(fā)生抖動，原本靜止的物體在視頻中小幅抖動。穩(wěn)像技術(shù)就是找出背景運動矢量，對其進行校正，使第I+1幀特征點與匹配的第I幀特征點重合，實現(xiàn)靜止的物體在視頻中依然保持位置不變的視覺效果，其基本原理如圖1所示。圖中的網(wǎng)格，每一格代表一個像素，圓圈代表圖像的特征點。

圖1 穩(wěn)像原理示意圖

1.2 穩(wěn)像算法

基于特征匹配的穩(wěn)像算法可分為特征點提取、特征點匹配、全局運動估計和運動補償四個環(huán)節(jié)，每一環(huán)節(jié)又有若干種方法可以使用。綜合穩(wěn)定性、準確性和實時性的考慮，本文形成以Harris算子、金字塔LK光流、單應(yīng)性模型為主的視頻穩(wěn)像方法。

1.2.1 特征點提取

在圖像處理中，通常以描述圖像特殊位置的特征點來建立圖像間的對應(yīng)關(guān)系。特征點，有時又叫角點，指的是圖像灰度值發(fā)生劇烈變化的點或者在圖像邊緣上曲率較大的點。Harris算子作為檢測角點的常用方法，因其具有穩(wěn)定性好、速度快等特點，得到了廣泛的應(yīng)用。

Harris算子的原理：將窗口w在所處理的灰度圖像上沿任意方向移動微小距離(u,v), 則灰度改變量可定義為：

(1)

其中，I(x,y)表示像素的灰度值。將其展開整理近似可得：

(2)

式中，Ix、Iy表示灰度值x方向和y方向的一階梯度。由此可以看出，表示角點強弱的灰度值劇烈變化程度取決于矩陣M。Harris算子的角點響應(yīng)函數(shù)定義為：

R=det(M)-k*trace2(M)>T

(3)

式中，det為矩陣的行列式；trace為矩陣的跡；k為默認常數(shù)，通常設(shè)為 0. 04；T為角點響應(yīng)閾值。

提取角點的通常做法是，設(shè)定一個窗口，選出其中角點響應(yīng)值最大的點，將其與給定閾值比較，若大于閾值則判為角點，窗口向后平移繼續(xù)比較。這種做法對閾值設(shè)定要求比較高，不能解決相鄰窗口特征點可能很近的問題，也不能均衡特征突出區(qū)域和平坦區(qū)域特征點的比例。為此，本文提出一種二級篩選角點的方法。首先，設(shè)定一個相對寬容的閾值和較小的窗口，如通常做法一樣提取候選角點；接著，對候選角點按照角點響應(yīng)值大小進行排序；然后，從角點響應(yīng)值最大的點開始，取消其窗口內(nèi)其他候選角點的資格。如此篩選，獲得的特征點分布更加均勻合理，能有效地提高視差對運動估計精度的影響。

1.2.2 特征點匹配

雖然類似于SIFT的特征點提取與匹配算子有最優(yōu)的配對效果，但是這類在每一幀都提取特征點的方法耗時嚴重，滿足不了實時性的要求。LK光流算法只需在當前幀計算每個參考幀提取的特征點位置周圍小窗口的局部信息，判定當前幀特征點的位置，具有更少的時間開銷。圖像金字塔的加入，使得小窗口能夠捕獲較大的運動量，很好地實現(xiàn)特征點的跟蹤。該方法穩(wěn)定、準確、快速，適合本場景的需求。

金字塔LK光流算法的原理如圖2所示。首先，構(gòu)建參考幀和當前幀圖像的金字塔，特征點坐標u滿足uL=u/2L,L=0,1,2，…，L,底層為0，頂層為Lm；然后，假設(shè)參考幀頂層圖像特征點坐標為當前幀頂層圖像特征點的初始坐標，用LK光流估計出其準確位置，光流為dm；接著，將求出的頂層圖像特征點坐標乘以2作為下一層特征點的初始位置，繼續(xù)用LK光流估算特征點位置，光流為2dm+dm-1；自上而下依次迭代，找出底層特征點的位置，光流為(2Lmdm+2Lm-1dm-1+…+d0)。匹配成功的特征點對之間的位移即為要求的運動矢量。

圖2 金字塔LK光流法原理圖

1.2.3 全局運動估計

RANSAC的思想是：先從集合中隨機選取4個點對，利用單應(yīng)性模型粗估全局運動參數(shù)，衡量集合中全部點對的匹配情況。由于背景特征點占大多數(shù)，參數(shù)越能反映背景變化，則匹配上的特征點對越多。多次粗估運動參數(shù)，選出匹配成功最多的一組參數(shù)，作為參數(shù)優(yōu)化的初始值。

(1)運動模型

單應(yīng)性揭示了同一場景不同視角的兩幀圖像間的像素坐標的投影關(guān)系。為將當前幀圖像變換到參考幀圖像視角，設(shè)psrc為某當前幀圖像的特征點，pdst為參考幀圖像上對應(yīng)的特征點，則有：

(4)

H稱為單應(yīng)性矩陣。

(2)參數(shù)求解

(5)

將該方程組整理為齊次方程組的形式，得：

(6)

式中，h33通常取1，h中含有8個未知數(shù)。因此，取四個點對聯(lián)立方程組，用奇異值分解(SVD)求解齊次線性最小二乘問題的方法可以得到H中的參數(shù)。

(3)參數(shù)優(yōu)化

由于視差的存在，同屬背景的特征點的運動矢量也會有微小差異。在RANSAC篩選內(nèi)點的時候，應(yīng)該容許一定誤差范圍內(nèi)的特征點被保留為內(nèi)點，以反映圖像不同區(qū)域的變化。由于已知的運動參數(shù)并非完全適合所有內(nèi)點，需要對運動參數(shù)進行擬合以提高內(nèi)點的匹配度。

文中采用了單純形算法優(yōu)化運動參數(shù)。單純形算法采用反射、擴展、壓縮、收縮四種手段將所有內(nèi)點的殘差盡量降低，以實現(xiàn)更好擬合的目的。由于觀察圖像的注意力都集中在中心區(qū)域，因此希望在殘差較低的基礎(chǔ)上，中心區(qū)域擬合得最好。為此，本文加入了模板相似性的比較。擬合出多組備選運動參數(shù)，比較每組參數(shù)變換后與參考幀圖像指定區(qū)域的差異，將差異最小的單應(yīng)性矩陣作為最終確定的運動參數(shù)。

1.2.4 運動補償

運動補償是減弱或消除靜止物體由于相機抖動而在視頻中晃動的運動量，實現(xiàn)穩(wěn)定圖像序列的目的。依據(jù)單應(yīng)性模型求出的反映背景物體抖動的全局運動參數(shù)，計算當前幀圖像各個像素矯正后的位置。由于變換前像素的位置是整型的，運動參數(shù)是浮點型的，因而變換后的像素位置極可能也是浮點型的。由于變換后的像素位置需要取整，四舍五入會造成偏差，因此必須對該位置的像素灰度值進行插值以實現(xiàn)變換的平滑。

設(shè)(x′,y′)是源點O變換后的浮點型像素位置，a、b、c、d是點O最近鄰的四個點的像素值，有：

(7)

其中，floor()是對浮點數(shù)向下取整。雙線性插值的過程如下：

(8)

則點O變換后整型像素的灰度值為：

p=p12+(y′-y1)(p34-p12)

(9)

2 DSP實現(xiàn)及優(yōu)化

本文采用的硬件平臺是TI公司的達芬奇數(shù)字多媒體處理器TMS320DM8168。TMS320DM8168是一款多核處理器，內(nèi)含一個Cortex-A8型ARM處理器和一個C674x浮點型DSP處理器。視頻穩(wěn)像的實現(xiàn)過程是：C674x內(nèi)核從雙口RAM中讀取不穩(wěn)定圖像數(shù)據(jù)，經(jīng)過穩(wěn)像算法處理，然后將穩(wěn)定的圖像數(shù)據(jù)存儲到原RAM空間。

2.1 C674x內(nèi)核簡介

C674x的CPU采用基于超長指令字(VLIW)的結(jié)構(gòu)，擁有高達9 000 MIPS和6 750 MFLOPS的處理能力。C674x有6個ALU功能單元和2個乘法功能單元，具有強大的并行處理能力。

C674x采用二級緩存器架構(gòu)，第一級是各為32 KB相互獨立的程序(L1P)和數(shù)據(jù)(L1D)RAM， 其只能作為高速緩存使用；第二級256 KB的L2是一個統(tǒng)一映射的程序、數(shù)據(jù)空間，可以整體作為SRAM映射到存儲空間或作為第二級Cache，或是將二者按比例組合起來使用。L2的這一特點可以有效提高外設(shè)的數(shù)據(jù)傳輸速度。

2.2 基于DSP的程序優(yōu)化

DSP的特點決定了程序的運行效率，在用C語言實現(xiàn)算法后，需要進一步針對DSP進行優(yōu)化。參考TI公司提供的TMS320C6000系列技術(shù)文檔[5-6]，本文進行了針對C674x內(nèi)核的優(yōu)化工作。從效果來看，提速顯著的方法主要有優(yōu)化編譯器、使用DMA[7]和使用內(nèi)聯(lián)函數(shù)。

2.2.1 優(yōu)化編譯器

(1)選擇最高優(yōu)化等級。優(yōu)化等級分為O1、O2、O3共三個等級，等級越高優(yōu)化效果越好。為了使處理速度盡可能提高，本文選中O3等級。

(2)勾除-g調(diào)試選項。-g選項是程序的調(diào)試模式，在生成可執(zhí)行文件時關(guān)閉調(diào)試模式可以明顯提高程序的運行效率。

2.2.2 使用DMA

由于需處理的圖像數(shù)據(jù)通常存儲在DDR中，CPU直接讀取和寫入的速度很慢，并且搬移數(shù)據(jù)時阻礙了CPU的計算功能。通過DMA控制器和L2 RAM的使用，有效提高了數(shù)據(jù)的搬移速度。

圖3 DMA數(shù)據(jù)搬移路徑

首先DMA從DDR中搬移數(shù)據(jù)到L2 RAM上；CPU直接從L2 RAM中讀取需要處理的數(shù)據(jù)；處理結(jié)果保存在L2 RAM中；DMA再把處理結(jié)果搬移到DDR上對應(yīng)的存儲位置。具體的DMA數(shù)據(jù)搬移路徑如圖3所示。

2.2.3 使用內(nèi)聯(lián)函數(shù)

C6000編譯器提供了許多內(nèi)聯(lián)函數(shù)intrinsics，利用它們可以快速提高C代碼的執(zhí)行效率。intrinsics是能直接與匯編指令相映射的在線函數(shù)，可以在C語言代碼中直接嵌入，達到與匯編指令相類似的性能。

3 實驗結(jié)果

3.1 處理結(jié)果

以一段交通監(jiān)控視頻的圖像序列為例來說明文中穩(wěn)像算法的效果。圖4是從序列中抽取的6個關(guān)鍵幀，通過圖像中心方框的定位可以發(fā)現(xiàn)攝像機存在明顯的抖動。圖5是6個關(guān)鍵幀運動補償后的效果圖，比較定位方框周邊的內(nèi)容可以看出，圖像得到了精確的校正。校正后的圖像周邊會有黑邊，這是因為位移導(dǎo)致的部分內(nèi)容缺失。在進行穩(wěn)像后，通常要對圖像做切邊處理以保證主要內(nèi)容的視覺效果。

圖4 抖動的交通視頻序列

圖5 校正后的交通視頻序列

3.2 優(yōu)化結(jié)果

以720×480的圖像為例來說明優(yōu)化的效果。將程序直接移植到DSP的開發(fā)工具CCS5.4進行仿真，經(jīng)過調(diào)試通過后，處理單幀圖像的耗時需要20 s以上。經(jīng)過程序本身的優(yōu)化和基于DSP特點的優(yōu)化，處理一幀圖像的平均耗時為40 ms，實現(xiàn)了實時處理的要求。

4 結(jié)束語

本文針對交通視頻抖動復(fù)雜、存在前景物體的特點，實現(xiàn)了基于特征匹配和單應(yīng)性模型的視頻穩(wěn)像算法。依據(jù)DSP的特點并利用相應(yīng)的優(yōu)化方法，實現(xiàn)了對720×480視頻的實時穩(wěn)像處理。該方法兼具了精度、速度和穩(wěn)定度的要求，達到了較好的穩(wěn)定效果，可用于監(jiān)控固定背景交通路況的安防設(shè)備上。

[1] 遆曉光，靳萬鑫，余穎. 大運動前景和旋轉(zhuǎn)抖動視頻的快速數(shù)字穩(wěn)定[J]. 光學(xué)精密工程，2014，22(1)：177-185.

[2] 趙志強，陳盈. 一種基于灰度投影與塊匹配的視頻序列快速穩(wěn)像算法[J]. 光電工程，2011，38(6)：146-150.

[3] 李慧娟，郭寶龍.基于DM642的電子穩(wěn)像的研究與實現(xiàn)[J]. 微電子學(xué)與計算機，2009，26(11)：120-123.

[4] 王兆軍，田裕鵬. 基于Harris-LM全局運動估計的電子穩(wěn)像算法研究[J].應(yīng)用科技，2010， 37(1)：32-35.

[5] Texas Instruments. TMS320C6000 optimizing compiler user’s guide[EB/OL].(2000-xx-xx)[2017-02-20]http：//www.ti.com/litv/pdf/spru187u.

[6] Texas Instruments.TMS320C6000 programmer’s guide [EB/OL]. (2007-02-20) [2017-02-20]http：//www.ti.com/litv/pdf/spru198k.

[7] 朱學(xué)俊，凌強，李博倫，等. 基于DSP的實時去霧優(yōu)化與實現(xiàn)[J].微型機與應(yīng)用，2015， 34(22)：96-98.

Design and realization of traffic video stabilization based on DSP

Liu Gang, Ling Qiang, Li Feng, Wang Song

(Deptartment of Automation, University of Science and Technology of China, Hefei 230027, China)

Aiming at removing the jitter of video sequences caused by traffic monitoring equipment, a fast image stabilization method based on DSP in the device is proposed. The feature points of reference image frame are extracted by Harris corner, and the LK optical flow of Pyramid is used to track them in the current frame. The feature point pairs that are matching error or belong to foreground objects are eliminated by RANSAC. The homography model which is always used for describing the complex motion is used to estimate the global motion parameters. The overall effect is improved by trimming parameters with simplex method and template similarity. Finally, the global motion compensation is performed and the stabilization and reconstruction of image are implemented. The accurate and real-time image stabilization system of 720×480 traffic video is implemented based on the optimization method of C674X series DSP.

video stabilization; global motion estimation; homography; motion compensation; DSP

國家重點研發(fā)計劃(2016YFC0201003)

TP391

A

10.19358/j.issn.1674- 7720.2017.16.005

劉剛，凌強，李峰，等.基于DSP的交通視頻穩(wěn)像算法設(shè)計與實現(xiàn)[J].微型機與應(yīng)用，2017,36(16)：15-18.

2017-02-21)

劉剛(1987-)，男，碩士研究生，主要研究方向：嵌入式、圖像處理。

凌強(1975-)，通信作者，男，博士，副教授，博士生導(dǎo)師，主要研究方向：網(wǎng)絡(luò)化控制、嵌入式系統(tǒng)。E-mail:qling@ustc.edu.cn。

李峰(1976-)，男，博士，主要研究方向：圖像處理。