基于TI雙核處理器的艦船嵌入式穩(wěn)像技術(shù)

李 冰

(西安航空職業(yè)技術(shù)學(xué)院，陜西 西安710089)

0 引 言

隨著網(wǎng)絡(luò)和視頻技術(shù)的發(fā)展，視頻設(shè)備越來越多地應(yīng)用于各類航空、船舶、監(jiān)控等領(lǐng)域，人們對于視頻質(zhì)量的要求越來越高。不單單是要求拍攝的視頻分辨率足夠大，畫面足夠清晰，同時還要求視頻穩(wěn)定無抖動。視頻清晰穩(wěn)定也是機器視覺自動處理的關(guān)鍵前提。但由于攝像載體大部分都是運動的，這部分運動不單包括載體的主動運動，同時還包括載體的隨機抖動。正是這種隨機抖動的存在，導(dǎo)致了成像不穩(wěn)定，給視頻觀察者和針對此視頻的后續(xù)處理工作帶來問題。船舶工作環(huán)境比較惡劣，上面搭建的攝影平臺一般也都處于比較惡劣的工作環(huán)境，得到的視頻圖像都是抖動不穩(wěn)定的，影響視頻圖像觀測者的觀看與分析，導(dǎo)致誤判和漏判現(xiàn)象，因此需要將這些抖動的視頻信號轉(zhuǎn)化為高質(zhì)量的穩(wěn)定視頻［1］。

1 穩(wěn)像技術(shù)理論

穩(wěn)像技術(shù)是為了解決船舶這種運動載體上攝像機抖動問題造成的視頻不清晰，對獲取的抖動不穩(wěn)的視頻圖像采用一定的技術(shù)手段進行修正和補償，使其變得平穩(wěn)流暢。穩(wěn)像技術(shù)的發(fā)展從20 世紀(jì)80 年代經(jīng)歷了3 個階段，即從機械穩(wěn)像到光學(xué)穩(wěn)像，再到電子穩(wěn)像。

每種穩(wěn)像技術(shù)都有其優(yōu)缺點，適用于不同的應(yīng)用場合。其中電子穩(wěn)像技術(shù)由于其體積小、成本低、精度高等優(yōu)點，得到了廣泛的使用。電子穩(wěn)像技術(shù)通過數(shù)字圖像處理技術(shù)，對采集到的視頻圖像進行運動估計，得到視頻圖像中的抖動、旋轉(zhuǎn)等非正常偏移量，然后再針對性的對其進行運動補償來除去這些非正常偏移，得到比較穩(wěn)定的視頻圖像。電子穩(wěn)像的核心部分是獲取視頻圖像中相鄰幀之間的位移部分，按照其處理方式的不同，一般可以分為傳感器檢測方式和算法實現(xiàn)方式2 種。

傳感器實現(xiàn)方式是利用各種距離、位置等傳感器件對攝像平臺的抖動等參數(shù)進行檢測，然后針對采集的抖動參數(shù)再進行相應(yīng)的補償。傳感器實現(xiàn)方式比較容易實現(xiàn)，其穩(wěn)像精度主要取決于所采用的傳感器的采集精度，一般精度較高的傳感器價格也比較高，所以為了達(dá)到一定的精度，整個穩(wěn)像系統(tǒng)的價格會比較高［5］。

算法實現(xiàn)方式是目前采用比較多的一種穩(wěn)像方式，主要工作原理是通過一定的計算機算法對得到的視頻圖像進行分析，得到視頻圖像中相鄰幀之間的相對位移，然后進行處理，分離出主要影響視頻穩(wěn)定性的高頻隨機抖動參數(shù)。最后針對分離出的高頻隨機抖動進行相應(yīng)的補償，得到較為穩(wěn)定的視頻圖像。其流程如圖1 所示。基本的工作流程:輸入抖動視頻;然后進行圖像的預(yù)處理，濾除原始圖像中的噪聲;估計出圖像的全局運動參數(shù);在估計出的運動矢量中分辨出攝像機運動和圖像中小目標(biāo)的運動及抖動矢量，濾除抖動，保留原來攝像機的正常掃描運動;根據(jù)估計出的抖動參數(shù)來補償原來的抖動圖像，以獲得穩(wěn)定圖像;最后輸出穩(wěn)定視頻。

圖1 電子穩(wěn)像工作流程框圖Fig.1 The flowchart of the electronic image stabilization

2 電子穩(wěn)像算法設(shè)計

2.1 灰度投影穩(wěn)像算法

一般電子穩(wěn)像算法按照其處理方式可分為離線處理和在線處理兩類。離線處理是指在視頻采集完成后，通過計算機進行后期的穩(wěn)像處理，這種算法一般追求較高的穩(wěn)像效果，可處理包含平移、旋轉(zhuǎn)、變焦等多參數(shù)抖動視頻的穩(wěn)定，不過多考慮算法實時性和系統(tǒng)的復(fù)雜度。在線處理是指采集的同時將視頻穩(wěn)定，此類算法一般對實時性要求特別高，且多應(yīng)用于嵌入式平臺。由此可見，實時性和處理效果往往是一對矛盾同時存在，在硬件性能固定的前提下，只能在實時性和處理效果中折中考慮。

目前實現(xiàn)電子穩(wěn)像的算法也有很多種，基本原理都相似，只是算法不一樣。本文采用的是一種基于灰度投影的實時數(shù)字電子穩(wěn)像算法，其主要工作原理是是將復(fù)雜兩維的視頻圖像信息轉(zhuǎn)化為一維的投影曲線，然后在一維層面上進行一次相關(guān)運算，即可求出運動矢量，進行補償。因此計算量比較小，可以實現(xiàn)較快的處理速度。同時灰度投影算法是對灰度圖像進行直接處理，減少噪聲等干擾信號，因此灰度投影算法在計算量較小的同時還可以保證較高的準(zhǔn)確度。

灰度投影算法的工作過程可以分為圖像灰度映射過程和位移計算過程2 個階段［3］。

1)灰度映射

圖像灰度映射過程第1 個階段是灰度映射，主要是負(fù)責(zé)把輸入的視頻圖像先進行濾波預(yù)處理，然后將二維的視頻圖像的灰度投影映射成2 個獨立的一維波形。具體的投影公式為:

式中:Gm(i，j)為第m 幀圖像上具體坐標(biāo)(i，j)處的灰度投影值;Gm(i)和Gm(j)為圖像的二維向量，表示第m 幀圖像的第i 行和第j 列的灰度投影值。

2)位移計算

相關(guān)位移計算是灰度投影穩(wěn)像算法的第2 個階段。在前一階段轉(zhuǎn)化好的一維波形的基礎(chǔ)上，將得到的某幀圖像的行、列灰度投影與預(yù)先選定的參考幀圖像的行、列灰度投影進行對比和計算，得到相應(yīng)的行、列位移矢量值。

具體的計算公式如下:

式中:N 為投影圖像列的長度;n 為位移矢量相對于選定的參考幀的距離寬度;vmin為使C(v)取最小時v 的取值。

位移矢量的計算公式為

式(3)可以用于得到固定幀水平方向和垂直方向相對于參考幀的位移矢量，其中δ 的正負(fù)表示位移的方向，數(shù)字表示位移距離的大小。在得到了當(dāng)前幀相對于參考幀的水平、垂直方向的位移矢量后，就可以對圖像進行相關(guān)補償，即將當(dāng)前的圖像向參考幀的相反方向移動δ 大小的距離，就得到補償后相對穩(wěn)定的視頻圖像［4］。

2.2 優(yōu)化的灰度投影穩(wěn)像算法

上一節(jié)中對灰度投影法算法進行了介紹，雖然計算量比較小，可以實現(xiàn)較快的處理速度。但灰度投影法自身也有一定的缺陷，在圖像存在旋轉(zhuǎn)運動的情況下，很難計算出運動矢量，比配精度不高，因此其應(yīng)用范圍比較局限。

為了取得更加理想的穩(wěn)像效果，針對普通的灰度投影算法自身存在的缺陷，可以采取一些相應(yīng)的辦法對算法進行優(yōu)化，在保證原有算法優(yōu)良的處理速度和精度等優(yōu)點的前提下，提高算法的整體性能，增強穩(wěn)像效果。

1)圖像預(yù)處理

灰度投影算最重要的是要得到相對運動矢量，所以對投影圖片的對比度有一定的要求，對于一些對比度較低的灰度圖像，對比不夠明顯，很難得到正確的運動矢量。因此，需要預(yù)先對圖像進行直方圖均衡化預(yù)處理操作，來增強圖像的對比度，方便下一步的處理和分析。

2)優(yōu)化投影區(qū)域的選擇

針對分辨率不同的視頻圖像可以采用不同的投影測量方法，對于分辨率較低的圖像序列，可以講投影區(qū)域擴大，或者可直接將全部圖像作為投影區(qū)域，對于分辨率較高的圖像序列，可以僅選擇其中的部分作為投影區(qū)域，優(yōu)先選擇灰度變化較大、對比強烈的區(qū)域。

3)優(yōu)化參考幀的選擇策略

考慮船舶攝像平臺的成像特點，以及攝像平臺所處的運動狀態(tài)，在整個算法中一直采用固定幀進行對比和匹配不太適合。因為采用固定幀匹配的方法，由于其誤差會慢慢積累，越來越大，導(dǎo)致計算量也慢慢增加，所以在一定程度上影響到整個算法處理的速度和精度。因此，可以根據(jù)待穩(wěn)圖像的抖動參數(shù)，采用變參考幀的選擇策略，動態(tài)的選取參考幀，這樣就既可以有效降低積累誤差，保證穩(wěn)像處理的速度，又可以在一定程度上保證穩(wěn)像的精度［8］。

通過以上3 點優(yōu)化策略，對灰度投影算法進行優(yōu)化，提高其穩(wěn)像精度和速度。優(yōu)化過的算法流程如圖2 所示。

圖2 優(yōu)化的灰度投影穩(wěn)像算法流程圖Fig.2 Flow chart of optimized gray projection image stabilization algorithm

3 嵌入式穩(wěn)像器設(shè)計

目前，多核處理器因具有結(jié)構(gòu)簡單、效率高、擴展性強等優(yōu)點已成為市場的主流。多核處理器是將2 個以上完全功能的核心集成在一個芯片內(nèi)，通過這樣的設(shè)計提升了處理器的并行性能，增強了處理器的運行效率和計算性能［6］。

TI 公司生產(chǎn)的TMS320VC5421 芯片是一款基于多核技術(shù)的雙核DSP 芯片，它擁有2 個功能核心，即兩個相對獨立的DSP 子系統(tǒng)。2 個DSP 子系統(tǒng)共享1 套片外總線，彼此之間可以進行互相通信。此外，2 個DSP 子系統(tǒng)都有獨立的數(shù)據(jù)和程序存儲空間，而且每個DSP 子系統(tǒng)都有2 K16 比特的片內(nèi)ROM［2］。

本文設(shè)計了一種基于DSP VC5421 雙核DSP 處理器的電子穩(wěn)像器，整個系統(tǒng)如圖3 所示。主要實現(xiàn)以下功能:

1)實現(xiàn)對抖動輸入視頻的實時穩(wěn)像;

2)支持模擬視頻或數(shù)字視頻等格式的視頻輸入;

3)支持模擬視頻、數(shù)字視頻、SDI 視頻等格式的視頻輸出;

4)支持視頻信息的獲取，包括海拔高度信息、GPS 信息和慣導(dǎo)姿態(tài)信息等;

5)支持視頻的本地存儲，以備以后的使用。

軟件流程如圖4 所示，具體過程可分為以下6 個環(huán)節(jié):

圖3 基于DSP VC5421 雙核處理器的電子穩(wěn)像器設(shè)計框圖Fig.3 Diagram of electronic image stabilization device based on DSP VC5421 dual core processor

1)采集環(huán)節(jié)。輸入模塊實現(xiàn)對船舶攝像平臺拍攝的視頻圖像信號的采集，然后送至下一個環(huán)節(jié)。

2)保存環(huán)節(jié)。將上一環(huán)節(jié)采集到的視頻圖像保存在事先就已經(jīng)分配好的雙緩沖區(qū)中，同時將采集后的視頻圖像傳遞給預(yù)處理模塊進行圖像預(yù)處理等操作。

3)計算環(huán)節(jié)。對緩沖區(qū)域之中的視頻圖像數(shù)據(jù)采用優(yōu)化的灰度值投影算法進行穩(wěn)像，根據(jù)投影對比度優(yōu)化投影區(qū)域的選擇，選對投影圖像進行直方圖均衡化預(yù)處理，增強圖像的對比度。然后采用動態(tài)的參考幀選擇策略，分別計算出投影圖像的行、列的灰度值，計算出當(dāng)前幀圖像與選定的參考幀圖像之間的相對偏移矢量。

4)濾波環(huán)節(jié)。采用均值濾波法對得到的視頻圖像的幀間全局運動矢量的運動軌跡，進行平滑濾波，得到船舶攝像平臺所受到的隨機的機械振動的矢量。

5)補償環(huán)節(jié)。在獲取了全局運動矢量后，補償模塊通過對當(dāng)前幀圖像向位移矢量的相反方向進行移動操作，對視頻進行反向補償。

6)輸出環(huán)節(jié)。將經(jīng)過改進的灰度值投影電子穩(wěn)像算法進行處理之后所得到的當(dāng)前幀圖像在內(nèi)存之中的起始地址輸出給視頻圖像輸出模塊，可以直接通過模擬或數(shù)字形式輸出穩(wěn)像后視頻，也可以綜合視頻信息采集模塊獲取的海拔高度、GPS 和慣導(dǎo)姿態(tài)信息，通過SDI 接口發(fā)送視頻。系統(tǒng)同時支持將穩(wěn)像后的本地視頻保存，以備后期應(yīng)用［7］。

圖4 軟件流程圖Fig.4 The software flow chart

4 結(jié) 語

本文對船舶穩(wěn)像技術(shù)進行了闡述，重點對灰度投影穩(wěn)像算法進行了研究。為了克服傳統(tǒng)的灰度投影穩(wěn)像算法缺點，在傳統(tǒng)算法的基礎(chǔ)上提出了3 點改進優(yōu)化的方法，可以有效提高灰度投影實時穩(wěn)像算法的精度。之后本文設(shè)計了基于TI 雙核處理器DSP VC5421 的艦船嵌入式穩(wěn)像系統(tǒng)，采用優(yōu)化的灰度投影實時穩(wěn)像算法，對船舶攝像平臺上的抖動視頻進行實時穩(wěn)像操作，輸出穩(wěn)定的視頻圖像。

［1］ZHOU Yu-bin.Real-time electronic digital image stabilization system based on multi-core computation［C］//The Ninth International Conference on Electronic Measurement ＆Instruments，2009(4):308-314.

［2］周明宇.電子穩(wěn)像理論研究及DSP 實現(xiàn)［D］. 哈爾濱:哈爾濱工業(yè)大學(xué)，2012.

［3］張國棟，王明泉，郭棟.基于灰度投影算法的實時電子穩(wěn)像研究［J］.微電子學(xué)與計算機，2010，27(10).ZHANG Guo-dong，WANG Ming-quan，GUO Dong.Research on real time electronic image stabilization based on gray projection algorithm［J］. Microelectronics ＆Computer，2010，27(10).

［4］張宇，黃亞博，焦建彬.一種適用于高分辨率圖像的實時電子穩(wěn)像算法［J］.計算機技術(shù)與發(fā)展，2009，19(3).ZHANG Yu，HUANG Ya-bo，JIAO Jian-bin. A real time stabilization algorithm for high resolution video［J］.Computer Technology and Development，2009，19(3).

［5］趙天云，郭雷，余博.基于灰度投影的快速電子穩(wěn)像算法［J］.微電子學(xué)與計算機，2008，25(11).ZHAO Tian-yun，GUO Lei，YU Bo. Fast digital image stabilization algorithm based on gray projection［J］.Microelectronics ＆ Computer，2008，25(11).

［6］梁小龍.基于DSP 的嵌入式電子穩(wěn)像技術(shù)研究［D］.哈爾濱:哈爾濱工程大學(xué)，2012.

［7］范華春，王鈺，許大浦.車載實時視頻穩(wěn)像系統(tǒng)研究與設(shè)計［J］.計算機測量與控制，2007(7):922 -924.FAN Hua-chun，WANG Yu，XU Da-pu. Research and design of vehicle-borne real time video image stabilized system［J］. Computer Measurement ＆ Control，2007(7):922 -924.

［8］龔衛(wèi)國，王小立，李正浩.一種特征匹配的高精度電子穩(wěn)像方法［J］.計算機應(yīng)用研究，2010，27(7):2751 -2753.GONG Wei-guo，WANG Xiao-li，LI Zheng-hao. Highaccuracy electronic image stabilization method using feature matching［J］.Application Research of Computers，2010，27(7):2751 -2753.