基于OpenCV的視頻圖像處理應用研究*

郭 暉 ，陳 光 ，2

(1.東華大學 信息科學與技術學院，上海 201620；2.東華大學 數字化紡織服裝技術教育部工程研究中心，上海 201620)

隨著計算機和微電子技術的迅速發展，嵌入式ARM及ARM-Linux操作系統已廣泛應用于工業控制、通信、醫療儀器等各個領域。許多公共場所和居民小區等地點都安裝了視頻監控系統，因而視頻監控與顯示終端的應用越來越廣泛。于是，如何以更高的效率和更低的成本設計視頻監控設備的硬件和軟件就成為廣大研發人員關心的問題。

本文以嵌入式ARM作為硬件核心，在ARM-Linux QT/Qtopia圖形操作系統下開發攝像頭應用程序，實現攝像頭對視頻圖像數據的采集、處理與顯示。為了提高應用程序的開發效率，本設計采用了OpenCV圖形處理庫。攝像頭視頻顯示的流程為：首先ARM-Linux通過攝像頭驅動程序控制攝像頭采集視頻流數據，然后利用攝像頭應用程序對采集到的視頻流數據進行處理，最終使經過處理的視頻流數據能夠在LCD屏上顯示。采用上述平臺具有以下優點：(1)ARM-Linux與OpenCV庫同為開源的免費軟件，開發者不僅可以根據需要修改源代碼來提高軟件開發的靈活性，而且可以節約開發成本；(2)OpenCV庫提供了許多視頻圖像處理的函數，因此開發者不需要花費大量的時間自己編寫，可以提高軟件的開發效率；(3)OpenCV庫中大部分函數都經過匯編優化，基于OpenCV的程序運行起來有更高的效率。

視頻監控與顯示系統的硬件和軟件結構如圖1所示。

硬件由三部分組成：(1)攝像頭。負責采集原始視頻流數據；(2)ARM開發板。負責處理原始的視頻流數據；(3)LCD液晶顯示器。負責圖像數據的顯示。軟件部分也由三部分組成，這三部分運行在ARM-Liunx操作系統下：(1)攝像頭驅動程序；(2)攝像頭應用程序。控制在ARM板把攝像頭采集到的視頻流數據讀入內存中，然后對內存中的圖像數據進行處理，即把原始圖像數據轉化為可以在ARM-Linux QT/Qtopia操作系統下顯示的圖像數據；(3)LCD顯示驅動程序。本文將著重闡述運行在ARM-Linux QT下的攝像頭應用程序。

圖1 系統的硬件和軟件結構

1 嵌入式系統應用程序開發方法

1.1 硬件平臺

嵌入式系統開發平臺由主機PC機和目標機ARM板組成。

主機PC要求CPU為Pentium 4或以上，擁有一個25針的并口、一個9針的RS-232串口和一個20GB的硬盤。ARM板是由深圳市武耀博德信息技術有限公司生產的270-S平臺。

1.2 軟件開發平臺

軟件程序的開發是在PC機上完成的，PC機上的開發環境是Redhat Linux 9.0。Redhat提供了許多與程序開發有關的工具，還要在PC機的Linux操作系統下安裝QT和OpenCV軟件工具包。

(1)QT軟件包。包括QT/X11 2.3.2庫、QT/Embedded 2.3.2庫、Qtopia 1.7.0庫、uic工具、qmake工具、tmake工具和QT designer工具等。

(2)OpenCV軟件包。 包括 Libhighgui.so.0.9.7、Libhighgui.la、Libcxcore.so.0.9.7和 Libcxcore.la等主要的庫。

在開發攝像頭應用程序之前，要把u-boot、ARMLinux操作系統和外部設備的驅動程序移植進入ARM目標板270-S中，這樣主機PC上開發的各類應用程序軟件才能在ARM目標板上運行。

2 攝像頭應用程序的構架與關鍵技術

2.1 攝像頭應用程序的結構

應用程序由兩部分構成：

(1)在ARM-Linux QT/Qtopia圖形操作系統下的窗口界面設計 (即人機界面的設計)。這部分是通過調用QT/Embedded庫的各種庫函數與窗口組件來完成的。

(2)對視頻流數據進行處理，并把處理完成的圖像數據顯示在QT/Qtopia圖形界面下。這部分設計是攝像頭應用程序的核心，除了調用QT/Embedded庫函數，還要調用OpenCV庫函數。

攝像頭應用程序結構圖與庫函數的調用關系如圖2所示。

圖2 攝像頭應用程序結構圖

2.2 攝像頭應用程序的關鍵技術

本設計應用程序以OpenCV庫和QT庫為核心，負責處理視頻數據與圖像顯示。

2.2.1 OpenCV簡介

開放源代碼的計算機圖像處理庫OpenCV(Intel?Open Source Computer Vision Library)是由一些C函數和C++類所組成的庫，用來實現圖像處理及計算機圖像算法。OpenCV可以與英特爾公司所開發的圖形處理庫IPL兼容，所以它能夠高效而充分地運行在Intel處理器上，主要用于對圖像進行高級處理，例如特征檢測與跟蹤、運動分析及3D重建等。

2.2.2 嵌入式QT與Qtopia簡介

QT是跨平臺C++圖形用戶界面工具。由于QT采用面向對象開發，具有跨多平臺、界面設計美觀等特點，得到廣泛應用。因為KDE等項目使用QT作為支持庫，所以有許多基于X-Windows的PC機上的應用程序可以非常方便地移植到QT上。

Qtopia是由Trolltech公司開發的基于QT庫的消費電子設備綜合應用平臺。Qtopia包含完整的應用層、靈活的用戶界面、窗口操作系統、應用程序啟動程序以及開發框架，并具有游戲和多媒體、工作輔助應用程序、同步框架、PIM應用程序、Internet應用程序等。本設計應用程序顯示在Qtopia中。

3 QT窗體的設計方法

在QT編程中，有兩種設計程序窗體 (即人機界面)的方法。第一種方法完全采用面向對象的C++編程語言實現，開發者需要手工編寫所有的代碼；另一種是采用編寫代碼與QT Designer設計工具相結合的方法。QT Designer工具會幫助開發者完成大部分繪制窗體的工作。本文攝像頭應用程序的設計采用第二種方法。QT Designer是QT系統專用的窗口界面開發工具，它不包含任何編譯器，而僅僅提供一個可視化界面編輯器。QT Designer將編輯完成的窗體界面通過XML保存為.ui文件，然后由專用的uic界面編譯器將其轉換為標準C++的源文件。

4 視頻圖像處理與顯示

視頻圖像處理與顯示的過程如圖3所示。

圖3 視頻圖像處理步驟

其過程主要由四步組成。

(1)初始化視頻結構。關鍵代碼：

在OpenCV應用程序中都要定義一個CvCapture類型的指針變量capture。CvCapture類是視頻獲取結構，它沒有公共接口，各類圖像數據存儲位置的頭地址都可以賦值給指針變量capture。在capture指針被賦值之后，可以作為其他圖像處理函數的參數使用，完成各種圖像處理功能。

OpenCV庫中用 CvCapture*cvCaptureFromCAM(int index)函數對攝像頭分配視頻圖像數據流和初始化CvCapture結構。函數參數index為攝像頭索引值。如果系統只有一個攝像頭或者使用哪個攝像頭都無所謂，則index的值為-1。本設計開發板只連接一個攝像頭，因此代碼為 capture=cvCaptureFromCAM(-1)。

對視頻數據結構capture設置參數。用到的OpenCV的庫函數為int cvSetCaptureProperty(CvCapture*capture，int property_id，double value)。參數capture指定哪個視頻獲取結構需要設置參數；property_id為屬性標識符，由幾個固定值組成，用來決定設置哪個參數。

(2)開啟定時器后抓取圖像幀

關鍵代碼：

如果視頻結構初始化成功，則開啟由QT庫提供的QTimer定時 器 。 代碼 表 示 為 ：CameraTimer-＞start(50，false)。參數“50”表示 QT定時器每隔 50 ms觸發一次，即發出一個內部信號調用一個槽函數，該槽函數負責從視頻數據流中抓取一幀圖像。

該槽函數抓取一幀圖像的方法為：首先調用OpenCV庫函數intcvGrabFrame(CvCapture*capture)；從攝像頭實時采集的視頻流中快速抓取一幀圖像數據，并且把這幀圖像數據存入ARM板的緩存中，這幀圖像數據對于用戶是不可見的。采用這種機制，是因為cvGrabFrame()可以把一幀圖像數據以最快的速度存入緩存中[1]。

接下來，調用 OpenCV庫函數cvRetrieveFrame()。這個函數把剛剛通過cvGrabFrame()抓取的一幀圖像數據從內部緩存重新讀取出來。具體代碼為：IplImage*frame=cvRetrieveFrame(capture)。事實上在調用這個函數后，OpenCV內部會完成多步復雜的圖像處理的工作，例如解碼等。

(3)視頻格式的轉化

關鍵代碼：

由于cvRetrieveFrame()重新讀取到的一幀圖像數據是IplImage類型，IplImage類型是 24位真彩的三通道BGR(BGR24)，而QT庫內與圖像處理與顯示相關的函數只支持對 1 bit、8 bit或者32 bit的位圖進行處理[2]。因此為了使IplImage類型幀圖像能夠在QT/Qtopia圖像界面中顯示，又不降低視頻圖像質量，需要通過程序將24位(BRG24)幀圖像轉化為32位(BRG32)幀圖像。

BGR32每一個像素點除了擁有與BGR24相同的紅綠藍三種顏色，每種顏色8 bit外，要還在這三種顏色共24 bit的數據后面添加一組長度為8 bit的0數據。因此，圖像格式轉化的方法應該在原始的24位圖像數據中每隔三個字節加入一個字節的0。下列代碼為BGR24-＞BGR32圖像中一個點的轉化程序，其中frame-＞imageData為原始圖像的指針，dst為轉化后圖像的指針。

(4)將視頻圖像數據顯示在QT/Qtopia圖形界面

關鍵代碼：

首先調用QImage構造函數把上一步轉換好的32位(BGR32)圖像數據初始化為QT圖像數據格式；然后調用QT的低水平繪制類QPainter的構造函數對主窗口的顯示器組建初始化；初始化結束后將調用QPainter類的drawImage成員函數，把通過QImage類轉換過的圖像數據image繪制在主窗體的顯示器中，代碼為QPainter.drawImage(0，0，image)。

通過以上步驟，應用程序最終將攝像頭采集到的視頻圖像數據顯示在嵌入式設備的QT/qtopia圖形界面中。

ARM平臺的手持移動監控與顯示終端設備已經廣泛應用于社會的各個領域。OpenCV圖像處理庫以其開源性、高效性、靈活性幫助開發者大幅度地縮減開發周期。ARM-Linux QT/Qtopia與其他ARM端的圖像界面操作系統相比較有免費、移植性好、內核精簡、更加穩定的特點。本設計以OpenCV圖像處理庫為核心，在ARM Linux QT/Qtopia圖形界面操作系統下實現攝像頭顯示的應用程序，有非常好的實用性，可以廣泛應用于各類ARM終端設備中。

[1]BRADSKI G， KAEHLER A.Learning openCV： computer vision with the OpenCV library.O’Reilly Media， 2008， 9.

[2]Trolltech公司.Qtopia和 Qt/Embedded參考文檔 [OL].http：//www.qiliang.net/qt/index.html，2005.

[3]韋東山.嵌入式 Linux應用開發完全手冊.北京：人民郵電出版社，2008.