基于SoPC技術(shù)的實(shí)驗(yàn)室智能視頻監(jiān)控系統(tǒng)

車 進(jìn)，康 彩，吳 丹

(寧夏大學(xué)物理電氣信息學(xué)院，寧夏 銀川 750021)

責(zé)任編輯:任健男

隨著科學(xué)研究日益廣泛，實(shí)驗(yàn)室安全問(wèn)題受到了人們?cè)絹?lái)越多的重視，實(shí)驗(yàn)室內(nèi)設(shè)備的造價(jià)一般都很昂貴，一旦發(fā)生意外事故(如火災(zāi)、偷盜等)，將會(huì)造成很大的損失。鑒于智能視頻監(jiān)控系統(tǒng)具有廣泛的應(yīng)用前景［1］，比較理想的解決方案就是在實(shí)驗(yàn)室內(nèi)安裝視頻監(jiān)控系統(tǒng)，對(duì)實(shí)驗(yàn)室的情況進(jìn)行實(shí)時(shí)反饋，一旦發(fā)生意外能及時(shí)通知相關(guān)人員，達(dá)到實(shí)時(shí)安防監(jiān)控。此外Altera公司提出的片上可編程系統(tǒng)(SoPC)解決方案，使得FPGA在嵌入式系統(tǒng)設(shè)計(jì)領(lǐng)域的地位越來(lái)越重要。Altera在繼Nios之后，推出了功能更加完備的第二代處理器Nios II，并提供了完善的集成開(kāi)發(fā)工具［2］，熟練應(yīng)用開(kāi)發(fā)工具可快速開(kāi)發(fā)出高效的SoPC系統(tǒng)，應(yīng)用于各個(gè)領(lǐng)域。

基于上述，本文提出了基于SoPC技術(shù)的實(shí)驗(yàn)室智能安全監(jiān)控系統(tǒng)。系統(tǒng)采用Altera公司的TE3開(kāi)發(fā)板，將Nios II軟處理器與Cyclone II相結(jié)合作為主控制器，結(jié)合智能視頻理念，為實(shí)驗(yàn)室監(jiān)控提供了一個(gè)低成本、低功耗、多功能的解決方案。

1 系統(tǒng)總體方案設(shè)計(jì)

系統(tǒng)由計(jì)算機(jī)終端和基于TE3開(kāi)發(fā)板的監(jiān)控器組成。其中計(jì)算機(jī)終端負(fù)責(zé)實(shí)時(shí)接收監(jiān)控器發(fā)來(lái)的信息，進(jìn)行信息處理，通過(guò)視頻實(shí)時(shí)顯示實(shí)驗(yàn)室內(nèi)部情況以及各參數(shù)的當(dāng)前值，將信息存入數(shù)據(jù)庫(kù)，同時(shí)判斷是否有異常情況，如有異常情況，則啟動(dòng)報(bào)警裝置。監(jiān)控器負(fù)責(zé)圖像采集、壓縮、運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤和網(wǎng)絡(luò)傳輸，以及將各個(gè)傳感器的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳至遠(yuǎn)程計(jì)算機(jī)端。系統(tǒng)整體設(shè)計(jì)結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)總體設(shè)計(jì)模塊

在該系統(tǒng)中使用的平臺(tái)為Altera的TE3開(kāi)發(fā)板，它由一塊核心板和一塊擴(kuò)展板組成。核心板是由FPGA及一些常用的外圍器件組成的一個(gè)最小的也是完整的SoC系統(tǒng)，其核心為Cyclone II 2C35 FPGA芯片，還包括存儲(chǔ)器、網(wǎng)絡(luò)接口及串口等。擴(kuò)展板具有豐富的用戶接口，除了常用的輸入輸出接口之外，為模擬音視頻設(shè)計(jì)了AV，VGA及音頻輸入輸出接口，為數(shù)字視頻及無(wú)線應(yīng)用增加了ASI，A/D及D/A接口。系統(tǒng)采用CCD圖像傳感器采集圖像，輸出為NTSC制全電視信號(hào)，分辨力為640×480，通過(guò)步進(jìn)電機(jī)和電機(jī)驅(qū)動(dòng)電路來(lái)完成控制攝像頭的方向控制，電機(jī)驅(qū)動(dòng)采用L298N作為驅(qū)動(dòng)芯片，驅(qū)動(dòng)器和電機(jī)之間加光耦隔離，采用PWM方式控制驅(qū)動(dòng)電機(jī)。系統(tǒng)連接的傳感器有溫度傳感器、濕度傳感器、煙霧傳感器和紅外熱釋傳感器。

2 系統(tǒng)各模塊設(shè)計(jì)及實(shí)現(xiàn)

系統(tǒng)的設(shè)計(jì)基于SoPC技術(shù)，利用SoPC Builder完成Nios II處理器軟核及其外設(shè)的創(chuàng)建和配置，定制成SoPC組件［2－3］。在Nios II集成開(kāi)發(fā)環(huán)境下用C++語(yǔ)言編程完成系統(tǒng)中各個(gè)組件間的有機(jī)配合，實(shí)現(xiàn)智能監(jiān)控功能。

整個(gè)系統(tǒng)具體可以劃分為圖像實(shí)時(shí)采集、圖像預(yù)處理、圖像壓縮、圖像存儲(chǔ)、運(yùn)動(dòng)目標(biāo)監(jiān)測(cè)跟蹤、CCD攝像頭控制、傳感器、數(shù)據(jù)信息傳輸、遠(yuǎn)程計(jì)算機(jī)監(jiān)控及報(bào)警等模塊，如圖2所示。下面分別介紹各模塊實(shí)現(xiàn)方案。

圖2 系統(tǒng)功能模塊劃分

2.1 圖像采集及編碼空間轉(zhuǎn)換模塊

由于CCD攝像頭輸出的NTSC制式全電視信號(hào)不能直接進(jìn)行數(shù)據(jù)處理和存儲(chǔ)，所以必須首先對(duì)其進(jìn)行解碼和色彩空間轉(zhuǎn)換等一系列處理。在此，將采集到的模擬視頻信號(hào)通過(guò)TV Decoder 7181B解碼為標(biāo)準(zhǔn)的ITU656格式的數(shù)字信號(hào)，再通過(guò)硬件模塊ITU656轉(zhuǎn)換為YCbCr信號(hào)(Y∶U∶V=4∶2∶2)，并將其轉(zhuǎn)換為 RGB(由紅、綠、藍(lán)3 個(gè)分量組成)信號(hào)，至此完成了圖像采集和圖像編碼以及空間轉(zhuǎn)換。

2.2 VGA顯示模塊

VGA輸出接口芯片采用AD公司的ADV7123來(lái)對(duì)RGB視頻信號(hào)進(jìn)行D/A變換。輸出的RGB信號(hào)經(jīng)過(guò)視頻編碼，通過(guò)DAC904顯示到VGA上，實(shí)時(shí)顯示采集到的圖像。

2.3 存儲(chǔ)模塊

將RGB信號(hào)的另一路存入開(kāi)發(fā)板上的SRAM中，供給圖像預(yù)處理模塊和Nios II讀取進(jìn)行下一步處理。圖像傳輸采用全雙工通信。

2.4 圖像預(yù)處理模塊

這里的主要處理過(guò)程就是從SRAM中讀取RGB信號(hào)，先根據(jù)RGB圖像灰度轉(zhuǎn)換公式［4］轉(zhuǎn)換為灰度圖像，再采用閾值法處理為二值化圖片，提供給Nios II做運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤。轉(zhuǎn)換公式為

2.5 運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤模塊

原始圖像數(shù)據(jù)經(jīng)過(guò)二值化，與原始存放的圖像數(shù)據(jù)使用做差法進(jìn)行處理，得到圖像差異信息，并據(jù)此進(jìn)行輪廓提取，計(jì)算得到最大的圖像輪廓信息確定為跟蹤對(duì)象，根據(jù)跟蹤對(duì)象的坐標(biāo)控制步進(jìn)電機(jī)控制模塊，完成運(yùn)行目標(biāo)的檢測(cè)與跟蹤。算法流程如圖3所示。

2.6 圖像壓縮模塊

圖3 運(yùn)動(dòng)物體檢測(cè)與跟蹤算法流程

為了在有限的SRAM空間中存儲(chǔ)更多的圖像數(shù)據(jù)，并有效提高數(shù)據(jù)傳輸?shù)男剩枰獙?duì)視頻圖像進(jìn)行壓縮。目前最流行且全面的連續(xù)色調(diào)靜止畫(huà)面壓縮標(biāo)準(zhǔn)之一是聯(lián)合圖像專家組JPEG(Joint Photographic Experts Group)，其壓縮技術(shù)采用有損壓縮方式離散余弦變換(DCT)去除冗余的圖像數(shù)據(jù)，允許用不同的壓縮比例對(duì)文件進(jìn)行壓縮，支持多種壓縮級(jí)別，壓縮比率通常在10∶1到40∶1之間［4－6］，因此本系統(tǒng)采用JPEG標(biāo)準(zhǔn)進(jìn)行圖像壓縮。其基本算法流程如圖4所示。

圖4 JPEG圖像壓縮算法流程

1)顏色空間的轉(zhuǎn)換和采樣。系統(tǒng)通過(guò)CCD攝像頭采集到彩色圖像，分別對(duì)每個(gè)彩色分量進(jìn)行壓縮，然后合成為完整的壓縮圖像。在數(shù)字視頻處理中，相對(duì)于RGB空間，YCbCr空間(Y分量表示亮度信息，Cb表示色度，Cr表示飽和度)的壓縮效果更好，這是由于人眼對(duì)色彩變化的敏感度不如對(duì)亮度變化的敏感度，因此對(duì)色彩的編碼可以比對(duì)亮度的編碼粗糙些，從而可以提高壓縮比。基于以上原因，本系統(tǒng)在對(duì)彩色視頻圖像壓縮前先將其從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，采用的轉(zhuǎn)換公式為

2)二維離散余弦變換。DCT能夠?qū)D像空間表達(dá)式轉(zhuǎn)換為頻率域，實(shí)現(xiàn)能量壓縮，可以達(dá)到減少圖像空間冗余性的目的。對(duì)具有高度相關(guān)性的圖像信號(hào)而言，DCT具有很好的壓縮特性，JPEG，MPEG和H.263等標(biāo)準(zhǔn)都采用DCT技術(shù)作為壓縮編碼的首選方案。二維DCT及其逆變換公式如下

根據(jù)JPEG標(biāo)準(zhǔn)，在編碼器的輸入端，把待轉(zhuǎn)換的圖像依次分割為不重疊的8×8像素塊，然后對(duì)每個(gè)像素塊分別采用二維DCT進(jìn)行變換，由此獲得64個(gè)變換系數(shù)，可用一個(gè)8×8的數(shù)組F(u，v)表示。根據(jù)DCT的性質(zhì)，元素F(0，0)表示直流(DC)系數(shù)，即8×8像素塊的均值，其他63個(gè)元素為交流(AC)系數(shù)。

3)量化。其過(guò)程是將每個(gè)DCT系數(shù)除以各自的量化步長(zhǎng)并取整數(shù)得到量化系數(shù)，目的是減小非“0”系數(shù)的幅度以及增加“0”值系數(shù)的數(shù)目，從而減少數(shù)據(jù)量并達(dá)到壓縮目的。

4)Z字形(Zigzag)掃描。經(jīng)量化后的AC系數(shù)通常具有很多零值，為了增加連續(xù)“0”系數(shù)的個(gè)數(shù)，對(duì)量化系數(shù)進(jìn)行Zigzag掃描，從而得到一個(gè)1×64的系數(shù)矢量，其元素按頻率從低到高的順序排列。

5)熵編碼。對(duì)掃描后的1×64系數(shù)矢量采用霍夫曼(Huffman)編碼方式進(jìn)行熵編碼。對(duì)于DC系數(shù)(即矢量的第一個(gè)元素)，進(jìn)行差分編碼;對(duì)于其他的63個(gè)AC系數(shù)，首先判斷其是否零值，是零值則做加一計(jì)數(shù)，若為非零值則進(jìn)行行程編碼，從而完成一幅圖像的JPEG壓縮［7］。

2.7 傳感器模塊

負(fù)責(zé)循環(huán)檢測(cè)各個(gè)傳感器的變化，記錄傳感器的當(dāng)前值，一方面，判斷傳感器當(dāng)前值是否正常，如不正常，啟動(dòng)報(bào)警模塊，并用語(yǔ)音播報(bào)傳感器關(guān)聯(lián)的環(huán)境參數(shù)，發(fā)出警報(bào);另一方面，將傳感器數(shù)據(jù)發(fā)送至數(shù)據(jù)傳輸模塊，最終在監(jiān)控終端顯示。

2.8 數(shù)據(jù)傳輸模塊

以太網(wǎng)芯片采用的是Davicom公司的DM9000A，該芯片是10/100自適應(yīng)以太網(wǎng)芯片，包括了MAC和PHY層的功能。該芯片既有通用處理器接口，也有MII的PHY層接口，本系統(tǒng)的設(shè)計(jì)中FPGA連接的是通用處理器接口，基于UDP協(xié)議的數(shù)據(jù)傳輸。

2.9 報(bào)警模塊

負(fù)責(zé)異常情況處理。一方面，如果有接收到控制器發(fā)送來(lái)傳感器的數(shù)據(jù)異常，則產(chǎn)生聲光報(bào)警;另一方面，如果發(fā)現(xiàn)運(yùn)動(dòng)目標(biāo)，則指示燈閃爍，告知有異常情況。

2.10 PC 監(jiān)控模塊

PC監(jiān)控端負(fù)責(zé)接收?qǐng)D像和傳感器的數(shù)據(jù)，實(shí)現(xiàn)視頻監(jiān)控和環(huán)境參數(shù)的顯示;外加攝像頭的轉(zhuǎn)向和速度控制參數(shù)。在本系統(tǒng)中采用Visual Studio 2008完成上位機(jī)開(kāi)發(fā)，其界面如圖5所示。

圖5 遠(yuǎn)端PC監(jiān)控終端顯示界面

3 系統(tǒng)分析與總結(jié)

本設(shè)計(jì)實(shí)現(xiàn)了基于SoPC技術(shù)和機(jī)器視覺(jué)技術(shù)及傳感器技術(shù)相結(jié)合的視頻目標(biāo)跟蹤及報(bào)警平臺(tái)。能夠根據(jù)溫度、濕度、煙霧、人員活動(dòng)設(shè)定值進(jìn)行報(bào)警，并且把報(bào)警消息發(fā)送給遠(yuǎn)程用戶。系統(tǒng)基本工作狀態(tài)有:

1)自檢狀態(tài)。設(shè)置電機(jī)每秒轉(zhuǎn)動(dòng)一次，每次為3.5°，完成圖像模板(背景)采集。

2)監(jiān)控狀態(tài)。電機(jī)處于監(jiān)控狀態(tài)，時(shí)刻監(jiān)測(cè)是否有目標(biāo)入侵。

3)跟蹤狀態(tài)。出現(xiàn)目標(biāo)入侵時(shí)，由處理器進(jìn)行識(shí)別、標(biāo)記，給出位置變化，驅(qū)動(dòng)步進(jìn)電機(jī)進(jìn)行轉(zhuǎn)動(dòng)，予以跟蹤。

系統(tǒng)各項(xiàng)參數(shù)如下:

1)圖像采集參數(shù)。攝像頭制式為NTSC制式;分辨力為640×480;采集速度為30幀/秒。

2)跟蹤靈敏度。目標(biāo)跟蹤標(biāo)準(zhǔn)度為標(biāo)識(shí)框偏離目標(biāo)不超過(guò)10個(gè)像素點(diǎn);跟蹤速度為在5 m范圍內(nèi)，目標(biāo)移動(dòng)速度可達(dá)2.5 m/s;跟蹤范圍大于150°。

本系統(tǒng)硬件和軟件升級(jí)都很方便，可以根據(jù)用戶定制，在短時(shí)間內(nèi)完成符合要求的監(jiān)控系統(tǒng);支持短信通知管理人員，遠(yuǎn)程網(wǎng)絡(luò)監(jiān)控，方便應(yīng)用于家居、商場(chǎng)、圖書(shū)館等。

［1］鄭世寶.智能視頻監(jiān)控技術(shù)與應(yīng)用［J］.電視技術(shù)，2009，33(1):94－96.

［2］李蘭英.Nios II嵌入式軟核SOPC設(shè)計(jì)原理及應(yīng)用［M］.北京:北京航空航天大學(xué)出社，2006.

［3］章智慧，白瑞林，沈憲明.面向SOPC Builder的用戶自定義IP核開(kāi)發(fā)［J］.自動(dòng)化儀表，2006，27(9):23－25.

［4］RAFAEL.數(shù)字圖像處理(MATLAB版)［M］.阮秋琦，譯.北京:電子工業(yè)出版社，2009.

［5］陸利坤，辛望，李業(yè)麗.基于數(shù)字信號(hào)處理器的JPEG壓縮算法分析與實(shí)現(xiàn)［J］.北京印刷學(xué)院學(xué)報(bào)，2004(3):6－10.

［6］于曉宇，傅志中，唐學(xué)怡.JPEG標(biāo)準(zhǔn)下圖像壓縮算法的研究與實(shí)現(xiàn)［J］.電視技術(shù)，2009，33(S1):55－57.

［7］張?jiān)獋ィ瑒┞?基于JPEG標(biāo)準(zhǔn)的靜態(tài)圖像壓縮算法研究［J］.電子設(shè)計(jì)工程，2010，18(2):78－80.