基于DSP和雙目視覺的多媒體傳感器網絡節點設計與實現

張云洲，蔣培，高亮，李立強

(1. 東北大學 信息科學與工程學院，遼寧 沈陽 110819；2. 海軍工程大學 兵器工程系，湖北 武漢 430033)

1 引言

無線傳感器網絡（WSN， wireless sensor network）深刻地改變了人類與自然的交互方式[1，2]，并廣泛應用于軍事、工業、醫療、環境監測等諸多領域[3，4]。隨著人們對物理世界認識的加深和環境日趨復雜，傳統無線傳感器節點所獲取的簡單數據已經無法滿足人們實現全面檢測環境的需求，迫切需要將圖像、視頻、音頻、空間立體感知等媒體信息引入到無線傳感器網絡中來，實現更精準、細微的監測，多媒體傳感器網絡由此應運而生[5]。

多媒體傳感器網絡是由一組計算、存儲且具有無線通信能力的多媒體傳感器節點組成的分布式傳感器網絡[6]。相對WSN而言，多媒體信息的引入使WSN的數據處理速度、網絡存儲容量、網絡傳輸、能量供應等方面顯著增強，可完成傳統無線傳感器網絡無法實現的復雜任務[7]，滿足人們對環境監測的多樣化需求。受網絡傳輸帶寬、能耗、實時媒體傳輸、網絡信息處理、QoS保障等方面的影響[8]，無線多媒體傳感器網絡目前還處于理論研究階段，且多數依賴于仿真環境開展研究。由于應用場合不同，無線傳感器節點系統的設計有很大區別。

本文依托高性能DSP處理器，結合ZigBee無線傳輸協議，設計了一款支持圖像處理、雙目視覺及深度信息提取的無線多媒體傳感器節點，同時集成了多種傳感器形成了環境綜合感知能力。

2 相關工作

從現有文獻來看，無線多媒體傳感器節點的硬件設計，一般是在無線傳感器節點系統的基礎上增加了視覺感知。歸功于圖像壓縮與處理技術的進步[9]，圖像傳感器實際已成為多媒體傳感器網絡節點的標準設備，復雜算法也開始引入節點信息處理。總體上，當前設計成功的多媒體傳感器節點系統的主流方案可分為2種：1) 以通用處理器為核心處理部件的嵌入式系統節點；2) 利用FPGA、ASIC等專用器件設計的圖形采集傳輸平臺。

功能相對完善的多媒體傳感器節點，主要有斯坦福大學的MeshEye節點、波特蘭大學的Panoptes節點、加利福尼亞大學的Cyclops節點、馬薩諸塞大學的 Quickcam Pro Camera、Stargate節點、CMU camhe和 Mica節點等[10，11]；國內的代表性 WMSN節點主要有北京郵電大學的音頻節點、南京郵電大學的UbiCell圖像節點和UbiCell音頻節點等[12～14]。其中，Panopts節點基于Strong ARM設計的嵌入式平臺，主頻達206 MHz，運行于Linux操作系統，采用USB接口的WebCam作為圖像傳感器模塊，支持視頻流數據的獲取、壓縮、過濾緩沖等處理功能[15]。南京郵電大學設計的UbiCell節點，是以OV7620作為圖像傳感設備，以ATmegal128L為控制核心，CC2420作為通信模塊設計的傳感器節點；UbiCell視頻傳感器節點則以SoC2440為主控制模塊，外接以太網和WLAN網卡實現視頻流的快速傳輸。

總體上，無線多媒體傳感器節點的常用基本架構是以微處理器為核心，集成圖像傳感器、環境傳感器和無線通信裝置，其具體配置隨實際應用而有所區別。現有的WMSN節點大多在單幅圖像采集并有效傳輸方面展開研究與開發，不具備圖像深度的測量功能。本文設計的無線多媒體傳感器節點，除實現基本的圖像獲取及處理之外，著眼于獲取現場環境的圖像深度感知，目的在于實現現場環境的立體感知，使節點的具備更強的圖像感知與理解能力。

3 多媒體節點系統架構及功能

3.1 節點框圖

多媒體傳感器節點主要包括4個模塊：傳感器模塊、數據處理模塊、ZigBee通信模塊和控制模塊。傳感器模塊主要包括熱釋外傳感器、濕度、溫度、加速度、電磁羅盤、音頻傳感器、圖像傳感器等，主要負責外部信息的感知；其中雙目攝像機用于完成立體環境的監測，加速度、電磁羅盤傳感器完成節點本身的姿態感知，濕度、溫度、熱釋外用于監測現場環境的綜合感知。主處理器主要由高性能數據處理器及其外部 RAM、Flash、時鐘、電源等外部輔助設備組成，用于圖像、音頻等數據量相對較大信號的運算處理與識別。通信模塊主要由ZigBee射頻通信模塊組成，用于無線多媒體傳感器節點動態組網及節點數據的無線傳輸。控制模塊主要有射頻通信模塊及其內嵌的微控制器內核組成，負責節點任務安排以及整個節點的功耗控制。圖1所示為無線多媒體傳感器網絡節點的整體框架。

圖1 無線多媒體傳感器節點整體框架

3.2 接口設計

隨著傳感器技術的發展，傳感器集成化程度越來越高，通信接口日益趨向于標準化，用戶使用越來越方便。雙目攝像機通過專用解碼芯片轉化成數字信號后供處理器接收與處理，并將處理分析的結果通過SPI總線發送至ZigBee模塊并將數據傳送至控制中心，ZigBee模塊也可通過SPI總線向主處理器發送控制信號，用于控制 DM642的工作過程。三軸加速度傳感器、電磁羅盤以及視頻解碼芯片通過I2C總線與主控制器信息交換；溫度傳感器通過C51內核擴展的GPIO完成數據的讀取，濕度傳感器通過8 bit ADC接口讀取，熱釋外傳感器通過觸發主控制器模塊外部中斷實現人體監測。

4 多媒體傳感器節點的軟硬件設計

4.1 核心處理器電路設計

1) DM642數字信號處理器：TMS320DM642是基于第二代高性能VelociTI 超長指令字結構處理器開發的增強型微處理器，在720 MHz的時鐘下，最高每秒可處理5 760百萬條指令。C64x內核具有64個32 bit的通用寄存器以及8個高度獨立的功能單元、2個乘法器以及6個算數邏輯單元（ALU）。

DM642擁有3路可配置的視頻端口（VIC）以及以太網端口（EMAC）、數據輸入輸出端口、VCXO差補控制端口、多通道音頻串口等接口，還有3個獨立32 bit計數器、1條I2C總線。通過以上接口可實現多路視頻音頻信息的獲取和外部設備通信及控制。

DM642的視頻端口（VP0、VP1、VP2）可與常規視頻編解碼器無縫連接，每個端口擁有5 120 byte采集/顯示緩沖，可供a、b2個通道同時使用。由于 DM642兼具強大的數據處理能力和豐富的片上外設，可以滿足WMSN節點設計的需求。

2）外部RAM及Flash接口設計： DM642處理器芯片片內集成了64 bit寬度的EMIF接口，有4個獨立地址空間，均可配置成同步和異步模式，可與SDRAM以及異步Flash無縫連接。根據實際需求，本文在數據處理模塊設計了2片容量為16 MB和1片容量為2 MB的Flash存儲芯片，分別配置在0x80000000和0x90000000地址空間上，其接口方式如圖2所示。

圖2 外部RAM接口

其中，RAM用與緩存程序或數據，Flash內部自0x90000000開始的1 MB空間用于存放系統啟動程序，剩余1 MB存放數據。系統中2片SDRAM芯片共同占用 EMIF接口的地址總線，而且 Flash芯片和位于低位的SDRAM共用低8位數據線及全部地址總線。為了確保信號質量，本文在地址總線和數據總線上添加了阻值為22 Ω的匹配電阻，其拓撲結構如圖3所示。

圖3 外部RAM和Flash的拓撲結構

4.2 綜合感知子系統設計

1) 視頻接口設計

本文的多媒體傳感器節點采用雙目攝像機，以2片獨立的解碼芯片完成視頻信號解碼，構成雙路視覺信號的實時獲取。TMS320DM642芯片集成了3個相同的20 bit VPort，每個VPort可配置為2個10 bit的視頻通道，可獨立配置成輸入或輸出模式。

2片解碼芯片分別占用 VPort2端口的 2個通道，使用8 bit傳輸模式，其接口方式如圖4所示。

圖4 視頻解碼的接口設計

2) 音頻編解碼接口設計

本文的 WMSN節點擴展了音頻接口，用于監聽環境聲音和音響信號。TMS320DM642通過I2C完成對音頻芯片 TLV320AIC23的初始化配置，通過將MCBSP接口配置成SPI總線模式與串行口進行數據交換。接口設計如圖5所示。

圖5 音頻編碼的接口設計

3）傳感器接口設計

無線多媒體傳感器節點必須具備實時感知環境信息的能力，為此需要擴展多種傳感器，以實現對所處環境以及對節點自身姿態的綜合感知。圖 6給出了本文節點的綜合感知接口設計。

圖6 綜合感知單元接口設計

其中，DM642通過I2C總線與MPU-6050角度傳感器和 MAG3110地磁傳感器進行數據交互；通過GPIO模擬1-Wire協議訪問DS18B20；以中斷方式監測熱釋電紅外傳感器 ME003的輸出電平；通過A/D轉換讀取模擬傳感器GB2530的數據。事實上，傳感器通常采用I2C、SPI、串行口、1-Wire等電氣接口與數據協議，DM642豐富的外設接口可以實現多種傳感器的擴展。

4.3 無線通信接口設計

無線通信選用了ZigBee協議模塊，實現系統的組網與節點間的數據傳輸。射頻芯片選用 CC2530，內部集成了C51內核，并具備GPIO、EXINT、SPI、UART等可復用的輸入輸出引腳。其中，SPI總線用于與TM320DM642處理器之間進行數據交互。

此外，為減輕核心處理器TMS320DM642的任務載荷，減少節點的總體能耗，將部分傳感器通過ZigBee通信芯片CC2530的C51內核讀取數據。

4.4 軟件流程

本文所設計的WMSN節點系統中，DM642和CC2530需要分別開發應用軟件。其中，CC2530的主要功能是完成節點間的組網控制、通信控制以及DM642啟/停的控制。DM642處理器的任務則包括雙目攝像機的圖像獲取及處理、三軸加速度、電磁羅盤等傳感器的讀取與處理等。

圖7給出了WMSN節點的軟件設計流程。

圖7 WMSN節點軟件設計流程

4.5 雙目校正及立體匹配算法

1) 雙目標定與校正

與一般攝像機標定相比，雙目標定不僅需要得到每個攝像機的內參，還要確定2個攝像機之間的相對位置關系。隨后根據雙目標定結果進行的雙目校正，可以使2幅圖像的對極線處于同一水平線上，提高立體匹配的搜索效率。

本文標定及校正過程采用的Matlab開源標定工具箱具有很高的精度，之后將校正結果保存成查找表格，以便在系統實時運行時快速實現圖像校正。

2) 立體匹配算法

由于該塊原始地層能量高，常規壓裂投產日期較早，大規模壓裂投產時地層能量下降較多，因此大型壓裂壓后7d內初產產油量較常規壓裂低，但生產周期內平均產量較常規壓裂的平均產量高。因投產時間相近，油層厚度相近的樊142-317（加砂35.6 m3）與樊142-321（加砂91.1m3）相比，樊142-321具有更高的初產和更長的穩產期。

考慮到資源的限制與實時性的要求，本文選擇了基于加權窗口的區域灰度立體匹配算法獲取深度信息。為減少因兩攝像機亮度不一致造成的干擾，先采用水平Sobel算子對圖像濾波，然后對濾波后的圖像進行立體匹配。具體原理為：對左攝像機（參考圖像）的每一點Il(x，y)，在右攝像機（目標圖像）一定搜索范圍內搜索其最佳的匹配點Ir(x+d，y)。由于雙目視覺系統的極限約束原理，匹配點必然在同一水平線上，d即為該點的視差值。為減少匹配過程的隨機性，選取Il(x，y)周圍一定大小的支撐窗口W，在W內累計匹配代價C(x，y，d)。匹配代價的累計采用加權的SAD度量函數為

其中，γc，γg為控制常數，Δcxy是窗口內的點Il(x，y)與窗口中心點Ilo的灰度值相關度，Δgxy是點Il(x，y)與窗口中心點的幾何距離相關度。

然后，選取目標圖中匹配代價最小的點作為最佳匹配點，兩圖像中相對應的匹配點的橫坐標之差即為當前匹配中該點的視差值d。作為校驗過程，互換參考圖像與目標圖像再次匹配，若在2次匹配結果深度圖Df與Di中的任意點df(x,y)與di(x+df(x,y), y)滿足

則認為該點視差值匹配正確。這里，T為2次匹配結果的誤差允許范圍，一般選擇為2。

在求得視差值d之后，可以按照下式獲得圖像中場景的深度值

其中，f為攝像機焦距，T為雙目攝像機的基線寬度，即左右兩攝像機間的距離，Z為物體到雙目攝像機的物理距離。

5 實驗及分析

5.1 視覺數據獲取及處理

1) 單目圖像采集。為測試節點雙目攝像機的圖像采集功能，將攝像機安裝于實驗室門口上方垂直向下拍攝，圖像通過CCS中保存數據的方式將圖像數據保存成DAT文件。通過Matlab讀取并顯示，試驗其中拍攝的左、右攝像機靜態圖像如圖8所示。

圖8 左、右攝像機采集的靜態圖像

2）雙目立體視覺。為測試WMSN節點的立體視覺性能，以4.5節的算法對左、右攝像機采集的2幅圖像進行運算，得到監測現場的深度信息并通過圖像的形式表達出來。實際測試結果如圖9所示。

圖9 雙目視覺獲得的深度圖

3) 人數統計實驗。在立體視覺的基礎上，將本文設計的 WMSN節點應用于建筑物進出人數的檢測與統計。實驗測試圖像如圖 10所示，分別給出了原始圖像與運用算法處理之后的結果。在室內光線環境下，對身高1.50～1.85 m、以正常步速行進的進出人員進行了 100次測試。其中，單人間隔進/出共35人次，識別率達到100%；雙人并排同向進出共35次，識別率約96%；多人交叉進出共30次，識別率約93%。以上述形式進、出各100人次，系統統計數據為進97次、出94次，總體正確率達到95.5%。在進出人員較為貼近、手持較大物品等情況下，系統較容易產生錯誤計數的情況。

圖10 WMSN節點的人數統計測試

5.2 通信實驗

1) 組網測試。由相互距離為30 m的5個節點通過 ZigBee通信模塊組成小型網絡。經測試，各個節點之間可相互進行數據傳輸，并能組成小型Mesh網絡。

2) 通信距離測試。采用2個WMSN節點，分別處于固定位置和移動狀態。通過一個節點連續向另外一個節點發送數據，發送成功表示通信正常，并通過LED閃爍表示；當LED無變化表示數據發送錯誤發送失敗；經過測試，本文節點在視距范圍的可靠通信距離達到了60 m。

3) 數據傳輸測試。由WMSN節點將1MB大小的數據分組傳送至另一個距離固定、可正常通信的WMSN節點，獲得不同距離下的數據通信誤碼率，實驗結果如圖11所示。當節點間距離在14 m以內時，數據傳輸未發生錯誤，速率最高可達到120 kbit/s；隨著距離的增加，逐漸出現誤碼現象，在20 m距離的數據傳輸錯誤率大幅上升，通信質量已無法保障。由于WMSN節點的實際部署間距一般不超過14 m，本文節點能夠實現較可靠的無線數據通信。

圖11 節點誤碼率隨距離變化

為了測試節點的抗干擾能力，利用干擾源產生一定頻率的干擾信號，并改變電壓值使干擾信號強度變化。在一定距離（0～10 m）的干擾情況下無線通信的誤碼率，實測情況如圖 12曲線所示。可以看出，隨著干擾強度的增加，數據通信誤碼率也逐漸增大；相對地，誤碼率的增加幅度較小，且變化較為緩慢，表明本文 WMSN節點的數據通信具有較強的抗干擾性。

圖12 節點誤碼率隨噪聲強度變化情況

5.3 多媒體傳感器節點的性能對比

為體現本文設計的 NeuWMSN無線多媒體傳感器節點的技術特色，將其參數與現有的無線多媒體傳感器網絡節點關鍵參數進行比較，如表1所示。

可以看出，在主處理器方面，多媒體傳感器網絡節點通常具有很高的主頻，一般在200 MHz，遠高于常規的無線傳感器網絡節點[16]。采用較高主頻本文節點的處理器性能高達600 MHz，擁有強大的數據處理能力，計算能力優于其他節點；所采用的無線通信芯片CC2530，是CC2420的改進型號，在數據通信方面具有較大優勢；當前的多媒體傳感器網絡節點大多僅支持單目視覺，其圖像分辨率最高為640×480。本文節點是目前唯一實現雙目立體視覺的多媒體傳感器網絡節點，圖像分辨率達到640×480。由此可見，本文所設計的WMSN節點性能較為優越。

表1 多媒體傳感器網絡節點的性能對比

在能耗方面，由于多媒體傳感器網絡能夠感知和處理大數據量的圖像、音頻、視頻，WMSN節點的能耗普遍較高[1，7，17]。考慮到本文WMSN節點主要用于監控場合，在能耗方面采用了空閑-狀態切換的方式，其工作模式為：在空閑時，CC2530無線模塊通過繼電器切斷 DSP系統的電源，并轉入休眠狀態；當紅外傳感器感知到目標存在時，無線模塊從休眠狀態喚醒，控制繼電器接通 DSP系統的電源，采集圖像并進行識別。CC2530模塊內置增強型的8051內核，可以設置定時休眠-喚醒工作模式，處于休眠模式時電流消耗約20 μA。采用這種模式，本文WMSN節點的900 mA鋰電池供電可以持續工作較長時間。

6 結束語

本文采用DSP處理器和雙目攝像機，結合無線通信和多種傳感器，設計并實現了新型 WMSN節點。通過圖像、通信等方面的實驗驗證，該節點能夠實現圖像采集、壓縮、傳輸等任務，并能夠通過雙目立體攝像機獲得現場環境的深度信息。通過WMSN節點的ZigBee無線通信協議，可以實現多個節點的動態組網，實現所采集數據和信息的快速傳輸。所設計的節點已成功應用于建筑物內的安全監控與人數統計，在典型室內環境和噪聲中表現出良好的穩定性。

[1] AKYILDIZ I F， SU W， SANKARASUBRAMANIAM Y，et al. Wireless sensor networks： a survey[J]. Computer Networks， 2002，38(4)： 393-422.

[2] 孫利民， 李建中， 陳渝等. 無線傳感器網絡[M]. 北京： 清華大學出版社， 2005.SUN L M， LI J Z， CHEN Y，et al. Wireless Sensor Networks[M]. Beijing： Tsinghua University Press ，2005.

[3] ZHANG D M， MA H D， LIU L，et al. EAAR： an approach to environment adaptive application reconfiguration in sensor network[A].Proc of the Int'l Conf on Mobile Ad-Hoc and Sensor Networks (MSN 2005)[C]. 2005. 259-268.

[4] MA H D， LIU Y H. Correlation based video processing in video sensor networks[A]. Proc of the IEEE WirelessCom 2005[C]. IEEE Press，2005. 987-992.

[5] CUCCHIARA R. Multimedia surveillance systems[A]. Proc of the ACM VSSN 2005[C]. New York， 2005. 1-10.

[6] DEBARDELABEN J A. Multimedia sensor networks for ISR applications[A]. Conference Record of the Thirty-Seventh Asilomar Conference on Signals， Systems and Computers[C]. 2003.2009-2012.

[7] 馬華東， 陶丹.多媒體傳感器網絡及其研究進展[J]. 軟件學報，2006(9)： 2013-2028.MA H D， TAO D. Multimedia sensor network and its research progresses[J]. Journal of Software，2006，17(9)： 2013-2028.

[8] 王汝傳， 孫麗娟. 無線多媒體傳感器網絡技術[M]. 北京：人民郵電出版社，2011.WANG R Z， SUN L J. Wireless Multimedia Sensor Networks[M].Beijing： Posts & Telecom Press，2011.

[9] 周四望， 王耀南， 林亞平等. 視覺傳感器網絡協作塊壓縮感知圖像傳輸方法[J]. 儀器儀表學報， 2011， 32(11)： 2493-2498.ZHOU S W， WANG Y N，LIN Y P，et al. Collaborative image transmission using block compressed sensing for visual sensor networks[J].Chinese Journal of Scientific Instrument，2011，32(11)：2493-2498.

[10] MCINTIRE D. Energy benefits of 32-bit Microprocessor Wireless Sensing Systems[R]. Sensoria Corporation White Paper， 2003.

[11] BULENT T， KEMAL B， RUKEN Z. A survey of visual sensor network platforms[J]. Multimedia Tools Application， 2012， 60： 689-726.

[12] 汪濤， 崔遜學， 李云. 基于Stargate的無線視頻傳感器節點的實現[J]. 西華大學學報， 2009， 28(1)： 25-28.WANG T，CUI X X，LI Y. Realization of wireless video sensor node based on stargate[J]. Journal of Xihua University：Natural Science Edition， 2009，28(1)：25-28.

[13] 周春喜， 唐軍， 金心宇. 面向目標跟蹤的混合WMSN設計與實現[J]. 計算機工程與應用， 2011， 47(2)： 52-56.ZHOU C X，TANG J，JIN X Y. Design and implementation of hybrid WMSN oriented to target tracking[J]. Computer and Engineering Applications，2011，47(2)：52-56.

[14] 沙超， 王汝傳. 無線多媒體傳感器無網絡節點關鍵技術研究[D].南京：南京郵電大學， 2010.SHAR C， WANG R C. Research on Energy Saving in Wireless Multimedia Sensor Networks[D]. Nanjing： Nanjing University of Posts and Telecommunication， 2010.

[15] FENG W， CODE B， KAISER E，et al. Panoptes： a scalable architecture for video sensor networking applications[A]. Proc of the ACM Int'l Conf on Multimedia 2003[C]. New York， 2003.151-16.

[16] 吳鍵， 袁慎芳. 無線傳感器網絡節點的設計和實現[J]. 儀器儀表學報， 2006， 27(9)：1120-1124.WU J，YUAN S F. Design and implementation of a general node for wireless sensor networks[J].Chinese Journal of Scientific Instrument，2006，27(9)：1120-1124.

[17] 羅武勝， 翟永平， 魯琴. 無線多媒體傳感器網絡研究[J]. 電子與信息學報， 2008， 30(6)： 1511-1516.LUO W S， ZHAI Y P， LU Q. Study on wireless multimedia sensor networks[J]. Journal of Electronics & Information Technology， 2008，30(6)： 1511-1516.