一種面向無線圖像傳輸的視覺平臺

梁義輝，戰強

(北京航空航天大學 機械工程及自動化學院，北京 100191)

?

一種面向無線圖像傳輸的視覺平臺

梁義輝，戰強

(北京航空航天大學 機械工程及自動化學院，北京 100191)

機器視覺在智能科技領域的應用越來越廣泛，但當前大多數視覺系統存在可推廣性和復用性較差的問題。分析了一般視覺系統的基本組成，設計了可進行圖像無線傳輸和處理的硬件結構，并基于此在嵌入式Linux系統下利用OpenCV構建了一種可擴展視覺平臺，實現了Wi-Fi環境下數字圖像的無線傳輸和實時處理。使用該平臺進行了數字圖像的傳輸和對象跟蹤實驗，實驗表明該平臺可實現對遠程圖像的實時傳輸，并根據實際需要進行相應的圖像處理。為機器視覺的廣泛應用提供了技術保障和開發平臺。

機器視覺；無線圖傳；圖像處理；OpenCV；對象跟蹤

隨著計算機處理器速度和內存容量的持續增長，人工智能領域的各項技術也正在快速向前推進，機器視覺日益凸顯出其重要性。在智能硬件快速發展的今天，為可移動機器人等自動化設備配備視覺系統變得可能而且必要。視覺系統的主要任務是對圖像進行采集，然后根據需求做必要的處理，最后將處理結果反饋給主機或決策者，從而完成智能感知的任務[1-2]。如基于圖像的避障導航、基于視覺的無人駕駛以及基于圖像學的3-D測繪等，都展示了機器視覺的智能性及其在現實世界中的實用性。

然而，由于不同的設備所針對的目標不同，導致大部分視覺系統都是針對特定目標搭建的專用系統[3]，可移植和擴展性受限。此外，由于在一般設備上配備視覺系統的成本極高，且業內并沒有對此形成統一標準，使得機器視覺的應用并沒有得到普及和推廣。針對以上這些問題，本文設計了一種無線視頻傳輸和圖像處理平臺，該平臺可以方便地應用在需要安裝視覺系統的機器人和自動化系統中，大大簡化了視覺系統的設計流程，降低了開發成本，為機器視覺的應用提供了有利的環境支持。

1 視覺平臺的整體框架

一般的視覺系統主要由圖像信號的采集和圖像信號的處理2大模塊組成，可以根據應用場景對采集到的圖像進行必要處理。本文所設計的無線圖傳視覺平臺主要包括硬件系統、軟件系統以及可以進行圖像處理的OpenCV開發環境，能夠完成圖像信號的采集、數據的壓縮與無線傳輸、數據信號的解壓還原和圖像處理等任務，其整體框架及信號的流向如圖 1所示。該平臺在Linux環境下開發，可以實現圖像的無線傳輸，且基于OpenCV的圖像處理環境可以根據實際需要調用具體的處理方法，完成對遠程圖像的實時處理，為機器視覺的應用提供了便利的開發平臺。

圖1 視覺系統的整體框架及信號流圖

2 視覺平臺的設計與實現

2.1 圖像信號的采集

信號采集模塊主要負責采集實時場景，并將圖像信號轉變為光電信號，從而將物體的可視化圖像和特征轉化為能被計算機處理的數字化信息[4]。圖像采集模塊需要滿足能夠及時、準確地采集清晰圖像的要求，并且將圖像信息以一定的數據格式輸出。本文采用數字相機來實現圖像信號的采集，信號采集模塊配備高清CMOS攝像頭，主要參數見表 1。該攝像頭模塊具有體積小、接口友好及可調焦等優點，如圖 2所示。攝像頭模塊將采集后的圖像數據壓縮為MJPEG格式，MJPEG(motion JPEG)是在JPEG基礎發展起來的動態圖像壓縮技術，它只單獨地對每一幀圖像進行壓縮，每一幀都分別使用JPEG格式編碼，而基本不考慮視頻流中不同幀之間的變化，得到的視頻圖像清晰度高且較好地保留了圖像的有效信息。本文中將拍攝到的連續圖像源源不斷地發送到信號傳輸鏈路中，在接收端就可以獲得連續的圖像數據，然后根據JPEG格式解壓復原，從而實現連續圖像的傳輸。

表1 數字攝像頭參數

(a)攝像頭

(b)攝像頭傳感器及連線

2.2 圖像信號的傳輸

信號傳輸模塊實現將采集到的圖像信號通過無線的方式，傳送到可以進行圖像處理的接收端。本文選用了基于Wi-Fi(wireless-fidelity)的無線傳輸方式。Wi-Fi網絡是由訪問節點(access point，AP)和結構站點(station)組成的無線網絡，具有傳輸速度高、通信距離長以及兼容性好等優點。在本文的數字圖像傳輸中，Wi-Fi的傳輸速度可以保證高清圖像的實時性，同時，它作為傳統的有線局域網絡的延伸，可以方便地將網絡中的設備連接起來。因此任何一臺連接到此網絡上的設備都可以訪問該網絡上開放的資源，其工作原理相當于一個局域網的拓撲。無線局域網絡的拓撲結構如圖 3所示。

圖3 無線視頻網絡拓撲圖

圖像信號的傳輸鏈路包括信號發送和信號接收2個部分，傳輸過程如圖 4所示。本文中信號發送部分使用CHD-T5 Wi-Fi模塊，模塊使用MIPS24KE內核，主控芯片采用雷凌科技的RT5350F，無線速率達到150 Mbps，如圖 5(a)所示。集成的發送模塊支持UVC標準攝像頭，可將USB接口中的數據發送到無線鏈路中，從而使得網絡中的其他設備可以根據需要來訪問圖像數據。發送模塊有2種工作模式：AP模式和STA模式，既可作為熱點，也可作為終端連接到路由器。使用AP模式時，模塊相當于是一個小型路由器，其他終端接收設備可以通過授權接入到該模塊。使用STA模式工作時，模塊作為一個終端通過搜索熱點信號，授權后連入已經搭建好的無線網絡中。在同一個網絡中的其他主機和終端設備都可以訪問模塊的網絡數據，從而將圖像信號傳到其他的設備上。

圖4 Wi-Fi鏈路信號流圖

信號接收部分是插接在圖像處理板上的USB無線網卡，經過配置后可以通過無線網絡連接圖像發送模塊，從而實現圖像信號的接收。圖像接收模塊使用的是EDUP的迷你USB無線網卡，該模塊采用Realtek 8188cus芯片，使用802.11 n標準無線傳輸技術，傳輸速率高達150 Mbps，輕巧隱形工藝設計，模塊尺寸只有18 mm×14 mm×6 mm，如圖 5(b)所示。

(a)信號發送端 (b)信號接收端

2.3 數字圖像的處理

2.3.1 圖像處理的平臺環境搭建

圖像信號處理模塊主要包括信號處理硬件平臺、嵌入式Linux操作系統以及OpenCV開發環境。系統硬件平臺的選用原則是：處理器計算能力有適量冗余、系統架構升級方便、集成度高以及接口友好等。本文選用了基于ARM架構的卡片式電腦平臺。該平臺采用的是的飛思卡爾(Freescale)的四核Cortex-A9架構的i.MX6Quad主控芯片，芯片為1.2 GHz主頻，平臺具備2GB DDR3內存和8GB EMMC Flash存儲空間，視覺系統硬件平臺的主要特性見表 2，其功能模塊及接口如圖 6所示。

表2 圖像處理板主要特性參數

圖6 圖像處理功能模塊示意圖

操作系統的選用原則是：穩定性高、開發方便、易操作以及方便升級等。結合本系統平臺的設計要求，選擇Linux作為本平臺的操作系統。嵌入式Linux系統是對Linux發行版的系統進行適當裁剪后，可以運行在嵌入式處理器上的系統，由一個內核及一些根據需要進行定制的系統模塊組成，保留了多任務、多進程的系統特征[5-7]。嵌入式系統的一般開發流程如圖 7所示。智能視覺平臺選用了Linux發行版的Ubuntu系統，支持×86/×64、ARM和PPC架構。

圖7 嵌入式操作系統開發流程

另外，為了在Linux上使用USB無線網卡，需要在系統上安裝相應的驅動程序，從而獲得圖像傳輸鏈路中的圖像數據。安裝驅動時，進入驅動程序的…/drivers目錄下，執行make和make install命令，或者使用驅動目錄下的install.sh批處理命令，即可將驅動程序安裝到系統中。驅動安裝完成后，可以使用ifconfig命令來查看網卡的信息，如圖 8所示。

圖8 USB無線網卡IP地址查看

為了在視覺平臺上進行圖像處理，本文在Linux系統下搭建了OpenCV開發環境。OpenCV計算機視覺庫(open source computer vision library)是一個開源的跨平臺視覺庫，具有輕量級而且高效的特點，實現了計算機視覺方面用于圖像處理的大部分算法。OpenCV移植至ARM板上的流程如圖 9所示。

圖9 移植OpenCV至ARM流程圖

本文選用的OpenCV版本為比較新而且穩定的版本2.4.9，為了使OpenCV可以在ARM的平臺上使用，需要對其源碼進行編譯，得到可以在相應平臺上運行的文件，一般使用Cmake工具進行編譯操作。使用Cmake工具配置編譯參數，設置C和C++編譯器為之前配置好的arm-linux交叉編譯鏈，然后Cmake會自動根據配置生成編譯所需要的Makefile[8]。編譯完成之后，由于本文中用的是arm工具鏈編譯的，所以生成的OpenCV庫可以在對應的arm平臺下使用。編譯后生成的文件主要有bin、lib和include等目錄，其中lib目錄下的文件即為OpenCV應用程序調用的動態鏈接庫。在圖像處理板上運行OpenCV程序時，將編譯好的庫拷貝至處理板上的庫目錄，默認可以放在系統文件中的/usr/local/lib目錄或者/usr/lib目錄下，配置環境變量LD_LIBRARY_PATH和LIBRARY_PATH，令其包含庫文件所在目錄。在include目錄下存放的是OpenCV庫被調用時所需要的頭文件，這里將include目錄下拷貝至用戶include目錄，一般也放在/usr/include或者/usr/local/include目錄下面。

2.3.2 圖像信號的復原

圖像復原的流程大致如圖 10所示，圖像信號接收端從無線通信鏈路中獲取的數據是MJPEG視頻流，在接收端需要對圖像信號進行復原與顯示。根據TCP協議編程可從socket中獲得數據流，網絡數據流的獲取主要包括設置服務器IP和對應端口、網絡協議選擇、網絡連接和接收數據。接收到的數據是以MJPEG格式存儲的圖像，在接收端只需要從數據流中將各副圖像分割開來，得到JPEG格式的圖像。然后使用OpenCV的imread函數進行解壓，將JPEG格式的圖像解壓成OpenCV內部可使用的Mat矩陣，再使用imshow函數將圖像進行顯示。

圖10 圖像復原流程

3 視覺系統平臺試驗

無線圖傳視覺系統平臺搭建完成后，可以實現將遠程視頻通過無線的方式傳送到接收端，然后在接收端可以對圖像進行相應的處理。為了驗證平臺的性能，進行了圖像接收和處理的開發試驗。首先，打開視頻采集設備和圖像接收設備，讓攝像頭工作在AP模式。然后在接收終端設置無線網卡連接至攝像頭網絡，對收到的圖像進行復原。

另外，對復原的圖像進行圖像處理實驗，本文使用OpenCV庫demo中的Camshift[9-10]例程來做對象跟蹤。CamShift (continuously apative meanShift) 算法，即連續自適應MeanShift[11]算法，是一種運動跟蹤算法，它主要通過視頻圖像中運動物體的顏色信息來達到跟蹤的目的。其基本思想是對視頻序列中的所有圖像都做MeanShift運算，并將上一幀結果作為下一幀運算初始值。在OpenCV中，Camshift算法的實現可分為BackProjection、MeanShift和CamShift 3個步驟。本文將無線鏈路中復原的圖像作為圖像處理幀的來源，根據Camshift算法即可實現對象跟蹤。例程運行界面和跟蹤結果如圖 11所示，在運行界面中定義跟蹤對象，此處定義的是水杯蓋，圖(a)右側即為該對象的顏色直方圖，圖(b)為在移動杯蓋時，程序對杯蓋的跟蹤結果。

(a)Camshift運行界面 (b)杯蓋對象跟蹤

實驗可知，根據本文介紹的方法所搭建的視覺系統可以完成視頻的無線傳輸，視頻的實時性和穩定性滿足圖像處理的要求。同時對象跟蹤實驗證明該視覺平臺能夠實現對遠程視頻的處理，并且結果十分理想。因而，可以在此視覺平臺上根據需要開發出對應的視覺功能。

4 結束語

本文分析了一般視覺系統的基本組成，針對視覺系統的圖像傳輸和可移植性問題設計一套視覺平臺，該視覺平臺可以完成對遠程視頻的實時處理，基于Wi-Fi的圖像傳輸為視頻的遠程傳輸和組網拓撲提供了可能，基于OpenCV設計的圖像處理環境為視覺平臺的二次開發提供了便利。該視覺平臺的可移植性能有著廣闊的應用空間。

[1]桂衛華, 陽春華, 徐德剛, 等. 基于機器視覺的礦物浮選過程監控技術研究進展[J]. 自動化學報, 2013, 39(11): 1879-1888. GUI Weihua, YANG Chunhua, XU Degang, et al. Machine-vision-based online measuring and controlling technologies for mineral flotation-a review[J]. Acta automatica sinica, 2013, 39(11): 1879-1888.

[2]SZABO S, COOMBS D, HERMAN M, et al. A real-time computer vision platform for mobile robot applications[J]. Real-time imaging, 1996, 2(5): 315-327.

[3]SCHINDELIN J, ARGANDA-CARRERAS I, FRISE E, et al. Fiji: an open-source platform for biological-image analysis[J]. Nature methods, 2012, 9(7): 676-682.

[4]劉煥軍, 王耀南, 段峰. 機器視覺中的圖像采集技術[J]. 電腦與信息技術, 2003(1): 18-21. LIU Huanjun, WANG Yaonan, DUAN Feng. Image capture technology in vision image[J]. Computer and information technology, 2003(1): 18-21.

[5]張歡慶. 基于ARM處理器的嵌入式Linux系統關鍵技術研究[D]. 濟南: 山東師范大學, 2013: 17-23. ZHANG Huanqing. Research of critical technologies in embedded Linux system based on ARM processor[D]. Jinan: Shandong Normal University, 2013: 17-23.

[6]HU Jie, ZHANG Genbao. Research transplanting method of embedded linux kernel based on ARM platform[C]//Proceedings of the 2010 International Conference of Information Science and Management Engineering. Xi′an, China: IEEE, 2010, 2: 35-38.

[7]尤盈盈, 孟利民. 構建嵌入式linux交叉編譯環境[J]. 計算機與數字工程, 2006, 34(6): 30-32, 78. YOU Yingying, MENG Limin. Building embedded linux cross-compling environment[J]. Computer & digital engineering, 2006, 34(6): 30-32, 78.

[8]BRADSKI G, KAEHLER A. Learning OpenCV: computer vision with the OpenCV library[M]. USA:O′Reilly Media Inc, 2008.

[9]徐琨, 賀昱曜, 王衛亞. 基于CamShift的自適應顏色空間目標跟蹤算法[J]. 計算機應用, 2009, 29(3): 757-760. XU Kun, HE Yuyao, WANG Weiya. Object tracking algorithm with adaptive color space based on CamShift[J]. Journal of computer applications, 2009, 29(3): 757-760.

[10]ALLEN J G, XU R Y D, JIN J S. Object tracking using camshift algorithm and multiple quantized feature spaces[C]//Proceedings of the Pan-Sydney Area Workshop on Visual Information Processing. Darlinghurst, Australia: Australian Computer Society, Inc, 2004: 3-7.

[11]CHENG Yizong. Mean shift, mode seeking, and clustering[J]. IEEE transactions on pattern analysis and machine intelligence, 1995, 17(8): 790-799.

梁義輝，男，1990年生，碩士研究生，主要研究方向為機器視覺和機器人運動控制。

戰強，男，1972年生，教授，博士生導師，IEEE會員，機械工程學會(CMES)高級會員，深圳自動化學會專家，海淀區科委項目評審專家。主要研究方向是仿生靈巧手、球形機器人、特種機器人和機器視覺。獲得國家發明專利8項、軟件著作權1項、新型專利5項。發表學術論文60余篇，其中被SCI檢索10余篇，被EI/ISTP檢索30余篇，參與編寫著作2部。

A visual platform for wireless image transmission

LIANG Yihui, ZHAN Qiang

(School of Mechanical Engineering & Automation, Beihang University, Beijing 100191, China)

In recent years machine vision has experienced increased use and application in the field of intelligent technology. However, most current visual systems have poor levels of promotability and reusability. This paper describes the basic components of a general visual system, and a hardware system designed for wireless transmission and use; this formed the basis for a vision platform using OpenCV in Linux. This platform can transmit images wirelessly via a Wi-Fi network in addition to real-time image processing. Experiments completed on the platform prove it can realize image transmitting and processing remotely according to the requirements, can provide technical support, and a development platform for the wide application of machine vision.

machine vision; wireless image transmission; image processing; OpenCV; object tracking

2015-12-09.

日期：2016-07-15.

北京航空航天大學基本科研項目(YWF-14-JXXY-025).

戰強. E-mail: qzhan@buaa.edu.cn.

TP391.4

A

1673-4785(2016)05-0608-05

10.11992/tis.201512014

http://www.cnki.net/kcms/detail/23.1538.TP.20160715.1409.004.html

梁義輝，戰強.一種面向無線圖像傳輸的視覺平臺[J]. 智能系統學報， 2016, 11(5): 608-612.

英文引用格式：LIANG Yihui, ZHAN Qiang. A visual platform for wireless image transmission[J]. CAAI transactions on intelligent systems, 2016,11(5):608-612.