基于IMX6的手扶電梯智能視頻監控系統設計

杜啟亮　曾東明　田聯房　張大明

摘 要： 為了智能地控制手扶電梯的啟停，在扶梯口進行人數統計和大件滯留物品檢測，開發了一種基于IMX6Q處理器的手扶電梯智能視頻監控系統。實現了基于V4L2驅動的視頻采集和基于Qt的視頻顯示，用IMX6Q的硬件編解碼單元VPU對視頻進行H.264編碼保存，搭建嵌入式FTP服務器提供視頻下載的傳輸服務。在扶梯口對運動目標進行檢測與跟蹤，開發智能檢測算法，協助安全人員監控。實驗效果表明該系統的實時性和準確性符合要求。

關鍵詞： 嵌入式系統； 多路視頻監控； 視頻編碼； 運動目標檢測； 人數統計

中圖分類號： TN948.43?34； TP2 文獻標識碼： A 文章編號： 1004?373X（2017）21?0153?05

Design of escalator intelligent video surveillance system based on IMX6

DU Qiliang1， ZENG Dongming1， TIAN Lianfang1， ZHANG Daming2

（1. School of Automation Science and Engineering， South China University of Technology， Guangzhou 510000， China；

2. Hitachi Elevator （Guangzhou） Escalator Co.， Ltd.， Guangzhou 510000， China）

Abstract： In order to control the start and stop of the escalator intelligently， count the number of people and detect the large stranded article at the exit of the escalator， an escalator intelligent video surveillance system based on IMX6Q processor was developed. The video capture based on V4L2 driver and video display based on Qt framework were implemented. The IMX6Q hardware codec unit VPU is used to perform the H.264 encoding and saving for video. The embedded FTP server is built to provide the transmission service of video downloading. The moving object is detected and tracked at the exit of the escalator. The intelligent detection algorithm was developed to assist the security staff for monitoring. The experimental results show that the timeliness and accuracy can meet the system requirements.

Keywords： embedded system； multi?channel video surveillance； video coding； moving object detection； people counting

0 引 言

如今社會人們對安全越來越重視，在生活和工作的許多場所都安裝了監控攝像機。視頻監控已經廣泛應用到安防監控、工業生產、智能交通、環境監測等領域。為了處理海量的視頻數據，緩解安防人員的視覺疲勞，視頻監控技術智能化是未來研究的主流方向[1]。例如，文獻[2]中對視頻監控系統中的摔倒行為進行檢測，預防有可能造成的嚴重后果。文獻[3]中對視頻中的人頭進行檢測并跟蹤，實現了基于人頭的人數統計。

手扶電梯作為運輸工具，在地鐵、商場、火車站等公共場合越來越普及，給人們的出行帶來了極大的便利。不過當扶梯上沒有人時，扶梯仍然持續運行，造成了一定的能源消耗。因此有必要對扶梯進行智能視頻監控，根據行人的有無自動控制扶梯的啟停，同時對扶梯口進行人數統計和大件滯留物品檢測，輔助安全人員進行監控，引導他們注意潛在的興趣區域，使扶梯更加智能化。本文利用恩智浦公司的高性能IMX6Quad芯片，設計了一套針對手扶電梯的智能視頻監控系統。

1 系統整體設計

視頻監控系統中攝像機的安裝如圖1所示。在扶梯的上下樓層板的上方各安置一個垂直向下的攝像機，拍攝扶梯的出入口。扶梯的上樓層板的上方再安置一個攝像機朝向扶梯中部，以一定傾斜的角度從上方拍攝扶梯。監控系統要實現三路視頻的實時采集和顯示，針對扶梯口設計圖像處理算法進行人數統計和大件滯留物品檢測，通過CAN總線接口和扶梯控制器進行通信。根據需要可以對感興趣的視頻進行編碼保存，為了更方便地下載視頻，在嵌入式平臺上面搭建無線接入點（AP）并啟動FTP文件傳輸服務。

1.1 硬件總體設計

硬件部分如圖2所示，視頻監控系統主要由攝像機、TW6865多路視頻采集模塊、USB WiFi模塊、IMX6開發板組成。系統采用IMX6開發板作為硬件平臺，它采用恩智浦公司的ARM Cortex?A9架構的IMX6Quad芯片作為微處理器，具有4個內核，主頻高達1.2 GHz。它支持業界種類繁多的接口標準，擁有強大的2D，3D圖形加速和硬件編解碼能力，將多媒體的性能提升到全新的水平。IMX6視頻處理單元（VPU）是一種高性能的多標準視頻編解碼器引擎，能夠執行多種標準的編碼和解碼操作，完全支持MJPG，MPEG?4，H.263和H.264編碼格式，編碼的速率最高可達30 f/s。endprint

Intersil公司的TW6865芯片是數字視頻記錄和視頻分析應用的一個高度集成的解決方案，它包含了高品質的4通道視頻解碼器。PAL制式的CCD攝像機通過BNC接頭接到TW6865模塊，TW6865實時采集多路模擬視頻信號，再轉換成YCbCr格式的數字信號，并經過Mini PCIe接口傳送到i.MX6開發板。USB WiFi模塊采用的芯片是RTL8188EUS，性能優良且低功耗。觸摸屏是LVDS接口，觸摸方式為電容觸摸，分辨率為1 024×600，用來進行多路視頻顯示。SD卡用于擴展存儲容量，保存本地視頻。

1.2 軟件總體設計

在IMX6開發板上燒錄Linux操作系統，Linux系統的內核版本是3.0.35。燒錄系統之前要進行相應驅動的移植，在內核的驅動代碼里添加TW6865芯片和USB WiFi模塊的驅動程序，修改相應的Makefile和Kconfig文件，然后編譯成內核模塊，在系統開機時會主動加載[4]。在系統里移植OpenCV 2.4.9，方便進行算法設計。

視頻監控系統要求具有良好的實時性和準確性，為了充分利用處理器的4個內核，采用多線程的方法進行軟件設計。系統監控軟件的流程圖如圖3所示，在Qt應用程序中從main主線程派生出三個攝像機子線程和一個CAN總線通信子線程，所有子線程都繼承自Qthread類，在類的run（）函數中執行各自的線程任務。在每個攝像機的線程中實現圖像采集、圖像處理，以及把圖像數據發送給主線程。主線程用來顯示視頻和對界面的按鈕進行響應。CAN總線通信子線程負責和扶梯控制器通信，當扶梯口出現運動物體時啟動扶梯。Linux系統將CAN總線接口當成網絡設備，提供了相應的套接字，極大程度地方便了程序員使用CAN接口。各個線程之間使用Qt的信號和槽機制進行通信[5]。

2 監控系統的軟件設計

2.1 視頻采集

V4L2是Linux系統中針對音、視頻設備文件的驅動模塊。它包含了一系列關于視頻設備的API，用ioctl函數可以很便利地實現視頻采集。本文采用mmap內存映射方式采集，避免了大量的內存拷貝操作，讀取方便，效率較高。V4L2視頻采集的主要步驟如下：

（1） 使用阻塞的方式打開視頻設備文件，獲得文件描述符。

（2） 查詢設備的信息和功能，比如支持的視頻幀的格式有哪些，是否具有視頻輸入的功能等。

（3） 設置視頻幀的格式。在這里，圖像格式為YUYV，視頻幀的寬度為720，高度為576。

（4） 申請幀緩存，數量一般不超過5個。使用mmap函數把幀緩存映射到用戶空間，并將幀緩存全部加入緩存隊列，啟動數據流。

（5） 開始視頻采集。從緩存隊列中取出最先采集的一幀圖像，然后再采集一幀圖像保存到緩存隊列中，從而循環進行視頻采集。需要用到VIDIOC_DQBUF和VIDIOC_QBUF這兩個操作命令。

（6） 關閉數據流，停止視頻采集。釋放分配的緩存區，關閉設備文件。

2.2 H.264硬件編碼

H.264編碼技術相比其他技術具有較高的壓縮性能和較小的失真[6]。為了提高視頻編碼速度，本系統采用H.264硬件編碼，它占用極小的CPU資源，滿足實時性要求。因為VPU的H.264編碼要求原始圖像數據的格式為YUV420，而采集到的圖像數據格式為YUV422，所以在進行編碼之前需要完成格式的轉換，可以通過IMX6的IPU來實現。

IPU是IMX6芯片的圖像處理單元，它可以實現圖像大小調整、旋轉、色彩空間或格式轉換等功能。IPU庫提供三個可操作的連續緩沖區。輸入緩沖區包含待轉換的YUV422格式的數據；輸出緩沖區輸出YUV420格式的數據；覆蓋緩沖區包含要組合的數據。使用IPU編程的主要步驟如下：首先調用open（）函數打開mxc_ipu設備文件，接著設置ipu_task結構體的參數，如輸入輸出圖像數據的格式、寬度和高度等，然后分配輸入輸出的緩存，最后通過系統調用ioctl的IPU_QUEUE_TASK請求來完成轉換工作。

使用VPU編碼流程如圖4所示，具體步驟如下：

（1） 調用vpu_Init（）對VPU的硬件和數據結構進行初始化。

（2） 打開一個編碼器實例。首先調用IOGetPhyMe（）得到物理緩沖區，其次設置編碼操作的參數，包括緩沖區的物理地址，然后通過vpu_EncOpen（）打開一個編碼器實例，最后調用IOGetVirtMem（）得到物理緩沖區的虛擬地址。

（3） 調用vpu_EncGetInitialInfo（）來獲得編碼器所需的幀緩沖區大小，分配幀緩沖區，并調用vpu_EncRegisterFrameBuffer（）向VPU注冊。同時也要為原始數據幀分配緩沖區。

（4） 調用vpu_EncStartOneFrame（）開始進行圖像編碼操作。

（5） 調用vpu_IsBusy（）來判斷編碼操作是否完成，通過vpu_WaitForInt（）等待操作結束。調用vpu_EncGetOutputInfo（）得到圖像編碼的結果。

（6） 若還需對其他幀進行編碼，則重復步驟（4）和步驟（5）。若編碼結束，則釋放分配的緩沖區，并通過vpu_UnInit（）來釋放VPU資源。

2.3 嵌入式FTP服務器

FTP是在網絡中實現信息資源共享的一種通信協議，vsftp是一個基于GPL發布的類Unix系統上使用的FTP服務器軟件，高速穩定且十分安全。通過以下三個步驟在IMX6開發板上搭建FTP服務器。

（1） 利用USB WiFi模塊，在IMX6開發板上面創建無線接入熱點。通過移植hostapd開源軟件可以實現無線熱點，修改其Makefile中CC為arm?none?linux?gnueabi?gcc，然后執行make，把生成的hostapd命令程序拷貝到目標平臺。編輯hostapd.conf文件，設置無線熱點的名字和密碼等，最后啟動hostapd命令來創建無線熱點。endprint

（2） 對無線網卡開啟dhcp服務，為連接該熱點的終端自動分配同一個網段的IP地址。

（3） 移植vsftp，修改其Makefile中CC為arm?none?linux?gnueabi?gcc，在vsf_findlibs.sh腳本文件中注釋掉Look for libcap的部分，然后交叉編譯，把生成的vsftp和vsftp.conf拷貝到IMX6平臺中并做相應的配置，就可以啟動FTP服務器。

用PC機連接無線接入熱點，打開谷歌瀏覽器，在地址欄中輸入IMX6平臺的IP地址192.168.0.22，并進入pub子目錄，就可以看到已經錄制好的視頻，點擊可以下載。FTP視頻下載圖如圖5所示。

3 視頻智能分析

3.1 運動目標檢測與跟蹤

當手扶電梯的運行方向確定時，其上下樓層板的人流方向具有一定的規律性，本文以手扶電梯的出口為對象來進行人數統計和大件滯留物品檢測，系統采用的算法如圖6所示。

在背景建模中，常見的方法有平均背景、碼書背景和高斯背景建模，高斯模型對背景的干擾有一定的抑制，但計算量大，難以滿足實時性要求，本文采用基于YUV空間的碼書背景建模方法[7?8]。在系統開始運行時，對攝像機采集的前[N]幀圖像進行碼書背景建模，用碼書算法對第[N]幀以后的圖像進行運動目標檢測，間隔一定的時間要對碼書模型進行更新，同時刪除那些很少使用的碼本。

通過碼書方法得到當前幀的前景二值圖，干擾較多，需要用形態學的方法進行處理。通過閉運算去除由噪聲引起的孤立點，再通過開運算來填充物體內的空洞。由于樓層板背景的復雜性，前景目標會出現很多不連續的區域，所以開運算的核要大點。在目標分割中，提取前景目標的輪廓，計算每個前景物體的中心位置，可以通過周長或面積去除那些很小的物體。

采用近鄰匹配對物體進行跟蹤，并用卡爾曼濾波算法對目標的位置進行修正。設當前幀的[m]個前景目標記為[Detect={d1，d2，…，dm}，]前面幀被跟蹤的[n]個對象標記為[Track={t1，t2，…，tn}，]匹配的目標是讓[c=i=0mci]最小，其中[ci]為[di]和某個匹配對象[tj]之間的距離。計算每個[di]到[tj]的距離，得到距離代價矩陣cost[n][m]，原來的目標匹配問題可以轉化為分配問題，通過匈牙利算法對cost矩陣可以求得最優的分配。匹配完成之后若匹配的目標之間的距離大于某個閾值，則要去除這組匹配。若Track集合中的某個對象沒有被匹配到，則把該對象的丟失幀數加1，累加到一定值后刪除此對象。把Detect集合中沒有被匹配到的前景目標當成新的跟蹤對象加入Track集合。

每個被跟蹤的目標中都實例化了OpenCV的卡爾曼濾波器類KalmanFilter[9]，進行中心位置預測。設置卡爾曼濾波器的4個狀態變量為[x，y]以及[x]和[y]方向的加速度，測量變量為[x]和[y。]通過卡爾曼濾波預測點的位置，并通過測量值得到目標的最優位置。

3.2 人數統計和滯留物品檢測

記錄每個被跟蹤對象的中心位置的變化，判斷人流的運動方向是否和扶梯的運行方向大體一致，確定行人是否通過并使人流統計量自增。在此引入客流置信變量confi（n），表示第[n]個目標通過扶梯樓層板的置信程度。當中心位置的變化方向符合要求時，置信變量自增。令[T]為人流置信度閾值，當confi（n）>T，判定行人通過并使人流統計量自增。

滯留物品檢測就是在視頻序列中檢測并跟蹤物體，判斷哪些物體在足夠長的時間內保持靜止或微小移動。當一個前景目標在目標區域逗留的時間大于一定的閾值，則可以判斷為大件物品滯留。

4 實驗結果

設置視頻采集的分辨率為720×576，在本地對3路視頻進行實時監控，系統運行穩定，如圖7所示。使用top命令來監視系統運行的狀態，3路視頻采集時系統的CPU占有率約為37.8%。對某路視頻進行H.264編碼并保存，下載視頻，用VLC軟件進行播放，清晰流暢。

對算法進行仿真分析，在感興趣的區域對運動目標進行檢測與跟蹤，部分實驗結果如圖8所示。其中圖8（b）是通過碼書模型得到的前景掩碼。圖8（c）是經過形態學處理得到的前景二值圖。在圖8（a）中，圓的圓心位置代表符合要求的前景目標的質心，正方形的中心是卡爾曼濾波得到的最優位置，旁邊的數字代表是第幾個前景物體。記錄物體運動的軌跡，根據運動的方向來實現人流計數。

對手扶電梯出入口處進行大件物品滯留檢測，部分結果如圖9所示。圖9（a）表示當前幀中進行大件物品滯留檢測的區域，用外接矩形來標記滯留物品。圖9（b）是經過濾波處理的前景二值圖。每幀圖像處理耗時隨著前景物體數量的增加而增加，經測試幀率總體為11 f/s，滿足實時性的要求。

5 結 論

本文針對手扶電梯這種應用場景，提出一種智能監控系統。硬件部分采用高性能IMX6Q處理器和TW6865視頻采集芯片進行設計，軟件部分采用Qt編程框架編寫多路視頻監控程序，重點闡述了視頻采集、視頻編碼、視頻下載、視頻分析四個部分。利用多線程技術和IMX6Q硬件編碼，提高了處理效率。在嵌入式平臺上移植OpenCV并進行算法設計，對扶梯口的運動目標進行檢測和跟蹤，從而進行人數統計和大件滯留物品檢測，讓扶梯具有一定自主識別能力，也輔助安全人員監控，適用于室內環境變化比較穩定的扶梯，具有一定的應用價值。

參考文獻

[1] 黃凱奇，陳曉棠，康運鋒，等.智能視頻監控技術綜述[J].計算機學報，2015（6）：1093?1118.

[2] 白云飛，李瞡，何金龍.基于嵌入式視頻監控的摔倒檢測系統的設計[J].電視技術，2014（15）：231?236.

[3] 張英.基于視頻的實時人數統計關鍵技術的研究[D].杭州：杭州電子科技大學，2013.

[4] 弓雷. ARM嵌入式Linux系統開發詳解[M].北京：清華大學出版社，2014.

[5] BLANCHETTE Jasmin， SUNMERFIELD Mark. C++ GUI Qt 4編程[M].2版.北京：電子工業出版社，2008.

[6] 林海東，余強.基于H264的網絡視頻監控系統設計與實現[J].西華大學學報（自然科學版），2014（2）：22?26.

[7] 趙謙，朱華偉，曾召華，等.一種基于YUV顏色空間的新碼書模型[J].計算機工程與應用，2013（16）：158?161.

[8] 袁國武.智能視頻監控中的運動目標檢測和跟蹤算法研究[D].昆明：云南大學，2012.

[9] PATEL H A， THAKORE D G. Moving object tracking using Kalman filter [J]. International journal of computer science and mobile computing， 2013， 2（4）： 326?332.endprint