無線視頻監(jiān)控系統(tǒng)人臉跟蹤功能的實現(xiàn)

周岳斌，楊 沫，曹煜暉

(湖北文理學院機械工程學院，湖北 襄陽 441053)

0 引言

視頻監(jiān)控系統(tǒng)廣泛應用于工廠生產(chǎn)、交通、行政辦公大樓和家庭安防等各領域[1-2]。早期的模擬視頻監(jiān)控方式是通過攝像頭獲取圖像，然后在顯示器上顯示。雖然可以監(jiān)測小范圍區(qū)域內情況，但局限性太大，排查和維護也比較費時費力；而且視頻存儲一般是在盒式錄像帶中，無法滿足快速查看。近年來，數(shù)字視頻監(jiān)控得到了前所未有的發(fā)展，嵌入式網(wǎng)絡視頻監(jiān)控漸漸走入大眾視野，各個領域的視頻技術都有所提高，同時視頻監(jiān)控支持的功能越來越多，相應監(jiān)控產(chǎn)品的研發(fā)、制造和應用已經(jīng)成為行業(yè)發(fā)展的方向和新增長點，視頻監(jiān)控系統(tǒng)逐步向移動化、全數(shù)字化、智能化方向發(fā)展。目前，視頻監(jiān)控系統(tǒng)主要有2類：一種是以數(shù)控硬件存儲錄像數(shù)據(jù)為核心的視頻監(jiān)控系統(tǒng)；另一種是基于嵌入式實時多任務操作系統(tǒng)，以嵌入式Web服務器為核心的視頻監(jiān)控系統(tǒng)[3-5]。

為實現(xiàn)高質量高智能化的視頻監(jiān)測，通過計算機視覺技術將圖像處理與人臉識別的相關算法結合到監(jiān)控系統(tǒng)中，設計了一種具有人臉跟蹤功能的無線視頻監(jiān)控系統(tǒng)，具有視頻采集、人臉識別和傳輸?shù)榷喾N功能。系統(tǒng)利用MicroPython計算機視覺庫，對采集的圖像進行濾波處理，實現(xiàn)更優(yōu)質圖像效果，可滿足對于監(jiān)測場景的智能高效分析。采用卷積神經(jīng)網(wǎng)絡模型(convolutional neural network,CNN)進行機器學習和人臉識別，然后將整理后的監(jiān)控圖像以網(wǎng)絡通信方式傳輸?shù)绞謾C終端，進行實時監(jiān)控，同時驅動舵機云臺進行人臉追蹤[6]。

1 總體方案

系統(tǒng)結構如圖1所示，主要包括圖像采集模塊、主控模塊、舵機控制器模塊、舵機云臺模塊、Wi-Fi通信模塊、報警模塊和客戶端。圖像采集模塊將采集的視頻數(shù)據(jù)進行處理與識別，然后通過Wi-Fi通信模塊將處理后的視頻數(shù)據(jù)傳輸至客戶端，實現(xiàn)實時監(jiān)控的功能。當識別到人臉后，主控模塊將識別的人臉位置信息傳輸至驅動模塊。通過解碼處理，驅動模塊將接收到的位置信息轉變?yōu)槎鏅C的控制信息傳輸至舵機云臺，實現(xiàn)同步控制，同時驅動報警模塊報警[7]。

圖1 系統(tǒng)結構

2 硬件設計

圖像采集模塊采用MT9V034光感芯片，MT9V034具有全局快門和高動態(tài)范圍操作。在全局快門的模式下，可拍攝清楚高速運動中的物體，避免了運動模糊對系統(tǒng)產(chǎn)生的影響。MT9V034對于6 μm大小的像素，其有源成像像素陣列為752 H×480 V，能夠達到60幀/s的圖像采集速度。MT9V034可通過簡單的雙線串行接口進行編程，可設置幀大小、曝光時長、增益等參數(shù)。默認模式以 60幀/s的速度輸出寬VGA大小的圖像。

主控模塊采用OpenMV4控制板，OpenMV4是一款低價、可擴展、易于開發(fā)的機器視覺模塊。搭載了MicroPython解釋器，可在嵌入式芯片上運行Python3對底層進行編程。其核心芯片為ARM Cortex_M7系列的STM32H743VI，主頻為400 MHz，運行內存為1 MB，有2 MB的Flash。所有的I/O引腳輸出為3.3 V并且有5 V電壓耐受。OpenMV4提供的μSD卡槽擁有100 Mbit/s讀寫速度，為監(jiān)控視頻提供存儲單元。OpenMV4有1個SPI總線，速度高達54 Mbit/s，可將OpenMV4提取的圖像流數(shù)據(jù)傳給Wi-Fi通信模塊；此外，OpenMV4還有1個I2C總線、1個CAN總線、1個異步串口總線，可用來與舵機控制器模塊通信[8]。

Wi-Fi通信模塊采用Microchip公司ATWINC 1500，該芯片是IEEE 802.11b/g/n IoT網(wǎng)絡控制器SoC。通過SPI連接到OpenMV4實現(xiàn)Wi-Fi和網(wǎng)絡功能。ATWINC 1500以最少的資源要求連接到任何AVR和SMART MCU。ATWINC 1500可提供高達72 Mbit/s的PHY吞吐量，具有完全集成的功率放大器、LNA、開關和電源管理。ATWINC 1500還提供內部閃存和多個外設接口，包括UART和SPI接口。ATWINC 1500的視頻流傳輸速度可達48 Mbit/s，能有效提高網(wǎng)絡視頻監(jiān)控的實時性，可通過OpenMV4固件內部的network module進行編程控制。利用MicroPython的BSD socket網(wǎng)絡接口與TCP/UDP協(xié)議進行數(shù)據(jù)的發(fā)送和接收，省去了寫底層驅動的環(huán)節(jié)[9-10]。

舵機控制器與云臺模塊采用以STM32單片機為處理核心的Pyboard控制板,作為舵機云臺控制器。Pyboard是一個運行MicroPython解釋器功能強大的開發(fā)板，可在Windows、Mac和Linux平臺上做程序開發(fā)。MicroPython是對Python編程語言的完全重寫，以適應在微控制器上的運行。它包括許多軟件配置的優(yōu)化，以便有效運行并使用非常少的RAM。MicroPython實際上是運行在Pyboard上的一個操作系統(tǒng)，其內置的pyb庫包含了控制電路板上基本所有可用外設的功能和類，如UART、SPI、I2C、ADC和DAC。縮短了嵌入式程序調試開發(fā)的時間周期。Pyboard通過Micro USB連接到PC端，可通過USB閃存驅動器實現(xiàn)保存與修改Python程序腳本的功能。

人臉追蹤即攝像頭的視野方位跟隨人臉做實時調整，當人要走出攝像頭視野范圍的時候，攝像頭云臺會自動調整攝像頭的角度來跟隨人臉的位置。為實現(xiàn)人臉追蹤的功能，系統(tǒng)通過1塊Pyboard開發(fā)板控制2個SG90舵機以調整攝像頭視野方位。一個舵機實現(xiàn)俯仰的角度調整(俯仰范圍0～90°)，另一個舵機實現(xiàn)方位的角度調整(方位范圍0～180°)。

3 軟件設計

系統(tǒng)軟件設計主要包括2部分：一部分是主控模塊的程序設計，負責圖像采集、人臉識別、人臉位置計算和視頻文件打包的功能；另一部分是舵機控制器模塊的程序設計，主要負責云臺控制。

系統(tǒng)工作流程如下：

a.采用高靈敏度高性能感光元件MT9V034采集監(jiān)測區(qū)域信息。

b.利用訓練好的改進卷積神經(jīng)網(wǎng)絡(CNN)識別圖像里面的人臉。如果識別到人臉，則在圖像里將人臉標注，然后將標注后的圖像通過SPI協(xié)議傳輸給ATWINC 1500 Wi-Fi通信模塊，且將人臉與攝像頭的相對位置轉換成舵機偏轉角度以串口通信的方式發(fā)送給Pyboard控制模塊。如果沒有識別到人臉，則直接將圖像通過SPI協(xié)議傳輸給ATWINC 1500 Wi-Fi通信模塊。實現(xiàn)實時顯示的功能。

c.在識別到人臉的情況下，Pyboard控制板會驅動報警模塊報警，同時會將接收到的舵機偏轉角度轉換成對應的PWM脈沖調制信號，通過PID算法控制俯仰電機與方位電機的偏轉動作，實現(xiàn)人臉實時追蹤。當沒有識別到人臉時，Pyboard控制板則會停止PWM脈沖調制信號的輸出。

d.ATWINC 1500的Wi-Fi通信模塊初始化時自動被設置成ap模式(熱點模式)，終端設備可以通過連接Wi-Fi的方式連接到ATWINC 1500創(chuàng)建的網(wǎng)絡。用戶可以在瀏覽器中輸入預先設定好的IP網(wǎng)址，來查看OpenMV4提供的視頻信息。

4 算法與驗證

4.1 卷積神經(jīng)網(wǎng)絡結構

人臉識別算法采用圖2所示的改進卷積神經(jīng)網(wǎng)絡結構[11-12]。第1層是臉部圖像輸入層，像素規(guī)格為32×32。第2層是擁有20個大小為14×14特征圖的卷積層，采用20個大小為5×5的濾波器來提取圖片特征。第3層為擁有45個大小為5×5特征圖、步長為2×2的卷積層，用來進一步提取特征，即進一步抽象圖片。第4層為有240個神經(jīng)元的全連接層，其作用是通過從圖片中提取的特征識來別人臉，后面是ReLU激活層與dropout遺忘層，用來激活神經(jīng)元與防止過擬合現(xiàn)象。第5層為全連接層，具體神經(jīng)元個數(shù)按人數(shù)來定。最后一層分類器采用非線性分類能力更強的softmax分類器[13-14]。

圖2 卷積神經(jīng)網(wǎng)絡結構

4.2 實驗數(shù)據(jù)及預處理

實驗數(shù)據(jù)采用AR面部數(shù)據(jù)庫，包含了116人的3 288張臉部圖像，其像素大小為120×165，且面部表情、光照強度和遮擋層度都有所不同。因為AR數(shù)據(jù)庫里的圖片都是人為事先處理好的灰度化圖片數(shù)據(jù)庫，所以在將數(shù)據(jù)喂入神經(jīng)網(wǎng)絡之前,不必進行常規(guī)的高斯濾波處理等其他降噪處理。但在實驗之前，需要將圖片按神經(jīng)網(wǎng)絡架構進行調整，然后才能喂入網(wǎng)絡中進行訓練。

通過image庫的resize函數(shù)將圖片的尺寸縮小至神經(jīng)網(wǎng)絡的入口尺寸32×32。其python語句為：img=image.resize(get_image,(32,32))。其中img為結果變量，其尺寸為32×32；resize為image庫的尺寸修改函數(shù)，用來改變任意尺寸的圖片至指定規(guī)格；get_image為從AR數(shù)據(jù)庫里抽取的1張圖像。

將灰度值控制在[0,1]之間。神經(jīng)網(wǎng)絡在訓練的過程中，計算數(shù)據(jù)量非常龐大，因此在數(shù)據(jù)輸入之前需將數(shù)據(jù)扁平化，從而減小處理器的計算負擔。因為AR庫圖片每個像素點的值位于[0,255]之間，因此將每個像素點的值除以255即可將圖片的像素點壓縮至[0,1]之間。最終進行OpenMV4模塊的視頻流測試，C1層、C2層、特征維數(shù)分別采用20、45、240的參數(shù)配置。

5 系統(tǒng)測試

5.1 人臉識別測試

首先對OpenMV4主控模塊做數(shù)據(jù)流人臉識別測試。由于OpenMV4是以MicroPython翻譯器為操作系統(tǒng)的開發(fā)板，因此只需要將訓練好的神經(jīng)網(wǎng)絡文件燒錄到開發(fā)板內存，然后調用MicroPython固件庫中自帶的sensor庫來設置攝像頭的一系列參數(shù)，如圖片尺寸、灰度或彩色圖、白平衡、曝光時長等。

接著將提取的圖片通過訓練好的神經(jīng)網(wǎng)絡識別有無人臉圖像。如果檢測到人臉，則采用image庫的繪圖功能將人臉標注出來；如果沒有，則不做處理；最后以USB數(shù)據(jù)線將圖像傳輸至電腦端顯示。

5.2 人臉追蹤測試

Pyboard開發(fā)板同時控制2個SG90舵機模塊來實現(xiàn)人臉追蹤。Pyboard通過輸出PWM來實現(xiàn)對SG90舵機云臺的控制，不同占空比與不同的脈沖寬度對應著SG90舵機的不同角度位置。經(jīng)過測試，SG90具體角度控制參數(shù)如表1所示。

表1 SG90角度控制參數(shù)

為了測試微控制器輸出不同PWM所對應的舵機角度，設定輸出脈沖頻率為50 Hz，即基脈沖為20 ms，分別給方位舵機0.5 ms、1.5 ms、2.5 ms的高電平脈沖，方位舵機對應方位如圖3所示；分別給俯仰舵機0.5 ms、1.0 ms、1.5 ms的高電平脈沖，俯仰舵機對應俯仰角度如圖4所示；不同角度的人臉跟蹤測試效果如圖5所示。

圖3 不同PWM方位舵機對應方位

圖4 不同PWM俯仰舵機對應俯仰角度

圖5 不同角度的人臉跟蹤測試

5.3 網(wǎng)頁顯示測試

網(wǎng)頁顯示功能是OpenMV4模塊通過SPI通信協(xié)議控制ATWINC 1500通信模塊來實現(xiàn)。

測試步驟如下：

a.將ATWINC 1500通信模塊與OpenMV4主控模塊連接，然后為燒錄好程序的OpenMV4模塊供電，這時2個模塊會自動進行系統(tǒng)初始化，OpenMV4主控模塊的LED燈會先閃紅燈然后亮白燈最后亮綠燈，表示初始化完畢。

b.用手機或電腦端連接名為OpenMV4的Wi-Fi網(wǎng)絡，輸入預先設置的密碼(可在程序里面修改)。

c.打開瀏覽器，在瀏覽器里輸入192.168.1.1:8080網(wǎng)站。前面的192.168.1.1為ATWINC 1500模塊的IP地址，后面的8080為端口號。

d.等待接入成功后，網(wǎng)頁就會顯示此時攝像頭正在拍攝的監(jiān)控視頻。

6 結束語

采用嵌入式處理器為核心的無線視頻監(jiān)控系統(tǒng)，利用MicroPython計算機視覺庫進行圖像處理，無線圖像傳輸提升了監(jiān)控系統(tǒng)的靈活性與實時性，省去了大量布線工作，只要Wi-Fi模塊連接到路由器就可以查看監(jiān)控圖像。同時，人臉追蹤功能也提高了視頻數(shù)據(jù)的有效性和監(jiān)控安全性。系統(tǒng)結合了嵌入式、網(wǎng)絡化和圖像處理技術的優(yōu)勢，具有智能化的操作管理，實現(xiàn)了小體積、低成本和高可靠性的視頻監(jiān)控功能。