基于計(jì)算機(jī)視覺(jué)的網(wǎng)約車(chē)車(chē)載智能監(jiān)控系統(tǒng)研究

鐘建勇 沈哲 孫何濤

關(guān)鍵詞：計(jì)算機(jī)視覺(jué);網(wǎng)約車(chē);車(chē)載監(jiān)控;人臉檢測(cè)

1緒論

隨著網(wǎng)約車(chē)數(shù)量劇增，覆蓋時(shí)段、覆蓋區(qū)域也大大增加，乘車(chē)安全問(wèn)題逐漸涌現(xiàn)，這告訴我們，現(xiàn)有的安全措施只能“亡羊補(bǔ)牢”，真正的安全是要做到“未雨綢繆”，將傷害控制在危險(xiǎn)發(fā)生之前。然而某網(wǎng)約車(chē)軟件內(nèi)置的一鍵報(bào)警、添加緊急聯(lián)系人等防范措施在一些受限環(huán)境下并不能有效阻止傷害的發(fā)生，同時(shí)，現(xiàn)階段的車(chē)載監(jiān)控系統(tǒng)往往只起到事后查證的作用，對(duì)正在發(fā)生的危險(xiǎn)并不能進(jìn)行智能預(yù)警。因而我們亟須一種網(wǎng)約車(chē)智能安防監(jiān)控系統(tǒng)，來(lái)對(duì)車(chē)內(nèi)發(fā)生的異常行為進(jìn)行實(shí)時(shí)的智能研判，從而避免安全事故的發(fā)生。

基于上述分析，本文開(kāi)發(fā)了一種基于計(jì)算機(jī)視覺(jué)的網(wǎng)約車(chē)車(chē)載智能監(jiān)控系統(tǒng)，處理不同條件下的異常行為，包括背景變化、主體數(shù)量（個(gè)人、兩個(gè)人或更多人）以及一系列不同的異常人類(lèi)活動(dòng)，通過(guò)視頻圖像采集，結(jié)合人工智能算法對(duì)車(chē)內(nèi)高度異常行為進(jìn)行實(shí)時(shí)監(jiān)控，當(dāng)有危險(xiǎn)發(fā)生可迅速進(jìn)行人工干預(yù)并自動(dòng)報(bào)警，及時(shí)避免危險(xiǎn)，有效保障網(wǎng)約車(chē)司機(jī)和乘客的人身財(cái)產(chǎn)安全。

2系統(tǒng)概述

針對(duì)網(wǎng)約車(chē)智能監(jiān)控系統(tǒng)缺失，現(xiàn)有監(jiān)控設(shè)備僅有記錄功能，并不能有效保障乘車(chē)和駕駛員行車(chē)安全的問(wèn)題，本文開(kāi)發(fā)了一種基于計(jì)算機(jī)是覺(jué)得網(wǎng)約車(chē)車(chē)載智能監(jiān)控系統(tǒng)，通過(guò)一個(gè)基于嵌入式技術(shù)的車(chē)載終端實(shí)時(shí)采集網(wǎng)約車(chē)車(chē)內(nèi)數(shù)據(jù)，利用4G/5G網(wǎng)絡(luò)上傳至數(shù)據(jù)中心服務(wù)器進(jìn)行匯聚和分析，在服務(wù)器中，自主研發(fā)并部署了人臉檢測(cè)、車(chē)內(nèi)異常行為檢測(cè)等計(jì)算機(jī)視覺(jué)技術(shù)模塊，可以實(shí)時(shí)可靠的對(duì)網(wǎng)約車(chē)內(nèi)的異常行為進(jìn)行分析預(yù)警，從而有效保障司機(jī)和乘客的人身安全。系統(tǒng)總體設(shè)計(jì)框架如圖1所示。

3系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)

3.1系統(tǒng)硬件設(shè)計(jì)

在車(chē)載數(shù)據(jù)采集終端的設(shè)計(jì)上，采用四代RaspherryPi，其中，主控芯片使用的是博通BCM2711（四核1.5GHz，Cortex A72架構(gòu)），通信采用SIM7600CE通信模塊，上行最大速率50Mbps，下行最大速率150Mbps，支持TCP/IP、PPP通信協(xié)議。SIM7600CE和處理器的USB2口直接相連，工作電壓4.2V，借助4G無(wú)線(xiàn)通信模塊強(qiáng)大的數(shù)據(jù)傳輸能力實(shí)時(shí)的和數(shù)據(jù)中心服務(wù)器進(jìn)行通信。北斗定位模塊采用NEO-M8T模塊，該模塊同時(shí)支持北斗、GPS獨(dú)立定位和多系統(tǒng)聯(lián)合定位，選用串口通信的方式和BCM2711處理器進(jìn)行通信，車(chē)載終端實(shí)物如圖2所示。

3.2系統(tǒng)軟件設(shè)計(jì)

3.2.1人臉檢測(cè)模塊

人臉檢測(cè)模塊采用了經(jīng)典的Harr-like特征+Adaboost分類(lèi)器的解決方案，并針對(duì)車(chē)內(nèi)環(huán)境增加了人臉正負(fù)樣本數(shù)據(jù)集，通過(guò)對(duì)候選區(qū)域進(jìn)行積分圖計(jì)算，快速計(jì)算Har-like特征，并利用AdaBoost算法將Hat-like特征生成的弱分類(lèi)器疊加成為強(qiáng)分類(lèi)器，再將多個(gè)強(qiáng)分類(lèi)器級(jí)聯(lián)組成更強(qiáng)有力的人臉檢測(cè)分類(lèi)器。同時(shí)，為了保證人臉檢測(cè)的實(shí)時(shí)性，本文僅采用如圖3所示的一維Haar-like特征。

級(jí)聯(lián)結(jié)構(gòu)人臉檢測(cè)分類(lèi)器的每一級(jí)都采用AdaBoost算法進(jìn)行訓(xùn)練。通過(guò)AdaBoost習(xí)算法將Harr-like特征生成的弱分類(lèi)器疊加成為強(qiáng)分類(lèi)器，使之具有很強(qiáng)的泛化能力。

具體訓(xùn)練算法如下：

（1）給定n個(gè)樣本圖像（x，y），（x2，y2），…，（x，yn），x是輸入樣本圖像，y是類(lèi)別標(biāo)志。其中，y=0，1分別表示為非人臉樣本和人臉樣本。

（2）初始化權(quán)重：

3.2.2異常行為檢測(cè)模塊

考慮到算法的實(shí)時(shí)性和準(zhǔn)確性，本文采用幀問(wèn)差分結(jié)合單個(gè)像素點(diǎn)平均變化值對(duì)兩幀問(wèn)的異常行為進(jìn)行監(jiān)控，同時(shí)引入自適應(yīng)閾值算法，當(dāng)幀間單個(gè)像素點(diǎn)變化值大于畫(huà)面的像素平均變化值時(shí)，就認(rèn)為該像素點(diǎn)為異常像素點(diǎn)。當(dāng)異常像素點(diǎn)大于全部圖像像素點(diǎn)的1/2時(shí)，觸發(fā)異常行為預(yù)警。若行車(chē)途中未發(fā)生異常行為，則不觸發(fā)異常行為預(yù)警，始終為正常狀態(tài)（Normal）。若行車(chē)途中發(fā)生異常行為，異常行為預(yù)警自動(dòng)觸發(fā)（Abnormal），位置、圖像等數(shù)據(jù)發(fā)送至數(shù)據(jù)中心服務(wù)器進(jìn)行后續(xù)處理。

3.2.3上位機(jī)圖形界面設(shè)計(jì)

本文上位機(jī)圖形界面采用Qt和c++使用QT Creator進(jìn)行開(kāi)發(fā)，主要包含登錄數(shù)據(jù)中心服務(wù)器、實(shí)時(shí)查看當(dāng)前車(chē)載終端隋況以及一鍵報(bào)警燈功能。上位機(jī)圖形界面設(shè)計(jì)如圖4所示。

4實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所述方法的效果，使用python作為開(kāi)發(fā)語(yǔ)言，結(jié)合OpenCV以及sldearn等模塊，對(duì)攝像頭采集到的普通光照下的人臉數(shù)據(jù)進(jìn)行實(shí)時(shí)跟蹤實(shí)驗(yàn)。操作系統(tǒng)為Windows10，CPU為Intel 17 7700，3.6GHz，16GB DDR4 2666內(nèi)存，攝像頭為500萬(wàn)像素ov5647型號(hào)，采集分辨率為2592x1944像素。系統(tǒng)采用OpenCV+sklearn技術(shù)方案重新訓(xùn)練了人臉檢測(cè)器，無(wú)論是車(chē)內(nèi)有幾人都可以較好的檢出人臉，在只有駕駛員一人時(shí)，系統(tǒng)為監(jiān)控狀態(tài)（Monitoring mode），當(dāng)有乘客上車(chē)，系統(tǒng)會(huì)自動(dòng)切換為預(yù)警狀態(tài)（Alert mode），對(duì)車(chē)內(nèi)情況進(jìn)行實(shí)時(shí)分析，如圖5所示。

5結(jié)論

針對(duì)當(dāng)前網(wǎng)約車(chē)車(chē)載監(jiān)控系統(tǒng)只能事后回溯，無(wú)法實(shí)時(shí)處理數(shù)據(jù)的問(wèn)題，本文提出了一種基于計(jì)算機(jī)視覺(jué)的網(wǎng)約車(chē)車(chē)載智能監(jiān)控系統(tǒng)。首先使用基于Haar-like特征的人臉檢測(cè)器遍歷圖像，記錄車(chē)內(nèi)人員數(shù)量，然后使用幀間差分算法對(duì)車(chē)內(nèi)異常行為進(jìn)行智能識(shí)別。實(shí)驗(yàn)結(jié)果表明，本文所提方法能準(zhǔn)確檢測(cè)人臉并輸出車(chē)內(nèi)異常情況，有力保障了網(wǎng)約車(chē)行車(chē)安全。