基于立體視覺的客流監(jiān)控預(yù)警系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)*

馮化綱

（公安部第三研究所 上海 201204）

1 引言

近年來，我國人員密集場所發(fā)生了一系列的重大安全事故，造成了巨大經(jīng)濟(jì)損失和人員傷亡［1～2］。國內(nèi)外目前在客流聚集風(fēng)險(xiǎn)監(jiān)測技術(shù)應(yīng)用方面只是單獨(dú)考慮影響客流風(fēng)險(xiǎn)的某個側(cè)面，主要以肉眼觀察和現(xiàn)場疏導(dǎo)這兩個方面為主［3］，實(shí)現(xiàn)對客流聚集的自動化監(jiān)測和實(shí)時(shí)預(yù)警勢在必行。

視覺是人類和其他生物認(rèn)知和感知世界的重要途徑。現(xiàn)代科學(xué)表明，人類所感知的客觀世界的信息，80%以上是通過視覺獲得。人類視覺系統(tǒng)主要由雙眼和腦部神經(jīng)組成。雙眼獲得周圍環(huán)境的信息通過神經(jīng)組織傳遞給大腦神經(jīng)組織，大腦神經(jīng)組織根據(jù)先驗(yàn)知識或者經(jīng)驗(yàn)，對得到的信息進(jìn)行分析、計(jì)算以及推理，因此可以理解和識別周圍的空間環(huán)境。圖像包含非常豐富的信息，基于圖像的客流檢測技術(shù)已成為當(dāng)今客流統(tǒng)計(jì)研究中一個十分活躍的新領(lǐng)域，該技術(shù)分為兩大類：一是基于單目視覺［4～5］，二是基于立體視覺［6～10］。單目視覺易受場景中光線變化、陰影等因素的干擾；而立體視覺則可以較好地解決單目視覺存在的問題。

雙目立體視覺（Binocular Stereo Vision）是機(jī)器視覺的一種重要形式，它是基于視差原理并利用成像設(shè)備從不同的位置獲取被測物體的兩幅圖像，通過計(jì)算圖像對應(yīng)點(diǎn)間的位置偏差，來獲取物體三維幾何信息的方法。雙目立體視覺在很多領(lǐng)域均具有應(yīng)用價(jià)值，目前廣泛應(yīng)用于機(jī)器人視覺、自主導(dǎo)航、客流監(jiān)控、涉危涉爆等場合。本文將雙目立體視覺與客流監(jiān)控相結(jié)合，根據(jù)現(xiàn)有的客流監(jiān)控系統(tǒng)存在的問題進(jìn)行了改進(jìn)，設(shè)計(jì)并實(shí)現(xiàn)了基于雙目立體視覺技術(shù)的客流監(jiān)控預(yù)警系統(tǒng)。

2 雙目立體視覺原理

自然界的物體都具有三維信息。三維空間的物體可以很方便地判斷每個物體之間的距離等相互關(guān)系。但是在我們獲得的圖像中，物體的三維信息被壓縮成了二維，這就造成了物體深度信息的丟失。三維重建就是將二維空間的圖像還原到三維空間、建立起真實(shí)場景的過程。而其中最關(guān)鍵的就是還原物體的深度信息。

人眼之所可以在看到物體的同時(shí)還可以判斷物體離自己的距離，是因?yàn)槿说膬芍谎劬牟煌慕嵌瓤赐粋€物體，得到兩幅圖像，大腦根據(jù)兩幅圖像之間的差異進(jìn)行處理就可得到物體離自己的距離。雙目立體視覺就是用兩臺攝像機(jī)模仿人眼獲得左右視圖，不同角度下同一個物體在左右視圖中的位置會有差異，叫做視差。根據(jù)視差利用三角關(guān)系就可以進(jìn)行得到物體離攝像機(jī)的距離，這個距離就是物體的深度信息［11～13］。雙目立體視覺的原理圖如圖所示，其中圖1為原理圖，圖2為簡單示意圖。其中，Ol、Or分別表示同一高度平行放置的兩個攝像機(jī)的光心，攝像機(jī)的光心之間的距離叫做基線距離，記為T。fl、fr表示左右兩個攝像機(jī)的焦距，在實(shí)驗(yàn)條件下fl=fr=f。P表示世界坐標(biāo)系的中一個點(diǎn)，落在像平面上的點(diǎn)分別是Pl（xl，yl）和Pr（xr，yr），兩個像點(diǎn)的橫坐標(biāo)的差xl-xr表示左右視圖的視差，記為d。利用原理中的三角關(guān)系，可得到空間中點(diǎn)P到攝像機(jī)之間的距離Z，如式（1）所示：

圖1 雙目立體視覺原理圖

圖2 雙目立體視覺簡單示意圖

上述參量中，f、T都可以通過攝像機(jī)的標(biāo)定或者測量直接得到，但是視差d需要通過立體匹配計(jì)算得到。

3 系統(tǒng)總體設(shè)計(jì)

本項(xiàng)目采用3D圖像識別技術(shù)，它是一種比較新的尖端技術(shù)，3D圖像傳感器可以識別三個維度的立體數(shù)據(jù)，通過3D傳感器可以對傳感器下方的人體輪廓進(jìn)行立體掃描，首先檢測到人的三維立體輪廓數(shù)據(jù)，類似駝峰形狀的立體發(fā)射面，再通過對3D數(shù)據(jù)的分析計(jì)算，由此可以判斷出通過的人數(shù)。系統(tǒng)根據(jù)歷史客流數(shù)據(jù)和當(dāng)前客流信息，并結(jié)合其它數(shù)據(jù)，對不同時(shí)段和不同區(qū)域客流數(shù)據(jù)進(jìn)行匯總、挖掘、對比與分析，實(shí)現(xiàn)實(shí)時(shí)預(yù)警功能。

人員密集場所由于人員超出正常的客流量，而造成的各類事故越來越多。單元（以下指各類人員密集場所）、區(qū)域（以下指某一大區(qū)域人員密集場所）內(nèi)進(jìn)行準(zhǔn)確的客流統(tǒng)計(jì)顯得很重要。本解決方案采取客流統(tǒng)計(jì)及大數(shù)據(jù)挖掘技術(shù)輸出單元、區(qū)域人數(shù)的超員報(bào)警、區(qū)域內(nèi)特殊單元的預(yù)警提示功能。給各級別安全智能部門提供實(shí)時(shí)的預(yù)警提示功能，增加安全預(yù)警的手段。

單元/區(qū)域內(nèi)內(nèi)安裝一個或多個監(jiān)控終端，每個終端用于監(jiān)控單元/區(qū)域內(nèi)的人員進(jìn)出情況，并實(shí)時(shí)將人員通行情況存入數(shù)據(jù)庫中，后臺系統(tǒng)通過調(diào)用應(yīng)用數(shù)據(jù)接口估算各個單元/區(qū)域的人數(shù)匯總，并通過圖表（柱狀圖、折線圖等）顯示當(dāng)天實(shí)時(shí)客流量監(jiān)控，或通過圖表（柱狀圖、折線圖等）顯示歷史客流量統(tǒng)計(jì)。

4 系統(tǒng)硬件設(shè)計(jì)

客流統(tǒng)計(jì)算法運(yùn)行在客流監(jiān)控終端產(chǎn)品中的高性能數(shù)字信號處理器（DSP）［14～16］上，進(jìn)行實(shí)時(shí)圖像分析。嵌入式客流分析終端中的DSP處理器，實(shí)時(shí)采集視頻圖像，并檢測運(yùn)動目標(biāo)的特征點(diǎn)（Feature Points），然后通過頭肩信息、圓心距等特征對特征點(diǎn)進(jìn)行空域上的聚類（Cluster）和時(shí)域上的匹配，從而檢測并識別行人目標(biāo)。通過對行人目標(biāo)的實(shí)時(shí)雙向跟蹤，可以實(shí)現(xiàn)準(zhǔn)確的計(jì)數(shù)和方向的判定。這些分析功能在終端產(chǎn)品內(nèi)部完成，不需要占用網(wǎng)絡(luò)帶寬，不影響網(wǎng)絡(luò)性能。

客流監(jiān)控終端產(chǎn)品方案框圖見圖3，左邊兩個攝像頭模組組成雙目攝像頭，攝像頭數(shù)據(jù)經(jīng)過視頻解碼后送到高端DSP處理器，高端DSP處理器同時(shí)外接DDRFLASH和RTC等，終端產(chǎn)品對外接口有以太網(wǎng)接口、WIFI接口和電源接口。

圖3 終端產(chǎn)品方案框圖

5 系統(tǒng)軟件設(shè)計(jì)

客流監(jiān)控預(yù)警后臺軟件對客流監(jiān)控終端的數(shù)據(jù)進(jìn)行全面的分析。可根據(jù)歷史客流數(shù)據(jù)和當(dāng)前客流信息，并結(jié)合其他數(shù)據(jù)，對不同時(shí)段和不同區(qū)域客流數(shù)據(jù)進(jìn)行匯總、挖掘、對比與分析，實(shí)現(xiàn)實(shí)時(shí)預(yù)警功能。同時(shí)能夠輸出多種類型圖表，為管理人員提高管理效率和進(jìn)行管理決策提供諸多有價(jià)值的信息。

客流監(jiān)控預(yù)警后臺軟件實(shí)現(xiàn)如下基本功能，其功能結(jié)構(gòu)框圖如圖4所示。

圖4 預(yù)警后臺軟件基本功能

1）實(shí)時(shí)客流量實(shí)時(shí)監(jiān)控

后臺管理系統(tǒng)可通過圖表（柱狀圖、折線圖等）顯示當(dāng)天實(shí)時(shí)客流量監(jiān)控。

2）客流量實(shí)時(shí)預(yù)警

當(dāng)出現(xiàn)超員情況時(shí)，后臺管理系統(tǒng)可通過顏色變化顯示預(yù)警等級，并顯示當(dāng)前實(shí)時(shí)客流量。當(dāng)嚴(yán)重超員和危險(xiǎn)超員時(shí)還可以通過聲音預(yù)警。

3）歷史客流量查看

后臺管理系統(tǒng)可通過圖表（柱狀圖、折線圖等）顯示歷史客流量統(tǒng)計(jì)。

4）系統(tǒng)設(shè)置

主要包括預(yù)警信息設(shè)置、單元/區(qū)域管理、終端設(shè)備管理、用戶管理等功能。

客流監(jiān)控預(yù)警后臺總體架構(gòu)如圖5所示，主要包括終端設(shè)備層、數(shù)據(jù)中心、接口層、應(yīng)用層軟件幾部分。客流監(jiān)控預(yù)警后臺軟件采用B/S架構(gòu)。

圖5 預(yù)警后臺軟件總體架構(gòu)圖

終端設(shè)備層：由多個單元/區(qū)域組成，每個單元/區(qū)域內(nèi)安裝一個或多個監(jiān)控終端，用于該進(jìn)出口實(shí)時(shí)客流量統(tǒng)計(jì)。

數(shù)據(jù)中心：由應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、防火墻、交換機(jī)等硬件設(shè)備組成。服務(wù)器上有數(shù)據(jù)庫、發(fā)布的接口應(yīng)用程序等。

接口層：用于接收終端設(shè)備上傳的實(shí)時(shí)客流量統(tǒng)計(jì)，并進(jìn)行客流預(yù)警計(jì)算。且為客流監(jiān)控預(yù)警后臺軟件提供實(shí)時(shí)/歷史客流量數(shù)據(jù)。

應(yīng)用層：為面向用戶的窗口，為用戶提供客流量實(shí)時(shí)監(jiān)控、客流量實(shí)時(shí)預(yù)警、歷史客流量查詢、系統(tǒng)管理等幾個功能。

6 實(shí)驗(yàn)結(jié)果與分析

在該實(shí)驗(yàn)中，客流監(jiān)控終端產(chǎn)品安裝在人員密集場所出入口的正上方，距離地面2.5m高的位置，垂直于地面，自上而下對進(jìn)出人員的頭肩輪廓成像，實(shí)現(xiàn)客流統(tǒng)計(jì)。系統(tǒng)客流統(tǒng)計(jì)實(shí)現(xiàn)過程如圖6所示。

圖6 客流統(tǒng)計(jì)實(shí)現(xiàn)過程

所有出入口的客流統(tǒng)計(jì)數(shù)據(jù)都傳輸?shù)胶笈_軟件，這樣系統(tǒng)就可以實(shí)現(xiàn)對人員密集場所客流密度的實(shí)時(shí)監(jiān)控和預(yù)警。實(shí)驗(yàn)中使用的鏡頭焦距為6mm，所拍攝圖像的分辨率為720×576。終端產(chǎn)品中的DSP同時(shí)使用A、B通道采集兩路視頻，DSP嵌入式程序?qū)陕芬曨l解碼芯片的配置是完全相同的。因此，兩路視頻圖像基本是同步采集的。

一般的人體高度處于1.2m～2m之間，而終端產(chǎn)品雙目攝像機(jī)距離地面的高度為2.5m，所以人體目標(biāo)的深度值處于0.5m～1.3m之間。本系統(tǒng)結(jié)合運(yùn)動目標(biāo)的深度信息，判斷其深度值是否在設(shè)定的范圍內(nèi)，從而能夠有效地判斷是否有人體通過。

在整個測試過程中，本文統(tǒng)計(jì)的是在15min內(nèi)經(jīng)過檢測區(qū)域的人數(shù)，本次實(shí)驗(yàn)從5個不同的時(shí)刻開始，從而統(tǒng)計(jì)了5個15min內(nèi)經(jīng)過的人數(shù)，從而計(jì)算客流統(tǒng)計(jì)的準(zhǔn)確率，其結(jié)果分析如表1所示。

表1 實(shí)驗(yàn)結(jié)果數(shù)據(jù)

通過上表可以看出，利用本文設(shè)計(jì)的方法進(jìn)行客流統(tǒng)計(jì)的平均準(zhǔn)確率可以達(dá)到96.5%。

7 結(jié)語

主要探討了基于立體視覺技術(shù)的客流監(jiān)控預(yù)警系統(tǒng)的設(shè)計(jì)方案和實(shí)現(xiàn)方法。該系統(tǒng)采用3D圖像識別技術(shù)，用于實(shí)時(shí)客流統(tǒng)計(jì)和監(jiān)控預(yù)警。研究表明：該方案有效排除了一些非人員因素的干擾，解決了并排問題，大大提高了客流統(tǒng)計(jì)和監(jiān)控預(yù)警的準(zhǔn)確度；實(shí)現(xiàn)了人員高度過濾技術(shù)，可以自定義設(shè)置需要過濾計(jì)數(shù)的人員高度；采用非接觸式統(tǒng)計(jì)，裝置安裝隱蔽性好，不影響進(jìn)出人員的感受。