保護電梯門的動態(tài)圖像識別方法

呂新知，谷明非，宋世杰，宮大為

（1.中國核動力研究設(shè)計院，四川成都 610213；2.電子科技大學(xué)機械與電氣工程學(xué)院，四川成都 611731）

0 引言

電梯給人們生活帶來了便利，電梯門作為直接與用戶接觸最多的部件之一，其保護系統(tǒng)在電梯安全運行中起著十分重要的作用。現(xiàn)有的門保護技術(shù)［1-2］主要包括：①機械安全觸板等接觸式保護方法；②光電式、紅外線光幕式等非接觸式保護方法。前一種方法弊端主要存在對行動不便的人進出電梯時造成困擾；后一種方法無論是二維式還是三維式保護，保護范圍都有局限性，存在死角。隨著科技的發(fā)展，電梯門保護系統(tǒng)要求更高，不僅要安全性、可靠性高，還要反應(yīng)快速、智能性好。

近年來，圖像處理技術(shù)在工業(yè)領(lǐng)域廣泛應(yīng)用［3-5］，為電梯檢測系統(tǒng)提供了新的發(fā)展思路，相關(guān)研究有：Liu 等［6］設(shè)計了一種基于圖像的電梯人數(shù)計數(shù)算法用于電梯控制，減少了電梯的等待時間和非必要停止次數(shù)；湯一平等［7］提出一種基于計算機視覺的電梯內(nèi)防暴力智能視頻監(jiān)控方法；黃穎昭［8］對電梯轎廂空間占用識別系統(tǒng)展開研究；張雷等［9］將機器視覺技術(shù)應(yīng)用于電梯的超載檢測，提高了電梯的輸送效率和智能化程度；Zou 等［10］將圖像處理技術(shù)應(yīng)用于電梯的過載檢測，檢測正確率達到了91.7%；葉凱［11］利用圖像處理技術(shù)對電梯轎廂的擁擠度進行識別；金曉磊等［12］采用隨機Hough 算法對電梯監(jiān)控視頻圖像中的人數(shù)進行識別；Zhao 等［13］提出一種基于圖像的電梯人流量檢測方法，該方法可對電梯門狀態(tài)、電梯的運行狀態(tài)以及電梯中的人數(shù)進行圖像識別。上述文獻表明，針對電梯應(yīng)用場景的圖像技術(shù)主要集中在過載檢測和人數(shù)檢測上，而針對電梯門保護的圖像識別方法較少，電梯門保護的圖像識別技術(shù)更強調(diào)動態(tài)圖像識別以及識別的實時性。

將圖像識別技術(shù)應(yīng)用于電梯門保護系統(tǒng)主要存在以下3 個局限性：①圖像的信息量大，對系統(tǒng)響應(yīng)速度要求高；②數(shù)字圖像中各個像素不獨立，相關(guān)性大；③圖像處理技術(shù)綜合性強。因此，目前尚無成熟產(chǎn)品投放市場。

本文對比國內(nèi)外技術(shù)發(fā)展水平，針對物體進出轎廂不易被準確識別的難點，圍繞上述3 個問題展開分析，建立一套動態(tài)目標圖像識別方法。結(jié)合電梯關(guān)門的圖像特征進行實時圖像處理算法研究，搭建試驗平臺，并通過仿真試驗進行驗證。

1 電梯門保護系統(tǒng)架構(gòu)

通過一個安裝在電梯轎廂上靠近轎廂門的圖像傳感器，拍攝電梯門間以及在門入口一塊區(qū)域內(nèi)的圖像，通過主控芯片對圖像進行處理，給出開關(guān)門信號。系統(tǒng)硬件框架如圖1 所示。

Fig.1 Elevator door protection system圖1 電梯門保護系統(tǒng)架構(gòu)

電梯門保護系統(tǒng)主要分為圖像采集模塊、主控電路模塊、存儲模塊、數(shù)據(jù)通信模塊、人機交互模塊、電源和系統(tǒng)復(fù)位模塊。

主要實現(xiàn)過程：圖像信號采集模塊實時提取電梯門區(qū)的圖像數(shù)據(jù)，主控芯片將圖像數(shù)據(jù)進行處理并保存至存儲模塊供下一次圖像對比，同時將信號處理結(jié)果顯示于人機交互模塊，最后將梯門啟動信號經(jīng)過通訊模塊觸發(fā)。

2 動態(tài)圖像特性算法

設(shè)一幅數(shù)字圖像有M行和N列，原點坐標是（0，0）。以f（x，y）表示坐標為（x，y）位置點的圖像灰度值，則整幅圖的灰度值可表示為：

對電梯門間圖像進行動態(tài)目標檢測時，為了提升計算效率，常常將灰度圖像轉(zhuǎn)化為二值圖像處理，即像素灰度級非1 則0。

2.1 改進的中值濾波圖像預(yù)處理方法

在對電梯門間圖像進行預(yù)處理時，如果平滑濾波不當就會丟失圖像本身的細節(jié)，如電梯門邊界輪廓、線條等變得模糊不清，從而對圖像的后期處理帶來困難。一般在圖像的平滑過程中既要控制圖像的噪聲，又要盡可能保持圖像的細節(jié)［14-16］。

中值濾波的輸出像素是由鄰域圖像的中間值決定的，因而中值濾波主要作用就是對周圍像素灰度值差別較大的像素重新賦值，成為與其周圍像素灰度值接近的值，從而消除孤立的噪聲點。中值濾波用數(shù)學(xué)公式表示如下：

式中，A 為窗口，g（m，n）為窗口的灰度中值，f（m-k，nl）為窗口A 內(nèi)各點的像素灰度值。

傳統(tǒng)的中值濾波算法中，窗口每次移動都要進行一次排序，以3x3 的窗口為例，傳統(tǒng)的中值濾波法需要36 次比較排序，這種做法實際上包含了大量重復(fù)比較的過程。本文算法以3x3 的窗口為例，窗口內(nèi)像素的排列如下：

經(jīng)過9 次比較可得：第1、2、3 列最大值記為Max（hi，1），Max（hi，2），Max（hi，3）；第1、2、3 列中值記為Med（hi，1），Med（hi，2），Med（hi，3）；第1、2、3 列最小值記為Min（hi，1），Min（hi，2），Min（hi，3），排除6 個非中值元素后可得：

由上式可得3x3 的窗口中值：

若在此時移向下一個窗口，只需要將新加入的一列｛N1，N2，N3｝代替原窗口的最左邊列｛X11，X21，X31｝即可。對新加入列進行排序操作：

這里3 次比較后需要使用前一次比較的排序結(jié)果，去除肯定非中值的6 個元素，對最后的3 個元素取中值，此即為本次窗口的中值。因此，該窗口總共需要12 次操作。之后的每個窗口都只需要12 次操作即可，大大降低了比較次數(shù)。

2.2 基于類間方差法的閾值分割

采用最大類間方差法對全局閾值進行分割，基本思想是按照圖像的灰度特性，將圖像分成背景和目標兩部分。背景和目標之間的類間方差越大，說明構(gòu)成圖像的兩部分差別越大，類間方差最大的分割意味著錯分的概率最小［17-18］。

通過對多幅圖像的仿真試驗，采用最大類間方差法為主、基于經(jīng)驗的固定閾值算法為輔的算法能得到較好結(jié)果。

最大類間方差算法實現(xiàn)過程：

設(shè)圖像f（x，y）灰度級范圍為L，灰度級為i的像素點為ni，總像素為N，則灰度級為i的像素點出現(xiàn)的概率為：

按灰度級閾值t劃分為兩類區(qū)域C0和C1，C0和C1出現(xiàn)的概率ω0和ω1如式（12）和式（13）所示；均值μ0和μ1如式（14）和式（15）所示：

根據(jù)方差定義，可以求得：

如果同區(qū)域具有灰度相似的特性，不同區(qū)域之間則表現(xiàn)為明顯的灰度差異，當被閾值t分離的兩個區(qū)域間灰度差較大時，兩個區(qū)域的灰度均值為μ0和μ1，與整幅圖像的灰度均值μ之差較大，類間方差便是描述這種差異的有效參數(shù)［19］。表達式為：

式（18）中：σB2表示圖像被閾值t分割后兩個區(qū)域之間的方差，顯然不同的t值會有不同的類間方差。經(jīng)整理可得：

當被分割的兩區(qū)域間方差為σB2時達到最大值，認為是兩區(qū)域的最佳分離狀態(tài)，由此確定閾值Th：

通過類間方差法計算出的全局閾值旨在去除大部分干擾噪聲，增強具有關(guān)聯(lián)性的動態(tài)變化圖像識別的穩(wěn)定性。

2.3 基于區(qū)域過度生長算法的動態(tài)識別

利用動態(tài)目標跟蹤只需要得到電梯門間簡單的目標移動矢量方向，而不需要該運動目標的具體特征、外形等參數(shù)，因而本文研究的目標跟蹤算法具有特殊性，與其他跟蹤法有較大區(qū)別。根據(jù)本圖像環(huán)境特點提出區(qū)域過度生長算法，求取目標的最小外接矩形以及其中心。最小外接矩形Rect的提取公式為［20］：

目標區(qū)域內(nèi)的中心坐標P（px，py）公式如下：

以該中心來定位運動目標的具體位置，只需要暫時保存該位置坐標數(shù)據(jù)，在后面幀序列產(chǎn)生新的位置坐標時進行對比，產(chǎn)生一個矢量。當該矢量方向連續(xù)幾幀指向電梯門間時，系統(tǒng)判別為有目標需要使用電梯，將電梯門打開；當該矢量方向指向門外或者指向水平方向時，則判斷結(jié)果分別為目標走出電梯門和目標走過電梯門，而無需產(chǎn)生電梯的開門信號，繼續(xù)保持現(xiàn)行狀態(tài)運行。

3 動態(tài)識別數(shù)值模擬

3.1 改進的中值濾波算法仿真

為了驗證濾波算法的適應(yīng)性，仿真試驗采用相同的濾波方法對不同電梯門的圖像處理結(jié)果進行比較。不同電梯門背景選用依據(jù)是門背景圖像直方圖的像素分布情況，取有代表性的兩類背景直方圖如圖2 所示。

Fig.2 Elevator door background圖2 電梯門背景

電梯門背景（深色）的直方圖像素值大部分都低于150，而背景（淺色）的直方圖大部分大于150，深色與淺色代表了常見的電梯門背景黑（暗度）與白（亮度）兩種典型特征。采用傳統(tǒng)的均值濾波和改進的中值濾波方法進行對比，如圖3 和圖4 所示。

Fig.3 Filter comparison under dark color background圖3 深色電梯門背景的濾波比較

Fig.4 Filter comparison under light color background圖4 淺色電梯門背景的濾波比較

從圖3 和圖4 可以明顯看到，兩背景下均值濾波噪聲點的干擾都比較大，特別是目標邊界處發(fā)生模糊現(xiàn)象時，改進的中值濾波法在簡化算法的同時能很好地過濾掉該背景的圖像噪聲，同時保持了邊界特征清晰。另一方面，由于淺色背景像素值較大，深色背景像素值較小，說明像素值較大時受到的噪聲干擾也比較嚴重。

3.2 動態(tài)識別仿真

對電梯門背景下獲得的大量運動圖像進行分析。背景具有相對穩(wěn)定的變化范圍，也提供了穩(wěn)定的特征值，此處特征值為電梯門移動位置與移動時間緊密相關(guān)。采用相鄰幀差法為主、背景差分法為輔的算法設(shè)計，不同電梯背景的多幅處理圖像都能從門移動的背景中提取出移動目標。圖5 為人體進梯時的動態(tài)識別效果。

Fig.5 Dynamic identification result圖5 動態(tài)識別效果

圖5 中，首先提取第N 幀至第N+3 幀圖片，如圖5（a）-圖5（d）所示。經(jīng)過中值濾波和類間方差閾值分割后對前后圖像進行幀差二值化，可得圖5（e）-圖5（g）所示效果。將自學(xué)習(xí)的門背景位置當前幀進行背景減除法，最后得到動態(tài)目標圖5（h）-圖5（j）。在一個320x240 的窗口中，根據(jù)區(qū)域過度生長算法公式計算求得：p1坐標為（151，22）；p2坐標為（151，28）；p3坐標為（151，32）。從所獲得的目標中心坐標p1、p2、p3，可知目標中心位移的矢量方向：在x 軸方向上坐標僅在151 附近移動，幾乎無變化；而在y 軸方向上，值從22→28→32，有明顯的遞增趨勢，與X 軸相比變化率較大，表明目標向電梯門間移動，能很好地反映在電梯門關(guān)閉過程中人向門走進的一個矢量方向。

通過仿真對目標進行定位跟蹤，驗證了最大類間方差分割法的有效性。采用相鄰幀差法為主、背景差分法為輔的設(shè)計，對物體進出門梯以區(qū)域過度生長目標的方式進行提取，獲得了良好的動態(tài)目標檢測效果。

4 門保護系統(tǒng)試驗

4.1 硬件電路設(shè)計

根據(jù)上述理論與仿真分析，搭建門保護系統(tǒng)試驗平臺，硬件電路如圖6 所示。

Fig.6 System verification platform圖6 系統(tǒng)試驗平臺

圖6 中，1 為圖像傳感器OV9650，該部件裝于電梯門內(nèi)側(cè)上方；2 為電源線，試驗中為獨立電源；3 為RS232 串口線，用于控制門機開關(guān)；4 為蜂鳴器，用于信號報警；5 為主控芯片S3C2440A；6 為人機互動鍵；7 為JTAG 仿真器；8 為信號燈；9 為LCD 屏幕。

4.2 門區(qū)劃分

研究電梯門在關(guān)閉過程中的特征，為達到高實時性和智能性，需要將圖像傳感器捕捉的電梯門間區(qū)域劃分為3個區(qū)域，如圖7 所示，分別為門禁區(qū)、門外區(qū)、門內(nèi)區(qū)，劃分原則是根據(jù)人們使用電梯的習(xí)慣和可能發(fā)生的各種情況，3 個區(qū)域的范圍在電梯門關(guān)閉過程中隨著門框邊緣的變化而變化，并有優(yōu)先級順序。

①門禁區(qū)，定義是電梯門間禁止區(qū)，優(yōu)先級最高。從電梯使用情況看，該區(qū)域在電梯門間，是轎廂門與門外的一個交界處，處于較危險的區(qū)域，人要盡量減少該區(qū)域的停留，只要在該區(qū)域有移動目標出現(xiàn)則必然是正在使用電梯，在程序設(shè)計時，只要有移動目標出現(xiàn)，無需進一步判斷就直接發(fā)送開門信號；②門內(nèi)區(qū)，定義是電梯門間偏向轎廂門內(nèi)側(cè)的一塊相對較小的區(qū)域，優(yōu)先級中等。該區(qū)域的設(shè)立主要是針對轎廂物體的移動檢測；③門外區(qū)，定義是電梯門外的區(qū)域，優(yōu)先級低，該區(qū)域主要針對電梯使用人作出智能化響應(yīng)。

Fig.7 Diagram of the definition of three areas between doors圖7 電梯門間3 區(qū)域范圍定義

4.3 目標識別試驗

（1）目標走近試驗。目標跟蹤算法實質(zhì)是捕捉移動目標中心點坐標的軌跡，根據(jù)軌跡判斷當前情況下電梯門所需要做出的動作，在試驗中以蜂鳴器響代表開門信號。目標走近試驗區(qū)主要是模擬最常見的情況，動態(tài)識別效果如圖8 所示。

Fig.8 Results of approaching test圖8 走近試驗動態(tài)情況

通過觀察跟蹤的C 坐標特征可以明顯發(fā)現(xiàn)，C 的x 坐標也一直處于明顯增加狀態(tài)，由于y 方向的變化率較大使得x坐標的變化率影響不大，C 坐標值如表1 所示。

從試驗效果上，系統(tǒng)在3 幀內(nèi)基本完成移動目標的跟蹤判斷。如在第8、第9 組試驗中，移動目標以較快地速度跑至電梯門，只出現(xiàn)2 幀的C 坐標值，即在門外區(qū)只需獲得2 組數(shù)據(jù)便可完成判斷，第3 幀的目標移動至門禁區(qū)，系統(tǒng)馬上發(fā)出開門信號，而未繼續(xù)跟蹤C 坐標值，這也驗證了程序設(shè)計的有效性，且與仿真結(jié)果相符，獲得了較好的識別效果。

Table 1 Target C coordinate value表1 目標C 坐標值

（2）目標走過試驗。該試驗驗證系統(tǒng)能否過濾因人路過而產(chǎn)生誤判斷發(fā)出開門信號情況。本文將0.3～0.6m/s 定義為慢速，0.8～1.2m/s 定義為中速，1.5m/s 以上定義為快速。將3 種狀態(tài)下的信號統(tǒng)計于表2，慢速運動物體識別效果如圖9 所示。

Table 2 Signal response statistics表2 信號響應(yīng)統(tǒng)計

比較3 種運動狀態(tài)，對目標慢速移動判別的誤判率最高為16.7%，目標中速移動判別的誤判率為6.7%，目標移動較快的判別沒有誤判。這從另一方面也符合實際情況，在目標移動較快時，目標中心點的X 方向移動較快，遠遠大于Y 方向的移動幅度，而目標移動較慢時，目標中心坐標變化緩慢（如圖9 中C1 和C2 坐標所示），難以快速判斷是否需要響應(yīng)門機信號。本試驗結(jié)果說明系統(tǒng)對路過目標的移動速度越快判別得越準確，而目標移動速度越慢則會對系統(tǒng)判別運動方向造成困擾。

Fig.9 Target localization of slow moving objects圖9 慢速運動物體目標定位

5 結(jié)語

本文主要針對電梯門區(qū)圖像的動態(tài)特征，提出一套適用于電梯門保護系統(tǒng)的圖像識別方法，并通過仿真和試驗進行驗證分析。具體內(nèi)容如下：

（1）建立了改進的中值濾波方法，簡化了系統(tǒng)算法，通過與均值濾波方法的仿真對比，發(fā)現(xiàn)改進的中值濾波算法可有效過濾掉背景的圖像噪聲，同時保持邊界特征清晰。

（2）采用類間方差法對圖像進行全局閾值分割，建立以背景差分法為主、相鄰幀差法為輔的動態(tài)目標檢測模型，并采用區(qū)域過度生長算法對動態(tài)目標進行跟蹤。仿真結(jié)果顯示該方法能夠很好地實現(xiàn)對移動目標的跟蹤并便于進一步判斷矢量方向。

（3）建立了門保護系統(tǒng)試驗平臺，對門區(qū)優(yōu)先級進行區(qū)分。對目標走近過程進行試驗，在3 幀圖像范圍內(nèi)可對物體進行識別。對不同速度的運動物體進行多組識別試驗，得出結(jié)論：系統(tǒng)對移動速度越快的目標判別得越準確，而移動速度越慢的目標則越會對系統(tǒng)判別運動方向造成困擾。