基于級(jí)聯(lián)濾波器深度學(xué)習(xí)的鐵路安檢人臉識(shí)別與驗(yàn)證研究

李 鹍，吳 寧，宋 明，楊 銳

（1.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司 標(biāo)準(zhǔn)計(jì)量研究所，北京 100081；2.欽州學(xué)院 電子與信息工程學(xué)院， 欽州 535011；3.中國(guó)鐵道科學(xué)研究院集團(tuán)有限公司，北京 100081）

鐵路進(jìn)站安檢是保證鐵路安全的一個(gè)重要環(huán)節(jié)，隨著旅客流量的增加，旅客證件和車票檢查的工作量日益增大，導(dǎo)致了對(duì)車站安檢人員的數(shù)量需求越來越大，旅客滿意度下降，采用自動(dòng)化模式進(jìn)行旅客證件和車票檢查的需求越來越強(qiáng)烈[1]。近年來，人臉識(shí)別技術(shù)已經(jīng)應(yīng)用于多個(gè)領(lǐng)域，隨著我國(guó)鐵路信息化建設(shè)腳步的不斷加快，人臉識(shí)別技術(shù)將會(huì)在鐵路安全領(lǐng)域中得到廣泛應(yīng)用[2]。

在傳統(tǒng)人臉識(shí)別應(yīng)用中，通常會(huì)使用全聯(lián)通卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法，但是，該算法測(cè)試時(shí)間長(zhǎng)、識(shí)別率低，并不適合鐵路安檢中的實(shí)時(shí)人臉驗(yàn)證[3]。在發(fā)現(xiàn)非線性濾波可以用于模式識(shí)別后，研究人員開始考慮其在人臉識(shí)別中的應(yīng)用。1996年，Dubois的研究展示了使用非線性閾值分離的級(jí)聯(lián)線性濾波器的潛力[4]，并把非線性濾波應(yīng)用于空間域，而不是在頻域中。在Dubois的研究中，線性濾波器根據(jù)自動(dòng)空間頻率選擇器（ASFS）方法進(jìn)行了優(yōu)化，并且注意到單層ASFS濾波器的性能明顯提高[5]。隨后，Reed和Coupland發(fā)現(xiàn)，級(jí)聯(lián)濾波器是在測(cè)試前饋神經(jīng)網(wǎng)絡(luò)進(jìn)行移位不變模式識(shí)別輸出時(shí)必須采取的形式[6]，并且兩層級(jí)聯(lián)濾波器具有與二次貝葉斯分類器可比的性能[7]。在對(duì)級(jí)聯(lián)濾波器的位移不變和旋轉(zhuǎn)不變的模式識(shí)別研究中發(fā)現(xiàn)，級(jí)聯(lián)濾波器對(duì)于字符識(shí)別和細(xì)菌圖像識(shí)別有著優(yōu)異的非線性性能，但是對(duì)于級(jí)聯(lián)濾波器在人臉識(shí)別的應(yīng)用研究尚未見報(bào)道[8]。

本文介紹鐵路安檢中利用級(jí)聯(lián)相關(guān)濾波器進(jìn)行人臉識(shí)別的應(yīng)用研究。研究用于識(shí)別和驗(yàn)證戶籍?dāng)?shù)據(jù)庫(kù)中的人臉圖像的級(jí)聯(lián)濾波器，并利用公開的3個(gè)人臉數(shù)據(jù)庫(kù)（ORL、AR、Feret）進(jìn)行實(shí)驗(yàn)驗(yàn)證。通過與全聯(lián)通CNN的性能進(jìn)行對(duì)比，我們發(fā)現(xiàn)級(jí)聯(lián)濾波器在識(shí)別率上略優(yōu)于全聯(lián)通CNN，而在測(cè)試速度上遠(yuǎn)快于全聯(lián)通CNN。

1 級(jí)聯(lián)濾波器理論

1.1 級(jí)聯(lián)濾波器定義

1.1.1 相關(guān)濾波函數(shù)

一般來說，相關(guān)濾波器是一個(gè)線性移位不變函數(shù)，它的輸出相對(duì)位置的函數(shù)表示兩個(gè)圖像之間的相似度。在矢量符號(hào)中，可以將二維圖像寫為n維向量x=[ x1, x2,…, xn]T，其中，n是像素?cái)?shù)，T表示置換。用一個(gè)濾波器核（或脈沖響應(yīng)）h =[h1, h2,…,hn]T來定義一個(gè)相關(guān)運(yùn)算符H：

其中，上標(biāo)*表示共軛。下標(biāo)的n為向量的模，使得：

1.1.2 級(jí)聯(lián)濾波器閥值函數(shù)

定義一個(gè)閾值運(yùn)算符T對(duì)矢量的各個(gè)分量進(jìn)行操作。

一般說來，要對(duì)濾波器的輸出結(jié)果取模，所以，定義了以下取模運(yùn)算符M：

1.1.3 相關(guān)濾波器的通式

構(gòu)建m層級(jí)聯(lián)濾波器F為：

其中，每個(gè)運(yùn)算符的下標(biāo)表示給定運(yùn)算符的層級(jí)。為了優(yōu)化濾波器Hi和閾值Ti，定義k個(gè)測(cè)試圖像的矩陣集S，使得S = [s1, s2,..., sk]，將S帶入式（5），得相應(yīng)的輸出矩陣R。

定義期望輸出強(qiáng)度圖像O的矩陣。為了對(duì)級(jí)聯(lián)濾波器進(jìn)行深度學(xué)習(xí)從而驗(yàn)證被測(cè)試人臉的證件信息，目標(biāo)類圖像的期望輸出將是戶籍?dāng)?shù)據(jù)庫(kù)中證件的人臉圖像，一般為身份證照片。不失一般性，對(duì)于非目標(biāo)類圖像，我們所期望的輸出為零。

為了實(shí)現(xiàn)期望的輸出，通過使用適當(dāng)?shù)恼`差函數(shù)E來優(yōu)化級(jí)聯(lián)。如果Rij和Oij分別代表第j個(gè)測(cè)試的第i個(gè)像素和輸出圖像，使用的誤差函數(shù)的形式是：

該表達(dá)式的第1項(xiàng)就是與目標(biāo)輸出的圖像的偏差平方。給輸出向量中的人臉元素所對(duì)應(yīng)的像素加上額外的權(quán)重，更容易優(yōu)化得到用于識(shí)別人臉的最優(yōu)解，所以，給式（6）中的第2項(xiàng)一個(gè)權(quán)重系數(shù)，其中，像素p～q是期望輸出人臉圖像中表示人臉內(nèi)容所在元素的位置。

1.2 級(jí)聯(lián)濾波器優(yōu)化

1.2.1 優(yōu)化方法

確定濾波器結(jié)構(gòu)之后，需要優(yōu)化濾波器參數(shù)，使濾波器的輸出能達(dá)到或接近期望的目標(biāo)圖像。優(yōu)化濾波器參數(shù)與測(cè)試CNN網(wǎng)絡(luò)一樣，利用數(shù)值優(yōu)化策略進(jìn)行多維誤差的最小化[9]，優(yōu)化誤差函數(shù)的方法取決于誤差函數(shù)的性質(zhì)和可用的計(jì)算資源。有一些線搜索算法，例如Nelder-Mead下坡算法，只能得到一個(gè)局部最優(yōu)值[10]，而模擬退火[9]算法會(huì)有可能得到一個(gè)全局最優(yōu)解，但是計(jì)算時(shí)間會(huì)大大增加。

本文先使用隨機(jī)搜索算法，找到誤差函數(shù)值的一個(gè)較低值區(qū)域，再采用線搜索方法進(jìn)一步最小化誤差函數(shù)。在優(yōu)化濾波器時(shí)，如果采用隨機(jī)搜索的方法在預(yù)定的最長(zhǎng)時(shí)間內(nèi)還未找到一個(gè)較低值的區(qū)域，那就放棄搜索，因?yàn)樵阼F路安檢的應(yīng)用中，乘客的等待時(shí)間是有限的。在優(yōu)化測(cè)試級(jí)聯(lián)濾波器的時(shí)候，初始參數(shù)的選擇至關(guān)重要，是能否找到全局最優(yōu)解的關(guān)鍵因素之一。在本研究中，我們根據(jù)人臉識(shí)別的經(jīng)驗(yàn)，確定了一組隨機(jī)數(shù)作為初始參數(shù)。

1.2.2 級(jí)聯(lián)濾波器邊緣效應(yīng)

在實(shí)際應(yīng)用中，由于需要識(shí)別的圖像大小不確定，所以需要一個(gè)相對(duì)小的濾波器核來識(shí)別在一個(gè)比較大的圖像中的對(duì)象。本研究中，在級(jí)聯(lián)濾波器結(jié)構(gòu)的每層中采用16×16像素的濾波器，由于被測(cè)試和被識(shí)別的圖像往往都會(huì)比濾波器核的尺寸要大，這就需要對(duì)濾波器核進(jìn)行補(bǔ)零操作。而且，如果濾波器采用相同大小的測(cè)試圖像進(jìn)行優(yōu)化后，當(dāng)測(cè)試圖像被粘貼到更大的圖像中時(shí)，濾波器就失去了識(shí)別的性能，這是由兩幅圖像在互相關(guān)過程中的邊緣效應(yīng)造成[11]。為此，我們通過在測(cè)試過程中的補(bǔ)零操作來避免優(yōu)化過程中的邊緣效應(yīng)。

2 人臉數(shù)據(jù)庫(kù)測(cè)試

為了測(cè)試級(jí)聯(lián)濾波器對(duì)人臉的識(shí)別能力，分別采用ORL、AR、Feret這3個(gè)在線人臉數(shù)據(jù)庫(kù)來測(cè)試級(jí)聯(lián)濾波器。本研究的測(cè)試在Matlab 2017仿真平臺(tái)進(jìn)行，所使用的計(jì)算機(jī)硬件配置是：Intel i7-7500 CPU @2.7 GHz，8 GB RAM。

2.1 ORL人臉數(shù)據(jù)庫(kù)測(cè)試

在測(cè)試ORL數(shù)據(jù)庫(kù)的過程中，把每個(gè)人臉圖像中的第1張正面圖像作為目標(biāo)輸出圖像，剩下的9張圖像作為測(cè)試圖像。這樣，就有40張目標(biāo)人臉圖像和360張測(cè)試圖像，其中，每張目標(biāo)人臉圖像對(duì)應(yīng)9張同類人臉圖像，剩下的351張為非同類人臉圖像。

2.2 AR人臉數(shù)據(jù)庫(kù)測(cè)試

在測(cè)試AR數(shù)據(jù)庫(kù)的過程中，選取每個(gè)人臉的第1張正面圖像作為目標(biāo)輸出圖像，其他的12張圖像作為測(cè)試圖像。這樣，就有120張目標(biāo)人臉圖像和3 000張測(cè)試圖像，其中，每張目標(biāo)人臉圖像對(duì)應(yīng)25張同類人臉圖像，剩下3 094張為非同類人臉圖像。

2.3 Feret 人臉數(shù)據(jù)庫(kù)測(cè)試

在測(cè)試Feret數(shù)據(jù)庫(kù)的過程中，選取每個(gè)人臉的第1張正面圖像作為目標(biāo)輸出圖像，其他的6張圖像作為測(cè)試圖像。這樣，就有200張目標(biāo)人臉圖像和1 200張測(cè)試圖像，其中，每張目標(biāo)人臉圖像對(duì)應(yīng)6張同類人臉圖像，剩下1 393張為非同類人臉圖像。

3 實(shí)驗(yàn)分析

3.1 測(cè)試方法分析

在測(cè)試以上3個(gè)人臉數(shù)據(jù)庫(kù)的過程中，把每個(gè)人臉的第1張圖像（即正面無遮擋圖像）作為目標(biāo)類的測(cè)試圖像和期望輸出，把任意兩個(gè)其他人臉的第1張圖像作為非目標(biāo)類的測(cè)試圖像，而非目標(biāo)類的期望輸出為零。在對(duì)目標(biāo)類的圖像進(jìn)行測(cè)試完成之后，用式（6）來計(jì)算濾波器的實(shí)際輸出與期望輸出的誤差值Er。在測(cè)試階段，測(cè)試圖像輸入后，從濾波器的輸出圖像用式（6）來計(jì)算與期望圖像的差值Et。如果測(cè)試圖像與目標(biāo)類圖像的差別太大，誤差值Et將會(huì)嚴(yán)重偏離Er。經(jīng)過大量的測(cè)試和分析，我們發(fā)現(xiàn)85%以上目標(biāo)類圖像的輸出差值Et都分布在Er的1.2倍以內(nèi)，所以在測(cè)試過程中，如果Et＜1.2Er，則認(rèn)為此測(cè)試圖像為目標(biāo)類圖像，否則為非目標(biāo)類圖像。

3.2 測(cè)試結(jié)果對(duì)比分析

為了與全聯(lián)通CNN的性能進(jìn)行對(duì)比，把同樣的測(cè)試圖像通過全聯(lián)通CNN網(wǎng)絡(luò)進(jìn)行編程測(cè)試，并把結(jié)果與級(jí)聯(lián)濾波器的性能進(jìn)行對(duì)比。圖1是用級(jí)聯(lián)濾波器和全聯(lián)通CNN對(duì)ORL數(shù)據(jù)庫(kù)里的40張正面人臉的測(cè)試結(jié)果，可以看到，對(duì)于大部分人臉類別來說，級(jí)聯(lián)濾波器的識(shí)別率都比CNN高，級(jí)聯(lián)濾波器的平均識(shí)別率比全聯(lián)通CNN高6%左右。圖2是對(duì)AR數(shù)據(jù)庫(kù)里的120張正面人臉的測(cè)試結(jié)果，圖上的數(shù)據(jù)顯示，級(jí)聯(lián)濾波器的識(shí)別率穩(wěn)定在80%左右，與之相比， 全聯(lián)通CNN的識(shí)別率的起伏就要大很多，大概在75%～83%之間，總體來說，級(jí)聯(lián)濾波器的識(shí)別率在大部分AR數(shù)據(jù)庫(kù)的人臉類別上優(yōu)于全聯(lián)通CNN。圖3是對(duì)Feret數(shù)據(jù)庫(kù)里的200張正面人臉的測(cè)試結(jié)果，由圖可知，級(jí)聯(lián)濾波器的識(shí)別率與全聯(lián)通CNN的很接近，但是對(duì)于大部分Feret圖像類別來說，級(jí)聯(lián)濾波器的識(shí)別率優(yōu)于全聯(lián)通CNN。從圖1～圖3的數(shù)據(jù)可以看出，級(jí)聯(lián)濾波器的識(shí)別率比全聯(lián)通CNN的識(shí)別率要略好一些；但是從圖4的計(jì)算時(shí)間來看，級(jí)聯(lián)濾波器的所需要的識(shí)別時(shí)間是全聯(lián)通CNN的30%左右,級(jí)聯(lián)濾波器的識(shí)別速度比全聯(lián)通CNN快3倍以上。

圖1 ORL數(shù)據(jù)庫(kù)里的40張正面人臉的測(cè)試結(jié)果

圖2 AR數(shù)據(jù)庫(kù)里的120張正面人臉的測(cè)試結(jié)果

圖3 Feret數(shù)據(jù)庫(kù)里的200張正面人臉的測(cè)試結(jié)果

圖4 3個(gè)數(shù)據(jù)庫(kù)的360張正面人臉的測(cè)試時(shí)間對(duì)比

4 結(jié)束語(yǔ)

本文研究了兩層級(jí)聯(lián)濾波器用于鐵路安檢中身份驗(yàn)證的性能，并與全聯(lián)通CNN的性能進(jìn)行了對(duì)比。以3個(gè)在線人臉數(shù)據(jù)庫(kù)為例驗(yàn)證了該方法的可行性，從實(shí)驗(yàn)數(shù)據(jù)可以看出，級(jí)聯(lián)濾波器平均識(shí)別率優(yōu)于全聯(lián)通CNN的8%以上，識(shí)別速度優(yōu)于全聯(lián)通CNN的3倍以上，證明了級(jí)聯(lián)濾波器在鐵路安檢身份驗(yàn)證應(yīng)用的可行性。今后將繼續(xù)研究級(jí)聯(lián)濾波器應(yīng)用在人臉識(shí)別中的識(shí)別率問題，希望能夠進(jìn)一步提高識(shí)別率。

[1] 王 京，王 冰，王 珂. 鐵路客運(yùn)站安檢區(qū)域人臉識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J]. 鐵路計(jì)算機(jī)應(yīng)用, 2012， 21（6）： 83-86.

[2] 安 然，王輝麟. 人臉識(shí)別系統(tǒng)在鐵路車站安檢區(qū)域應(yīng)用的研究[J]. 鐵路計(jì)算機(jī)應(yīng)用, 2012，21（9）： 21-24.

[3] Masakazu Matusugu, Mori Katsuhiko, Mitari Yusuke, et al.Subject independent facial expression recognition with robust face detection using a convolutional neural network[J]. Neural Networks, 2003, 16 (5): 555–559.

[4] Dubois F. Nonlinear cascaded correlation processes to improve the performances of automatic spatial-frequency-selective filters in pattern recognition[J]. Applied Optics, 1996(35):4589–4597.

[5] Dubois F., Automatic spatial frequency selection algorithm for pattern recognition by correlation[J]. Applied Optics,1993(32):4365–4371.

[6] Reed S., Coupland J. M. Cascaded linear shift-invariant processors in optical pattern recognition[J].Applied Optics,2001(40):3843– 3849.

[7] Reed S., Coupland J. M. Statistical performance of cascaded linear shift-invariant processing[J]. Applied Optics,2000(39):5949 – 5955.

[8] Wu N., Alcock R.D., Halliwell N.A. and Coupland J.M.Rotationally invariant pattern recognition using linear and nonlinear cascaded filters[J].Applied Optics, 2005, 44 (20):4315-4322.

[9] Teukolsky S. A., Vetterling W. T., Flannery B. P. Numerical Recipes[M]. Cambridge: Cambridge U. Press, 1992.

[10] Nelder J. A., Mead R. A simplex-method for function minimization[J]. Computer Journal, 1965(7):308 –313.

[11] Pratt W. K. Digital Image Processing[M]. Hoboken, USA:Wiley, 1991.