基于LBP的人臉圖像識(shí)別檢索算法

江西經(jīng)濟(jì)管理干部學(xué)院 江西省電子商務(wù)與產(chǎn)業(yè)升級(jí)2011協(xié)同創(chuàng)新中心 付 念

提出了基于LBP的圖像檢索算法，根據(jù)圖像的特征抽取、特征分析、特征匹配的過(guò)程進(jìn)行設(shè)計(jì)的算法。主要流程是從計(jì)算機(jī)視覺(jué)處理入手，采用Python編程語(yǔ)言，通過(guò)使用OpenCV的視覺(jué)處理模塊處理圖像特征，通過(guò)NumPy矩陣處理框架進(jìn)行設(shè)計(jì)相關(guān)處理模型，處理提取的特征值，建構(gòu)特征處理模型，進(jìn)而設(shè)計(jì)訓(xùn)練集來(lái)分析和執(zhí)行識(shí)別步驟，最后分析數(shù)據(jù)結(jié)果并進(jìn)行人臉表情識(shí)別的工作。

1.引言

隨著現(xiàn)代化進(jìn)程的不斷推進(jìn)，信息技術(shù)也隨著不斷發(fā)展。科學(xué)技術(shù)帶給了人們生產(chǎn)力提升的同時(shí)，也帶來(lái)了更多的需求。信息技術(shù)的衍生產(chǎn)品不斷進(jìn)入人們的生活中，由此帶來(lái)的就是人們的身份、隱私、財(cái)產(chǎn)等不斷地與互聯(lián)網(wǎng)及信息技術(shù)連接在一起，這些內(nèi)容都需要得到管理和保障。保障這些數(shù)據(jù)的方法是身份認(rèn)證，通過(guò)不同的身份認(rèn)證可以確保每個(gè)用戶都能行使個(gè)人的權(quán)益并保護(hù)自己的賬戶安全。身份認(rèn)證的方式多種多樣，從早期的賬戶ID、郵箱、密碼驗(yàn)證到手機(jī)號(hào)、短信驗(yàn)證，再到指紋、人臉識(shí)別等新技術(shù)。

人臉識(shí)別是一種基于圖像識(shí)別及檢索的綜合識(shí)別技術(shù)，是基于內(nèi)容的圖像檢索技術(shù)的延伸，通過(guò)結(jié)合生物特征采樣技術(shù)，能夠有效的檢測(cè)和追蹤人臉特征，識(shí)別和認(rèn)證個(gè)人信息（蘇煜,山世光,陳熙霖,高文.基于全局和局部特征集成的人臉識(shí)別[J].軟件學(xué)報(bào),2010,21(8):1849-1862）。早在20世紀(jì)60年代，人臉識(shí)別技術(shù)被提出，但當(dāng)時(shí)限于計(jì)算機(jī)技術(shù)及光學(xué)成像技術(shù)的落后，無(wú)法應(yīng)用于實(shí)際的生活場(chǎng)景中。直到20世紀(jì)90年代，通過(guò)高性能計(jì)算機(jī)技術(shù)、人工智能、模式匹配、機(jī)器學(xué)習(xí)以及高性能的算法的協(xié)作下，人臉識(shí)別技術(shù)進(jìn)行真正可實(shí)施的階段。人臉識(shí)別技術(shù)是通過(guò)計(jì)算機(jī)算法來(lái)統(tǒng)一和協(xié)調(diào)各個(gè)步驟，通過(guò)采集、預(yù)處理、特征提取、識(shí)別匹配四個(gè)步驟分部進(jìn)行（R Datta,D Joshi,J Li,JZ Wang.Image retrieval:Ideas,influences,and trends of the new age[J].Acm Computing Surveys,2010,40(2,article 5):2007），這四個(gè)步驟也是目前主流的人臉識(shí)別方案的操作方法。

目前，人臉識(shí)別技術(shù)運(yùn)用在信息世界及真實(shí)生活的很多地方，例如金融支付系統(tǒng)的人臉識(shí)別驗(yàn)證，支付寶產(chǎn)品的刷臉支付使用的是一個(gè)名為Face++的人臉識(shí)別的成熟解決方案。除此之外，人臉識(shí)別還運(yùn)用在系統(tǒng)登錄、疑犯身份驗(yàn)證等多種情景，包括Windows 10的Windows hello技術(shù)，公安系統(tǒng)中的人臉識(shí)別分析技術(shù)等。隨著模式識(shí)別技術(shù)及人工智能技術(shù)的不斷發(fā)展，人臉識(shí)別技術(shù)還能進(jìn)入智能仿生、機(jī)器人技術(shù)等更多新興領(lǐng)域，為人類科技進(jìn)步及信息技術(shù)革命做出更多的貢獻(xiàn)。

2.算法設(shè)計(jì)

人臉識(shí)別算法分為面部檢測(cè)、建立面部識(shí)別對(duì)象、面部識(shí)別實(shí)現(xiàn)三個(gè)部分（HT Nguyen,A Caplier.Local Patterns of Gradients for Face Recognition[J].IEEE Transactions on Information Forensics & Security,2015,10(8):1739-1751），其中面部檢測(cè)主要內(nèi)容是建立面部檢測(cè)級(jí)聯(lián)數(shù)據(jù)，建立面部識(shí)別對(duì)象是人臉識(shí)別算法的主要工作，包括了面部識(shí)別建模和識(shí)別算法設(shè)計(jì)，最后的面部識(shí)別實(shí)現(xiàn)是對(duì)象兩個(gè)部分組成創(chuàng)建訓(xùn)練集、執(zhí)行訓(xùn)練集兩部分組成。

2.1 建立面部檢測(cè)級(jí)聯(lián)數(shù)據(jù)

本文所采用的面部檢測(cè)級(jí)聯(lián)是基于OpenCV的Haar Cascade，它包含了基礎(chǔ)特征描述類FeatureEvaluator，F(xiàn)eatureEvaluator的主要作用就是獲取面部特征，它包含了read、clone、getFeatureType等功能，通過(guò)級(jí)聯(lián)分類器CascadeClassifier可以有效地分配不同的面部特征區(qū)域，根據(jù)需求獲取相對(duì)于的面部區(qū)域的特征。

cascadePath = “haarcascade_frontalface_default.xml”

faceCascade = cv2.CascadeClassifier(cascadePath)

其中，haarcascade_frontalface_default.xml是OpenCV的Haar Cascade分類器，使用haarcascade_frontalface_default.xml來(lái)存儲(chǔ)面部特征，特征數(shù)據(jù)通過(guò)Scheme XML方式存儲(chǔ)，

2.2 建立面部識(shí)別對(duì)象

面部檢測(cè)算法設(shè)計(jì)的第二步是建立面部識(shí)別對(duì)象，面部識(shí)別對(duì)象是用戶識(shí)別和分析面部特征的對(duì)象，它與OpenCV的FaceRecognizer.train訓(xùn)練集功能類似，是面部識(shí)別算法廣泛采用的方式（A.R.韋布,K.D.科普西.統(tǒng)計(jì)模式識(shí)別(第三版)[M].電子工業(yè)出版社,2015-01-01）。OpenCV中主要用于建立面部識(shí)別對(duì)象的方法有三種：（1）特征臉識(shí)別（Eigenface Recognizer）- createEigenFaceRecognizer()；（2）費(fèi)歇爾識(shí)別（Fisherface Recognizer）- createFisherFaceRecognizer()；（3）局部二元模式直方圖臉部識(shí)別（Local Binary Patterns Histograms Face Recognizer）- createLBPHFaceRecognizer()。本文所采用的是局部二元模式直方圖臉部識(shí)別方式，調(diào)用方式為：

recognizer = cv2.createLBPHFaceRecognizer()

局部二元模式是在計(jì)算機(jī)視覺(jué)用于紋理匹配的一個(gè)重要特征描述方法，早在1990就被提出并運(yùn)用。局部二元模式簡(jiǎn)稱為L(zhǎng)BP（曹林.人臉識(shí)別與人體動(dòng)作識(shí)別技術(shù)及應(yīng)用[M].電子工業(yè)出版社,2015-08-01），LBP是一種比較算法。LBP可以從任何相鄰的像素開(kāi)始，然后橫向或在順時(shí)針或逆時(shí)針的方向進(jìn)行比較，但是對(duì)于所有的像素必須使用同樣的像素，在每個(gè)比較中，分別存入8個(gè)相鄰像素，比較的結(jié)果都將存入一個(gè)8位的二進(jìn)制數(shù)中。

當(dāng)完成了LBP的像素值比較計(jì)算后，可以進(jìn)入下一步設(shè)計(jì)LBP直方圖。LBP直方圖的值域是（0,255），因此LBP圖的大小是1*256，計(jì)算步驟為：（1）加載彩色圖像。（2）轉(zhuǎn)換為灰度圖像。（3）計(jì)算LBP值4.計(jì)算LBP直方圖并一般化。

3.算法實(shí)現(xiàn)

面部識(shí)別實(shí)現(xiàn)主要是訓(xùn)練集（Training set）的實(shí)現(xiàn)，分為創(chuàng)建訓(xùn)練集和執(zhí)行訓(xùn)練集兩個(gè)部分（沈理,劉翼光,熊志勇.人臉識(shí)別原理及算法:動(dòng)態(tài)人臉識(shí)別系統(tǒng)研究[M].人民郵電出版社,2014-10）。

創(chuàng)建訓(xùn)練集首先需要定義圖像絕對(duì)路徑的函數(shù)，命名為get_images_and_labels，該函數(shù)主要功能是實(shí)現(xiàn)通過(guò)絕對(duì)路徑輸入圖像信息。其次需要定義兩個(gè)列表，分別是images和labels，分別指代圖像采集的人臉信息以及該人臉對(duì)應(yīng)的標(biāo)簽。

在確定圖像的絕對(duì)路徑的時(shí)候去除了“sad”擴(kuò)展名，Yale大學(xué)的Yale faces人臉采集項(xiàng)目在每個(gè)圖像都備注了相對(duì)應(yīng)的標(biāo)簽，這些標(biāo)簽指代了人臉的表情信息，而本文的主要研究?jī)?nèi)容就是分析人臉特征，通過(guò)表情分類篩選相對(duì)應(yīng)的結(jié)果，因此在通過(guò)建立訓(xùn)練集程序進(jìn)行識(shí)別器設(shè)計(jì)的過(guò)程中需要排除掉某個(gè)表情類型，這里選取了“sad”表情。由于OpenCV不支持GIF壓縮格式的圖片，因此采用基于PIL的image_pil進(jìn)行轉(zhuǎn)換，圖像信息統(tǒng)一采用局部二元模型陣列存儲(chǔ)，程序的存儲(chǔ)形式是基于NumPy的二維矩陣，NumPy陣列是一種適應(yīng)性非常強(qiáng)的圖像存儲(chǔ)形式，能夠被OpenCV識(shí)別。

在圖像處理方面，使用Python的os.path.split獲取圖像的標(biāo)簽信息，使用個(gè)位數(shù)來(lái)存儲(chǔ)標(biāo)簽信息。檢測(cè)面部數(shù)據(jù)采用的是face-Cascade.detectMultiScale，這是一種基于OpenCV的面部檢測(cè)級(jí)聯(lián)。faceCascade.detectMultiScale的結(jié)果信息存儲(chǔ)在faces中，對(duì)于每種面部信息都會(huì)返回一個(gè)矩陣陣列的結(jié)果，即(x,y,w,h)，其中x和y分別是圖像的左上角的x軸和y軸的像素值，w和h則是檢測(cè)圖像矩形的寬度和高度，檢測(cè)過(guò)程采取的是遍歷的方式，從左上角的第一個(gè)像素點(diǎn)開(kāi)始遍歷，依此遞增寬度和高度，將像素值依此添加到存儲(chǔ)矩陣中，最終得到二元直方圖的分析結(jié)果，并依此追加到images和labels中。

在完成了訓(xùn)練集的創(chuàng)建后，開(kāi)始進(jìn)行圖像識(shí)別的最后一個(gè)步驟，即準(zhǔn)備訓(xùn)練集目標(biāo)圖像，并執(zhí)行訓(xùn)練集。準(zhǔn)備訓(xùn)練集的主要過(guò)程就是覆蓋待檢測(cè)圖像的路徑，并設(shè)計(jì)函數(shù)存儲(chǔ)下一步檢測(cè)的圖像信息和標(biāo)簽信息，分別存儲(chǔ)在images和labels中。

完成了訓(xùn)練集的準(zhǔn)備之后，需要執(zhí)行訓(xùn)練集，該程序的訓(xùn)練集FaceRecognizer.train有兩個(gè)參數(shù)，其中標(biāo)簽按照?qǐng)D像名稱分別分配至相對(duì)應(yīng)的label中，并通過(guò)np.array(labels)存儲(chǔ)在數(shù)組中。

4.系統(tǒng)測(cè)試

本文選取了Yale大學(xué)的Yale faces人臉采集項(xiàng)目，該項(xiàng)目的人臉圖片分別來(lái)自15個(gè)人，采集的人臉信息總計(jì)11種，分別配上標(biāo)簽centerlight（燈光中心），glasses（眼鏡），happy（開(kāi)心），leftlight（燈光左邊），noglasses（無(wú)眼鏡），normal（平常），rightlight（燈光右邊），sad（悲傷），sleepy（睡著），surprise（驚喜），wink（眨眼）。

在訓(xùn)練集的設(shè)計(jì)中，除去了“sad”標(biāo)簽，目的是在測(cè)試過(guò)程中根據(jù)識(shí)別器進(jìn)行分析，在測(cè)試程序中，使用了一個(gè)FaceRecognizer.predict功能，分配了一個(gè)新的標(biāo)簽，該標(biāo)簽的信息來(lái)自subject04.normal，將其命名為“confidence（信心）”，存儲(chǔ)在nbr_predicted中。該變量表示其對(duì)“confidence”這個(gè)標(biāo)簽的符合程度，變量值越低，符合程度越高。

完成環(huán)境及程序代碼的部署后，測(cè)試開(kāi)始。運(yùn)行face_recognizer.py程序，在測(cè)試樣本中，subject04.normal和subject04.sad是完全一致的圖像，因此可以作為圖像檢索測(cè)試對(duì)象，程序遍歷所有圖像，根據(jù)不同的標(biāo)簽分類顯示并采集圖像信息。采集完畢后，進(jìn)入分析階段，輪播展示“sad”標(biāo)簽的圖片，并與“confidence（subject04.normal）”比較，并得出相似值，運(yùn)行過(guò)程及結(jié)果示意圖如圖1所示。

圖1 運(yùn)行過(guò)程及結(jié)果示意圖

通過(guò)結(jié)果可以看出，4號(hào)圖片即“subject04.sad”識(shí)別“confidence”標(biāo)簽的相似度是0.0，及完全一致。而實(shí)際上兩張圖像也是完全一致的內(nèi)容，差異只是文件擴(kuò)展名，因此可以得出該圖像識(shí)別程序是有效地。

5.結(jié)論

人臉識(shí)別是目前及未來(lái)新技術(shù)領(lǐng)域重要的研究方向和突破口，本文提出LBP匹配面部紋理的方式，通過(guò)執(zhí)行和創(chuàng)建訓(xùn)練集的方式來(lái)識(shí)別人臉特征。隨著圖像識(shí)別、模式匹配、人工智能等技術(shù)的不斷發(fā)展，人臉檢測(cè)技術(shù)、安全防護(hù)技術(shù)、計(jì)算機(jī)擬合技術(shù)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)都發(fā)生了巨大的變化，在模式識(shí)別的領(lǐng)域也能有更深遠(yuǎn)的發(fā)展。