道路監(jiān)控視頻低清人臉重建與識別方法研究

羅莉莎 鐘嘉桐 王樹同 陳龍 邵文澤

摘 ?要： 近年來，視頻監(jiān)控在國防領(lǐng)域和城市管理中起著越來越突出的作用。文章以道路監(jiān)控視頻的低分辨率圖像為切入點，利用深度學(xué)習(xí)方法下的圖像超分辨率重建算法，訓(xùn)練超分辨率模型，提高監(jiān)控視頻所記錄的低清人臉模型的精度，同時利用FaceNet算法及模型實現(xiàn)低清人臉的識別與檢測，從而完善道路視頻監(jiān)控系統(tǒng)低分辨率圖像的人臉識別與檢測。

關(guān)鍵詞： 圖像超分辨率重建算法; 超分辨率模型; 深度學(xué)習(xí); 低分辨率圖像; 人臉識別; 人臉檢測

中圖分類號：TP391 ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A ? ?文章編號：1006-8228（2020）01-26-04

Abstract： In recent years， video surveillance plays an increasingly prominent role in the field of national defense and urban management. Taking the low resolution image of road surveillance video as the starting point， this paper uses the image super-resolution reconstruction algorithm with deep learning， trains the super-resolution model， improves the accuracy of the low-resolution human face model recorded in the surveillance video， and uses the FaceNet to realize the recognition and detection of low-resolution human face， so as to improve the face recognition and detection of the image from road video surveillance system.

Key words： image super-resolution reconstruction algorithm; super-resolution model; deep learning; low resolution image; face recognition; face detection

0 引言

對于社會治安問題和道路交通事故越來越嚴(yán)重的情況。運用科技手段強(qiáng)化城市道路交通管理成為交通管理部門的迫切需求。

隨著科學(xué)技術(shù)的不斷發(fā)展，圖像超分辨率重建技術(shù)和人臉識別技術(shù)越發(fā)受研究者青睞，大量研究人員通過改進(jìn)圖像超分辨率算法和人臉識別技術(shù)，實現(xiàn)圖像重建分辨率和人臉識別率的提高，這一研究課題已成為當(dāng)前圖像處理技術(shù)的重要研究方向。超分辨率重建技術(shù)和人臉識別與檢測的發(fā)展，強(qiáng)有力地彌補(bǔ)了城市道路監(jiān)控中傳感器硬件方面的不足，能有效地發(fā)展和完善道路視頻監(jiān)控系統(tǒng)。

1 圖像超分辨率和人臉識別技術(shù)的研究歷史及現(xiàn)狀

1.1 圖像超分辨率算法研究歷史及現(xiàn)狀

超分辨率重建技術(shù)具有重要的理論意義和應(yīng)用價值，成為圖像處理、計算機(jī)視覺等領(lǐng)域的重大研究課題。

1955年，“超分辨率”首次出現(xiàn)在光學(xué)成像領(lǐng)域。1964年左右，“圖像超分辨率”被提出。隨后，超分辨率重建技術(shù)受到廣泛的關(guān)注和研究。2014年，Dong等人首次將“深度學(xué)習(xí)”應(yīng)用到圖像超分辨率重建領(lǐng)域，實現(xiàn)了令人驚喜的成效。

1.2 人臉識別的研究歷史及現(xiàn)狀

人臉識別技術(shù)作為一種重要的生物特征識別技術(shù)，是模式識別研究方面的熱點課題。

近幾年，國際上許多項目將深度學(xué)習(xí)成功地運用到人臉識別中。2012 年，勒尼德·米勒研究小組率先將深度學(xué)習(xí)用于 LFW（labeled face in the wild）數(shù)據(jù)庫的人臉識別。比較知名的算法有DeepFace、DeepID、FaceNet等，在以上算法中，準(zhǔn)確率最高的是FaceNet[1]。本課題主要應(yīng)用FaceNet算法對課題的另一研究對象——圖像超分辨率模型進(jìn)行驗證。

2 基于深度學(xué)習(xí)的圖像超分辨率模型的構(gòu)建

從重建算法角度看，圖像超分辨率算法可概括為三大類型：基于插值的算法、基于重構(gòu)的算法和基于學(xué)習(xí)的算法[2-3]。文章基于學(xué)習(xí)的超分辨率算法訓(xùn)練圖像超分辨率重建模型，從而改善城市道路監(jiān)控視頻圖像質(zhì)量。

2.1 基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)簡介

隨著人工智能和計算機(jī)硬件的不斷發(fā)展，“深度學(xué)習(xí)”憑借著強(qiáng)大的擬合能力，應(yīng)用于各個領(lǐng)域，特別是在圖像與視覺領(lǐng)域。

基于深度學(xué)習(xí)的圖像超分辨率技術(shù)的重建流程主要包括：①特征提取：對輸入的低分辨率圖像進(jìn)行去噪、上采樣等預(yù)處理，隨后送入神經(jīng)網(wǎng)絡(luò)提取特征;②設(shè)計網(wǎng)絡(luò)結(jié)構(gòu)及損失函數(shù)：搭建網(wǎng)絡(luò)模型，并根據(jù)先驗知識設(shè)計損失函數(shù);③訓(xùn)練模型：確定優(yōu)化器及學(xué)習(xí)參數(shù)，通過最小化損失函數(shù)提升模型的學(xué)習(xí)能力。④驗證模型：根據(jù)訓(xùn)練后的模型通過驗證集的相關(guān)評判標(biāo)準(zhǔn)對現(xiàn)有模型做出評估和相應(yīng)的調(diào)整。

2.2 重建圖像的結(jié)果評判標(biāo)準(zhǔn)

對超分辨率重建模型的圖像質(zhì)量進(jìn)行分析是評價算法好壞以及準(zhǔn)確度高低的重要準(zhǔn)則，主要包含主觀評價和客觀評價【4】。主觀評價把人眼作為最終接收對象，通過觀察對圖像最終效果作出主觀評定。客觀質(zhì)量評價常用的評價超分的指標(biāo)分別是是PSNR和SSIM。

2.2.1 PSNR（Peak Signal to Noise Ratio）峰值信噪比

PSNR是最普遍和使用最為廣泛的一種圖像客觀評價指標(biāo)，它是基于對應(yīng)像素點間的誤差，即基于誤差敏感的圖像質(zhì)量評價標(biāo)準(zhǔn)。

2.3 圖像超分辨率模型（EDV模型）介紹

文章將所訓(xùn)練的圖像超分辨率模型命名為“EDV”模型，該重建模型的網(wǎng)絡(luò)結(jié)構(gòu)由對稱的卷積層——反卷積層構(gòu)成，通過多個卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)圖像的重建，類似編碼——解碼結(jié)構(gòu)。以下將“EDV模型”與“SRCNN模型”進(jìn)行介紹與對比。

SRCNN（Super-Resolution Convolutional Neural Network）是深度學(xué)習(xí)在超分辨率重建領(lǐng)域的開山之作[5-6]。當(dāng)輸入低分辨率圖像，SRCNN通過使用雙立方插值將其放大至目標(biāo)尺寸，然后利用一個三層的卷積神經(jīng)網(wǎng)絡(luò)去擬合低分辨率圖像與高分辨率圖像之間的非線性映射，最后將網(wǎng)絡(luò)輸出的結(jié)果作為重建后圖像。

與SRCNN不同，這里所使用的“EDV模型”網(wǎng)絡(luò)結(jié)構(gòu)由對稱的卷積層——反卷積層構(gòu)成，每個卷積層對應(yīng)相應(yīng)的反卷積層，卷積層將數(shù)據(jù)預(yù)處理后，送入神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取。反卷積層放大特征的尺寸同時恢復(fù)圖像細(xì)節(jié)。其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

該模型通過使用多層卷積層和反卷積層獲得較大的感受野，理論上，感受野越大，學(xué)習(xí)的信息越多，準(zhǔn)確率越大。另外，多層網(wǎng)絡(luò)的應(yīng)用，能實現(xiàn)復(fù)雜的非線性映射，使重建效果更好。

2.4 EDV模型訓(xùn)練過程

通過以下內(nèi)容對圖像超分辨率模型——EDV模型訓(xùn)練過程進(jìn)行介紹。

2.4.1 CelebA數(shù)據(jù)集簡介

CelebA數(shù)據(jù)集是香港中文大學(xué)提供的包含10177個名人身份的202599張人臉圖片的開放數(shù)據(jù)集，該人臉數(shù)據(jù)集在人臉相關(guān)的訓(xùn)練中受到廣泛應(yīng)用。

文章使用CelebA數(shù)據(jù)集的前兩萬張圖片作為模型訓(xùn)練的數(shù)據(jù)集，將數(shù)據(jù)集進(jìn)行對齊裁剪為128*128格式作為輸入。

2.4.2 模型參數(shù)設(shè)置

該模型“編碼”部分由四個卷積層構(gòu)成，對應(yīng)“解碼”部分由四個反卷積層和兩個卷積層構(gòu)成。各卷積層可看成由多級組成的分級網(wǎng)絡(luò)，在每一級中，先通過級聯(lián)的卷積層提取特征，接著通過反卷積層將提取出的特征的尺寸上采樣。反卷積層后又接著兩個卷積層，一個卷積層的作用是繼續(xù)提取特征，另外一個卷積層的作用是預(yù)測出這一級的殘差。該EDV模型的網(wǎng)絡(luò)結(jié)構(gòu)具體參數(shù)見表1。

2.4.3 測試數(shù)據(jù)集降質(zhì)過程

由于實驗所用測試數(shù)據(jù)集均為高清圖像或清晰度較高的圖像，因此需要對其進(jìn)行降質(zhì)獲得對應(yīng)低清圖像作為模型輸入。降質(zhì)過程如圖2所示。

2.4.4 第一種訓(xùn)練方案（方案一）

該EDV模型于Tensorflow平臺進(jìn)行訓(xùn)練，使用CelebA人臉數(shù)據(jù)集中前兩萬張圖片作為訓(xùn)練集進(jìn)行訓(xùn)練，訓(xùn)練完成后制作測試數(shù)據(jù)集，將測試圖像做下采樣增加噪聲獲得低清圖像，作為模型輸入，對應(yīng)輸出SR則為重建高清圖像。

2.4.5 第二種訓(xùn)練方案（方案二）

考慮到方案一的模型重建輸出圖像產(chǎn)生幾何形變以及模糊導(dǎo)致重建質(zhì)量不佳，為提高重建圖像與原圖像的相似度，考慮對方案一的訓(xùn)練數(shù)據(jù)集做數(shù)據(jù)增強(qiáng)。

在對訓(xùn)練數(shù)據(jù)集做平移、旋轉(zhuǎn)、翻轉(zhuǎn)之后，訓(xùn)練數(shù)據(jù)集由原來的兩萬張擴(kuò)充到八萬張，一定程度上增大了訓(xùn)練數(shù)據(jù)集的數(shù)量，同時改善了圖像輸出效果。

3 人臉識別與檢測

3.1 FaceNet簡介

FaceNet可以用于人臉的檢測，識別和聚類。其方法主要是通過卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，把圖像映射到歐幾里得空間，根據(jù)歐式距離大小給圖像分類，距離和圖片相似度有關(guān)。

3.2 基于LFW的精度測試

LFW數(shù)據(jù)集由美國馬薩諸塞大學(xué)阿姆斯特分校計算機(jī)視覺實驗室整理，其包含13233張圖片。該數(shù)據(jù)集常用于研究非限制環(huán)境下的人臉識別問題。

經(jīng)測試驗證，官方預(yù)訓(xùn)練模型精度能夠達(dá)到0.992±0.003，說明FaceNet的人臉識別和檢測的準(zhǔn)確度較高。

3.3 FaceNet人臉識別與檢測步驟

⑴ 搭建人臉庫，從網(wǎng)上下載明星圖片并分類至對應(yīng)名字的文件夾。

⑵ 圖片預(yù)處理，通過mtcnn.py程序?qū)崿F(xiàn)人臉的裁剪與對齊，實現(xiàn)圖片數(shù)據(jù)都為160*160大小的人臉。

⑶ 下載官方基于CASIA-WebFace數(shù)據(jù)集的預(yù)訓(xùn)練模型。

⑷ 結(jié)合SVM訓(xùn)練人臉識別系統(tǒng)，通過classifier.py用圖像算出來的向量數(shù)據(jù)來訓(xùn)練一個SVM分類器，從而對人的身份進(jìn)行一個判斷，同時在.pkl格式的文件中存儲每一個分類。

⑸ 通過predict.py進(jìn)行人臉識別測試，compare.py進(jìn)行人臉檢測測試。

4 結(jié)果與分析

4.1 測試數(shù)據(jù)集準(zhǔn)備

在圖像超分辨率重建過程和人臉識別過程，均使用了3.3中搭建的人臉庫，從中選擇部分圖片建立測試集進(jìn)行測試。

4.2 EDV模型圖像重建測試結(jié)果

將測試數(shù)據(jù)集分別通過方案一、方案二重建模型進(jìn)行測試，測試結(jié)果如圖3。

通過人眼主觀視覺對比兩個方案的重建圖像可以發(fā)現(xiàn)，圖像增強(qiáng)后的輸出圖像在形變和模糊程度有一定減少，眼部等高頻細(xì)節(jié)較增強(qiáng)前有明顯改善。

4.3 人臉識別測試結(jié)果

經(jīng)predict.py測試，方案一、方案二可以準(zhǔn)確識別身份。

4.4 人臉檢測結(jié)果

選取超分辨率模型的部分測試圖像進(jìn)行人臉檢測分析，見圖4。此處僅使用方案二的輸出結(jié)果，經(jīng)過compare.py代碼的測試，重建模型輸出的圖像能準(zhǔn)確進(jìn)行人臉檢測。

4.5 結(jié)果對比與分析

4.5.1 主觀圖像質(zhì)量評價

圖5是對上述兩個訓(xùn)練方案進(jìn)行部分圖像對比的結(jié)果。通過人眼視覺判斷輸出圖片的效果可以看出，在對訓(xùn)練數(shù)據(jù)集做了數(shù)據(jù)增強(qiáng)之后，重建圖像有了明顯改善。

4.5.2 客觀圖像質(zhì)量評價

由測試結(jié)果可知，兩種訓(xùn)練方法都可以做到低清重構(gòu)的人臉識別，但是精度有一定差別，見表2-表3。

由測試結(jié)果可見，方案二的主觀圖像質(zhì)量評價，以及經(jīng)過圖像增強(qiáng)后的重構(gòu)精度和識別結(jié)果都優(yōu)于方案一。人眼主觀評價來看，即方案二的清晰度提高、失真減少。從客觀測得數(shù)據(jù)來看，方案二的PSNR與SSIM值小幅提高，閾值大幅減少。

5 結(jié)果與分析

隨著人們安全需求的提高，監(jiān)控視頻中的人臉識別準(zhǔn)確度也需要提高，然而大多數(shù)監(jiān)控視頻中人臉的清晰度通常較低，識別準(zhǔn)確度存在一定的問題。本文基于Tensorflow的深度學(xué)習(xí)方法，研究了低清人臉的重構(gòu)、檢測與識別，提高了一定的識別準(zhǔn)確度，這對城市低清道路監(jiān)控系統(tǒng)有重要意義。該模型在多角度人臉的重構(gòu)、識別檢測上還存在一定局限性，需改進(jìn)，此外，將其應(yīng)用到視頻中進(jìn)行跟蹤、捕捉也是進(jìn)一步研究的方向。

參考文獻(xiàn)（References）：

[1] Florian Schroff， Dmitry Kalenichenko， James Philbin. FaceNet：A unified embedding for face recognition and clustering[C].In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015. 815-823

[2] Chang H，Yeung D Y，Xiong Y.Super-Resolution through Neighbor Embedding[C]// null.IEEE Computer Society，2004.

[3] LertrattanapanichS，Bose N K.High resolution image formation from low resolution frames using delaunay triangulation[J].IEEE Transactions on ImageProcessing，2002.11（12）：1427-1441

[4] 張漫.圖像質(zhì)量評價算法的研究[D].山東大學(xué)，2007.

[5] 孫玉寶，張錚嶸，韋志輝，et al.基于稀疏表示的圖像超分辨率重建快速算法[J].系統(tǒng)工程與電子技術(shù)，2010.32（12）：2696-2700

[6] 劉永信，段添添.基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)的研究[J].科技與創(chuàng)新，2018.119（23）：46-49

[7] 方振宇.圖像超分辨率重建技術(shù)的研究及應(yīng)用[D].武漢理工大學(xué)，2012.

[8] 賈亮.圖像超分辨率重建技術(shù)研究[D].南京航空航天大學(xué).