基于改進(jìn)語義分割模型的虹膜快速定位

于泰峰

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

虹膜是最具有潛力的生物特征之一，包含了極其豐富的紋理信息和結(jié)構(gòu)信息，被稱作“視覺指紋”，受到了世界范圍內(nèi)的重視，并廣泛應(yīng)用于各種場(chǎng)景。虹膜識(shí)別屬于高級(jí)生物識(shí)別技術(shù)，具有先天優(yōu)勢(shì)，比指紋和人臉有著更高的精確度，虹膜識(shí)別發(fā)生故障的機(jī)會(huì)是各種識(shí)別技術(shù)中最小的，它正在成為身份認(rèn)證的一種新的介質(zhì)。虹膜識(shí)別的第一步便是虹膜區(qū)域的定位和完整提取，隨后的定位和分割的精度，直接決定了后續(xù)識(shí)別率的高低。所以，一個(gè)能夠快速定位、準(zhǔn)確性好的虹膜識(shí)別算法，具有重要的應(yīng)用價(jià)值和開發(fā)前景。

虹膜識(shí)別的構(gòu)想最早由Frown 發(fā)起，然后Daugman 在算法上首次將其實(shí)現(xiàn)投入實(shí)際生產(chǎn)。經(jīng)典的虹膜算法有Daugman[1]和Wildes[2]。Daugman 主要方法是應(yīng)用了微積分算子，但在過程中容易受到圖像邊緣干擾，在處理分辨率較大的圖像時(shí)定位慢效率低。Wildes在Daugman 雖然有了很大改進(jìn)，但是算法對(duì)噪聲敏感，檢測(cè)結(jié)果不一定有效。總結(jié)來說，兩種算法在一些有遮擋、不完整或是光線極端環(huán)境的圖像，不能很好地工作。

近年來，關(guān)于虹膜定位已有一些發(fā)表的研究工作。孫正等人[3]提出基于單位扇環(huán)灰度的虹膜定位算法，對(duì)Daugman 算法進(jìn)行了一定的改進(jìn)。楊秀等人[4]提出一種快速有效的算法，組合了多個(gè)步驟進(jìn)行定位。王延年等人[5]提出了一種基于閾值的分割算法，速度快而且準(zhǔn)確度高。還有一些工作是基于神經(jīng)網(wǎng)絡(luò)展開的。滕童[6]提出一種基于級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)的多任務(wù)虹膜快速定位方法，可以排除干擾信息，具有較高的魯棒性。林珊珊[7]運(yùn)用遷移學(xué)習(xí)，基于Mask-RCNN，對(duì)圖像進(jìn)行像素級(jí)別的分類，能夠很好地區(qū)分虹膜區(qū)域和非虹膜區(qū)域。本文提出一種基于Unet 網(wǎng)絡(luò)架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，并在此基礎(chǔ)上使用MobileNet 結(jié)構(gòu)對(duì)編碼層進(jìn)行替換和改進(jìn)，加入了深度可分離卷積模塊，在虹膜分割上取得了快速且準(zhǔn)確的效果。

1 算法實(shí)現(xiàn)

1.1 Unet網(wǎng)絡(luò)模型

Unet 網(wǎng)絡(luò)模型是由Olaf Ronneberger 等人[8]開發(fā)，用于生物醫(yī)學(xué)圖像分割的網(wǎng)絡(luò)，使用很少的圖像數(shù)據(jù)就可以得到很精確的分割結(jié)果。它的模型結(jié)構(gòu)主要分為兩條路徑。第一條路徑是編碼層，用于提取圖像特征，捕獲圖像中的上下文，編碼層其實(shí)就是傳統(tǒng)卷積層和最大池化層的堆疊。它主要的貢獻(xiàn)和創(chuàng)新在于它的第二條路徑，即對(duì)稱的擴(kuò)展路徑，也可稱之為解碼層。兩條路徑的信息匯集到一起，將上下文信息傳遞到更高分辨率的網(wǎng)絡(luò)層，實(shí)現(xiàn)精確定位，它是一個(gè)端到端的全卷積網(wǎng)絡(luò)，只包含卷積層，不包含任何全連接層，它的圖像輸入可以是任何大小。這樣的兩條路徑正好構(gòu)成一個(gè)U 字型，所以形象地稱之為Unet。左邊路徑實(shí)現(xiàn)的下采樣，右邊路徑實(shí)現(xiàn)的是上采樣。每一個(gè)下采樣的網(wǎng)絡(luò)模塊都是由（卷積層+ReLU 層）×2+最大池化層來實(shí)現(xiàn)的，卷積核為3×3，步長為1。每進(jìn)行一次下采樣圖像的大小變?yōu)樵瓉淼囊话搿Ｉ喜蓸訉用窟M(jìn)行一次上采樣，圖像大小變?yōu)樵瓉淼? 倍，擴(kuò)大的方式可以使反卷積或upsampling。這樣，將上下采樣兩條路徑上，大小相等的特征圖做級(jí)聯(lián)操作，繼續(xù)上采樣，最終得到一個(gè)和原圖像相同大小的圖像，每個(gè)像素點(diǎn)的概率代表它是屬于前景還是背景。

1.2 改進(jìn)Unet

當(dāng)數(shù)據(jù)過多而網(wǎng)絡(luò)層數(shù)太少時(shí)，網(wǎng)絡(luò)提取特征的能力不夠，會(huì)使得訓(xùn)練不充分，預(yù)測(cè)結(jié)果變差，這時(shí)候就需要對(duì)編碼層做是當(dāng)?shù)恼{(diào)整和替換，使用和數(shù)據(jù)規(guī)模相匹配的網(wǎng)絡(luò)，增加網(wǎng)絡(luò)的復(fù)雜度，但不能一味地追求深度，這樣反而會(huì)導(dǎo)致網(wǎng)絡(luò)過擬合。本章基于MobileNet 網(wǎng)絡(luò)，改進(jìn)Unet 模型的編碼層，加入了深度可分離卷積模塊，并在解碼層的四個(gè)不同層的位置進(jìn)行級(jí)聯(lián)操作。

MobileNet 網(wǎng)絡(luò)模型[9]由Google 于2017 年提出，該網(wǎng)絡(luò)最大的亮點(diǎn)是引入了深度可分離卷積（Depthwise Separable Convolution）的概念，如圖1，減小模型的大小和復(fù)雜度，是專門用于移動(dòng)或嵌入式設(shè)備的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)。下面將簡單介紹深度可分離卷積的過程。

圖1

首先，傳統(tǒng)的卷積結(jié)構(gòu)，將每個(gè)卷積核和樣本特征相乘后求和，例如一個(gè)224×224×3 的圖片輸入，3 代表三通道RGB，經(jīng)過64 個(gè)3×3×3 的卷積核之后，padding設(shè)為same，輸出尺寸與輸入相同，輸出的是224×224×64 的特征，這就是普通卷積的工作過程（224×224×3）→（3×3×3×64）→（224×224×64）。而深度可分離卷積把這個(gè)過程拆分成了兩個(gè)部分：①深度卷積（depthwise convolution），即圖2 中的dw。②逐點(diǎn)卷積（pointwise convolution），即圖2 中的pw。首先進(jìn)行深度卷積，每個(gè)卷積只和一個(gè)通道相乘，224×224×3 的輸入得到224×224×3 的特征圖，此時(shí)需要擴(kuò)展特征圖，這時(shí)候就用到了逐點(diǎn)卷積，它與常規(guī)卷積類似，卷積核大小為1×1×3，一共需要64 個(gè)該卷積，來使輸出為224×224×64。所以，深度可分離卷積的工作過程是（224×224×3）→（5×5×1×1）→（1×1×3×64）→（224×224×64）。建立深度可分離卷積的意義在于大大減少參數(shù)量和計(jì)算成本。在此例子中，傳統(tǒng)卷積基需要進(jìn)行86，704，128次乘法運(yùn)算，而而深度可分離卷積只需要10，988，544次乘法運(yùn)算，計(jì)算量增加接近9 倍。

MobileNet 一共有13 個(gè)深度可分離卷積模塊，每個(gè)模塊包含1 個(gè)深度卷積和1 個(gè)逐點(diǎn)卷積，改進(jìn)的網(wǎng)絡(luò)分別是在1、3、5、11 四個(gè)位置進(jìn)行級(jí)聯(lián)操作，網(wǎng)絡(luò)模型如圖2。其中CBR_block 模塊的組成為（傳統(tǒng)卷積層→BN 層→ReLU 層）×2。深度可分離卷積模塊簡稱為DWC_block。緊挨block 的尺寸描述代表每個(gè)block結(jié)束后特征的大小。

圖2 改進(jìn)Unet網(wǎng)絡(luò)模型示意圖

1.3 實(shí)驗(yàn)數(shù)據(jù)及預(yù)處理

虹膜圖像獲取是虹膜定位中最關(guān)鍵的步驟，要獲取到精準(zhǔn)的或具有實(shí)驗(yàn)意義的虹膜圖像，往往需要被采集者和采集源稍加配合。例如調(diào)整人眼的位置，但無需任何身體上的接觸。虹膜采集設(shè)備隨著計(jì)算機(jī)技術(shù)的發(fā)展，從原本的笨重變得越來越輕巧。在數(shù)據(jù)采集中，不可能將人眼位置完全固定，每次都使虹膜處于相同的位置，實(shí)際采集的數(shù)據(jù)往往是人的整個(gè)眼部，包含眼瞼、睫毛等，不同人種、性別、年齡，虹膜的大小可能各不相同，光照也會(huì)改變圖像的對(duì)比度和亮度以及瞳孔的大小，所以虹膜定位就是要在考慮諸多不確定因素的情況下，準(zhǔn)確分割出邊界。

本實(shí)驗(yàn)采用的虹膜數(shù)據(jù)來自CASIA-IrisV4[10]，由中國科學(xué)院自動(dòng)化所采集。Interval 是由近距離虹膜相機(jī)拍攝，得到的虹膜圖像十分清晰，包含復(fù)雜的紋理特征。Lamp 是由OKI 公司生產(chǎn)的手持虹膜傳感器采集的圖像，包含了虹膜紋理在不同光照條件下由于瞳孔的擴(kuò)張和收縮而產(chǎn)生的彈性變形，虹膜會(huì)控制瞳孔的通光量，瞳孔大小會(huì)碎光線的變化而變化，人無法進(jìn)行有意的控制，這一點(diǎn)可以判斷目標(biāo)是否為活體。Twins包含雙胞胎的虹膜圖像，由OKI 公司的IRISPASS-h 相機(jī)采集，即使是雙胞胎，虹膜圖像也會(huì)有一定的差異。Syn 包含了1 萬張人工合成的圖像，引入了變形、模糊和旋轉(zhuǎn)，非常接近真實(shí)圖像。

表1 CASIA-IrisV4 數(shù)據(jù)的細(xì)節(jié)描述

傳統(tǒng)的虹膜定位包括兩部分，內(nèi)邊界的定位和外邊界的定位。在本算法中，實(shí)現(xiàn)了端到端的算法，將虹膜的的內(nèi)外邊界同時(shí)定位，具體方法是根據(jù)數(shù)據(jù)集中虹膜邊界位置信息，生成對(duì)應(yīng)的mask 圖像，白色區(qū)域就是需要定位的虹膜區(qū)域，像素值為255，背景呈黑色，像素值為0。將原圖像和mask 圖像一一對(duì)應(yīng)，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。并按照3:1:1 的比例來分割訓(xùn)練集、驗(yàn)證集和測(cè)試集。

圖3 用于訓(xùn)練的真實(shí)圖像和對(duì)應(yīng)mask

圖像數(shù)據(jù)在輸入U(xiǎn)net 網(wǎng)絡(luò)之前要同一做歸一化，將輸入圖像的像素值歸一化至區(qū)間[0，1]，對(duì)每一張虹膜圖像進(jìn)行歸一化操作，具體公式如下：

其中x 表示輸入的圖像像素值，min（x）和max（x）分別表示一幅圖像像素值中的最小值和最大值，y 表示歸一化后的圖像像素值。歸一化可以使得網(wǎng)絡(luò)易于優(yōu)化和收斂，加快訓(xùn)練進(jìn)程。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)所用的硬件環(huán)境：CPU 型號(hào)為Intel i7-9700K 3.6GHz，GPU 型號(hào)為NVIDIA 1080Ti 8G，內(nèi)存32G，硬盤1TB。本實(shí)驗(yàn)的軟件環(huán)境:Windows10 系統(tǒng)，Python3.6，Keras2.3.1，TensorFlow-GPU-1.8.0，Cuda9.2，Cudnn7.1.4。

2.2 結(jié)果與分析

本文采用mean Iou-score 即交并比，以及mean f1-score，這兩個(gè)指標(biāo)來評(píng)價(jià)原始Unet 模型和加入深度可分離卷積后改進(jìn)的模型性能。IoU 指標(biāo)也稱Jaccard 指數(shù)，見公式（2），本質(zhì)上是一種量化真實(shí)mask 和預(yù)測(cè)輸出的mask 之間重疊百分比的指標(biāo)，值越高表示預(yù)測(cè)和真實(shí)值越接近。f1-score 是衡量二分類的指標(biāo)，同時(shí)兼顧了精確率和召回率，可以看做是兩者的平均，最大是1，最小是0，越大說明模型效果越好，見公式（3），還加入了兩種網(wǎng)絡(luò)的每幀預(yù)測(cè)速度和網(wǎng)絡(luò)參數(shù)及模型大小的對(duì)比。

原始Unet 和改進(jìn)Unet 各項(xiàng)指標(biāo)如表2 所示。由表2 可知改進(jìn)方法比原方法在IoU-score 和f1-score上分別提升了6.1%和6.5%，說明改進(jìn)后的方法在效果上更加準(zhǔn)確和精細(xì)。通過網(wǎng)絡(luò)參數(shù)和預(yù)測(cè)速度的對(duì)比，可以分析出加入了深度可分離卷積后的網(wǎng)絡(luò)，不僅參數(shù)少而且計(jì)算量小預(yù)測(cè)速度快，在使用場(chǎng)景上會(huì)更加適合實(shí)際生產(chǎn)和移動(dòng)設(shè)備的應(yīng)用落地。

表2 原始Unet 和改進(jìn)Unet 實(shí)驗(yàn)結(jié)果的各項(xiàng)指標(biāo)對(duì)比

圖4 隨機(jī)選取了5 組特殊情況的識(shí)別結(jié)果，以此觀察在特殊情況下網(wǎng)絡(luò)模型的分割性能。第1 組是眼瞼遮擋了上半部分虹膜，第2 組是眼瞼遮擋了下半部分虹膜，第三組是眼瞼遮擋了上下兩部分虹膜，從識(shí)別結(jié)果可以看出，算法準(zhǔn)確地避開眼瞼，將沒有被遮擋的剩余部分的虹膜完整地分割了出來。第4 組組和第5組是眼睫毛遮擋嚴(yán)重的圖像，從分割結(jié)果可以看出，睫毛沒有影響虹膜區(qū)域的分割，結(jié)果依舊準(zhǔn)確并且完整。這5 組實(shí)驗(yàn)圖像及結(jié)果，反映了模型對(duì)于一些特殊情況的虹膜圖像，也可以輸出良好的預(yù)測(cè)結(jié)果，具有一定的魯棒性和穩(wěn)定性。

3 結(jié)語

本文基于Unet 結(jié)構(gòu)和MobileNet 模型，提出了一種帶有深度可分離卷積結(jié)構(gòu)的改進(jìn)Unet 網(wǎng)絡(luò)，算法可以對(duì)虹膜區(qū)域進(jìn)行快速分割定位。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，改進(jìn)后的Unet 模型更小，預(yù)測(cè)精度和速度更高，具有不錯(cuò)的實(shí)際應(yīng)用價(jià)值。

圖4 改進(jìn)Unet算法在不同情況虹膜圖像上的分割效果