基于多任務(wù)學(xué)習(xí)的可見光與近紅外虹膜融合研究

尤軒昂，趙 鵬，慕曉冬，朱永清，沈丹瑤

中國(guó)人民解放軍火箭軍工程大學(xué) 作戰(zhàn)保障學(xué)院，西安 710025

虹膜識(shí)別作為安全穩(wěn)定的生物特征識(shí)別技術(shù)之一，已被廣泛應(yīng)用于智能解鎖、戶籍管理、法醫(yī)取證等領(lǐng)域[1]。隨著身份識(shí)別應(yīng)用場(chǎng)景的日趨復(fù)雜，虹膜識(shí)別技術(shù)正朝著遠(yuǎn)距離、低照度的方向發(fā)展。

當(dāng)前，虹膜識(shí)別在消費(fèi)類移動(dòng)設(shè)備上的推廣使可見光虹膜識(shí)別正逐漸成為研究熱點(diǎn)。但傳統(tǒng)商用虹膜識(shí)別系統(tǒng)大多仍采用850 nm 單一波長(zhǎng)的近紅外照明，這是由于近紅外成像易穿透虹膜色素，能清晰地顯示出其結(jié)構(gòu)紋理且有助于減輕暗光條件下人眼對(duì)補(bǔ)光燈的不適感[2]。不過相比于高信噪比的近紅外圖像，可見光虹膜圖像具有采集距離遠(yuǎn)、顏色紋理信息豐富、部署容易等不可替代的優(yōu)勢(shì)。研究表明，可見光圖像中豐富的顏色紋理特征有助于提高虹膜識(shí)別的精度。淺色虹膜在可見光成像下結(jié)構(gòu)紋理清晰、成像效果好，識(shí)別性能優(yōu)于近紅外虹膜圖像[3]。然而，深色虹膜區(qū)域因存在廣泛分布的黑色素而呈現(xiàn)黑色或深褐色，導(dǎo)致其在可見光圖像中的結(jié)構(gòu)紋理不明顯。并且深色虹膜的紋理區(qū)域狹窄，包含的結(jié)構(gòu)紋理信息較少，還普遍存在眼瞼和睫毛干擾等影響。另外，可見光成像自身還易受環(huán)境光照影響，存在角膜反射光斑、欠曝光等問題。以上因素都給可見光虹膜識(shí)別帶來了巨大挑戰(zhàn)。Hosseini等人[4]提出一種基于形狀分析的可見光虹膜特征提取方法，并通過融合同一人的近紅外和可見光虹膜特征提高了識(shí)別精度。融合多光譜虹膜圖像還可有效編碼互補(bǔ)信息以更好的對(duì)抗欺騙[5]。綜上，近紅外和可見光虹膜圖像各有所長(zhǎng)，研究可見光-近紅外圖像融合技術(shù)對(duì)于遠(yuǎn)距離、低照度識(shí)別場(chǎng)景下的虹膜質(zhì)量增強(qiáng)具有重要應(yīng)用價(jià)值。

1 相關(guān)研究

傳統(tǒng)的可見光-紅外圖像融合算法可分為稀疏表示、多尺度變換、子空間分析等[6]。高雪琴等人[7]提出利用FPDE將源圖像分解成高頻分量和低頻分量，再通過PCA獲取高頻細(xì)節(jié)和基于期望最大規(guī)則處理低頻分量，重構(gòu)后的融合結(jié)果邊緣清晰、顯著。Zhao等人[8]將融合任務(wù)看作回歸問題，引入全變差懲罰和最大化期望算法，提出了一種基于分層貝葉斯方法的融合模型，突出了紅外目標(biāo)區(qū)域、改善了紋理細(xì)節(jié)。

傳統(tǒng)的可見光-紅外融合算法以人工精心設(shè)計(jì)的復(fù)雜融合規(guī)則為主，準(zhǔn)確性和魯棒性易受中間環(huán)節(jié)的影響[9-10]。近年來，深度學(xué)習(xí)技術(shù)如火如荼的發(fā)展極大促進(jìn)了可見光-紅外圖像融合領(lǐng)域的進(jìn)步。Chen等人[11]提出了一種基于改進(jìn)U-net 和生成對(duì)抗網(wǎng)絡(luò)（generative adversarial network，GAN）的圖像融合模型，有效提升了融合結(jié)果的紋理細(xì)節(jié)與輪廓清晰度，凸顯了紅外目標(biāo)，但在亮度均衡方面略有不足。Li 等人[12]針對(duì)傳統(tǒng)DCNN 融合模型中的特征提取不足和退化問題提出了一種雙融合層密集連接網(wǎng)絡(luò)，提高了在融合多種任務(wù)上的性能，但所需大量配對(duì)標(biāo)注的訓(xùn)練數(shù)據(jù)難以獲取，近紅外圖像采用灰度代替一定程度上影響了訓(xùn)練效果。Jian 等人[13]提出了一種用于夜間環(huán)境的殘差編-解碼融合網(wǎng)絡(luò)，該網(wǎng)絡(luò)先在融合層利用殘差塊與前兩個(gè)卷積層產(chǎn)生的中間特征和補(bǔ)償特征進(jìn)行融合，再通過元素選擇得到重要特征輸入解碼器進(jìn)行圖像特征重建，降低計(jì)算量的同時(shí)有效減少了細(xì)節(jié)損失和偽影現(xiàn)象，但是當(dāng)融合任務(wù)改變則需要手動(dòng)調(diào)整超參數(shù)并重新訓(xùn)練。

綜上，深度學(xué)習(xí)融合方法較傳統(tǒng)算法在特征提取和數(shù)據(jù)表示能力方面更強(qiáng)，但同時(shí)需要提供的標(biāo)簽數(shù)據(jù)量也更大。然而，實(shí)際中獲取標(biāo)注數(shù)據(jù)較為困難且低用戶配合度下采集的可見光虹膜圖像可能同時(shí)存在多聚焦、多曝光等問題，使得以往被設(shè)計(jì)用于特定融合任務(wù)的模型顯得捉襟見肘。本文基于順序訓(xùn)練的多任務(wù)學(xué)習(xí)框架提出一種端到端可見光-近紅外虹膜融合網(wǎng)絡(luò)MTIris-Fusion。本文的主要內(nèi)容如下：

首先，采用基于U-Net的編碼-解碼結(jié)構(gòu)的融合主干網(wǎng)絡(luò)，并在編碼器部分加入設(shè)計(jì)的Dense Block，增強(qiáng)了特征融合能力。其次，針對(duì)實(shí)際虹膜樣本曝光范圍寬且存在離焦模糊的問題，采用多融合任務(wù)輔助訓(xùn)練并將預(yù)訓(xùn)練的ResNet50引入特征提取環(huán)節(jié)，提高了虹膜融合的魯棒性。然后，著重設(shè)計(jì)了采用結(jié)構(gòu)相似度損失（SSIM）、平均絕對(duì)誤差損失（MAE）、梯度損失共同約束的單任務(wù)損失函數(shù)，并通過正則化方法減少網(wǎng)絡(luò)訓(xùn)練過擬合。任務(wù)間采用彈性權(quán)重鞏固（EWC）機(jī)制更新總損失函數(shù)在提高泛化能力的同時(shí)避免網(wǎng)絡(luò)遺忘舊任務(wù)。最后，在PolyU_Cross-Spectral-Iris 數(shù)據(jù)集上的測(cè)試結(jié)果表明，本文提出的融合網(wǎng)絡(luò)在兼顧可見光虹膜的顏色紋理與近紅外高信噪比的結(jié)構(gòu)紋理信息的同時(shí)，對(duì)可見光虹膜中的較大反射光斑有較好抑制作用。

2 虹膜融合網(wǎng)絡(luò)設(shè)計(jì)

針對(duì)傳統(tǒng)多模態(tài)圖像融合方法紋理細(xì)節(jié)不清晰和重要信息保留不佳的問題。結(jié)合虹膜圖像質(zhì)量增強(qiáng)中消除反射光斑的實(shí)際需求，提出基于多任務(wù)學(xué)習(xí)的可見光-近紅外虹膜圖像融合方法。

2.1 多任務(wù)學(xué)習(xí)架構(gòu)

在傳統(tǒng)的深度學(xué)習(xí)圖像融合方法中，實(shí)現(xiàn)多個(gè)任務(wù)的圖像融合通常采用相同的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)不同的任務(wù)訓(xùn)練各自的模型或?qū)⒍嗳蝿?wù)的數(shù)據(jù)聯(lián)合訓(xùn)練的方式。然而，這兩種方式增加了網(wǎng)絡(luò)學(xué)習(xí)參數(shù)的冗余度和調(diào)參成本，計(jì)算和存儲(chǔ)開銷大。高照度圖像比低照度圖像包含更多的紋理細(xì)節(jié)與形狀等淺層特征，低照度圖像中的空間結(jié)構(gòu)等深層次信息占比更高。對(duì)于過曝和欠曝的虹膜圖像，多曝光融合能很好地聚合兩類圖像中的淺層特征與深層特征。考慮到不同的圖像融合任務(wù)（多模態(tài)、多曝光、多聚焦）之間既存在差異又隱含著聯(lián)系且虹膜圖像常包含多曝光與多聚焦數(shù)據(jù)，存在相互促進(jìn)學(xué)習(xí)的可能。本文采用順序訓(xùn)練的多任務(wù)架構(gòu)[11]，即將多個(gè)融合任務(wù)的數(shù)據(jù)按一定順序輸入網(wǎng)絡(luò)依次訓(xùn)練，本文采用的多任務(wù)學(xué)習(xí)架構(gòu)如圖1所示。

2.2 彈性權(quán)重鞏固EWC

在多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)中，訓(xùn)練新的任務(wù)時(shí)會(huì)造成對(duì)前序任務(wù)學(xué)習(xí)知識(shí)的丟失，即“災(zāi)難性遺忘”[13]，進(jìn)而導(dǎo)致網(wǎng)絡(luò)性能下降。通常在不額外增加模型的前提下，解決“災(zāi)難性遺忘”問題存在以下幾種不同思路。（1）利用新數(shù)據(jù)與舊數(shù)據(jù)信息競(jìng)爭(zhēng)在減少對(duì)重要參數(shù)影響的同時(shí)促進(jìn)網(wǎng)絡(luò)對(duì)新知識(shí)的學(xué)習(xí)。（2）在多任務(wù)訓(xùn)練時(shí)，利用網(wǎng)絡(luò)對(duì)新任務(wù)進(jìn)行預(yù)測(cè)生成虛擬數(shù)據(jù)，在目標(biāo)函數(shù)中設(shè)計(jì)約束項(xiàng)實(shí)現(xiàn)通過新數(shù)據(jù)約束舊參數(shù)來抑制遺忘。（3）引入概率分布思想，采用正則化方式約束參數(shù)更新。前2類方法多需要多分支網(wǎng)絡(luò)實(shí)現(xiàn)，不適用本文單分支順序訓(xùn)練的架構(gòu)與數(shù)據(jù)。

因此，本文采用第3 種思路將彈性權(quán)重鞏固損失（elastic weight consolidation，EWC）[13]引入虹膜融合網(wǎng)絡(luò)，使模型可在不同任務(wù)間自適應(yīng)學(xué)習(xí)參數(shù)，從而避免了模型遺忘舊任務(wù)學(xué)到的知識(shí)，實(shí)現(xiàn)持續(xù)學(xué)習(xí)。EWC的核心思想是利用正則化將前序任務(wù)中的重要參數(shù)保護(hù)起來，使其不易在新的訓(xùn)練任務(wù)中被更新。其表達(dá)式為：

式中，λ為調(diào)節(jié)權(quán)重更新的超參數(shù)，θi、θ*i分別代表網(wǎng)絡(luò)在當(dāng)前任務(wù)與前序任務(wù)學(xué)習(xí)的參數(shù)。新任務(wù)學(xué)習(xí)的每個(gè)參數(shù)都會(huì)受到前序任務(wù)學(xué)習(xí)到的參數(shù)值約束。Ωi表示網(wǎng)絡(luò)學(xué)習(xí)到的重要權(quán)重，其理論推導(dǎo)為Fisher信息矩陣的對(duì)角線項(xiàng)，化簡(jiǎn)得：

2.3 網(wǎng)絡(luò)設(shè)計(jì)細(xì)節(jié)

所提出的多任務(wù)虹膜融合網(wǎng)絡(luò)（MTIris-Fusion）由編碼器、解碼器和融合模塊三部分組成。為改善實(shí)驗(yàn)中出現(xiàn)的低照度可見光虹膜圖像噪聲干擾，導(dǎo)致融合結(jié)果中出現(xiàn)的顏色噪聲問題，融合主干網(wǎng)絡(luò)采用基于U-Net的編-解碼網(wǎng)絡(luò)架構(gòu)。編碼部分是由卷積層和最大池化層堆疊而成的下采樣網(wǎng)絡(luò)。逐步縮小特征圖，增加通道數(shù)，使網(wǎng)絡(luò)充分學(xué)習(xí)到全局和局部特征。解碼器部分利用反卷積操作逐步擴(kuò)大特征圖并減少通道數(shù)從而上采樣至原始尺寸。

在此基礎(chǔ)上進(jìn)一步改進(jìn)網(wǎng)絡(luò)。首先，取消最大池化操作以減少信息丟失。將編碼-解碼網(wǎng)絡(luò)中所有的卷積層的濾波器大小設(shè)置3×3，步長(zhǎng)為1。為減少訓(xùn)練過程中ReLU 在負(fù)半軸時(shí)因梯度為零而導(dǎo)致的局部神經(jīng)元失效現(xiàn)象，將激活函數(shù)由ReLU替換成帶泄露的修正線性單元（leaky rectified linear units，leaky ReLU），使神經(jīng)元在負(fù)半軸區(qū)域更偏向于被激活。其公式如下：

式中，xi為輸入，fi(xi)為輸出。激活函數(shù)所固有的非線性因素決定了其負(fù)半軸的斜率過大反而會(huì)降低效果。因此，在實(shí)際訓(xùn)練中Leaky ReLU在負(fù)半軸的斜率ai通常取較小值，本文借鑒文獻(xiàn)[14]中的設(shè)計(jì)將其斜率設(shè)置為0.2。由于輸入圖片歸一化區(qū)間在[-1，1]，在網(wǎng)絡(luò)最后一層加入tanh 激活函數(shù)。在編碼部分下采樣層之間插入了密集連接塊Dense Block，實(shí)現(xiàn)在層與層之間建立前饋快捷連接，從而在緩解梯度消失的同時(shí)促進(jìn)了特征信息在網(wǎng)絡(luò)中的流動(dòng)。

文中的Dense Block 的結(jié)構(gòu)如圖2 所示，在內(nèi)部每個(gè)3×3卷積前設(shè)置一個(gè)1×1卷積，在減少輸入特征圖的通道數(shù)的同時(shí)，通過先降維再升維的過程減少了參數(shù)與計(jì)算量，提升了訓(xùn)練的實(shí)時(shí)性。不同條件下參數(shù)量計(jì)算如表1所示，設(shè)輸入特征圖為H×W×C、經(jīng)3×3卷積后輸出通道數(shù)為C″，經(jīng)1×1卷積后輸出通道數(shù)為C′。在加入1×1卷積后參數(shù)量減少了90%左右。

表1 不同條件下參數(shù)量計(jì)算Table 1 Calculation of number of parameters under different conditions

另外，在卷積操作之前加入鏡像填充（reflection padding）操作，實(shí)驗(yàn)顯示這有利于減少輸出結(jié)果的邊緣偽影。解碼器為4 層16 倍上采樣，每層由卷積層（convolutional layer）、批標(biāo)準(zhǔn)化層（batch normalization，BN）、反卷積操作組成。在編碼器與解碼器的對(duì)應(yīng)層間建立跳躍連接（skip connection），增強(qiáng)了多尺度的特征融合，不同層間的密集連接在訓(xùn)練中具有一定的正則化的作用，減少了過擬合的發(fā)生。

文獻(xiàn)[12-18]指出，在可見光虹膜識(shí)別中有效特征主要來源于R 通道，與單個(gè)R 通道相比，RGB 三通道圖像的識(shí)別精度反而有所降低。因此，本文僅選擇可見光虹膜圖像R通道分量與NIR圖像輸入網(wǎng)絡(luò)進(jìn)行融合。

本文設(shè)計(jì)的融合模塊由特征提取網(wǎng)絡(luò)、自適應(yīng)信息權(quán)重生成2部分組成。首先，受遷移學(xué)習(xí)思想啟發(fā)，特征提取部分采用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)對(duì)輸入的單通道可見光和近紅外圖像進(jìn)行特征提取。其次，計(jì)算網(wǎng)絡(luò)輸出特征圖的梯度值并對(duì)其進(jìn)行Softmax 操作以衡量信息保留度，得到兩個(gè)自適應(yīng)權(quán)重ω1、ω2，由自適應(yīng)權(quán)重決定了網(wǎng)絡(luò)從不同源圖像學(xué)習(xí)到的重要特征占比，考慮到可見光與近紅外圖像波長(zhǎng)較近，使用常數(shù)c作為縮放因子來放大梯度gI1、gI2的差異。最終自適應(yīng)權(quán)重ω1、ω2計(jì)算表達(dá)式如下：

上式中，gI1、gI2分別為可見光圖像與近紅外圖像相應(yīng)特征圖的梯度。最終設(shè)計(jì)的多任務(wù)學(xué)習(xí)虹膜融合網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

2.4 損失函數(shù)設(shè)計(jì)

目前，圖像融合網(wǎng)絡(luò)的損失函數(shù)多采用結(jié)構(gòu)相似度損失函數(shù)（SSIM）、MSE或SSIM+MSE的方式[19]。SSIM通過度量亮度、對(duì)比度及結(jié)構(gòu)等信息的相似性程度來評(píng)價(jià)融合圖像的失真程度，它能更好地保留細(xì)節(jié)紋理從而使融合結(jié)果更真實(shí)，更符合人類視覺感知。

梯度損失函數(shù)能夠更好地保留近紅外圖像中的邊緣和細(xì)節(jié)等高頻信息。MAE損失函數(shù)在降噪效果上要優(yōu)于MSE，但二者都忽視了圖像的細(xì)節(jié)紋理。而對(duì)于虹膜識(shí)別來說，紋理細(xì)節(jié)的清晰程度決定了特征提取到的關(guān)鍵信息數(shù)量。因此，本文設(shè)計(jì)的損失函數(shù)綜合考慮對(duì)可見光圖像的降噪及近紅外豐富高頻信息的保留，將SSIM、MAE、梯度損失函數(shù)三者組合，最終的損失函數(shù)Ls如下：

其中，Lmae為平均絕對(duì)誤差損失；Lgrad為梯度損失；Lssim為結(jié)構(gòu)相似性損失；α為比例系數(shù)。

設(shè)輸出圖像為O，輸入圖像為I，可見光與近紅外虹膜圖像分別為I1、I2。總的SSIM損失Lssim、總的梯度損失Lgrad、總的MAE損失Lmae三項(xiàng)是對(duì)輸出圖像與可見光、近紅外圖像各自的SSIM損失、梯度損失、MAE損失分別賦予的上文中的自適應(yīng)權(quán)值，并求其數(shù)學(xué)期望得到。表達(dá)式如下：

上式中，E[]· 表示求數(shù)學(xué)期望，ω1、ω2為根據(jù)源圖像計(jì)算得到的自適應(yīng)權(quán)值；SO,I1和SO,I2分別為輸出與可見光圖像的相似度損失、輸出與近紅外圖像的相似度損失。其定義式如下：

式中，I=I1,I2，μI、μO為輸入與融合圖像的均值；σI、σO為輸入圖像與融合圖像的方差；σOI表示輸出結(jié)果與輸入圖像的協(xié)方差；常數(shù)C1、C2為穩(wěn)定系數(shù)。

輸出與輸入的平均絕對(duì)誤差損失（MAE）為輸出與原圖的之差的L1范數(shù)，表達(dá)式如下：

式中，N代表訓(xùn)練樣本數(shù)；GO、GI為實(shí)際中為提高計(jì)算效率通過Sobel 算子計(jì)算得到的輸出、輸入圖像的梯度。其定義式如下：

式中，第一項(xiàng)矩陣為水平方向上的Sobel算子，第二項(xiàng)矩陣為垂直方向上的Sobel算子。

因此，結(jié)合前文介紹的多任務(wù)融合網(wǎng)絡(luò)EWC 損失更新機(jī)制，通過最小化損失函數(shù)L 來訓(xùn)練編碼-解碼網(wǎng)絡(luò)，總損失函數(shù)表達(dá)式如下：

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證融合模型的實(shí)際效果，本章分別從主觀視覺效果與客觀質(zhì)量指標(biāo)兩方面對(duì)多組不同光照強(qiáng)度下的虹膜圖像進(jìn)行實(shí)驗(yàn)和評(píng)價(jià)。

3.1 實(shí)驗(yàn)設(shè)置與網(wǎng)絡(luò)訓(xùn)練

本文實(shí)驗(yàn)的軟硬件環(huán)境為：CPU為Intel?Xeon?Gold 6132 CPU@2.60 GHz；GPU為NVIDIA?T4 16 GB。操作系統(tǒng)為Ubuntu 18.04.5 LTS 64 bit；CUDA版本為10.1；深度學(xué)習(xí)框架為Tensorflow1.14；Python環(huán)境為3.6。

實(shí)驗(yàn)數(shù)據(jù)選擇香港理工大學(xué)提供的可見光與近紅外虹膜數(shù)據(jù)集PolyU Cross Spectral Iris。該數(shù)據(jù)集由209 名東亞個(gè)體的6 270 對(duì)可見光-近紅外虹膜圖像組成，所有數(shù)據(jù)均已配準(zhǔn)和對(duì)齊。該數(shù)據(jù)集中包含大量相似樣本，故僅選擇其中168 人的336 組可見光與近紅外配對(duì)圖像作為訓(xùn)練集，其余82組圖像用于測(cè)試。另外，還采用文獻(xiàn)[20]提供的多曝光配對(duì)圖像數(shù)據(jù)與文獻(xiàn)[21]中的多聚焦配對(duì)圖像用于后兩個(gè)輔助任務(wù)的訓(xùn)練。

網(wǎng)絡(luò)訓(xùn)練及超參數(shù)設(shè)置：由于可用于訓(xùn)練的圖像對(duì)較少，本文將訓(xùn)練數(shù)據(jù)切割成大小為128×128 的補(bǔ)丁塊，并進(jìn)行隨機(jī)翻轉(zhuǎn)和放大的數(shù)據(jù)增強(qiáng)處理，最后，為便于數(shù)據(jù)轉(zhuǎn)移與讀取，將其打包成HDF5格式讀取。初始學(xué)習(xí)率lr設(shè)置為0.001 并采用自適應(yīng)策略更新，采用RMSProp 優(yōu)化器更新網(wǎng)絡(luò)的權(quán)值，損失函數(shù)中控制平衡的超參數(shù)α=20，λ=80 000、batch size 為32、訓(xùn)練的epoch參數(shù)分別設(shè)置為[3，2，2]。

為證明本文提出的引入自適應(yīng)權(quán)重與EWC的損失函數(shù)的有效性，將所提網(wǎng)絡(luò)與采用傳統(tǒng)的MAE 損失函數(shù)的網(wǎng)絡(luò)進(jìn)行對(duì)比（傳統(tǒng)的MAE 損失函數(shù)無自適應(yīng)權(quán)重機(jī)制），訓(xùn)練過程中的不同損失函數(shù)下降曲線比較如圖4 所示，采用本文損失函數(shù)的網(wǎng)絡(luò)明顯收斂速度更快，損失值更低，訓(xùn)練過程更穩(wěn)定，更具優(yōu)勢(shì)。

3.2 主觀質(zhì)量評(píng)價(jià)

本節(jié)分別對(duì)比了高照度、低照度場(chǎng)景下的可見光與近紅外虹膜圖像在5 種不同方法下的視覺融合效果。部分實(shí)驗(yàn)樣本分為3 組展示，如圖5～7 所示。為更直觀地展示，在圖中對(duì)重點(diǎn)區(qū)域進(jìn)行標(biāo)注。

觀察圖5 和圖6 可知，算法ADF、GFF、CBF 融合結(jié)果的眼部結(jié)構(gòu)形態(tài)更接近可見光圖像，與可見光原圖相比，虹膜紋理在主觀視覺上顯著程度均有一定提升，過曝光現(xiàn)象得到不同程度的改善。這也在一定程度上反映了雙光譜虹膜融合對(duì)圖像質(zhì)量的增強(qiáng)作用。然而，圖5和圖6中（c）～（f）的圖像融合結(jié)果大多存在局部模糊，其中CBF算法的融合結(jié)果中的噪點(diǎn)較多甚至出現(xiàn)大面積失真現(xiàn)象。由圖7 的第三組低照度樣本實(shí)驗(yàn)結(jié)果可知，本文方法還較好地均衡了可見光與近紅外虹膜圖像的亮度，起到了補(bǔ)光作用。

如圖5～7 所示，相比于其他算法，本文方法的結(jié)果不僅在形態(tài)上與近紅外虹膜圖像相似而且虹膜區(qū)域的結(jié)構(gòu)紋理在徑向與軸向分布上呈現(xiàn)更加清晰、細(xì)膩的特點(diǎn)。與近紅外源圖像相比，經(jīng)本文方法融合后的虹膜邊緣部分的顏色紋理信息更加豐富，輪廓更深，層次感更強(qiáng)。由此可見，本方法充分融合了可見光虹膜圖像中所包含的顏色紋理信息。另外，其他融合算法結(jié)果中均存在可見光與近紅外虹膜圖像中的反射光斑，本文方法在可見光光斑區(qū)域融入了近紅外圖像對(duì)應(yīng)區(qū)域的信息，進(jìn)而較好地抑制了可見光圖像中的補(bǔ)光燈反射光斑。綜上所述，本文提出的方法比其他融合算法在主觀視覺評(píng)價(jià)上效果更好，更具優(yōu)勢(shì)。

3.3 客觀質(zhì)量評(píng)價(jià)

結(jié)構(gòu)紋理與顏色信息是影響融合后虹膜圖像質(zhì)量的關(guān)鍵因素，因此，融合結(jié)果中包含源圖像信息量的豐富程度是衡量虹膜融合質(zhì)量的重點(diǎn)。此外，許多融合算法視覺效果較為接近，僅考慮主觀評(píng)價(jià)結(jié)果易受人為因素影響。因此，本文選擇信息熵、標(biāo)準(zhǔn)差、峰值信噪比、空間頻率、互信息5種評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行客觀質(zhì)量評(píng)價(jià)，其計(jì)算公式如下：

以上5種評(píng)價(jià)指標(biāo)均為正指標(biāo)，即值越大反映融合效果愈優(yōu)。表2～3 分別為虹膜圖像的高照度組與低照度組的不同融合方法在上述5 個(gè)指標(biāo)上的客觀評(píng)價(jià)對(duì)比結(jié)果。其中，標(biāo)注加粗的數(shù)據(jù)為相應(yīng)指標(biāo)的最優(yōu)值，標(biāo)注下劃線的數(shù)據(jù)為次優(yōu)值。

表2 高照度組對(duì)比實(shí)驗(yàn)的客觀評(píng)價(jià)結(jié)果Table 2 Objective evaluation results of contrast experiment in high illumination group

分析表2、表3可知，本文方法在高照度虹膜圖像上的融合MI 指標(biāo)明顯優(yōu)于其他融合方法，SD 指標(biāo)和EN指標(biāo)取得了次好值，接近最好值。由于CBF算法融合結(jié)果出現(xiàn)噪聲和失真其SF 指標(biāo)遠(yuǎn)高于其他幾種方法，將其作為異常值考慮，比較時(shí)予以剔除。因此，本文方法的SF 指標(biāo)實(shí)際為第二，略低于GFF 算法。對(duì)于暗光環(huán)境的低照度虹膜圖像，本文方法在EN 指標(biāo)達(dá)到最優(yōu)且在SD、SF、MI 三個(gè)指標(biāo)上均取得了第二。結(jié)合主客觀質(zhì)量評(píng)價(jià)結(jié)果分析，PSNR 指標(biāo)衡量原圖與融合結(jié)果的接近程度，值越大越接近清晰度越高。本文方法在PSNR指標(biāo)上未優(yōu)于其他幾種方法可能是由于可見光虹膜圖像中的反射光斑面積相對(duì)較大，融合后該區(qū)域信息由近紅外圖像的對(duì)應(yīng)信息填補(bǔ)，進(jìn)而導(dǎo)致了融合圖像重建信息與原圖的差異。另一方面，在存在光斑差異的前提下所提方法在PSNR 指標(biāo)上仍取得了較好值。反映出算法對(duì)于原圖的整體還原度較高且有效地去除了可見光虹膜圖像中的光斑，相對(duì)于其他方法優(yōu)勢(shì)明顯。

表3 低照度組對(duì)比實(shí)驗(yàn)的客觀評(píng)價(jià)結(jié)果Table 3 Objective evaluation results of contrast experiment in low illumination group

為客觀評(píng)價(jià)本文所提出方法的計(jì)算效率，如表4所示，分別統(tǒng)計(jì)5種方法在本文采用的虹膜圖像數(shù)據(jù)上的平均單張融合時(shí)間。

分析表4可知，本文提出的方法在可見光-近紅外虹膜圖像融合任務(wù)上的單張平均計(jì)算時(shí)間為3.27 s，略高于ADF 算法和基于深度學(xué)習(xí)的Densefuse 方法，比GFF算法和CBF算法的計(jì)算復(fù)雜度更低，具有一定的優(yōu)勢(shì)。

表4不同方法在虹膜圖像上的計(jì)算復(fù)雜度Table 4 Computational complexity of different methods on iris images

4 結(jié)束語

本文提出了一種基于多任務(wù)學(xué)習(xí)的端到端圖像融合網(wǎng)絡(luò)MTIris-Fusion并將其用于可見光-近紅外虹膜圖像融合。首先，將源圖像中包含的信息量作為基準(zhǔn)獲取自適應(yīng)的信息量指標(biāo)，并且該自適應(yīng)指標(biāo)可學(xué)習(xí)，即可隨著網(wǎng)絡(luò)的訓(xùn)練而更新，從而保證了融合結(jié)果與原圖的相似度。其次，在多任務(wù)框架下借助學(xué)習(xí)多曝光、多聚焦任務(wù)輔助可見光與近紅外圖像融合任務(wù)，實(shí)驗(yàn)結(jié)果表明，本文方法融合結(jié)果在多數(shù)客觀評(píng)價(jià)指標(biāo)上表現(xiàn)靠前，紋理細(xì)節(jié)更加豐富清晰，輪廓顏色紋理更深，虹膜邊緣層次分明，較好抑制了可見光圖像中存在的反射光斑噪聲。通過對(duì)可見光與近紅外兩種不同頻段成像條件下的虹膜圖像進(jìn)行雙光譜融合，使兩種虹膜圖像互補(bǔ)的結(jié)構(gòu)紋理信息與色素紋理信息，增加融合圖像中包含的總信息量，增強(qiáng)了虹膜圖像質(zhì)量。下一步的工作可研究如何消除近紅外圖像中的小光斑目標(biāo)，還可研究結(jié)合多任務(wù)學(xué)習(xí)雙光譜融合的虹膜識(shí)別系統(tǒng)構(gòu)建問題。