近紅外圖像增強(qiáng)與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂(lè) 娟

（天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387）

近紅外圖像增強(qiáng)與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂(lè) 娟

（天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387）

提出了一種新的近紅外圖像增強(qiáng)與彩色化算法，先將近紅外圖像取反，然后用MSRCR算法處理取反后的RGB三個(gè)通道的圖像，將處理后的RGB三通道灰度值分別拉伸合并成一幅新的圖像，取反后用改進(jìn)的導(dǎo)向?yàn)V波實(shí)現(xiàn)圖像增強(qiáng)，用改進(jìn)的BOF算法檢索用于給近紅外圖像上色的彩色參考圖像，接著采用Welsh算法對(duì)增強(qiáng)后的近紅外圖像分區(qū)域上色，再通過(guò)紋理匹配選取相似像素點(diǎn)，實(shí)現(xiàn)近紅外圖像的彩色化。實(shí)驗(yàn)結(jié)果表明，這種算法增強(qiáng)后的圖像細(xì)節(jié)清晰，色彩傳遞效果好，且算法運(yùn)行速度比較快。

近紅外圖像增強(qiáng)；彩色化；MSRCR算法；檢索彩色參考圖像

近紅外圖像的彩色化，是指將某個(gè)最相近的彩色圖像的顏色特征傳遞給該近紅外圖像。我們首先需要檢索與近紅外圖像具有類似特征的彩色參考圖像，否則，傳遞后的彩色效果將難以保證。目前，在圖像檢索技術(shù)中，有許多比較成熟的算法，比如傳統(tǒng)的BOF（bag of features）算法采用SIFT[6]描述特征點(diǎn)，使用K-Means或SVM分類器實(shí)現(xiàn)圖像檢索。為了提高SIFT算法對(duì)特征提取的魯棒性，文獻(xiàn)[7]提出了基于ROI提取結(jié)合金字塔匹配原理，但是，運(yùn)算復(fù)雜度比較高。由于簡(jiǎn)單的應(yīng)用K-Means和SVM實(shí)現(xiàn)的BOF算法擬合度和分類精度都不夠高，因此，文獻(xiàn)[8]利用使用概率，通過(guò)EM對(duì)BOF進(jìn)行擬合。這樣做雖然在一定程度上提高了精度，但對(duì)于具有復(fù)雜背景的圖像仍然存在效率低和分類精度不高的缺點(diǎn)。本文針對(duì)BOF算法的不足，提出對(duì)于SIFT提取出的圖像特征描述符通過(guò)PCA降維，以降低BOF算法的復(fù)雜度、提高運(yùn)行效率、解決存儲(chǔ)要求過(guò)高的算法；同時(shí)，引入用余弦夾角與巴氏距離共同度量待檢索近紅外圖像與圖片庫(kù)中的圖像相似度，以提高BOF分類的精度。

由于國(guó)內(nèi)外暫時(shí)沒有關(guān)于近紅外圖像彩色化的研究，因此，本文參考了Welsh提出的灰度圖像彩色化的算法[9]，但是，由于該算法要遍歷圖像中所有像素，所以，此運(yùn)算時(shí)間比較長(zhǎng)，并且會(huì)產(chǎn)生一定的噪聲，發(fā)生溢色的現(xiàn)象。鑒于此，本文提出了具有相似顏色的區(qū)域進(jìn)行分塊上色的方法，以加快運(yùn)算速度。

1 近紅外圖像增強(qiáng)

本文提出的增強(qiáng)算法具體步驟如下：①A經(jīng)過(guò)MSRCR算法處理后得到A’；②對(duì)獲取的近紅外圖像A取反，得到B；③把B的RGB三通道分別用MSRCR算法進(jìn)行濾波，得到R’，G’，B’；④對(duì) R’，G’，B’分別進(jìn)行灰度拉伸，得到 R’，G’，B’；⑤將 R’，G’，B’合并，得到 RGB 彩色圖像再取反得到圖像D；⑥把圖像D與A’進(jìn)行加權(quán)融合，得到圖像E；⑦對(duì)圖像E應(yīng)用導(dǎo)向?yàn)V波，得到增強(qiáng)圖像F。

2 參考彩色圖像檢索

2.1 Bag of Features（BOF）圖像檢索算法

在實(shí)際工作中，先采用SIFT算子對(duì)圖像進(jìn)行特征提取，得到大量特征，獲得表達(dá)圖像的關(guān)鍵詞；然后采用K-Means聚類方法，將隨機(jī)產(chǎn)生聚類中心定義為視覺單詞，對(duì)得到的關(guān)鍵詞進(jìn)行聚類。但是我們發(fā)現(xiàn)，傳統(tǒng)的BOF算法只采用余弦夾角度量圖片的相似度，對(duì)圖像的檢測(cè)匹配率比較低，運(yùn)算速度比較慢，所以，采用PCA降維和改進(jìn)的BOF圖像檢測(cè)算法來(lái)提高檢測(cè)匹配率，縮短運(yùn)算時(shí)間。

2.2 改進(jìn)的BOF圖像檢索算法

為了加快運(yùn)算速度，我們對(duì)SIFT提取出的特征用PCA方法先降維；為了提高圖像的匹配率，我們使用巴氏距離和余弦夾角共同度量待檢索圖像和圖像庫(kù)中圖像的相似度。改進(jìn)的BOF圖像檢索算法流程如圖1所示。

圖1 改進(jìn)的BOF圖像檢索算法流程圖

3 圖像彩色化

傳統(tǒng)的Welsh算法只能全局上色，效果不是很好。經(jīng)過(guò)研究發(fā)現(xiàn)，在彩色參考圖像和矩形圖像塊中傳遞顏色，然后用距離尋找相似紋理進(jìn)行匹配，上色效果會(huì)有很大程度上的提升。首先我們用式（1）計(jì)算灰度圖像區(qū)域Ng和彩色參考圖像的矩形框區(qū)域Ns間的距離E：

式（1）中：I為灰度圖像的亮度值；為灰度圖像的平均亮度值；S為參考圖像的矩形框S內(nèi)亮度值；為參考圖像的矩形框內(nèi)平均亮度值；p為鄰域像素。

通過(guò)式（1）尋找灰度圖像中與已經(jīng)上色的矩形框中像素之間E最小的像素進(jìn)行顏色傳遞。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 近紅外圖像增強(qiáng)與彩色化實(shí)驗(yàn)結(jié)果及分析

圖2是對(duì)近紅外圖像彩色化的結(jié)果與對(duì)比情況，其中a1至a5是原始近紅外圖像，b1至b5是增強(qiáng)后的近紅外圖像，c1至c5是彩色參考圖像，d1至d5是Welsh算法彩色化結(jié)果，e1至e5是本文算法彩色化結(jié)果。

圖2 彩色化結(jié)果對(duì)比

由實(shí)驗(yàn)結(jié)果可知，改進(jìn)算法克服了近紅外圖片經(jīng)過(guò)Welsh算法處理后出現(xiàn)的顏色溢出現(xiàn)象，同時(shí)，有效過(guò)濾了高頻與低頻噪聲，使得可視化效果增強(qiáng)。但是，由于我們所使用的近紅外圖像是在暗室中由近紅外燈補(bǔ)光的條件下拍攝的，所以，原始圖像的圖像清晰度比較差，使得在近紅外圖像的某些區(qū)域上色效果有些不好。

4.2 近紅外圖像檢索時(shí)間對(duì)比及分析

由于原始近紅外圖像清晰度不高，會(huì)使圖像檢索精確度下降，所以，本文選用增強(qiáng)后的圖像作為待檢索圖像。原始近紅外圖如圖3所示。實(shí)驗(yàn)選取256_ObjectCategories作為檢索圖像庫(kù)，將圖4作為待檢索圖像，表1展示了本文算法與其他算法在運(yùn)算時(shí)間和匹配率方面的對(duì)比情況。從表1中可以看出，使用巴氏距離、余弦夾角度量的待檢索圖像與圖像庫(kù)中圖像的相似度相比，圖像檢索的精確率大幅提升；采用PCA降維算法雖然會(huì)使圖像檢索的精確率小幅度下降，但是，大大縮短了運(yùn)算時(shí)間。

5 結(jié)束語(yǔ)

本文提出了一種近紅外圖像增強(qiáng)與顏色傳遞算法，圖像增強(qiáng)算法在Retinex基礎(chǔ)上，使用了對(duì)近紅外圖像像素值取反補(bǔ)償細(xì)節(jié)、灰度拉伸增強(qiáng)對(duì)比度、導(dǎo)向?yàn)V波濾噪來(lái)增強(qiáng)近紅外圖像的視覺效果。顏色傳遞算法在Welsh算法的基礎(chǔ)上，通過(guò)指定多個(gè)區(qū)域上色，改變匹配紋理的算法，使顏色遷移更加準(zhǔn)確，細(xì)節(jié)更加豐富，同時(shí)，加入導(dǎo)向?yàn)V波，使圖像更加平滑，圖像視覺質(zhì)量提高。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)近紅外圖像有良好的增強(qiáng)附色效果，這對(duì)于改善近紅外圖像質(zhì)量有重要的現(xiàn)實(shí)意義，在公安監(jiān)控、農(nóng)產(chǎn)品檢測(cè)、醫(yī)療成像等使用近紅外成像的領(lǐng)域有良好的應(yīng)用前景。

圖3 原近紅外圖像

圖4 增強(qiáng)后近紅外圖像

表1 改進(jìn)后的BOF圖像檢索算法與其他算法的時(shí)間與匹配率的對(duì)比

［1］Land E H.The retinex theory of color vision［J］.Scientific American，1977，237（6）：108.

［2］段群，吳粉俠，李紅.雙通道分塊同態(tài)濾波彩色圖像增強(qiáng)算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2016（01）：82-85.

［3］陳超.改進(jìn)單尺度Retinex算法在圖像增強(qiáng)中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30（4）：55-57.

［4］劉家朋，趙宇明，胡福喬.基于單尺度Retinex算法的非線性圖像增強(qiáng)算法［J］.上海交通大學(xué)學(xué)報(bào)，2007，41（5）：685-688.

［5］Wang S，Zheng J，Hu H M，et al.Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（9）：3538.

［6］LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91?110.

［7］趙春暉，王瑩，Masahide KANEKO.一種基于詞袋模型的圖像優(yōu)化分類方法［J］.電子與信息學(xué)報(bào)，2012，34（9）：2064-2070.

［8］LEUNG T，MAILIK J.Representing and recognizing the visual appearance of materials using three-dimensional textons［J］.International Journal of Compute Vision，2001，43（1）：29?44.

［9］Welsh T，Ashikhmin M，Mueller K.Transferring color to greyscale images［C］//Conference on Computer Graphics and Interactive Techniques.ACM，2002：277-280.

［10］Iizuka S，Simoserra E，Ishikawa H.Let there be color!：joint end-to-end learning of global and local image priors forautomatic image colorization with simultaneous classification［J］.Acm Transactions on Graphics，2016，35（4）：1-11.

［11］Arbelot B，Hurtut T，Hurtut T，et al.Automatic texture guided color transfer and colorization［C］//Joint Symposium on Computational Aesthetics and Sketch Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering.EurographicsAssociation，2016：21-32.

［12］Arbelot B，Vergne R，Hurtut T，et al.Local texture-based color transfer and colorization［J］.Computers&Graphics，2016，62（12）：15-27.

［13］Wang X，Ge C，Cheng Y.Multi-source Local Color Transfer Based on Texture Similarity［J］.Chinese Journal of Electronics，2014，23（4）：718-722.

［14］Li Y，Li Z，Cao L.Neighborhood Similarity-Based Color Transfer Algorithm［M］.Springer Singapore：[出版社不詳]，2016.

［15］Zheng Y.Multisensory data exploitation using advanced image fusion and adaptive colorization［J］.Proc Spie，2008，6968（11）：1294-1297.

［16］Zhang R，Isola P，Efros AA.Colorful Image Colorization［C］//European Conference on Computer Vision.Springer，Cham，2016：649-666.

TP391.1

A

10.15913/j.cnki.kjycx.2018.02.024

2095－6835（2018）02－0024－04

很多重要的夜視或低照度場(chǎng)景，比如軍事基地、安全中心和交通要塞等，主要利用紅外圖像實(shí)現(xiàn)全面監(jiān)控。紅外圖像反映了目標(biāo)場(chǎng)景的熱輻射信息，它主要是由目標(biāo)場(chǎng)景的輻射率差和溫差決定的。紅外圖像具有對(duì)場(chǎng)景亮度變化不敏感，以及對(duì)于目標(biāo)具有良好的探測(cè)性等優(yōu)點(diǎn)，所以被廣泛應(yīng)用。但是，研究發(fā)現(xiàn)，紅外圖像丟失了原有可見光圖像的一些細(xì)節(jié)邊緣和紋理等特征。于是，Stan．Z提 出 了 近 紅 外（NIR）圖像成像系統(tǒng)，NIR即波長(zhǎng)范圍為0.7～1.1 μm的光，它既具有紅外成像的一些優(yōu)點(diǎn)，又能保持一定的細(xì)節(jié)特征。然而，近紅外圖像依然存在對(duì)周圍環(huán)境溫度變化比較敏感、對(duì)玻璃的非穿透性等缺點(diǎn)，且由于實(shí)際獲取圖像時(shí)會(huì)受到外部環(huán)境，比如光照不足、光照不均、霧霾雨水等惡劣天氣的影響，嚴(yán)重影響了圖像的視覺質(zhì)量，因此，我們需要對(duì)獲取的近紅外圖像進(jìn)行增強(qiáng)和彩色化，以便獲得更好的視覺效果。

目前存在的近紅外圖像增強(qiáng)算法主要有基于直方圖均衡、自適應(yīng)的直方圖增強(qiáng)算法和Retinex理論[1-5]等。其中，段群等[2]使用的同態(tài)濾波算法是依據(jù)Retinex理論，從頻域的角度增強(qiáng)圖像；陳超等[3]將雙邊濾波引入Retinex算法中；劉家朋等[4]提出了一種對(duì)亮度圖像快速估計(jì)的Retinex圖像增強(qiáng)方法；Wang S等[5]提出了保持圖像自然特性的增強(qiáng)方法。Wang S提出的方法是先設(shè)計(jì)了亮通濾波器，將圖像分為反射層和照射層，然后提出雙對(duì)數(shù)變換法來(lái)求取照射光，以保持圖像的自然特性。但是，由于對(duì)照射層估計(jì)不準(zhǔn)確，導(dǎo)致最終的圖像增強(qiáng)程度比較低，且顏色失真嚴(yán)重。由于近紅外圖像成像設(shè)備的問(wèn)題，亮度過(guò)大的目標(biāo)會(huì)失去細(xì)節(jié)特征，同時(shí)產(chǎn)生噪聲，使圖像視覺質(zhì)量變差。當(dāng)前存在的算法都不能很好地解決這2個(gè)問(wèn)題。所以，本文提出了一種新的近紅外圖像增強(qiáng)算法，即通過(guò)對(duì)近紅外圖像進(jìn)行取反、加權(quán)融合、灰度拉伸、導(dǎo)向?yàn)V波和msrcr算法的處理，完成對(duì)近紅外細(xì)節(jié)的增強(qiáng)，改善近紅外圖像中目標(biāo)過(guò)亮的情況，同時(shí)有效抑制圖像中的噪聲。

天津市第三批三年千人計(jì)劃項(xiàng)目（編號(hào)：62014511）；天津工業(yè)大學(xué)引進(jìn)教師科研啟動(dòng)項(xiàng)目（編號(hào)：030367）；國(guó)家級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（編號(hào)：201610058043）

史珂（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。鄭鑫毅（1993—），男，碩士研究生，主要研究方向?yàn)閳D像復(fù)原、圖像的彩色還原。湯春明（1971—），女，博士后，教授，博士生導(dǎo)師，主要研究方向?yàn)閳D像處理與模式識(shí)別、視頻中多目標(biāo)識(shí)別與追蹤，為本文通信作者。

魏鑫（1997—），男，本科生，研究方向?yàn)閳D像處理。張新新（1997—），男，本科生，研究方向?yàn)閳D像處理。杜月新（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。樂(lè)娟（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。

白潔〕