近紅外圖像增強(qiáng)與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂 娟

（天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387）

近紅外圖像增強(qiáng)與彩色化算法＊

史 珂，鄭鑫毅，湯春明，魏 鑫，張新新，杜月新，樂 娟

（天津工業(yè)大學(xué) 電子與信息工程學(xué)院，天津 300387）

提出了一種新的近紅外圖像增強(qiáng)與彩色化算法，先將近紅外圖像取反，然后用MSRCR算法處理取反后的RGB三個(gè)通道的圖像，將處理后的RGB三通道灰度值分別拉伸合并成一幅新的圖像，取反后用改進(jìn)的導(dǎo)向?yàn)V波實(shí)現(xiàn)圖像增強(qiáng)，用改進(jìn)的BOF算法檢索用于給近紅外圖像上色的彩色參考圖像，接著采用Welsh算法對增強(qiáng)后的近紅外圖像分區(qū)域上色，再通過紋理匹配選取相似像素點(diǎn)，實(shí)現(xiàn)近紅外圖像的彩色化。實(shí)驗(yàn)結(jié)果表明，這種算法增強(qiáng)后的圖像細(xì)節(jié)清晰，色彩傳遞效果好，且算法運(yùn)行速度比較快。

近紅外圖像增強(qiáng)；彩色化；MSRCR算法；檢索彩色參考圖像

近紅外圖像的彩色化，是指將某個(gè)最相近的彩色圖像的顏色特征傳遞給該近紅外圖像。我們首先需要檢索與近紅外圖像具有類似特征的彩色參考圖像，否則，傳遞后的彩色效果將難以保證。目前，在圖像檢索技術(shù)中，有許多比較成熟的算法，比如傳統(tǒng)的BOF（bag of features）算法采用SIFT[6]描述特征點(diǎn)，使用K-Means或SVM分類器實(shí)現(xiàn)圖像檢索。為了提高SIFT算法對特征提取的魯棒性，文獻(xiàn)[7]提出了基于ROI提取結(jié)合金字塔匹配原理，但是，運(yùn)算復(fù)雜度比較高。由于簡單的應(yīng)用K-Means和SVM實(shí)現(xiàn)的BOF算法擬合度和分類精度都不夠高，因此，文獻(xiàn)[8]利用使用概率，通過EM對BOF進(jìn)行擬合。這樣做雖然在一定程度上提高了精度，但對于具有復(fù)雜背景的圖像仍然存在效率低和分類精度不高的缺點(diǎn)。本文針對BOF算法的不足，提出對于SIFT提取出的圖像特征描述符通過PCA降維，以降低BOF算法的復(fù)雜度、提高運(yùn)行效率、解決存儲(chǔ)要求過高的算法；同時(shí)，引入用余弦夾角與巴氏距離共同度量待檢索近紅外圖像與圖片庫中的圖像相似度，以提高BOF分類的精度。

由于國內(nèi)外暫時(shí)沒有關(guān)于近紅外圖像彩色化的研究，因此，本文參考了Welsh提出的灰度圖像彩色化的算法[9]，但是，由于該算法要遍歷圖像中所有像素，所以，此運(yùn)算時(shí)間比較長，并且會(huì)產(chǎn)生一定的噪聲，發(fā)生溢色的現(xiàn)象。鑒于此，本文提出了具有相似顏色的區(qū)域進(jìn)行分塊上色的方法，以加快運(yùn)算速度。

1 近紅外圖像增強(qiáng)

本文提出的增強(qiáng)算法具體步驟如下：①A經(jīng)過MSRCR算法處理后得到A’；②對獲取的近紅外圖像A取反，得到B；③把B的RGB三通道分別用MSRCR算法進(jìn)行濾波，得到R’，G’，B’；④對 R’，G’，B’分別進(jìn)行灰度拉伸，得到 R’，G’，B’；⑤將 R’，G’，B’合并，得到 RGB 彩色圖像再取反得到圖像D；⑥把圖像D與A’進(jìn)行加權(quán)融合，得到圖像E；⑦對圖像E應(yīng)用導(dǎo)向?yàn)V波，得到增強(qiáng)圖像F。

2 參考彩色圖像檢索

2.1 Bag of Features（BOF）圖像檢索算法

在實(shí)際工作中，先采用SIFT算子對圖像進(jìn)行特征提取，得到大量特征，獲得表達(dá)圖像的關(guān)鍵詞；然后采用K-Means聚類方法，將隨機(jī)產(chǎn)生聚類中心定義為視覺單詞，對得到的關(guān)鍵詞進(jìn)行聚類。但是我們發(fā)現(xiàn)，傳統(tǒng)的BOF算法只采用余弦夾角度量圖片的相似度，對圖像的檢測匹配率比較低，運(yùn)算速度比較慢，所以，采用PCA降維和改進(jìn)的BOF圖像檢測算法來提高檢測匹配率，縮短運(yùn)算時(shí)間。

2.2 改進(jìn)的BOF圖像檢索算法

為了加快運(yùn)算速度，我們對SIFT提取出的特征用PCA方法先降維；為了提高圖像的匹配率，我們使用巴氏距離和余弦夾角共同度量待檢索圖像和圖像庫中圖像的相似度。改進(jìn)的BOF圖像檢索算法流程如圖1所示。

圖1 改進(jìn)的BOF圖像檢索算法流程圖

3 圖像彩色化

傳統(tǒng)的Welsh算法只能全局上色，效果不是很好。經(jīng)過研究發(fā)現(xiàn)，在彩色參考圖像和矩形圖像塊中傳遞顏色，然后用距離尋找相似紋理進(jìn)行匹配，上色效果會(huì)有很大程度上的提升。首先我們用式（1）計(jì)算灰度圖像區(qū)域Ng和彩色參考圖像的矩形框區(qū)域Ns間的距離E：

式（1）中：I為灰度圖像的亮度值；為灰度圖像的平均亮度值；S為參考圖像的矩形框S內(nèi)亮度值；為參考圖像的矩形框內(nèi)平均亮度值；p為鄰域像素。

通過式（1）尋找灰度圖像中與已經(jīng)上色的矩形框中像素之間E最小的像素進(jìn)行顏色傳遞。

4 實(shí)驗(yàn)結(jié)果及分析

4.1 近紅外圖像增強(qiáng)與彩色化實(shí)驗(yàn)結(jié)果及分析

圖2是對近紅外圖像彩色化的結(jié)果與對比情況，其中a1至a5是原始近紅外圖像，b1至b5是增強(qiáng)后的近紅外圖像，c1至c5是彩色參考圖像，d1至d5是Welsh算法彩色化結(jié)果，e1至e5是本文算法彩色化結(jié)果。

圖2 彩色化結(jié)果對比

由實(shí)驗(yàn)結(jié)果可知，改進(jìn)算法克服了近紅外圖片經(jīng)過Welsh算法處理后出現(xiàn)的顏色溢出現(xiàn)象，同時(shí)，有效過濾了高頻與低頻噪聲，使得可視化效果增強(qiáng)。但是，由于我們所使用的近紅外圖像是在暗室中由近紅外燈補(bǔ)光的條件下拍攝的，所以，原始圖像的圖像清晰度比較差，使得在近紅外圖像的某些區(qū)域上色效果有些不好。

4.2 近紅外圖像檢索時(shí)間對比及分析

由于原始近紅外圖像清晰度不高，會(huì)使圖像檢索精確度下降，所以，本文選用增強(qiáng)后的圖像作為待檢索圖像。原始近紅外圖如圖3所示。實(shí)驗(yàn)選取256_ObjectCategories作為檢索圖像庫，將圖4作為待檢索圖像，表1展示了本文算法與其他算法在運(yùn)算時(shí)間和匹配率方面的對比情況。從表1中可以看出，使用巴氏距離、余弦夾角度量的待檢索圖像與圖像庫中圖像的相似度相比，圖像檢索的精確率大幅提升；采用PCA降維算法雖然會(huì)使圖像檢索的精確率小幅度下降，但是，大大縮短了運(yùn)算時(shí)間。

5 結(jié)束語

本文提出了一種近紅外圖像增強(qiáng)與顏色傳遞算法，圖像增強(qiáng)算法在Retinex基礎(chǔ)上，使用了對近紅外圖像像素值取反補(bǔ)償細(xì)節(jié)、灰度拉伸增強(qiáng)對比度、導(dǎo)向?yàn)V波濾噪來增強(qiáng)近紅外圖像的視覺效果。顏色傳遞算法在Welsh算法的基礎(chǔ)上，通過指定多個(gè)區(qū)域上色，改變匹配紋理的算法，使顏色遷移更加準(zhǔn)確，細(xì)節(jié)更加豐富，同時(shí)，加入導(dǎo)向?yàn)V波，使圖像更加平滑，圖像視覺質(zhì)量提高。實(shí)驗(yàn)結(jié)果表明，本文算法對近紅外圖像有良好的增強(qiáng)附色效果，這對于改善近紅外圖像質(zhì)量有重要的現(xiàn)實(shí)意義，在公安監(jiān)控、農(nóng)產(chǎn)品檢測、醫(yī)療成像等使用近紅外成像的領(lǐng)域有良好的應(yīng)用前景。

圖3 原近紅外圖像

圖4 增強(qiáng)后近紅外圖像

表1 改進(jìn)后的BOF圖像檢索算法與其他算法的時(shí)間與匹配率的對比

［1］Land E H.The retinex theory of color vision［J］.Scientific American，1977，237（6）：108.

［2］段群，吳粉俠，李紅.雙通道分塊同態(tài)濾波彩色圖像增強(qiáng)算法［J］.計(jì)算機(jī)技術(shù)與發(fā)展，2016（01）：82-85.

［3］陳超.改進(jìn)單尺度Retinex算法在圖像增強(qiáng)中的應(yīng)用［J］.計(jì)算機(jī)應(yīng)用與軟件，2013，30（4）：55-57.

［4］劉家朋，趙宇明，胡福喬.基于單尺度Retinex算法的非線性圖像增強(qiáng)算法［J］.上海交通大學(xué)學(xué)報(bào)，2007，41（5）：685-688.

［5］Wang S，Zheng J，Hu H M，et al.Naturalness Preserved Enhancement Algorithm for Non-Uniform Illumination Images［J］.IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2013，22（9）：3538.

［6］LOWE D G.Distinctive image features from scale-invariant key points［J］.International Journal of Computer Vision，2004，60（2）：91?110.

［7］趙春暉，王瑩，Masahide KANEKO.一種基于詞袋模型的圖像優(yōu)化分類方法［J］.電子與信息學(xué)報(bào)，2012，34（9）：2064-2070.

［8］LEUNG T，MAILIK J.Representing and recognizing the visual appearance of materials using three-dimensional textons［J］.International Journal of Compute Vision，2001，43（1）：29?44.

［9］Welsh T，Ashikhmin M，Mueller K.Transferring color to greyscale images［C］//Conference on Computer Graphics and Interactive Techniques.ACM，2002：277-280.

［10］Iizuka S，Simoserra E，Ishikawa H.Let there be color!：joint end-to-end learning of global and local image priors forautomatic image colorization with simultaneous classification［J］.Acm Transactions on Graphics，2016，35（4）：1-11.

［11］Arbelot B，Hurtut T，Hurtut T，et al.Automatic texture guided color transfer and colorization［C］//Joint Symposium on Computational Aesthetics and Sketch Based Interfaces and Modeling and Non-Photorealistic Animation and Rendering.EurographicsAssociation，2016：21-32.

［12］Arbelot B，Vergne R，Hurtut T，et al.Local texture-based color transfer and colorization［J］.Computers&Graphics，2016，62（12）：15-27.

［13］Wang X，Ge C，Cheng Y.Multi-source Local Color Transfer Based on Texture Similarity［J］.Chinese Journal of Electronics，2014，23（4）：718-722.

［14］Li Y，Li Z，Cao L.Neighborhood Similarity-Based Color Transfer Algorithm［M］.Springer Singapore：[出版社不詳]，2016.

［15］Zheng Y.Multisensory data exploitation using advanced image fusion and adaptive colorization［J］.Proc Spie，2008，6968（11）：1294-1297.

［16］Zhang R，Isola P，Efros AA.Colorful Image Colorization［C］//European Conference on Computer Vision.Springer，Cham，2016：649-666.

TP391.1

A

10.15913/j.cnki.kjycx.2018.02.024

2095－6835（2018）02－0024－04

很多重要的夜視或低照度場景，比如軍事基地、安全中心和交通要塞等，主要利用紅外圖像實(shí)現(xiàn)全面監(jiān)控。紅外圖像反映了目標(biāo)場景的熱輻射信息，它主要是由目標(biāo)場景的輻射率差和溫差決定的。紅外圖像具有對場景亮度變化不敏感，以及對于目標(biāo)具有良好的探測性等優(yōu)點(diǎn)，所以被廣泛應(yīng)用。但是，研究發(fā)現(xiàn)，紅外圖像丟失了原有可見光圖像的一些細(xì)節(jié)邊緣和紋理等特征。于是，Stan．Z提 出 了 近 紅 外（NIR）圖像成像系統(tǒng)，NIR即波長范圍為0.7～1.1 μm的光，它既具有紅外成像的一些優(yōu)點(diǎn)，又能保持一定的細(xì)節(jié)特征。然而，近紅外圖像依然存在對周圍環(huán)境溫度變化比較敏感、對玻璃的非穿透性等缺點(diǎn)，且由于實(shí)際獲取圖像時(shí)會(huì)受到外部環(huán)境，比如光照不足、光照不均、霧霾雨水等惡劣天氣的影響，嚴(yán)重影響了圖像的視覺質(zhì)量，因此，我們需要對獲取的近紅外圖像進(jìn)行增強(qiáng)和彩色化，以便獲得更好的視覺效果。

目前存在的近紅外圖像增強(qiáng)算法主要有基于直方圖均衡、自適應(yīng)的直方圖增強(qiáng)算法和Retinex理論[1-5]等。其中，段群等[2]使用的同態(tài)濾波算法是依據(jù)Retinex理論，從頻域的角度增強(qiáng)圖像；陳超等[3]將雙邊濾波引入Retinex算法中；劉家朋等[4]提出了一種對亮度圖像快速估計(jì)的Retinex圖像增強(qiáng)方法；Wang S等[5]提出了保持圖像自然特性的增強(qiáng)方法。Wang S提出的方法是先設(shè)計(jì)了亮通濾波器，將圖像分為反射層和照射層，然后提出雙對數(shù)變換法來求取照射光，以保持圖像的自然特性。但是，由于對照射層估計(jì)不準(zhǔn)確，導(dǎo)致最終的圖像增強(qiáng)程度比較低，且顏色失真嚴(yán)重。由于近紅外圖像成像設(shè)備的問題，亮度過大的目標(biāo)會(huì)失去細(xì)節(jié)特征，同時(shí)產(chǎn)生噪聲，使圖像視覺質(zhì)量變差。當(dāng)前存在的算法都不能很好地解決這2個(gè)問題。所以，本文提出了一種新的近紅外圖像增強(qiáng)算法，即通過對近紅外圖像進(jìn)行取反、加權(quán)融合、灰度拉伸、導(dǎo)向?yàn)V波和msrcr算法的處理，完成對近紅外細(xì)節(jié)的增強(qiáng)，改善近紅外圖像中目標(biāo)過亮的情況，同時(shí)有效抑制圖像中的噪聲。

天津市第三批三年千人計(jì)劃項(xiàng)目（編號：62014511）；天津工業(yè)大學(xué)引進(jìn)教師科研啟動(dòng)項(xiàng)目（編號：030367）；國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃資助項(xiàng)目（編號：201610058043）

史珂（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。鄭鑫毅（1993—），男，碩士研究生，主要研究方向?yàn)閳D像復(fù)原、圖像的彩色還原。湯春明（1971—），女，博士后，教授，博士生導(dǎo)師，主要研究方向?yàn)閳D像處理與模式識(shí)別、視頻中多目標(biāo)識(shí)別與追蹤，為本文通信作者。

魏鑫（1997—），男，本科生，研究方向?yàn)閳D像處理。張新新（1997—），男，本科生，研究方向?yàn)閳D像處理。杜月新（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。樂娟（1997—），女，本科生，研究方向?yàn)閳D像處理與模式識(shí)別。

白潔〕