近色背景果實(shí)識(shí)別的多源圖像配準(zhǔn)

馬正華，呂小俊，徐黎明，王藝潔，呂繼東+

(1.常州大學(xué) 信息數(shù)理學(xué)院，江蘇 常州 213164；2.江蘇城鄉(xiāng)建設(shè)職業(yè)學(xué)院 設(shè)備工程學(xué)院，江蘇 常州 213147)

0 引 言

近色背景下果實(shí)的識(shí)別一直是圖像識(shí)別的難點(diǎn)和熱點(diǎn)。對(duì)于果實(shí)和莖葉顏色差別較大的果蔬，如紅蘋(píng)果、紫葡萄、楊梅等一般通過(guò)色彩空間轉(zhuǎn)換、顏色通道運(yùn)算等傳統(tǒng)方法就可以進(jìn)行有效的識(shí)別[1]。然而，對(duì)于近色背景系的果蔬，如綠葡萄、黃瓜、青蘋(píng)果等，很難通過(guò)顏色的差異把果實(shí)從背景中分離出來(lái)，而由于環(huán)境溫度、遮擋、光線等因素的影響，應(yīng)用紋理、形狀等物理屬性同樣也難以有效地分割出果實(shí)。

隨著光譜技術(shù)和傳感器的發(fā)展，人們根據(jù)從可見(jiàn)光到近紅外兩個(gè)波段中果實(shí)與莖葉分光反射差異較大[2]的特性，采用近紅外相機(jī)捕獲近色系果實(shí)圖片，然后通過(guò)不同的閾值分割法進(jìn)行分割和識(shí)別，但這樣往往只能得到果實(shí)部分的輪廓特征信息，分割效果不佳。由于不同成像機(jī)理的相機(jī)獲得的多源圖像之間存在信息的冗余性和互補(bǔ)性，對(duì)其進(jìn)行融合能夠有效提高圖像信息的利用率和完整性，這樣就可以有效保留果實(shí)丟失的邊緣信息。而圖像配準(zhǔn)是圖像融合至關(guān)重要的一步，因此本文利用近紅外像機(jī)和可見(jiàn)光像機(jī)捕獲的多源圖像進(jìn)行配準(zhǔn)研究，以期提高后期果實(shí)識(shí)別的準(zhǔn)確性。

1 圖像采集及預(yù)處理

1.1 圖像采集

近紅外相機(jī)和可見(jiàn)光相機(jī)均采用北京大恒創(chuàng)新技術(shù)有限公司的產(chǎn)品，近紅外相機(jī)的型號(hào)為MER-131-75GM-P NIR(網(wǎng)線接口，需單獨(dú)外接220 V電源供電)，可見(jiàn)光相機(jī)為MER-131-210U3C(USB3.0接口，直接由筆記本供電)，濾光設(shè)備為中心波長(zhǎng)830 nm、帶寬70 nm的帶通干涉濾光片。圖像采集軟件為其官網(wǎng)下載的Windows版本的Daheng MER-Series Viewer。實(shí)驗(yàn)的圖片是從江蘇省興化市戴南鎮(zhèn)黃夏果園采集的100組綠葡萄圖片，采集時(shí)間是早上的9∶00到10∶00。采集的近紅外和可見(jiàn)光圖像的大小均為280*310。

1.2 圖像預(yù)處理

在大棚里面采集的多源圖像有時(shí)會(huì)存在信噪比低、對(duì)比度差的現(xiàn)象，而且容易受到各種噪聲的影響。目前圖像的噪聲種類(lèi)很多，與之對(duì)應(yīng)的消噪方法也很多，但是還缺少一種對(duì)不同來(lái)源圖像都適用的消噪方法[3]。因此本文采用基于中值濾波和小波變換相結(jié)合的方法對(duì)多源圖像進(jìn)行消噪處理。首先對(duì)圖像使用文獻(xiàn)[4]中改進(jìn)的自適應(yīng)中值濾波進(jìn)行去噪，然后通過(guò)Daubechies3小波對(duì)圖像進(jìn)行三層小波分解。由于低頻部分包含了圖像大部分信息，基本保持了圖像的輪廓部分，因此對(duì)低頻分量使用領(lǐng)域平均進(jìn)行處理。高頻部分保留了圖像的細(xì)節(jié)部分但是包含了大量噪聲，對(duì)各高頻分量進(jìn)行中值濾波后進(jìn)行小波重構(gòu)完成圖像的去噪。

如果直接對(duì)多源圖像進(jìn)行特征點(diǎn)的提取會(huì)出現(xiàn)特征點(diǎn)分布不均勻、局部過(guò)于集中的現(xiàn)象，從而導(dǎo)致局部配準(zhǔn)誤差較大進(jìn)而影響圖像最終的配準(zhǔn)效果。因此本文先使用圖像分塊技術(shù)[5]把經(jīng)消噪的圖像分割成互不重疊的子塊后再用改進(jìn)的SURF進(jìn)行特征的點(diǎn)的提取。這樣就可以在一定程度上讓提取的特征點(diǎn)出現(xiàn)在每個(gè)字塊中特征較顯著的位置，從而改善了特征點(diǎn)分布的均勻性。

2 配準(zhǔn)算法

常用的圖像配準(zhǔn)方法有基于變換域、基于特征和基于灰度3種。由于本文使用的近紅外相機(jī)和可見(jiàn)光相機(jī)在成像機(jī)制上不同，同時(shí)考慮到提高系統(tǒng)的實(shí)時(shí)性和有效降低使用場(chǎng)景的限定條件，因此采用基于特征的方法進(jìn)行圖像配準(zhǔn)。

點(diǎn)特征是常用的配準(zhǔn)特征。基于圖像灰度的Harris[6]特征點(diǎn)提取法，對(duì)旋轉(zhuǎn)、噪聲和對(duì)比度的變化不敏感，但不具有尺度不變性；Lowe提出的SIFT算法提取的特征能夠很好的應(yīng)對(duì)亮度變化、旋轉(zhuǎn)平移和尺度變換，但實(shí)時(shí)性不高、計(jì)算量大、對(duì)邊緣光滑的目標(biāo)無(wú)法準(zhǔn)確提取特征點(diǎn)；SURF[7]算法可以看成是SIFT的一種改進(jìn)。在保留SIFT特點(diǎn)的同時(shí)其速度更快，比較適合在非結(jié)構(gòu)化環(huán)境下對(duì)實(shí)時(shí)信息的感知，因此本文使用SURF進(jìn)行特征點(diǎn)提取并且對(duì)特征點(diǎn)主方向的確定進(jìn)行改進(jìn)。

2.1 特征點(diǎn)檢測(cè)和定位

首先計(jì)算積分圖像用于提高圖像卷積的速度，SURF通過(guò)快速Hessian矩陣來(lái)檢測(cè)特征點(diǎn)，圖像上任意一點(diǎn)x=(x,y)T在尺度為σ上的Hessian矩陣定義為

(1)

為了提高運(yùn)算速率，Bay等提出一種用盒子濾波器替代高斯濾波的方法，其中盒子濾波器與圖像的卷積用Dxx,Dyy和Dxy表示，從而得到Hessian矩陣的行列式近似值

Det(Happrox)=DxxDyy-(0.9Dxy)2

(2)

與SIFT直接構(gòu)建圖像金字塔不同的是，由于采用了盒子濾波器，SURF通過(guò)保持原始圖像不變，不斷擴(kuò)大濾波器大小的方法建立圖像金字塔，構(gòu)建過(guò)程如圖1所示。為了定位特征點(diǎn)，在鄰域里使用非極大值抑制法在不同尺度下找到圖像的特征點(diǎn)，繼而在尺度空間和圖像空間進(jìn)行插值。最后使用SIFT提出方法進(jìn)行特征點(diǎn)的準(zhǔn)確定位。

圖1 構(gòu)建圖像金字塔

2.2 主方向選取

使用文獻(xiàn)[8]中的方法進(jìn)行主方向的確定雖然簡(jiǎn)單，但在相鄰二次轉(zhuǎn)動(dòng)中會(huì)存在π/3-2θstep的重疊區(qū)，如果扇區(qū)每次轉(zhuǎn)動(dòng)后都重新計(jì)算區(qū)域內(nèi)的矢量和，這樣大大降低了計(jì)算的效率。這里我們采用文獻(xiàn)[9]中的方法對(duì)主方向的確定提出改進(jìn)，從而提高了SURF算法的整體效率。

2.3 生成特征描述符

2.4 特征點(diǎn)匹配

張瑞娟等采用的最近鄰匹配法是常用的特征點(diǎn)匹配算法：在目標(biāo)圖像中找到與原圖像中點(diǎn)q歐氏距離最近的點(diǎn)p′和次近的點(diǎn)p″，設(shè)q與p′和q與p″兩組特征點(diǎn)之間歐氏距離的比值為α，若α小于相應(yīng)的閾值則q與p′匹配成功，否則失敗。但是這樣會(huì)出現(xiàn)了“一對(duì)多”的現(xiàn)象且算法執(zhí)行速度較慢。

為了快速找到集合中一個(gè)特征點(diǎn)在另一個(gè)集合中的最近鄰和次近鄰，對(duì)于64維SURF描述子必須找到一種合適的搜索策略。窮舉法雖然原理簡(jiǎn)單，但是效率較低。經(jīng)典的kd-tree算法在低維空間的搜索效率很高，但是擴(kuò)展到高維數(shù)據(jù)上其搜索性能會(huì)大大降低。BBF(best bin first)提高了在高維空間的搜索效率，但是其找到的最近鄰都是近似的，這樣就無(wú)形中降低了特征點(diǎn)的匹配精度。Muja等[10]提出的FLANN搜索算法更加適用于高維數(shù)據(jù)的搜索而且在速度和近精度方面均優(yōu)于BBF。因此在特征點(diǎn)的粗匹配過(guò)程中使用快速近似最近鄰搜索算法(FLANN)加快對(duì)特征點(diǎn)的搜索速度并且使用Hessian矩陣的跡加快初匹配速率。在計(jì)算Hessian矩陣行列式的同時(shí)得到了矩陣的跡trace，如果兩個(gè)特征點(diǎn)的trace同號(hào)，說(shuō)明兩個(gè)特征點(diǎn)具有相同的對(duì)比度可以繼續(xù)進(jìn)行描述子的比較；如果異號(hào)，說(shuō)明兩者的對(duì)比度不同，放棄后續(xù)的相似性度量。

SURF算法在特征點(diǎn)提取與匹配過(guò)程中只考慮了特征點(diǎn)處的局部信息，而沒(méi)有把圖像的幾何信息考慮在內(nèi)，因此在粗匹配后會(huì)存在大量的誤匹配。根據(jù)在參考圖像(可見(jiàn)光圖像)和待匹配圖像(近紅外圖像)中正確匹配特征點(diǎn)之間連線的方向和長(zhǎng)度大致相同這一特性使用特征點(diǎn)偏移一致性原則[11]在這一方面進(jìn)行改進(jìn)。這樣既實(shí)現(xiàn)了特征點(diǎn)間一一匹配也加快了匹配速率和精度。基本原理如下：

設(shè)(u1i,v1i)與(u2i,v2i)分別為可見(jiàn)光圖像和近紅外圖像的一對(duì)匹配點(diǎn)，它們間的連線矢量為(ui,vi)，其中ui=u1i-u2i,vi=v1i-v2i，則所有候選特征點(diǎn)對(duì)的連接矢量坐標(biāo)平均值為

(3)

3 參數(shù)估計(jì)

在本次拍攝圖片時(shí)平面目標(biāo)的深度和它與攝像機(jī)之間的距離相比較小，投射線近似為平行的，圖像間的變換可以近似看成仿射變換，式(4)為仿射變換公式。其中(x,y)與(x′,y′)是匹配點(diǎn)對(duì)，矩陣M為仿射變換矩陣

(4)

經(jīng)上述方法提純后的特征點(diǎn)中依然會(huì)存在偽匹配點(diǎn)對(duì)。這里使用Fishler和Bolles提出的RANSAC[12]和最小二乘法相結(jié)合來(lái)計(jì)算圖像間的變換關(guān)系。以仿射變換為列，具體步驟如下：①把提純后的k組匹配點(diǎn)對(duì)作為候選匹配特征集，再?gòu)闹腥我膺x取3組匹配點(diǎn)對(duì)建立方程組，求變換矩陣的6個(gè)未知參數(shù)。②計(jì)算剩余k-3個(gè)特征點(diǎn)經(jīng)過(guò)變換矩陣的坐標(biāo)并計(jì)算與其候選匹配點(diǎn)之間的誤差，將誤差小于某一閾值的點(diǎn)歸為內(nèi)點(diǎn)，否則視為外點(diǎn)。③統(tǒng)計(jì)在該變換矩陣下內(nèi)點(diǎn)的數(shù)目。重復(fù)①～③找出使內(nèi)點(diǎn)數(shù)目最多的變換矩陣，將通過(guò)該變換矩陣所判斷出的外點(diǎn)剔除。④把提純后的點(diǎn)對(duì)通過(guò)最小二乘法進(jìn)行參數(shù)估計(jì)從而得到變換矩陣的最優(yōu)解。

4 重采樣與圖像插值

確定模型參數(shù)后，對(duì)待配準(zhǔn)圖像進(jìn)行重采樣得到同一坐標(biāo)系下的配準(zhǔn)結(jié)果。然后采用折衷精度和計(jì)算量的雙線性插值法進(jìn)行插值。本文算法如圖2所示。

圖2 本文算法流程

5 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)中仿真平臺(tái)硬件環(huán)境為：CPU Intel(R) Core(TM) i5-7200U，2.5 GHz，4 G內(nèi)存的PC機(jī)。軟件開(kāi)發(fā)工具為Windows 10 Pro，MATLAB2016a。這里隨機(jī)抽取3組圖片進(jìn)行實(shí)驗(yàn)，如圖3所示，第一組(圖3(a)、圖3(d))，第二組(圖3(b)、圖3(e))，第三組(圖3(c)、圖3(f))。其中圖3(a)、圖3(b)、圖3(c)為可見(jiàn)光圖像，圖3(d)、圖3(e)、圖3(f)為待配準(zhǔn)的近紅圖像。

圖3 3組實(shí)驗(yàn)圖片

圖4、圖5、圖6第一行圖片是3組圖片使用文獻(xiàn)[13]中SURF算法進(jìn)行配準(zhǔn)的效果圖，第二行是使用本文算法的配準(zhǔn)效果圖。實(shí)驗(yàn)分別從特征點(diǎn)匹配率(提純后匹配點(diǎn)對(duì)數(shù)/待配準(zhǔn)圖像特征點(diǎn)數(shù))、匹配時(shí)間、抗噪性和抗旋能力等方面對(duì)算法進(jìn)行評(píng)價(jià)。

圖4 第一組配準(zhǔn)實(shí)驗(yàn)

圖5 第二組配準(zhǔn)實(shí)驗(yàn)

圖6 第三組配準(zhǔn)實(shí)驗(yàn)

表1、表2是對(duì)圖3中3組圖片分別使用SURF算法和本文算法在特征點(diǎn)匹配率和匹配時(shí)間方面的統(tǒng)計(jì)(表中提純后的匹配點(diǎn)對(duì)均是在使用RANSAC后進(jìn)行統(tǒng)計(jì)的)。可以發(fā)現(xiàn)本文算法的匹配速度比原算法快了約15%，匹配率方面比后者提高了約37%。這是因?yàn)楸疚乃惴ㄊ窃谑褂昧嘶谥兄禐V波和小波變換相結(jié)合的消噪方法后進(jìn)行特征點(diǎn)提取和匹配的，這樣降低了噪聲的影響，與直接在整幅圖像上使用SURF匹配相比，大大降低了匹配運(yùn)算的規(guī)模，從而提高了算法的整體效率，降低了配準(zhǔn)的時(shí)間。由此節(jié)約的時(shí)間遠(yuǎn)大于使用圖像分塊技術(shù)所花費(fèi)的時(shí)間。在使用最近鄰/次近鄰后會(huì)存在大量的誤匹配點(diǎn)對(duì)，雖然RANSAC算法可以在很大程度上去除誤匹配點(diǎn)對(duì)，但其仍有明顯的缺陷：每次通過(guò)一個(gè)隨機(jī)樣本集求出變換矩陣M后，都要找到該變換矩陣的支撐點(diǎn)。如果觀測(cè)數(shù)據(jù)集中存在較多的外點(diǎn)，那么找到其相應(yīng)的支撐點(diǎn)將很少，最后被拋棄，而尋找這樣的支撐點(diǎn)集往往會(huì)浪費(fèi)大量的時(shí)間。本文算法在使用RANSAC前使用基于特征點(diǎn)偏移一致性原則對(duì)匹配點(diǎn)對(duì)進(jìn)行提純，雖然花費(fèi)了一定的時(shí)間，但其耗時(shí)卻小于直接使用RNASAC的時(shí)間。因此本文匹配算法在整體上比原SURF算法節(jié)約時(shí)間。從特征點(diǎn)匹配率方面來(lái)看，由于使用了相應(yīng)的消噪方法，能夠使本文算法在特征點(diǎn)的提取和匹配方面受噪聲影響較小，圖像分塊技術(shù)也可以在一定程度上提高特征點(diǎn)分布的均勻性和改善局部易產(chǎn)生誤匹配的現(xiàn)象。而且本文對(duì)粗匹配后的結(jié)果使用了特征點(diǎn)偏移一致性原則進(jìn)行了優(yōu)化。綜合考慮來(lái)看，本文的匹配率遠(yuǎn)高于原SURF算法。

下面從抗噪聲能和抗亮度變化兩個(gè)方面來(lái)比較兩種算法。

抗噪聲效果分析：在實(shí)驗(yàn)中我們分別將方差為0.02、0.03、0.04、0.05的高斯噪聲加到圖3(d)中并且與圖3(a)進(jìn)行匹配。由表3可知，隨著高斯噪聲方差的增加，SURF和本文算法在匹配率上都下降了，但是SURF降低的幅度要高于本文算法。因?yàn)楸疚膶?duì)采集的多源圖像使用了基于中值濾波和小波變換相結(jié)合的消噪方法，有效地降低了高斯噪聲對(duì)匹配過(guò)程的影響，因此本文算法的抗噪聲效果要更好。

表1 用SURF的匹配率和匹配時(shí)間統(tǒng)計(jì)

表2 用本文算法的匹配率和匹配時(shí)間統(tǒng)計(jì)

表3 兩種算法的抗噪聲能力對(duì)比

抗亮度變化效果分析：對(duì)圖3(d)進(jìn)行亮度處理，其中圖3(d)為中亮度圖像，把圖3(d)的亮度降低一倍得到低亮度圖像。把圖3(d)的亮度提高一倍得到高亮度圖像。最后將圖3(a)分別與構(gòu)成的3種亮度的圖像進(jìn)行匹配。由表4分析可知，兩種算法在抗亮度變化方面的效果都不錯(cuò)。在不同亮度條件下，本文算法都保持著較高的匹配率，匹配點(diǎn)對(duì)變化數(shù)目較小。因此本文算法的抗亮度變化能力要稍好些。

表4 兩種算法的抗亮度變化能力對(duì)比

6 結(jié)束語(yǔ)

本文針對(duì)近色背景下果實(shí)識(shí)別率不高、邊緣信息不完整的情況，采用近紅外相機(jī)和可見(jiàn)光相機(jī)組和捕獲多源圖像。由于多源圖像間存在信息的冗余性和互補(bǔ)性，對(duì)預(yù)處理后的圖像進(jìn)行配準(zhǔn)可以得到較完整的果實(shí)信息。經(jīng)比較本文改進(jìn)的配準(zhǔn)算法在實(shí)時(shí)性、魯棒性和精度方面均高于原SURF算法，為下面多源果實(shí)圖像的融合和分割提供了一種配準(zhǔn)算法。