基于Harris多攝像頭孔壁圖像的全景拼接技術(shù)

，，2，炳文

(1.山東科技大學(xué) 電子通信與物理學(xué)院，山東 青島 266590；2.山東科技大學(xué) 電氣與自動(dòng)化工程學(xué)院，山東 青島 266590)

我國煤炭資源分布廣泛，煤礦安全生產(chǎn)受到國家的重視，鉆孔攝像技術(shù)是當(dāng)今觀測分析煤礦地質(zhì)結(jié)構(gòu)的有效技術(shù)手段。構(gòu)建鉆孔全景圖像可以直接有效地觀測分析到鉆孔內(nèi)壁的地質(zhì)結(jié)構(gòu)信息。目前構(gòu)建孔壁全景圖像的方法主要有折反射鏡全景成像或全景環(huán)形透鏡、旋轉(zhuǎn)單個(gè)攝像機(jī)拍攝系統(tǒng)、魚眼鏡頭拍攝。2001年，漆馳等[1]提出運(yùn)用相鄰圖像拼接的方法獲取全景圖，采用普通攝像機(jī)旋轉(zhuǎn)拍攝多幅圖像，然后根據(jù)相鄰圖像之間的重疊區(qū)域，實(shí)現(xiàn)圖形配準(zhǔn)獲取全景圖。但是攝像機(jī)旋轉(zhuǎn)的過程中容易造成“鬼影”現(xiàn)象，同時(shí)也無法滿足拼接的實(shí)時(shí)性。目前常用的方法是王川嬰等[2]在2002年提出的數(shù)字式全景鉆孔攝像，采用截頭的錐面反射鏡，利用光學(xué)原理，將鉆孔孔壁圖像反射成為平面圖像。但是現(xiàn)有的構(gòu)建孔壁全景圖像的方法中存在著圖像邊緣空間分辨率低、圖像采集設(shè)備價(jià)格昂貴、圖像畸變等問題。

為實(shí)時(shí)獲取高分辨率的孔壁全景圖，并消除旋轉(zhuǎn)相機(jī)帶來的“鬼影”現(xiàn)象，本研究采用四個(gè)115°廣角鏡頭水平環(huán)繞放置拍攝孔壁圖像實(shí)現(xiàn)全景拼接的系統(tǒng)[3]，由于采用廣角鏡頭成像設(shè)備以及孔壁曲率等因素的影響，拍攝的圖像出現(xiàn)幾何畸變現(xiàn)象[4]。本課題共同研究者張炳文提出“兩步法”矯正方案，采用手動(dòng)調(diào)整徑向參數(shù)消除廣角鏡頭引起的光學(xué)畸變，然后建立非均勻插值模型恢復(fù)曲率影響的圖像信息。但經(jīng)過這種手動(dòng)調(diào)整參數(shù)和非均勻插值模型，得到的圖像精確度降低，增加了圖像拼接的誤差。因此，針對孔壁圖像受孔壁曲率影響的特殊性，本研究提出基于參數(shù)微調(diào)的畸變圖像校正算法，自動(dòng)調(diào)節(jié)畸變參數(shù)；采用柱面信息還原法解決孔壁曲率對圖像信息的影響，利用Harris角點(diǎn)檢測算法進(jìn)行匹配拼接，能夠滿足視頻拼接實(shí)時(shí)性的要求。

1 圖像畸變矯正

1.1 畸變模型的建立

由于本研究所采用的攝像機(jī)是廣角鏡頭。獲取的圖像存在著廣角鏡頭引起的光學(xué)畸變，在圖像拼接時(shí),需要對廣角相機(jī)產(chǎn)生的畸變進(jìn)行消除。引起畸變的因素主要包括鏡頭的徑向畸變、采集畸變以及偏心畸變等[5]。對非線性畸變建立數(shù)學(xué)校正模型[6-8]：

(1)

(2)

對于鉆孔場合，徑向幾何畸變產(chǎn)生的影響最大。徑向畸變的數(shù)學(xué)模型可以簡化為：

(3)

由式(3)可以看出，理想圖像與畸變圖像之間的關(guān)系由參數(shù)k1、k2確定，從而根據(jù)該模型將所拍攝圖像進(jìn)行畸變矯正。

1.2 攝像機(jī)標(biāo)定

本研究提出基于參數(shù)微調(diào)的畸變圖像校正算法，即在相機(jī)標(biāo)定得到畸變參數(shù)的基礎(chǔ)上，進(jìn)行參數(shù)微調(diào)，以達(dá)到圖像準(zhǔn)確校正的效果。由于相機(jī)標(biāo)定的畸變參數(shù)離最優(yōu)值不會(huì)太大，因此參數(shù)調(diào)整應(yīng)該在相機(jī)標(biāo)定畸變參數(shù)初始值附近微調(diào)，算法具體步驟為：

1) 利用OpenCV對平面網(wǎng)格模板進(jìn)行攝像機(jī)標(biāo)定，求出徑向畸變參數(shù)。

2) 以k1、k2為初始畸變參數(shù)，進(jìn)行畸變校正。將校正的圖像進(jìn)行邊緣增強(qiáng)、二值化、中值濾波和細(xì)化等圖像處理后獲取模板上的網(wǎng)格交點(diǎn)坐標(biāo)。

3) 利用斜率判斷校正效果，令α=(yi-yi-1)/(xi-xi-1)，β=(uyi+1-yi)/(xi+1-xi)，e=2(α-β)/(α+β) ，設(shè)定斜率閾值為0.03。若e<0.03，則說明畸變校正效果良好，畸變參數(shù)無需進(jìn)行優(yōu)化調(diào)整。否則，按步驟4)進(jìn)行畸變參數(shù)的優(yōu)化調(diào)整。

4) 以步長d1=k1/50,b1=k2/50為初始步長，調(diào)整畸變參數(shù)k1、k2，使k1=k1±d1，k2=k2±b1，并判斷是否滿足e<0.03。若不滿足則進(jìn)行步驟5)。

5) 令dj+1=(j+1)d1,bj+1=(j+1)b1,j為搜索的次數(shù),初始值j=1。調(diào)整步長，執(zhí)行步驟4)，直至滿足e<0.03為止。

由于初始畸變參數(shù)本身就已經(jīng)接近最優(yōu)點(diǎn)，并且經(jīng)過多次試驗(yàn)，在初始點(diǎn)附近搜索10次左右，就會(huì)找到滿足的值，因此，該方法有效。

利用上述方法進(jìn)行畸變參數(shù)的調(diào)整，可以將所拍攝柱形曲面圖像校正，也是對平面網(wǎng)格模板法的一種改進(jìn)，矯正結(jié)果如圖3所示。

圖1 孔壁內(nèi)采集圖像Fig.1 Collected images inside the borehole

圖2 網(wǎng)格模板法校正后的圖像Fig.2 Corrected image with the plane gridding model

圖3 參數(shù)微調(diào)算法校正圖像Fig.3 Corrected image with parameter adjustment

1.3 柱面信息還原法展開圖像

從圖3中可以看出，光學(xué)畸變明顯得到矯正，但是由鉆孔內(nèi)側(cè)曲率造成的圖像信息損失得不到恢復(fù)，左右兩側(cè)網(wǎng)格寬度明顯小于中間網(wǎng)格寬度。本研究背景為鉆孔圖像，每個(gè)攝像頭所采集圖像為經(jīng)過圖像信息壓縮的孔壁圖像的弦面，并且越靠近左右邊緣圖像壓縮越嚴(yán)重。模擬鉆孔環(huán)境圖像采集模型如圖4所示：

為了恢復(fù)圖像信息，計(jì)算拍攝平面I與實(shí)際鉆孔面J的對應(yīng)坐標(biāo)關(guān)系，設(shè)P(x,y)為I上一像素點(diǎn)，Q(x′，y′)為P點(diǎn)在J上的對應(yīng)點(diǎn)。P點(diǎn)在相機(jī)坐標(biāo)系下的坐標(biāo)為(x-W/2,y-H/2,-f)，坐標(biāo)系原點(diǎn)與象素點(diǎn)P連線的直線參數(shù)方程為：

圖4 采集圖像與孔壁圖像關(guān)系圖Fig.4 The relationship between collected images and borehole images

(4)

其中,t為參數(shù)。圓柱面的方程可以表示為：

u2+v2=f2。

(5)

聯(lián)立式(4)和(5)得到的即為直線OP與圓柱面J的交點(diǎn)Q。

需要把三維的參數(shù)坐標(biāo)轉(zhuǎn)變?yōu)槎S的圖像坐標(biāo)才便于存儲(chǔ)，變換公式為：

(6)

聯(lián)立(4)、(5)、(6)式得到P(x,y),Q(x′，y′)的坐標(biāo)關(guān)系式：

(7)

圖5 柱面信息還原法展開圖像Fig.5 The expanded image using the cylindrical information reduction method

式中：f為相機(jī)焦距，W、H分別為所拍攝圖片的寬度和高度。在圖像采集過程中，在縱向上不發(fā)生變形，因此令y′=y。遍歷原圖像像素點(diǎn)(x,y)，根據(jù)式(7)，即可還原由圓柱內(nèi)側(cè)曲率引起的圖像信息缺失。在圖像變換的過程中,采用雙線性插值法對圖像灰度信息進(jìn)行調(diào)整。在圖3的基礎(chǔ)上，經(jīng)過本算法調(diào)整后的圖像如圖5所示。

2 基于Harris角點(diǎn)檢測算法的圖像拼接

圖像拼接技術(shù)在圖像處理方面得到廣泛的應(yīng)用。圖像拼接技術(shù)包含三個(gè)方面：角點(diǎn)提取、圖像配準(zhǔn)和圖像融合。提出了一種基于Harris角點(diǎn)檢測的圖像拼接算法，利用Harris算法提取角點(diǎn)、SSD算法配準(zhǔn)圖像、RANSAC算法提純匹配對，漸入漸出的融合算法完成對兩幅圖像無縫拼接。

2.1 Harris角點(diǎn)提取和基于SSD 的配準(zhǔn)

Harris 角點(diǎn)檢測基于Moravec角點(diǎn)檢測算法，利用微分運(yùn)算、高斯平滑提取角點(diǎn)。其中，微分算子體現(xiàn)了圖像的灰度變化，通過這些變化能夠有效分辨邊界和角點(diǎn)，另一方面微分算子具有兩個(gè)優(yōu)勢：旋轉(zhuǎn)不變、仿射不變，這種優(yōu)勢能夠增加其檢測范圍。高斯平滑能夠降低噪聲提取角點(diǎn)時(shí)的影響。

角點(diǎn)檢測響應(yīng)函數(shù)由C.Harris首次提出，公式如下：

R=det(M)-k*Trace2(M)。

(8)

算法如下:

1) 在圖像的像素點(diǎn)上，分別計(jì)算在和方向上的一階導(dǎo)數(shù)Ix、Iy，以及Ixy。

2) 對Ix、Iy、Ixy高斯平滑。

3) 根據(jù)式(8)計(jì)算各像素的R值。

4) 角點(diǎn)判斷：設(shè)定閾值t，當(dāng)R>t時(shí)，為角點(diǎn)，否則不是角點(diǎn)[13]。

Harris 特征檢測得到的角點(diǎn)，角點(diǎn)的特征匹配可通過基于像素差平方和SSD的圖像配準(zhǔn)算法進(jìn)行運(yùn)算。通過兩圖像之間的灰度值來實(shí)現(xiàn)特征點(diǎn)的匹配。將圖像分塊處理，依次根據(jù)公式(9)計(jì)算，且值最小的塊上的特征點(diǎn)，就是匹配點(diǎn)。

SSD=∑x,y∈w[I1(x,y)-I2(x,y)]2。

(9)

2.2 RANSAC算法計(jì)算變換矩陣

RANSAC算法由Fischler和Bolles提出，可以有效剔除匹配外點(diǎn)，同時(shí)計(jì)算過程簡單、具有較強(qiáng)的容錯(cuò)能力，增大圖像配準(zhǔn)的精確度[14]。通過迭代方法，反復(fù)選擇坐標(biāo)點(diǎn)數(shù)據(jù)進(jìn)行計(jì)算，篩選掉不合適的數(shù)據(jù)。

在透視變換模型中，首先以一幅圖像作為參考圖像，另一幅圖像為待拼接圖像，通過匹配點(diǎn)之間的對應(yīng)關(guān)系，計(jì)算出變換矩陣，就可實(shí)現(xiàn)圖像的拼接過程，變換模型為：

(10)

式中，H為投影變換矩陣，(x2,y2)為圖像I2對應(yīng)匹配點(diǎn)的像素坐標(biāo)。

在圖像拼接的理論計(jì)算中，可以通過4組相匹配的特征點(diǎn)計(jì)算出單應(yīng)陣H。實(shí)際計(jì)算時(shí)，一般要提取20對以上的匹配點(diǎn)對，求出的H值才會(huì)比較準(zhǔn)確。

2.3 圖像融合

經(jīng)過透視變換后，就可以得到圖像之間的重合部分，并對重合部分進(jìn)行圖像融合，消除圖像拼接的接縫。本文采用融合速度較快的漸入漸出融合算法。算法實(shí)現(xiàn)過程為：在進(jìn)入到融合區(qū)之前，I1的權(quán)重系數(shù)一直保持為 1，I2的權(quán)重系數(shù)為0；進(jìn)入到過渡帶之后，I1的系數(shù)逐漸遞減至0，I2的系數(shù)逐漸遞減至0。

圖6 圖像融合示意圖Fig.6 Image fusion

其漸變系數(shù)β可由圖像I1和I2的水平重疊距離求得。設(shè)兩幅圖像的灰度值為I1(x,y)和I2(x,y)，則重疊區(qū)域圖像的灰度值為

I(x,y)=βI1(x,y)+(1-β)I2(x,y)。

(11)

當(dāng)β由 1 逐漸變化到 0 時(shí)，圖像從I1(x,y)逐漸過渡到I2(x,y)，從而實(shí)現(xiàn)了圖像間的平滑過渡、無縫拼接。

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)用4個(gè)115°廣角鏡頭采集實(shí)驗(yàn)圖像進(jìn)行仿真模擬，使用的計(jì)算機(jī)參數(shù)配置為：Windows 7操作系統(tǒng)， CORE i5處理器，RAM 2G。同時(shí)使用軟件平臺(tái)為MATLAB 2013a版本，部分參數(shù)的驗(yàn)證用到軟件Visual Studio 2010和OpenCV2.4.9庫。通過視頻采集卡的圖像大小均為像素。圖7(a)為鏡頭采集的孔壁圖像。經(jīng)過畸變校正、曲率影響的圖像信息恢復(fù)后得圖7(b)，使圖像信息更加真實(shí)可靠。拼接算法采用Harris角點(diǎn)檢測算法提取角點(diǎn)并進(jìn)行初步匹配，然后經(jīng)過RANSAC算法剔除外點(diǎn)，最后利用漸入漸出的融合算法消除拼接痕跡，得到孔壁全景圖圖7(c)。

圖7 實(shí)驗(yàn)結(jié)果Fig.7 Experimental results

本算法考慮了鉆孔孔壁圖像曲率對圖像采集的影響，將圖像矯正算法分成三步完成，使矯正圖像信息更加真實(shí)可靠。同時(shí)，特征點(diǎn)匹配過程中，每兩幅圖直接平均初始配準(zhǔn)有159對匹配對，并存在很多誤匹配點(diǎn)對，經(jīng)過RANSAC算法剔除外點(diǎn)后剩余42對匹配對。圖像拼接算法運(yùn)算時(shí)間平均用時(shí)為42.3 ms。

從圖像拼接的匹配率和準(zhǔn)確性兩方面進(jìn)行評價(jià)，圖像拼接的匹配率定義為：

圖像拼接的準(zhǔn)確性用坐標(biāo)的均方根誤差表示，計(jì)算待匹配圖像透視變換后的特征點(diǎn)與匹配圖像相應(yīng)特征點(diǎn)之間分別在方向上的均方根誤差RMSE(root-mean-square deviation)，如表1所示。

表1拼接算法的匹配率與準(zhǔn)確性
Tab.1 Match rate and accuracy

拼接方法平均匹配率/%RMSExRMSEy直接拼接本文矯正后拼接45.267.10.630.170.250.12

經(jīng)過比較，本圖像矯正算法提高了圖像的匹配率，降低了特征點(diǎn)配準(zhǔn)的均方根誤差，提高了鉆孔圖像拼接全景圖的準(zhǔn)確率和觀察效果。

4 結(jié)論

本研究針對鉆孔特殊環(huán)境，采用多攝像頭系統(tǒng)同步采集孔壁圖像實(shí)現(xiàn)全景拼接，提出了改進(jìn)的圖像畸變校正方法。提出的基于參數(shù)微調(diào)的畸變圖像校正算法和柱面信息還原法，通過圖像拼接實(shí)驗(yàn)結(jié)果表明,該算法能夠有效矯正圖像畸變，恢復(fù)鉆孔圖像邊緣壓縮信息。提高了特征點(diǎn)之間的匹配率與準(zhǔn)確性，最終獲得了精確的拼接效果。同時(shí)通過本實(shí)驗(yàn)視頻采集系統(tǒng)進(jìn)行視頻拼接時(shí)，圖像變換矩陣H只需求取一次 ，規(guī)避了每幀圖像都要計(jì)算透視變換矩陣的計(jì)算量，為后續(xù)的視頻拼接奠定了良好的基礎(chǔ)。本算法有效地運(yùn)用在孔壁圖像中，實(shí)現(xiàn)鉆孔孔壁圖像的全景拼接。

參考文獻(xiàn)：

[1]漆馳,劉強(qiáng),孫家廣.攝像機(jī)圖像序列的全景圖拼接[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2001,13(7):605-609.

QI Chi,LIU Qiang,SUN Jiaguang.Video mosaic for panoramic image[J].Journal of Computer-Aided Design and Computer Graphics,2011,13(7):605-609.

[2]王川嬰,葛修潤,白世偉.數(shù)字式全景鉆孔攝像系統(tǒng)研究[J] .巖石力學(xué)和工程學(xué)報(bào),2002,21(3):398-403.

WANG Chuangying,GE Xiurun,BAI Shiwei.Study on the digital panorama borehole camera system[J].Chinese Journal of Rock Mechanics and Engineering,2002,21(3):398-403.

[3]曹茂永，趙猛，滕升華，等.4路鉆孔孔壁視頻的柱面全景圖生成方法及裝置：CN106023066A [P].2016-10-12.

[4]牛建軍,劉上乾,姚榮輝,等.高準(zhǔn)確度光電成像測量系統(tǒng)圖像畸變校正算法[J].光子學(xué)報(bào),2006,35(9):1317-1320.

NIU Jianjun,LIU Shangqian,YAO Ronghui,et al.Algorithm for image correction in high precision imaging measurement system[J].Acta Photonica Sinica,2006,35(9):1317-1320.

[5]鄭佳,李學(xué)鵬.全景系統(tǒng)中大視場攝像機(jī)徑向畸變校正算法研究[J].光學(xué)與光電技術(shù),2016,14(3):87-94.

ZHENG Jia,LI Xuepeng.Research on radial distortion correction algorithm for camera with large field of view in panoramic system[J].Optics & Optoelectronic Technology,2016,14(3):87-94.

[6]VON GIOI R G,MONASSE P,MORELJ M,et al.Lens distortion correction with a calibration harp[C]// IEEE International Conference on Image Processing.IEEE,2011:617-620.

[7]楊必武，郭曉松.攝像機(jī)鏡頭非線性畸變矯正方法綜述[J].中國圖象圖形學(xué)報(bào)，2005,10(3):269-274.

YANG Biwu,GUO Xiaosong.Overview of nonlinear distortion correction of camera lens[J].Journal of Image and Graphics,2005,10(3):269-274.

[8]TRECKEL B,EVERS-SENNE J F,KOCH R.Lens model selection for a markerless AR tracking system[C]// Proceedings of the International Symposium on Mixed and Augmented Reality.IEEE Computer Society,2005:130-133.

[9]蔡睿.基于DSP的數(shù)字圖像畸變校正技術(shù)研究[D].武漢：華中科技大學(xué)，2006．

[10]朱錚濤,黎紹發(fā),陳華平.基于平面網(wǎng)格模型的攝像機(jī)鏡頭畸變校正技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用,2004,40(23):32-35.

ZHU Zhengtao,LI Shaofa,CHEN Huaping.Technology of proofreading the camera lens distortion based on the plane gridding model[J].Computer Engineering and Applications,2004,40(23):32-35.

[11]TSAI R Y.A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV camerasand lenses[J].IEEE Journal on Automation,1987,3(4):323-344．

[12]ZHANG Z Y.A flexible new technique for camera calibration[J].Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[13]趙小川.現(xiàn)代數(shù)字圖像處理技術(shù)提高及應(yīng)用案例詳解(MATLAB版)[M].北京:北京航空航天大學(xué)出版社，2012.

[14]苗彩霞,紀(jì)筱鵬.基于Hough變換及SIFT特征提取的圖像匹配方法[J].山東科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,33(4):105-110.

MIAO Caixia,JI Xiaopeng.An image matching algorithm based on Hough transform and SIFT[J].Journal of Shandong University of Science and Technology (Natural Science),2014,33(4):105-110.