基于魚(yú)眼鏡頭的樹(shù)高測(cè)量方法

宋佳音，池志祥，張曉鵬，朱慶林，宋文龍，楊柳松

(1. 東北林業(yè)大學(xué)機(jī)電工程學(xué)院，哈爾濱 150040； 2. 國(guó)網(wǎng)黑龍江省送變電工程有限公司，哈爾濱 150040)

森林是陸地生態(tài)系統(tǒng)的重要組成部分，對(duì)保持水土和維持氣候具有重要作用。及時(shí)掌握林分蓄積量及森林生物量對(duì)生態(tài)系統(tǒng)研究具有重要價(jià)值。樹(shù)高作為當(dāng)前衡量森林系統(tǒng)穩(wěn)定最廣泛的指標(biāo)，其高度的精確測(cè)量具有重要意義[1-2]。目前常用的測(cè)量樹(shù)高方法主要有布魯萊斯測(cè)高器[3]測(cè)量和超聲波測(cè)高器[4]測(cè)量，布魯萊斯測(cè)高器結(jié)構(gòu)簡(jiǎn)單，但測(cè)量時(shí)需要先用皮尺測(cè)出儀器與待測(cè)樹(shù)木的距離，存在讀數(shù)誤差及測(cè)量精度低、應(yīng)用不便等缺點(diǎn)；超聲波測(cè)高器是以超聲波完成距離測(cè)量，再輔助角度數(shù)據(jù)計(jì)算樹(shù)木高度，該方法測(cè)量時(shí)較為煩瑣，且超聲波測(cè)距時(shí)存在發(fā)散角，因此在林區(qū)樹(shù)木較密的情況下，信號(hào)容易被其他樹(shù)木遮擋反射，造成測(cè)距的不準(zhǔn)確而影響高度的測(cè)量。

為提高測(cè)量精度，減小測(cè)量復(fù)雜度，近景攝影測(cè)量技術(shù)[5-6]發(fā)揮了重要作用。陳相武等[7]提出了一種基于單目視覺(jué)的立木高度測(cè)量方法，該方法具有較高的精度，但測(cè)量視角小，不能在近距離獲取樹(shù)木的完整圖像，不適用于密集的森林測(cè)量。對(duì)于解決視角問(wèn)題的有效方法是采用雙目視覺(jué)測(cè)量，佘銀海等[8]提出了一種雙目視覺(jué)測(cè)量方法，該方法有效解決了測(cè)量視角的問(wèn)題，但因?yàn)樾枰獙?duì)采集的左右兩幅圖像進(jìn)行特征點(diǎn)提取，匹配和三維像素點(diǎn)重建，存在特征點(diǎn)匹配困難的缺點(diǎn)。魚(yú)眼鏡頭具有短焦距、大視角的特點(diǎn)，且采集的魚(yú)眼圖像特征點(diǎn)提取簡(jiǎn)單，宋佳音等[9]提出了一種基于半球圖像的立木高度測(cè)量方法，解決了測(cè)量視角和特征點(diǎn)匹配的問(wèn)題，但是忽略了魚(yú)眼鏡頭虛擬距離，導(dǎo)致測(cè)量結(jié)果精度不足。

在魚(yú)眼鏡頭測(cè)量樹(shù)高的基礎(chǔ)上，現(xiàn)引入Scaramuzza魚(yú)眼鏡頭標(biāo)定模型和魚(yú)眼鏡頭虛擬距離參數(shù)，提高測(cè)量的精確度。首先根據(jù)魚(yú)眼鏡頭成像模型確立世界坐標(biāo)系與圖像像素坐標(biāo)系中對(duì)應(yīng)點(diǎn)的關(guān)系；然后以畸變系數(shù)的等距投影模型為基礎(chǔ)，建立測(cè)量系統(tǒng)模型，測(cè)量系統(tǒng)所需參數(shù)用Scaramuzza魚(yú)眼鏡頭標(biāo)定方法求取；最后利用多算子融合算法對(duì)魚(yú)眼圖像進(jìn)行輪廓提取，用改進(jìn)四叉樹(shù)算法進(jìn)行圖像分割，Hough變換直線(xiàn)檢測(cè)提取極值點(diǎn)，實(shí)現(xiàn)樹(shù)高的測(cè)量。利用手機(jī)搭配魚(yú)眼鏡頭，對(duì)黑白棋盤(pán)格進(jìn)行魚(yú)眼圖像獲取，利用棋盤(pán)格內(nèi)角點(diǎn)距離去驗(yàn)證測(cè)量系統(tǒng)模型的準(zhǔn)確性；對(duì)待測(cè)樹(shù)木進(jìn)行魚(yú)眼圖像采集，用該測(cè)量系統(tǒng)模型對(duì)樹(shù)高進(jìn)行反演，用提出的計(jì)算樹(shù)木高度方法與文獻(xiàn)[9]測(cè)量樹(shù)高方法進(jìn)行對(duì)比，檢驗(yàn)該測(cè)量方法的優(yōu)越性。

1 魚(yú)眼相機(jī)成像模型

魚(yú)眼鏡頭成像模型能確定世界坐標(biāo)系與圖像像素坐標(biāo)系之間的坐標(biāo)變換關(guān)系，將世界坐標(biāo)系中的目標(biāo)點(diǎn)投影到圖像像素坐標(biāo)系中，魚(yú)眼鏡頭成像模型如圖1所示。

圖1中坐標(biāo)系OwXwYwZw是世界坐標(biāo)系，它是一個(gè)在適當(dāng)空間中選取的參考坐標(biāo)系，P(xw，yw，zw)表示世界坐標(biāo)系中目標(biāo)點(diǎn)P的坐標(biāo)。坐標(biāo)系OXYZ是魚(yú)眼鏡頭的參考坐標(biāo)系。坐標(biāo)系OcXcYcZc是相機(jī)坐標(biāo)系，原點(diǎn)Oc位于攝像機(jī)光學(xué)中心，坐標(biāo)軸Xc和Yc分別平行于X軸和Y軸，Zc軸是相機(jī)的主光軸實(shí)際上點(diǎn)Oc和O重合，P′(xc，yc，zc)是相機(jī)坐標(biāo)系中點(diǎn)P對(duì)應(yīng)的成像點(diǎn)，r′是點(diǎn)P′到光軸的距離。坐標(biāo)系ouv是圖像像素坐標(biāo)系，原點(diǎn)o是光學(xué)中心點(diǎn)，坐標(biāo)軸u和v分別平行于Xc軸和Yc軸，P″(u，v)是圖像像素坐標(biāo)系中點(diǎn)P對(duì)應(yīng)的成像點(diǎn)，r″是點(diǎn)P″到光軸的距離。

根據(jù)等距投影定理[10]得

r′=fω

(1)

ω=tan-1(r/L)=tan-1[(xω2+yω2)1/2/L]

(2)

式中：f為光學(xué)系統(tǒng)的物方焦距；ω為點(diǎn)P相對(duì)于光軸的入射角；L為世界坐標(biāo)系中的點(diǎn)到魚(yú)眼鏡頭中心的水平距離。

由于魚(yú)眼鏡頭存在畸變，為保證圖像的均勻性，引入失真系數(shù)λ得

r′=λfω

(3)

相機(jī)平面中心點(diǎn)為Oc(x0，y0)，P′點(diǎn)坐標(biāo)為(xc，yc)，P點(diǎn)坐標(biāo)為(xw，yw，zw)，令Xc和Yc軸方向的畸變系數(shù)分量為λx和λy，則

(4)

(5)

式中：θ為點(diǎn)P的方位角，也是相機(jī)坐標(biāo)系中點(diǎn)P′的方位角。

圖像像素坐標(biāo)系中心點(diǎn)o的坐標(biāo)為(u0，v0)，P′通過(guò)等距投影得到P″，相機(jī)坐標(biāo)系與圖像像素坐標(biāo)系中對(duì)應(yīng)點(diǎn)關(guān)系為

(6)

式中：mx、my為放大系數(shù)。

令kx=λxmxf，ky=λymyf，聯(lián)立式(2)～式(6)得

(7)

式中：kx、ky為畸變系數(shù)。式(7)是引入畸變系數(shù)的等距投影模型，建立世界坐標(biāo)系與圖像像素坐標(biāo)系中對(duì)應(yīng)點(diǎn)的轉(zhuǎn)換關(guān)系。該模型需要求取的參數(shù)為光學(xué)中心點(diǎn)o(u0，v0)，畸變系數(shù)kx和ky，水平距離L。根據(jù)圖1可得

L=h+l

(8)

式(8)中：l為魚(yú)眼鏡頭的虛擬成像距離；h為世界坐標(biāo)系中的點(diǎn)到魚(yú)眼鏡頭頂部的水平距離。

2 測(cè)量模型的建立

以畸變系數(shù)的魚(yú)眼鏡頭等距投影模型為基礎(chǔ)，構(gòu)建測(cè)量系統(tǒng)模型。測(cè)量系統(tǒng)模型由魚(yú)眼鏡頭、測(cè)距儀和智能手機(jī)組成，如圖2所示。

圖2 測(cè)量系統(tǒng)模型Fig.2 Measurement system model

2.1 測(cè)量系統(tǒng)數(shù)學(xué)模型

在圖2中，A′和B′為成像平面中的參考點(diǎn)，處于圖像像素坐標(biāo)系中，設(shè)A′坐標(biāo)為(uA′，vA′)，B′坐標(biāo)為(uB′，vB′)。A、B為被測(cè)物中兩點(diǎn)，處于世界坐標(biāo)系中。A′和A存在對(duì)應(yīng)關(guān)系，B′和B存在對(duì)應(yīng)關(guān)系，由式(7)可得，世界坐標(biāo)系與圖像像素坐標(biāo)系中對(duì)應(yīng)點(diǎn)的關(guān)系為

聯(lián)立式(7)～式(9)可得

(10)

令zw=0，根據(jù)式(10)，可得坐標(biāo)A(xA，yA)，B(xB，yB)的值。計(jì)算AB之間的距離H，H為測(cè)量系統(tǒng)模型所求的結(jié)果。

H=[(xA-xB)2+(yA-yB)2]1/2

(11)

2.2 光學(xué)中心點(diǎn)獲取

為獲取光學(xué)中心點(diǎn)，引入Scaramuzza魚(yú)眼鏡頭標(biāo)定模型[11]。在Scaramuzza模型中，世界坐標(biāo)系與相機(jī)坐標(biāo)系中對(duì)應(yīng)點(diǎn)的關(guān)系為

(12)

式(12)中：R為旋轉(zhuǎn)矩陣；T為平移矩陣。

相機(jī)坐標(biāo)系中的點(diǎn)與理想圖像像素點(diǎn)的關(guān)系為

(13)

式(13)中： (u″，v″)為沒(méi)有發(fā)生畸變的理想圖像像素點(diǎn)；μ為標(biāo)量因子；a0、a2、a3、a4為Scaramuzza模型的多項(xiàng)式系數(shù)；p為關(guān)于u″、v″的函數(shù)。

(14)

實(shí)際圖像像素坐標(biāo)系中的點(diǎn)與理想圖像像素點(diǎn)的關(guān)系為

(15)

式(15)中： (u0，v0)為光學(xué)中心點(diǎn)； (u，v)為發(fā)生畸變的實(shí)際圖像像素坐標(biāo)系中的點(diǎn)。

2.3 虛擬成像距離的獲取

世界坐標(biāo)系是一個(gè)參考坐標(biāo)系，可以人為選擇。根據(jù)式(12)，當(dāng)zw=0時(shí)，zc=t3，由圖1得，世界坐標(biāo)系到相機(jī)坐標(biāo)系的距離為

t3=L

(16)

聯(lián)立式(8)、式(16)得

l=t3-h

(17)

2.4 畸變系數(shù)的獲取

引入畸變系數(shù)kx和ky，為求取畸變系數(shù)，確定標(biāo)定板平面與成像平面的對(duì)應(yīng)關(guān)系，建立標(biāo)定畸變系數(shù)模型，標(biāo)定板平面位于世界坐標(biāo)系中，成像平面位于圖像像素坐標(biāo)系中，標(biāo)定畸變系數(shù)模型如圖3 所示。

圖3 標(biāo)定畸變系數(shù)模型Fig.3 Calibration distortion coefficient model

o為光學(xué)中心點(diǎn)，坐標(biāo)為(u0，v0)，r″為點(diǎn)P″到光學(xué)中心點(diǎn)o的距離，r1″為r″在u軸方向的分量，r2″為r″在v軸方向的分量。ow為光軸與標(biāo)定板平面的交點(diǎn)，坐標(biāo)為(xow，yow)，r為點(diǎn)P到ow的距離，r1為r在Xw軸方向的分量，r2為r在Yw軸上的分量。

a、b、c、d分別對(duì)應(yīng)圖 5中的圖5(a)、圖 5(b)、圖 5(c)和圖 5(d)； Fmax表示對(duì)兩幅圖像取合集； Fmin表示對(duì)兩幅圖像取交集圖4 多算子融合算法示意圖 Fig.4 Schematic diagram of multi operator fusion algorithm

(18)

ω=tan-1(r/h+l)

(19)

聯(lián)立式(12)、式(13)、式(15)得

(20)

通過(guò)式(20)求得ow，根據(jù)圖3可得

(21)

(22)

聯(lián)立式(18)～式(22)，畸變系數(shù)的計(jì)算公式為

(23)

3 圖像處理與特征點(diǎn)提取

使用多算子融合算法對(duì)樹(shù)木進(jìn)行輪廓提取[12]，算法步驟如圖4所示。為增強(qiáng)圖像的處理能力，將采集到的彩色圖像轉(zhuǎn)換成灰度圖像，如圖5(a)所示；對(duì)灰度圖像進(jìn)行灰度變換增強(qiáng)，如圖5(b)所示；由于相機(jī)自身缺陷和外界因素的限制，使獲取到的圖像含有噪聲，對(duì)圖像進(jìn)行自適應(yīng)濾波去除噪聲[13]，如圖5(c)所示；多算子融合算法的輪廓提取效果如圖5(d)所示；用改進(jìn)四叉樹(shù)算法對(duì)圖像進(jìn)行分割[14]，如圖5(e)所示；最后運(yùn)用Hough變換直線(xiàn)提取樹(shù)木極值點(diǎn)[15]，通過(guò)Hough變換檢測(cè)提取全幅圖像直線(xiàn)信息，標(biāo)識(shí)的直線(xiàn)中包含著樹(shù)木輪廓的邊緣，直線(xiàn)的交點(diǎn)可以選擇性地獲取樹(shù)木輪廓極值點(diǎn)信息，進(jìn)而得到其像素坐標(biāo)值，如圖5(f)為Hough變換檢測(cè)提取的樹(shù)木圖像，選出直線(xiàn)相交的紅色點(diǎn)A即為樹(shù)木冠層的最高點(diǎn)，紅色交點(diǎn)B為樹(shù)木的最低點(diǎn)。

圖5 圖像處理過(guò)程Fig.5 Processing of the images

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)設(shè)備包括手機(jī)、魚(yú)眼鏡頭、黑白棋盤(pán)標(biāo)定板和激光測(cè)距儀，魚(yú)眼圖像的有效像素為3156×3156，棋盤(pán)格的間隔為50mm。選取10幅平行于標(biāo)定板但距離不同的魚(yú)眼圖像。實(shí)驗(yàn)在Windows10系統(tǒng)平臺(tái)上進(jìn)行，處理軟件為MATLAB2018b。

圖 6 魚(yú)眼圖像Fig.6 Fisheye image

4.2 實(shí)驗(yàn)結(jié)果分析

求光學(xué)中心點(diǎn)用Scaramuzza模型，直接調(diào)用MATLAB2018b自帶魚(yú)眼鏡頭標(biāo)定工具箱對(duì)魚(yú)眼圖進(jìn)行處理。圖6(a)是棋盤(pán)格圖，圖6(b)是棋盤(pán)格角點(diǎn)提取圖。求得光學(xué)中心點(diǎn)o(1578.50，1579.60)。

表 1 l和ow的值

表 2 AB、AC、AD測(cè)量結(jié)果

表 3 樹(shù)木高度測(cè)量結(jié)果

圖 7 kx與ky標(biāo)定結(jié)果Fig.7 kx and ky calibration results

圖 8 A、B、C、D位置圖Fig.8 Location map of A，B，C and D

為驗(yàn)證模型的精度，拍攝5組不同距離的棋盤(pán)格圖片，圖8為拍攝距離612mm和1502mm下的棋盤(pán)格圖。在棋盤(pán)格上取3組距離來(lái)檢驗(yàn)測(cè)量模型精度。表2為AB、AC和AD之間距離的測(cè)量結(jié)果。根據(jù)表2中棋盤(pán)格的計(jì)算值與實(shí)測(cè)值的誤差分析可知，測(cè)量距離時(shí)，最大測(cè)量誤差為8.283mm，最大相對(duì)誤差為1.274%，最小相對(duì)誤差為0.323%，平均相對(duì)誤差為0.823%，證明了模型的有效性和準(zhǔn)確性。利用模型對(duì)樹(shù)高進(jìn)行測(cè)量，實(shí)際樹(shù)高用全站儀獲取，測(cè)量結(jié)果如表3所示。

表 3 可得利用本文方法測(cè)量樹(shù)高，測(cè)量誤差在-0.196～0.195m，測(cè)量最高相對(duì)誤差為2.75%，平均相對(duì)誤差為1.505%；用文獻(xiàn)[9]測(cè)樹(shù)高方法測(cè)量，最高相對(duì)誤差為6.13%，平均相對(duì)誤差為3.509%。通過(guò)對(duì)比可以得出所提出的測(cè)量樹(shù)高方法更加準(zhǔn)確。

5 結(jié)論

提出一種基于魚(yú)眼鏡頭的樹(shù)高測(cè)量方法。通過(guò)建立測(cè)量模型、求解參數(shù)來(lái)反演樹(shù)高，用黑白棋盤(pán)格間的角點(diǎn)驗(yàn)證測(cè)量模型，并通過(guò)該模型對(duì)樹(shù)木進(jìn)行實(shí)驗(yàn)測(cè)量，得到如下結(jié)論。

(1)棋盤(pán)格內(nèi)角點(diǎn)間距測(cè)量實(shí)驗(yàn)結(jié)果表明，棋盤(pán)格的實(shí)際距離與測(cè)量距離最大誤差為8.283mm，最大相對(duì)誤差為1.274%，最小相對(duì)誤差為0.323%，平均相對(duì)誤差為0.823%，說(shuō)明了該測(cè)量模型的有效性。

(2)用該測(cè)量模型對(duì)樹(shù)木高度進(jìn)行測(cè)量，測(cè)量誤差介于-0.196～0.195m，樹(shù)木測(cè)量最高相對(duì)誤差為2.75%，平均相對(duì)誤差為1.505%，與文獻(xiàn)[9]提出的測(cè)量方法進(jìn)行對(duì)比，測(cè)量誤差更小，測(cè)量結(jié)果更加精確。