基于特征點提取的林木生長狀態無損測量方法

許　杰，戚大偉（.黑龍江八一農墾大學 信息技術學院，黑龍江 大慶6339；.東北林業大學 理學院，黑龍江 哈爾濱50040）

?

基于特征點提取的林木生長狀態無損測量方法

許杰1，戚大偉2
（1.黑龍江八一農墾大學 信息技術學院，黑龍江 大慶163319；2.東北林業大學 理學院，黑龍江 哈爾濱150040）

摘要：為提高林木生長狀態測量的準確性，克服傳統測量方法的不足，從視差處理的角度出發，根據不同時間點采集到的樹木圖像信息，通過采取特征點提取方法，判斷出一段時間內樹木生長狀態的變化情況。試驗過程中，將待采集圖像的樹木上標出紅色的矩形信息點，并利用雙攝像機針對標出的特征點進行采集，然后將2幅樹木圖像進行對比研究,分別計算出在一定時間間隔內樹木上信息點空間信息，從而確定該段時間內信息點的位置變化。試驗結果表明：針對標定的信息點，傳統測量方法在高度和粗度上數值相近，與林木生長實際不符；而基于視覺技術的測量，其測量結果與林木的實際增長過程是一致的，能夠很好地實現對樹木的無損測量研究，判斷出樹木的生長狀態變化情況。圖4表1參22

關鍵詞：森林測計學；雙目視覺；圖像處理；目標匹配；對應點

浙江農林大學學報，2016，33（3）：403-408

Journal of ZheJiang A&F University

樹木生長受自然環境的影響較大，傳統的測量方法受到樹木外形特征等因素的影響，很難找到一種通用的方法實現對樹木空間信息的有效測量［1］，而機器視覺可代替人眼對物體進行判斷和識別，來滿足人們獲取樹木空間信息的需要［2-3］。有關雙目立體視覺技術在林木生長狀態方面的研究，國內外的相關研究已取得了部分成果：胡天翔等［4］將雙攝像頭豎起放置，對樹木圖像間距進行了測量，但局限于模擬樹木；張超等［5］將立體視覺技術應用于林木分布測定研究，提高了林木分布的測量精度，但對林木的生長狀態未做描述；蔡健榮等［6］實現了對果樹三維信息的獲取與重構，但只局限于某一時間點的果樹圖像，并未對其生長特征做出具體的分析；項榮等［7］利用雙目立體視覺實現了對番茄Lycopersicon esculentum的定位研究，但缺少對不同時間點的對比分析。本研究在上述研究基礎上，通過采用傳統測量方法和視覺測量方法分別計算不同時間段內樹木標定點圖像空間信息的變化情況，并對2種方法的測量結果進行了比較分析，證實了采用基于視覺技術的測量方法的科學性與準確性，為實現對樹木生長過程的監測研究奠定了良好的技術基礎。

1　理論基礎

1.1視覺成像原理

圖1為簡單的平視雙目立體成像原理圖［1，8］，2個攝像機的投影中心連線的距離，即基線距為B。2個攝像機同一時刻觀看空間物體的同一特征點P（xc，yc，zc），分別在左圖和右圖上獲取了點P的圖像坐標分別為（xL，y）和（xR，y），設2個攝像機的焦距都為f，則由三角幾何關系得：

圖1 雙目立體成像原理Figure 1 Binocular 3D imaging principle

1.2坐標變換

圖像的大小用（M×N）表示，以圖像左上角為坐標原點00，設（u，v）為以像素為單位的坐標，（x，y）是以毫米為單位的坐標，在xy坐標系中，原點01定義在攝像機光軸與圖像平面的交點，設01在uv坐標系中坐標為（u0，v0），每個像素在xy軸上的物理尺寸為dx和dy，坐標變換如圖2所示［2，11-12］，則有：

式（2）中，dx為每個像素在x軸方向上的物理單位；dy為每個像素在y軸方向上的物理單位。

圖2 坐標變換Figure 2 Coordinate transformation

1.3計算視差D

將攝像機水平放置，光軸保持平行，成像于同一平面上，這樣視差D只與像素坐標u1和u2有關。根據式（2）可知，像素坐標u1和u2與物理坐標x1和x2之間的關系可表示為［11，14-15］：

由此可得：

聯立式（5）和式（1），即可求得樹木標定點像素中心坐標的空間信息，即：

測繪行業涉密計算機的安全管理關系到國家的利益和安全，需要采取多方面的措施，結合實際應用需求綜合施策，有效提升安全管理能力，多層次保障信息的安全。此外，還需從制度方面來發現管理漏洞，監督防護技術的實施情況，從而不斷精化管理水平，動態調整管理體系的目標和策略，實現測繪行業涉密計算機安全管理體系的可持續發展。

2　試驗設計

本試驗以MV-VS220雙目立體視覺測量系統平臺為依托，用DS3水準儀和J2經緯儀保證2次測量位置不變。選用維視MV-VS078FC高分辨率工業攝像機作為圖像采集裝置，AFT-0814MP為相機鏡頭，通過平臺提供的硬質三角架進行固定，并與MV-1394圖像采集卡相連。攝像機的參數設置：成像平面為3.225 mm×3.225 mm，分辨率為1 024×768。由此計算出dx=3.225/1 024 = 0.003 15 mm，dy=3.225/ 768=0.004 2 mm。在本試驗中，攝像機焦距均調整為f=20 mm，初始基線距離B=60 mm。

試驗過程中，先在預采集的樹木上標定出4個類似于矩形的紅色信息點，并對測量位置用DS3水準儀和J2經緯儀進行精確定位。一種方法是采取傳統的測量方法通過50分度的游標卡尺和測量用米尺實現對標定點中心的距離測量；另一種方法是通過雙目視覺測量平臺來完成樹木標定點的信息采集。設計時將2個攝像機平行放置，同時保證紅色標定點處于非邊緣位置。該試驗主要針對樹木標定點進行不同時間點、同一位置的樹木圖像信息采集和測量。本試驗間隔為6個月。

3　圖像處理

3.1圖像采集

圖像的采集主要以MV-VS220雙目立體視覺測量系統為依托。本試驗主要是針對樹木上的紅色標定點進行同一位置、不同時間點的圖像采集，并對其進行識別和測量。采集時將攝像機水平放置，光軸保持平行，成像于同一平面上。初次采集到的圖像如圖3所示。

圖3 采集到的圖像Figure 3 Collected images

3.2顏色提取

攝像機獲得的樹木標定點圖像是含有顏色信息的，在圖像處理時，由于所標定的是紅色點，在紅綠藍（RGB）顏色空間內，只需提取它的紅色通道內的數據即可，后期的處理只需針對提取到的圖像數據就可以了。本研究采用Matlab語言的顏色提取算法和命令［14-16］，來實現對樹木紅色標定點的信息提取。

3.3標定點分離

由于4個紅色標定點有別于其他圖像信息點，經過顏色提取后的標定點相對穩定，很容易得到標定點的準確信息，從而實現標定點的分離。將提取后的圖像進行中值濾波（模板采用3×3），考慮到圖像處理的便利，將灰度圖像轉化為二值圖像，閾值選0.2，并根據實際數據處理需要，對二值圖像進行取反處理［8，14-16］，得到如圖4所示標定點圖像。

圖4 攝像機標定點及中心坐標Figure 4 Camera calibration point and center coordinate

3.4標定點中心確定

由于所采集到的樹木圖像的每個標定點是由很多個像素點構成的，要精確計算每個標定點的信息很難。本研究采用每個標定點的像素中心坐標來計算標定點間的位置關系。本試驗中，通過4個標定點的基本信息，計算各標定點區域的像素中心，來決定標定點的中心坐標。計算方式如下［17-19］：

式（9）中：S表示連通域，即每個標定點所處的區域，NS為連通域中像素的個數；（im，Jm）為標定點像素中心的坐標。根據攝像機參數設置情況，可得到各標定點像素中心坐標如圖4所示［14，20-21］。

4　數據處理

4.1初始標定點空間信息

根據確定的標定點像素中心坐標，可計算出各標定點像素中心的空間坐標信息，以圖像左上角為坐標原點，世界坐標系與左攝像機坐標系重合［9，24-25］，以左上方的像素中心坐標為例，按照式（6）～式（8）計算結果如下：x1左上=582.50 mm，y1左上=405.00 mm，z1左上=7 936.51 mm。以此類推，計算出其他像素中心坐標：右上（717.5，403.33，7 936.51），左下（580.0，645.0，7 936.51），右下（718.75，648.33，7 936.51），改變基線間距，每次增加2 mm，共計測量10次。根據10次測量所測得的試驗數據，可計算出各標定點像素中心的平均物理坐標分別為：左上（581.82，406.49，7 965.79），右上（718.67，401.83，7 938.42），左下（582.14，650.38，7 967.79），右下（724.94，653.63，7 958.01）。

4.26個月后標定點空間信息

在保證2攝像機攝取圖像位置不變的情況下，忽略自然因素對攝像機的影響，攝像機的焦距均為f= 20 mm，初始基線B=60 mm。6個月后，左上標定點像素中心的物理坐標為別為：x2左上=577.50 mm，y2左上=401.67 mm，z2左上=7 936.51 mm。同理，計算出其他像素中心坐標分別為右上（720.0，400.0，7 936.51），左下（578.75，646.67，7 936.51），右下（721.25，650.0，7 936.51），改變基線間距，每次增加2 mm，共計測量10次。經過10次測量后，計算出各標定點像素中心的平均物理坐標分別為：左上（579.57，403.1，7 964.92），右上（717.29，399.05，7 937.67），左下（581.74，647.11，7 966.53），右下（722.53，651.15，7 956.7）。

4.3數值運算與分析

4.3.1基于視覺測量的數據計算①標定點像素中心坐標的距離變化。由表1可得：左上方像素中心坐標與其他3個像素中心的空間距離分別為L1左上右上=139.6 mm；L1左上左下=243.9；L1左上右下=285.7 mm；同理，由表2可計算出6個月后左上方像素中心點與其他像素中心點之間的距離分別為L2左上右上=141.1 mm；L2左上左下=246.3 mm；L2左上右下=288.0 mm；間隔6個月后，ΔL左上右上=1.5 mm；ΔL左上左下=2.4 mm，ΔL左上右下=2.3 mm。ΔL左上右上說明x方向上發生了變化，ΔL左上左下說明y方向上發生了變化。雖然x方向和y方向增量只是一個相對量，但它代表了矩形信息點在水平方向和高度方向的增量變化，說明在6個月時間內，所標定的矩形信息點發生了生長狀態的變化，矩形的大小有所擴大。而垂直方向的變化是水平方向變化的1.6倍，說明樹木高度上增長較快，而粗度上相對較慢，這與實際樹木的生長快慢也是一致的。②標定點像素中心坐標的位置變化。由表1和表2測得的各標定點像素中心坐標來看，Δ左上= （2.25，3.39，0.87）；Δ右上=（1.38，2.78，0.75）；Δ左下=（0.39，3.27，1.26）；Δ右下=（1.41，2.52，1.31）。從試驗結果上看，6個月前后各標定點空間信息發生了變化，4個信息點的像素中心距離均有增加，說明矩形的大小也較原圖像有所擴大。上述計算過程中，均采取原數據與6個月后圖像數據之差的形式進行的，而且是以圖像左上角為坐標原點。而xz方向的數據變化較小，y方向數據變化相對大一些，這與樹木生長過程高度長得快一些、粗度慢一些也是相符的［11，20-22］。由此分析，若時間間隔增長，矩形點像素中心的位置和間距增量也會增加，矩形的大小也將會繼續擴大。

4.3.2基于傳統測量的數據計算在實際測量過程中，對樹木深度方向用最小分度為1 mm米尺進行測量；在水平和垂直方向上采用50分度游標卡尺進行測量，而且需要測量技術人員的協助，以保證測量方法具有可行性、準確性。本試驗只針對樹木信息點的間距進行了測量，采取測量10次取均值再進行間距計算的方式進行。初始和6個月后的測量結果如表1所示。從表1可以看出：利用傳統的測量方法也可以實現對樹木生長狀態各個參量的測量，間隔6個月后，ΔL左上右上=5.75 mm，ΔL左上左下=5.63 mm，ΔL左上右下=8.11 mm。說明樹木在6個月時間范圍內發生了生長狀態的變化。ΔL左上右上代表水平方向上的增長，ΔL左上左下代表垂直方向上的增長。經過6個月生長后，4個矩形點的間距發生了不同程度的增長，矩形的大小也有所擴大，但由于水平方向和高度方向增量非常接近，這與樹木粗度上長得慢、高度上長得快是不相符的。主要原因是在測量過程中，周圍環境和人工操作等因素引起的測量誤差所導致的。

表1 初始和6個月后10次測量結果統計表Table 1 Statistical graph of 10 times measurement result between initial and after six months

4.4傳統測量與視覺測量的對比分析

根據間隔6個月測得的結果，無論是采取視覺測量方法還是傳統測量方法，各標定信息點間距均發生了變化，說明樹木的狀態發生了改變。但傳統測量與視覺測量相比有很多不足，主要體現在：①在測量精度上，傳統測量中的米尺最小分度為1.00 mm，游標卡尺最小分度為0.02 mm；而本試驗圖像測量最小單位達到0.004 2 mm，從數據精度的角度考慮，傳統測量不如視覺測量。②在測量結果上，傳統測量的水平方向增長了5.75 mm，說明樹橫向變粗了，而垂直方向增長了5.63 mm，說明樹長高了，兩者增長量非常接近，這與樹木生長中高度長得快、粗度長得慢不相符［11，20-22］；而視覺測量中垂直方向的變化是水平方向變化的1.6倍，與實際樹木生長快慢一致。③在誤差處理上，傳統測量是人為選擇信息點中心來進行距離測量，數據來源和處理方式欠準確；而視覺測量只需處理好采集到的圖像信息點即可，通過計算來確定像素中心坐標，測量結果更準確科學。④從采集環境上看，傳統測量需到實驗現場進行記錄，人工來完成現場測量，受自然環境影響較大，測量結果缺乏準確性；而視覺測量對測量環境要求較低［12］，即使樹木經風雨而姿態發生改變，所標定的4個矩形信息點的間距也是相對穩定的。

5　結論

采用雙目視覺系統平臺和傳統測量方法對樹木標定點的圖像信息進行了采集和處理，并對兩者間隔6個月的測量結果進行了比較研究。從結果上看，基于視覺的測量方法樹木標定點的高度增長（2.40 mm）是粗度增長（1.50 mm）的1.6倍；而傳統測量高度上與粗度上的數據變化相近，與實際不符。研究表明：①基于視覺技術的測量方法較傳統的測量方法測量結果更合理，符合樹木生長規律；②樹木標定點水平方向和深度方向增長可近似代替信息點粗度上的變化，垂直方向增長代替高度上的變化，即用xz方向代替粗度方向，y方向代替高度方向。本研究只對給定樹木標定點的空間變化進行了分析和研究，下一步將探索擴展測量參量，并利用多目相機來研究樹木的生長變化，為實現對樹木生長的遠程無線監測，促進林業信息化提供必要的數據支撐。

6　參考文獻

［1］周博.基于圖像拼接的擴大樹木圖像采集視野研究［D］.南京：南京林業大學，2008. ZHOU Bo. Field-of-View Expanding for Tree Images Capturing Based on Image Mosaic［D］. Nanjing：Nanjing Forestry University, 2008.

［2］張廣軍.機器視覺［M］.北京：科學出版社，2005.

［3］李慶中，汪懋華.基于計算機視覺的水果實時分級技術發展與展望［J］.農業機械學報，1999，30（6）：1 - 7. LI Qingzhong, WANG Maohua. Delelopment and prospect of real time fruit grading technique based on computer vision［J］. Trans Chin Soc Agric Mach, 1999, 30（6）：1 - 7.

［4］胡天翔，鄭加強，周宏平.基于雙目視覺的樹木圖像測距方法［J］.農業機械學報, 2010, 41（11）：158 - 162. HU Tianxiang, ZHENG Jiaqiang, ZHOU Hongping. Measurement method of depth information of tree images based on binocular vision［J］. Trans Chin Soc Agric Mach, 2010, 41（11）：158 - 162.

［5］張超，王雪峰，唐守正.立體視覺技術應用于林木個體分布格局測定研究［J］.林業科學研究，2004，17（5）：564 - 569. ZHANG Chao, WANG Xuefeng, TANG Shouzheng. Research on the application of stereo vision technology on measuring tree distribution pattern［J］. For Res, 2004, 17（5）：564 - 569.

［6］蔡健榮，孫海波，李永平，等.基于雙目立體視覺的果樹三維信息獲取與重構［J］.農業機械學報，2012，43（3）：152 - 156. CAI Jianrong, SUN Haibo, LI Yongping, et al. Fruit trees 3-D information perception and reconstruction based on binocular stereo vision［J］. Trans Chin Soc Agric Mach, 2012, 43（3）：152 - 156.

［7］項榮，應義斌，蔣煥煜，等.基于雙目立體視覺的番茄定位［J］.農業工程學報，2012，28（5）：161 - 167. XIANG Rong, YING Yibin, JIANG Huanyu, et al. Localization of tomatoes based on binocular stereo vision［J］. Trans Chin Soc Agric Eng, 2012, 28（5）：161 - 167.

［8］章毓晉.圖像工程：下冊.圖像理解與計算機視覺［M］.北京：清華大學出版社，2000.

［9］HIRSCHMüLLER H, INNOCENT P R, GARIBALDI J M. Real-time correlation-based stereo vision with reduced border errors［J］. Int J Comput Vision, 2002, 47（1/3）：229 - 246.

［10］李海軍，潘曉露，李一民，等.平行雙目視覺系統中深度圖像的生成與分析［J］.計算機與數字工程，2006，34（2）：50 - 52. LI Haijun, PAN Xiaolu, LI Yimin, et al. Creating and analysis of depth-map in parallel two-eyes-visual system［J］. Comput & Digital Eng, 2006, 34（2）：50 - 52.

［11］馬凱.基于立體視覺的樹木圖像深度信息提取研究［D］.南京：南京林業大學，2007. MA Kai. Depth Information Acquisition for Tree Images Based on Stereo Vision［D］. Nanjing：Nanjing Forestry University, 2007.

［12］嚴濤，吳恩華.基于多幅圖像的樹木造型方法［J］.系統仿真學報，2000，12（5）：565 - 571. YAN Tao, WU Enhua. Multiple-image-based modeling of trees［J］. J Syst Simulation, 2000, 12（5）：565 - 571.

［13］李偉，林家春，譚豫之，等.基于圖像處理技術的種子粒距檢測方法研究［J］.農業工程學報，2002，18（6）：165 - 168. LI Wei, LIN Jiachun, TAN Yuzhi, et al. Measuring method of seed pacing on test rig based on image processing techniques［J］. Trans Chin Soc Agric Eng, 2002, 18（6）：165 - 168.

［14］張汗靈. Matlab在圖像處理中的應用［M］.北京：清華大學出版社，2008.

［15］STEGER C, ULRICH M, WIEDEMANN C. Machine Vision Algorithms and Applications［M］. Berlin：Wiley-VCH, 2008：241 - 257.

［16］呂朝輝，陳曉光，鄭元杰，等.立體視覺技術在秧苗直立度測定中的應用［J］.農業工程學報，2001，17（4）：127 - 130. Lü Chaohui, CHEN Xiaoguang, ZHENG Yuanjie, et al. Application of three dimensional vision technique inmeasuring seedling perpendicularity［J］. Trans Chin Soc Agric Eng, 2001, 17（4）：127 - 130.

［17］CLARK M L, CLARK D B, ROBERTS D A. Small-footprint lidar estimation of sub-canopy elevation and tree height in a tropical rain forest landscape［J］. Remote Sens Environ, 2004, 91（1）：68 - 89.

［18］童雀菊，華毓坤，黃元生.用圖像處理法采集原木形狀參數的研究［J］.林業科學，1998，34（3）：87 - 96. TONG Queju, HUA Yukun, HUANG Yuansheng. A study of gathering the log shape data by image processing［J］. Sci Silv Sin, 1998, 34（3）：87 - 96.

［19］向海濤,鄭加強,周宏平.基于機器視覺的樹木圖像實時采集與識別系統［J］.林業科學, 2004, 40（3）：144 - 148. XIANG Haitao, ZHENG Jiaqiang, ZHOU Hongping. Real-time tree image acquisition and recognition system based on machine vision［J］. Sci Silv Sin, 2004, 40（3）：144 - 148.

［20］吳繼華，劉燕德，歐陽愛國.基于機器視覺的種子品種實時檢測系統研究［J］.傳感技術學報，2005，18（4）：742 - 745. WU Jihua, LIU Yande, OUYANG Aiguo. Research on real time identification of seed variety by machine vision technology［J］. J Transcluct Technol, 2005, 18（4）：742 - 745.

［21］AHUJA N. A transform for multi-scale image segmentation by integrated edge and region detection［J］. IEEE Trans Patt Anal Mach Intell, 1996, 18（12）：1211 - 1235.

［22］MüHLMANN K, MAIER D, HESSER J, et al. Calculating dense disparity maps from color stereo images an efficient implementation［J］. Int J Comput Vision, 2002, 47（1/3）：79 - 88.

Feature point extraction based nondestructive measuring methods of tree growth status

XU Jie1，QI Dawei2
（1. College of Information Technology, Heilongjiang Bayi Agricultural University, Daqing 163319, Heilongjiang, China；2. College of Science, Northeast Forestry University, Harbin 150040, Heilongjiang, China）

Abstract:The research aims to improve the accuracy of tree growth status measurement, overcome the deficiencies in the traditional measuring methods. From the perspective of disparity processing, based on the tree image information collected at different time points, and through the method of feature point extraction, the changes of tree growth status within a period of time were examined. In the experiment, red rectangular information points were marked on the tree and two cameras were used to capture feature points, then the collected color information of two images was extracted and compared to calculate the space change of calibration points in a certain time interval. And the experimental results showed that the traditional method measuring height and thickness did not conform to the actual growth status of the trees. But height and thickness measuring based on vision technology was in line with the actual growth process of trees. The visual measuring method is able to conduct nondestructive measurement of tree growth, and judge the change of growth status of trees. ［Ch, 4 fig. 1 tab. 22 ref.］

Key Words:forest measuration；binocular vision；image processing；target matching；corresponding point

中圖分類號：S785.1

文獻標志碼：A

文章編號：2095-0756（2016）03-0403-06

doi：10.11833/j.issn.2095-0756.2016.03.005

收稿日期：2015-05-14；修回日期：2015-08-07

基金項目：國家自然科學基金資助項目（31170518）；黑龍江省科技攻關項目（GC01KC156）；黑龍江省教育廳科研項目（12531445）

作者簡介：許杰，副教授，博士研究生，從事圖像處理及農、林業信息化等研究。E-mail：byndxj@163.com