面向摘取的番木瓜三維重構與特征參數提取

張炳超，夏　娟，李志偉，張敬業，夏紅梅

(華南農業大學 南方農業機械與裝備關鍵技術省部共建教育部重點實驗室，廣州　510642)

?

面向摘取的番木瓜三維重構與特征參數提取

張炳超，夏娟，李志偉，張敬業，夏紅梅

(華南農業大學 南方農業機械與裝備關鍵技術省部共建教育部重點實驗室，廣州510642)

摘要：準確獲取番木瓜體表三維幾何特征信息是研制番木瓜摘取裝備的前提與基礎。為此，基于逆向工程技術，以廣東臺農2號一線黃番木瓜為對象，利用Sense 3D激光掃描儀進行點云數據采集，通過Sense軟件對點云數據進行預處理，運用Geomagic Studio軟件進行三角網格化點云數據，創建格柵并擬合NURBS曲面，實現番木瓜表面的三維重建。對番木瓜曲面模型進行偏差分析，得到最大偏差距離為正0.08mm和負0.08mm，平均偏差距離為0.004mm，標準偏差為0.015mm，表明重構曲面模型滿足摘取裝置設計精度要求。應用Pro/E軟件對嶺南和臺農2號番木瓜進行三維重構和外形特征參數測量，結果表明：兩個品種番木瓜外形和尺寸都具有較好一致性，嶺南品種外形為粗短型，臺農2號外形為細長型；嶺南番木瓜抓取直徑大于86.02mm，抓取點距離末端執行機構高度大于89.1mm；臺農2號番木瓜抓取直徑大于89.07mm，抓取點距離末端執行機構高度大于73.41mm。提取的特征參數為番木瓜采摘末端執行機構提供了設計依據。

關鍵詞：番木瓜；逆向工程；曲面重建；參數提取

0引言

獲取番木瓜果實三維體表形狀和幾何特征信息是研制開發番木瓜自動采摘裝備的前提與基礎[1-2]。現有測量果實體表形態和幾何特征參數的方法主要有游標卡尺測量和二維圖像采集分析方法。游標卡尺測量僅能獲取果實二維最大輪廓極限數據；圖像采集分析方法以計算機圖像處理為基礎，可擬合出果實二維外形曲線，獲得果實二維外形輪廓特征，但仍難以準確再現果實三維非規則的自由曲面形狀[3-6]。逆向工程(Reverse Engineering, RE)是一項對復雜外形曲面有很好適應性的工程反求技術，是將實物轉變為三維CAD模型的數字化技術、幾何建模技術和產品制造技術的總稱，具有快速、精確地獲取實物三維幾何數據信息的優點，已經成為CAD/CAM系統中一個研究和應用熱點[7-12]。為此，本文基于逆向工程對番木瓜果實進行三維掃描和處理，實現番木瓜體表數據信息的采集與三維實體重構，提取并分析番木瓜果實外形特征參數，為番木瓜機械采摘末端執行器的結構設計提供基礎。

1番木瓜的點云數據采集和預處理

1.1　材料與方法

根據測量探頭是否與零件表面接觸，逆向工程中物體表面三維點云數據獲取方式大致可以分為接觸式和非接觸式兩大類。非接觸式同時擁有捕獲速度快和精度高的特點，在逆向工程中應用最為廣泛。我國常見番木瓜品種三維尺寸在100mm×100mm×200mm范圍內[13]，依據采摘裝置設計與分析要求，番木瓜體表幾何數據信息采集精度應在±0.1mm之內。綜合測量對象、測量精度、測量靈活性與性價比等因素，選取非接觸式的Sense 3D激光掃描儀，其三維方向掃描尺寸為0.2～3m，分辨率為0.4mm，具有外形尺寸小、掃描范圍廣、掃描速度快、成像顯著等優點。其配套Sense軟件能使整個掃描操作簡單，并帶有編輯工具，能對掃描的點云數據進行預處理。

掃描對象選取華南農業大學園藝學院種植試驗田的臺農2號品種的番木瓜，果實成熟度為一線黃。將番木瓜的上部果梗處及底部固定在轉動支架上，將室內燈光調節均勻明亮，使掃描物體顏色更加真實。根據番木瓜果體大小選擇Sense軟件中的物體類型和大小，定位校準掃描距離為380mm，確保掃描圖像放置在軟件屏幕中心后開始掃描。掃描開始后，緩慢轉動支架，確保掃描圖像放置在軟件屏幕中心，如掃描過程中出現Lost Tracking，需重新定位掃描。

1.2　點云數據預處理

掃描完成的圖像存在大量雜質，且帶有支架等特征信息，需要進行點云數據預處理，如圖1(a)所示。首先利用Sense軟件自動濾除雜質，分割圖像僅保留與研究相關的番木瓜果體，如圖1(b)所示；再剪裁由于去除模型掃描干擾產生的棱角，填充分割模型產生的孔洞；最后經由渲染、實體化處理得到點云數為41 568、三角形數為83 043的初步的番木瓜模型，如圖1(c)所示。

圖1　番木瓜點云數據預處理

2番木瓜模型曲面重建

2.1　曲面重建方法

測量數據處理是逆向工程的關鍵環節，其結果直接影響后續模型重建質量。Geomagic公司的Geomagic Studio是當前市場上具有代表性的逆向工程設計軟件之一，能對點云進行很好的拼接和精簡，支持多種測量設備文件格式讀取和轉換、海量點云數據的預處理、智能化NURBS曲面構建等。其新增的Fashion模塊可以通過定義曲面特征類型來捕獲物理原型的原始設計意圖，并擬合成精準的CAD曲面[14]，因此選取Geomagic Studio軟件進行對點云數據的處理和曲面重建。

基于Geomagic Studio軟件對番木瓜的點云數據精簡處理及曲面重建主要包括點階段、多邊形階段和形狀階段。點階段主要進行數據格式轉換、數據對齊、噪聲去除、數據平滑、數據精簡和點云數據三角形網格化，目的是建立完整、整齊、有序及可提高處理效率的點云數據。多邊形階段主要進行缺失數據修補、邊界編輯、修復相交三角形和截面特征線提取，目的是獲取光順、完整的三角面片網格及零件的輪廓幾何特征線。形狀階段是對具有復雜、不規則曲面且曲面質量和模型精度要求不高的模型，對三角面片網格分片得到子網格曲面直接擬合NURBS曲面，從而得到一個理想的曲面模型，具體工作流程如圖2所示。

圖2　曲面重建工作流程

2.2　點階段處理

將點云數據預處理生成的番木瓜模型PLY文件導入Geomagic Studio軟件進行點階段處理。通過Adjust Colors將點云進行著色，更清晰、方便地觀察番木瓜點云的形狀，如圖3(a)所示。利用Select Disconnected和Delete Outliers模塊中的Low Separation去除離主點云很近但不屬于它們一部分的223個點，結合Sensitivity把離番木瓜主體較遠的點云全部刪除，如圖3(b)所示。分離去除不多于Size 5.0的點云數據，即去除5%的點云總量，點云數減少到39 277，減少點云數量的同時提高后續處理效率，如圖3(c)所示。進行Reduce Noise處理時，Third Smoothness Level使數據平滑， Deviation Limit降低模型偏差點的偏差值為0.1mm，其他參數保持默認值，以便于封裝時點云數據統一排布，更好地表現真實的番木瓜形狀。再利用Uniform Sample模塊中的0.6mm Spacing保持模型精確度，減少點云數據量，提高運算效率。最后，確定Surface Wrap Type，依據初始番木瓜三角形數量67 926個調節Target Triangles完成封裝，使點云數據轉換為多邊形模型，如圖3(d)所示。

圖3　點階段處理結果圖

2.3　多邊形階段處理

創建Open Manifold模式，刪除模型中的非流型的三角形數據。掃描過程中存在人為或光線等原因使部分點云數據未獲取成功，根據孔洞類型用Fill Holes模塊進行填補，如圖4(a)所示。應用Decimate Polygons模塊中的Reduce to Percentage 60，在不妨礙模型表面細節和顏色的前提下減少三角形的數量到66 818個，進一步通過Curvature Priority保證簡化后的模型特征與原模型保持一致，防止變形，如圖4(b)所示。利用Sandpaper重建多邊形網格，去除污點及不規則的三角形網格使番木瓜模型表面更加平滑，確保Fix Boundary防止打磨強度過大，出現局部變形，如圖4(c)所示。運用Relax Polygon調整三角形的抗皺夾角，使三角形網格更加平坦和光滑，完成Fix Intersections，使界面提示沒有相交的三角形，如圖4(d)所示。

圖4　多邊形階段處理結果

2.4　形狀階段處理

根據番木瓜的外形特征，利用Detect Curvature模塊定義Curvature Level，按照探測粒度和曲率級別生成的黑色輪廓線和橘黃色輪廓線(模型最高曲率線)將曲面劃分為多個曲面片，如圖5(a)所示。利用Promote/Constrain輪廓線，完成橘黃色的輪廓線與黑色輪廓線之間的相互轉化，如圖5(b)所示。以橘黃色輪廓線為主曲率線進行Shuffle Panels，移動黑色輪廓線，使曲面片等量分布，如圖5(c)所示。完成Edit Contours模塊，調整邊界輪廓線，松弛輪廓線和曲面片，使其分布均勻，如圖5(d)所示。結合Construct Grids在模型表面進行格柵的構建，如圖5(e)所示。通過NURBS(非均勻有理B樣條方法，能精確表示二次曲線弧和二次曲面的方法)曲面處理技術，Fit Surface擬合一個連續的曲面到格柵網上，完成曲面的擬合，如圖5(f)所示。

2.5　曲面偏差分析

通過Geomagic Studio將擬合的曲面與擬合前的點云數據進行比較來，可分析擬合曲面的幾何精度偏差，并可適當調整曲面模型來減小偏差，使擬合曲面模型滿足幾何精度的要求。以點云為參考對象，通過3D compare分析，得到變差分析結果，如圖6所示。其最大偏差距離為+0.08mm和-0.08mm，平均偏差距離為0.004mm，標準偏差為0.015mm。曲面偏差分析結果表明：該番木瓜重構模型能夠滿足±0.1mm幾何精度要求，可應用到摘取裝置的設計與分析中。

圖5　形狀階段處理效果圖

圖6　曲面偏差分析結構

3番木瓜特征參數提取和分析

3.1　特征參數提取目的

為獲取番木瓜采摘末端執行機構設計尺寸參數，基于上述曲面三維重建方法，獲取番木瓜三維重構模型；利用Pro/Engineer軟件對番木瓜三維模型進行參數測量，提取番木瓜外形特征參數。如圖7所示，番木瓜沿果梗方向為縱向，與果梗垂直方向為橫向；橫徑為番木瓜橫向直徑最大截面的直徑；上、下部高度是指番木瓜橫徑所處截面到番木瓜頂點、底端的垂直高度；縱徑指番木瓜頂點到底端沿縱向的長度；果形指數為縱徑與橫徑比值。

3.2　特征參數提取方法

選取廣東嶺南和臺農2號番木瓜各20個，進行體表數據采集與三維曲面重建。考慮番木瓜外形不規則，首先利用Pro/E軟件創建橫徑所在截面，在橫徑截面上做出最大外接圓和最小內切圓，分別測量最大外接圓和最小內切圓直徑，取二者均值作為橫徑尺寸；再通過Pro/E軟件中的距離測量模塊得到番木瓜的縱徑、上部高度和下部高度尺寸；最后，由縱徑和橫徑比值計算出果形指數；每個特征參數測量3次取平均值。

圖7　番木瓜樹體及外形參數特征示意圖

3.3　特征參數提取結果分析

特征參數提取結果如表1所示。

表1番木瓜外形特征參數提取與分析

Table 1The extraction and analysis of papaya’s external physical characteristic parameters

品種特征參數最小值/mm最大值/mm均值/mm標準差變異系數/%嶺南橫徑78.3386.0282.083.043.70縱徑134.1162.32147.549.826.66上部高度62.8780.8470.066.509.28下部高度69.2189.177.486.338.17果形指數1.691.941.800.084.54臺農2號橫徑75.1789.0779.835.106.39縱徑141.41159.3151.575.023.31上部高度80.1190.0784.822.873.38下部高度61.373.4166.754.286.41果形指數1.722.021.900.105.00

嶺南和臺農2番木瓜樣本外形尺寸差異均小于10%，果形與尺寸大小具有較好的一致性。嶺南比臺農2號番木瓜橫徑均值大2.25mm，縱徑均值小4.03mm，果形指數均值小0.10，表明嶺南品種屬于粗短型，臺農2號品種屬于細長型。依據番木瓜類長橢球形果型特征，采摘果實抓取位置選取在橫徑處，嶺南番木瓜抓取直徑應大于86.02mm，抓取點沿縱徑方向距離末端執行機構應大于89.1mm；臺農2號番木瓜抓取直徑應大于89.07mm，抓取點沿縱徑方向距離末端執行機構應大于73.41mm。

4結論

1)基于逆向工程技術，選取非接觸式Sense 3D激光掃描儀，獲取番木瓜果實體表點云數據，經Sense軟件處理得到初步的番木瓜點云數據模型。

2)利用Geomagic Studio軟件對番木瓜模型進行點階段、多邊形階段、形狀階段的數據處理，擬合形成NURBS曲面，構建番木瓜曲面模型。

3)通過偏差分析，得到番木瓜曲面模型最大偏差距離為+0.08mm和-0.08mm，平均偏差距離為0.004mm，標準偏差為0.015mm，表明該番木瓜重構曲面模型能滿足幾何精度要求，可應用到摘取裝置的設計與分析中。

4)利用Pro/E軟件對嶺南和臺農2品種番木瓜進行外形特征參數提取。嶺南和臺農2兩個品種番木瓜外形和尺寸差異均小于10%，具有較好的一致性。嶺南品種屬于粗短型，臺農2號品種屬于細長型。末端執行機構采摘番木瓜抓取位置選取在橫徑處，嶺南番木瓜抓取直徑應大于86.02mm，抓取點沿縱徑方向距離末端執行機構高度應大于89.1mm；臺農2號番木瓜抓取直徑應大于89.07mm，抓取點沿縱徑方向距離末端執行機構高度應大于73.41mm。

參考文獻：

[1]藍峰，蘇子昊，黎子明，等.果園采摘機械的現狀及發展趨勢[J].農機化研究,2010,32(11)：249-252.

[2]姬偉，李俊樂，楊俊，等.機器手采摘蘋果抓取損傷機理有限元分析及驗證[J].農業工程學報,2015(5)：17-22.

[3]呂繼東，趙德安，姬偉.蘋果采摘機器人目標果實快速跟蹤識別方法[J].農業機械學報,2014(1):65-72.

[4]Sarkar N，Wolfe R R.Computer vision based system for quality separation of fresh market tomatoes[J].Trans of the ASAE，1985，28(5)：1714 -1718.

[5]熊俊濤，鄒湘軍，王紅軍，等.基于Retinex圖像增強的不同光照條件下的成熟荔枝識別[J].農業工程學報,2013(12)： 170-178.

[6]李斌，汪懋華，李莉.基于單目視覺的田間菠蘿果實識別[J].農業工程學報,2010(10)：345-349.

[7]劉同海，滕光輝，張盛南，等.基于點云數據的豬體曲面三維重建與應用[J].農業機械學報,2014(6)：291-295.

[8]陳龍健，李誠，張安琪，等.基于逆向工程的D型打結器重構與運動仿真[J].農業機械學報,2014(12)：104-108.

[9]張銳，楊明明，潘潤鐸，等.鴕鳥足底非規則曲面形貌數學模型構建[J].農業工程學報,2015(S1)：71-78.

[10]郭培閃，杜黎明.運用Geomagic Studio實現點云數據的曲面重建及誤差分析[J].地理信息世界,2015(1)：57-60.

[11]劉立晶，楊慧.基于Geomagic Design軟件的導種管三維逆向工程設計[J].農業工程學報,2015(11)：40-45.

[12]陳建能，王英，張翔,等.基于共軛凸輪的強制推秧機構反求設計[J].農業工程學報, 2011(3)：98-102.

[13]龍明華，唐小付，劉文君，等.水果番木瓜品種適應性比較試驗[J].廣西熱帶農業,2007(3)：1-3.

[14]成思源，謝韶旺.Geomagic Studio 逆向工程技術及應用[M].北京：清華大學出版社，2010：1-14.

Feature Detection and Three-dimensional Reconstruction for Papaya Harvesting

Zhang Bingchao, Xia Juan , Li Zhiwei , Zhang Jingye, Xia Hongmei

(Key Laboratory of Key Technology on Agricultural Machine and Equipment(Ministry of Education),South China Agricultural University, Guangzhou 510642, China)

Abstract：A promise and foundation of developing a mechanical picking equipment of papaya is the free form feature of papaya surface obtained accurately. According to Reverse Engineering, three-dimensional point cloud data for a variety of papaya which is called “Tainong number two” belonging to Guangdong Province are collected using a Sense 3D scanner and disposed by a Sense software. The three-dimensional reconstruction of papaya surface is achieved by triangulation of point cloud data, creating large number of grids, and fitting NURBS Surfaces apply to a Geomagic Studio software. The maximum deviation(±0.08mm), the mean deviation(0.004mm) and the standard deviation(0.015mm) are obtained from variance analysis of the Geomagic Studio software. All in all, the feasibility about three-dimensional reconstruction of papaya surface can satisfy the picking equipment’s accuracy requirement for design and analysis. The papaya’s 3D-model and external physical characteristic parameters which belong to two varieties named lingnan and tainong number 2 show preferable consistency about its shape and size using the software called Pro/Engineer. The result indicates the lingnan’s shape is stubby, and the tainong number 2’s shape is tenuous. The lingnan’s grabbed diameter is greater than 86.02mm. Its vertical height from the grasping position to the surface of the picking mechanism is greater than 89.10mm. Similarly, the tainong number 2’s two parameters are greater than 89.07mm and 73.41mm. It can offer basic data for the design of a mechanical picking machine.

Key words：papaya; reverse engineering; surface reconstruction; parameter extraction

中圖分類號：S126；S225.93

文獻標識碼：A

文章編號：1003-188X(2016)12-0212-05

作者簡介：張炳超(1989-)，男，山東東營人，碩士研究生，(E-mail)8856121.hi@163.com。通訊作者：夏紅梅(1975-)，女，湖北黃梅人，副教授，碩士生導師，博士，(E-mail)xhm_scau@tom.com。

基金項目：國家自然科學基金項目(51005080)

收稿日期：2015-11-06