基于機器視覺的茄科幼苗切削特征識別

賈靖 趙暉 周磊 費煥強 龔征絳 喻擎蒼

摘要：為了提升蔬菜自動嫁接機嫁接自動化程度，在嫁接過程中實現機器替代人眼進行操作，基于機器視覺分析茄科幼苗輪廓鏈特征參數、幼苗輪廓鏈鏈角變化、跨距、水平截線寬度、幼苗估計苗莖及幼苗中心線斜率參數，確定幼苗子葉、真葉和根部位置，根據幼苗輪廓特征結合曲線擬合確定切削點位置和切削角度，使用100幅蕃茄幼苗圖像進行實驗。實驗表明，基于機器視覺的幼苗切削參數特征識別及定位準確率較高，幼苗輪廓鏈提取準確為97%，切削點位置與切削角度確定的準確率分別為93%和90%。因此基于機器視覺可以快速、準確地確定切削點位置及切削角度，提高嫁接機嫁接過程中嫁接操作準確率及幼苗成活率。

關鍵詞：機器視覺;輪廓提取;特征識別;切削點;切削角度;曲線擬合

DOI： 10. 11907/rjdk.191477

開放科學（資源服務）標識碼（OSID）：

中圖分類號：TP301

文獻標識碼：A

文章編號：1672-7800（2020）001-0025-07

0 引言

隨著現代城鎮化建設的不斷推進，農村務農人員逐漸減少，因此急需自動化設備緩解勞力不足的問題。機器視覺是一門涉及模式識別、人工智能、圖像處理等諸多領域的交叉學科。隨著農業智能化發展，機器視覺技術越來越多地應用于農業，提高了農業生產效率和經濟收益。近年來眾多學者開展了基于機器視覺的自動嫁接研究。呂谷來等[1]研究了機器視覺的砧木定位識別方法，可實現嫁接過程砧木抓取點和子葉方向的精確定位;上海交通大學機器人研究所開發了基于機器視覺的育苗穴盤定位與檢測系統;王霞霞等[2]研發了基于機器視覺的嫁接用苗外觀特征自動檢測系統，該系統可通過檢測幼苗的生長狀態、子葉參數和胚軸參數分析幼苗的外觀特征參數，實現對幼苗外觀特征的自動檢測;徐立青等[3]基于機器視覺的嫁接幼苗特征識別方法，通過求取幼苗子葉方向、幼苗生長點位置以及子葉葉片面積等特征信息，實現了對瓜科幼苗的特征識別。

但現有方法未能使茄科蔬菜自動嫁接機在嫁接過程中剝離人工勞動，蔬菜嫁接機自動化成本較高[4]。本文基于機器視覺的方法，進行蕃茄幼苗輪廓鏈特征參數研究，改進幼苗輪廓鏈參數設定，以廉價的樹莓派作為機器視覺驅動平臺，實現幼苗輪廓鏈特征參數分析。

1 嫁接農藝及輪廓鏈提取

1.1 茄科幼苗嫁接要求

如圖1、圖2所示，根據已有研究可知，砧木幼苗和接穗苗在執行嫁接操作時，需先確定砧木幼苗和接穗苗的切削點位置位于真葉與子葉高度位置的1/2處，然后通過切削點位置繞莖桿中心線旋轉相應角度[5-6.8，10，12]。因此在進行嫁接作業時，需要確定4個關鍵參數：根部位置、子葉位置、真葉位置、莖桿中心線斜率。

1.2 輪廓鏈參數特征分析

本部分主要研究分析茄科幼苗輪廓鏈、輪廓鏈鏈角及輪廓鏈跨距等特性[6]。輪廓鏈指掏空圖像目標對象內部的點，然后將目標圖象外部所有像素點連接起來組成連通區域;跨距是相對于整個輪廓鏈而言的，本文設置的跨距指在整個輪廓鏈長度所占的千分比;輪廓鏈鏈角指通過跨距參數設置形成的向量角，通過設置不同的跨距形成的輪廓鏈鏈角形態各不相同，對圖3選擇不同跨距時的鏈角變化如圖4所示。

2 幼苗切削點確定

2.1 水平截線寬度計算

如果僅通過對輪廓鏈鏈角和跨角等進行研究，無法確定切削點和切削角度，還需參考蕃茄幼苗的子葉、真葉高度及根部位置，根部位置確定需要通過參考幼苗莖桿的水平截線寬度[7]。因此先介紹計算苗莖水平截線寬度的方法。以圖5為例，對圖4中水平截線寬度的計算方法為：

（1）設幼苗輪廓鏈的像素坐標點為：

2.2 茄科幼苗苗徑估計

求解圖像中蕃茄幼苗輪廓鏈水平截線寬度后，利用水平截線寬度可以確定茄科幼苗的根部位置，但是如果利用水平截線寬度判斷蕃茄幼苗的切削角度，部分桿莖傾斜角度比較大的幼苗會出現很大誤差，為減少由于幼苗桿莖傾斜角度引起的實驗誤差[8]，提出改進方法計算蕃茄幼苗桿莖的估計苗徑[9]，根據圖像中蕃茄幼苗輪廓鏈像素點坐標，估計幼苗苗徑，方法如下：

（1）利用二次擬合法檢測幼苗桿莖的斜率，轉換圖像坐標設定曲線擬合公式為：

2.3 幼苗根部位置確定

在進行蕃茄幼苗輪廓鏈提取時，蕃茄幼苗根部位置附近的莖桿與土壤顏色相近，由于外界光線、嫁接平臺背景對光線的反射及根部與根系土壤包裹的松散引起土壤掉落到嫁接平臺等問題，導致在進行蕃茄幼苗輪廓鏈提取時根部位置輪廓鏈的形態多樣[10]，如圖6所示。

由于在采集圖像時幼苗輪廓鏈識別無法完全去除根部位置包裹土壤的輪廓鏈，所以無法通過蕃茄幼苗輪廓鏈像素坐標的縱坐標最大值實現對根部位置的判斷。通過對圖像中蕃茄幼苗估計苗莖寬度的計算，可以估計苗莖寬度，求得莖桿與根部土壤包裹連接點縱坐標，將該處作為根部位置的縱坐標，然后定義莖桿中心線對應的橫坐標與縱坐標，將該處定義為根部位置[11] 。圖5中蕃茄幼苗根部位置確定的具體實現方法如下所示：

步驟1：求解蕃茄幼苗輪廓鏈像素點的水平截線寬度。

步驟2：求水平截線寬度平均值。

步驟3：設定變量avg2，設置avg與avg2的數量關系消除比avg+2大的水平截線寬度，然后再算平均值，并將其賦值于avg2。

步驟4：迭代計算步驟（2）和（3），并設置迭代結束條件。

avg - avg2≤1

（17）

步驟5：輸出圖5中幼苗輪廓鏈，將根部位置以“+”標識莖桿與土壤包裹的縱坐標，并以同樣的方式從上向下標識頂端子葉與莖桿相接的縱坐標確定幼苗莖桿區間。針對圖5中幼苗根部位置與莖桿區間的確定如圖7所示。

圖7是針對圖6圖像中幼苗根部位置及莖區間確定的標識圖。確定根部算法時分別從上向下和從下到上計算標記莖桿的零界點，以標識幼苗莖桿區間，并標記蕃茄幼苗的莖桿與根部土壤包裹的零界點為根部位置[12]。在確定蕃茄幼苗根部位置時，由于多次處理幼苗時根部土壤掉落于嫁接平臺，掉落的根部土壤影響幼苗根部位置的確定。

3 幼苗輪廓參數特征研究

根據蔬菜自動嫁接機的嫁接農藝要求，蕃茄幼苗的切削點定位于幼苗子葉與真葉高度位置的1/2處[13]。為精準確定蕃茄幼苗切削點位置及切削角度，本文通過對根部位置、子葉和真葉位置特征參數的分析[14]，在自然光線下識別提取100張蕃茄砧木幼苗的輪廓鏈，根據前文對幼苗根部位置的確定方法，分別討論蕃茄幼苗真葉位置、子葉位置、切削點位置和切削角度的研究方法。

3.1 幼苗真葉位置確定

以圖4為研究對象確定真葉參考點C的位置，分析真葉位置的輪廓鏈鏈角變化，再采集圖像中的像素坐標、真葉水平截面寬度及真葉鏈角與根部位置鏈角的關系。根據根部位置A與真葉參考點C的輪廓鏈鏈角正負差異性及真葉位置輪廓鏈鏈角的范圍，通過調節輪廓鏈參數跨距并結合根部位置的鏈角正負，利用真葉處鏈角與根部位置鏈角相反的原則，確定真葉位置的輪廓鏈鏈角范圍為[15°，50°] u[-50°，-15°]，其真葉處鏈角值的正負取決于根部位置鏈角角度的正負。通過對圖4中蕃茄幼苗輪廓鏈設置不同跨距參數，確定真葉位置如圖9所示。

3.2 幼苗子葉及切削點位置確定

為確定子葉參考點B的位置，首先明確子葉參考點B必定位于參考真葉參考點C與要根部位置A之間，然后計算從根部位置到真葉參考點C之間蕃茄幼苗莖桿輪廓鏈寬度[15]，即根據提取出的莖桿輪廓鏈像素坐標，將圖像坐標中同一水平軸上x的最大值與最小值做差以判斷子葉參考點B的位置，并參考真葉參考點C和根部位置A進行位置確定[16]，其中，設定根部位置A與真葉位置C的坐標分別為：

根據根部位置點A、真葉參考點D和子葉參考點位置B，分析蕃茄砧木幼苗外形特征子葉與真葉之間莖桿所占像素點個數，依據蔬菜嫁接機嫁接農藝的要求，計算幼苗縱坐標方向像素點個數為真葉參考點C與子葉參考點B 1/2處的像素點個數，然后根據縱坐標值確定幼苗中心線位置的橫坐標，從而確定蕃茄幼苗切削點位置為：

3.3 幼苗切削角度

基于前文對蕃茄幼苗輪廓鏈特征參數的分析，根據蔬菜自動嫁接機嫁接農藝的要求，在確定切削位置之后，需要確定切削點的切削角度[17]。嫁接農藝要求幼苗的切削角度為繞幼苗切削點中心線斜率逆時針旋轉15°，為確定切削角度，首先求得幼苗桿莖的斜率，然后通過調節切削機構使切削裝置旋轉適當角度，調節幼苗切削角度。

試驗中針對幼苗中心線及中心線斜率的問題，通過使用最小二乘法多項式曲線擬合的方法擬合蕃茄幼苗中心線的斜率[18]，根據角度為90°時正切值為無窮大的特性，通過變換圖像坐標系實現對幼苗中心線斜率的擬合，其實現步驟為：

（1）根據曲線擬合方法使偏差平方和最小。

以圖3中蕃茄幼苗為例，依據水平截線寬度確定子葉位置（見圖10）。按照公式（22）比較根部位置點A與真葉參考點D之間莖桿水平截線寬度，確定子葉參考點B位置。在圖像坐標系中控制縱坐標不變，然后計算根部與真葉位置間輪廓鏈的水平截線寬度，根據幼苗子葉參考點B輪廓鏈提取時相對莖桿輪廓會有小塊突起的特點，通過計算真葉與根部位置之間的輪廓鏈水平截線寬度確定子葉參考點B的位置。

根據幼苗中心線的定義與OpenCv算法，在圖像中畫出幼苗的中心線，并利用公式（24）-（32）曲線擬合的方法實現3次擬合中心線的斜率，再利用OpenCv算法和最小二乘法多項式二次曲線，擬合圖6中蕃茄幼苗的中心線及擬合曲線，結果如圖12所示。

圖12中黑色曲線為3次擬合中心線，其中白線表示幼苗中心線，根據幼苗估計苗莖的定義計算蕃茄幼苗中心線。將圖像中幼苗中心線所有坐標點作為3次擬合的輸入坐標[19]，變換圖像坐標的橫縱坐標以擬合中心線斜率。試驗表明，圖7中幼苗中心線斜率的擬合曲線如圖12中的黑色曲線所示，嫁接農藝要求蕃茄幼苗的切削角度為中心線斜率加15°，所以幼苗中心線斜率曲線擬合精確性的提高是必然的。

3.4 切削點準確率影響實驗

3.4.1 幼苗子葉位置確定問題

本試驗中根據根部位置、真葉參考點確定幼苗子葉參考點，其依據是根部位置及真葉位置之間水平截線寬度最大值或是突起小塊[20]。但是在試驗中由于多次對不同幼苗的拎取，導致幼苗根部土壤掉落于嫁接平臺，背景會影響子葉位置的確定。

如圖13所示，按照確定子葉位置的方法確定圖13中子葉位置時可能出錯，被確定的子葉可能是掉落于嫁接平臺背景上的土壤。子葉位置確定錯誤會影響切削點位置的確定，從而降低切削點位置與切削角度確定的準確率。因此需定期清理嫁接平臺背景，以保證試驗識別切削點位置及切削角度的準確性。

另外，利用蕃茄幼苗輪廓鏈特征參數分析子葉參考點B的位置時，由于光線和背景等因素的影響，導致幼苗子葉顏色發生偏差，或因子葉自然掉落，在識別幼苗時可能出現識別的幼苗無子葉、有一個子葉無法識別、有兩個子葉但是無法全部識別或是零識別的情況，對于以上現象的分析如圖14所示。

圖14中幼苗受光線和背景等外界因素的影響，識別時幼苗子葉輪廓鏈像素點太少，可能導致在試驗過程中無法確定子葉的準確位置。對于子葉缺失問題通過改進算法可能無法解決，需在蕃茄幼苗種植過程中加強對幼苗的養護[21]，使幼苗子葉不掉落或設置嫁接平臺外界光線為固定光源以進行圖像采集及處理。

3.4.2 某穴盤槽有多棵幼苗的問題

在提取幼苗輪廓時，除確定子葉位置時可能存在問題外，還可能存在其它影響試驗準確率的因素，如當某個穴盤槽中蕃茄幼苗有多個時，利用本文的機器視覺方法可能無法確定其切削點位置及切削角度，無法實現對幼苗輪廓鏈的識別與提取，由于不能確定根部位置、子葉、真葉、切削點位置和切削角度，從而切削點位置確定與切削角度準確率會受到影響。