











摘要:針對瓜類砧木定向播種裝備缺乏,人工播種效率低、育苗質量差等問題,提出基于機器視覺的白籽南瓜種子幾何特征的識別方法。選取京欣砧2號南瓜種子為研究對象,利用工業相機采集種子的原始圖像,通過灰度化、均值濾波、動態閾值處理得到種子的灰度值、種子輪廓等形態特征,根據輪廓區域的方向和縱橫比擬合最佳橢圓,并獲得種子幾何中心坐標和長短軸數據,以沿種子長軸方向的輪廓端點與幾何中心點的最大距離來判斷芽點方向,再以幾何中心點為基準運用三角函數計算種子芽點所在位置,并開展試驗驗證。試驗結果表明,利用該方法可以有效地判斷出芽點位置和角度信息,芽點識別準確率為98.85%,芽點角度平均偏差為1.53°,25粒種子識別平均耗時為0.092 s。
關鍵詞:機器視覺;白籽南瓜種子;定向播種;輪廓提取;芽點識別
中圖分類號:S223.2+3
文獻標識碼:A
文章編號:2095-5553(2024)12-0175-06收稿日期:2024年4月27日
修回日期:2024年5月16日
*基金項目:國家自然科學基金面上項目(32171898);國家西甜瓜產業技術體系專項資金項目(CARS—25—07);中國煙草總公司貴州省公司科技項目(中煙黔科〔2024〕1號2024XM19);北京市農林科學院2024年度科研創新平臺建設(PT2024—44)
第一作者:張若愚,男,1998年生,太原人,碩士研究生;研究方向為設施育苗裝備。E-mail:295821531@qq.com
通訊作者:姜凱,男,1982年生,黑龍江勃利人,博士,正高級工程師;研究方向為農業機器人與智能農業裝備。E-mail:jiangk@nercita.org.cn
Machine vision-based geometry characteristics recognition method for white pumpkin seed
Zhang Ruoyu1, Ge Yiyuan1, Chen Dong3, 4, Chen Tianen3, 4, Jiang Kai1, 2, 3
(1. College of Mechanical Engineering, Jiamusi University, Jiamusi, 154007, China; 2. Intelligent Equipment Technology Research Center, Beijing Academy of Agriculture and Forestry Sciences, Beijing, 100097, China; 3. Nongxin(Nanjing) Smart Agriculture Research Institute, Nanjing, 211800, China; 4. Information Technology Research Center, Beijing Academy of Agriculture and Forestry Sciences, Beijing, 100097, China)
Abstract: In response to the lack of equipment for targeted sowing of rootstocks for melons, as well as issues such as low efficiency in manual sowing and poor seedling quality, a method based on machine vision for identifying the geometry characteristics of white-seeded pumpkin seeds is proposed. Firstly, Jingxin No.2 rootstocks pumpkin seeds are selected as the research object, and industrial cameras are used to capture the original images of the seeds. The grayscale value, profile and morphological features of the seeds are obtained through grayscale transformation, mean filtering, and dynamic threshold processing. The best ellipse is fitted based on the direction and aspect ratio of the contour area, and the geometric center coordinates and long and short axis data of the seeds are obtained. The direction of the bud spots is determined by the maximum distance between the contour endpoints along the long axis and the geometric center point. Then, using trigonometric functions with the geometric center point as the reference, calculate the location of the bud spots, followed by experimental verification. The results of the experiment show that this method can effectively identify the position and angle information of the germination point, with an identification accuracy of 98.85%, an average angular deviation of 1.53°, and an average recognition time of 0.092 seconds for 25 seeds.
Keywords: machine vision; white-seeded pumpkin seeds; directional seeding; contour extraction; bud point identification
0 引言
據報道,我國蔬菜種植面積為20 439 khm2,年需苗量6 800億株[1] 。我國每年嫁接苗需求約500億株,種苗生產供不應求、缺口很大[2]。因連年種植引起的連作障礙問題日趨嚴重,導致了市場對瓜類蔬菜嫁接苗的需求不斷增長[3]。嫁接可以有效克服土傳病害,增強作物抗性提高產量[4]。穴盤播種是嫁接育苗的關鍵環節,國內外對穴盤播種機的技術研究較早,實現了對形態規則或丸粒化種子的精量播種[5]。瓜類嫁接常用的砧木種子(白籽南瓜、瓠瓜)需要定向播種,以保證子葉朝向基本一致,播種后砧木幼苗一致性好,有利于實現自動化嫁接[6, 7]。然后,現有穴盤播種機對瓜類嫁接用砧木種子(也稱大粒種子)并不適用,存在漏播率高、播種精度低等問題,大多育苗公司仍采用人工播種方式[8, 9]。人工雖能夠完成定向播種,但作業質量完全依靠經驗,作業效率和精度較低[10]。因此,急需開發嫁接用砧木種子的定向播種裝置代替人工播種,利用機器視覺技術識別種子幾何特征是實現精準定向播種的必要前提。
目前,國內外學者針對大粒種子播種的相關研究較少,主要采用機械調向和視覺識別方法進行定向播種。2001年,日本開發出SF70型大粒種子定向播種機[11],利用圓形種杯往復移動使種子沿長軸方向實現定向排列,未識別種子芽點位置和方向,播種成功率95%,播種偏差±30°,播種效率5 000粒/h。韓國開發出SD-1212型針式播種機[12],采用V型槽結構使黑籽南瓜種子沿長軸方向定位,播種時種子從V型槽的一側自由滑落進入穴孔內,定向播種精度較低。楊艷麗等[13]基于直線振動器開發了沿種子長軸的定向送種機構,播種效率6 000粒/h,成功率98.89%,未考慮種子芽點位置和方向識別問題。上述研究實現了種子長軸方向定向播種,無法準確識別芽點位置和方向,導致種子播種后的位置偏差較大,不利于后續嫁接和移栽操作。
近年機器視覺技術發展迅速,被大量應用到種子特征識別研究。王僑[14]利用機器視覺技術對玉米籽粒的胚芽方向進行判斷,基于分析了種粒圖像的RGB顏色特征,實現了種粒各顏色區域的分割提取,依據種粒的形態特征以及周長、面積等20個檢測指標,完成了胚芽方向的判斷。陳同[15]利用白籽南瓜種子的外觀特征,根據種子邊界兩端的矩形面積大小判斷芽點方向,定向播種成功率為91.6%,94.1%的種子偏轉角度小于15°。羅昌志[16]利用灰度共生矩陣對蒜種紋理特征進行提取,計算圖像蒜種區域的朝向,實際夾取成功率為93.16%,相對誤差為0.57%,對三個大蒜品種夾取成功率均大于90%。李躍華等[17]提出一種Ramer方法對種子輪廓進行擬合分割,將君遷子種子尖端檢測轉換為曲率半徑檢測問題,對5種不同品種君遷子的250粒種子的識別準確率達83.6%。Bai等[18]基于機器視覺開發了甜玉米插苗補充播種裝置,提出了一種基于投票機制的甜玉米種子檢測方法,檢測準確率約為99%,復播后平均空穴率從9.61%下降到0.38%。Yan等[19]提出了基于YOLOv5x的穴盤內番茄種子信息感知方法,平均檢測準確率為92.84%,平均檢測時間為13.475 s,在穴盤上重新播種的成功率為91.7%。馬旭等[20]利用圖像灰度化、自適應閾值處理和形態學運算等方法對水稻育秧盤的裂縫缺陷進行檢測,正確識別率可達94.38%。
綜上所述,視覺識別系統往往受限于復雜背景下的種子識別精度,尤其在種子形態、顏色和紋理等特征相似的情況下,識別效果易受到干擾。因此,本文旨在研究一種基于機器視覺的白籽南瓜種子芽點方向識別方法,實現對種子外部特征實時獲取和識別,精準確定芽點位置和方向,提高識別準確性和效率,為白籽南瓜種子定向播種裝置的研制奠定基礎。
1 圖像處理方法
圖像處理流程如圖1所示。基于HALCON機器視覺軟件開發設計白籽南瓜種子芽點識別方法。
1)圖像預處理:首先利用相機進行種子圖像的采集,將彩色圖像轉換為灰度圖像,以簡化后續圖像處理。隨后,通過均值濾波平滑圖像,減少噪聲。采用動態閾值處理緩解光照對灰度的影響,有效分離種子和背景,從而計算種子與背景之間的灰度差異。由于種子為白色、背景是黑色,經多次調試在灰度差為30條件下可以達到良好的分離效果。所得彩色圖像、灰度圖像、均值濾波圖像和動態閾值后的圖像,如圖2所示。
2)灰度直方圖和填充區域:利用種子圖像的灰度圖得到灰度直方圖,對種子輪廓內部區域進行填充操作。為去除噪聲和非目標物體,根據預設值(如種子的面積、長短軸)可排除小于特定面積的對象(如噪聲或非目標物體),篩選出符合預設條件的種子,如圖3所示。
3)輪廓擬合與軟件界面創建:首先,利用第2步得到種子輪廓,可以確定出最佳擬合的橢圓,確保能夠準確代表種子的形態。隨后找到橢圓中心點,即為種子的幾何中心。最后得到橢圓的長短軸數據,用于后續種子芽點位置和方向的計算。如圖4(a)所示,紅色曲線為種子輪廓邊界,綠色圖形區域為擬合的最佳橢圓。根據上述圖像處理過程,借助Visual Studio軟件編寫程序框架并設置軟件界面,如圖4(b)所示。
4)芽點計算原理:運用此方法的前提是在坐標系中已知種子中心點的位置,求出芽點的推導過程。芽點即種子的發芽位置,種子方向是指種子長軸沿芽點方向與水平或豎直方向之間的夾角。如圖5(a)中,種子長軸的一半為Ra,短軸的一半為Rb,中心點M的坐標為(X1,Y1),需要求出芽點N的坐標(X2,Y2),種子長軸與X軸的夾角為Phi。首先,通過前文提到的圖像處理和橢圓擬合步驟,已獲得種子區域內的精確幾何中心M的坐標。其次,利用長短軸可以得到長軸與X軸的夾角信息。基于這2項信息,運用三角函數原理計算芽點N的坐標。通過從區域中心M出發,沿著X軸夾角的方向,用正弦函數計算出芽點N相對于中心點M的垂直距離,再結合中心點M的到X軸的距離,可以得出芽點N在Y軸方向上的坐標Y2。類似地,用余弦函數計算出芽點N相對于中心點M的水平距離,用中心點M到Y軸的距離減去此距離,可以得到芽點N在X軸方向上的坐標X2,從而獲得種子芽點N坐標(X2,Y2),識別結果如圖5(b)所示。
2 試驗裝置及方法
2.1 試驗裝置
圖像采集裝置包括光源、工業相機、筆記本電腦和黑色背景板等,如圖6所示。相機型號為MV-CS200-10GC,相機與背景板相對安裝高度為25 cm,采集原始圖像大小為5 472像素×3 648像素,圖像為RGB-32位格式。白籽南瓜種子品種為京欣砧2號,將種子放置于黑色背景板上。經Visual Studio軟件轉換后得到8位灰度圖像,利用本文的圖像處理方法對白籽南瓜種子芽點方向進行判別,種子的長短軸能夠提供種子形態和大小的關鍵信息,而芽點角度可為定向播種提供依據。
2.2 試驗內容
試驗一:隨機選取白籽南瓜種子25粒進行基礎試驗,目的是確定芽點方向識別準確率。
試驗二:選取4組各25粒白籽南瓜種子驗證試驗一所確定的視覺方案是否有效。試驗過程為實時識別,首先完成相機標定,測量種子長短軸、面積和芽點角度等信息,以芽點朝向右向下45°為基準,角度方向順時針為正逆時針為負。為驗證視覺測試精度,利用游標卡尺測量種子的長短軸作為實際值進行比較。
試驗三:在試驗二基礎上,為進一步驗證該方法對種子芽點角度計算的準確性。在Halcon軟件中,首先,根據提取到的種子輪廓確定幾何中心點,然后,手動標出芽點位置,以二者連線與基準線的夾角作為實際值,并與芽點角度的實時測試值進行對比。
3 試驗結果及分析
3.1 芽點方向識別準確率
芽點方向識別準確率效果如圖7所示。圖中種子按照從上至下、從左至右進行排序標號。由圖7可知,25粒種子的芽點位置均被識別出來。試驗一處理結果如表1所示。
由表1可知,25粒白籽南瓜種子的圖中芽點方向與識別芽點方向完全一致,因此,芽點方向的識別準確率為100%,最大和最小灰度閾值平均值分別為245.4、100.52,種子面積的平均值為1 144.76。說明該方法可以有效計算芽點位置,且面積平均值可為后續試驗提供分級依據。
3.2 驗證試驗
規定種子長短軸和種子面積的閾值范圍進行提前分級,處理結果如圖8所示。4組測試結果如表2所示。
從圖8和表2中的結果可以得出,動態閾值差選取30,可以有效地識別出白籽南瓜種子芽點所在的方向。有一些種子未被識別,原因可能是光照強度不足,在預設圖像閾值附近的一些種子,均值濾波后種子與背景的灰度差小于30,導致相機無法抓取。而處于圖像中心的種子未被抓取,是因為種子的長軸和短軸過長或過短,在圖像識別過程中被自動過濾掉,所以也未被識別。
種子長軸和短軸的實際值與測試值分別為16.03 mm±1.07 mm、16.07 mm±1.23 mm和9.61 mm±0.58 mm、10.21 mm±0.63 mm,長短軸的測量誤差分別為0.04 mm、0.60 mm。由于相機垂直于背景拍攝會產生輕微的圖像畸變,在圖像中心的種子測量誤差較小,遠離圖像中心的種子測量誤差較大。另外,種子長軸的測量誤差較小,原因是種子的中心部位略微凸起,相機拍攝二維圖像時會略微擴大種子寬度。
芽點識別準確率如表3所示。4組試驗中芽點識別準確率的平均值為98.85%,其中,識別失敗數僅為1個,是由于該種子形態不規則導致輪廓擬合后芽點識別方向與實際相反,表明本文提出的識別方法可靠性較高。另外,未被識別數之和為13個,經過核驗這些種子的外形尺寸均大于或小于系統長短軸預設值,也體現了該方法的分級準確性。25粒白籽南瓜種子芽點識別平均耗時僅為0.092 s,識別速度能夠滿足定向播種作業要求。
3.3 芽點角度驗證
選取試驗二中的第4組圖像驗證芽點角度識別準確性,測試結果如表4所示。由表4可知,芽點角度最大偏差為-4.75°,最小偏差為0.06°,平均偏差為1.53°,數據結果穩定、測試準確,表明該方法可以準確測量芽點角度。
另外,在實時檢測中發現,種子的芽點位置有小部分出現略微向外或向內偏移。由于種子形態不規則,擬合橢圓包含種子輪廓的最多像素,導致計算出的芽點會略微偏離實際芽點位置,但不影響芽點角度的計算結果。
3.4 討論
陳同[15]提出根據種子邊界相同矩形像素寬度大小來判斷芽點的方法,測試的種子擺放角度偏差較小,并需要通過5個相機獲取單粒種子圖像。當矩形框寬度為10個像素時,芽點方向識別準確率為100%,但種子傾斜角度過大判斷誤差增加。另外,利用種子朝前或朝后的芽點方向,為調向排種機構的調向板正反轉提供依據,種子通過導向管沿長軸方向滑落進入穴孔,其定向效果不穩定,種子調向過程未利用芽點角度和種子重心位置等信息。
本文提出的視覺算法能夠實時識別多粒種子的中心坐標、芽點位置和角度等幾何特征,該系統僅需1個相機,對任意的種子朝向場景均適用,且系統受光照條件的影響較小,識別平均耗時僅0.092 s,芽點方向識別準確率為98.85%,芽點角度識別平均偏差為±1.53°,各項指標均優于文獻[15]。若將芽點方向的識別信息用于吸種執行機構進行精準調向作業,使被吸附的多粒種子芽點方向一致并直接放置于穴孔中心,有利于提高定向播種裝置的精準性和效率。
4 結論
1)提出一種基于機器視覺的白籽南瓜種子幾何特征識別方法,將圖像處理算法和三角函數相結合,計算過程簡單且準確率高,研究結果表明,基于形態學的幾何特征可以識別出白籽南瓜種子芽點角度,同時實現種子分級篩選,識別效果好且穩定。
2)通過對4組共100粒不同大小的白籽南瓜種子進行芽點識別測試,識別準確率達到98.85%,芽點角度平均偏差為±1.53°,且識別平均耗時僅0.092 s,可達到實時快速識別的技術要求。該視覺方案和識別方法可為定向播種裝置執行調向作業提供精準信息。
參 考 文 獻
[1] 左緒金. 我國設施蔬菜產業發展現狀及其未來發展路徑探析[J]. 現代農業研究, 2019(5): 47-48.
[2] 劉明池, 季延海, 武占會, 等. 我國蔬菜育苗產業現狀與發展趨勢[J]. 中國蔬菜, 2018(11): 1-7.
[3] Shan Chen, Kai Jiang,Wengang Zheng, et al. Adaptive precision cutting method for rootstock grafting of melons: Modeling, analysis and validation [J]. Computers and Electronics in Agriculture, 2024, 218, 108655.
[4] 姜凱, 張騫, 陳立平, 等. 砧木上苗定位機構吸附塊仿真設計與性能試驗[J]. 農業工程學報, 2020, 36(18): 73-80.
Jiang Kai, Zhang Qian,Chen Liping, et al. Simulation design and performance experiment of adsorption block in feeding and positioning mechanism for rootstock [J]. Transactions of the Chinese Society of Agricultural Engineering, 2020, 36(18): 73-80.
[5] 郭文騏, 張文毅, 祁兵, 等. 氣力式高速精量排種器研究現狀及展望[J].中國農機化學報, 2024, 45(3): 31-37.
Guo Wenqi, Zhang Wenyi, Qi Bing, et al. Research status and prospects of pneumatic high-speed precision seeder [J]. Journal of Chinese Agricultural Mechanization, 2024, 45(3): 31-37.
[6] 崔永杰, 王明輝. 農業領域自動定向技術研究進展分析[J]. 農業機械學報, 2023, 54(4): 1-20.
Cui Yongjie, Wang Minghui. Research progress analysis of auto-orientation technologies in agriculture [J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(4): 1-20.
[7] 姜凱, 陳立平, 張騫, 等. 蔬菜嫁接機器人柔性夾持搬運機構設計與試驗[J]. 農業機械學報, 2020, 51(S2): 63-71.
Jiang Kai, Chen Liping, Zhang Qian, et al. Design and experiment on flexible clamping and conveying mechanism of vegetable grafting robot [J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S2), 63-71.
[8] 段曉凡, 賴慶輝, 魯勁柏. 我國穴盤育苗播種機械的發展現狀[J]. 現代農業, 2016(7): 94-96.
[9] 楊洪輝, 顧春山, 張順. 我國蔬菜育苗現狀及發展趨勢探討[J]. 南方農業, 2019, 13(26): 19, 22.
[10] 陳菲, 張娜, 竇娜. 蔬菜穴盤工廠化育苗技術應用及發展[J]. 現代農業, 2021(2): 61-62.
[11] Koba Y K, Fujii M, Yamada H, et al. Development of aligning seeder for large and elliptical seeds (Part 1) [J].
Journal of the Japanese Society of Agricultural Machinery, 2005, 67(5): 109-116.
[12] 陳翊棟. 溫室園藝精密播種機的類型與分析[J]. 農業機械, 2007(2): 42-43.
[13] 楊艷麗, 辜松, 李愷, 等. 大粒種子定向精量播種裝置參數優化試驗[J]. 農業工程學報, 2013, 29(13): 15-22.
Yang Yanli, Gu Song, Li Kai, et al. Parameter optimization of directing precision seeder for large cucurbitaceous seeds [J]. Transactions of the Chinese Society of Agricultural Engineering, 2013, 29(13): 15-22.
[14] 王僑. 玉米種子的圖像精選定向定位方法及裝置研究[D]. 北京:中國農業大學, 2017.
Wang Qiao. Research on method and machine of selection and directional positioning of corn seed [D]. Beijing: China Agricultural University, 2017.
[15] 陳同. 大粒種子定向定位精量播種裝置關鍵技術的研究[D]. 咸陽: 西北農林科技大學, 2015.
Chen Tong. Key technologies of directing and positioning precision seeding device for large cucurbitaceous seeds [D]. Xianyang: Northwest A amp; F University, 2015.
[16] 羅昌志. 基于機器視覺的蒜種識別夾取試驗臺的設計與試驗[D]. 淄博: 山東理工大學, 2023.
Luo Changzhi. Design and testing of a machine vision-based garlic seed identification and clamping test bench [D]. Zibo: Shandong University of Technology, 2023.
[17] 李躍華, 馮啟高, 候志松, 等. 基于機器視覺的君遷子種子尖端特征識別方法研究[J]. 安徽農業科學, 2017, 45(10): 210-212.
Li Yuehua, Feng Qigao, Hou Zhisong, et al. Identification method of diospyros lotus seeds tip characteristics based on machine vision [J]. Journal of Anhui Agricultural Sciences, 2017, 45(10): 210-212.
[18] Bai J, Hao F, Cheng G, et al. Machine vision-based supplemental seeding device for plug seedling of sweet corn [J]. Computers and Electronics in Agriculture, 2021, 106345.
[19] Yan Z, Zhao Y, Luo W, et al. Machine vision-based tomato plug tray missed seeding detection and empty cell replanting [J]. Computers and Electronics in Agriculture, 2023, 107800.
[20] 馬旭, 袁志成, 王宇唯, 等. 基于機器視覺的育秧盤裂縫缺陷檢測方法研究[J]. 現代農業裝備, 2019, 40(1): 25-31.
Ma Xu, Yuan Zhicheng, Wang Yuwei, et al. Research on crack detection method of seedling tray based on machine vision [J]. Modern Agricultural Equipment, 2019, 40(1): 25-31.