基于圖像處理的番茄重量預(yù)測(cè)

何婷婷 李志偉 張 馨 張鐘莉莉 肖雪朋 董 靜

目前，中國(guó)番茄的質(zhì)量分級(jí)以人工分級(jí)為主，存在主觀性過(guò)強(qiáng)、效率低和易碰損等問(wèn)題[1]。機(jī)器視覺(jué)技術(shù)的發(fā)展為無(wú)接觸獲取物體質(zhì)量估算提供了新途徑。王業(yè)琴[2]使用閾值分割與形態(tài)學(xué)方法分割出鴨蛋前景圖像，然后統(tǒng)計(jì)分割后鴨蛋圖像的像素點(diǎn)，建立鴨蛋投影面積與質(zhì)量的多項(xiàng)式質(zhì)量擬合模型，證明物體重量與其投影面積關(guān)系密切。郝敏[3]、孔彥龍等[4]和王紅軍等[5]采集了多角度的馬鈴薯圖像，分別提取投影面積與周長(zhǎng)作為參數(shù)建立線(xiàn)性回歸模型，實(shí)現(xiàn)了對(duì)馬鈴薯質(zhì)量的準(zhǔn)確預(yù)測(cè)；Huynh等[6]以胡蘿卜和黃瓜為對(duì)象，捕捉其頂視圖計(jì)算投影面積與長(zhǎng)、短軸進(jìn)行質(zhì)量預(yù)測(cè)，準(zhǔn)確率分別為95%和96.7%；張展碩等[7]采集了娃娃菜不同側(cè)面圖像，提取娃娃菜側(cè)面投影面積并建立了側(cè)面投影面積與重量真實(shí)值間的線(xiàn)性關(guān)系，可以較準(zhǔn)確地預(yù)測(cè)娃娃菜的重量。利用果蔬的投影區(qū)域面積和周長(zhǎng)建立的重量檢測(cè)模型可以相對(duì)準(zhǔn)確地檢測(cè)果蔬質(zhì)量，基本滿(mǎn)足生產(chǎn)檢測(cè)的要求。但多角度的果蔬投影圖會(huì)發(fā)生形變，潛在增加了質(zhì)量估計(jì)誤差[8]。因此需要提取其他與重量相關(guān)性更高的形狀特征以提高重量預(yù)測(cè)的精度。Ashtiani等[9]和Demir等[10]提取物體長(zhǎng)度、寬度、厚度、算術(shù)平均直徑、投影面積、形狀指數(shù)和長(zhǎng)寬比等多個(gè)物理特征，分別使用多元線(xiàn)性回歸(MLR)模型和神經(jīng)網(wǎng)絡(luò)模型對(duì)杏仁和核桃進(jìn)行無(wú)損質(zhì)量估計(jì)，結(jié)果表明，以物理特征為開(kāi)發(fā)參數(shù)的徑向基神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以準(zhǔn)確地估計(jì)質(zhì)量。

目前關(guān)于重量預(yù)測(cè)的研究主要以形狀規(guī)則且軸對(duì)稱(chēng)的果蔬為對(duì)象，如馬鈴薯、蘋(píng)果、芒果等。而番茄果實(shí)類(lèi)型多，不同品種果實(shí)內(nèi)部結(jié)構(gòu)(心室數(shù)和果肉百分比)差異顯著[11]，表面易發(fā)生鏡面反射，不易于提取特征等特點(diǎn)。何微等[12]建立了番茄果重與其水平投影面積、周長(zhǎng)、等效直徑的多元線(xiàn)性回歸模型，模型預(yù)測(cè)的單果最大相對(duì)誤差為1.91%。Susovan等[13]分別采集了番茄、馬鈴薯、柑橘3種果蔬的非規(guī)則形狀下的單視圖，將單視圖拆分為兩個(gè)單獨(dú)形狀并分別提取其邊界輪廓進(jìn)行多項(xiàng)式擬合計(jì)算體積，建立了體積與質(zhì)量的線(xiàn)性模型。Lee等[14]使用DCNN實(shí)現(xiàn)對(duì)多目標(biāo)番茄的語(yǔ)義分割，并測(cè)量番茄的橫、縱徑建立了質(zhì)量預(yù)測(cè)絕對(duì)百分比誤差為7.09的回歸模型。單視圖得到的面積、周長(zhǎng)、體積無(wú)法準(zhǔn)確反映番茄的實(shí)際形狀，使用DCNN模型語(yǔ)義分割的訓(xùn)練需要花費(fèi)大量的時(shí)間且訓(xùn)練樣本需求量大，為了解決這些問(wèn)題，研究擬提出一種基于圖像處理的番茄重量預(yù)測(cè)方法，搭建圖像采集平臺(tái)獲取番茄多視角的二維圖像，提取番茄投影面積、周長(zhǎng)、橫徑、縱徑、最小外接圓半徑與最大內(nèi)接圓半徑等幾何特征，建立番茄重量預(yù)測(cè)模型，以期實(shí)現(xiàn)番茄重量的實(shí)時(shí)、快速、無(wú)損檢測(cè)。

1 材料與方法

機(jī)器視覺(jué)技術(shù)進(jìn)行番茄重量檢測(cè)的工作流程如圖1所示。

圖1 番茄重量檢測(cè)系統(tǒng)流程Figure 1 Flow chart of tomato weight detection system

1.1 材料準(zhǔn)備

1.1.1 樣本收集 試驗(yàn)所用番茄樣本來(lái)自北京市大興區(qū)宏福農(nóng)業(yè)科技有限公司的連棟溫室內(nèi)，品種為Cappricia，中型果。成熟度對(duì)番茄果重有一定影響[15]，因此試驗(yàn)選擇了成熟度接近的70個(gè)番茄(50個(gè)番茄用于建模，20個(gè)用于驗(yàn)證)進(jìn)行圖像采集與單果重測(cè)量。所有番茄圖像在同一條件下拍攝，每個(gè)番茄均拍攝6張圖像(正、反面各一張，角度間隔90°的側(cè)面圖像4張)，共采集到480張番茄圖像(300張圖像作為測(cè)試集，180張作為驗(yàn)證集)。

1.1.2 成像裝置與圖像采集 番茄圖像采集裝置如圖2所示。采集設(shè)備由一個(gè)500萬(wàn)像素、分辨率為2 592×1 944 的大恒MER-500-14U3-L彩色相機(jī)和一個(gè)焦距為12 mm的OPT-C1214-2M定焦鏡頭組成，相機(jī)數(shù)據(jù)接口方式為USB 3.0，工作電壓+5 V。最后，采集到的番茄圖像通過(guò)USB 3.0數(shù)據(jù)線(xiàn)傳輸至計(jì)算機(jī)中以“.jpg”格式保存。該裝置采集到的番茄圖像如圖3所示。

1.2 圖像處理

圖像處理流程與每個(gè)處理步驟生成的圖像如圖4所示。由于LED燈板安裝在攝影棚頂部，側(cè)面相機(jī)拍攝的番茄圖像的底部較暗，特征不明顯且圖像噪聲較多[圖4(a)]，使用伽馬變換增強(qiáng)圖像對(duì)比度[圖4(b)]；使用中值濾波算法降低圖像的噪聲，結(jié)果如圖4(c)。將預(yù)處理后的番茄RBG圖像轉(zhuǎn)換到Lab顏色空間[圖4(d)]；分離L、a、b通道，提取a通道圖像進(jìn)行OSTU閾值分割[圖4(e)]；閾值分割后的圖像在形態(tài)濾波中進(jìn)行開(kāi)運(yùn)算操作，除去背景中的孤立的封閉區(qū)域和邊界干擾，形態(tài)學(xué)處理后的圖像顯示在圖4(f)中；在光照條件下，番茄表面出現(xiàn)的小面積高亮區(qū)域被誤分割為背景，為了解決這個(gè)問(wèn)題，使用泛洪填充算法填充圖像內(nèi)部的空洞[圖4(g)]；最后，通過(guò)原始圖像與圖4(g)的按位與操作，得到從背景中分離的番茄果實(shí)[圖4(h)]。

1. 背景框架 2. 光源 3. 相機(jī)支架 4. 相機(jī)與鏡頭 5. 番茄樣本 6. 計(jì)算機(jī)圖2 圖像采集裝置Figure 2 Image acquisition device

圖3 不同位置相機(jī)拍攝的番茄圖像Figure 3 Tomato images taken by cameras at different positions

圖4 圖像處理流程Figure 4 Image processing flow

1.3 果形特征提取

表1列出了試驗(yàn)提取的特征參數(shù)以及各參數(shù)的提取方法，表中所有特征均基于番茄二值圖像提取。此前，使用機(jī)器視覺(jué)技術(shù)進(jìn)行質(zhì)量預(yù)測(cè)的研究已經(jīng)證明，僅利用單一角度的物體投影面積與周長(zhǎng)建立的質(zhì)量預(yù)測(cè)模型，其預(yù)測(cè)結(jié)果誤差較大，多角度的多元預(yù)測(cè)模型能夠更準(zhǔn)確地測(cè)量物體的質(zhì)量[16-17]。因此，分別計(jì)算了番茄俯拍圖像的投影面積和周長(zhǎng)與任意兩張拍攝角度相差90°的側(cè)拍圖像的投影面積和周長(zhǎng)。而最小外接圓半徑(Rmin)與最大內(nèi)接圓半徑(Rmax)是在番茄正面圖像的基礎(chǔ)上得到的。最終從番茄正面圖像提取了投影面積(A1)、周長(zhǎng)(C1)、最小外接圓半徑(Rmin)與最大內(nèi)接圓半徑(Rmax)4個(gè)特征；從番茄側(cè)視圖中提取了番茄側(cè)面投影面積(A2、A3)、周長(zhǎng)(C2、C3)以及橫徑(W)、縱徑(H)特征。

番茄側(cè)面輪廓的最小外接矩形寬和高設(shè)為番茄的橫徑(W)與縱徑(H)。該方法測(cè)得的番茄橫、縱徑的單位為像素，而非實(shí)際的長(zhǎng)度(mm)單位，需要使用圖像標(biāo)定方法將像素單位轉(zhuǎn)換為長(zhǎng)度(mm)單位。試驗(yàn)選擇2015年的一元錢(qián)硬幣作為圖像標(biāo)定的參考物體，其直徑為25 mm。在測(cè)量番茄橫、縱徑時(shí)，每張番茄圖像都需要進(jìn)行圖像標(biāo)定，因此將硬幣圖片人為混合在番茄圖片上(圖5)，硬幣圖像與番茄圖像均在同一條件下獲得。圖5中的虛線(xiàn)框?yàn)榉训淖钚⊥饨泳匦危匦蔚拈L(zhǎng)、寬即為待測(cè)番茄的縱徑與橫徑，經(jīng)標(biāo)定轉(zhuǎn)換后得到圖中番茄的實(shí)際橫徑長(zhǎng)度為 74.766 mm，實(shí)際縱徑長(zhǎng)度為 58.411 mm。測(cè)量番茄橫、縱徑時(shí)，側(cè)方相機(jī)拍攝的4張番茄圖像均被使用，取4次測(cè)量值的平均值作為最終測(cè)量結(jié)果。

表1 特征參數(shù)及其提取方法Table 1 Characteristic parameters and their extraction methods

為了驗(yàn)證最小外接矩形法對(duì)番茄橫、縱徑檢測(cè)結(jié)果的準(zhǔn)確性，使用精度為0.02 mm的游標(biāo)卡尺測(cè)量番茄果實(shí)最寬處的尺寸作為橫徑；游標(biāo)卡尺平行于果軸(果臍與果蒂的連線(xiàn))時(shí)，測(cè)量番茄上部輪廓邊緣與下部輪廓邊緣的距離作為縱徑。每個(gè)樣本在不同角度下測(cè)量3次，取3次測(cè)量值的平均值作為番茄的實(shí)際橫徑和縱徑。

朱曉林等[18]的研究證明了果形指數(shù)與番茄單果質(zhì)量的相關(guān)系數(shù)達(dá)到極顯著相關(guān)水平；劉忠超等[19]提取蘋(píng)果的橫、縱徑，建立了果徑平均值與蘋(píng)果重量預(yù)測(cè)的回歸模型，因此果形指數(shù)和果徑平均值可以作為番茄單果質(zhì)量篩選的評(píng)價(jià)指標(biāo)。

圖5 橫、縱徑測(cè)量結(jié)果Figure 5 Measurement results of transverse and longitudinal diameters

1.4 建立預(yù)測(cè)模型

使用機(jī)器視覺(jué)技術(shù)預(yù)測(cè)番茄重量，首先需要明確番茄果重與特征參數(shù)的相關(guān)關(guān)系。對(duì)特征與番茄重量進(jìn)行相關(guān)性分析，皮爾遜相關(guān)系數(shù)的大小即代表相關(guān)性強(qiáng)弱。試驗(yàn)分別對(duì)番茄正面圖像和側(cè)面圖像進(jìn)行了特征提取操作，根據(jù)模型輸入?yún)?shù)的所屬圖像角度不同，分別建立了正面特征模型(M1)、側(cè)面特征模型(M2)以及正面和側(cè)面特征的組合模型(M3)3種重量預(yù)測(cè)模型。

1.5 工作平臺(tái)

試驗(yàn)工作平臺(tái)由計(jì)算機(jī)硬件和開(kāi)發(fā)平臺(tái)兩部分組成。計(jì)算機(jī)配置為英特爾酷睿 i5-11400H CPU處理器，內(nèi)存為16.0 GB，RTX 3050顯卡。開(kāi)發(fā)平臺(tái)為Windows 11(64位)操作系統(tǒng)， 圖像處理與特征提取過(guò)程基于OpenCV 3.4.2.16開(kāi)源軟件庫(kù)實(shí)現(xiàn)，編程語(yǔ)言為 Python。提取的特征數(shù)據(jù)和質(zhì)量數(shù)據(jù)在SPSS 26 中進(jìn)行統(tǒng)計(jì)分析，最后利用SPSS軟件中的回歸分析功能獲得質(zhì)量預(yù)測(cè)的回歸模型。

2 結(jié)果與分析

2.1 果形參數(shù)

表2為計(jì)算機(jī)測(cè)量的番茄橫、縱徑與人工測(cè)量的數(shù)據(jù)。表2結(jié)果顯示，計(jì)算機(jī)測(cè)量的橫徑、縱徑的平均絕對(duì)誤差分別為0.760 mm和0.888 mm，且橫、縱徑的測(cè)量值與真實(shí)值的絕對(duì)誤差的標(biāo)準(zhǔn)差均小于0.5 mm，誤差在可接受范圍內(nèi)，表明機(jī)器視覺(jué)測(cè)量橫、縱徑的方法能夠較為準(zhǔn)確地反應(yīng)出番茄的實(shí)際特征，而個(gè)別番茄的橫徑與縱徑測(cè)量誤差較大(相對(duì)誤差為2.750%)可能是由于個(gè)別番茄果實(shí)畸形較嚴(yán)重。

2.2 特征與質(zhì)量的相關(guān)分析

由圖6可知，除果形指數(shù)外，其他特征參數(shù)與實(shí)測(cè)重量(m)基本呈線(xiàn)性相關(guān)，且從正面圖像中提取的投影面積(A1)與輪廓周長(zhǎng)(C1)特征與重量的線(xiàn)性相關(guān)性強(qiáng)；在相關(guān)性熱力圖中，果形指數(shù)與果重沒(méi)有表現(xiàn)出明顯的相關(guān)關(guān)系，出現(xiàn)這種情況的原因是試驗(yàn)在測(cè)量番茄橫、縱徑時(shí)分別對(duì)其4個(gè)角度的側(cè)面圖像進(jìn)行測(cè)量，以它們的平均值計(jì)算果形指數(shù)，這種計(jì)算果形指數(shù)的方法考慮了番茄的整體形狀，在果形畸形情況較嚴(yán)重時(shí)，果形指數(shù)計(jì)算值與其實(shí)際值差異較大，導(dǎo)致最終分析得到果形指數(shù)與番茄果重沒(méi)有線(xiàn)性關(guān)系的結(jié)論。此外，4個(gè)正面特征相互之間的相關(guān)性很高，相關(guān)系數(shù)在0.95以上，即存在很強(qiáng)的多重共線(xiàn)性。在進(jìn)行模型構(gòu)建時(shí)同時(shí)使用這4個(gè)參數(shù)可能會(huì)導(dǎo)致過(guò)擬合。由圖6可知，番茄正面特征與質(zhì)量之間的相關(guān)性達(dá)到極顯著水平，相關(guān)系數(shù)大于0.90；側(cè)面特征與質(zhì)量顯著相關(guān)，但相關(guān)性比正面特征低。線(xiàn)性相關(guān)性由強(qiáng)到弱排列為：正面圖像投影面積(0.954)>正面圖像周長(zhǎng)(0.943)=最大內(nèi)接圓半徑(0.943)>最小外接圓半徑(0.937)>角度1的側(cè)面圖像投影面積(0.857)>番茄橫徑(0.854)>角度1的側(cè)面圖像周長(zhǎng)(0.850)>角度2的側(cè)面圖像投影面積(0.802)>(橫徑+縱徑)/2(0.79)>角度2的側(cè)面圖像周長(zhǎng)(0.785)>番茄縱徑(0.602)>縱徑/橫徑(-0.19)。最后選擇與果重相關(guān)系數(shù)高于0.85的特征作為開(kāi)發(fā)參數(shù)進(jìn)行建模。

表2 計(jì)算機(jī)測(cè)量的番茄橫、縱徑與人工測(cè)量的數(shù)據(jù)Table 2 Transverse and longitudinal diameter of tomato measured by computer and manual measurement data

圖6 特征相關(guān)性熱力圖Figure 6 Characteristic correlation thermodynamic diagram

2.3 模型性能評(píng)估

根據(jù)特征與質(zhì)量的相關(guān)性分析結(jié)果，最終確定了用于建模的參數(shù)為正面圖像投影面積與周長(zhǎng)、最小外接圓半徑、最大內(nèi)接圓半徑、角度1的側(cè)面圖像投影面積與周長(zhǎng)、番茄橫徑。M1中包括一元線(xiàn)性回歸模型M11、M12、M13、M14(分別以正面投影面積、周長(zhǎng)、最小外接圓半徑、最大內(nèi)接圓半徑為輸入)和二元線(xiàn)性回歸模型M15、M16、M17(輸入?yún)?shù)分別為正面投影面積與周長(zhǎng)、最小外接圓半徑、最大內(nèi)接圓半徑的組合)。M2、M3中均為多元線(xiàn)性模型。

通過(guò)回歸分析得到各模型的相關(guān)系數(shù)結(jié)果見(jiàn)表3。與所有其他模型相比，M2模型的預(yù)測(cè)準(zhǔn)確度最低(平均回歸系數(shù)為0.802)。在M1中，輸入中含投影面積的二元線(xiàn)性回歸模型的回歸系數(shù)(R2>0.910)均大于其對(duì)應(yīng)輸入的一元線(xiàn)性回歸模型。M2中，側(cè)面周長(zhǎng)與番茄橫徑的組合輸入得到了最高的回歸系數(shù)(0.853)，表明番茄橫徑更能反映番茄側(cè)面的信息。最后，在M3所有模型中，正面周長(zhǎng)—側(cè)面周長(zhǎng)與正面周長(zhǎng)—橫徑建立的模型得到了最低的回歸系數(shù)，分別為0.889和0.893；其他模型的輸入?yún)?shù)中均包括正面投影面積，回歸系數(shù)在0.910以上；M37和M38的模型回歸系數(shù)相等，即在以混合特征建立模型時(shí)側(cè)面周長(zhǎng)對(duì)模型性能的影響極小，可忽略不計(jì)。最終以番茄正面投影面積與周長(zhǎng)、側(cè)面投影面積和番茄橫徑為參數(shù)的多元線(xiàn)性回歸模型獲得最高的準(zhǔn)確性(R2=0.962)。

表3 模型性能評(píng)價(jià)表Table 3 Model performance evaluation

為了驗(yàn)證模型在實(shí)際測(cè)量中的準(zhǔn)確性，使用所有模型對(duì)驗(yàn)證集中的20個(gè)番茄進(jìn)行重量預(yù)測(cè)。圖7為模型測(cè)量誤差箱型圖。由圖7可知，M2中的模型的測(cè)量相對(duì)誤差與絕對(duì)誤差值波動(dòng)范圍較大，對(duì)形狀正常的番茄測(cè)量結(jié)果較準(zhǔn)確(絕對(duì)誤差小于10 g)；對(duì)于果形有缺陷的番茄測(cè)量誤差較大(圖中異常值)，且隨著果形缺陷程度的增大，模型測(cè)量誤差越大(最大絕對(duì)誤差為108.702 g)。M1中的模型測(cè)量準(zhǔn)確率有所提升(平均絕對(duì)誤差低于15 g，平均相對(duì)誤差控制在9%以?xún)?nèi))，但仍然存在對(duì)畸形番茄測(cè)量誤差較大的情況(最大絕對(duì)誤差為33.511 g)。M1與M3模型的測(cè)量平均相對(duì)誤差值相近，但在不同果形情況下，M3的測(cè)量適用性更好。隨著輸入?yún)?shù)中投影面積角度個(gè)數(shù)的增加，預(yù)測(cè)模型的準(zhǔn)確度逐漸提高。以番茄正面投影面積與周長(zhǎng)、一個(gè)角度的側(cè)面投影面積和番茄橫徑為輸入的多元線(xiàn)性回歸模型在驗(yàn)證集上表現(xiàn)出最高的測(cè)量準(zhǔn)確性(平均絕對(duì)誤差為3.892 g，平均相對(duì)誤差為2.356%)，有效降低了多角度番茄投影面積發(fā)生形變和番茄形狀畸形引起的質(zhì)量預(yù)測(cè)誤差。

圖7 模型預(yù)測(cè)誤差箱型圖Figure 7 Box diagram of model prediction error

3 結(jié)論

基于機(jī)器視覺(jué)技術(shù)，提出了一種基于圖像處理的番茄質(zhì)量預(yù)測(cè)方法，能夠?qū)崿F(xiàn)番茄重量的準(zhǔn)確測(cè)量。通過(guò)圖像處理，提取番茄的幾何特征參數(shù)，分別使用正面特征、側(cè)面特征和正面與側(cè)面特征的組合建立一元線(xiàn)性與多元線(xiàn)性回歸模型對(duì)番茄果重進(jìn)行預(yù)測(cè)。以番茄正面投影面積與周長(zhǎng)、一個(gè)角度的側(cè)面投影面積和番茄橫徑為輸入建立的多元線(xiàn)性回歸模型的精度最高，模型相關(guān)系數(shù)為0.962，模型預(yù)測(cè)的重量與實(shí)測(cè)重量的相對(duì)誤差均值為2.356%，絕對(duì)誤差均值為3.892 g。試驗(yàn)結(jié)果表明，對(duì)于番茄等類(lèi)球形或軸對(duì)稱(chēng)形狀的果蔬來(lái)說(shuō)，僅依靠其俯視角度與單個(gè)側(cè)視角度的幾何特征如投影面積、周長(zhǎng)、橫徑等就可以實(shí)現(xiàn)較準(zhǔn)確的質(zhì)量預(yù)測(cè)，而不需要過(guò)多角度的投影面積、周長(zhǎng)等幾何特征。

以果蔬的二維圖像為基礎(chǔ)的質(zhì)量預(yù)測(cè)方法具有較好的泛化性，在一定程度上降低了質(zhì)量預(yù)測(cè)模型對(duì)物體本身密度或材料的依賴(lài)，適用于番茄、蘋(píng)果等類(lèi)球形和軸對(duì)稱(chēng)形狀的果蔬的質(zhì)量預(yù)測(cè)。后續(xù)研究應(yīng)該使用該方法對(duì)其他具有類(lèi)似特征的果蔬進(jìn)行驗(yàn)證。