基于YOLO v7-ST模型的小麥籽粒計數(shù)方法研究

王 玲 張 旗 馮天賜 王一博 李雨桐 陳 度

(1.中國農(nóng)業(yè)大學(xué)工學(xué)院, 北京 100083; 2.北大荒農(nóng)業(yè)服務(wù)集團(tuán)黑龍江農(nóng)機(jī)服務(wù)有限公司, 哈爾濱 150090)

0 引言

小麥?zhǔn)俏覈匾Z食作物之一,提高小麥產(chǎn)量和品質(zhì)對保障我國糧食安全具有重要意義。考種作為選育高產(chǎn)高質(zhì)小麥品種的重要手段,其效率和精度直接影響育種結(jié)果。小麥考種涉及植株和籽粒的多種性狀參數(shù),如千粒質(zhì)量、粒型、產(chǎn)量等,而籽粒個數(shù)計算是千粒質(zhì)量測量、產(chǎn)量預(yù)估等的基礎(chǔ)數(shù)據(jù)。因此,快速準(zhǔn)確的小麥高通量籽粒計數(shù)能加快考種效率,對提升小麥產(chǎn)量具有重要意義[1-3]。

然而,在復(fù)雜農(nóng)業(yè)生產(chǎn)環(huán)境下,小麥籽粒計數(shù)存在不同程度的重疊遮擋、密集粘連等問題,嚴(yán)重影響計數(shù)精度。近年來,機(jī)器視覺技術(shù)被廣泛應(yīng)用于農(nóng)作物品質(zhì)檢測、產(chǎn)量預(yù)估和籽粒計數(shù)的研究,基于此,研究人員提出了基于傳統(tǒng)數(shù)字圖像處理的籽粒計數(shù)方法[4-6]。VISEN等[7]使用分類和凹點(diǎn)檢測對遮擋籽粒進(jìn)行分割,通過確定慣性等效橢圓的重疊程度,將谷物表征為孤立的內(nèi)核或一組粘連的內(nèi)核,再通過凹點(diǎn)檢測法和最近鄰準(zhǔn)則繪制分割線。李立君等[8]提出基于凸殼理論的遮擋油茶果定位檢測算法,該算法通過顏色特征和凹點(diǎn)搜尋對重疊目標(biāo)進(jìn)行粗分割,再利用輪廓提取算法提取出了凸殼上的有效輪廓。相比于人工和傳感器的逐個檢測方法[9-11],數(shù)字圖像處理方法大大提高了檢測效率和計數(shù)精度,然而,該方法高度依賴圖像質(zhì)量和研究人員對目標(biāo)特征的分析,不同場景的泛化能力及魯棒性較差。

深度學(xué)習(xí)方法因其對抽象特征的強(qiáng)大學(xué)習(xí)能力,在目標(biāo)物遮擋、粘連情況下仍能夠通過關(guān)鍵特征有效識別目標(biāo)[12-14]。SUN等[15]針對重疊水稻種子計數(shù)提出了一種基于輪廓分組預(yù)標(biāo)記的深度學(xué)習(xí)目標(biāo)檢測方法,該方法以歐幾里得距離和散度函數(shù)作為綜合標(biāo)準(zhǔn)預(yù)先標(biāo)記水稻種子輪廓,并將預(yù)標(biāo)記結(jié)果整合到其特征提取層,通過Faster R-CNN進(jìn)行分類計數(shù),平均錯誤率1.06%。ZHAO等[16]開發(fā)了一種基于改進(jìn)的YOLO v5的小麥麥穗檢測方法,通過添加微尺度檢測層,利用置信度系數(shù)對多層特征圖中的檢測框進(jìn)行融合,以提高遮擋條件下的檢測精度,平均檢測準(zhǔn)確率94.1%。XU等[17]針對自然環(huán)境下柑橘的重疊、遮擋問題,將通道注意力機(jī)制和預(yù)測框篩選算法Soft DIoU NMS引入YOLO v4中,有效地提高了檢測精度。龍燕等[18]提出了一種改進(jìn)全卷積單階段無錨框網(wǎng)絡(luò)FCOS的蘋果目標(biāo)檢測方法,該網(wǎng)絡(luò)引入聯(lián)合交并比損失函數(shù),能更好反映預(yù)測框和真實(shí)框重合度,使網(wǎng)絡(luò)能夠關(guān)注到被果實(shí)和樹葉遮擋的極難識別的目標(biāo),并針對不同密集度和不同遮擋程度進(jìn)行對比試驗(yàn),結(jié)果表明改進(jìn)的FCOS準(zhǔn)確率可達(dá)96.0%。因此,深度學(xué)習(xí)方法應(yīng)用于多種農(nóng)作物重疊、遮擋檢測與識別的研究取得了一定效果[19-20],但相關(guān)研究多是針對目標(biāo)與復(fù)雜背景之間的遮擋問題,當(dāng)多個待檢測目標(biāo)相互遮擋且遮擋程度較高,僅顯現(xiàn)極小的局部特征時,相關(guān)研究的算法模型不能準(zhǔn)確從僅有的未被遮擋的局部特征中識別待檢測目標(biāo),從而將其與粘連的其他檢測目標(biāo)識別為同一目標(biāo),造成漏檢。

此外,目前基于深度學(xué)習(xí)的重疊遮擋的研究場景多是針對少量目標(biāo)的低通量檢測,然而,小麥?zhǔn)覂?nèi)考種具有高通量計數(shù)需求,大量籽粒存在不同程度的遮擋、粘連等問題,同時小麥籽粒目標(biāo)較小,遮擋目標(biāo)的識別難度大幅提高,相關(guān)研究中的算法模型無法滿足高通量小目標(biāo)快速準(zhǔn)確的計數(shù)需求。因此,本文基于Swin Transformer提出改進(jìn)YOLO v7-ST網(wǎng)絡(luò)模型,該模型利用移位窗口和多頭注意力機(jī)制可有效識別被遮擋籽粒與其粘連籽粒的關(guān)聯(lián)特征,并提高對遮擋目標(biāo)局部特征的識別能力。以此為基礎(chǔ),基于電磁振動原理設(shè)計小麥籽粒振動分離裝置,并引入二階離散系數(shù)對籽粒離散均勻度進(jìn)行試驗(yàn)研究,從而對不同程度遮擋、粘連的小麥籽粒進(jìn)行分級檢測,以期實(shí)現(xiàn)各級離散度下籽粒的準(zhǔn)確快速計數(shù)。

1 籽粒振動分離裝置設(shè)計

1.1 系統(tǒng)組成

小麥籽粒振動分離裝置如圖1所示,由工業(yè)相機(jī)、光源、電磁振動器、振動控制器、輸送平板、卸料斗、圖像采集處理單元和固定支架組成。相機(jī)采用華睿科技A7500CG20型彩色CMOS相機(jī),分辨率為500萬像素,搭配16 mm焦距鏡頭,采樣視野范圍為350 mm×200 mm。光源采用亮度強(qiáng)、光損失少、成像清晰、亮度均勻的同軸光源,為圖像采集裝置提供穩(wěn)定的光照環(huán)境。

圖1 小麥籽粒振動分離裝置Fig.1 Wheat seed vibration separation device1.支架 2.工業(yè)相機(jī) 3.光源 4.輸送平板 5.電磁振動器 6.圖像處理單元 7.卸料斗 8.振動控制器

由于散落在輸送平板上的小麥籽粒呈堆積狀態(tài),難以直接進(jìn)行圖像采集與處理,因此,基于電磁振動原理消除籽粒堆積現(xiàn)象,使籽粒離散分布于圖像采集范圍內(nèi),可提高考種測量精度。電磁振動器工作原理圖如圖2所示,電流在正半周期時,交流電流過電磁線圈產(chǎn)生電磁力吸附銜鐵,銜鐵帶動彈片產(chǎn)生形變存儲勢能;當(dāng)位于負(fù)半周期時,線圈內(nèi)沒有電流流過,電磁力消失,彈片釋放彈性勢能產(chǎn)生激振力,輸送平板在激振力的作用下向前運(yùn)動,其中β為振動方向角,取15°,α為輸送傾角。電流通過電磁線圈時所產(chǎn)生的激振力F[21-22]為

圖2 電磁振動器工作原理圖Fig.2 Diagram of working principle of electromagnetic vibrator1.小麥籽粒 2.輸送平板 3.彈簧片 4.銜鐵 5.電磁線圈

(1)

式中f0——振動頻率,Hz

H——振幅,mm

m——物料質(zhì)量,kg

ξ——激振頻率與固有頻率之比

隨電流的周期性變化,與輸送平板接觸的籽粒沿振動方向向前滑動一定距離,而堆積于表層的籽粒滑落至平板后才能向前滑移。當(dāng)振動器以一定頻率和振幅連續(xù)振動時,籽料被連續(xù)輸送出去。適當(dāng)?shù)募ふ窳τ欣谧蚜Ｆ椒€(wěn)前進(jìn),當(dāng)激振力較大時,籽粒前進(jìn)速度過快,表層和底層籽粒在激振力作用下同時快速前進(jìn),不能及時分離;而激振力過小時,籽粒分離所需時間過長。待籽粒堆積現(xiàn)象消除后進(jìn)行圖像采集與處理,進(jìn)而籽粒在電磁振動作用下從輸送平板末端滑出,完成卸料。

1.2 小麥籽粒離散度分級方法

1.2.1籽粒離散度影響因素分析

小麥籽粒在電磁振動過程中主要受激振力F、重力G和摩擦力Ff(圖3),籽粒在電磁振動作用下隨輸送平板運(yùn)動時,所受合力F′和運(yùn)動加速度a為

圖3 籽粒受力分析圖Fig.3 Force analysis diagram of seed

(2)

式中g(shù)——重力加速度,m/s2

μ——摩擦因數(shù)

由式(2)可知,籽粒的運(yùn)動加速度受振動頻率、振幅、輸送傾角和摩擦因數(shù)的影響,當(dāng)電磁振動器振動參數(shù)與輸送平板表面粗糙度不同時,籽粒在激振力、重力和摩擦力的共同作用下向前運(yùn)動,籽粒的分離效果即籽粒離散度不同。為探究小麥籽粒高通量計數(shù)需求中不同離散度下籽粒粘連和遮擋程度對籽粒計數(shù)準(zhǔn)確度的影響,以小麥籽粒離散度為評價目標(biāo),選擇振動頻率A、振幅B、摩擦因數(shù)C及輸送傾角D為試驗(yàn)因素,通過設(shè)計正交試驗(yàn)采集不同離散度的試驗(yàn)樣本。

電磁振動器振動過程中,當(dāng)激振頻率等于固有頻率時將發(fā)生共振,此時振幅達(dá)到最大值,但振動裝置工作不平穩(wěn)。為達(dá)到高效、穩(wěn)定的工作狀態(tài),應(yīng)使振動電機(jī)工作在亞共振區(qū),即激振頻率與固有頻率之比ξ為0.85～0.98[23]。試驗(yàn)中,采用SDVC31型數(shù)字調(diào)頻振動送料控制器進(jìn)行振動頻率調(diào)節(jié),通過固定控制器輸出電壓并調(diào)整激振頻率,發(fā)現(xiàn)當(dāng)激振頻率為73 Hz時,振幅最大,即振動器固有頻率為73 Hz,振動頻率f0為62.5～69.4 Hz。

引入機(jī)械指數(shù)K以計算籽粒振幅。

(3)

機(jī)械指數(shù)是用來衡量振動強(qiáng)弱的物理量,機(jī)械指數(shù)越大表明振動越劇烈,為使得物料穩(wěn)定輸送,并保證振動沖擊對槽體的損壞較小,通常K取2～5[23]。由式(3)計算可知,籽粒振幅為0.13～0.26 mm。

探究輸送平板摩擦因數(shù)對籽粒離散度的影響時,采用不同粗糙度的砂紙作為表面材料(所以摩擦因數(shù)以砂紙的粒度為度量,即單位為目),基于已有的研究分析和實(shí)際作業(yè)效果,砂紙分別選擇30、60、120、240目。此外,輸送平板傾角α為正值時,平板向下傾斜,籽粒運(yùn)動加速度增大,反之,籽粒運(yùn)動加速度減小;根據(jù)試驗(yàn)效果,平板傾角α為-3°～6°。每個因素選擇4個水平進(jìn)行試驗(yàn),試驗(yàn)因素和水平如表1所示[24-25]。

表1 正交試驗(yàn)因素水平Tab.1 Factors and levels of orthogonal test

將50 g小麥籽粒直接導(dǎo)入振動分離裝置,采用四因素四水平的L16正交試驗(yàn)方案進(jìn)行試驗(yàn),圖4為不同影響因素下小麥籽粒的離散分布情況,攝像頭采集的圖像尺寸為2 448像素×1 604像素。由圖4可知,受電磁振動作用高通量籽粒的堆積現(xiàn)象基本消除,籽粒平鋪于振動平板上。

圖4 基于正交試驗(yàn)方案的籽粒樣本離散度分布圖Fig.4 Dispersion distribution of seed samples based on orthogonal test scheme

1.2.2籽粒離散度評價方法

由圖4可知,受振動頻率、振幅、輸送傾角和摩擦因數(shù)的影響,籽粒的離散分布情況差異明顯,進(jìn)而產(chǎn)生不同程度的籽粒遮擋和粘連問題。評價數(shù)據(jù)離散度通常采用離散系數(shù),但在籽粒分布圖中,局部區(qū)域籽粒極度密集或極度稀疏,導(dǎo)致數(shù)據(jù)極差大,傳統(tǒng)離散系數(shù)無法反映籽粒分布的真實(shí)情況。二階離散系數(shù)對異常值的敏感度較低,受局部離散度的影響較小,因此,引入二階離散系數(shù)作為研究籽粒離散度的評價指標(biāo),計算式為[26]

(4)

式中cv——二階離散系數(shù)

σ——數(shù)據(jù)標(biāo)準(zhǔn)差

為計算原始圖像的二階離散系數(shù),需獲取二值圖中各局部區(qū)域目標(biāo)像素占比作為基礎(chǔ)數(shù)據(jù),因此,將對原始圖像進(jìn)行預(yù)處理。首先采用Laplace算子和銳化方法對原始圖像進(jìn)行組合增強(qiáng),增強(qiáng)后的圖像像素分布出現(xiàn)明顯分界線,如圖5所示,再通過自適應(yīng)閾值分割將圖像二值化。

圖5 圖像像素分布Fig.5 Image pixel distribution

由于光照強(qiáng)度、砂紙晶粒噪聲等因素影響,二值圖中存在較多尺寸不一的噪聲和孔洞,基于傳統(tǒng)十字形和矩形卷積操作的形態(tài)學(xué)處理方式難以同時消除噪聲和填充孔洞。因此,分別對灰度0像素和灰度255像素連通域面積進(jìn)行統(tǒng)計分析,通過面積閾值篩選出目標(biāo)噪聲和孔洞,采用四鄰域漫水填充算法分別對其進(jìn)行反向填充。為衡量籽粒分布特征,將處理后的二值圖裁剪為24個408像素×401像素的局部區(qū)域,通過統(tǒng)計各區(qū)域籽粒像素百分比作為基礎(chǔ)數(shù)據(jù),再計算該組數(shù)據(jù)的總體平均值和標(biāo)準(zhǔn)差,即可由式(4)得到原始圖像籽粒分布的二階離散系數(shù),圖像處理過程如圖6所示。

圖6 籽粒原始圖像預(yù)處理效果圖Fig.6 Pre-processing effect of original image of seeds

1.2.3籽粒離散度分級

二階離散系數(shù)是衡量一組數(shù)據(jù)離散度的相對統(tǒng)計量,其值越小,則數(shù)據(jù)的離散度越低,籽粒分布越均勻;反之?dāng)?shù)據(jù)離散度高,籽粒分布不均勻,遮擋與粘連現(xiàn)象明顯。基于籽粒離散度評價方法,對16組試驗(yàn)樣本進(jìn)行離散度系數(shù)計算,每組試驗(yàn)重復(fù)3次,取平均二階離散系數(shù)為試驗(yàn)結(jié)果,籽粒離散度評價如表2所示。結(jié)合圖4中各組試驗(yàn)樣本的籽粒離散分布情況,將籽粒離散度分為3個等級,其中,當(dāng)平均二階離散系數(shù)cv≤0.4時,離散度等級為“稀疏”,0.4

表2 正交試驗(yàn)結(jié)果Tab.2 Results of orthogonal test

2 小麥籽粒計數(shù)算法設(shè)計

2.1 數(shù)據(jù)集構(gòu)建

試驗(yàn)所用小麥籽粒于2021年6月在北京市小湯山鎮(zhèn)國家精準(zhǔn)農(nóng)業(yè)研究示范基地試驗(yàn)田獲得,千粒質(zhì)量為36 g,每次試驗(yàn)選取籽粒50 g,約1 400粒。基于籽粒振動分離裝置采集不同離散度圖像72幅,圖像分辨率為2 448像素×1 604像素,并使用LabelImg標(biāo)注軟件手工標(biāo)記小麥籽粒。為保證測試結(jié)果能夠真實(shí)反映模型泛化能力,均勻選取原始數(shù)據(jù)集中不同密度等級的32幅圖像作為測試集,剩下40幅作為訓(xùn)練集和驗(yàn)證集。由于原始圖像分辨率較高,難以滿足網(wǎng)絡(luò)輸入尺寸要求,因此,通常采用下采樣和裁剪兩種方式對原始圖像進(jìn)行處理。由于強(qiáng)制下采樣會降低圖像分辨率,導(dǎo)致圖像特征嚴(yán)重丟失,造成部分籽粒無法識別。因此,本文采用步長為543的重疊滑窗策略將原始訓(xùn)練集和驗(yàn)證集中的高分辨率圖像裁剪為640像素×640像素的低分辨率圖像,滿足模型輸入限制,并對重疊部分的預(yù)測結(jié)果進(jìn)行融合,以解決傳統(tǒng)裁剪方式因邊緣籽粒誤分割而引入的計數(shù)誤差。

為在原始圖像樣本量有限的情況下更好地提取圖像特征,本文采用光度失真和幾何失真對樣本量進(jìn)行擴(kuò)充,通過調(diào)整圖像色調(diào)及飽和度,添加隨機(jī)縮放、平移、剪切和旋轉(zhuǎn)等,將裁剪后小尺寸圖像擴(kuò)充至1 224幅。為進(jìn)一步提高模型的泛化能力,采用Mixup[27]和Mosaic[28]增強(qiáng)方法,通過從訓(xùn)練圖像中隨機(jī)選取2個樣本及其標(biāo)簽進(jìn)行加權(quán)求和以及使用4幅圖像分別覆蓋不同區(qū)域等方法,豐富數(shù)據(jù)集中圖像背景,增加數(shù)據(jù)的多樣性,防止樣本擴(kuò)充所產(chǎn)生的圖像特征相似度高而導(dǎo)致的模型過擬合,數(shù)據(jù)增強(qiáng)方法的實(shí)際效果如圖7所示。

圖7 不同數(shù)據(jù)增強(qiáng)方法實(shí)際效果圖Fig.7 Actual effect of different data enhancement methods

2.2 YOLO v7-ST網(wǎng)絡(luò)模型

YOLO v7[29]算法是基于深度神經(jīng)網(wǎng)絡(luò)進(jìn)行對象的識別與定位,通過引入高效聚合網(wǎng)絡(luò)等多個學(xué)習(xí)策略提高模型學(xué)習(xí)能力,并大幅提高檢測速度。而小麥籽粒計數(shù)任務(wù)中,當(dāng)籽粒粘連嚴(yán)重甚至形成遮擋時,會嚴(yán)重影響卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果,因此,為提高模型對不同離散度下籽粒計數(shù)任務(wù)的檢測精度,本文以YOLO v7作為基線,引入Swin Transformer[30]模塊,提出了YOLO v7-ST模型,模型網(wǎng)絡(luò)結(jié)構(gòu)如圖8所示。

圖8 YOLO v7-ST網(wǎng)絡(luò)結(jié)構(gòu)框圖Fig.8 YOLO v7-ST network structure

YOLO v7在主干網(wǎng)絡(luò)中采用的多分支堆疊模塊E-ELAN可利用分組卷積來擴(kuò)展計算模塊的通道和基數(shù),實(shí)現(xiàn)在不改變原有梯度路徑的情況下堆疊更多模塊,增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)能力。頸部沿用特征金字塔結(jié)構(gòu)對多特征進(jìn)行融合,頭部網(wǎng)絡(luò)中使用重參數(shù)化卷積RepConv,在訓(xùn)練過程中并聯(lián)3×3卷積、1×1卷積和恒等映射,為不同的特征映射提供了更多的梯度多樣性。同時添加輔助檢測頭,計算網(wǎng)絡(luò)中間層損失值以監(jiān)督梯度下降方向,最后將輔助頭和檢測頭的結(jié)果進(jìn)行融合,可有效提高模型性能。

然而,在本文“密集”分布等級下,存在較多因重疊遮擋而產(chǎn)生的小目標(biāo)籽粒。對于這種高度密集情況下的小目標(biāo)檢測場景,經(jīng)過主干和頸部網(wǎng)絡(luò)提取到的特征信息中包含大量干擾信息,由傳統(tǒng)卷積模塊進(jìn)行的權(quán)重分配會導(dǎo)致小目標(biāo)特征被視為冗余信息而丟失,因此考慮在檢測頭中添加Swin Transformer模塊以更好地整合從特征融合網(wǎng)絡(luò)中輸出的特征信息。

Swin Transformer block首先通過Patch Embedding對輸入圖像進(jìn)行切塊編碼,經(jīng)歸一化后送入帶移動窗口的多頭注意力機(jī)制層,再經(jīng)Concat、LayerNorm以及多層感知機(jī)MLP后輸出特征圖。根據(jù)本文檢測類別數(shù)使用1×1卷積對特征圖通道數(shù)進(jìn)行調(diào)整,得到[20,20,18]、[40,40,18]和[80,80,18]3個輸出結(jié)果,其中18代表3個先驗(yàn)框的6個參數(shù),分別包括每個特征點(diǎn)的回歸參數(shù)[x,y,w,h],用于調(diào)整獲得預(yù)測框位置,以及每個特征點(diǎn)是否包含目標(biāo)和所包含的目標(biāo)種類。

表3 各離散度等級計數(shù)結(jié)果評價Tab.3 Evaluation of counting results of each dispersion level

相較于傳統(tǒng)的自注意力機(jī)制在對當(dāng)前位置信息進(jìn)行編碼時過度關(guān)注自身位置的缺陷,Swin Transformer的多頭注意力機(jī)制不僅可以幫助模型獨(dú)立地關(guān)注不同的特征子空間,還可通過窗口的移位操作加強(qiáng)局部信息之間的聯(lián)系,捕獲豐富的上下文信息。在公開數(shù)據(jù)集VisDrone2021中,Swin Transformer模塊在高密度遮擋對象上的識別準(zhǔn)確率提高了30%～50%[31],這也更加證實(shí)了其對遮擋對象的檢測能力。

2.3 模型訓(xùn)練及后處理

本文模型訓(xùn)練通過NVIDIA RTX3080 GPU加速,顯存10 GB,采用Python 3.8及PyTorch 1.7.0完成程序設(shè)計,梯度下降采用Adam優(yōu)化器。為加快模型擬合速度,通過遷移學(xué)習(xí)加載已在ImageNet數(shù)據(jù)集[32]中訓(xùn)練完成的主干網(wǎng)絡(luò)權(quán)重參數(shù),且采用凍結(jié)訓(xùn)練方式將主干網(wǎng)絡(luò)凍結(jié),只訓(xùn)練頭部網(wǎng)絡(luò),初始學(xué)習(xí)率為0.001,經(jīng)過50次(Epoch)訓(xùn)練后解凍,共訓(xùn)練110次。凍結(jié)訓(xùn)練時占用顯存較小,設(shè)置Batch Size為8,解凍后設(shè)置Batch Size為4。采用余弦退火策略[33]對學(xué)習(xí)進(jìn)行動態(tài)調(diào)整,訓(xùn)練損失值變化曲線如圖9所示,模型隨迭代次數(shù)增加逐步收斂,在80輪訓(xùn)練后達(dá)到穩(wěn)定,將此時的訓(xùn)練結(jié)果作為最終權(quán)重參數(shù)。

圖9 訓(xùn)練損失變化曲線Fig.9 Training loss variation curves

YOLO v7-ST網(wǎng)絡(luò)模型輸入圖像是經(jīng)過重疊滑窗裁剪過后的640像素×640像素的小尺寸圖像,需將小尺寸圖像的預(yù)測結(jié)果拼接成原始圖像尺寸。由于圖像拼接的重疊部分存在多個預(yù)測框,如圖10a所示,因此,采用非極大抑制算法(NMS)和Soft-NMS算法[34]對重疊預(yù)測框進(jìn)行篩選。如圖10b所示,最右側(cè)籽粒與中間籽粒緊密貼合造成遮擋,兩者交并比較大,采用NMS算法導(dǎo)致置信度較低的右側(cè)籽粒預(yù)測框被“抑制”,僅留下置信度較高的中間籽粒預(yù)測框。而Soft-NMS算法基于交并比的高斯衰減函數(shù)降低重疊框的置信度,衰減函數(shù)公式為

圖10 后處理效果對比Fig.10 Post-processing effect comparisons

(5)

式中i——樣本索引

Si——置信度分?jǐn)?shù)

bi——第i個預(yù)測框

S′i——衰減后的置信度分?jǐn)?shù)

M——置信度最大的預(yù)測框

IoU()——交并比,兩預(yù)測框重疊面積與兩預(yù)測框并集面積之比

由式(5)可知,與預(yù)測框M重疊度越高,即交并比越大的預(yù)測框,其置信度衰減越大。重復(fù)上述過程更新所有預(yù)測框置信度,并設(shè)定置信度閾值,刪除小于該閾值的預(yù)測框,其篩選結(jié)果如圖10c所示,Soft-NMS算法有效保留了置信度0.55的右側(cè)預(yù)測框。

3 結(jié)果與分析

為量化分析網(wǎng)絡(luò)模型性能,采用平均計數(shù)準(zhǔn)確率(Mean counting accuracy,MCA)、精確率(Precisoin,P)、召回率(Recall,R)、F1值和平均計數(shù)時間(Mean counting time,MCT)作為評價指標(biāo)。其中,平均計數(shù)準(zhǔn)確率表示模型預(yù)測籽粒數(shù)與實(shí)際籽粒數(shù)的比值,用于表征計數(shù)結(jié)果的準(zhǔn)確性;精確率反映模型的查準(zhǔn)能力;召回率反映模型的查全能力;F1值是評價精確率和召回率的綜合指標(biāo);平均計數(shù)時間即單幅圖像的檢測時間。

3.1 預(yù)測結(jié)果分析

采用本文構(gòu)建的YOLO v7-ST模型對不同離散度等級的32幅測試集圖像進(jìn)行預(yù)測,單幅圖像籽粒個數(shù)約1 400粒,不同離散度等級下籽粒分布情況如圖11所示。采用預(yù)測框的紅色中心點(diǎn)對籽粒進(jìn)行標(biāo)記,由表3可知,YOLO v7-ST模型在各離散度等級下的平均計數(shù)準(zhǔn)確率平均值為99.16%,F1值平均值為93%,平均計數(shù)時間的平均值為1.19 s,其中籽粒離散度等級處于“稀疏”時,計數(shù)準(zhǔn)確率為99.93%;當(dāng)籽粒處于“中等密集”等級時,籽粒粘連程度增加,計數(shù)準(zhǔn)確率達(dá)99.80%,表明模型對嚴(yán)重粘連籽粒有較好的識別效果;當(dāng)籽粒處于“密集”等級時,計數(shù)準(zhǔn)確率下降2.06個百分點(diǎn),且精確率普遍高于召回率,說明模型具有更強(qiáng)的查準(zhǔn)能力,查全能力稍弱,因此模型計數(shù)準(zhǔn)確率下降的主要原因在于遮擋程度增加造成的漏檢,但計數(shù)準(zhǔn)確率仍可達(dá)到97.74%,模型綜合評價指標(biāo)F1值均在90%以上。檢測速度方面,由于模型采用重疊滑窗將單幅圖像裁剪15次,即需檢測15次,當(dāng)籽粒分布密集度高時,部分小尺寸圖像中不存在籽粒,即模型跳過該區(qū)域的檢測,因此單幅圖像檢測時間和籽粒離散度呈負(fù)相關(guān);單幅圖像模型平均計數(shù)時間為1.19 s,能夠滿足高通量快速準(zhǔn)確檢測的需求。

圖11 各離散度等級計數(shù)效果Fig.11 Counting effects of each dispersion level

為驗(yàn)證Soft-NMS對拼接后的預(yù)測框進(jìn)行后處理的有效性,在表3中增加了YOLO v7-ST模型不進(jìn)行后處理的對照組試驗(yàn)結(jié)果。結(jié)果表明,不進(jìn)行后處理時模型的計數(shù)準(zhǔn)確率大幅下降,3個離散度等級下的平均MCA僅有38.74%,下降了60.42個百分點(diǎn)。精確率同樣下降明顯,但召回率有明顯提升,平均召回率95.37%,提升5.28個百分點(diǎn),這是因?yàn)槲催M(jìn)行后處理的模型保留了拼接后的所有預(yù)測框,因此模型查全能力更強(qiáng),但其中包含大量裁剪處被誤分割的“破損籽粒”檢測出的低置信度預(yù)測框,導(dǎo)致模型查準(zhǔn)能力較差,即精確率低,而添加Soft-NMS可以保留“破損籽粒”完整部分預(yù)測出的高置信度預(yù)測框,并剔除僅靠破損部分識別出的低置信度預(yù)測框。經(jīng)后處理的YOLO v7-ST模型計數(shù)準(zhǔn)確率和F1值大幅提升,充分證明了Soft-NMS后處理的重要性。

3.2 不同網(wǎng)絡(luò)模型預(yù)測結(jié)果對比

為驗(yàn)證本文網(wǎng)絡(luò)模型的檢測效果,在相同測試集下,分別與目標(biāo)檢測領(lǐng)域的主流模型YOLO v7、YOLO v5、Faster R-CNN進(jìn)行對比,結(jié)果如表4所示。

表4 不同模型檢測結(jié)果對比Tab.4 Comparison of detection results for different models

在檢測準(zhǔn)確率方面,籽粒離散度等級為“稀疏”時,YOLO系列模型均有極高的識別準(zhǔn)確率,準(zhǔn)確率達(dá)到99.90%,Faster R-CNN準(zhǔn)確率較低,僅有96.30%;當(dāng)籽粒離散度等級為“中等密集”時,各模型平均計數(shù)準(zhǔn)確率相較“稀疏”等級,YOLO v7-ST、YOLO v7、YOLO v5和Faster R-CNN分別下滑0.13、0.91、1.13、9.17個百分點(diǎn),F1值分別下降1、2、3、7個百分點(diǎn),由于YOLO v7、YOLO v5和Faster R-CNN模型缺少注意力機(jī)制對特征的高效提取,易將多個粘連籽粒識別為同一籽粒而造成漏檢,因此YOLO v7-ST模型對于粘連籽粒的檢測效果更優(yōu);當(dāng)籽粒離散度等級為“密集”時,籽粒之間產(chǎn)生嚴(yán)重遮擋,各模型均存在不同程度的漏檢,平均計數(shù)準(zhǔn)確率分別為97.74%、95.39%、91.80%和67.73%,F1值分別為90%、86%、82%和62%,相較于另外3種模型,YOLO v7-ST模型的檢測準(zhǔn)確率分別提高2.35、5.94、30.01個百分點(diǎn),F1值分別提高4、8、28個百分點(diǎn),可見Swin Transformer檢測頭可有效提高遮擋目標(biāo)的檢測效果。檢測時間方面,以YOLO v7為基線的模型檢測速度更快,由于YOLO v7-ST增加了模型復(fù)雜度,但Swin Transformer基于局部移位窗口方法有效降低了參數(shù)量,檢測時間與YOLO v7檢測時間相近。

3.3 不同注意力機(jī)制預(yù)測結(jié)果對比

為驗(yàn)證本文網(wǎng)絡(luò)模型注意力機(jī)制的優(yōu)越性,在相同測試集下,比較了Swin Transformer與通道注意力機(jī)制SENet、雙重注意力機(jī)制CBAM、自注意力機(jī)制Self Attention的效果差異,結(jié)果如表5所示。

表5 不同注意力機(jī)制檢測結(jié)果對比Tab.5 Comparison of detection results for different attention algorithms

對比幾種注意力機(jī)制的檢測結(jié)果可知,基于自注意力機(jī)制的網(wǎng)絡(luò)模型在“密集”等級下的檢測精度更好,這是由于自注意力機(jī)制依賴于目標(biāo)之間的相似度,盡管被遮擋的目標(biāo)存在一定的特征丟失,但可以通過周圍的籽粒特征近似表達(dá)被遮擋籽粒,具有較強(qiáng)的可解釋性。而SENet和CBAM依賴于通道或空間上的特征重要性,通過卷積的權(quán)重學(xué)習(xí)調(diào)整特征的強(qiáng)弱,缺少相互之間的聯(lián)系。此外,對比Self Attention和Swin Transformer的多頭注意力機(jī)制,其本質(zhì)都是通過非線性變換將輸入映射在新的空間中,而本文的多頭注意力可以將輸入映射在6個子空間,再通過特征聚合捕捉所有空間特征信息,信息更豐富,效果更好。

圖12為“稀疏”、“中等密集”和“密集”3種籽粒離散度等級下模型檢測結(jié)果熱力圖,由圖12可知,Faster R-CNN模型識別效果最差,由于其僅關(guān)注籽粒中心局部特征,對大部分籽粒輪廓識別不完整,且在圖中黃色圓圈標(biāo)注位置,存在大量密集堆積籽粒的漏檢情況。YOLO v5模型對籽粒識別注意力范圍較廣,對于密集籽粒注意力低,導(dǎo)致該模型在不同離散度等級下的識別泛化性能弱。YOLO v7模型對圖像背景和目標(biāo)的區(qū)分度更高,識別效果明顯優(yōu)于YOLO v5;相較于YOLO v7,YOLO v7-ST的Swin Transformer檢測頭對全局特征以及被遮擋目標(biāo)具有更強(qiáng)的檢測能力,如圖中紅色圓圈標(biāo)注位置,該部分熱力圖顏色更深,表明YOLO v7-ST更能關(guān)注到邊緣籽粒和遮擋籽粒等檢測難點(diǎn),在4種模型中有最高的識別準(zhǔn)確率。

圖12 不同模型檢測結(jié)果熱力圖Fig.12 Heat map of test results for different models

4 結(jié)論

(1)基于電磁振動原理設(shè)計了小麥籽粒振動分離裝置,通過籽粒受力分析,研究了振動頻率、振幅、輸送傾角和摩擦因數(shù)對籽粒離散程度的影響,并基于多因素正交試驗(yàn)方案建立了不同籽粒離散度的試驗(yàn)樣本集。引入二階離散系數(shù)評價方法,結(jié)合圖像處理結(jié)果和籽粒分布特征將籽粒離散度劃分為“稀疏”、“中等密集”和“密集”等級。

(2)提出了一種YOLO v7-ST網(wǎng)絡(luò)模型的高通量小麥籽粒計數(shù)方法,并對不同離散度等級試驗(yàn)樣本進(jìn)行了測試,試驗(yàn)結(jié)果表明,YOLO v7-ST模型對“稀疏”、“中等密集”和“密集”籽粒的平均計數(shù)準(zhǔn)確率分別為99.93%、99.80%和97.74%,總平均值為99.16%;模型綜合評價指標(biāo)F1值分別為95%、94%和90%,總平均值為93%;平均計數(shù)時間分別為1.23、1.19、1.15 s,總平均值為1.19 s,模型檢測精度和效率能滿足小麥?zhǔn)覂?nèi)考種的檢測需求。

(3)為驗(yàn)證本文模型的優(yōu)越性,與常用的目標(biāo)檢測模型以及其他注意力機(jī)制算法進(jìn)行了對比。籽粒“稀疏”等級時,本文模型的MCA與YOLO v7和YOLO v5結(jié)果相近,相比Faster R-CNN提高3.63個百分點(diǎn);“中等密集”等級時,本文模型的MCA相較于YOLO v7、YOLO v5和Faster R-CNN分別提高0.76、1.03、12.67個百分點(diǎn),隨籽粒離散度等級為“密集”時,MCA進(jìn)一步提高2.35、5.94、30.01個百分點(diǎn),此外,本文模型的F1值分別提高4、8、28個百分點(diǎn)。由此可見,隨離散度等級變化,YOLO v7-ST模型的檢測精度更高,針對不同離散度等級的泛化能力更強(qiáng)。YOLO v7結(jié)合不同的注意力機(jī)制時,Swin Transformer的多頭注意力機(jī)制也比其他通道注意力、空間注意力和自注意力的檢測準(zhǔn)確率更高。本文模型的MCT與YOLO v7相近,比YOLO v5和Faster R-CNN模型快0.4 s左右。