基于DeepLabV3+網絡的機收大豆破碎率在線檢測方法*

劉士坤，金誠謙，陳滿，楊騰祥，徐金山

(1. 農業農村部南京農業機械化研究所,南京市,210014; 2. 安徽農業大學工學院,合肥市,230036)

0 引言

在大豆聯合收獲機作業過程中,機器參數的設置直接影響聯合收獲機作業質量。滾筒轉速、脫離段脫離間隙、前進速度設置不當會提高機收大豆破碎含量[1-3]。現階段,國內聯合收獲機作業過程中大豆破碎含量主要由機手停機后憑借肉眼觀察和經驗,該方法誤判率高、效率低。因此,在聯合收獲機作業過程中在線檢測大豆破碎含量,有助于駕駛員及時調整機器參數[4-6],提高聯合收獲機作業質量。

目前,國內對于谷物籽粒識別技術研究多以理論分析和臺架試驗為主[7-13]。劉爽等[14]提出利用高光譜成像系統結合機器學習提出了一種用于對大量小麥赤霉病籽粒樣本快速可視化識別的算法可快速、準確對染病小麥進行識別;趙志衡等[15]針對完好花生、表皮破碎花生和果仁破損花生提出基于卷積神經網絡的花生籽粒完整性識別算法,準確率達到98.18%;陳進等[16]利用基于閾值的圖像分割方法,根據水稻完整籽粒、破碎籽粒、雜質不同顏色和面積特征進行快速準確識別分類。

為了實現聯合收獲機作業過程中大豆破碎含量在線檢測,本文提出基于DeepLabV3+網絡的機收大豆破碎率在線檢測方法,設計大豆圖像在線采集裝置,對聯合收獲機出糧口流出的大豆進行采集、拍攝圖像,研究基于DeepLabV3+網絡的大豆破碎籽粒識別與分割。

1 大豆圖像在線采集裝置

大豆圖像在線采集裝置由圖像采集模塊和大豆采樣模塊組成。大豆采樣模塊主要由直流舵機、撥桿、擋板、采樣槽等組成;圖像采集模塊主要由工業相機、LED光源組成,如圖1所示。

筆記本電腦通過控制總線給直流舵機發送控制指令,驅動直流舵機動作帶動擋板回縮,大豆采樣槽釋放大豆,延時100 ms,控制直流舵機動作帶動撥桿拖動擋板,擋板伸出,大豆采樣槽填裝大豆,延時100 ms;當采樣槽里大豆處于靜態,筆記本電腦通過控制總線發送拍照指令給工業相機,控制工業相機采集大豆樣本圖像,將拍攝圖像保存在文件夾內。

2 大豆籽粒檢測算法

2.1 數據集制作

大豆樣本圖像采集工作于2021年10月18日使用上述裝置在山東省濟寧市任城區后劉村大豆試驗田完成,采集大豆樣本圖像一共103張,圖像大小為1 280 像素×1 024像素。本文主要對大豆樣本圖像中完整籽粒、破碎籽粒進行研究。破碎籽粒為由聯合收獲機收獲造成裂瓣和壓扁的籽粒,霉變大豆和自然破皮大豆算作完整籽粒,如圖2所示。

(a) 樣本圖像

(b) 完整籽粒

(c) 破碎籽粒

大豆樣本圖像中分為破碎籽粒、完整籽粒、背景三類。手工標記出圖像中完整籽粒、破碎籽粒的邊界,并對包括背景在內三種分類進行標記著色。完整籽粒RGB值為[128,128,128],破碎籽粒RGB值為[64,64,64],背景RGB值為[0,0,0],得到手工標記圖,如圖3所示,圖3是圖2(a)樣本圖像的手工標記圖。采集的圖像中100張用作訓練數據集,3張用作測試集。將訓練數據集中圖像進行加黑邊裁剪處理,一張分辨率為1 280像素×1 024像素的原始圖像裁剪成六張分辨率為512像素×512像素的圖像,共得到600張圖像,以9:1的比例隨機分為訓練集和驗證集,其中540張作為訓練集,60張作為驗證集。

圖3 樣本圖像手工標記圖

2.2 改進DeepLabV3+網絡結構

DeepLabV3+[17]是谷歌開發的一種用于語義分割典型網絡框架,由編碼(Enconder)模塊和解碼(Deconder)模塊組成。編碼模塊網絡結構與DeepLabV3網絡結構相同,利用Xception網絡對輸入圖像進行特征提取,之后利用并行的不同空洞率的空洞卷積和池化將圖像特征進行融合,在不損失信息的情況下,加大感受野。解碼模塊采用類似于Unet網絡結構的上采樣部分,融合Xception網絡輸出的底層特征和編碼模塊輸出高層特征再進行雙線性插值上采樣將圖像恢復至原圖分辨率,完成圖像語義分割。DeepLabV3+網絡結構如圖4所示。

圖4 DeepLabV3+網絡結構圖

本文以輕量級卷積網絡MobileNetV2替代編碼器部分中Xception網絡作為主干特征提取網絡,其核心事深度可分離卷積模塊,減少了模型的參數量,提高了網絡收斂速度,MobileNetV2網絡結構中倒殘差結構使網絡訓練速度和提取精度更高。在此網絡結構中,反向殘差結構先運用1×1卷積進行升維,在采用3×3深度可分離卷積進行過濾并提取有效特征,最后使用1×1卷積進行降維;ReLu6激活函數替代ReLu激活函數避免當輸出通道數較少產生嚴重信息損耗。MobileNetV2網絡結構如圖5所示。

圖5 MobileNetV2網絡結構圖

2.3 網絡訓練

本文訓練數據集共600張,其中訓練集540 張,驗證集60張。使用基于交叉熵函數作為訓練集損失函數,計算公式如式(1)所示。

(1)

式中:loss——多分類交叉熵損失;

n——樣本數量;

x——預測向量維度;

y——此像素點的真實值;

a——此像素點預測的概率值。

采用Dice系數差異函數作為驗證集損失函數,計算公式如式(2)所示。

(2)

式中:Diceloss——Dice系數差異;

A——預測結果;

B——真實結果。

網絡訓練運行環境如表1所示,在該環境下構建網絡、訓練和預測。設置初始學習率為0.000 1,迭代次數100次。網絡訓練完成后,訓練損失為0.111 6,驗證損失為0.266 5,訓練損失和驗證損失曲線圖如圖6所示。

表1 網絡訓練環境表Tab. 1 Network training environment table

圖6 訓練損失和驗證損失曲線

2.4 圖像預測

首先在分辨率為1 280像素×1 024像素輸入圖像的右邊添加一個分辨率為256像素×1 024像素的黑邊,之后將圖像裁剪成6張分辨率為512像素×512像素的圖像;然后裁剪后的6張圖像輸入到訓練好的DeepLabV3+網絡模型進行預測;最后再將預測后的6張圖像進行拼接去黑邊得到輸入圖像的預測結果。裁剪拼接的預測原理如圖7所示。

圖7 裁剪拼接的預測原理

2.5 預測效果評估

隨機從測試集抽取一張大豆樣本圖像采用裁剪拼接的方式進行預測,預測結果如圖8所示。與手工標注圖相比,整張預測存在明顯漏判、誤判;裁剪預測的效果明顯較好。

(a) 原圖

(b) 手工標注圖

(c) 整張預測圖

(d) 裁剪預測圖

本文采用的圖像分割評價指標是精確率P、召回率R、綜合評價指標F1。

(3)

(4)

(5)

式中:TP——將正確分類像素點預測為正確分類像素點;

FP——將錯誤分類像素點預測為正確分類像素點;

FN——將正確分類像素點預測為錯誤分類像素點。

分別統計出分割結果中破碎籽粒、完整籽粒的精確率、召回率、綜合評價指標F1,如表2所示。

表2 分割結果評估Tab. 2 Evaluation of segmentation results

由表2可知,與文獻[18]相比,本文提出的基于DeepLabV3+網絡裁剪預測的圖像預測處理時間節省4.580 62 s,完整籽粒的綜合評價指標提高7.16%,破碎籽粒的綜合評價指標提高6.7%;與整張預測相比,本文提出的裁剪預測分割效果明顯較好,完整籽粒的綜合評價指標提高25.98%,破碎籽粒的綜合評價指標提高54.17%,但圖像預測處理時間增加0.063 2 s,這主要是因為增加裁剪和拼接操作產生一定的耗時。

3 試驗與分析

3.1 破碎率量化模型

現有的大豆聯合收獲機作業質量檢測方法中破碎率計算是通過籽粒的質量計算不適用基于圖像識別的破碎率計算。根據現有的計算方法,制定了基于圖像識別的破碎率量化模型,計算公式如式(6)所示。

(6)

式中:Ps——破碎率%;

Tw——預測圖像中完整籽粒像素點數;

Ts——預測圖像中破碎籽粒像素點數。

3.2 試驗材料與試驗地點

試驗地點為農業農村部南京農業機械化研究所東區,試驗時間為2021年11月25日,本次試驗所用大豆品種為齊黃34,大豆籽粒平均含水率為11.9%,千粒籽重為235.8 g。

試驗臺架由糧箱、出料斗、刮板升運器、電機、攪龍和大豆采樣裝置組成,如圖9所示。試驗時,采樣裝置安裝于出料斗下方,啟動電機,大豆循環從出料斗出來,落入采樣裝置內。

圖9 臺架試驗

3.3 試驗方法

3.3.1 試驗設計

將試驗大豆分為三份,分別進行三組臺架試驗。每組臺架試驗,使用大豆破碎率在線檢測方法檢測40次,記錄檢測結果并計算平均值。參照NY/T 738—2020《大豆聯合收獲機作業質量》將每份大豆分成四部分人工檢測出每部分大豆的破碎率并計算平均值。

3.3.2 試驗步驟

將采樣裝置安裝在試驗臺架出料斗下方,連接好設備并調試;取一份試驗大豆倒入試驗臺架糧倉內;啟動電機,開始自動檢測,及時保存試驗數據;檢測40次后關閉電機,清理出糧倉內大豆;分別取剩下兩份試驗大豆重復試驗。

3.4 試驗結果分析

隨機從臺架試驗中采集的圖像中選取一張圖像,使用標注軟件對圖像進行手工標注,如圖10所示。將手工標注圖與預測圖驗證得破碎籽粒的精確率為85.41%、召回率為84.24%、綜合評價指標F1為84.22%;完整籽粒的精確率為94.49%、召回率為94.33%、綜合評級指標F1為94.41%。

(a) 原圖

(b) 手工標注圖

(c) 預測圖

采用大豆破碎率在線檢測方法檢測破碎率最大值為5.72%,最小值為0.11%,均值為3.21%;人工檢測破碎率最大值為3.16%,最小值為2.63%,均值為2.89%。試驗數據表明,相比于人工檢測,采用大豆破碎率在線檢測方法檢測得到的破碎率均較大,破碎率平均值相對誤差為0.36%,由此可見本文提出的檢測方法能夠成為大豆聯合收獲機破碎率在線檢測的有效手段。

4 結論

1) 為了在大豆聯合收獲機作業時可以實時獲取收獲的大豆破碎含量,對機收大豆破碎率在線檢測方法進行了研究。提出一種利用大豆圖像采樣裝置結合基于DeepLabV3+語義分割模型的機收大豆破碎率在線檢測方法。

2) 大豆圖像在線采集裝置通過控制直流舵機帶動撥桿拖動擋板實現大豆的動態采樣,利用該裝置在聯合收獲機作業時采集大豆樣本圖像,通過手工標注和圖像裁剪建立訓練集和測試集,選擇基于DeepLabV3+深度學習網絡對訓練集圖像進行訓練,建立預測分割模型分割出大豆破碎籽粒、完整籽粒,計算各分類像素數并建立破碎率量化模型計算破碎率。從測試集中隨機選取一張大豆樣本圖像,采用綜合評價評價指標評估預測分割效果,結果顯示,完整籽粒綜合評價指標為93.92%,破碎綜合評價指標為89.49%。

3) 采用本文提出的機收大豆破碎率在線檢測方法進行臺架試驗,試驗結果表明:采用本文提出大豆破碎率在線檢測方法檢測結果平均值與人工檢測結果平均值相對誤差0.36%。

4) 本文提出的基于DeepLabV3+網絡的機收大豆破碎率在線檢測方法能夠快速準確分割大都圖像中破碎籽粒和完整籽粒并計算破碎率,為大豆聯合收獲機作業質量在線檢測提供參考。