基于U-Net模型的含雜水稻籽粒圖像分割

陳 進，韓夢娜，練 毅，張 帥

基于U-Net模型的含雜水稻籽粒圖像分割

陳 進，韓夢娜，練 毅，張 帥

（江蘇大學機械工程學院，鎮江 212013）

含雜率是水稻聯合收獲機的重要收獲性能指標之一，作業過程中收獲籽粒摻雜的雜質包含作物的枝梗和莖稈等，為了探索籽粒含雜率和機器作業參數之間的關聯，需要實時獲取籽粒含雜率數據。該文基于機器視覺的U-Net模型對聯合收獲機水稻收獲籽粒圖像進行分割，針對傳統分割算法中存在運算量大、耗時多、圖像過分割嚴重和分割參數依賴人為經驗難以應對各種復雜谷物圖像等問題，采用深度學習模型多次訓練學習各分割類別的像素級圖像特征，提出基于U-Net深度學習模型的收獲水稻籽粒圖像中谷物、枝梗和莖稈的分割方法，采用改進的U-Net網絡增加網絡深度并加入Batch Normalization層，在小數據集上獲得更豐富的語義信息，解決圖像訓練數據匱乏和訓練過擬合問題。選取田間試驗采集的50張收獲水稻籽粒圖像，采用Labelme方式進行標注和增強數據，裁剪1 000張256像素×256像素小樣本，其中700張作為訓練集，300張作為驗證集，建立基于改進U-Net網絡的收獲水稻籽粒圖像分割模型。采用綜合評價指標衡量模型的分割準確度，對隨機選取的60張8位RGB圖像進行驗證。試驗結果證明，水稻籽粒的分割綜合評價指標值為99.42%，枝梗的分割綜合評價指標值為88.56%，莖稈的分割綜合評價指標值為86.84%。本文提出的基于U-Net模型的收獲水稻籽粒圖像分割算法能夠有效分割水稻籽粒圖像中出現的谷物、枝梗和莖稈，時性更強、準確度更高，可為后續收獲水稻籽粒圖像的進一步識別處理提供技術支撐，為水稻聯合收獲機含雜率實時監測系統設計提供算法參考。

圖像處理；水稻；雜質；U-Net網絡模型

0 引 言

在水稻聯合收獲機實際工作過程中，機器作業參數的選取會直接影響收獲的水稻純度，具體地，當風機轉速過慢、分風板角度不當等情況下，收獲的水稻籽粒含有枝梗和莖稈等雜質，會導致收獲品質降低[1]，給農民帶來直接的經濟損失。在聯合收獲機工作過程中，實時監測糧箱中收獲的雜質含量，并傳送到駕駛室進行顯示，有助于駕駛員及時調整機器的工作參數，從而提升聯合收獲機作業質量，減少經濟損失。國內已有研究提出了采用機器視覺對圖像進行分割，主要是基于室內試驗的理想狀態，水稻籽粒和雜質都是分開放置的，沒有重疊粘連的情況，不能反映田間作業的真實情況。陳璇[1]采用分水嶺算法和BP神經網絡分割識別雜質和破碎籽粒，分水嶺算法會導致圖像過分割嚴重，使用BP神經網絡算法進行圖像處理的運算量較大，處理速度慢，難以滿足實時性的要求；陳進等[2]采用MSRCR算法增強圖像，并通過顏色區分莖稈、枝梗和破碎籽粒，再通過形態學處理得到最終分割結果，遇到雜質與籽粒顏色相近的情況，該方法易造成雜質誤識別為籽粒，人為設置形態學參數泛化能力弱，易造成分類識別錯誤。

近年來，深度學習被廣泛地應用到各個領域，基于深度學習的分割算法在圖像處理領域取得了卓越的效果。其中，FCN（Fully Convolutional Networks）是一種用于語義分割的全卷積神經網絡，由Long等[3]在2015提出，可以對任意大小的圖像進行像素級分割，但FCN與圖像語義信息聯系不緊密，部分細節信息容易丟失。鑒于此，Ronneberger等[4]提出了適用于小訓練集的網絡模型U-Net，使用全卷積網絡代替全連接層，可輸入任意尺寸的圖像，輸出也是圖像，實現了端到端的網絡結構。U-Net呈“U”字型，左邊的收縮路徑輸入分辨率比較高的特征圖復制疊加到右邊的擴展路徑對應的采樣特征圖上，保留高分辨率與抽象特征的語義信息[5]，該網絡模型廣泛應用于生物血管圖像[6-8]、肝臟圖像[9-10]、橋梁裂縫圖像[11-12]和地理信息圖像[13]等的分割，能夠將圖像細節分割出來，特別是對小數據集的處理表現出色，其效果優于傳統分割方法[14-15]。

聯合收獲機作業時在線監測含雜率有助于駕駛員及時調整聯合收獲機作業參數。獲取雜質含量的傳統方法有收獲后停機，人手動分離或通過篩分將谷物籽粒和雜質分離，然后再算出含雜率，這些方法不能在聯合收獲機作業時獲取含雜率，駕駛員或聯合收獲機自動控制系統無法及時調整作業參數。周期性實時采集收獲過程中的谷物圖像，通過圖像分割技術得到谷物圖像雜質含量，再由質量像素數學模型得到含雜率。已有的圖像分割算法存在過分割嚴重、分割參數依賴人為經驗、需要圖像集大等問題，本文采用深度學習模型多次訓練學習各分割類別的像素級圖像特征，提出基于原始U-Net網絡增加深度, 在小數據集上獲得豐富的語義信息，并加入Batch Normalization層解決因網絡模型深度增加帶來的訓練過擬合問題，運用模型訓練得到的顏色和形態特征等語義信息進行預測分割，提高谷物和雜質的圖像分割準確度，為駕駛員或聯合收獲機作業參數自動控制系統提供調控依據。

1 圖像來源與分割

1.1 圖像采集系統

圖像采集系統主要包括密閉取像室、LED光源、工業相機、采樣盒、嵌入式處理器和顯示屏等，如圖1所示。

圖1 圖像采集系統組成及實物圖

采樣盒朝向工業相機鏡頭一側用透明亞克力板密封形成視窗，工業相機和LED光源封裝在采樣裝置內。田間試驗時，采樣裝置安裝在聯合收獲機出糧口下方（圖1c）。聯合收獲機正常作業時，谷物從出糧口高速噴出，在重力作用下落入采樣內，擋板受電磁鐵推拉控制移動，電磁鐵控制信號由嵌入式控制器給出，電磁鐵不通電時，擋板擋住采樣盒底部，谷物收集滿后，相機與谷物相對靜止，嵌入式控制器控制工業相機抓拍谷物靜止圖像，拍攝到的圖像由嵌入式處理器后臺進行分割，處理結果通過CAN通訊傳輸到駕駛室上位機并在顯示屏顯示。圖像處理結束后，嵌入式控制器給出電磁鐵通電信號，電磁鐵帶動擋板從采樣盒下方移開，谷物全部釋放，再進行下一個采樣周期[17]。水稻聯合收獲機正常作業時喂入量一般不低于4 kg/s[16]，在每個采樣周期內采樣盒可以被完全填滿，與聯合收獲機的作業速度無直接關聯[17]。選用的嵌入式處理器采用NVIDIA Pascal?構架，配置Pytorch深度學習環境，部署訓練好的深度學習模型在線處理，可在田間環境持續工作。

1.2 圖像來源

圖像采集自2018年10月江蘇省海門市三和鎮水稻試驗田的收獲過程，將圖像采樣裝置安裝在雷沃十公斤機型聯合收獲機輸糧裝置的出糧口下方。工業彩色相機通過GigE接口與嵌入式控制器相連，嵌入式處理器Linux系統調用相機SDK動態庫，得到RGB 8位數字圖像并處理，程序設定保存圖像格式為.png。采集到的圖像包含水稻籽粒、枝梗和莖稈，如圖2所示。

圖2 采集到的圖像及分割對象

從田間收獲試驗采集的圖像中隨機選取50張，圖像格式為.png，原圖為1 600像素×1 200像素，直接分割耗時長，因此重新調整圖像尺寸為800像素×600像素。先使用圖像標記工具Labelme手工標記水稻籽粒、枝梗和莖稈邊界，并對包括背景在內的4類識別對象進行標記著色，得到手工標記圖。水稻籽粒RGB值為[128,128,128]，枝梗RGB值為[0,128,0]，莖稈RGB值為[128,0,0]，背景RGB值為[0,0,0]。經過圖像增強，將800像素×600像素的原始圖像和真實值隨機裁剪成256像素×256像素，共得到1 000張圖像，其中700張作為訓練集，300張作為驗證集。圖像增強可以提升網絡模型的魯棒性，數據增強方法包括數據旋轉、翻轉、隨機加噪聲、拉伸、濾波等[18-19]。原始圖像的手工標記結果即真實值如圖3所示。

圖3 原始圖像的手工標記結果

1.3 圖像分割

采集到的圖像中籽粒、枝梗和莖稈粘連嚴重，各種目標堆疊在一起，語義信息復雜，需要獲得各分割對象更為細致的圖像特征。本文提出在原始U-Net網絡模型基礎上加深網絡深度，同時為避免深層網絡結構帶來的訓練過擬合問題，引入Batch Normalization層。將田間試驗獲得的收獲水稻籽粒圖像按籽粒、枝梗、莖稈和背景手工標記得到訓練數據集。經過訓練得到預測模型，并調用模型預測分割用于測試的圖像。圖像分割流程如圖4所示。

圖4 圖像分割流程圖

2 構建U-Net網絡模型

在嵌入式系統平臺使用Pytorch深度學習框架進行模型構建、訓練和測試。 Ronnebergerd等[4]提出的原始U-Net 網絡模型由收縮路徑和擴展路徑組成，收縮路徑包括卷積操作和池化操作，擴展路徑包括反卷積和卷積操作[20]，包括19次卷積操作，4次最大池化操作，4次反卷積操作，4次復制疊加，原始網絡輸入572像素×572像素圖像，輸出圖像為388像素×388像素。

本文改進網絡以獲取深層的圖像信息，改進的U-Net網絡包括3×3卷積核的卷積操作（conv）19次，2×2池化核的最大池化操作（maxpooling）4次，反卷積（up-conv）4次。因為待預測的枝梗外形纖細，需要增加模型深度以提取更豐富的語義信息，所以每次反卷積操作之后引入2×2卷積核，該操作保證擴展路徑與收縮路徑獲得相同大小的特征圖，方便之后的復制疊加操作（copy and crop），訓練過程中，輸入圖像為256像素×256像素，與輸出圖像尺寸相同。改進U-Net網絡如圖5所示。

圖5 改進的U-Net網絡結構

改進U-Net網絡模型深度增加，整個網絡在訓練過程中激活輸入值分布易向內協變量偏移，導致訓練過程中梯度消失，收斂速度降低。為解決該問題，本文在每次卷積操作后引入批歸一化操作[21]，實現輸入數據均值為0、方差為1的標準正態分布，以加快網絡收斂速度，提高網絡泛化能力。

本文在隱層神經元采用ReLU函數作為激活函數，節省反向傳播求誤差梯度的計算量，其函數表達式為

輸出層多分類采用Softmax作為激活函數，將含任意實數的維向量“壓縮”到另一個維實向量()，使得每一個元素都映射到（0,1）區間，其函數表達式為

式中()表示維實向量()，=1,,；z表示含任意實數的維向量，=1,,。

采用交叉熵函數作為多分類損失函數（Crossentropy Loss），其數學表達式如下：

式中表示總樣本個數；y表示第個樣本預測是否為第個標簽，若是記y，否則為0；p表示第個樣本預測為第個標簽的概率。

采用自適應時刻估計方法（Adaptive Moment Estimation）計算每個參數的自適應學習率，加快收斂速度，其數學表達式如下：

3 模型訓練與預測

在微型計算機系統上安裝Ubuntu 16.0系統、Python3.6編譯環境、CUDA架構、cuDNN開發庫，使用深度學習框架Pytorch，在該深度學習環境下進行模型構建、訓練和預測，并將訓練好的深度學習模型移植到嵌入式處理器，調用訓練好的.pth模型進行實時圖像分割。設置初始學習率為0.000 1，迭代次數100次。模型訓練耗時6.41 h。在訓練集上的準確度為0.886 4，訓練損失為0.324 3，在驗證集上的準確度為0.866 9，訓練損失和準確度曲線圖如圖6所示。如圖7所示，對256像素×256像素圖像的預測結果與對應的真實值圖像基本吻合。說明采用U-Net網絡模型對水稻籽粒、莖稈和枝梗圖像分割是可行的。

圖6 訓練損失和準確度曲線

圖7 預測結果

4 模型后處理

采用滑動窗進行預測圖像[22-24]，滑動窗預測原理如圖8所示。

圖8 滑動窗預測原理

圖8中輸入圖像為4像素×4像素，padding填充大小為1×1，滑動窗口大小3×3，stride步長為3，滑動窗口在填充后的輸入圖從左到右、從上到下按步長依次滑動，每次截取與滑動窗大小相同的圖像，得到4個截取部分，輸入到U-Net網絡模型得到預測圖像，按填充后輸入的像素坐標位置拼接回去，再將預測部分中原來填充部分去掉，得到輸入圖像的預測結果。

輸入圖像按照800×600矩陣形式排列，padding填充大小為84×112，滑動窗口大小256×256，stride步長256，每張800×600像素圖像得到12個截取部分，分2個batch輸入到U-Net預測，拼接去掉padding填充部分，得到完整預測拼接圖。圖9為滑動窗預測圖像結果，可以看出預測拼接的圖像沒有產生接縫、錯位。預測輸出圖像與手工標記的真實值圖像（圖3）著色一致，水稻籽粒的RGB值為[128,128,128]，枝梗的RGB值為[0,128,0]，莖稈的RGB值為[128,0,0]，背景的RGB值為[0,0,0]。

圖9滑動窗預測結果

5 結果與分析

本文使用準確率（precision），召回率（recall）作為圖像分割結果的評價指標，并以綜合評價指標（1）作為準確率和召回率的評估值。

式中TP為正確分割的像素數，FP為誤分割的像素數，FN為漏分割的像素數。

從收獲試驗采集到的實時水稻圖像中另取60張8位RGB數字圖像，用原始U-Net模型和改進U-Net模型分別進行分割，將訓練好的深度學習模型和程序在嵌入式處理器上運行。分別統計出分割結果中水稻籽粒、枝梗、莖稈連通域的正確分割、誤分割、漏分割的像素值，計算出準確率和召回率，最后統計得到1值，如表1所示。

由表1可知，本文方法的水稻籽粒分割1值為99.42%，水稻籽?；径伎梢哉_地分割出來，被誤分割成莖稈或枝梗的情況較少，且邊界能較好地保留；枝梗的1值為88.56%，大部分枝梗得到有效分割，能夠將細小的枝梗分割出來；莖稈的1值為86.84%，莖稈外形呈直條狀，與其他目標區別明顯，分割結果比較理想。與原始U-Net模型相比，改進后的U-Net模型對水稻籽粒分割的1值提升3.53個百分點，枝梗的1值提升15.22個百分點，莖稈的1值提升31.82個百分點。分割效果如圖10所示。

表1 U-Net模型改進前后的分割結果對比

圖10 分割結果

由圖10可知，對于圖像1，改進U-Net模型能夠正確地將枝梗分割出來，而原始U-Net模型誤分割成莖稈；對于圖像2，改進U-Net能夠將枝梗正確地分割出來，分割形狀與原圖契合，而原始U-Net模型存在誤分割，且莖稈欠分割嚴重。對于圖像3，改進U-Net模型將枝梗誤分割為籽粒，這是由于該枝梗較為纖細且周圍的籽粒粘連嚴重，2種分割目標的邊界不清晰；對于圖像4稈，改進U-Net模型沒有將其完整識別出來，這主要是因為該莖稈在圖像邊緣與周圍的水稻籽粒重疊，莖稈與籽粒顏色區分不明顯。

對田間試驗采集的60幅圖像分別使用已有的2種算法進行處理，計算準確率和召回率，得到1值，并記錄各算法的平均處理時間，結果如表2所示。文獻[1]采用分水嶺算法和BP神經網絡識別雜質與谷物，每張圖像處理耗時10 s左右，難以滿足實時作業要求，算法過分割嚴重。文獻[2]采用MSRCR算法，結合HSV顏色模型和形狀特征對雜質與谷物分割識別，對顏色相近的谷物與莖稈易造成誤識別。

表2 4種算法分割性能對比

由表2可知，與文獻[2]相比，本文的改進U-Net模型處理時間提升不明顯，這主要是因為分割過程中運用模型后處理滑動窗口預測機制，滑動產生一定的耗時，改進U-Net模型與原始U-Net模型在實時處理時間上相差不大，總體耗時前者大于后者，這是由于網絡層數加深，處理語義信息存在一定耗時。一次谷物采樣和棄樣耗時5 s，本文算法處理時間4.62 s，能夠滿足田間作業實時處理的要求。本文算法利用訓練得到各對象語義信息實現預測分割，減少人為設置形態學參數造成的分割誤差，誤分割、過分割情況減少，分割準確度整體優于已有算法。

6 結 論

1）本文提出一種分割收獲水稻圖像的算法，改進了U-Net網絡模型，訓練手工數據集并調用訓練好.pth格式的模型預測分割出水稻籽粒、莖稈和枝梗。

2）針對收獲水稻圖像中含有水稻籽粒、莖稈和枝梗多個分割目標、各目標粘連覆蓋現象嚴重，提出在原始U-Net網絡基礎上加深網絡，以獲取更豐富的語義信息；為避免網絡的加深導致訓練過程中，收斂速度降低，引入批歸一化操作，改進后的網絡模型預測出的效果明顯優于原始網絡模型，證實改進后的U-Net網絡模型魯棒性更好；部分雜質的形態顏色與籽粒接近，使用單一的顏色特征分割籽粒和雜質，極易將雜質誤分割成籽粒，因此通過圖像增強模擬待分割目標的復雜狀態。

3）從收獲試驗采集到的圖像中另外選取60張8位RGB水稻圖像作為測試樣本，采用綜合評價指標衡量分割準確度評估預測分割效果，統計測試結果顯示，水稻籽粒分割的綜合評價指標值為99.42%，枝梗分割的評估為88.56%，莖稈為86.84%，與已有方法相比分割準確度有所提升。

本文提出的基于U-Net模型的含雜水稻籽粒圖像分割算法能夠分割圖像中的水稻籽粒、枝梗和莖稈，提升了分割準確度，為后續含雜率的計算奠定基礎。含雜率數據能反應當前聯合收獲機工作參數選取是否合適，利于提升機器的作業質量。在接下來的研究中，可將U-Net分割算法與SVM分類機制結合，進一步提高收獲水稻圖像的分類準確度。

[1]陳璇. 聯合收獲機谷物破碎率、含雜率監測方法及系統研究[D]. 鎮江：江蘇大學，2017.

Chen Xuan. Research on the Methods and Systems for Monitoring Grain’s Crushing Rate and Impurity Rate for Combine Harvester[D]. Zhenjiang: Jiangsu University, 2017. (in Chinese with English abstract)

[2]陳進，顧琰，練毅，等. 基于機器視覺的水稻雜質及破碎籽粒在線識別方法[J]. 農業工程學報，2018，34(13)：187-194.

Chen Jin, Gu Yan, Lian Yi, et al. Online recognition method of impurities and broken paddy grains based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 187-194. (in Chinese with English abstract)

[3]Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 3431-3440.

[4]Ronneberger Olaf, Fischer Philipp, Brox Thomas. U-Net: Convolutional networks for biomedical image Segmentation[J]. Medical Image Computing and Computer- Assisted Intervention-MICCAI 2015, 2015, 9531: 234-241.

[5]亢潔，丁菊敏，萬永，等. 基于分水嶺修正與U-Net的肝臟圖像分割算法[J]. 計算機工程，2020，46(1)：255-261，270.

Kang Jie, Ding Jumin, Wan Yong, et al. Liver image segmentation algorithm based on watershed correction and U-Net[J]. Computer Engineering, 2020, 46(1): 255-261, 270. (in Chinese with English abstract)

[6]雷軍明，王成鋼，劉雪燕. 基于改進U-Net的視網膜血管圖像分割[J]. 信息技術與信息化，2019(10)：168-169.

[7]孟笛. 改進的U-net網絡在冠狀動脈血管分割中的應用[D]. 長春：吉林大學，2019.

Meng Di. Application of Improved U-Net Network in Coronary Artery Segmentation[D]. Changchun: Jilin University, 2019. (in Chinese with English abstract)

[8]周葉萍. 基于編碼器—解碼器結構的眼底圖像中視網膜血管分割的方法研究[D]. 廣州：華南理工大學, 2019.

Zhou Yeping. Retinal Vessel Segmentation in Fundus images using a Convolutional Enconder-Decoder Architecture. Guangzhou: South China University of Technology, 2019.

[9]張凱文. 基于U-Net的肝臟CT圖像分割研究[D]. 廣州：華南理工大學，2019.

Zhang Kaiwen. Liver Segmentation from CT Images Based on U-Net[D]. Guangzhou: South China University of Technology, 2019. (in Chinese with English abstract)

[10]劉哲，張曉林，宋余慶，等. 結合改進的U-Net和Morphsnakes的肝臟分割[J]. 中國圖象圖形學報，2018，23(8)：1254-1262.

Liu Zhe, Zhang Xiaolin, Song Yuqing, et al. Liver segmentation with improved U-Net and Morphsnakes algorithm[J]. Journal of Image and Graphics, 2018, 23(8): 1254-1262. (in Chinese with English abstract)

[11]朱蘇雅，杜建超，李云松，等. 采用U-Net卷積網絡的橋梁裂縫檢測方法[J]. 西安電子科技大學學報，2019，46(4)：35-42.

Zhu Suya, Du Jianchao, Li Yunsong, et al. Method for bridge crack detection based on the U-Net convolutional networks[J]. Journal of Xidian University, 2019, 46(4): 35-42. (in Chinese with English abstract)

[12]高衛賓. 基于改進U-net網絡的橋梁裂縫檢測方法[D]. 西安：西安電子科技大學，2019.

Gao Weibin. Bridge Crack Detection Method Based on Improved U-Net Network[D]. Xi’an: Xidian University, 2019. (in Chinese with English abstract)

[13]任欣磊，王陽萍，楊景玉，等. 基于改進U-net的遙感影像建筑物提取[J]. 激光與光電子學進展，2019，56(22)：195-202.

Ren Xinlei, Wang Yangping, Yang Jingyu, et al. Building detection from remote sensing images based on improved U-Net[J]. Laser & Optoelectronics Progress, 2019, 56(22): 195-202. (in Chinese with English abstract)

[14]王海鷗，劉慧，郭強，等. 面向醫學圖像分割的超像素U-Net網絡設計[J]. 計算機輔助設計與圖形學學報，2019，31(6)：1007-1017.

Wang Haiou, Liu Hui, Guo Qiang, et al. Design of superpiexl U-Net network for medical image segmentation[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 1007-1017. (in Chinese with English abstract)

[15]吳則舉, 王嘉琦, 焦翠娟, 等. 基于深度學習網絡U-Net的輪胎帶束層分割算法研究[J]. 青島大學學報，2019，32(4)：22-29，35.

Wu Zeju, Wang Jiaqi, Jiao Cuijuan, et al. Research on tire belt segmentation algorithm based on deep learning network U-Net[J]. Journal of Qingdao University, 2019, 32(04): 22-29, 35. (in Chinese with English abstract)

[16]顧琰. 聯合收獲機谷物含雜率、破碎率在線監測裝置研制及試驗研究[D]. 鎮江：江蘇大學，2019.

Gu Yan. On-line Monitoring Device and Experimental Study of Grain Impurity Rate and Broken Rate of Combine Harvester[D]. Zhenjiang: Jiangsu University, 2019. (in Chinese with English abstract)

[17]Chen Jin, Lian Yi, Li Yaoming, et al. Design of sampling device for rice grain impurity sensor in grain-bin of combine harvester[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(5): 18-25.

陳進，練毅，李耀明，等. 聯合收獲機糧箱內稻谷含雜率傳感器采樣盒設計（英文）[J]. 農業工程學報，2019，35(5)：18-25. (in English with Chinese abstract)

[18]高震宇. 基于深度卷積神經網絡的圖像分類方法研究及應用[D]. 合肥：中國科學技術大學, 2018.

Gao Zhenyu. Research and Application of Image Classification Method Based on Deep Convolution Neural Network[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese with English abstract)

[19]梁舒. 基于殘差學習U型卷積神經網絡的乳腺超聲圖像腫瘤分割研究[D]. 廣州：華南理工大學，2018.

Liang Shu. Research on Breast Ultrasound Image Segmentation Based on Residual U-shaped Convolution Neural Network[D]. Guangzhou: South China University of Technology, 2018. (in Chinese with English abstract)

[20]許慧敏. 基于深度學習U-Net模型的高分辨率遙感影像分類方法研究[D]. 成都：西南交通大學，2018.

Xu Huimin. Method Research of High Resolution Re-mote Sensing Imagery Classification Based on U-Net Model of Deep Learning[D]. Chengdu: Southwest Jiaotong University, 2018. (in Chinese with English abstract)

[21]Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[EB/OL]. 2015-02-11[2018-10-15]. http://arxiv.org/pdf/1502.03167.pdf.

[22]Chen Guanzhou, Zhang Xiaodong, Wang Qing, et al. Symmetrical dense-shortcut deep fully convolutional networks for semantic segmentation of very-high-resolution remote sensing images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing. 2018, 11(5): 1633-1644.

[23]馬治楠. 基于深度學習的計算優化技術研究[D]. 貴陽：貴州大學，2019.

Ma Zhinan. Research on Computational Optimization Technology Based on Deep Learning[D]. Guiyang: Guizhou University, 2019. (in Chinese with English abstract)

[24]張怡晨. 基于卷積神經網絡的艦船檢測研究[D]. 廈門：廈門大學，2018.

Zhang Yichen. Ship Detection via Convolutional Neura1 Network[D]. Xiamen: Xiamen University, 2018. (in Chinese with English abstract)

Segmentation of impurity rice grain images based on U-Net model

Chen Jin, Han Mengna, Lian Yi, Zhang Shuai

(212013)

The impurity rate is one of the important harvesting performance indexes of the rice combine harvester. The impurity of the harvested grain during the harvest includes the branches and straws of the crop. In order to study the correlation between the impurity rate of the grain and the operation parameters of the combine harvester, it is necessary to obtain the data of impurity rate in real-time. This paper studies the segmentation algorithm of hybrid rice grain image based on U-net model of machine vision technology. Aiming at the problems existing in traditional segmentation algorithm, such as large amount of computation, time-consuming processing, serious over segmentation of images, and the determination of segmentation parameters depends on human experience, the deep learning model is used to train and learn image features of each segmentation category of pixel level for many times. Based on the U-net depth learning model, a method of predicting and segmenting grains, branched and straws in hybrid rice grain images is proposed. The improved U-net network is used to increase the depth of the network and add the batch normalization layer. The information of more abundant data is obtained in a small data set, and the problem of lack of training data and over fitting of training is solved. In this paper, 50 rice images collected from the field experiments are selected, Labelme method is used to annotate and enhance data. 1 000 small samples of 256 × 256 pixels are cut, in which 700 images are used as training data set, 300 images are used as verification data set, and a hybrid rice grain image segmentation model of combine harvester based on improved U-net network is established. The accuracy of the model is measured by the comprehensive evaluation index, and 60 images with 8-bit RGB selected randomly are verified. The experimental results show that the comprehensive evaluation index value of rice grains segmentation is 99.42%, the comprehensive evaluation index value of branch and stem segmentation is 88.56%, and the comprehensive evaluation index value of straws segmentation is 86.84%. The proposed algorithm based on U-net model can effectively segment the grains, branches and straws in the hybrid rice grain images, and has the higher real-time and accuracy of the segmentation. The research results can provide technical support for the further recognition and processing of rice grain image, and provide algorithm reference for the design of rice combine harvester impurity rate monitoring system.

image processing; rice; impurities; U-Net model

陳進，韓夢娜，練毅，等. 基于U-Net模型的含雜水稻籽粒圖像分割[J]. 農業工程學報，2020，36(10)：174-180.doi：10.11975/j.issn.1002-6819.2020.10.021 http://www.tcsae.org

Chen Jin, Han Mengna, Lian Yi, et al. Segmentation of impurity rice grain images based on U-Net model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(10): 174-180. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.10.021 http://www.tcsae.org

2019-02-24

2020-04-30

國家重點研發計劃重點專項（2016YFD0702001）；江蘇省重點研發項目（BE2017358）；江蘇省研究生科研與實踐創新計劃（SJCX19_0550）

陳進，教授，博士生導師，主要從事智能農業裝備和機械系統監測與控制研究。Email：chenjinjd126@126.com

10.11975/j.issn.1002-6819.2020.10.021

S147.2

A

1002-6819(2020)-10-0174-07