谷類作物粘連顆粒圖像分割方法研究進展

申 冉， 甄 彤， 李智慧， 高 輝

(糧食信息處理與控制重點實驗室；河南工業大學信息科學與工程學院，鄭州 450001)

在糧食品質檢測過程中，常需對糧食的數量、品種、不完善粒等進行統計識別。傳統識別方法是人眼識別，費時費力且極具主觀性。隨著糧食信息化水平的不斷提升，逐漸采用機器視覺方法進行改進[1]。由于糧食顆粒較小，密集等，在實際處理中經常出現粘連甚至重疊的現象，為提高不完善顆粒等的識別精度和效率，需要對顆粒進行更好的分割。

在采用計算機視覺處理粘連籽粒圖像分割問題中，現有文獻多數基于先驗知識進行算法改進，如Shatadal等[2]通過對谷物腐蝕膨脹而后填充空洞區域實現分割。Chaladchai等[3]基于邊緣獲取分離端點繪制分割線實現分割。少有學者針對粘連籽粒圖像結合深度學習模型進行研究。為確定更適合于粘連顆粒圖像的分割方法，本文梳理和總結了傳統分割方法的優缺點，重點闡述分水嶺法和凹點分割在粘連分割中的應用，此外還歸納了圖像分割深度學習算法的時間線，重點闡述基于U-Net和Mask R-CNN的方法。最后總結了用于圖像分割的權威數據集，并對粘連圖像分割面臨的挑戰和未來熱門發展方向進行了展望。

1 傳統分割方法

根據分割方式的不同，將傳統分割方法劃分為基于閾值、邊緣、區域、圖論、像素聚類、能量泛函、形態學的7種分割方法。

基于閾值的分割方法是通過設置分割閾值，將目標和背景分割。常見的有固定閾值法、直方圖雙峰法、迭代閾值法、OTSU(大津法)、最大熵法等。

基于邊緣檢測的分割方法是針對圖像的邊緣像素特點進行分割。常用微分算子來確定邊緣，一階微分算子有Canny[4]、Roberts[5]、Prewitt[6]、Sobel[7]算子，二階微分算子有Laplacian[8]、Log[9]算子。

基于圖論分割是將圖像分割問題與圖的最小割問題相關聯，將圖像映射為帶權無向圖，將圖劃分為若干子圖而實現分割。而分割的最優原則就是使劃分后的子圖保持內部相似性最大，子圖之間相似性最小。目前基于圖論的方法有GraphCut[10]、GrabCut[11]等。

基于像素聚類的圖像分割是根據聚類結果得出的類別向其中添加不同灰度值實現分割，主要方法有MeanShift[12]、K-means[13]。基于超像素的圖像分割是把像素級的圖劃分成區域級的圖,即把具有相似特性的像素聚合，超像素處理方法有Turbopixels[14]、SLIC[15]等。

基于區域的圖像分割方法根據同一區域內像素具有的相似性質(包括灰度值、紋路、顏色等)來聚集像素點，包括區域生長法、區域分裂合并法、分水嶺法等。

基于能量泛函的方法主要是活動輪廓模型，其思想是定義一個函數曲線來表達目標圖像的邊緣，再定義一個自變量包括邊緣曲線的能量函數，使該能量泛函最小的那條邊緣曲線就是目標輪廓的分割線。按照邊緣曲線表達形式的不同，活動輪廓模型可以分為參數活動輪廓模型和幾何活動輪廓模型,參數活動輪廓模型中具有代表性的有Snake[16]、ASM[17]、AAM[18]等。

基于數學形態學方法主要指分割前的一系列預處理方法，包括腐蝕與膨脹、開運算和閉運算。腐蝕使目標縮小、孔徑增大。膨脹使目標增大、孔徑縮小。開運算先腐蝕后膨脹去除小塊像素，閉運算先膨脹處理再腐蝕處理填補邊緣縫隙。

2 傳統分割方法的比較

傳統分割方法對于不同的分割情況具有不同的分割效果，現將7種傳統分割方法進行比較，如表1所示。使用程度表示對粘連籽粒分割的適用程度，“+”越多適用性越強。

表1 傳統分割方法的比較

3 基于傳統方法的粘連分割

目前，常用于處理粘連分割的方法包括分水嶺法、基于凹點檢測方法。

3.1 分水嶺法

分水嶺法是將一副灰度圖像看作是地質學表面，圖像中的灰度值代表地形圖中的海拔高度。

分水嶺算法大致步驟為：先將圖像分為不同的梯度，然后通過一定規則生成注水區域，然后向注水區域內加水，當兩注水區域即將合并時，記錄下此時的邊界，當圖像邊緣徹底被分割成n個獨立區域時算法結束。

分水嶺算法是一種基于區域的圖像分割算法。分割時把像素值相近的點和物理位置相近的點相連，形成一個封閉區域。然而分水嶺算法會忽略微弱邊緣。燕紅文等[19]采用大津法對燕麥籽粒進行預處理，分水嶺法分割粘連區域，消除了過度分割，準確率達到98.55%，但隨著燕麥的數量和重疊區域的增加，該方法的準確率大大降低，因此只適用于粘連不太嚴重的情況。張建華等[20]結合最小二乘圓理論利用分水嶺法對棉花葉部粘連病斑進行分割，準確率為91.25%，但對于重疊度高的病斑會存在欠分割的情況。

3.2 凹點分割

凹點分割主要部分就是如何確定凹點，方法有3種：方向鏈碼法、矢量夾角法和切線法。

在鏈碼法中，針對某個特定像素周圍的像素點，按照水平垂直對角線定義4個方向，用0、1、2、3分別表示0°、90°、180°和270°4個方向，也可以定義8個方向：0、1、2、3、4、5、6、7。如圖1所示。用這種規則表達的邊界曲線可以表示為式(1)：

由平均鏈碼差代表偏轉角度，即曲率，曲率的極值點作為凹點。

圖1 4-鏈碼和8鏈碼示意圖[21]

矢量夾角法是對邊界上的每一個點，尋找與其步長相同的前驅點和后繼點，將該點分別和其前驅點和后繼點進行連線，根據2個連線構成的夾角的正負和大小判斷該點是否為凹點。

切線法思想在于通過邊界上某點的切線是否通過連通區域內部來判斷此點是否是凹點。如果凹點的兩側的點都在區域外部，則此點為局部凸點,如果在區域內部，此點為局部凹點,若一條直線與區域邊界多點相切，那么這些點為該物體最大凸點。

張寶全等[22]研究基于凹點分析的粘連雞體分割，使用大津法和形態學處理進行預處理，正方形模板確定凹點位置，平均分割準確率為92.8%。陳樹越等[23]提出基于凹點檢測的糧倉粘連害蟲圖像分割方法，采用Harris算法計算角點，通過極大值抑制選出凹點，分割有效率為92.5%。劉宰豪[24]針對凹點檢測算法存在的凹點判別不準確和欠分割的問題，提出一種重心輔助凹點匹配的新思路。樊萌萌[25]提出基于3點夾角的凹點檢測算法和具有自適應特性的凹點匹配方法，解決2粒大米的分割問題。

3.3 基于分水嶺和基于凹點方法相結合

分水嶺方法進行分割容易造成過度分割的現象，凹點分割中由于容易將噪聲點識別為凹點，且凹點的錯誤匹配會導致分割不準確。因此，更多學者選擇將兩種方法相結合克服各自缺點。高星[26]進行基于標記分水嶺和凹點的粘連大米圖像分割技術研究，該研究先使用形態學方法修正標記圖像，再對標記圖像使用分水嶺算法抑制過分割現象，最后使用五點夾角法與鏈碼差法進行凹點分割。吳淑珍等[27]使用曲率確定凹點，利用凹點進行前景標記，最后利用基于標記的分水嶺算法對粘連谷物顆粒進行分割。準確率達到96.4%。

4 基于深度學習的分割方法

根據分割程度不同可將圖像分割分為實例分割和語義分割。將基于深度學習的圖像實例分割經典技術發展進程進行整理，如圖2所示。將基于深度學習的圖像語義分割經典技術發展進程進行整理，如圖3所示。

圖2 圖像實例分割技術進展

圖3 圖像語義分割技術進展

5 深度學習方法在粘連顆粒中的應用

深度學習方法可以避免傳統分割方法的造成的分割效果不好，提取特征復雜，識別準確率低的問題，具有很好的魯棒性和普適性。目前基于深度學習的谷物籽粒識別方法分別有基于分類網絡、目標檢測網絡和語義分割、實例分割網絡的研究。

基于分類網絡：劉鵬[28]采集完善粒、蟲蝕粒、生芽粒、生霉粒、破損粒、赤霉病粒和黑胚粒七種小麥粒的高光譜圖像，使用支持向量機(SVM)方法、卷積神經網絡(CNN)方法、CNN結合MobileNetV2方法分別進行識別，并將3種方法實驗結果進行對比，最終發現，利用CNN結合MobileNetV2方法識別準確率最高，達到97%。劉林[29]通過對VGG網絡，Inception-V3網絡，ResNet-50網絡進行遷移，識別登海518、浚單20和鄭單958三種玉米類型。

基于目標檢測：武威[30]使用Faster R-CNN模型進行分割不同環境下的小麥籽粒，克服了傳統分割算法無法適應復雜背景和尺寸變化的缺點，相比于SSD模型精度提高0.2。但隨著籽粒數量增加該模型的運行時間也會增加。付傳廣[31]使用空洞卷積、擠壓和激勵模塊對Faster R-CNN模型進行改進，實現玉米的完好粒、霉變粒和蟲蛀粒的檢測，獲得97.4%的平均檢測精確率。

基于語義分割實現谷物籽粒識別的常用網絡模型有U-Net網絡，基于實例分割的有Mask R-CNN網絡。

5.1 基于U-Net網絡的粘連顆粒分割

U-Net[32]模型提出的初衷是為了解決醫學圖像分割的問題，U-Net模型前半部分是下采樣，擴大感受野進行特征提取；后半部分是拼接并上采樣，進行特征融合，最終將圖片還原為原始尺寸。

如圖4所示，對輸入圖像先卷積，再池化，再卷積，再池化，如此循環進行4次，得到14×14大小的特征圖，再對特征圖進行卷積，上采樣，再卷積，再上采樣，如此循環進行4次，最終得到與原始輸入圖像尺寸相同的預測結果。此外，在上采樣過程中每次上采樣后都要和下采樣過程中得到的相同尺寸特征圖進行拼接。

圖4 U-Net網絡模型圖[32]

陳進等[33]在原始U-Net網絡模型上加深網絡深度，引入歸一化層避免過擬合，實現水稻圖像中的籽粒、莖稈和枝梗的分割，分割準確度分別達到99.42%、88.56%、86.84%，但是由于改進后層數加深導致模型處理時間增加。鄧楊等[34]將U-Net網絡和MobileNetV2網絡相結合提出了一種輕量級網絡IMUN，實現對大米堊白部分的分割，進一步獲取大米堊白率，分割準確率達到94%。Liang等[35]在U-Net模型下采樣部分在1024通道特征圖之后添加金字塔池化模塊，實現小麥白粉病孢子分割和計數，與原有的U-Net相比，改進的網絡結構具有更高的分割精度，miou指標達到91.4%。鄧國強等[36]在U-Net原有網絡基礎上在下采樣后添加5層dropout和1層連接層，對小麥麥穗圖像進行分割，檢測赤霉病穗，解決了過擬合問題，提高模型泛化能力，平均檢測精度為97%，但如果不擴充數據集，模型本身存在很大的漏檢問題。

目前基于U-Net網絡模型實現谷物分割存在的普遍問題包括：目標重疊程度較大，顏色相似的情況下，分割準確率降低；受目標所在背景影響較大。可嘗試加深網絡層數解決。

5.2 基于Mask R-CNN網絡的粘連顆粒分割

Mask R-CNN[37]通過擴展Faster R-CNN達到簡單、快速、靈活的特點，分割的準確率和速率超過以往所有實例分割結果。Mask R-CNN包括以下子模塊：骨干網絡，區域建議網絡(RPN)，RoIAlign層，語義分割網絡，分類和回歸，如圖5所示。Mask R-CNN使用ResNet101作為主干特征提取網絡，提取的特征為原圖像的長寬分別壓縮了2次、3次、4次、5次的結果，利用這些特征圖構造特征金字塔網絡實現特征多尺度的融合，最終得到有效特征層。一方面，這些有效特征層作為區域建議網絡的輸入，得到建議框。另一方面作為分類器和語義分割網絡的輸入，分別得到準確的預測框和語義分割結果。

圖5 Mask R-CNN網絡模型圖[37]

謝元澄等[38]通過修改特征提取網絡的層數對Mask R-CNN網絡進行改進，實現對單株麥穗中的籽粒進行分割，將分割結果和利用全卷積網路(FCN)方法進行的分割結果進行對比，實驗表明利用Mask R-CNN網絡模型處理速度是FCN的8.5倍。SU等[39]利用Mask R-CNN網絡檢測小麥麥穗顆粒中是否含有赤霉病粒，檢出率為98%。YANG等[40]提出一種新的合成圖像生成和增強方法，對Mask R-CNN網絡模型進行微調，將掩碼的損失權重設置為2，其他損失權重設為1，在全連接層添加值為0.5的丟失概率，實現對大豆顆粒的分割，進而塑造大豆的表型數據。YU等[41]利用Mask R-CNN網絡模型，調整最小檢測置信度為0.5，分別實現單株水稻穗上的所有水稻顆粒和散落顆粒的檢測，檢測精確度分別達到82%和97%。

目前基于Mask R-CNN網絡模型實現谷物分割存在的普遍問題包括：數據量嚴重影響檢測速度、檢測結果受像素級標注的影響大、存在漏檢情況。

6 分割數據集

本節對圖像分割的常用公共數據集予以統計，對每個數據集的內容、特點等作簡要介紹，如表2所示。

表2 圖像分割常用數據集

7 總結

本文對傳統圖像分割和基于深度學習的圖像分割常用方法進行簡要總結，著重總結適用于粘連籽粒圖像的分割方法。傳統的分割方法有分水嶺法，基于凹點的分割方法等,此外，為了彌補分水嶺方法造成的過分割和基于凹點分割不準確的情況，可將2種方法相結合。基于深度學習的方法常用的有U-Net模型和Mask R-CNN模型。U-Net屬于語義分割范疇，用深層特征進行定位，淺層特征進行精確分割，可嘗試對較少糧食顆粒樣本進行分割。Mask R-CNN屬于實例分割范疇，既保留了谷物位置信息，又保留了語義信息。兩者都適用于對于邊界模糊、梯度復雜特點的圖像處理。最后對基于深度學習的分割常用的數據集進行簡要介紹。

目前，粘連籽粒的圖像分割多使用傳統方法，隨著深度學習的性能和精度不斷完善，使用基于深度學習的方法解決粘連籽粒圖像分割有望成為趨勢。目前所面臨的挑戰有3個方面：沒有關于粘連籽粒的圖像完善標準的公共數據集，且數據集的標注是一大項復雜繁瑣的任務；由于不同籽粒形狀，邊緣特點各有差異，因此任何一種分割算法都不可能適用于各種籽粒，需要針對不同籽粒選擇不同網絡模型；在實際分割應用場景中，分割性能和準確率都要兼顧。因此，今后使用深度學習方法進行粘連顆粒圖像的分割是極具潛力的研究方向。