粘連顆粒圖像的分割方法綜述

高 輝， 甄 彤，李智慧

(糧食信息處理與控制重點實驗室；河南工業大學信息科學與工程學院，鄭州 450001)

圖像分割是基于灰度、顏色、紋理和幾何等特征，分割提取感興趣目標的技術和過程，其作為圖像處理到圖像分析的關鍵步驟，既是難點，也是熱點[1]。常應用于醫學影像處理、無人駕駛、智能安防、衛星遙感、智慧農業、生物特征識別等領域[2]。而粘連顆粒分割是將重疊或粘連的顆粒分割成單個顆粒，以便提供精簡且可靠的圖像特征[3]。在糧食、生物、農產品領域，經常根據小麥、大米、花生、大豆、枸杞、蠶繭、菌落等顆粒的形狀、數目、色澤、紋理等進行分類、計數或等級評價[4]；在醫學圖像方面，能夠準確、方便、定性、定量的識別分析血細胞、干細胞、病變細胞等，對臨床診斷具有極大幫助[5]；在工業應用中，氣液兩相流中氣液比例直接影響產品的質量和性能，不同類型的煤粒、礦石適用于不同場景，自動的分割分類直接影響采礦的成本[6]。

本文主要通過闡述基于傳統圖像和深度學習的圖像分割方法，對比分析在粘連顆粒分割領域的方法、效果及優缺點，從而找尋更適合于粘連顆粒分割領域的分割方法，為該領域方向的研究尋找突破口。

1 傳統圖像分割方法

傳統圖像分割方法通常基于閾值、邊緣、聚類、區域、形態學、圖論、特定理論等。針對不同的分割任務，可選取的分割方法及關鍵技術各不相同，各有優劣。對于粘連顆粒的實際分割中，這些分割方法常作為分割的中間手段、預處理方法等。除此之外，粘連顆粒通常具有尺寸小、隨機散落、數量眾多、形狀不規則及邊緣特征模糊等特點，故結合這些分割方法，重點闡述適用于粘連顆粒分割的分水嶺、凹點的傳統分割方法。

1.1 基于分水嶺的分割方法

分水嶺算法適合于梯度值具備類似山峰山谷結構的灰度圖像分割，對不符合分水嶺結構的圖像，往往需進行梯度變換。該算法對微弱邊緣具有良好響應，針對圖像中的噪聲、局部不規則及物體表面的細微的灰度變化，會在內部形成極小值，造成過分割[7]。

楊蜀秦等[8]對籽粒圖像進行距離變換使其梯度幅值滿足分水嶺算法要求，利用形態學膨脹合并籽粒內部重復極小值。孔繁圣等[9]通過連通域內像素數量判斷是否為單顆粒，進行多層次距離變換，直至實現單顆粒標記。因分水嶺算法的封閉性，導致目標封閉的背景被分割為目標區域，將預處理得到的二值圖作為蒙版，可過濾掉背景部分。Miao等[10]同時分割處血液涂片種的紅細胞與白細胞，基于白細胞有細胞核，紅細胞為無核的雙凹圓盤狀細胞，分階段分別對白細胞細胞核和血細胞進行基于距離變換的標記控制分水嶺算法。

王鑫等[11]基于形態學腐蝕操作，為防止不斷的腐蝕造成細胞種子點誤刪，采用目標異或操作，細胞種子區域小代替大，有替代無。最后通常采用標記分水嶺方法標記種子點，得到粘連細胞分界線。蔡改貧等[12]針對不同形狀、顏色的礦石出現的粘連、邊緣模糊等問題，采用基于形態學優化處理的標記分水嶺算法。其指出形態學處理與結構元素密切相關，對比采用球形、圓形、八角形、矩形、方形等結構元素進行腐蝕膨脹操作，矩形結構對礦石分割率最高。

劉向南等[13]以靈武長棗為研究對象，在分水嶺分割算法基礎上，利用遺傳算法的選擇、交叉和變異操作尋找最佳分割閾值，對20幅圖像分割正確率達89.99%。Gamarra等[14]結合標記控制的分水嶺(MC-Watershed)與新的分離和合并分水嶺(SM- Watershed)算法分割細胞圖像，因應用MC-Watershed不能將所有粘連目標分割，對不充分分割圖像，利用細胞的固有特征(大小、凹凸性)，再次應用分水嶺算法進行分離，對過分割目標，利用細胞面積、偏心率等，消除分割線，有效平衡過分割與欠分割。王婭等[15]基于HIS模型，充分利用圖像彩色信息，提取形態學標記的紅細胞中心與基于亮度、飽和度分量提取出的圖像的極值點，可精確標記圖像前景區域，根據S分量在粘連細胞處梯度幅值較大，I分量在細胞邊緣更加平滑，可確定細胞邊界，再應用標記分水嶺。

1.2 基于凹點的粘連圖像分割

凹點是由兩個或多個目標因相互接觸或重疊而在物體邊緣形成的一種特征點[16]。凹點分割方法常包括三步：凹點檢測、匹配和分割凹點對。凹點檢測常利用曲率、夾角、凸殼、鏈碼、模板搜索、曲線凹凸性變換等方法獲取凹點位置，再通過凹點匹配、定向腐蝕、圓周擬合等方法實現分割。

樊蒙蒙等[3]將實際檢測中大米的分割問題轉化為兩粒粘連大米的分割問題。利用Roberts、Canny等算子進行邊緣輪廓檢測，設定步長step，計算外輪廓上一點與其前繼點和后繼點的夾角，如式(1)所示。

angle=arccos(a2+b2-c2)/2ab

(1)

式中：angle為前繼點、后繼點與當前點的夾角；a、b、c為三角形三條邊。

凹點判斷依據為根據步長加大，夾角增大和夾角包圍圖像是背景灰度值。K均值聚類將凹點分為兩類，根據凹點間最短劃線準則，凹點線段的中垂線一定范圍內的灰度值為大米灰度進行凹點匹配，如圖1所示。

圖1 基于凹點的大米分割圖[3]

孫衛紅[17]為解決粘連蠶繭難以分割問題，其利用正方形模板的凹點搜索方法，如圖2所示。凹點判斷依據為輪廓凹點的模板陰影面積小，凸點的陰影面積大。其利用定向腐蝕算法代替凹點匹配方法，計算出腐蝕方向和角度，實現分割。該方法極易將兩個間距近而未粘連的蠶繭誤判為凹點，對疑似凹點，需進一步根據當前點、前繼點與后繼點的夾角進行篩選。

圖2 利用正方形模板的凹點搜索算法[17]

Yao等[18]基于正方形模板算法原理檢測出凹點，以當前點、前繼點與后繼點畫出凹點夾角zman，并認為所匹配的另一凹點b必在該夾角的對稱角的置信輻射區域內，輔以最短劃線準則分割，如圖3所示。Lin等[19]選取曲率的極值點，作為目標輪廓的凹點，通過凹點對應的置信輻射區域、最短距離、分割線長度限制原則進行凹點匹配，且分割算法不受籽粒其他參數影響，消除手工非接觸放置大米的局限性。林雪華等[20]進一步采用8鄰域跟蹤方法提取輪廓，根據鏈碼差和曲率結果搜索凹點，對15粒粘連大米分割有較高精度。穆晶晶等[21]針對計算氣液比例時，大氣泡易重疊問題，提出曲線凹凸性變換算法，即輪廓點到質心距離的極小值點就是凹點。為解決以最短劃線準則造成分割后的輪廓不完整的問題，提出最小二乘法圓周擬合插值算法進行重疊氣泡輪廓重構。

圖3 凹點對應的置信輻射區域圖[18]

王小鵬等[22]采用圓形模板，根據模板位于顆粒內部的弧長占周長的比例設定閾值進行凹點檢測，最短歐氏距離進行匹配，在已匹配的凹點連線上做中垂線，向垂線兩端逐點掃描，在一定范圍內均為檢測到邊緣點即為正確匹配，如圖4所示。

圖4 真假凹點判斷圖[22]

布芳[23]根據面積值和長寬比先選出大米顆粒粘連區域，通過將粘連輪廓的凸閉包與原連通區域輪廓圖像相減，得到凹區域，尋找凹區域間最短的點作為候選凹點，再根據凹點夾角為銳角確定真正的凹點。劉宰豪[24]結合凹度、矢量面積、位置關系三種判據進行凹點判斷，即凹陷程度達到一定角度閾值，當前點、前繼點、后繼點構成的三角形矢量面積為正，候選凹點的前繼點與后繼點連線在粘連區域外側三個條件同時滿足，即為真實凹點。除此之外，使用快速變換徑向對稱算法提取粘連圓形目標圖像的重心，利用重心輔助凹點匹配實現簡單型、串聯型、并聯型、串并聯結合型目標分割。

傳統粘連圖像分割方法比較見表1。分水嶺算法、凹點檢測算法通常需結合形態學操作、邊緣檢測等操作或優化算法，該方法在顆粒分割中廣泛使用，對包含目標數目較多的目標也能實現分割，簡單快速，準確率較高。對于復雜粘連目標，結合深度學習，預先檢測粘連顆粒類型，也能達到理想分割效果。但顯而易見，大部分傳統分割算法通常用于分割粘連程度低，背景、邊緣輪廓簡單的圖像。與此同時，此類算法往往用于谷粒、細胞、蠶繭等的計數等，對分割的輪廓精度要求不高。

表1 傳統粘連圖像分割方法比較

2 基于深度學習的圖像分割方法

傳統圖像分割方法受制于計算機的計算能力，且大多只關注圖像的表層信息，伴隨深度學習的日益強大，語義分割實現對目標的像素級分割，能表征出圖像更豐富的內在信息，適用于分割、分類、識別等任務，分割方法如表2所示。

不同的目標分割方法有其獨特的優點，以適應不同場景。在醫學細胞分割領域中，圖像獲取代價高，細胞粘附、畸變、輪廓不清晰、背景雜質，這些特征恰恰滿足對目標小且數量較多的粘連顆粒分割。因此，主要參照使用較多的基于U-Net的細胞分割方法類比粘連顆粒分割。與此同時，實例分割兼具目標檢測與語義分割的優點，對粘連顆粒的分割識別極具參考性。

表2 基于深度學習的分割方法

3 基于深度學習的粘連圖像分割方法

3.1 語義分割方法

U-Net網絡通過跳躍連接將編碼器中的低分辨率信息與解碼器生成高分辨率信息相結合，訓練數據較少，通過對邊界進行標注及邊界加權損失函數等，可實現對密集、重疊、形狀不規則細胞的分割、識別,U-Net結構如圖5所示。為更好地融合編碼器與解碼器之間的語義信息，各種變體也相繼而出。

圖5 U-Net網絡模型

閆彧萱等[32]基于U-Net網絡對熒光顯微細胞圖片進行分割，在skip path上引入Res Path作為模型左側編碼器與右側編碼器結合的橋梁，降低訓練難度的同時，利于細節特征的捕獲；引入權重損失函數確保更多的關注細胞輪廓。張文秀等[33]認為底層特征中缺少語義信息、亮度不統一、對比度低仍是問題，故又引入注意力機制識別具有細胞特征的顯著區域，不僅沒有增加計算復雜度，反而優于細胞區域的突出，模型訓練速度更快。Lu等[34]構建WBC-Net網絡，采用U-Net++密集連接方法，添加更多的跳躍連接路徑和卷積塊，并再次引入殘差模塊提取多尺度特征，性能表現好，如圖6所示。

圖6 基于密集連接的Unet網絡模型

曲鵬[35]將U-Net網絡中連續雙層的3×3卷積替換為ResDense-block，將長連接替換為Res連接，即從上到下，分別為4、3、2、1個Res-block，并把3×3標準卷積替換成非對稱卷積，加深網絡的同時引入1×1卷積的殘差連接避免梯度消失或爆炸，如圖7所示。

圖7 基于ResDense的U-Net網絡模型

朱琳琳等[36]針對單純的語義分割無法對重疊細胞進行正確的分割，主動輪廓較依賴初始輪廓的選擇，將兩者相結合，利用語義分割得到背景、細胞質、細胞核區域，利用細胞核在細胞團塊中的分布情況初始化水平集函數，實現分割。黃亞楠[37]利用U-Net網絡分割神經細胞遇到同樣的問題，粘連細胞邊界未能完全分割，通過K-means聚類算法成功識別細胞邊緣。智緒浩[38]將U-Net擴展到半監督分割網絡，在脂肪細胞計數時，基于圖像扭曲方法和條件生成對抗網絡的圖像風格轉換進行數據集擴充，分割網絡采用U-Net，對于因染色較淺而導致欠分割的圖像，再結合分水嶺算法提高分割精度。Wollmann等[39]構建GRUU-Net網絡，將循環神經網絡RNN中的門限循環單元GRU與U-Net相結合，Full-Resolution Dense Unit(FRDU)將GRU流與池化流信息通過Dense block模塊結合，GRU循環流迭代細化特征，池化流負責提取高級特征，增加網絡深度的同時，增強模型對特征長期依賴的能力，如圖8所示。

Yi等[40]利用SSD檢測神經細胞，通過特征融合模塊合并淺層和深層特征，有助于小細胞的檢測；在SSD中加入注意力模塊，專注提取圖像感興趣區域。根據邊界框預測結果，在conv1到conv4的特征圖中裁剪ROI區域進行實例單元分割。對比顯示，骨干網絡采用ResNet50，分割網絡選擇U-Net網絡，相比現有方法，表現出良好性能，如圖9所示。

基于U-Net的粘連圖像分割方法如表3所示。

圖8 基于RNN的U-Net網絡模型[39]

圖9 基于SSD的實例分割模型

表3 基于Unet的分割方法比較

U-Net作為醫學細胞圖像分割的代表型算法，結合密集連接、殘差思想、注意力機制、循環神經網絡等的變體，適合對目標較小目標的分割；但對于實際眾多數量的小顆粒分割，像素級標記較為困難，需要求分辨率較高的圖片，可結合剪切等操作放大圖片。與此同時，對于粘連圖像分割，通常將U-Net網絡與分水嶺、主動輪廓、聚類等傳統算法結合使用，起到補充作用，更好地分割處邊緣輪廓；與Faster R-CNN、SSD等目標檢測算法相結合，完成分割、分類的同時，更好地表示實例目標的位置信息。

4 結論

本文介紹了基于分水嶺、凹點的傳統圖像分割方法以及基于U-Net的語義分割方法。傳統圖像分割方法眾多，主要結合分割對象的形態、邊緣輪廓、像素背景等物理特征進行操作，與此同時，外界環境需固定，圖像特征簡單，分割、分類、識別等相互獨立等成為受限條件；而深度學習的分割方法具備較強的自適應、自學習、非線性映射能力，分割、分類、識別等任務相互依存，再結合傳統分割方法處理細節粘連信息的優勢，能很好地適用復雜環境圖像的處理。

根據目前研究現狀，粘連顆粒分割任務從早期的只針對糧食作物、醫學圖像任務向各行各業開始滲透，傳統糧食作物通常選用傳統分割方法，而實際應用中不單單只是分割計數，而常包含檢損、分類、定級、預測等工作。因此，有效結合深度學習方法能更好地進行實際應用，但深度學習往往需通過調整優化網絡框架、激活函數、網絡參數等，平衡速度與準確度的矛盾。除此之外，深度學習網絡對數據集的依賴性強，針對某一研究領域，必須建立符合場景的高精度、數量龐大的數據集，往往需要依托工藝設備實現自動化、標準化。