鄭小南,楊凡,李富忠
(山西農業大學軟件學院,太谷 030801)
近年來,在智慧農業概念的大力推廣下,傳統農業耕作已被逐漸摒棄,農業開始朝著智能化、自動化方向發展。早在20 世紀70 年代,圖像處理技術開始應用到農業領域[1],主要應用于作物病害識別[2]、表型監測[3]、品質分級[4]等方面,極大提高了農業耕作效率和農作物產量。
圖像分割是根據圖像的灰度值差異,把圖像分解劃分為若干個區域,研究者從中提取出自己感興趣區域的過程[5]。圖像分割作為圖像處理中的關鍵一環,對圖像分析結果有很大的影響。通過圖像分割技術,可以高效、無損的獲取農作物信息,幫助農民實時了解農作物生長動態,更好的管理農作物。本文主要通過對基于閾值、基于聚類、基于邊緣和基于深度學習四種圖像分割方法在農作物分割的應用進展進行綜述,為后期農作物的圖像分割研究提供一定的理論基礎。
閾值分割算法的基本原理是結合圖像的灰度特征計算一個或多個灰度閾值,并將圖像中每個像素的灰度值與閾值進行比較,最后根據比較的結果將像素劃分到相應的類別。因此,閾值分割算法的關鍵是根據一定的準則來求出最優灰度閾值。閾值分割是一種傳統的分割算法,因其操作簡單,穩定性強,在農業中得到了廣泛的應用。袁南星等人[6]運用閾值分割將水稻的雜株進行識別,有利于在水稻育種中排出雜株的危害,結果顯示,水稻秧苗期雜株性狀少,不易識別,但在水稻抽穗期具有良好的識別效果。梁麗秀等人[7]提出了一種水稻根系分割的綜合算法,將形態特征的局部閾值分割算法和自適應閾值分割算法結合,可以有效的將水稻根系的細小根須從圖像中分割出來,且保證了根須的連續性。張永梅等人[8]提出了一種成熟花椒果實自動識別的技術,該技術中首先將花椒圖像在RGB 和HSV 兩種顏色模型下的R 和H 分量提取,然后利用閾值分割算法對花椒果實進行分割。再在分割結果的基礎上實現花椒果實采摘點的精確定位。結果顯示,對不同光照下的花椒果實均有較好的分割效果,采摘點的選擇誤差也較小,為后期花椒采摘機器人的研究奠定了一定的基礎。Peng 等人[9]基于數字圖像處理技術,對石榴的葉綠素進行預測。首先對石榴圖像進行閾值分割、噪聲處理、背景分離等,以去除背景和噪聲干擾。然后通過層疊稀疏自編碼(SSAE)網絡自動學習葉片RGB 圖像的內在特征,獲得簡潔的數據特征。最后,建立了葉片RGB 圖像特征與其SPAD 值之間的預測模型,以此對石榴葉片葉綠素含量進行預測。結果表明,本研究中深度神經網絡葉綠素含量檢測的準確性和自動化程度均高于傳統的機器學習方法。
聚類分割主要是將一些相互獨立的模式,按一定的相似性進行組合的過程,即同一類別中相似性要比不同類別的相似性更高[10]。聚類分割一般應用于邊緣模糊,背景復雜的情況下,相比傳統的分割算法,聚類分割具有無監督、高效等優勢,現農業中應用最廣的聚類算法主要是模糊C 均值算法和K 均值聚類算法。劉智杭等人[11]提出了一種將K-means 算法和局部異常因子(LOF)算法相結合的圖像分割算法,對運用LOF 算法篩選過的像素點集合進行k 均值聚類,該方法可以降低孤立點和離群點的影響,實驗表明,該算法可以對不同背景和光照下的葡萄果穗精準分割。Van Huy Pham 等人[12]提出了一種基于分割和歸并的混合算法,用于水果缺陷檢測的圖像分割。該算法首先使用K-means 算法將原始圖像劃分為多個區域,然后使用最小生成樹的合并過程,以將相似區域迭代合并為新的區域。這種組合是一種有效的方法,對缺陷分割精度和分割速度方面都呈現出了良好的效果。Yang Yu 等人[13]提出了一種基于多圖像特征和加權k 均值聚類算法的快速有效的蘋果自動分級方法。該方法提供了一種利用四個圖像(頂部、底部和兩側)和每個蘋果的平均灰度值來區分蘋果缺陷、莖和花萼的新方法。結果顯示,用該方法分級的總準確率大于96%。遲德霞等人[14]運用模糊C 均值聚類算法對稻田里的水稻秧苗進行分割,對圖像中的泡沫、水、秧苗等物體的RGB 值進行提取,選取正交彩色空間I3 顏色分量灰度值作為樣本數據進行聚類處理,結果表明,m=2 時,可以較好地將水稻秧苗從背景中分割出來,平均誤差率1.5%。
基于邊緣檢測的圖像分割是先確定研究者感興趣的區域邊緣像素,然后再把這些邊緣像素連接起來,就組成了分割的目標區域邊界。反映到圖像中的灰度,即灰度值發生突變的區域。較常見的邊緣檢測算子有:Prewitt 算子、Sobel 算子、Canny 算子和 Roberts 算子[15]。王建侖[16]提出了一種田間葉片分割和圖像三維重建的新方法,圖像分割主要采用Canny 和OTSU 相結合的方法,去除了復雜背景的干擾,對算法進行優化后,有效地將葉子邊緣區域完整分割,實驗表明,田間葉子分割精度為72.5%。馮青春等人[17]通過將閾值分割和Robert 邊緣檢測算子相結合,分割出黃瓜果實的目標區域,并以此確定黃瓜機器人的目標采摘區域,實驗顯示該算法有效地減少了定位誤差,定位精度可達2 mm。Long Li 等人[18]研制了一種用于蘋果表面損傷和內部品質檢測的光學傳感系統。研究了等高線提取與標記約束分水嶺分割相結合的方法,解決了蘋果圖像中灰度不均勻的問題。實驗中對300 個未損傷的蘋果進行分割,正確分割率為97.3%。Xi Tian 等人[19]采用主成分分析(PCA)、偽彩色圖像變換技術和改進的分水嶺分割算法(IWSA)等圖像處理方法,分析了基于聲音和腐爛橘子的高光譜透射率掃描圖像(325-1098 nm)進行衰減檢測的可行性。將偽彩色圖像中G 分量提取,增強病變組織與正常組織的圖像對比度,然后利用IWSA 可以對橘子病變區域進行精準分割。陳含等[20]提出了一種基于Sobel 算子,對小麥麥穗進行邊緣檢測并實現圖像分割的方法,將該方法與最大值法、G 分量法和加權平均法進行比較,結果表明,運用Sobel 算子邊緣分割可以有效地將小麥麥穗從復雜背景中分割出來,分割的效率和精度均優于以上三種算法。
傳統的圖像分割需要研究者手動設置特征參數,這需要研究者在圖像分割領域有一定的知識和經驗,而且分割結果有時也不能滿足研究者的需求[21],近年來,深度學習成為當前的研究熱點,該技術也被逐漸應用到農作物圖像分割中,與傳統的分割算法相比,分割性能有了很大的提升。熊雄[22]用三種基于深度學習的算法(即:Panicle-SEG、Panicle Net 和 Panicle Net v2)對稻穗分割,對比發現,基于深度學習的分割效果比傳統的方法效果更優異,對細小稻穗的的敏感度更高,且三種分割算法中,Panicle Net v2 的分割效果最好。喬虹等人[23]運用Mask R-CNN 的分割算法對田間的葡萄葉片進行分割,該算法是對Faster R-CNN 進行優化來實現分割,實驗結果顯示,對不同天氣(晴天、陰天)正常、病害、不同品種葡萄葉片分割的平均精度均大于88%。王鵬飛[24]通過Mask R-CNN 網絡對玉米田間的雜草進行分割。將Mask R-CNN 網絡和一些常見的圖像分割網絡對雜草分割效果進行對比,對比結果顯示,當IoU=0.5 時,對玉米及雜草的邊緣分割效果較好,平均精度為0.8133。Jin Shichao 等人[25]提出了一種結合深度學習和區域生長算法從陸地激光雷達數據中分割單個玉米的方法。運用R-CNN(基于區域的卷積神經網絡)模型,對三個不同種植密度的地塊進行試驗。結果表明,深度學習與區域生長算法相結合的方法在玉米個體分割中具有較好的應用前景,三個種植密度不同的試驗點的r、p、F 值均大于0.9。此外,算法切分的玉米高度與人工測量的高度高度相關(r2>0.9)。
農作物的圖像分割主要是對農作物果實、葉片、根系等一些主要器官進行分割,為農作物生長狀況實時監測,以及農業采摘機器人的研發提供了一定的理論基礎。這種技術的使用,有效的解決了傳統農業效率低、周期長、人為主觀性強等不足,但隨著該技術的大量推廣與使用,圖像分割中存在的一些弊端也逐漸呈現出來。①農作物種類繁多,現有的圖像分割算法僅適用于一些特征顯著,背景相對簡單的情況,所以算法的性能還需要進一步的提高。②目前的圖像分割算法不具有普遍性,對于不同的農作物,甚至相同農作物的不同形態背景,都需要研究適應的分割算法來實現。