基于顏色指數與閾值法的稻田圖像分割

孫濱峰 葉 春,2 李艷大* 舒時富 曹中盛 吳羅發 朱 艷 何 勇

(1.江西省農業科學院 農業工程研究所，南昌 330200； 2.南昌大學 機電工程學院，南昌 330031； 3.南京農業大學 國家信息農業工程技術中心，南京 210095； 4.浙江大學 生物系統工程與食品科學學院，杭州 310029)

圖像分割是指將圖像中具有特殊意義的不同區域分開來，并使這些區域相互不相交，且每個區域應滿足特定區域的一致性條件。圖像分割是圖像分析和模式識別的基礎，決定了圖像分析的質量，是開展基于圖像的作物或雜草識別、生理狀態估計、水果分級和采摘、作物病害檢測和作物生長監測研究的前提。稻田圖像分割是指圖像的像素分為水稻和背景(土壤、水體和雜草等)兩類的過程。稻田圖像分割質量受到水稻品種、長勢特征、光照的角度、成像設備、作物顏色隨光照條件的變化以及水稻生長發育階段等因素影響，稻田圖像分割是農業圖像分析的熱點與難點。

作物冠層圖像分割的常用方法包括基于閾值的方法、基于顏色指數的方法和基于機器學習的方法。基于閾值的方法簡單，包括動態策略、Otsu閾值、固定閾值和直方圖熵等；顏色指數也稱色彩指數、顏色因子或顏色特征，可分為相對單色指數、多色對比指數和組合指數；基于機器學習的方法采用監督、非監督方法分割圖像前景和背景。結合顏色指數和閾值的方法具有操作性強、易推廣性、結果準確等優點。已有對基于顏色指數和閾值的大田圖像分割的廣泛的研究：Guijarro等采用5種顏色指數對在不同光照條件下的大麥和玉米大田圖像開展了分割研究，結果表明組合指數COM1具有最佳分割精度；王遠等利用綠色植被在可見光波段的光譜特性，通過設定數字圖像綠色通道和紅色通道差值的閾值實現對稻田圖像的分割；Castillo-Martínez等提出了2種改進的顏色指數，并根據環境條件，分別采用固定閾值和動態閾值法實現作物圖像的分割；Suh等評估了8種顏色指數和5種閾值技術的40種組合針對不同光照強度、陰影和植物的圖像分割效果。然而，受大田環境和背景元素的影響與制約，顏色指數在不同環境下的分割精度不同。目前，系統、全面的分析不同顏色指數對大田圖像研究尚少，特別是南方稻田圖像分割的適應性缺乏研究，往往導致研究結果存在爭議。

分蘗期和拔節期是水稻生育過程中的需水臨界期和營養臨界期，是監測水稻長勢，明確穗肥追氮量的重要階段。因此，本研究擬通過開展田間試驗，選取36種常用顏色指數，針對分蘗期、拔節期稻田數字圖像開展基于顏色指數和閾值的分割研究，通過分析不同顏色指數的分割結果及其對圖像分割干擾因素的解釋能力，篩選出最適宜稻田圖像分割的顏色指數，以期為促進數字圖像技術在稻田精確管理應用提供技術支持。

1 材料與方法

1.1 試驗設計

于2020年3—7月在江西省高安市江西省農業科學院高安基地(28°25′27″ N，115°12′15″ E)開展不同品種和施氮水平組合的小區試驗。共計2個供試品種和4個施氮水平，株行距14 cm×24 cm。供試早稻品種為‘中嘉早17’和‘長兩優173’，4個施氮水平分別為純氮0、75、150和225 kg/hm。各小區的鉀肥和磷肥施用量一致，分別采用氯化鉀和鈣鎂磷肥，分別用量150 kg/hm(KO)和75 kg/hm(PO)；氮肥采用尿素。氮肥和鉀肥均按基肥50%、分蘗肥30%和穗肥20%施用，磷肥作基肥一次施用。

1.2 圖像采集

選取晴朗無云的天氣，分別于水稻分蘗期和拔節期，太陽高度角相對穩定的12:00—13:00時，利用數碼相機(CanonEOS100D，分辨率18 megapixel)獲取水稻冠層圖像。拍攝時，固定相機鏡頭距離水稻冠層約1.0 m，并與冠層呈60°夾角，同時將相機調至Auto模式下，以自動曝光控制色彩平衡，圖片以JPEG格式存儲，分辨率5 184×3 456。

1.3 顏色指數選擇

根據已有的研究成果，選擇36種顏色指數開展大田水稻圖像的分割研究。所采用顏色指數的計算方法和來源見表1。采用IDLE(Python3.7)處理圖像噪聲和計算顏色指數。

1.4 分割方法

選取閾值分割法進行圖像分割。其中，ExGR采用固定閾值0分割，其他顏色指數采用多重Otsu方法自動提取閾值。

表1 顏色指數及其代數式
Table 1 Color indices and mathematical expressions

顏色指數Color index代數式Formula文獻Reference顏色指數Color index代數式Formula文獻ReferenceR—[16]COM1ExG+CIVE+ExGR+VEG[12]G—[16]COM20.36ExG+0.47CIVE+0.17VEG[26]B—[16]RGBVIG2-R×BG2+R×B[27]GMRG-R[14]MGRVIG2-R2G2+R2[27]NRIRR+G+B[17]MExG1.262G-0.884R-0.311B[28]NGIGR+G+B[17]NGBDIg-bg+b[24]INTR+G+B3[17]GLI2g-r-b2g+r+b[29]NBIBR+G+B[17]VARIg-rg+r-b[30]H—[18]L*—[31]NDI128G-RG+R [19]a*—[31]MHcos-12R-G-B2R2+G2+G2-RG-GB-RB[20]b*—[31]ExG2g-b-r[20]LIL*-b*[31]WoebbeckIndex (WI)g-b|r-g|[20]AIb*-a*[31]ExR1.4R-G[21]ALa*/L*[31]ExGRExG-ExR[22]ABa*/b*[31]CIVE0.441R-0.811G+0.385B+18.787 45[23]NDLBI(L*-b*)/(L*+b*)[31]NGRDIG-RG+R[24]NDALI(a*-L*)/(a*+L*)[31]VEGGRaB(1-a)[25]NDABI(a*-b*)/(a*+b*)[31]

將顏色指數圖像拉伸至0～255，灰度值為

i

的像素數設為

n

，圖像總像素為像素灰度值

i

出現的概率為設存在閾值

k

，將圖像劃分為C:{0，1，2，…，

k

}和C:{

k

+1，

k

+2，…，255}兩類，使得類間方差

σ

(

k

)達到最大。

p

(

k

)、

p

(

k

)分別為C和C出現的概率，

u

(

k

)、

u

(

k

)分別為C和C的均值，則有：

(1)

(2)

(3)

(4)

類間方差

σ

(

k

)計算公式如下：

(5)

當類間方差達到最大時，

k

為最優閾值，即Otsu閾值：

(6)

1.5 分割精度評價

選取大田環境的稻田圖片開展分割研究。采用AdobePhotoshop 7.0對稻田圖片進行手工分割，得到稻田圖像的標準分割作為對照(圖1)。為了能夠更加合理評價分類的優劣，本研究借鑒參考文獻[33]，定義以下3個分類指標：

1)正確分類率。

正確分類率(CCR)是指所有分類正確的樣點與總樣點個數的比值，其計算公式如下：

(7)

式中：GT為第

j

類的標準分割；Seg為第

j

類的實際分割結果；CCR表示的是實際分割結果與標準分割的接近程度，CCR越高表示分割結果越接近標準分割。

2)水稻漏分率。

水稻漏分率是指實際為水稻像素被錯誤地分到背景的概率，計算公式如下：

水稻漏分率

(8)

3)背景錯分率。

背景錯分率是指分類后被劃為水稻實際上為背景像素的概率，計算公式如下：

背景錯分率

(9)

圖1 數碼相機拍攝的水稻冠層圖像和對應的標準分割圖示例Fig.1 Digital camera images of rice canopy and corresponding manually segmented images by Photoshop

2 結果與分析

2.1 分蘗期稻田圖像分割結果

圖2為分蘗期水稻和背景顏色指數的箱型圖。箱型圖中，深綠色和深藍色的箱體分別標記的是36個顏色指數在水稻和背景上的分布特征。箱型圖中，盒子的上下兩條線分別表示樣本的上下四分位數，盒子中間的水平線為樣本的中位數。可以看出，水稻和背景在

L

、

G

、

B

等單色指數上重疊度高、變化幅度大，導致區分度低，在NGI、ExG等多色對比指數上的重疊度次之，而在復合指數COM2、AB、CIVE等顏色指數上重疊度最低。

圖2 分蘗期水稻和背景顏色指數箱型圖Fig.2 Boxplot of color indices of rice and background from image at tillering stage

為了衡量36種顏色指數在稻田圖像分割中的應用效果，采用基于多重Otsu方法的閾值法，計算分割結果的正確分類率、水稻漏分率和背景錯分率，分蘗期稻田圖像分割結果見圖3。

水平、垂直的虛線構成了4個象限，分別由1、2、3、4表示。虛線環為等值環，其上數值為其代表的精度值。 The horizontal and vertical dashed lines split rose map into 4 quadrants represented by 1, 2, 3 and 4. The dotted ring is the equivalent ring, and the value above it is the value it represents.圖3 分蘗期水稻和背景分割結果Fig.3 Segmentation results of rice and background at tillering stage

由圖3可見：分割精度最低的是基于

L

、LI、NDLBI、

B

、

G

等色彩指數的分割結果，其分割正確分類率低于80%，基于AB、COM2、CIVE、MExG和GMR等5種色彩指數分割的正確分類率最高，約95%～97%；位于象限1中的色彩指數具有較高的水稻漏分率和背景錯分率，象限2、3中的色彩指數具有較高的水稻漏分率和較低的背景錯分率，象限4中的色彩指數具有較低的水稻漏分率和背景錯分率。

通過比較基于色彩指數的分割結果和標準分割結果，背景中水稻倒影和浮萍增加了圖像中水稻和背景的類內方差(圖4)，導致水稻漏分與背景錯分。由圖4可知，AB、COM2、MxEG、CIVE和GMR等顏色指數對背景要素敏感，能較好的區分水稻與背景元素。

圖4 分蘗期圖像中水稻與背景要素的顏色指數關系Fig.4 Relationship between the color indices of rice and background elements in the image of tillering stage

2.2 拔節期稻田圖像分割結果

圖5為拔節期水稻和背景顏色指數的箱型圖。可知:與分蘗期圖像相似，拔節期稻田圖像中，水稻和背景在

R

、

B

、

L

等單色指數上重疊度較高，在NRI、NDI等多色對比指數上的重疊度次之，而在復合指數COM2、MExG等顏色指數上的重疊度最低。拔節期圖像中，水稻和背景在各個顏色指數上變化較之分蘗期更大。

圖5 拔節期水稻和背景顏色指數箱型圖Fig.5 Boxplot of color indices of rice and background from image at jointing stage

圖6為拔節期水稻和背景分割結果。分蘗期分割精度最低的是NDLBI、

R

、

B

等20種色彩指數，分割精度低于80%，基于COM2、MxEG、CIVE、GMR和VARI等5種色彩指數的分割精度較高，約88%～90%。位于象限1中的色彩指數具有較高的水稻漏分率和背景錯分率，象限4中的顏色指數具有較低的水稻漏分率和背景錯分率。通過比較基于顏色指數的分割結果和標準分割結果，拔節期稻田圖像分割的誤差主要來自稻葉鏡面反射形成的亮綠色區域、浮萍和土壤陰影間的錯分。亮綠色區域在

G

顏色指數上主要分布在高值區域，與背景具有明顯重疊，特別是與背景中的浮萍完全重疊。亮綠色區域分布在

L

顏色指數上具有較低亮度值的區域，這些區域與背景區域具有明顯的重疊(圖7)。葉片鏡面反射、土壤陰影和浮萍增加了圖像中水稻和背景的內類方差，導致水稻漏分與背景錯分；COM2、MxEG、CIVE、GMR和VARI等顏色指數能較好的區分水稻與背景元素。

圖6 拔節期水稻和背景分割結果Fig.6 Segmentation results of rice and background at jointing stage

圖7 拔節期圖像中水稻與背景要素的顏色指數關系Fig.7 Relationship between the color indices of rice and background elements in the image of jointing stage

3 討 論

分蘗期和拔節期是水稻長勢監測的重要階段。水稻分蘗期往往采用淺水灌溉，獲取的圖像存在水、水稻植株倒影和浮萍等背景元素的影響。分蘗期的水稻植株較小，占圖像的36.20%，圖像中背景信息相對凸出。由于水稻分蘗末期和拔節期曬田管理，拔節期圖像不存在水的影響。拔節期水稻已封行，水稻占圖像的比例接近70%，稻田冠層結構較之分蘗期復雜，存在明顯的陰影和葉片鏡面反射。葉片鏡面反射、陰影和浮萍是水稻漏分和背景錯分的關鍵因素。本研究表明，組合指數COM2、MxEG、CIVE和GMR 4種顏色指數在分蘗期圖像和拔節期圖像均具有較好的分割精度，較其他32種顏色指數具有較低的水稻漏分率和背景錯分率，這與已有研究一致。說明這4種顏色指數對水稻和背景干擾因素具有較強的區分能力。因此，顏色指數COM2、MxEG、CIVE和GMR更適宜于稻田RGB圖像的分割應用。

自然光照對圖像分割精度具有決定性作用。因此，研究者常選擇晴天、多云和陰天條件下分別獲取圖像并開展圖像分割研究。在晴天強光折射下，密集的陽光會在葉片或土壤中產生鏡面反射和陰影，導致晴天條件下圖像分割精度低于陰天和多云條件下圖像分割精度。已有的顏色指數在多云和陰天條件下具有更好的分割性能，且農作物長勢監測往往選取晴天條件下采集作物長勢信息。因此，為了檢驗顏色指數的稻田圖像分割效果，本研究選取晴朗無云的天氣，獲取水稻冠層圖像。

閾值法是獲得圖像精確細節的簡單有效的方法。常用的閾值化技術包括Otsu、Kapur和最小誤差法等。部分研究認為多重Otsu具有較好的圖像分割結果，也有研究表明Kapur的表現優于 Otsu和最小交叉熵等閾值方法。Otsu目標函數通過最大化類別方差來估計最佳閾值，該方法具有計算量小，易于實現等優點，是一種常用的最佳閾值算法。Otsu對類間方差為單峰的圖像有較好的分割效果，因此本研究采用多重Otsu方法提取閾值。

由于顏色指數和閾值技術的組合對植物類型和光照強度是敏感的，本研究僅以晴朗天氣條件下的稻田圖像計算顏色指數，并采用Otsu算法提取閾值，可能會對結果準確性造成一定影響。由圖7可知，設置單一的閾值易造成植物像素與背景像素合并，導致稻田圖像的欠分割或過分割。因此，在今后的研究中擬采用動態閾值法進一步探索稻田圖像的分割應用。

4 結 論

本研究選擇36種常的顏色指數，以分蘗期和拔節期稻田圖像為研究對象，開展基于顏色指數和閾值的分割研究，主要結論有：水稻倒影和浮萍是分蘗期稻田圖像分割的主要干擾因素，葉片鏡面反射、浮萍和土壤陰影是拔節期稻田圖像分割的主要干擾因素；組合指數COM2、MxEG、CIVE和GMR在分蘗期圖像和拔節期圖像均具有較好的分割精度。因此，基于COM2、MxEG、CIVE和GMR顏色指數和Otsu閾值的稻田圖像分割方法對稻田圖像分割的干擾要素具有較強的區分能力，分割精度高，更適宜于南方稻田圖像處理應用。