基于Lab顏色空間的非監督GMM水稻無人機圖像分割

曹英麗 林明童 郭忠輝 肖 文 馬殿榮 許童羽

(1.沈陽農業大學信息與電氣工程學院， 沈陽 110866； 2.遼寧省農業信息化工程技術中心， 沈陽 110866；3.沈陽農業大學農業農村部東北水稻生物學與遺傳育種重點實驗室， 沈陽 110866)

0 引言

農田作物信息的快速獲取與解析是開展精準農業實踐的前提和基礎，是突破制約中國精準農業應用發展瓶頸的關鍵。作物生長期預測[1]、作物品系檢測[2]、覆蓋作物識別[3]、葉病檢測[4-5]和作物生物量監測[6]都高度依賴于作物分割算法的性能。作物分割在農業信息自動化中起到基礎性的作用[7]。

文獻[8-9]提出了基于多色彩空間和支持向量機的Multi-SVM分割方法，將支持向量機(SVM)和最大類間方差法(OTSU)相結合，用于水稻冠層圖像分割。文獻[10]采用卷積神經網絡和超像素優化的深度學習方法，提出稻穗分割算法Panicle-SEG。文獻[11]綜合考慮分割性能和計算速度，提出基于SegNet的PanicleNet算法，其精度遠優于Panicle-SEG算法，且計算速度約為Panicle-SEG算法的35倍。有研究者將改進的全卷積神經網絡應用于云杉圖像分割[12]、柑橘分割[13]、牧草識別[14]和棉田分割[15]。文獻[16]提出一種弱監督深度學習方法，可以使用少量的弱監督標簽對農田圖像進行分割。

以上研究均基于監督學習，需要大量的標記訓練數據，消耗大量的人力和物力。監督學習算法的性能在很大程度上依賴于訓練數據集的質量。由于作物種植環境復雜，不同圖像的像素具有不同的統計特性。例如，光照和天氣條件對不同圖像稻穗像素的統計分布有極大的影響。即使采用大量不同環境下拍攝的圖像對監督算法進行訓練，單一訓練模型也難以捕捉到不同圖像間的巨大差異。在一個圖像集上訓練的算法，在其他不同環境下拍攝的圖像集上可能會表現不佳。因此，迫切需要開發一種非監督學習算法，能夠學習、識別和適應每個圖像的潛在統計特性，從而在多種情況下能夠取得很好的表現，且不需要對大量圖像進行標記。

近年來，非監督的作物圖像分割方法取得了一些進展。文獻[17]將K-means聚類與圖分割相結合(KCG)，從背景圖象中分離出水稻籽粒，從而預測水稻產量。針對背景和雜草干擾下的果樹圖像冠層提取問題，文獻[18]提出了一種基于M-LP特征加權K-means聚類的冠層分割算法。文獻[19]研究了一種基于自適應聚類數的改進K-means算法，對番茄葉片圖像進行分割。文獻[20]提出一種非監督貝葉斯學習方法，基于RGB圖像對水稻穗圖像進行分割，該算法通過識別同一圖像中穗像素和非穗像素統計分布的內在差異實現穗檢測，不需要訓練。在該非監督學習方法中，用一個多元高斯混合模型(GMM)代表一個圖像的像素強度，GMM的每個分量對應一個可能的類別。模型參數從每個獨立、未標記的無人機RGB圖像直接學習獲得。不同的圖像會有不同的模型參數，該算法能夠適應各種不同環境拍攝的圖像。但是，在田間作業條件下，水稻冠層圖像的RGB顏色特征顯著受光強影響，基于RGB顏色空間的分割方法的穩健性和精確度較低[21]。Lab顏色空間將顏色屬性從光強屬性中獨立出來，可以在一定程度上降低野外多變光強環境的影響[22]。

為解決以上問題，本文提出一種基于Lab顏色空間的非監督貝葉斯GMM田間水稻無人機圖像分割方法，自動分析未標記圖像像素的統計特性，無需訓練，降低田間多變光照強度的影響，以期為精準農業航空研究提供支持。

1 材料與方法

1.1 試驗設計與數據采集

田間試驗于2019年在沈陽市沈陽農業大學(SYAU)路南試驗田(123°57′44″ E,41°83′36″ N)進行。沈陽市屬溫帶半濕潤大陸性氣候，地勢平坦，年平均氣溫6.2～9.7℃，降雨量600～800 mm。

試驗設置4個氮處理梯度和5個水稻品種，共20個小區，如圖1所示。4個氮肥水平為：N0(0 kg/hm2)、N1(50 kg/hm2)、N2(100 kg/hm2)、N3(150 kg/hm2)。選取遼寧地區5個主栽水稻品種：V1(399)、V2(鹽豐47)、V3(橋潤粳)、V4(美豐稻)、V5(鹽粳糯66)。每小區種植10行，行距0.25 m，列距0.2 m，不同氮肥小區間用土埂隔離，粳稻生長過程中其他試驗條件保持一致。

于2019年6月25日(水稻分蘗后期)使用無人機拍攝正射影像。圖像采集時間在10:00—12:00，飛行高度分別設置為10 m和15 m。試驗期間天氣晴朗，無風或微風。采用大疆精靈4(PHANTOM4)型無人機作為遙感平臺，最大可承受風速為10 m/s，懸停精度為垂直-0.1～0.1 m、水平-0.3～0.3 m。高清數碼相機焦距為35 mm，圖像尺寸為4 000像素×3 000像素。共得到拍攝高度10 m圖像259幅，拍攝高度15 m圖像178幅。使用Pix4DMapper軟件分別對10 m和15 m圖像進行拼接處理，獲取水稻試驗田高度10 m和15 m全景圖。在高度10 m試驗田全景圖中，利用Photoshop軟件隨機截取5幅300像素×300像素的圖像；在高度15 m試驗田全景圖中，隨機截取5幅200像素×200像素的圖像，共截取10幅圖像。

1.2 關鍵顏色特征集構建

田間多變光強條件顯著影響拍攝圖像的RGB顏色空間像素值，從而影響圖像分割算法的精確性和穩定性。Lab顏色空間能在一定程度上降低光強變化的影響。對于彩色圖像處理，顏色空間的建立及選擇非常重要，顏色空間是彩色圖像處理、分析和理解的基礎，顏色空間的選取將直接影響彩色圖像的處理方法及效果。

計算無人機圖像的顏色特征L、a、b，另外獲取其R、G、B和H、S、V顏色特征。獲取的無人機圖像以RGB顏色空間存儲，將RGB顏色空間圖像轉換為HSV和Lab顏色空間圖像，得到H、S、V、L、a、b以及R、G、B共9個顏色特征子空間，即原始RGB彩色圖像被分解為9個灰度圖像。其中顏色特征H、S、V與R、G、B的轉換關系為

(1)

(2)

(3)

其中

(4)

另外，顏色特征L、a、b與R、G、B的轉換關系可表示為

L=116f(Y)-16

(5)

(6)

(7)

其中

(8)

(9)

本文分別選取顏色特征L、a、b用于非監督貝葉斯方法的圖像分割，另外將R、G、B，H、S、V和全部9個顏色特征的分割結果進行比較。分割方法分別記為Lab-GMM和RGB-GMM、HSV-GMM、All-GMM。

1.3 貝葉斯框架下的圖像分割模型

監督學習算法需要大量的標記訓練圖像，這需要極大的人工成本。且單一的訓練模型難以捕捉不同圖像間的巨大差異。在一個圖像集上訓練的算法，在其他不同環境下拍攝的圖像集上可能效果不佳。本文采用非監督貝葉斯方法進行圖像分割，不需要標記訓練數據。在貝葉斯框架下，用一個多元高斯混合模型(GMM)代表一個圖像的像素強度，GMM的每個分量對應一個可能的類別。在該非監督學習方法中，模型的參數直接從每個獨立的未標記圖像獲得，不同的圖像對應不同的模型參數，這使得該算法能夠適應不同環境下拍攝的圖像。

假設每個無人機圖像包含N個像素，則可將圖像表示為

X=[x1x2…xi…xN]

(10)

其中

xi=[xi1xi2…xip]T

(11)

式中p——顏色特征數

若選取顏色特征L、a、b，則p=3，且xi1、xi2、xi3分別對應第i個像素的顏色特征L的值、顏色特征a的值和顏色特征b的值。

圖像中的每個像素都被分為K個類別之一，如水稻、泥土等。K由人為給定，在本文中K為2。定義隱變量Z指示圖像像素的類別

Z=[z1z2…zi…zN]

(12)

式中zi——像素i所屬類別

假設觀測數據X由高斯混合模型生成

(13)

其中Θ={{q1,q2,…,qk},{μ1,μ2,…,μk},

{Φ1,Φ2,…,Φk}}

(14)

式中qi——像素屬于第i類的概率

μi——第i類對應多元高斯分布的均值向量

Φi——第i類對應多元高斯分布的協方差矩陣

本文的目標是基于無人機數碼圖像X，通過非監督貝葉斯分類器識別所有像素的類別Z。最大后驗概率(MAP)決策方法能夠最大化zi的后驗概率

(15)

式中，Θ通過EM算法進行估計。

1.4 期望最大化算法

EM(Expectation-Maximization)算法是一種迭代優化算法，常用于包含隱變量的概率模型的參數估計。本文采用EM算法，最大化高斯混合模型參數的對數似然函數L(Θ)來估計模型參數，具體步驟如下：

(2)E步

(16)

(3)M步

(17)

(18)

(19)

(20)

(4)重復步驟(2)和步驟(3)，直到參數收斂。

(21)

(22)

(23)

(24)

(25)

1.5 精度評價

為評估該非監督貝葉斯學習方法的精度，將無人機圖像像素人工標記為植被和非植被。通過軟件分析發現，圖像中不存在純紅像素(R=255，G=0，B=0)，故在Photoshop軟件將水稻像素標記為純紅色，則未標記部分即為非水稻像素。人工標記的結果作為評估的基準，通過逐個像素比較人工標記結果和自動分割圖像來定量評估算法的結果。

根據分割結果和人工標記結果計算查全率R(Recall)、查準率P(Precision)和F1值，另外繪制ROC曲線并計算ROC曲線下的面積AUC值，全面分析算法精度。

2 結果與分析

2.1 非監督貝葉斯方法分割結果

將原始RGB無人機圖像進行顏色空間轉換得到顏色特征向量集，包含R、G、B、H、S、V、L、a、b共9個顏色特征向量。建立基于Lab顏色空間、RGB顏色空間、HSV顏色空間以及全部9個顏色特征的貝葉斯模型(Lab-GMM、RGB-GMM、HSV-GMM和All-GMM)。高度10、15 m不同植被覆蓋度梯度的圖像分割結果如圖2、3所示。

圖2、3的視覺比較表明自動檢測結果和人工標記結果有很強的相關性。HSV-GMM和All-GMM僅大致分辨出植被像素和非植被像素，效果一般；RGB-GMM和Lab-GMM均能較準確地對圖像進行分割，分割結果與人工標記結果有很強的相關性。

2.2 水稻冠層圖像分割結果定量評價

為驗證基于不同顏色特征集的高斯混合模型對獲取的水稻冠層無人機圖像的分割效果，以人工分割的水稻冠層圖像作為基準，計算Lab-GMM和RGB-GMM、HSV-GMM、All-GMM分割方法的查全率R、查準率P和F1值，其結果如表1和表2所示。

HSV-GMM和All-GMM的查全率較高，對于高度10 m圖像，HSV-GMM的平均查全率達到0.824 4，All-GMM的平均查全率達到0.873 7；對于高度15 m圖像，HSV-GMM的平均查全率達到了0.878 9，All-GMM的達到了0.902 4。然而，這2種算法的查準率偏低，對于高度10 m圖像，平均查準率僅為0.619 4和0.619 1；對于高度15 m圖像，僅為0.561 6和0.572 4。HSV-GMM和All-GMM查全率高而查準率低的情況導致了較低的F1值，對于高度10 m圖像，2種算法的平均F1值僅為0.646 6和0.692 7；對于高度15 m圖像，為0.653 8和0.676 0。HSV-GMM和All-GMM的分割效果不太理想。

表1 高度10 m圖像分割結果對比Tab.1 Comparing results of images segmentation at 10 m height

表2 高度15 m圖像分割結果對比Tab.2 Comparing results of images segmentation at 15 m height

RGB-GMM能較準確地識別出水稻像素，對于高度10 m圖像，RGB-GMM的平均查全率、平均查準率和平均F1值分別為0.757 8、0.744 4和0.745 8；對于高度15 m圖像，分別為0.782 3、0.719 0和0.727 8。RGB-GMM的查全率和查準率均較高，這使得F1值也較高。RGB-GMM的分割效果較好，明顯優于HSV-GMM和All-GMM。

Lab-GMM算法能夠準確分割圖像。對于高度10 m圖像，Lab-GMM的平均查全率、平均查準率和平均F1值分別為0.842 7、0.757 0和0.794 8，分別比RGB-GMM高0.084 9、0.012 6和0.049；對于高度15 m圖像，Lab-GMM的平均查全率、平均查準率和平均F1值分別為0.875 6、0.713 3和0.778 8，平均查全率比RGB-GMM高0.093 3，平均查準率比RGB-GMM低0.005 7，平均F1值比RGB-GMM高0.051。顯然，Lab-GMM的性能顯著優于RGB-GMM，能夠準確識別無人機圖像中的水稻像素，具有良好的魯棒性。

為了更加直觀地比較算法之間的性能差異，以FPR(假正例率)為橫軸，TPR(真正例率)為縱軸，繪制受試者工作特征曲線(ROC曲線)，如圖4和圖5所示。另外計算了各ROC曲線下的面積，即AUC值，如表3、4所示。

算法在圖像4、5、8、10上的表現基本一致。

HSV-GMM和All-GMM算法在圖像1、2、3、6、9上的識別效果較差，性能波動大。在高度10 m圖像上，HSV-GMM的AUC值最小為0.725 5，平均值為0.859 7；All-GMM的AUC值最小為0.879 1，平均值為0.908 8。在高度15 m圖像上，HSV-GMM的AUC值最小為0.646 8，平均值為0.829 6；All-GMM的AUC值最小為0.645 5，平均值為0.843 7。RGB-GMM算法的性能較好，在高度10 m圖像上的平均AUC值達到了0.910 1，在高度15 m圖像上為0.894 7，優于HSV-GMM和All-GMM算法。

表3 高度10 m圖像分割結果的AUC值Tab.3 AUC value of 10 m images segmentation result

表4 高度15 m圖像分割結果的AUC值Tab.4 AUC value of 15 m images segmentation result

但是RGB-GMM在圖像7上的性能顯著下降，AUC值只有0.740 3，這可能是圖像7的光照強度不均勻造成的。Lab-GMM算法在全部10幅圖像上均表現出良好的性能，在高度10 m和15 m圖像上的最小AUC值分別達到0.927 1和0.898 6，平均AUC值達到了0.941 4和0.938 8，比RGB-GMM分別高0.031 3和0.044 1。

Lab-GMM和RGB-GMM算法在10幅圖像中的ROC曲線變化較小，性能較穩定，且Lab-GMM始終優于RGB-GMM。這是由于RGB顏色空間易受到光照強度的影響，而光照強度對Lab顏色空間的影響較小。HSV-GMM和All-GMM的ROC曲線基本一致，這是因為在All-GMM中H、S、V顏色特征起主要作用。另外，HSV-GMM和All-GMM在圖像4、5、8、10上的ROC曲線與Lab-GMM基本一致，而在其余圖像中HSV-GMM和All-GMM的ROC曲線明顯在Lab-GMM下方。比較10幅無人機圖像，圖像4、5、8、10的水稻生長狀況明顯優于其余圖像，使得圖像的植被覆蓋度較高，其他圖像植被覆蓋度較低且存在較多水稻陰影。HSV-GMM和All-GMM易將水稻陰影區域分割到水稻類別中，導致圖像分割效果不佳。

顯然，Lab-GMM算法優于RGB-GMM、HSV-GMM和All-GMM算法，對不同高度和植被覆蓋度下獲取的水稻冠層圖像的分割效果均最佳，具有優越的分割精確度和穩定性，能夠準確地識別水稻像素，適用于本文中的無人機圖像分割。

2.3 類別區分

本文提出的非監督貝葉斯方法，能夠自動分割水稻無人機圖像，無需標記訓練數據。該算法通過分析像素統計特性的差異，將每個圖像的像素分為2類，即水稻和非水稻，但并不能區分k=1為水稻或k=2為水稻。

定義mi表示第i類像素在顏色通道G上的均值，其中i∈{1,2}?；谠囼灲Y果，水稻像素在顏色通道G上的均值總是最大，如圖6所示。因此，水稻類別可以檢測為

(26)

3 結論

(1)研究了基于Lab顏色空間的非監督貝葉斯GMM田間水稻無人機圖像分割方法。Lab顏色空間將顏色屬性從光強屬性中獨立出來，在一定程度上可以降低野外多變光強環境的影響。本文采用的非監督學習方法可以對未標記圖像直接進行分割，無需訓練，這在處理復雜多樣的環境和不同高度拍攝的圖像時非常有用。試驗表明，該算法能夠精確識別水稻像素，對不同圖像的識別精度穩定，優于現有的基于RGB顏色空間的非監督分割方法。

(2)所提出的算法在高度10 m圖像中的平均查全率、平均查準率和平均F1值分別為0.842 7、0.757 0和0.794 8，在高度15 m圖像中分別為0.875 6、0.713 3和0.778 8，優于RGB-GMM、HSV-GMM和All-GMM算法。