基于顏色統(tǒng)計的水果采摘機器人水果識別的研究

夏康利，何 強

（江漢大學人工智能學院，湖北 武漢 430056）

0 引言

由于我國人口老齡化趨勢不斷加快，出生率下滑，農(nóng)村勞動力嚴重不足。為了解決這一問題，研究人員開發(fā)了一系列不同用途的農(nóng)業(yè)機器人，其中就包括水果采摘機器人。目前，中小企業(yè)銷售的水果很多都是人工分揀包裝，浪費了大量的人工成本，而水果采摘機器人可以節(jié)省大量的勞動力成本。

水果采摘機器人通常通過安裝視覺系統(tǒng)來檢測和識別水果[1]。水果的檢測與識別是水果采摘機器人的重要任務[2]。本文提出了一種新的基于顏色的水果識別方法。傳統(tǒng)的水果檢測和識別方法在RGB顏色空間中進行[3-6]。RGB顏色空間一般采用平面矩形坐標系進行數(shù)學建模，其中三個坐標軸分別表示紅、綠、藍的顏色值。RGB顏色空間不能直接描述顏色的變化，在實際應用中受到了很大的限制[7-10]。本設(shè)計的水果識別方法采用HSV顏色空間，其中H、S和V分別代表Hue（色調(diào)）、Saturation（飽和度）和Value（明度）。HSV顏色空間封裝了顏色信息，使人類更容易感知和記錄顏色在色調(diào)、飽和度、明度等方面的變化[11-12]。

該方法利用了不同種類水果在HSV顏色空間中的統(tǒng)計特性，采用馬氏距離（MD）作為識別的相似度度量。實驗結(jié)果表明，與傳統(tǒng)的基于RGB顏色統(tǒng)計特征的方法相比，該方法更為準確、快速。

1 水果識別方法

我們利用顏色信息來識別水果。將不同水果的RGB顏色空間轉(zhuǎn)化為HSV顏色空間后，每個水果的色調(diào)滿足一定的拉普拉斯分布。因此，我們可以收集每一種水果的大量彩色圖像數(shù)據(jù)，然后用極大似然估計（maximum likelihood estimation, MLE）來估計每一種水果的拉普拉斯分布參數(shù)（位置參數(shù)和尺度參數(shù)），并將拉普拉斯分布作為這類水果的特征分布。對于每種類型水果的拉普拉斯分布，其置信區(qū)間為90%的拉普拉斯分布對應的馬氏距離（MD）是果實的歸屬距離，稱為特征馬氏距離（characteristic Mahalanobis Distance, CMD）。即如果某一水果的拉普拉斯分布對應的輸入色調(diào)值的馬氏距離（MD）小于某特殊水果類型的特征馬氏距離（CMD），則輸入水果至少有90%的概率屬于這種水果，可在實踐中將該輸入水果識別為該特殊水果。

1.1 水果的顏色特性

在HSV顏色空間中，H在MATLAB中表示范圍從0到1的色調(diào)值。從0到1的色調(diào)值對應顏色在顏色圈上的位置。當色調(diào)值從0增加到1時，顏色從紅色過渡到橙色、黃色、綠色、青色、藍色、品紅，最后回到紅色。紅色在0和1附近，而品紅的范圍是0.9到1。在實踐中，根據(jù)色調(diào)色圈的周期性，當我們將0.9到1的所有色調(diào)值減去1，變成-0.1到0時，紅色的拉普拉斯分布可以是連續(xù)的。因此，在實驗中，將水果從0.9到1之間的色調(diào)值減去1，每種水果的顏色都符合拉普拉斯分布。

在圖1至圖5中，考慮了5種水果——紅蘋果、橘子、香蕉、綠葡萄和黃瓜。在每個圖中，左側(cè)是RGB水果顏色數(shù)據(jù)，右側(cè)是與左側(cè)相對應的色調(diào)直方圖。可以看到，每種水果的色調(diào)可以近似于拉普拉斯分布。

圖1 紅蘋果RGB顏色數(shù)據(jù)及色調(diào)直方圖

圖2 橘子RGB顏色數(shù)據(jù)及色調(diào)直方圖

圖3 香蕉RGB顏色數(shù)據(jù)及色調(diào)直方圖

圖4 綠葡萄RGB顏色數(shù)據(jù)及色調(diào)直方圖

圖5 黃瓜RGB顏色數(shù)據(jù)及色調(diào)直方圖

圖6 顯示了5個水果——紅蘋果、橘子、香蕉、綠葡萄和黃瓜的數(shù)據(jù)集的所有色調(diào)直方圖。

圖6 紅蘋果、橘子、香蕉、綠葡萄和黃瓜（從左到右）的色調(diào)直方圖

在圖7中，研究組將根據(jù)MLE估計的五個數(shù)據(jù)集色調(diào)分布的相應拉普拉斯分布曲線添加到圖6中。我們可以看到，不同水果的色調(diào)分布從左到右是分開的，每個都符合拉普拉斯分布。

圖7 五類水果數(shù)據(jù)對應的拉普拉斯分布曲線

1.2 基于Meanshift算法的圖像分割

Meanshift算法是一種非常有效的聚類迭代算法[11]。在水果色調(diào)圖像中，對于每個像素點，首先計算其相鄰8個點的平均偏移量。平均偏移量是一個矢量，具有大小和方向。然后將當前點更新為平均偏移方向上的點，此過程不斷迭代，直到滿足收斂條件。最后，將每個像素點收斂到其局部點分布密度最高的位置，從而可以分割圖像的每個部分。圖8顯示了水果數(shù)據(jù)的Meanshift分割示例。

圖8 水果RGB圖像與相應的Meanshift分割圖像

1.3 基于馬氏距離（MD）的水果識別

馬氏距離（MD）表示點與一個分布之間的距離。在水果分類和識別中，我們首先收集待分類的各種水果圖像的數(shù)據(jù)集。然后從圖像中分割水果，并應用最大似然估計（MLE）估計每種水果色調(diào)的拉普拉斯分布的位置參數(shù)和尺度參數(shù)。接下來，設(shè)置每種水果的拉普拉斯分布的90%置信區(qū)間，以確定水果圖像像素是否屬于這種水果。在實踐中，對應于90%置信區(qū)間的馬氏距離被用作相似性度量，這被稱為每種水果的特征馬氏距離（CMD）。具體解釋如下：

假定μ是位置參數(shù)，b是尺度參數(shù)，則拉普拉斯分布的概率密度函數(shù)（pdf）定義為：

給定某一種水果在區(qū)間[μ-d,μ+d]內(nèi)置信區(qū)間為90%的拉普拉斯分布，以及其對應的特征馬氏距離（CMD）為m，則不大于m的馬氏距離有90%概率屬于該類水果。其中：

對于輸入的水果圖像，馬氏距離Md計算為拉普拉斯分布下所有色調(diào)馬氏距離的平均值：

這里N是水果色調(diào)像素的總數(shù)，xi是色調(diào)值。如果馬氏距離Md﹤m，則輸入水果有90%的概率屬于該類水果。然后在實踐中，將輸入水果識別為這種水果。

2 水果識別算法

本研究的水果識別由兩部分組成。一部分是根據(jù)拉普拉斯分布的90%置信區(qū)間，為每種水果設(shè)定特征馬氏距離（CMD）。我們首先收集了大量不同種類水果的RGB彩色圖像數(shù)據(jù)，并將水果從圖像中分割出來。接下來，將分割的水果RGB顏色圖像轉(zhuǎn)換為HSV顏色圖像。然后利用最大似然估計（MLE）估計每種水果色調(diào)的拉普拉斯分布，最后建立對應于90%概率的特征馬氏距離。另一部分是識別過程。對于每個輸入的水果圖像，在對水果進行分割和提取后，RGB彩色圖像將轉(zhuǎn)換為HSV顏色空間，并針對每種水果的拉普拉斯分布計算其色調(diào)的平均馬氏距離。如果該距離不大于特征馬氏距離，則輸入水果被識別為此類水果。

2.1 設(shè)置每種水果的特征馬氏距離

特征馬氏距離（CMD）是對每種水果類型的相似性度量，它是根據(jù)拉普拉斯分布的90%置信區(qū)間進行估計的。該過程將經(jīng)歷以下步驟：

1）收集大量不同種類水果的RGB彩色圖像數(shù)據(jù)。2）對于采集的水果彩色圖像，對水果主要的RGB顏色部分進行分割，去除背景等無關(guān)元素，并對水果數(shù)據(jù)集進行分類存儲。3）把每一數(shù)據(jù)集從RGB圖像格式轉(zhuǎn)換成HSV圖像格式。4）分別提取每一數(shù)據(jù)集的色調(diào)部分。5）利用極大似然估計方法估計每個水果數(shù)據(jù)集色調(diào)部分的拉普拉斯分布的位置參數(shù)和尺度參數(shù)。6）建立每種水果的特征馬氏距離（CMD），對應色調(diào)數(shù)據(jù)的拉普拉斯分布的90%置信區(qū)間。整個流程如圖9所示。

圖9 各類水果特征區(qū)間計算流程圖

2.2 水果識別過程

水果識別過程是為給定的輸入水果圖像識別類別，它包括以下步驟：

1）輸入要識別的R G B彩色水果圖像數(shù)據(jù)。2）使用Meanshift算法將每個水果從圖像中分割出來。3）將分割后的水果圖像從RGB格式轉(zhuǎn)換成HSV格式。4）提取分割后的水果圖像的色調(diào)數(shù)據(jù)。5）利用每種目標水果的拉普拉斯分布，計算其色調(diào)數(shù)據(jù)對應的馬氏距離。6）如果對應的馬氏距離小于某特定水果的特征馬氏距離，則將其識別為該種水果。整個識別流程如圖10所示。

圖10 輸入水果識別分類流程圖

3 實驗驗證

在實驗中，我們考慮了5種水果——紅蘋果、橘子、香蕉、綠葡萄和黃瓜。已收集了每種水果的100張測試圖像，總共500張測試圖像。計算了每個測試圖像到每種水果的馬氏距離（MD），并與5種水果的所有特征馬氏距離（CMD）進行了比較。如果測試水果的MD小于某些CMD，則測試水果屬于對應于CMD的這種特殊類型的水果。圖11至圖15顯示了用Meanshift方法分割出的每種水果的5個典型單果。表1列出了5張測試圖像到每種水果的馬氏距離（MD）。我們可以看到，一方面，每個測試圖像與其所屬水果類別之間的馬氏距離（MD）最小，并且小于特征馬氏距離（CMD）。另一方面，每個測試圖像到它所不屬于的水果類別的馬氏距離（MD）較大，并且對于它所不屬于的水果類別，其馬氏距離（MD）也要比特征馬氏距離（CMD）大得多。這意味著所提出的方法運行正常。

表1 每個測試圖像到每種水果的馬氏距離（MD）

圖11 紅蘋果分割圖

圖12 橘子分割圖

圖15 黃瓜分割圖

圖13 香蕉分割圖

圖14 綠葡萄分割圖

表2列出了500張測試圖像的識別率。每種水果的識別率都在90%以上。有7個紅蘋果和6個橘子被錯誤地歸類為其他類別。一般來說，錯誤分類的水果沒有純色表面，總是夾雜著一些斑點或色調(diào)值在大面積上有較大的變化。

表2 500張測試圖像的識別率

4 結(jié)論

本文提出了一種有效的水果識別方法，該方法利用了不同水果HSV顏色的統(tǒng)計特性。也就是說，水果色調(diào)可以近似為拉普拉斯分布，采用馬氏距離作為相似性度量。對幾種常見水果的圖像數(shù)據(jù)進行的實驗表明，該算法具有很好的效果。然而，由于水果自然生長的多樣性，在特殊情況下存在錯誤分類的情況，將在未來的研究中進一步解決。