黃花菜機器人的視覺系統研究展望

郭麗新

摘要：黃花菜要實現智能機械化的采摘，其機器視覺的研究必不可少。本文依據國內采摘外機器人視覺系統的發展現狀并結合黃花菜自身的特征，對黃花菜機器人的機器視覺技術作出展望，使采摘視覺系統能夠滿足黃花菜機器人的作業要求，對黃花菜實現智能化、無人化采摘具有重要的現實意義。

關鍵詞：視覺系統 黃花菜機器人 識別 定位

1 采摘機器人的機器視覺發展現狀

澳大利亞Arefi通過使用RGB、HIS和YIQ顏色空間的組合方法識別成熟番茄果實，最后通過形態學特征定位果實;西班牙科學家依據柑橘外形研制出由采摘手、彩色視覺系統和超聲傳感器三部分組成的柑橘采摘機器人;美國的Whittaker認為對于目標與背景顏色相似的系統不能單純的使用顏色信息，還需要考慮顏色值在局部像素與整體當中的內在關系，同時所摘果實形狀的信息也不能忽略，所以提出Hough變換定位番茄果實的方法;中國農業大學李偉團隊利用近紅外光譜實現黃瓜果實識別，雙目視覺系統對目標果實完成空間坐標的獲取;張麗等利用計算機控制CCD攝像頭采集圖像，對采集的圖像進行二值化、膨脹腐蝕等處理，從而將櫻桃的成熟度、枝葉等分離開來;顧蘇杭等提出一種顯著性輪廓識別方法，通過K聚類將蘋果圖像分為背景和目標區域，引入ASIFT 特征對劃分的目標區域進行空洞填充，最后進行邊緣檢測、閾值分割、去噪、提取目標輪廓從而實現蘋果果實的識別。

2 黃花菜機器人視覺系統的研究

由于黃花菜品質好、味道美、富含各種各樣人體需求的營養，其胡蘿卜素含量甚至比番茄高幾倍，新鮮黃花菜由于富含卵磷脂，具有益腦和防衰作用，是體內許多細胞，特別是腦細胞的組成部分，對保養增強和改善腦功能起著非常重要作用。隨著黃花菜藥用價值的發現，食用人群增加，且黃花菜抗旱、耐貧瘠、容易成活，黃花菜的栽種范圍越來越大，是農民的收入來源之一。預計2021年，我國黃花菜產量將達到15.7萬噸，我國黃花菜消費量將達到15.5萬噸。為解決黃花菜種植規模的增加而導致的采摘問題，需要開發黃花菜機器人。而黃花菜機器人實現采摘的第一步就是要能夠準確識別采摘目標，其視覺系統的研究至關重要。

根據黃花菜自身形狀特性，對其視覺系統分析研究。黃花菜成熟時呈嫩黃色，與青色的未成熟黃花菜和綠色的枝葉顏色存在明顯的差異，所以可采用RGB模型來實現對黃花菜圖像的識別與處理。RGB模型是當前計算機中應用最普遍、最基礎的色彩空間模型，其中R的含義是紅色通道，G表示綠色通道，B代表藍色通道，該顏色空間最大的優勢就在于在采集黃花菜圖像后不必進行額外的顏色空間轉化處理，這樣大大節省了時間。由圖1可知，在圖像中處理的黃花菜多為嫩黃色和青色，為了使圖像的亮度明顯，采用加權平均法完成圖像灰度處理;采用中值濾波的方法，該方法根據窗口內所有像素點進行灰度值排序，該技術屬非線性處理，其目的是抑制圖像中的脈沖噪聲，所以選擇太大的窗口會影響圖像的邊緣信息。根據黃花菜外型呈細長橢圓、彎曲、有柄形狀對圖像進行處理，加入噪聲使圖像對比明顯易于進行處理，最后選用處理速度快，分割效果好和凸顯目標的基于灰度直方圖的Ostu自適應閾值分割算法對黃花菜圖像進行分割處理。

上述圖像處理只是把黃花菜從圖像中分割出來，對于其特征量并沒有進行提取。目前，大多數圖像識別算法完成識別都是依據目標物的特征值，對于未提取目標物的特征值并不適用。因此，可以根據黃花菜的特點采用具有深度學習卷積神經網絡算法建立識別系統。首先，在構建網絡結構時輸入黃花菜的特性添加多層隱層以達到預期的處理效果，使網絡具有深度學習特性;并且要引用較小的卷積核使各層之間緊密連接同時兼顧了算法的拓展性。具有深度自學習機制的卷積神經網絡與傳統的BP神經網絡相比，在自然環境下獲取的圖像中識別成熟的黃花菜準確率要高。

完成了黃花菜機器人視覺系統中的圖像處理以及對目標果實的提取，最關鍵的一步還需要完成對目標果實的定位。使用雙目相機一方面實現了對黃花菜圖像的采集，另一方面還要實現黃花菜的空間定位，就需要找出所采圖像中二維空間與三維空間之間的對應關系。我們以被動方式來采集圖像信息，采用多圖重構三維的方法進行場景的復原和目標的定位。該方法中的普通立體視覺猶如人類的雙眼，指的是通過兩個相機同時采集圖像，因為它們擁有一樣的幾何結構，就可以避免外界一些不必要的干擾，更加適用于自然環境中采集圖像，實現對目標果實的定位。

3 總結

根據黃花菜的顏色以及外形進行定性分析并對采集到的圖像進行預處理，并且通過卷積神經網絡的訓練學習，能夠對圖片中出現的成熟的黃花菜位置進行識別。對黃花菜機器人當中的視覺系統進行研究，使黃花菜采摘的智能化、機械化成為可能。但對黃花菜果實的識別和定位算法所存在的問題，未來還應該針對以下幾個問題展開研究：

由于栽種的黃花菜品種不同，所以需要對黃花菜的形狀與栽培模式進行分類，建立符合某一類別特征的黃花菜識別與定位算法，使該算法對這一類黃花菜的識別與定位的準確性具有良好的適應性，這樣可以達到算法準確性和普適性提高的目的。

另一方面，加大樣本的采集，因為神經網絡訓練的樣本量越多，所建立的識別系統也就越精準。對于圖像中存在多個目標物的識別，尤其是在遮擋的問題上，隨著深度學習理論的不斷發展與改進，圖像數據的處理可模擬人腦的邏輯思維來完成，算法的智能化可進一步得到提升。

視覺系統是黃花菜機器人采摘實現的重要組成部分，其性能好壞決定了黃花菜機器人采摘的效率、速度和質量，同時也是黃花菜機器人成功研制的關鍵一步。因此，提高黃花菜機器人視覺系統的工作性能對于推進黃花菜機器人的發展具有重要的意義。

參考文獻

[1]項榮，應義斌，蔣煥煜.田間環境下果蔬采摘快速識別與定位方法研究進展[J].農業機械學報，2013，44（11）：208-223.

[2]孟祥利.近色背景下溫室青椒目標視覺識別技術研究[D].江蘇大學，2018.

[3]金保華，殷長魁，張衛正，等.基于機器視覺的蘋果園果實識別研究綜述[J].輕工學報，2019，34（02）：71-81.

[4]程祥云，宋欣.果蔬采摘機器人視覺系統研究綜述[J].浙江農業科學，2019，60（03）：490-493.

[5]李立新，高德武，王笑峰，孫雪文，勇力波，李日新.黃花菜的特征特性及栽培技術[J].現代農業科技，2019（01）：83-87.

[6]李慧瑤.黃花菜的多種價值及傳統加工工藝的綜述[J].農家參謀，2018（21）：48-92.

[7]張小俊，劉歡歡，趙少魁，等.機器人智能化研究的關鍵技術與發展展望[J].機械設計，2016，33（08）：1-7.

項目

北方民族大學研究生創新項目，項目編號：YCX19095。