基于無人機(jī)機(jī)器視覺的西瓜偵測創(chuàng)新農(nóng)場管理模式

(佛山科學(xué)技術(shù)學(xué)院粵臺人工智能學(xué)院，廣東 佛山 528225)

在海南、山東、新疆、甘肅、河南省焦作市以及寧夏中衛(wèi)市等地，西瓜種植面積一般都很大，從幾百畝到幾十萬畝不等(例如寧夏硒砂瓜種植面積達(dá)86萬畝)。西瓜田種植地形多屬于廣大凹凸不平的黃土坡地或是河川沙地；其種植環(huán)境條件不利于用人力或農(nóng)用車輛進(jìn)行管理，特別是西瓜盛產(chǎn)時的產(chǎn)量預(yù)估或計數(shù)管理。本文提出一個基于無人機(jī)機(jī)器視覺之西瓜偵測創(chuàng)新農(nóng)場管理模式，使用圖像處理方法，利用高空無人機(jī)對西瓜農(nóng)場拍攝的西瓜分布圖，進(jìn)行成熟西瓜偵測及計數(shù)。在西瓜盛產(chǎn)時，這一管理模式可大量減輕瓜農(nóng)預(yù)估產(chǎn)量所耗費(fèi)的人力和物力。

目前無人機(jī)空照西瓜田偵測相關(guān)研究非常少，電腦視覺主要偵測的水果類別多為柑橘類、蘋果類或蔬果類相關(guān)樹上結(jié)果植物。許多種植果樹的農(nóng)場，即使種植區(qū)域面積不大，也需要快速、有效的方法來盤點成熟果實[1]。利用無人機(jī)機(jī)器視覺對柑桔果園農(nóng)場的成熟果實計數(shù)特別有用， 目前大部分機(jī)器視覺果實偵測相關(guān)研究，大多在柑桔、蘋果果園進(jìn)行。She等人提出利用無人機(jī)機(jī)器視覺進(jìn)行果實計數(shù)的兩種不同算法[2]，第一種方法適用于柑桔等樹冠形植被分布均勻的農(nóng)作物，通過柑桔樹冠形與地表背景分離，根據(jù)平均柑桔樹冠形， 實現(xiàn)果實計數(shù)方法。第二種算法應(yīng)用于圓錐形圣誕樹的計數(shù)，包括定位和計算特定區(qū)域內(nèi)的局部反射率最大值，其數(shù)值代表圓錐形樹木種植數(shù)量。2018年，有學(xué)者提出植物密集區(qū)域計數(shù)困難的問題，并提出支持向量機(jī)(SVM)方法來進(jìn)行分類[3]。IBM 研究團(tuán)隊提出利用機(jī)器學(xué)習(xí)技術(shù)計算柑橘樹的研究，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)解決高密度場中的精確計數(shù)問題，獲得超過 94%的識別準(zhǔn)確度[1]。除植物計數(shù)外，在水果計數(shù)方面也獲得許多學(xué)者的關(guān)注與研究。Rahnemoonfar 等證明機(jī)器視覺算法用于計算成熟番茄的數(shù)量[4]， 可以達(dá)到 91%的準(zhǔn)確率。

本文提出的快速精準(zhǔn)西瓜偵測方法，主要基于 HSV 顏色模型高分辨識別度，其優(yōu)點是分離彩色(色調(diào)、飽和度)和非彩色(值)信息，提供彩色(色調(diào)、飽和度)和非彩色(值)信息獨立，有助于提高西瓜果實及西瓜根莖葉顏色識別率；其次，使用形態(tài)學(xué)膨脹侵蝕遞回運(yùn)算操作程序，以消除西瓜偵測處理過程中的干擾信息，初步偵測西瓜果實的真實輪廓；最后使用圖像處理的二值化以及灰值化處理，進(jìn)一步偵測西瓜果實的真實輪廓，最后將西瓜輪廓數(shù)值，映射到原始 RGB 彩色圖像，獲得西瓜最后偵測結(jié)果。本文使用Python 以及OpenCV 進(jìn)行圖像處理及西瓜偵測，使用一般個人電腦平臺進(jìn)行實驗。實驗結(jié)果顯示，對成熟可采收的大西瓜可精確偵測，部分尚未成熟的小西瓜或是被西瓜根莖葉遮蔽的大西瓜，則無法有效被偵測。整體實驗結(jié)果顯示，本文所提出的西瓜偵測方法能有效偵測大部分的成熟西瓜。

1 文獻(xiàn)回顧

1.1 無人機(jī)系統(tǒng)機(jī)器視覺在農(nóng)場管理中的應(yīng)用

在精準(zhǔn)農(nóng)業(yè)創(chuàng)新管理領(lǐng)域技術(shù)中，基于機(jī)器視覺之成像傳感器扮演最重要的角色[5-6]。傳統(tǒng)上，航空圖像只能從衛(wèi)星或飛機(jī)上采集，例如從衛(wèi)星遙距拍攝感興趣的圖像或通過飛機(jī)采集特定圖像[7-8]，使用衛(wèi)星或飛機(jī)上安裝的多光譜和高光譜相機(jī)來達(dá)成。圖像的內(nèi)容可以用來計算各種植被指數(shù)以判別植被變化程度。由于從衛(wèi)星拍攝地表特定區(qū)域，其拍攝成本較高，拍攝距離比較遠(yuǎn)，同時拍攝覆蓋的區(qū)域較大。與其他方法相比，得到的圖像通常具有高的時間分辨率，但顯示具有較低的空間分辨率[9]。為達(dá)到低成本、高空間分辨率,以產(chǎn)生更詳細(xì)的圖像，使用無人機(jī)拍攝地表感興趣區(qū)域，成為新趨勢[10]。無人機(jī)攝像機(jī)機(jī)器視覺在農(nóng)業(yè)領(lǐng)域管理應(yīng)用范圍，除水果蔬菜農(nóng)產(chǎn)品偵測外，還有植物生長威脅因素檢測管理、農(nóng)場雜草偵測與管理等。

1.2 植物生長威脅因素檢測管理

植物生長威脅管理因素主要包括：灌溉水不足或是過量，植物營養(yǎng)不足或營養(yǎng)過剩以及植物病蟲害。利用無人機(jī)系統(tǒng)來檢測植物生長威脅因素，在農(nóng)業(yè)上應(yīng)用廣泛。灌溉水脅迫因素檢測，主要通過農(nóng)作物水分脅迫指數(shù)(CWSI)的組合來檢測，基于利用熱成像[11]進(jìn)行判別。植物營養(yǎng)不足或營養(yǎng)過剩脅迫因素，主要基于氮缺乏檢測。Zaman Allah 研究如何利用無人機(jī)上多光譜相機(jī)的 NDVI 數(shù)據(jù)來呈現(xiàn)玉米的低氮脅迫耐受性[12]。應(yīng)用無人機(jī)系統(tǒng)進(jìn)行植物病害自動檢測，是近幾十年利用機(jī)器視覺管理農(nóng)業(yè)病蟲害的一個熱門領(lǐng)域。因為不同植物病蟲害中，個別病害可能具有明顯不同癥狀。AlSaddik等利用多光譜攝像機(jī)監(jiān)控不同波段納米范圍， 檢測到葡萄園中的黃熱病，準(zhǔn)確率超過 94%[30]。Kalischuk等研究顯示，無人機(jī)輔助偵察，比傳統(tǒng)單一偵察的西瓜膠莖枯萎病早期檢測率提高20%[13]。

1.3 農(nóng)場雜草偵測與管理

許多植物學(xué)家利用無人機(jī)發(fā)展?jié)摿?研究如何利用機(jī)器視覺將農(nóng)場農(nóng)作物(小麥和蔓越莓)與雜草分割出來，以繪制雜草地圖[14]。有學(xué)者評估麥田雜草檢測所需的最佳飛行條件，為雜草檢測提供無人機(jī)最佳飛行高度[15]。隨后許多研究基于這一工作基礎(chǔ)，為無人機(jī)配備 RGB 和多光譜照相機(jī)，以測量雜草植被指數(shù)和農(nóng)作物植物高度數(shù)據(jù)，并且應(yīng)用于玉米和甜菜農(nóng)場。Pflanz 等提出一個稱為視覺詞匯袋(Bag of Visual Words)的圖像分類器和一種支持向量機(jī)(SVM)來繪制麥田雜草地圖。Bah等應(yīng)用Hough變換技術(shù)以及像素的空間關(guān)系，進(jìn)行農(nóng)田中的雜草檢測[16]，獲得良好分割辨識結(jié)果。拉斯穆森等開發(fā)雜草檢測程序，只需從無人機(jī)上采集RGB圖像即可實現(xiàn)。該方法包括將正交鑲嵌圖劃分為若干子塊，計算多余的綠色指數(shù)值，進(jìn)行分類步驟，最后生成雜草和作物分割的雜草圖[17]。

2 無人機(jī)機(jī)器視覺在農(nóng)場西瓜偵測計數(shù)管理中的應(yīng)用

2.1 無人機(jī)高空西瓜農(nóng)場攝像

本文所提出之無人機(jī)機(jī)器視覺應(yīng)用于農(nóng)場西瓜偵測方法，實驗圖像是由無人機(jī)在西瓜農(nóng)場上空拍攝獲得。利用無人機(jī)拍攝高空農(nóng)場圖像是常見的圖像獲得方式，許多無人機(jī)成像傳感器和相機(jī)是為專門高空攝像而開發(fā)。每一個無人機(jī)平臺都有特定有效載荷，因此限制可使用的成像設(shè)備尺寸。同時隨著有效載荷增加，無人機(jī)同時面臨加速、減速、穩(wěn)定性以及滯空時間的限制[16]。另一個主要考慮因素是拍攝圖像時的飛行速度。如果沒有合適的攝像機(jī)相關(guān)算法，飛行速度太快可能導(dǎo)致圖像中感興趣物件產(chǎn)生運(yùn)動模糊；但是最新開發(fā)具備高懸停能力的無人機(jī)，可解決上述運(yùn)動模糊問題。無人機(jī)攝像傳感器主要包括標(biāo)準(zhǔn) RGB 彩色攝像機(jī)、多光譜和近紅外攝像機(jī)、高光譜攝像機(jī)、熱傳感器和深度傳感器等[17]。

2.2 基于輪廓外形特征的西瓜偵測技術(shù)

2.2.1 色彩空間轉(zhuǎn)換

本文所提出的方法，第一步將載入的RGB彩色圖像轉(zhuǎn)換成HSV顏色模型。HSV主要包含色調(diào)(Hue)、飽和度(Saturation)和參數(shù)值(Value)三種因素，符合人類視覺對顏色的區(qū)分。HSV顏色模型的優(yōu)點是分離彩色(色調(diào)和飽和度)和非彩色(值)信息，提供彩色(色調(diào)和飽和度)和非彩色(值)信息獨立的可能性。從RGB轉(zhuǎn)換到HSV的公式說明如下：設(shè)(R,G,B)分別表示紅、綠和藍(lán)顏色坐標(biāo)，其值介于0到1之間實數(shù)。設(shè)max等價于R、G和B中的極大值。設(shè)min等于這些值中的極小值。因此可以計算出HSV空間中的(H,S,V)值，其中H∈[0,360°)是角度的色相角，而S,V∈[0,1]，是飽和度和參數(shù)值，計算公式如下：

2.2.2 膨脹侵蝕調(diào)試運(yùn)算

形態(tài)學(xué)(Morphology)的操作，例如：膨脹侵蝕運(yùn)算，提供了基于圖像場景中物體空間結(jié)構(gòu)的數(shù)字圖像處理方法。然而，用于數(shù)字圖像的形態(tài)學(xué)技術(shù)，僅依賴于像素值的相對順序，因此適合二值圖像或灰階圖像。許多研究顯示，為了主觀上改善圖像的外觀，廣泛利用形態(tài)學(xué)方法進(jìn)行圖像增強(qiáng)以及干擾信息消除，其中圖像干擾信息是圖像識別處理過程中產(chǎn)生的無用信息，必須降到可接受水平，以便對圖像進(jìn)行進(jìn)一步分析。形態(tài)學(xué)的膨脹操作(dialation operation)，用于擴(kuò)展區(qū)域邊界像素或填滿圖像封閉區(qū)域的洞。應(yīng)用大小3×3的陣列元素，進(jìn)行圖像像素異或邏輯運(yùn)算，將二維圖像像素值0設(shè)置為1。膨脹操作也可以不相交連接像素區(qū)塊，同時在邊緣添加像素使區(qū)域相連。侵蝕操作(erision operation)與膨脹操作相反。當(dāng)膨脹操作擴(kuò)展邊界并填滿區(qū)域孔洞時，侵蝕操作則減少邊界像素，并增大封閉區(qū)域孔洞的尺寸。如果結(jié)構(gòu)元素在值像素上沒有完全重疊，將二維圖像像素值1設(shè)置為0。

2.2.3 西瓜輪廓偵測流程

本文所提出之無人機(jī)機(jī)器視覺高空西瓜偵測流程如圖1所示。本文所使用的應(yīng)用程序開發(fā)平臺為Python+openCV。先載入RGB顏色模型的高空西瓜田圖像，載入的RGB圖像轉(zhuǎn)換成HSV顏色模型圖像；基于HSV顏色模型的優(yōu)點，可以設(shè)定特定HSV數(shù)字范圍對應(yīng)于西瓜顏色的數(shù)值范圍，以初步取得西瓜的可能圖像物件。因為初步取得的西瓜圖形物件數(shù)量太多、范圍太廣，同時干擾信息太多，因此將圖像二值化，以利于接下來利用形態(tài)學(xué)膨脹侵蝕運(yùn)算操作程序，以消除干擾信息。膨脹侵蝕運(yùn)算操作程序是一個遞回程序，其目的為找到最佳化可能的西瓜圖像物件。為了更精確找到第二次可能的二值化西瓜圖像物件，需進(jìn)一步灰值化，其主要目的因為灰值化圖像的每一個像素顏色范圍縮小，有利于更精確找到西瓜物件的圖像。利用設(shè)定及調(diào)整不同的門檻數(shù)值，可進(jìn)一步更精確找到西瓜的輪廓，完成西瓜輪廓獲得后，將輪廓在圖像相映位置，映射至原始的RGB高空西瓜圖像，以獲得原圖西瓜偵測最后結(jié)果。

圖1 無人機(jī)機(jī)器視覺高空西瓜偵測流程

3 實驗過程及結(jié)果

3.1 實驗過程

西瓜偵測過程產(chǎn)生的不同圖像如圖2所示，其中圖2(a)為原始BMP圖像，圖2(b)為經(jīng)過HUV顏色模型轉(zhuǎn)換的圖像；在BMP圖像中，西瓜果實顏色和西瓜根莖葉顏色呈現(xiàn)為深淺綠色顏色分布；但轉(zhuǎn)換成HUV圖像，西瓜果實顏色呈現(xiàn)出橘黃色，西瓜根莖葉顏色仍然呈現(xiàn)為綠色分布，初步凸顯西瓜果實和西瓜根莖葉的顏色差異性；同時發(fā)現(xiàn)路邊的石頭在HUV圖像呈現(xiàn)出鮮紅色，這個觀察有助于提高石頭和西瓜相似輪廓之間的顏色差異性。經(jīng)由圖2(b)的觀察，進(jìn)一步在HUV模型針對感興趣物體，設(shè)定顏色取值范圍，再通過二值化操作的方式轉(zhuǎn)換成圖2(c)。因為過程中仍有許多干擾信息，因此再利用形態(tài)學(xué)膨脹侵蝕運(yùn)算操作以進(jìn)一步消除干擾信息。在干擾信息消除過程中，對于感興趣的物體，其形狀大小也會相對縮小，因此在借由形態(tài)學(xué)膨脹操作，將感興趣的物體還原趨近于原始西瓜輪廓大小，進(jìn)一步形成圖2(d)；為了更進(jìn)一步精確取得西瓜的輪廓，將圖2(d)灰質(zhì)化成圖2(e)，圖2(e)有利于縮小取值范圍以更精確找到西瓜輪廓，因此再經(jīng)由二值化操作以及門檻限制方式獲取最終西瓜輪廓圖2(f)，之后再將圖2(f)的西瓜輪廓位置映射至原始BMP圖像，獲得原始圖西瓜輪廓。

(a)原始BMP圖像 (b)HUV圖像 (c)二值化干擾信息消除圖像

(d)二值化形態(tài)學(xué)遞迴操作圖像 (e)灰質(zhì)化圖像 (f)二值化門檻限制獲西瓜輪廓圖像

(g)二值化西瓜輪廓映射至原始BMP圖

3.2 實驗結(jié)果

本文實驗結(jié)果如圖3所示，所實驗的圖像取自屏東科技大學(xué)機(jī)械系林宜宏教授及其實驗室，利用無人機(jī)拍攝獲得。圖3(a)右圖為原始西瓜田圖像，左邊共偵測37顆西瓜，另有6顆未偵測到，其中3顆在農(nóng)業(yè)道路未被偵測到，另有3顆西瓜太小，未被偵測到；圖3(b)左圖共偵測28顆西瓜，另有10顆未偵測到，其中1顆已成熟但未被偵測到，另有9顆太小尚未成熟，所以未被偵測到；圖3(c)左圖共偵測20顆西瓜，另有5顆因為被西瓜的根莖葉遮蓋，故未被偵測到。整體而言，成熟的西瓜大部分都被偵測到，部分被根莖葉遮蔽的西瓜或是未成熟的西瓜，未被偵測到。上述結(jié)果驗證本文所提出的西瓜偵測方法及流程，能有效偵測大部分成熟的西瓜。

(a)左圖為第一張原始西瓜田圖像，右圖共偵測到37顆西瓜，6顆未偵測到

(b)左圖為第二張原始西瓜田圖像，右圖共偵測到28顆西瓜，10顆未偵測到

(c)左圖為第三張原始西瓜田圖像，右圖供偵測到20顆西瓜，5顆未偵測到

4 結(jié)論及展望

本文提出一個基于無人機(jī)機(jī)器視覺之西瓜偵測創(chuàng)新農(nóng)場管理模式，使用圖像處理方法，利用高空無人機(jī)對西瓜農(nóng)場拍攝的西瓜分布圖進(jìn)行成熟西瓜的偵測及計數(shù)；此管理模式可大量減輕瓜農(nóng)在西瓜盛產(chǎn)時預(yù)估產(chǎn)量所耗費(fèi)的人力或物力，提出的方法主要基于HSV顏色模型高分辨識別度，有助于提高西瓜果實及西瓜根莖葉顏色識別率；其次，使用形態(tài)學(xué)膨脹侵蝕遞回運(yùn)算操作程序，以消除干擾信息，初步偵測西瓜輪廓；最后使用圖像處理二值化及灰值化處理，進(jìn)一步偵測西瓜果實的真實輪廓，映射到原始RGB圖像，獲得西瓜最后偵測結(jié)果。實驗結(jié)果顯示，本文所提出的西瓜偵測方法能有效偵測絕大部分成熟西瓜。未來可將前述方法應(yīng)用于其他水果種類偵測工作，以提升其他水果種類精準(zhǔn)農(nóng)業(yè)的創(chuàng)新管理方式。