基于無人機機器視覺的西瓜偵測創新農場管理模式

(佛山科學技術學院粵臺人工智能學院，廣東 佛山 528225)

在海南、山東、新疆、甘肅、河南省焦作市以及寧夏中衛市等地，西瓜種植面積一般都很大，從幾百畝到幾十萬畝不等(例如寧夏硒砂瓜種植面積達86萬畝)。西瓜田種植地形多屬于廣大凹凸不平的黃土坡地或是河川沙地；其種植環境條件不利于用人力或農用車輛進行管理，特別是西瓜盛產時的產量預估或計數管理。本文提出一個基于無人機機器視覺之西瓜偵測創新農場管理模式，使用圖像處理方法，利用高空無人機對西瓜農場拍攝的西瓜分布圖，進行成熟西瓜偵測及計數。在西瓜盛產時，這一管理模式可大量減輕瓜農預估產量所耗費的人力和物力。

目前無人機空照西瓜田偵測相關研究非常少，電腦視覺主要偵測的水果類別多為柑橘類、蘋果類或蔬果類相關樹上結果植物。許多種植果樹的農場，即使種植區域面積不大，也需要快速、有效的方法來盤點成熟果實[1]。利用無人機機器視覺對柑桔果園農場的成熟果實計數特別有用， 目前大部分機器視覺果實偵測相關研究，大多在柑桔、蘋果果園進行。She等人提出利用無人機機器視覺進行果實計數的兩種不同算法[2]，第一種方法適用于柑桔等樹冠形植被分布均勻的農作物，通過柑桔樹冠形與地表背景分離，根據平均柑桔樹冠形， 實現果實計數方法。第二種算法應用于圓錐形圣誕樹的計數，包括定位和計算特定區域內的局部反射率最大值，其數值代表圓錐形樹木種植數量。2018年，有學者提出植物密集區域計數困難的問題，并提出支持向量機(SVM)方法來進行分類[3]。IBM 研究團隊提出利用機器學習技術計算柑橘樹的研究，結合卷積神經網絡解決高密度場中的精確計數問題，獲得超過 94%的識別準確度[1]。除植物計數外，在水果計數方面也獲得許多學者的關注與研究。Rahnemoonfar 等證明機器視覺算法用于計算成熟番茄的數量[4]， 可以達到 91%的準確率。

本文提出的快速精準西瓜偵測方法，主要基于 HSV 顏色模型高分辨識別度，其優點是分離彩色(色調、飽和度)和非彩色(值)信息，提供彩色(色調、飽和度)和非彩色(值)信息獨立，有助于提高西瓜果實及西瓜根莖葉顏色識別率；其次，使用形態學膨脹侵蝕遞回運算操作程序，以消除西瓜偵測處理過程中的干擾信息，初步偵測西瓜果實的真實輪廓；最后使用圖像處理的二值化以及灰值化處理，進一步偵測西瓜果實的真實輪廓，最后將西瓜輪廓數值，映射到原始 RGB 彩色圖像，獲得西瓜最后偵測結果。本文使用Python 以及OpenCV 進行圖像處理及西瓜偵測，使用一般個人電腦平臺進行實驗。實驗結果顯示，對成熟可采收的大西瓜可精確偵測，部分尚未成熟的小西瓜或是被西瓜根莖葉遮蔽的大西瓜，則無法有效被偵測。整體實驗結果顯示，本文所提出的西瓜偵測方法能有效偵測大部分的成熟西瓜。

1 文獻回顧

1.1 無人機系統機器視覺在農場管理中的應用

在精準農業創新管理領域技術中，基于機器視覺之成像傳感器扮演最重要的角色[5-6]。傳統上，航空圖像只能從衛星或飛機上采集，例如從衛星遙距拍攝感興趣的圖像或通過飛機采集特定圖像[7-8]，使用衛星或飛機上安裝的多光譜和高光譜相機來達成。圖像的內容可以用來計算各種植被指數以判別植被變化程度。由于從衛星拍攝地表特定區域，其拍攝成本較高，拍攝距離比較遠，同時拍攝覆蓋的區域較大。與其他方法相比，得到的圖像通常具有高的時間分辨率，但顯示具有較低的空間分辨率[9]。為達到低成本、高空間分辨率,以產生更詳細的圖像，使用無人機拍攝地表感興趣區域，成為新趨勢[10]。無人機攝像機機器視覺在農業領域管理應用范圍，除水果蔬菜農產品偵測外，還有植物生長威脅因素檢測管理、農場雜草偵測與管理等。

1.2 植物生長威脅因素檢測管理

植物生長威脅管理因素主要包括：灌溉水不足或是過量，植物營養不足或營養過剩以及植物病蟲害。利用無人機系統來檢測植物生長威脅因素，在農業上應用廣泛。灌溉水脅迫因素檢測，主要通過農作物水分脅迫指數(CWSI)的組合來檢測，基于利用熱成像[11]進行判別。植物營養不足或營養過剩脅迫因素，主要基于氮缺乏檢測。Zaman Allah 研究如何利用無人機上多光譜相機的 NDVI 數據來呈現玉米的低氮脅迫耐受性[12]。應用無人機系統進行植物病害自動檢測，是近幾十年利用機器視覺管理農業病蟲害的一個熱門領域。因為不同植物病蟲害中，個別病害可能具有明顯不同癥狀。AlSaddik等利用多光譜攝像機監控不同波段納米范圍， 檢測到葡萄園中的黃熱病，準確率超過 94%[30]。Kalischuk等研究顯示，無人機輔助偵察，比傳統單一偵察的西瓜膠莖枯萎病早期檢測率提高20%[13]。

1.3 農場雜草偵測與管理

許多植物學家利用無人機發展潛力,研究如何利用機器視覺將農場農作物(小麥和蔓越莓)與雜草分割出來，以繪制雜草地圖[14]。有學者評估麥田雜草檢測所需的最佳飛行條件，為雜草檢測提供無人機最佳飛行高度[15]。隨后許多研究基于這一工作基礎，為無人機配備 RGB 和多光譜照相機，以測量雜草植被指數和農作物植物高度數據，并且應用于玉米和甜菜農場。Pflanz 等提出一個稱為視覺詞匯袋(Bag of Visual Words)的圖像分類器和一種支持向量機(SVM)來繪制麥田雜草地圖。Bah等應用Hough變換技術以及像素的空間關系，進行農田中的雜草檢測[16]，獲得良好分割辨識結果。拉斯穆森等開發雜草檢測程序，只需從無人機上采集RGB圖像即可實現。該方法包括將正交鑲嵌圖劃分為若干子塊，計算多余的綠色指數值，進行分類步驟，最后生成雜草和作物分割的雜草圖[17]。

2 無人機機器視覺在農場西瓜偵測計數管理中的應用

2.1 無人機高空西瓜農場攝像

本文所提出之無人機機器視覺應用于農場西瓜偵測方法，實驗圖像是由無人機在西瓜農場上空拍攝獲得。利用無人機拍攝高空農場圖像是常見的圖像獲得方式，許多無人機成像傳感器和相機是為專門高空攝像而開發。每一個無人機平臺都有特定有效載荷，因此限制可使用的成像設備尺寸。同時隨著有效載荷增加，無人機同時面臨加速、減速、穩定性以及滯空時間的限制[16]。另一個主要考慮因素是拍攝圖像時的飛行速度。如果沒有合適的攝像機相關算法，飛行速度太快可能導致圖像中感興趣物件產生運動模糊；但是最新開發具備高懸停能力的無人機，可解決上述運動模糊問題。無人機攝像傳感器主要包括標準 RGB 彩色攝像機、多光譜和近紅外攝像機、高光譜攝像機、熱傳感器和深度傳感器等[17]。

2.2 基于輪廓外形特征的西瓜偵測技術

2.2.1 色彩空間轉換

本文所提出的方法，第一步將載入的RGB彩色圖像轉換成HSV顏色模型。HSV主要包含色調(Hue)、飽和度(Saturation)和參數值(Value)三種因素，符合人類視覺對顏色的區分。HSV顏色模型的優點是分離彩色(色調和飽和度)和非彩色(值)信息，提供彩色(色調和飽和度)和非彩色(值)信息獨立的可能性。從RGB轉換到HSV的公式說明如下：設(R,G,B)分別表示紅、綠和藍顏色坐標，其值介于0到1之間實數。設max等價于R、G和B中的極大值。設min等于這些值中的極小值。因此可以計算出HSV空間中的(H,S,V)值，其中H∈[0,360°)是角度的色相角，而S,V∈[0,1]，是飽和度和參數值，計算公式如下：

2.2.2 膨脹侵蝕調試運算

形態學(Morphology)的操作，例如：膨脹侵蝕運算，提供了基于圖像場景中物體空間結構的數字圖像處理方法。然而，用于數字圖像的形態學技術，僅依賴于像素值的相對順序，因此適合二值圖像或灰階圖像。許多研究顯示，為了主觀上改善圖像的外觀，廣泛利用形態學方法進行圖像增強以及干擾信息消除，其中圖像干擾信息是圖像識別處理過程中產生的無用信息，必須降到可接受水平，以便對圖像進行進一步分析。形態學的膨脹操作(dialation operation)，用于擴展區域邊界像素或填滿圖像封閉區域的洞。應用大小3×3的陣列元素，進行圖像像素異或邏輯運算，將二維圖像像素值0設置為1。膨脹操作也可以不相交連接像素區塊，同時在邊緣添加像素使區域相連。侵蝕操作(erision operation)與膨脹操作相反。當膨脹操作擴展邊界并填滿區域孔洞時，侵蝕操作則減少邊界像素，并增大封閉區域孔洞的尺寸。如果結構元素在值像素上沒有完全重疊，將二維圖像像素值1設置為0。

2.2.3 西瓜輪廓偵測流程

本文所提出之無人機機器視覺高空西瓜偵測流程如圖1所示。本文所使用的應用程序開發平臺為Python+openCV。先載入RGB顏色模型的高空西瓜田圖像，載入的RGB圖像轉換成HSV顏色模型圖像；基于HSV顏色模型的優點，可以設定特定HSV數字范圍對應于西瓜顏色的數值范圍，以初步取得西瓜的可能圖像物件。因為初步取得的西瓜圖形物件數量太多、范圍太廣，同時干擾信息太多，因此將圖像二值化，以利于接下來利用形態學膨脹侵蝕運算操作程序，以消除干擾信息。膨脹侵蝕運算操作程序是一個遞回程序，其目的為找到最佳化可能的西瓜圖像物件。為了更精確找到第二次可能的二值化西瓜圖像物件，需進一步灰值化，其主要目的因為灰值化圖像的每一個像素顏色范圍縮小，有利于更精確找到西瓜物件的圖像。利用設定及調整不同的門檻數值，可進一步更精確找到西瓜的輪廓，完成西瓜輪廓獲得后，將輪廓在圖像相映位置，映射至原始的RGB高空西瓜圖像，以獲得原圖西瓜偵測最后結果。

圖1 無人機機器視覺高空西瓜偵測流程

3 實驗過程及結果

3.1 實驗過程

西瓜偵測過程產生的不同圖像如圖2所示，其中圖2(a)為原始BMP圖像，圖2(b)為經過HUV顏色模型轉換的圖像；在BMP圖像中，西瓜果實顏色和西瓜根莖葉顏色呈現為深淺綠色顏色分布；但轉換成HUV圖像，西瓜果實顏色呈現出橘黃色，西瓜根莖葉顏色仍然呈現為綠色分布，初步凸顯西瓜果實和西瓜根莖葉的顏色差異性；同時發現路邊的石頭在HUV圖像呈現出鮮紅色，這個觀察有助于提高石頭和西瓜相似輪廓之間的顏色差異性。經由圖2(b)的觀察，進一步在HUV模型針對感興趣物體，設定顏色取值范圍，再通過二值化操作的方式轉換成圖2(c)。因為過程中仍有許多干擾信息，因此再利用形態學膨脹侵蝕運算操作以進一步消除干擾信息。在干擾信息消除過程中，對于感興趣的物體，其形狀大小也會相對縮小，因此在借由形態學膨脹操作，將感興趣的物體還原趨近于原始西瓜輪廓大小，進一步形成圖2(d)；為了更進一步精確取得西瓜的輪廓，將圖2(d)灰質化成圖2(e)，圖2(e)有利于縮小取值范圍以更精確找到西瓜輪廓，因此再經由二值化操作以及門檻限制方式獲取最終西瓜輪廓圖2(f)，之后再將圖2(f)的西瓜輪廓位置映射至原始BMP圖像，獲得原始圖西瓜輪廓。

(a)原始BMP圖像 (b)HUV圖像 (c)二值化干擾信息消除圖像

(d)二值化形態學遞迴操作圖像 (e)灰質化圖像 (f)二值化門檻限制獲西瓜輪廓圖像

(g)二值化西瓜輪廓映射至原始BMP圖

3.2 實驗結果

本文實驗結果如圖3所示，所實驗的圖像取自屏東科技大學機械系林宜宏教授及其實驗室，利用無人機拍攝獲得。圖3(a)右圖為原始西瓜田圖像，左邊共偵測37顆西瓜，另有6顆未偵測到，其中3顆在農業道路未被偵測到，另有3顆西瓜太小，未被偵測到；圖3(b)左圖共偵測28顆西瓜，另有10顆未偵測到，其中1顆已成熟但未被偵測到，另有9顆太小尚未成熟，所以未被偵測到；圖3(c)左圖共偵測20顆西瓜，另有5顆因為被西瓜的根莖葉遮蓋，故未被偵測到。整體而言，成熟的西瓜大部分都被偵測到，部分被根莖葉遮蔽的西瓜或是未成熟的西瓜，未被偵測到。上述結果驗證本文所提出的西瓜偵測方法及流程，能有效偵測大部分成熟的西瓜。

(a)左圖為第一張原始西瓜田圖像，右圖共偵測到37顆西瓜，6顆未偵測到

(b)左圖為第二張原始西瓜田圖像，右圖共偵測到28顆西瓜，10顆未偵測到

(c)左圖為第三張原始西瓜田圖像，右圖供偵測到20顆西瓜，5顆未偵測到

4 結論及展望

本文提出一個基于無人機機器視覺之西瓜偵測創新農場管理模式，使用圖像處理方法，利用高空無人機對西瓜農場拍攝的西瓜分布圖進行成熟西瓜的偵測及計數；此管理模式可大量減輕瓜農在西瓜盛產時預估產量所耗費的人力或物力，提出的方法主要基于HSV顏色模型高分辨識別度，有助于提高西瓜果實及西瓜根莖葉顏色識別率；其次，使用形態學膨脹侵蝕遞回運算操作程序，以消除干擾信息，初步偵測西瓜輪廓；最后使用圖像處理二值化及灰值化處理，進一步偵測西瓜果實的真實輪廓，映射到原始RGB圖像，獲得西瓜最后偵測結果。實驗結果顯示，本文所提出的西瓜偵測方法能有效偵測絕大部分成熟西瓜。未來可將前述方法應用于其他水果種類偵測工作，以提升其他水果種類精準農業的創新管理方式。