機器視覺在棉花智能打頂領域的應用研究進展*

劉海濤，伊麗麗，蘭玉彬, 2，韓鑫，崔立華

(1. 山東理工大學農業工程與食品科學學院，山東淄博，255000； 2. 山東省農業航空智能裝備工程技術研究中心，山東淄博，255000； 3. 山東綠風農業集團有限公司，山東濱州，256600)

0 引言

棉花是我國重要的經濟作物，其種植生產在國民經濟發展和個人生活中具有不可替代的作用。但是，近10年來我國棉花種植面積不斷減少，其中棉花生產主要依靠人工，機械化水平低是原因之一。因此提升我國棉花機械化生產水平刻不容緩，而打頂作業正是需要機械替人的關鍵環節[1-3]。

棉花打頂能夠抑制頂芽生長，打破棉花頂端優勢，改變養分的輸送方向，促進棉株結鈴結桃，提高棉花的產量和品質。但目前的機械化打頂仍存在準確率低、漏刀、過切等現象，嚴重影響棉花產量[4]。因此提高棉株在復雜田間背景下的識別定位精度，進而提升打頂質量就顯得很有必要。近年來隨著機器視覺技術在農業領域的快速發展，利用機器視覺技術的非破壞性、精度高、智能化程度高、信息量大、靈活等特點解決棉株識別定位精度低的問題變得越來越可行。本文對國內外文獻進行了總結，歸納了機器視覺在棉花打頂領域相關的應用研究，對現有技術方法存在的問題和不足進行了分析，并提出了一些具有實際價值的建議，為后續的研究工作提出了看法。

1 機器視覺技術

機器視覺技術是指利用計算機模擬人的視覺功能，提取圖像信息并加以理解分析，廣泛應用于工業、農業、醫學等領域。機器視覺系統由照明光源、鏡頭、攝像機、圖像采集卡、計算機、執行機構等組成，如圖1所示。利用CCD攝像機以圖像形式采集作物生長狀態，通過一系列圖像處理操作對其進行分析，進而控制驅動執行機構完成相關操作[5-7]。

圖1 機器視覺系統簡圖

由于不同植物或是同種植物不同部位之間在顏色、形態、紋理等方面存在著較大的差異，要實現對其特征的正確識別分類，需要利用圖像分割、特征檢測、邊緣檢測、圖像變換等技術對采集的視覺信息進行針對性處理[8]，因此機器視覺技術與圖像處理、模式識別、人工智能等領域密切相關。

2 棉株的識別定位技術

2.1 國外研究概述

由于國外主要使用化學打頂方式，對棉花頂葉進行藥劑控制，因此在棉株識別定位方面的研究內容很少。但使用機器視覺技術在雜草和其他植物識別方面的研究起步早，成果顯著。

1995年Chaisattapagon[9]使用了基于顏色、形狀、紋理三種不同特征的分析方法，利用機器視覺系統在溫室環境下對小麥田中的闊葉雜草進行了識別研究。1998年Burks等[10]利用顏色共生矩陣方法進行統計紋理分析，研究表明僅使用色調和飽和度統計就可以將5種雜草從土壤背景中識別分類, 其準確率高達93%。2002年Astrand等[11]為了解決甜菜種植過程中的雜草問題，使用兩套視覺系統進行機械化除草，并且針對當時技術對甜菜地塊種植行識別以及雜草識別方面存在的問題，提出了一種新的行識別算法和一種新的植物識別算法，結果表明利用視覺系統對甜菜和雜草的單株識別是可行的。

隨著人工神經網絡等模式識別方法的不斷發展，其研究也越來越多的應用到了雜草等植物識別中。2002年Cho等[12]研制了一種利用(Charge Coupled Device)CCD相機對蘿卜和雜草進行識別的機器視覺系統，通過分析彩色圖像的二值圖像形態特征，使用判別分析方法和人工神經網絡分別對其進行識別，研究發現神經網絡能更有效的區分兩者。2016年Mads等[13]利用卷積神經網絡來分類識別22種早期生長階段的雜草和作物，并搜集了不同環境條件下總計 10 413 張彩色圖片，經過訓練測試，最終該網絡分類的平均準確率達到了86.2%。2018年Dias等[14]針對蘋果花識別困難問題，提出了一種基于深度學習的花卉識別算法，該算法對比現有的三種檢測方法召回率和準確率均超過90%，優勢明顯且泛化性能好。

總體上，早期的科研人員利用植物的顏色、紋理、形狀等傳統的圖像特征進行分析識別，雖然識別效果好，但圖像處理過程繁瑣，大部分試驗在室內或溫室等環境良好的條件下進行，并未考慮真實田間環境以及雜草識別的實時性。后期則趨向于利用神經網絡來提取特征信息進行識別，由此積累了大量的試驗數據和經驗，為國內科研人員在棉株識別定位方面的研究提供了一定思路。

2.2 國內研究概述

與國外相比，國內科研人員對于棉株識別定位的研究內容豐富、方法多樣，并取得了一定成果。2006年石河子大學的胡斌等研制了3MD-12型棉花打頂機，該型打頂機基本滿足棉花打頂作業的農藝要求，而且也填補了國內機械化打頂的空白，開創了國內高校對棉花打頂機的設計研究。雖然機械打頂節省了人力，但漏打、過打問題突出，刀軸高度不能根據棉株的個體差異實時做出調整，從而造成打頂精度低，損傷棉桃[15]。因此對單株棉花的精準識別定位研究變得越來越迫切。

國內對棉株的識別定位技術研究可以總結為5類：機器視覺技術、超聲波測距技術、激光三角測距技術、紅外線技術以及仿形板技術，它們在棉株識別定位方面的優缺點如表1所示。李霞等[16]針對 3MD-12 型打頂機對棉株高度識別精準不足問題，采用標定的UC4000-30GM型超聲波傳感器對棉株高度進行測量研究。試驗結果表明采用超聲波測距時，回波聲強與被測物體距離遠近有關，并且要充分考慮傳播介質的特性對聲速帶來的負面影響，利用溫度補償的方法修正聲速，減少棉株測量過程中產生的誤差。周海燕等[17]對比了激光、超聲波兩種定位方法在棉株高度測量時的應用表現，結果表明相較于超聲波傳感器，激光傳感器在測量棉株高度方面誤差小，更有優勢。閆毅敏等[18]利用STC90C51單片機控制紅外測距傳感器和超聲波傳感器分別在室內外環境下對棉株頂尖高度進行測量。結果表明紅外測距傳感器在室外有太陽光直射條件的測量精度高于室內無太陽光直射的環境，并且超聲波測距傳感器在聲速為340 m/s(15 ℃)條件下測量精度優于經過溫度補償后的聲速測量精度。姚強強等[19]設計了接觸式單體仿形裝置，并對裝置中仿形板的質量，仿形板到水平切割器的距離以及切割器的最大行程這三個影響棉花仿形效果的主要參數進行了優化調整，經過田間試驗，打頂率達到了88.64%。

表1 棉株識別定位技術比較Tab. 1 Comparison of cotton identification and positioning technology

3 基于雙目立體視覺的棉株識別定位技術

雙目立體視覺技術是計算機視覺領域的重要分支，通過直接模擬人類視覺系統感知外界信息，它主要通過攝像機標定、特征提取、圖像匹配、三維重建等步驟實現，一般由不同位置的兩臺或一臺運動攝像機所拍攝的場景進行空間坐標定位[20-21]。當前以機械方式對棉花進行打頂作業時，在三維空間中對棉株的識別以及位置信息獲取就顯得尤為重要。

瞿端陽等[22]采用一對現代V2019攝像頭構建了雙目立體視覺系統，通過對攝像頭的標定獲得了相機內外部參數信息。實驗過程中將拍攝的圖像進行分割，去除不相干背景信息，獲得棉株圖像。并利用棉株頂點進行特征點立體匹配，經過最小二乘計算方法和誤差校正最終算得棉株的深度信息且棉株定位誤差在0.43～30.57 mm之間，結果表明機器視覺技術能夠用于棉株識別定位。韓大龍[23]建立了動態立體視覺系統(圖2)和靜態視覺系統分別用于棉株定位以及棉株頂尖檢測識別，并設計了基于Adaboost算法的多層級聯棉株頂尖檢測系統，對頂葉的檢測率達到了83.41%，檢測速度達到了3幀/s。馮康[24]搭建了成熟的棉花視覺系統(圖3)，并利用棉花形心進行特征匹配以獲得其在三維空間中的深度信息，為避免誤匹配，同時再利用極線約束、唯一性約束、次序約束的匹配算法減少誤差，提高匹配效率，從而最終實現空間定位，實驗結果表明：該方法定位準確率達到了88%以上。樊海鳳[25]詳細總結了現有立體匹配方法的優點，提出了基于棉花分割信息的區域匹配方法，并根據工況特殊性，對算法進行了改進。在室內通過構建平行雙目立體視覺系統進行試驗，結果表明該方法是一種誤匹配率低、計算量小、實時性好的匹配方法。

圖2 立體視覺執行機構

圖3 機器視覺執行機構

4 基于神經網絡的棉株株頂識別技術

4.1 基于BP神經網絡的棉株株頂識別

BP(Back Propagation)神經網絡于1986年由Rumelhart[26]及其研究小組發表在Nature雜志的論文《Learning representations by back-propagating errors》上提出，BP神經網絡是目前最廣泛應用的神經網絡模型之一。BP算法的學習過程包含兩部分，分別為正向傳播與反向傳播。它計算正向傳播的輸出層結果與期望結果之間的誤差，通過反向傳播不斷更新網絡中的權值與偏差，使其誤差平方和最小[27]。

劉俊奇[28]基于棉株頂尖的形態特征，利用BP神經網絡對參數進行了設計，開發了適合棉花打頂機高度自動識別的棉花頂尖圖像識別系統，通過Visual C++開發工具實現了對圖像預處理以及棉花頂尖圖像識別的算法研究。經過測試和實驗，結果表明利用神經網絡技術來實現棉花頂尖識別是可行。這是國內首次利用神經網絡對棉花頂葉圖像進行識別的研究，為以后的探究奠定了基礎。

瞿端陽等研究了基于顏色特征的棉株頂葉識別方法，采用MATLABR2011a軟件對采集的棉株頂葉圖像進行分割處理，如圖4所示，通過提取頂葉圖像RGB3個通道分量的均值(Mean)、方差(Variance)、標準差(Standard Deviation)共9個特征作為棉株頂葉與其他葉片區別的特征，然后利用BP神經網絡對棉株進行識別。結果表明利用棉株頂葉的顏色特征，使用BP神經網絡進行識別定位，可以很好的區分出棉株頂葉和其他葉片，準確率達到了85.7%。

(a) 原始圖像

4.2 基于卷積神經網絡的棉株株頂識別

卷積神經網絡(Convolutional Neural Network, CNN)，是一種最常見的深度學習架構，受生物自然視覺認知機構啟發而來。它主要包括卷積層(Convolutional Layer)和池化層(Pooling Layer)，由于具有局部連接性和權值共享等特點，使其在大規模圖像特征提取方面相較于傳統手工設計的圖像特征提取算法優勢明顯[29-30]。兩種特征提取方式優缺點總結，如表2所示。1998年Lecun等[31]提出LeNet-5模型，這是世界上第一個正式的卷積神經網絡模型，確立了CNN的現代結構。2012年Alex Krizhevshy提出了經典AlexNet模型，該網絡模型在當年的ImageNet比賽中一舉奪魁，開啟了深度學習時代。VGG模型由牛津大學在2014年提出，該模型結構簡潔，規律明顯，它在AlxeNet的基礎上，通過加深網絡，進一步提高性能。VGG模型探索了卷積神經網絡的深度與性能之間的關系，成功構筑了VGG16和VGG19等經典神經網絡。證明了更深的網絡，有助于提高分類準確度[32-33]。而后的GoogleNet、ResNet等深度從數十層到數百層的網絡提出，進一步提升了對圖像的識別精度。從而為未來在棉株株頂識別領域進一步的研究提供了算法基礎和探索方向。

表2 圖像不同特征提取方法優缺點總結Tab. 2 Summary of advantages and disadvantages of different image feature extraction methods

沈曉晨[34]采用了目標檢測網絡中YOLO模型的柵格思想，將棉株株頂圖像劃分為5×5個網格,如圖5所示。并選擇VGG16網絡模型，把網格作為輸入圖像進行訓練。通過1 000次迭代訓練，模型在訓練集中對棉株株頂識別率為91.2%，在測試集中識別率為83.4%。但由于受到CPU、GPU等硬件條件的限制，很難實現實時在線的定位識別。該測試結果表明，未來隨著硬件性能的提升能夠實現在田間對棉株株頂的實時定位識別，深度學習思想能夠成為未來的探索方向。

圖5 柵格化輸入圖像

李尚平等[35]采用改進的YOLOv3網絡(圖6)，建立了對甘蔗莖節智能識別卷積神經網絡模型，通過切種裝置內部的攝像頭對甘蔗表面進行連續、動態的數據采集，對輸入識別系統的圖像特征進行實時定位與識別，標記出莖節位置，再經過數據處理將實時的莖節信息傳遞給多刀數控切割臺進行實時切割。試驗結果表明基于改進YOLOv3的卷積神經網絡模型的莖節識別平均精確度為90.38%，平均識別時間達到了28.7 ms。滿足連續、實時識別定位蔗種莖節的要求。該裝置的研制成功對于未來在棉花打頂機的研發具有積極的借鑒意義。Zhang等[36]為了有效識別和定位麥田中的雜草，開發了基于無人機成像的深度學習雜草檢測方法，相較于YOLOv3，利用更適合在移動端部署的YOLOv3-Tiny網絡模型檢測出圖像中的雜草像素坐標并將其轉化成地面真實位置從而標記在處方圖上，為后續噴施除草劑作業提供支持。該研究也為棉花打頂提供了一種利用無人機識別頂葉的新思路。

圖6 改進的YOLOv3網絡正向傳播過程

5 存在問題

棉株株頂的精準識別對于棉花打頂意義重大，通過對國內外相關文獻的分析總結，結合機器視覺技術在農業領域的應用特點，發現機器視覺技術在棉花打頂方面依舊存在一些問題有待進一步改進。

1) 棉株株頂識別實時性有待提高。受到計算機硬件和相關執行機構響應速度的制約，現階段的棉花打頂機很難對棉花頂葉實時識別打頂，即“邊識別邊打頂”。在保證識別精度的情況下，難以滿足實時性的要求。因此一方面需要提高數據的處理速度，包括使用運算更快的處理器或是使用遠程服務器進行云端識別。另一方面，從農藝角度出發，要選育出易被識別的棉花品種，避免棉花頂部雜亂無序的生長，使得棉株頂葉圖像難以被攝像機采集，進而不能被及時處理，造成錯識別、漏識別。

2) 棉株株頂圖像識別算法有待優化。一方面隨著人工智能發展，算法的革新帶來的優勢是顯而易見的，從早期的BP神經網絡到后來的VGG16網絡，算法的革新帶來了更好的識別效果。因此在以后的研究中可以采用目標檢測方法，利用像YOLO這種端到端的網絡將目標檢測問題轉化為回歸問題。此外，對算法改進優化，減少模型冗余，使其善于處理棉株頂葉圖像信息，提升識別精度。

3) 棉田復雜作業環境帶來的干擾。現階段大多數研究處于科研人員設定的理想環境下，忽略了真實棉田條件下不同時間段內光照、溫度、風速等因素給棉株株頂圖像采集與識別帶來的干擾。因此需要對這些影響因素做進一步的探索和試驗，從而對裝備或是算法做出針對性的調整。

6 研究展望

1) 利用機器視覺開展棉株頂葉生長期分類研究。由于不同棉株頂葉生長期存在差異，在同一時間段內打頂可能會造成某些棉株發生早打頂或晚打頂現象，過早或過晚打頂都會給棉花后續生長和產量帶來負面影響。因此對棉株頂葉的不同生長期進行的分類識別，從而實現更精細的打頂作業。

2) 利用機器視覺開展棉株物理打頂技術研究。由于現有棉花打頂機仍存在仿形精度低，蕾鈴損傷高等問題，通過機器視覺技術識別定位棉株頂葉位置的同時輔以傳感器，控制割刀移動的距離與角度，改進其不足，提升打頂質量。

3) 利用機器視覺開展棉株化學打頂技術研究。近年來采取人工與化控相結合的打頂方式越來越普遍，噴施化學打頂劑一方面減少人工、降低成本，另一方面對棉花進行二次打頂，抑制幼芽生長，徹底消除棉花頂端優勢。但是大范圍噴施化學打頂劑不僅污染環境，還造成藥液浪費，因此利用機器視覺技術對棉株進行識別實現精準噴施，達到綠色環保的作業要求。

4) 利用機器視覺開展棉株打頂與病蟲害防控協同作業技術研究。充分發揮機器視覺技術的優勢，在識別定位棉株頂葉的同時，對其葉面病蟲害進行檢測評估。一方面及時發現棉花葉面初期病害信息，提前防治、減少損失。另一方面一機多用，在實現打頂作業同時，節省人工檢測成本。

7 結束語

針對現有棉花機械化打頂存在的定位不清晰、漏刀、過切等現象，隨著計算機硬件的推陳出新，以及深度學習等內容的不斷成熟，相信利用其智能化程度高、識別精度好、靈活等特點能夠實現棉株頂芽的精準識別，進而提升棉花機械化打頂質量、增加棉花產量。因此不斷克服目前相關技術難點和環境局限性，相信機器視覺技術能夠改善我國棉花田間管理的水平。