基于機器視覺的棉花智能采摘機器人技術概述

摘要：棉花是重要的農(nóng)作物之一，應用智能采摘機器人可以提高其采摘效率和質(zhì)量。機器視覺技術在智能采摘機器人中起關鍵作用，能夠準確識別引導采摘成熟的棉花。在介紹其設計關鍵技術的基礎上，分析了當下棉花智能采摘機器人技術研究的短板，如數(shù)據(jù)采集與標注困難、物體檢測和跟蹤的準確性不足以及環(huán)境適應性有待提升等，并提出優(yōu)化建議：進一步增強數(shù)據(jù)多樣性，在棉花采摘決策中合理應用強化學習以及改進多模態(tài)感知融合技術。

關鍵詞：棉花收獲；機器視覺；棉花智能采摘機器人；機器學習；深度學習；強化學習；多模態(tài)感知融合技術；數(shù)據(jù)標注

收稿日期：2022-05-30" " " " "第一作者簡介：王穎，副教授，從事機械設計制造及自動化研究與教學工作，wangxing6902@126.com

目前中小種植規(guī)模的棉花采摘主要依賴于人工，存在采摘難度較高、勞動強度大、人力成本高、采摘效率低和采摘質(zhì)量難以保證的問題。目前，在橙、橘、番茄、土豆、蘑菇、黃瓜、蘋果、西瓜、葡萄等果蔬的采摘中，國內(nèi)外已有應用采摘機器人的實踐[1]，在棉花上的相關研究還在探索中。因此，探究基于機器視覺的棉花智能采摘機器人技術有助于提高采摘效率、降低采摘成本，并且能夠減輕農(nóng)民的勞動壓力。

1 棉花智能采摘機器人設計關鍵技術概述

1.1 硬件平臺（本體結構）

1.1.1 機械結構。棉花智能采摘機器人的機械結構是實現(xiàn)采摘操作的關鍵組成部分。其設計需要滿足對穩(wěn)定性、靈活性和操作性能的要求。棉花智能采摘機器人的機械結構通常包括行走機構、機械臂和末端執(zhí)行器3個部分[2]。其中，機械臂負責移動和定位，末端執(zhí)行器則用于采摘棉花，是棉花智能采摘機器人的核心部件。機械臂需要具備足夠的自由度和精度，以適應復雜的棉花生長環(huán)境。常見的機械臂結構包括串聯(lián)機械臂和并聯(lián)機械臂。串聯(lián)機械臂由多個鏈接片和關節(jié)連接而成，具有較高的自由度和靈活性；而并聯(lián)機械臂則由多個平行機構構成，具有較高的穩(wěn)定性和剛性。

1.1.2 傳動系統(tǒng)。傳動系統(tǒng)負責將電機提供的動力轉換成機械運動，并將動力傳遞到機械臂和末端執(zhí)行器上。常見的傳動系統(tǒng)包括電機、齒輪、齒條、傳動帶等。電機是傳動系統(tǒng)的動力源，常用的電機包括直流電機、步進電機和伺服電機等。電機通過轉子的轉動產(chǎn)生的轉矩，驅(qū)動行走機構、機械臂和末端執(zhí)行器的相應運動[3]。

1.1.3 傳感器裝備。傳感器用于獲取關于環(huán)境和目標物體的信息。不同類型的傳感器在棉花智能采摘機器人中發(fā)揮不同的作用，常見的傳感器包括視覺傳感器、力/扭矩傳感器和距離傳感器等。視覺傳感器是機器視覺系統(tǒng)的核心，用于獲取棉花圖像信息，并進行圖像處理和分析。常見的視覺傳感器包括攝像頭、激光雷達和紅外線傳感器等。其中，攝像頭是最常用的視覺傳感器，能夠通過圖像處理算法進行目標識別、定位和跟蹤，要求具有高分辨率、高幀率和良好曝光性能。利用激光測距傳感器速度快、抗干擾能力強的特點，可以采用非接觸式激光測量棉株表面的深度信息，同時對計算機圖像進行進一步的處理，以實現(xiàn)對棉花的精確識別與定位[4]。

1.2 機器視覺系統(tǒng)

機器視覺的基本原理是通過模仿人類的視覺系統(tǒng)，利用計算機和相應的算法來實現(xiàn)對圖像的理解和分析。機器視覺系統(tǒng)主要由圖像獲取、預處理、特征提取和目標識別與定位4個步驟組成。

在圖像獲取階段，機器視覺系統(tǒng)使用攝像頭、相機、激光雷達等設備采集目標場景的圖像信息，并通過傳感器轉換為數(shù)字信號進行處理。對于攝像頭，可以根據(jù)需求選擇具有高分辨率和良好的圖像質(zhì)量的型號，也可以選擇具有快速曝光時間和高幀率的攝像頭，以適應快速移動的環(huán)境和快速采集圖像的需求。對于傳感器，可以選擇適用于棉花智能采摘機器人作業(yè)環(huán)境的力/扭矩傳感器和距離傳感器。力/扭矩傳感器應具有適當?shù)臏y量范圍和分辨率，以實時監(jiān)測機械臂和末端執(zhí)行器的力和扭矩。距離傳感器可以選擇激光傳感器或超聲波傳感器，其測量范圍為幾厘米到幾米，用于測量棉花智能采摘機器人與目標物體之間的距離。利用上述高分辨率、高幀率的圖像采集系統(tǒng)，可以獲得細節(jié)清晰的圖像。

圖像預處理可以提升圖像質(zhì)量和準確性，包括去噪、濾波、增強、壓縮和分割等操作。去噪能夠減少圖像中的噪聲，使目標物體更加清晰；濾波可以平滑圖像，去除圖像中不必要的細節(jié)；增強可以調(diào)整圖像的亮度、對比度和色彩等，使目標更加鮮明；圖像壓縮是為了減少存儲空間和降低傳輸帶寬，將圖像的冗余信息進行壓縮，同時盡量保持圖像質(zhì)量[5]。分割則是將圖像分為不同的區(qū)域，將目標與背景進行分離，為之后的特征提取做準備，常用的方法有閾值分割、區(qū)域生長和基于圖論算法的分割方法。

特征提取是通過圖像分析從圖像中提取有用特征信息的過程，用來表示目標物體的形狀、紋理和空間位置等特性。常用的特征包括邊緣、角點、紋理和顏色等，通過檢測這些特征，機器視覺系統(tǒng)可以對圖像進行更加精確的描述和分析。常用的方法包括邊緣檢測、形態(tài)學處理等。邊緣檢測是為了找到圖像中物體的邊界，常用的算法有Sobel、Canny等。形態(tài)學處理主要用于圖像的形狀分析和形態(tài)變換，包括膨脹、腐蝕、開運算和閉運算等。

目標識別與定位是機器視覺系統(tǒng)的核心任務，通過將提取到的特征與預先訓練的模型進行比對和匹配，使機器視覺系統(tǒng)能夠識別和定位目標物體。這一步驟通常使用模式識別、機器學習和深度學習等技術實現(xiàn)[6]。例如，可以利用基于改進YOLOv4的棉花檢測算法，融合注意力機制，通過不斷訓練提高圖像質(zhì)量和測算準確性[7]。

1.3 控制系統(tǒng)

1.3.1 自主導航。自主導航可以使棉花智能采摘機器人在復雜的環(huán)境中自主地規(guī)劃路徑并導航到目標位置。實現(xiàn)自主導航需要借助定位和地圖構建技術，結合機器視覺和傳感器信息，進行環(huán)境感知和路徑規(guī)劃。定位技術通過獲取棉花智能采摘機器人當前位置的準確信息，為其提供定位基準。常見的定位技術包括全球定位系統(tǒng)（global positioning system， GPS）、慣性導航系統(tǒng)（inertial navigation system， INS）和視覺里程計等[8]。其中，視覺里程計通過分析攝像頭獲取的圖像序列，計算棉花智能采摘機器人在連續(xù)圖像幀之間的視覺位置變化，從而實現(xiàn)位置的估計。利用這些技術可以將環(huán)境中的障礙物、棉花植株等信息進行建模和表示，為棉花智能采摘機器人規(guī)劃路徑提供依據(jù)。常用的路徑規(guī)劃算法包括迪杰斯特拉算法（Dijkstra's algorithm）和快速擴展隨機樹算法（rapidly-exploring random tree， RRT）等[9]。這些算法通過評估路徑的代價和可行性，在復雜的環(huán)境中尋找最優(yōu)路徑，并通過棉花智能采摘機器人的運動控制實現(xiàn)路徑的跟蹤。此外，使用卷積神經(jīng)網(wǎng)絡搭建起具體的向量，結合斥力函數(shù)對障礙物進行規(guī)避，規(guī)劃出具體的行駛路徑，能夠提升行進的效率[10]。

1.3.2 運動控制。通過運動控制，棉花智能采摘機器人能夠準確地控制機械臂和末端執(zhí)行器的運動，實現(xiàn)對棉花的抓取和放置等操作。運動控制需要考慮棉花智能采摘機器人的動力學和運動學模型，以及對采摘工作的精準控制。常見的運動控制方法包括比例積分微分控制（proportional plus integral plus derivative control， PID control）、模型預測控制（model predictive control， MPC）和遞歸最小二乘法（recursive least-squares， RLS）控制等[11]。同時，使用深度學習的方法對機械臂路徑進行強化訓練，也能夠提升路徑規(guī)劃的質(zhì)量，進而提升采摘的效率[12]。

1.3.3 采摘動作的規(guī)劃。采摘動作的規(guī)劃需要考慮棉花的位置和外形信息，以及機械臂和末端執(zhí)行器的運動學和力學約束。通過機器視覺和傳感器獲取棉花的位置、姿態(tài)和成熟度等信息，結合運動控制算法和卷積神經(jīng)網(wǎng)絡，規(guī)劃出機械臂的路徑和末端執(zhí)行器的動作，使其能夠準確地抓取成熟的棉花[13-14]。短程式的采摘動作規(guī)劃可以采用RealSense，通過預定點位，形成動作規(guī)劃和控制[15]。可以基于預先定義軌跡的方法提前定義好機械臂和末端執(zhí)行器的運動軌跡，并根據(jù)棉花的位置和姿態(tài)信息進行實時調(diào)整，以適應不同位置和形態(tài)的棉花。基于深度學習的方法可通過訓練深度神經(jīng)網(wǎng)絡，學習機械臂和末端執(zhí)行器的動作規(guī)律，實現(xiàn)對棉花采摘動作的智能規(guī)劃。

2 機器學習和深度學習在棉花智能采摘機器人設計中應用的不足

2.1 數(shù)據(jù)采集與標注困難

棉花智能采摘機器人在采摘過程中需要獲取棉花植株、棉鈴位置和成熟度等關鍵信息，但這些信息的獲取常常受到自然因素的干擾，如風、雨、陽光強度等，從而導致數(shù)據(jù)采集過程中存在很大的不確定性。這種不確定性導致采集到的數(shù)據(jù)質(zhì)量可能不夠準確和可靠。同時，機器學習和深度學習算法通常需要大量的帶有標簽的數(shù)據(jù)進行訓練，以使模型能夠準確識別和定位棉鈴。然而，以新疆為例，受制于種植密度不同、棉朵大小不一等問題，數(shù)據(jù)標注存在明顯的短板，進而會影響采摘的質(zhì)量[16]。這就需要標注員花費大量時間來手動標注圖像，工作量大且容易出現(xiàn)標注誤差。

2.2 物體檢測和跟蹤的準確性不足

在實際采摘過程中，確保棉花智能采摘機器人準確識別和跟蹤棉鈴對于高效采摘至關重要。然而，現(xiàn)有的物體檢測和跟蹤算法處理棉田復雜環(huán)境下的棉鈴數(shù)據(jù)時存在明顯的不足，這會導致采摘效率的降低，同時會增加后續(xù)處理的復雜性，因為漏檢或誤檢的棉鈴需要人工干預。造成上述準確性不足的具體原因主要有2點：一是，棉花生長狀態(tài)的多樣性和不規(guī)則性使其特征難以把握，如棉鈴在不同生長階段形態(tài)各異，而且受到植株遮擋和光照變化等因素的影響，其外觀變化較大，難以建立統(tǒng)一的特征模型；二是，尚未建立能準確處理識別復雜背景下的棉花圖像處理技術體系，無法很好地處理光照不均勻、樹葉遮擋等情況圖像。

2.3 環(huán)境適應性有待提升

棉田生長環(huán)境復雜，受天氣、土壤、植被等多種因素影響，因此，棉花智能采摘機器人在不同的環(huán)境條件下需要具備良好的適應性。然而，現(xiàn)有技術在環(huán)境適應性方面存在不足，棉花智能采摘機器人在不同的自然環(huán)境下難以保持穩(wěn)定的性能。其主要原因之一是機器視覺系統(tǒng)對于光照變化的敏感性。在強光照射下，攝像頭可能受到過度曝光的影響，導致圖像質(zhì)量下降，進而影響物體檢測的準確性；而在弱光條件下，圖像又可能過于昏暗，使棉鈴難以被準確識別。高濕度環(huán)境可能導致電子元件的短路和腐蝕，降低設備的穩(wěn)定性和壽命；相反，極低濕度可能導致靜電干擾和傳感器誤讀，影響棉花智能采摘機器人的正常運行。這種環(huán)境適應性的不足使得棉花智能采摘機器人在不同氣候和作業(yè)環(huán)境下的采摘效果不穩(wěn)定，難以滿足實際生產(chǎn)需求。

3 基于機器視覺下棉花智能采摘機器人技術研究的優(yōu)化建議

3.1 數(shù)據(jù)增強與數(shù)據(jù)多樣性

數(shù)據(jù)增強是通過對已有數(shù)據(jù)進行變換和擴展，以生成更大容量、更多樣的訓練數(shù)據(jù)，這有助于改善模型的泛化能力和適應性，特別是在面對不同光照、濕度和溫度條件時。基于遷移學習的方法，將遷移學習模型的特征提取技術與極限學習機（extreme learning machine， ELM）相結合，可以有效提高棉花識別的準確性和效率[17]。通過采用數(shù)據(jù)增強，模型能夠更好地應對不同環(huán)境條件下的挑戰(zhàn)，提高棉花智能采摘機器人的性能。同時，采集不同地區(qū)、不同種植方式、不同品種和不同生長階段的棉花數(shù)據(jù)樣本，有助于訓練模型更全面地理解棉花植株的多樣性和不規(guī)則性。通過多樣性數(shù)據(jù)的訓練，機器學習和深度學習模型可以更好地適應各種情況，提高對棉鈴識別的準確性和穩(wěn)定性。多樣性數(shù)據(jù)的收集和標注需要耗費一定的時間和資源，但它是提高技術應用效果的必要步驟。

3.2 強化學習在采摘決策中的應用

強化學習是1種機器學習范式，使機器能夠通過在環(huán)境變化中學習優(yōu)化并做出決策。在棉花采摘中，棉花智能采摘機器人需要不斷調(diào)整其動作和路徑規(guī)劃，以最大程度地提高采摘效率。因此，強化學習可以讓機器根據(jù)實時反饋來調(diào)整決策，優(yōu)化棉花智能采摘機器人的路徑規(guī)劃，以適應不同的棉花植株和環(huán)境條件，確保它能夠高效地覆蓋整個棉田，最大限度地減少空余時間。如，可以采用緊湊型可編程序邏輯控制器（programmable logic controller， PLC）植入強化學習程序構建智能棉花采摘控制方案[18]。

3.3 多模態(tài)感知融合的技術改進

多模態(tài)感知融合涉及將來自不同傳感器和感知源的信息整合在一起，以提供更全面和準確的感知數(shù)據(jù)。在棉花采摘過程中，多種感知源可以提供有關環(huán)境和棉花植株的信息，包括視覺、聲音、觸覺等，通過整合這些感知信息，棉花智能采摘機器人可以更全面地理解當前情況，提高決策的準確性和適應性。視覺傳感器可以提供有關棉鈴的形狀和顏色信息，但在某些情況下，視覺可能受到光照或遮擋的影響。呂友豪等[19]提出了1種多模態(tài)信息融合神經(jīng)網(wǎng)絡模型，該模型整合了視覺、雷達和本體感知信息，并使用空間跨模態(tài)注意力機制來融合信息，使機器人能夠?qū)Ｗ⒂谡系K物避讓中最相關的信息，選擇性地關注最有信息量的感官輸入，提高其在復雜地形中的導航能力。此外，多模態(tài)感知融合還可以提高棉花智能采摘機器人的環(huán)境感知能力，如可以使其同時利用視覺和聲音感知來檢測天氣條件，包括風速、降雨量等，從而更好地適應不同的氣象條件。如，可以構建棉花智能采摘機器人的動力學模型，采用人工勢場法優(yōu)化A*算法，以提升路徑規(guī)劃的速度，通過狀態(tài)觀測器對系統(tǒng)狀態(tài)進行估計，應用終端滑模控制策略以精確執(zhí)行路徑跟蹤，從而顯著增強控制的準確性[20]。

4 結語

基于機器視覺的棉花智能采摘機器人是1項具有重要應用價值的研究。通過應用機器視覺技術，包括圖像處理和分析、目標檢測和識別等，可以實現(xiàn)對成熟棉花的準確識別和采摘。同時，通過機器學習和深度學習算法的應用和優(yōu)化，可以進一步提升算法的準確性和運算性能。通過自主導航、運動控制和采摘動作的規(guī)劃，棉花智能采摘機器人能夠在復雜的環(huán)境中快速準確地采摘棉花。然而，仍需進一步研究和改進機器視覺算法、降低技術成本，并與棉花生產(chǎn)實際需求相結合，推動該技術的實際應用。

參考文獻：

[1] 王思玉，牛成強，李釗，等. 典型果蔬采摘機器人研究現(xiàn)狀與趨勢[J]. 新疆農(nóng)機化，2021（6）：14-17，21.

[2] 劉坤，王曉，朱一帆. 基于多視角三維點云融合的采棉機器人視覺感知方法[J]. 農(nóng)業(yè)機械學報，2024，55（4）：74-81.

[3] 李琪. 相對雙行采棉機采摘平臺及其傳動系統(tǒng)的設計與研究[D]. 上海：上海海洋大學，2015.

[4] 馮康. 基于機器視覺的棉花識別與定位技術的研究[D]. 石河子：石河子大學，2024.

[5] 王澤武，夏彬. 融合圖像處理的大粒度籽棉異纖清理系統(tǒng)設計[J]. 電子設計工程，2023，31（13）：173-176.

[6] 趙露苗，陳立平. 超分辨率方法在復雜棉花葉片圖像的比較研究[J]. 農(nóng)業(yè)與技術，2023，43（23）：48-50.

[7] 劉正波，鮑義東，孟慶偉. 基于改進YOLOv4的棉花檢測算法[J]. 計算機系統(tǒng)應用，2021，30（8）：164-170.

[8] 王玲，姬長英. 農(nóng)業(yè)機器人采摘棉花的前景展望與技術分析[J]. 棉花學報，2006，18（2）：124-128.

[9] 楊旭海，周文皓，李育峰，等. 采摘機械臂路徑規(guī)劃算法研究現(xiàn)狀綜述[J]. 中國農(nóng)機化學報，2023，44（5）：161-169.

[10] 翟睿. 基于人工智能算法的采摘機器人最優(yōu)路徑規(guī)劃研究[J]. 成都電子機械高等專科學校學報，2022，25（1）：52-54.

[11] 李曉娟，陳濤，韓睿春，等. 不確定采摘環(huán)境下改進RRT算法的機械臂路徑規(guī)劃研究[J].中國農(nóng)機化學報，2024，45（4）：193-198，337.

[12] 熊春源，熊俊濤，楊振剛，等. 基于深度強化學習的柑橘采摘機械臂路徑規(guī)劃方法[J].華南農(nóng)業(yè)大學學報，2023，44（3）：473-483.

[13] 王玲，劉思瑤，盧偉，等. 面向采摘機器人的棉花激光定位算法[J]. 農(nóng)業(yè)工程學報，2014，30（14）：42-48.

[14] 郭倉庫. 基于卷積神經(jīng)網(wǎng)絡的采摘機械臂無碰撞運動規(guī)劃研究[J]. 農(nóng)機化研究，2024，46（3）：42-46.

[15] 高楊. 基于RealSense的短程式采摘機器人設計與運動規(guī)劃[D]. 鎮(zhèn)江：江蘇大學，2024.

[16] 王旭飛. 新疆棉花生產(chǎn)機械化技術發(fā)展研究[J]. 南方農(nóng)機，2023，54（17）：80-82.

[17] 王見，田光寶，周勤. 基于遷移學習的棉花識別[J]. 浙江農(nóng)業(yè)學報，2020，32（8）：1457-1465.

[18] 劉巧，王磊. 基于小型PLC的智能棉花采摘控制系統(tǒng)設計[J]. 現(xiàn)代電子技術，2018，41（14）：37-40.

[19] 呂友豪，賈袁駿，莊圓，等. 基于多模態(tài)信息融合的四足機器人避障方法[J]. 工程科學學報，2024，46（8）：1426-1433.

[20] 代玉梅，張瑞玲，馬黎. 改進A*算法的采摘機器人路徑規(guī)劃與跟蹤控制[J]. 中國農(nóng)機化學報，2022，43（3）：138-145.

（責任編輯：楊子山 責任校對：秦凡）