基于手勢識別的智能農業采摘控制系統設計*

呂怡秋

（寧夏工商職業技術學院，寧夏 銀川 750000）

遠程操控機械臂代替人工在極限環境下作業，對保障人員安全與提升作業效率具有重要意義。在智能傳感技術不斷發展的背景下，采摘機器在農業領域擁有了更多的應用機會。采摘器是以待采摘作物為對象，融入人類肢體動作與感知功能的機器，能夠降低作業強度，提升作業效率[1]。傳統的遠程采摘機器多應用遺傳算法或A*算法對農作物成熟情況進行判斷，識別精度較低且需利用布線方式，在采摘環境的影響下有時無法大規模布線，從而導致采摘機器受到限制[2]。手勢是較為直觀的交互手段，可通過手勢識別動作信息，體現操作意圖?；谑謩葑R別的采摘機器，利用計算機、攝像與通信設備便可完成手勢信號的收集、識別與跟蹤，成本低廉、操作穩定[3]。鑒于此，本文設計了一種依托手勢識別的智能農業采摘控制系統，可以由操作者遠程判斷待采作物，通過手勢指令操控機器進行采摘。

1 整體設計

如圖1 所示，智能農業采摘控制系統包括控制層與被控層兩部分?？刂茖佑芍鳈C、無線傳輸模塊以及EMGPro 肌肉電手勢識別手環組成；被控層由采摘機械臂、電機驅動器、無線傳輸模塊以及AT89C2051-24PU 微控制器組成。智能農業采摘控制系統的工作流程為：

圖1 系統整體框架

1）控制層與被控層完成初始化，被控層開啟攝像機后由圖像收集設備對待采作物進行信息收集，并由AT89C2051-24PU 通過無線傳輸模塊將信息發送到控制層。

2）控制層通過無線傳輸模塊將收集到的信息顯示在主機屏幕上[4]。

3）操作者通過手勢決定是否采摘作物，握拳代表采摘作物，張開代表不采摘作物。

4）提取手勢特征，通過濾波算法分析手勢后，判斷是否采摘目標作物[5]。

5）主機將采摘指令通過無線傳輸模塊發送到被控層，待其接收到信息后根據指令操作，若未采摘則發送信號，由電機驅動器控制機械臂進行采摘；如果判定為不采摘，則移動高分辨雙目攝像機聚焦下一個目標農作物。

2 手勢信號收集與處理

2.1 信號收集

手勢信號屬于微弱的生物信號，是手勢動作在時空上的累積。根據檢測電極與位置的不同，手勢信號可分為針電極與表電極[6]。收集時僅需將電極貼在手臂上便可收集到手勢信號，信號質量強弱能夠判定是否準確，所以需要在能夠產生較多手勢信號的手部肌肉群附近收集信號。為使信號更為準確，可使用EMGPro 手環獲取手勢信號，該手環與皮膚直接接觸，傳感器能夠將收集到的信號降噪處理后轉化為數字信號，并將其傳輸至控制層；控制層收到信息后，通過特征提取與分段檢測對其進行進一步分析，在確定手勢后由采摘機器完成其余工作。傳感器信號收集流程如圖2 所示，EMGPro 具有較小的極化電壓，所獲信號相對穩定。本設計的通道由平行的兩片電極構成，在噪聲影響下輸出信號易飽和，故可將放大信號經低通轉換后接入高通濾波[7]。

圖2 傳感器信號收集流程

2.2 算法應用

1）提取特征。分段處理傳感器信號，為滿足機器控制，對連續重疊窗口之間進行延遲處理，從各時間窗口提取時域特征d，可用公式表示為：

其中，t表示時間，n表示時間樣本，l表示樣本窗口長度。

2）分析成分。分析成分能夠實現數據正交轉換，通過使用方差矩陣的特征向量獲取全新數據集[4]。在研究過程中，通過在測試子集中劃分傳感數據進行變量處理。將新變量應用于手勢信號子集|x|進行成分系數計算，可用公式表示為：

其中，c表示提取特征量，f1表示單模，f2表示2個組合。

3）動作分類。為提升手勢識別精確度，分別采用遺傳算法、A*算法與圖像濾波算法進行綜合測試，通過時間窗口精度來評價系統性能，從而選擇更為合適的算法。在遺傳算法中，數據集中的樣本存在類型輸出，可對不同超平問題進行計算，將數據線性劃分為各種“類”，防止因矩陣問題而出現誤差[8]；A*算法僅能對單一超平問題進行計算，但可同時進行數據分類，由此使分類誤差顯著降低；而圖像濾波算法則屬于非線性分類，由神經元連接得到較大的算法空間。

在三類算法中，遺傳算法、A*算法與圖像濾波算法的分類精度分別為85.3%、87.2%、94.7%，所以，采用圖像濾波算法進行手勢識別。

3 機械臂設計

在系統內，被控層主要負責驅動機械臂完成采摘。為精準控制采摘，采用6 個電機驅動機械臂，其中，2個電機負責實現旋轉功能。

3.1 夾持器

機械臂負責采摘作物，而采摘動作由夾持器完成[9]。夾持器由機械手、驅動器、電機等部件組成，其中有2 個電機，一個負責夾取作物，另一個則負責連桿旋轉。電機可用于多類型變化場景，內部包括馬達、軸承以及電位器等。

夾持器電機結構如圖3 所示，AT89C2051-24PU發送信號，抗干擾電位器控制電路將其與基準信號進行疊加，產生驅動馬達的直流電壓，將直流電壓與電位器電壓比較得到電壓差，電壓差決定了電機的正反轉。當電機轉速一定時，可以通過減速齒輪帶動電位器旋轉，同時驅動馬達，實現對機械臂的控制以及對電機正轉與反轉角度的精準操控[10]。

圖3 夾持器電機結構

3.2 驅動器

除底座電機之外，其他部分還有數個電機，驅動器采用四桿型結構，其具體運行原理如圖4 所示。基于液壓力的傳遞與轉換，液壓油通過電機產生壓力進入第一級桿，推動活塞運動。當第一級桿的活塞到達特定位置時，液壓油會進入第二級桿，隨后推動第二級桿的活塞運動。同樣，當第二級桿的活塞到達特定位置時，液壓油會進入第三級桿，隨后推動第三級桿上的活塞運動。通過傳遞與轉換，液壓油的壓力被逐漸放大，從而實現了較大的推力和位移。

圖4 驅動器運行原理

在圖4 中，4 個不同的桿件矢量正交分解之和形成閉環，可用公式表示為：

其中，k1、k2、k3、k4表示不同的桿件矢量，a1、a2、a3表示相鄰桿件的夾角。根據圖4 所示的運行原理與公式（3）的參數，可得出轉角與被控桿件的速度，從而使機械臂能夠平穩運行。

4 系統實驗

為驗證系統是否合理有效，在某種植園內進行遠程采摘實驗，全程監控實驗步驟。在實驗中，采摘機器在種植園內移動，操作者在機房進行遠程操控，具體手勢如圖5所示。

圖5 操作者遠程操作手勢

當識別到不采摘動作時，機械臂會向后移動一個單元長度；當識別到采摘動作時，機械臂會向前移動一個單元長度并摘下目標作物。在實驗過程中設置目標值，將兩組手勢信號通過輸出過程得到實際值，隨后比較兩類值的誤差，通過圖像濾波算法合理調整輸出權值，從而使識別準確率得以提升，手勢信號的特征值如表1所示。

表1 手勢信號特征值

為驗證算法性能，將其與遺傳算法和A*算法應用下的農業采摘控制系統進行比較分析，驗證結果如表2所示。

表2 不同算法下的系統性能比較

由表2 可知，識別準確率與采摘準確率之間存在正向關系，因此，手勢識別是對采摘準確率產生影響的主要因素。在實驗中發現，圖像濾波算法的識別時間僅為0.3 s，遠低于其他兩種算法的4.1 s 與3.5 s；識別準確率高達96%，遠高于其他兩種算法的94%與92%。從總體上看，圖像濾波算法在系統應用中更具有優勢。

5 結語

綜上所述，采摘機器在無法實現人工采摘的復雜環境下需借助遠程方式進行控制，以使其有效開展采摘工作。為優化系統性能，課題組進行了基于手勢識別的智能農業采摘控制系統設計研究，在系統設計中，引入了圖像濾波算法，將手勢識別與遠程操控機械臂結合，通過高分辨雙目攝像機收集手勢圖像信息并提取特征，將其轉化為電機控制命令后發送至控制層，實現了對機器的遠程操控。實驗表明，本系統的手勢識別準確度更高，可提高作物成熟判斷準確率與采摘效率，具有良好的應用與推廣價值。