水果姿態(tài)圖像自動(dòng)采集訓(xùn)練檢測(cè)儀設(shè)計(jì)

林 靜， 徐月華

(1. 茂名職業(yè)技術(shù)學(xué)院機(jī)電信息系，廣東 茂名 525000; 2. 廣東機(jī)電職業(yè)技術(shù)學(xué)院，廣東 廣州 510641)

0 引 言

獲取水果姿態(tài)信息在農(nóng)業(yè)生產(chǎn)中具有重要的研究意義，在水果自動(dòng)化加工中如龍眼去核[1]、蓮子取芯[2]、杏果去核[3]、沙果去核[4]、柚子套袋[5]中都需要對(duì)水果定向擺放以提高加工效果和加工效率，在水果自動(dòng)化套袋、采摘時(shí)需要完成目標(biāo)檢測(cè)定位外，還需要獲取水果的姿態(tài)信息進(jìn)一步調(diào)整機(jī)械手的動(dòng)作，以更好地抓取或剪切[5-6]，因此獲取水果姿態(tài)信息在農(nóng)業(yè)自動(dòng)化生產(chǎn)加工中具有重要的研究意義。隨著勞動(dòng)力成本的增加和農(nóng)業(yè)智能化、自動(dòng)化技術(shù)的發(fā)展，部分物理特征明顯的水果，如杏果、蘋(píng)果等軸向特征明顯，沙田柚的大小頭特征明顯[3，5]等，可利用其物理特性設(shè)計(jì)專(zhuān)門(mén)的自動(dòng)化定向裝置，以滿(mǎn)足自動(dòng)化加工的需求。但很多水果如龍眼品種多、形狀各異、大小頭特征不明顯[1]，蓮子通常呈圓球狀、蓮心處物理特征不明顯，則難以利用物理特征設(shè)計(jì)裝置實(shí)現(xiàn)定向[7]。

利用圖像特征進(jìn)行目標(biāo)識(shí)別、檢測(cè)、定位的機(jī)器視覺(jué)技術(shù)在水果自動(dòng)化采摘、加工領(lǐng)域已經(jīng)獲得了應(yīng)用[6-8]，特別是隨著深度卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，圖像識(shí)別的準(zhǔn)確率得到較大提高，但算法性能提升除了依靠算法模型，龐大的數(shù)據(jù)也是支撐算法模型性能提升的關(guān)鍵，如ImageNet已有千萬(wàn)張的圖像數(shù)據(jù)[9]。但針對(duì)特定的應(yīng)用場(chǎng)景（如水果姿態(tài)圖像的識(shí)別檢測(cè)等）數(shù)據(jù)集非常有限，圖片數(shù)量非常少，即使采用遷移學(xué)習(xí)等相關(guān)技術(shù)可以降低特定場(chǎng)景圖像數(shù)量的要求，但仍需要幾百?gòu)垐D片才能訓(xùn)練出可接受的結(jié)果，而人手工拍攝采集圖像的效率低、成本高、質(zhì)量差異大，并且采集的圖像還需要人工標(biāo)注、工作量大。文獻(xiàn)[10]針對(duì)工件6D位姿估計(jì)采用對(duì)物體3D建模，構(gòu)建多角度多姿態(tài)圖片集，文獻(xiàn)[11]采用GAN技術(shù)對(duì)采集的圖片集訓(xùn)練生成模型，然后用模型生成新的圖片以擴(kuò)容圖片集，上述方法對(duì)工件等差異小的目標(biāo)是有效的，但對(duì)個(gè)體差異大的水果等生成圖片集的多樣性、真實(shí)性不足。目前的圖像采集系統(tǒng)主要滿(mǎn)足雙目深度圖像采集[12]，難以適用于多角度多姿態(tài)圖像的拍攝。因此，本文設(shè)計(jì)了一套自動(dòng)化裝置以實(shí)現(xiàn)水果多姿態(tài)圖像的自動(dòng)采集、訓(xùn)練、檢測(cè)。

1 系統(tǒng)設(shè)計(jì)思路

基于對(duì)多姿態(tài)水果圖像自動(dòng)化采集的需求，進(jìn)行了水果多姿態(tài)圖像智能采集裝置設(shè)計(jì)。該裝置將攝像頭安裝在三自由度機(jī)械臂末端，目標(biāo)物放于可移動(dòng)垂直十字滑臺(tái)和360°旋轉(zhuǎn)云臺(tái)構(gòu)成的水果放置臺(tái)上，通過(guò)它們的配合運(yùn)動(dòng)自動(dòng)完成一組多姿態(tài)的水果圖像拍攝，并按姿態(tài)分類(lèi)自動(dòng)存入對(duì)應(yīng)文件夾完成標(biāo)注，通過(guò)模塊化的深度神經(jīng)網(wǎng)絡(luò)輔助訓(xùn)練程序，實(shí)現(xiàn)水果姿態(tài)訓(xùn)練和檢測(cè)，構(gòu)成一個(gè)水果多姿態(tài)圖像的采集、訓(xùn)練、檢測(cè)一體化裝置。

系統(tǒng)由上位機(jī)和下位機(jī)兩部分構(gòu)成。上位機(jī)采用PC機(jī)開(kāi)發(fā)，通過(guò)人機(jī)接口界面完成拍照參數(shù)的設(shè)置，控制攝像頭完成圖像的拍照、分類(lèi)存儲(chǔ)，完成基于深度學(xué)習(xí)姿態(tài)分類(lèi)訓(xùn)練參數(shù)的設(shè)置、姿態(tài)圖像分類(lèi)模型訓(xùn)練及分類(lèi)檢測(cè)。下位機(jī)由采用STM32F103單片機(jī)為控制器、三自由度機(jī)械臂構(gòu)成的攝像頭運(yùn)動(dòng)及控制模塊、可水平垂直運(yùn)動(dòng)的十字滑臺(tái)及360°旋轉(zhuǎn)的水果放置云臺(tái)構(gòu)成，由三者配合完成水果姿態(tài)圖像拍攝距離和拍攝姿態(tài)的控制。系統(tǒng)結(jié)構(gòu)示意圖如圖1所示。

圖1 系統(tǒng)設(shè)計(jì)結(jié)構(gòu)示意圖

裝置通過(guò)控制絲杠組的運(yùn)動(dòng)使目標(biāo)物移動(dòng)到合適的位置，以滿(mǎn)足不同種類(lèi)大小水果及應(yīng)用的拍攝距離需求。在上位機(jī)設(shè)置好拍攝距離等參數(shù)后，下位機(jī)控制垂直和水平絲杠組運(yùn)動(dòng)使目標(biāo)物運(yùn)動(dòng)到對(duì)應(yīng)的距離位置，然后步進(jìn)電機(jī)控制機(jī)械臂旋轉(zhuǎn)，帶動(dòng)末端的攝像頭以目標(biāo)物為圓心，以設(shè)定拍攝距離為半徑運(yùn)動(dòng)，控制機(jī)械臂末端的舵機(jī)帶動(dòng)攝像頭旋轉(zhuǎn)，使攝像頭一直對(duì)準(zhǔn)物體拍攝。

2 系統(tǒng)機(jī)械運(yùn)動(dòng)單元設(shè)計(jì)

2.1 機(jī)械運(yùn)動(dòng)結(jié)構(gòu)設(shè)計(jì)

系統(tǒng)機(jī)械機(jī)構(gòu)主要由三自由度機(jī)械臂構(gòu)成的攝像頭運(yùn)動(dòng)模塊、可水平垂直運(yùn)動(dòng)的十字滑臺(tái)及360°旋轉(zhuǎn)的水果放置云臺(tái)構(gòu)成。其中三自由度機(jī)械手采用SCARA結(jié)構(gòu)，采用交叉滾子軸承替代普通軸承，簡(jiǎn)化了機(jī)械臂的連接結(jié)構(gòu)，采用帶行星減速箱的步進(jìn)電機(jī)，在保證旋轉(zhuǎn)角度精度的同時(shí)，增加了機(jī)械臂的轉(zhuǎn)動(dòng)力矩，通過(guò)角度編碼器的反饋形成閉環(huán)角度控制。絲杠十字滑臺(tái)是將兩個(gè)300 mm行程的梯形絲杠滑臺(tái)用倒丁字結(jié)構(gòu)連接而成，如圖2所示，在垂直絲杠滑臺(tái)上安裝有可水平360°旋轉(zhuǎn)的云臺(tái)，為保證圖像的拍攝效果，改造了云臺(tái)上的放置底板，并在云臺(tái)上設(shè)置了半圓狀背景罩以保證拍攝背景統(tǒng)一。

圖2 水果放置云臺(tái)的設(shè)計(jì)圖

2.2 機(jī)械運(yùn)動(dòng)關(guān)鍵參數(shù)計(jì)算

要完成圖像的拍攝，需在設(shè)置好拍攝距離等參數(shù)后，控制垂直和水平運(yùn)動(dòng)絲杠組運(yùn)動(dòng)到對(duì)應(yīng)的距離位置，然后控制SCARA機(jī)械臂運(yùn)動(dòng)到拍攝點(diǎn)，進(jìn)一步調(diào)整末端的舵機(jī)角度使攝像頭保持對(duì)準(zhǔn)目標(biāo)，因此需要進(jìn)行絲杠組和機(jī)械臂的運(yùn)動(dòng)參數(shù)計(jì)算。

圖3 拍攝目標(biāo)位置運(yùn)動(dòng)范圍示意圖

圖4 機(jī)械臂旋轉(zhuǎn)角度計(jì)算示意圖

在拍攝過(guò)程中，拍攝角度是水果姿態(tài)分類(lèi)的重要參數(shù)之一，系統(tǒng)控制攝像頭在上按照設(shè)定的姿態(tài)角度拍攝，即在圖中，當(dāng)攝像頭運(yùn)動(dòng)到點(diǎn)拍攝時(shí)，是已知的，在圓心點(diǎn)坐標(biāo)和半徑已知的條件下，點(diǎn)的坐標(biāo)為

3 系統(tǒng)的軟件程序設(shè)計(jì)

3.1 圖像拍攝程序流程

在上位機(jī)設(shè)置好拍攝距離等參數(shù)后，將信息傳輸給下位機(jī)并啟動(dòng)運(yùn)動(dòng)控制系統(tǒng)。下位機(jī)先控制垂直和水平運(yùn)動(dòng)絲杠組運(yùn)動(dòng)到對(duì)應(yīng)的距離位置，然后控制SCARA機(jī)械臂運(yùn)動(dòng)到對(duì)應(yīng)的拍攝點(diǎn)，進(jìn)一步調(diào)整末端的舵機(jī)使攝像頭角度保持對(duì)準(zhǔn)目標(biāo)，發(fā)消息給上位機(jī)完成一次姿態(tài)圖像拍攝存儲(chǔ)，再通過(guò)云臺(tái)的旋轉(zhuǎn)和計(jì)算的運(yùn)動(dòng)軌跡控制機(jī)械臂的運(yùn)動(dòng)和攝像頭角度的旋轉(zhuǎn)，以實(shí)現(xiàn)一組多姿態(tài)水果圖像的自動(dòng)采集，并將圖像傳入上位機(jī)存儲(chǔ)，預(yù)處理，作為標(biāo)注的水果姿態(tài)數(shù)據(jù)集。在上位機(jī)編寫(xiě)程序完成水果姿態(tài)的訓(xùn)練和檢測(cè)，系統(tǒng)工作流程如圖5所示。

圖5 水果姿態(tài)圖像采集流程圖

3.2 基于ResNet的水果姿態(tài)訓(xùn)練檢測(cè)

本文采用ResNet-50深度學(xué)習(xí)框架作為水果姿態(tài)分類(lèi)檢測(cè)的算法模型，ResNet是一種泛化能力很強(qiáng)的網(wǎng)絡(luò)模型[13]，但網(wǎng)絡(luò)層數(shù)較多，需要數(shù)據(jù)量比較大，因此采用遷移學(xué)習(xí)的方法在ImageNet預(yù)訓(xùn)練的基礎(chǔ)上再進(jìn)行訓(xùn)練生成模型參數(shù)[14]，預(yù)測(cè)時(shí)根據(jù)輸入的圖片采用遷移訓(xùn)練生成的模型參數(shù)，在采集圖像數(shù)量有限的情況下仍有比較好的識(shí)別分類(lèi)效果，通過(guò)遷移學(xué)習(xí)可以用較少的數(shù)據(jù)和訓(xùn)練時(shí)間訓(xùn)練出高精度的特定水果的姿態(tài)信息檢測(cè)模型。數(shù)據(jù)訓(xùn)練目標(biāo)檢測(cè)的流程如圖6所示。

圖6 水果姿態(tài)分類(lèi)模型訓(xùn)練檢測(cè)流程圖

4 裝置的實(shí)驗(yàn)與測(cè)試

4.1 圖像采集實(shí)驗(yàn)

系統(tǒng)針對(duì)龍眼進(jìn)行實(shí)驗(yàn)，拍攝距離d為20 cm，如圖7所示，龍眼放置在云臺(tái)上，設(shè)機(jī)械臂沿對(duì)應(yīng)的90°圓弧每隔15°設(shè)定一個(gè)拍攝點(diǎn)，共7個(gè)，龍眼蒂部朝上朝下各放置一次，共14個(gè)角度姿態(tài)，同時(shí)云臺(tái)旋轉(zhuǎn)4個(gè)角度，角度間隔90°，一組共采集56張圖片，攝像頭型號(hào)為HD720。上位機(jī)PyTorch1.4.0算法框架，采用PyQt5設(shè)計(jì)程序界面，如圖8所示，在數(shù)據(jù)輸入模塊輸入采集設(shè)置信息后，啟動(dòng)拍攝，正反面放置各拍一組，放置在56個(gè)文件夾中，訓(xùn)練和檢測(cè)過(guò)程中根據(jù)需要可對(duì)多個(gè)文件夾內(nèi)的圖片重新組合為一類(lèi)，在分組模塊將采集圖片再次分類(lèi)后進(jìn)行訓(xùn)練，在檢測(cè)模塊輸入圖片即可輸出分類(lèi)結(jié)果。拍攝一組56張圖片用時(shí)20 s。

圖7 姿態(tài)角度分類(lèi)示意圖

圖8 上位機(jī)人機(jī)界面

4.2 水果姿態(tài)訓(xùn)練識(shí)別實(shí)驗(yàn)

根據(jù)龍眼的特點(diǎn)和拍攝的情況，將采集的56組圖片，每組50張，分為5大類(lèi)，圓弧拍攝角度相同，云臺(tái)旋轉(zhuǎn)角度不同的劃分為同一類(lèi)，共有14個(gè)角度，對(duì)應(yīng)14小類(lèi)。再將其中編號(hào)6、7劃為蒂部朝上類(lèi)（400張），3、4、5劃分為蒂部?jī)A斜向上類(lèi)（600張），1、2、8、9劃為側(cè)放類(lèi)（800張），10、11、12劃為底部?jī)A斜向上類(lèi)（600張），13、14劃為底部朝上類(lèi)（400張），共5大類(lèi)，其中訓(xùn)練集占90%，測(cè)試集占10%，采用ImageNet預(yù)訓(xùn)練的ResNet網(wǎng)絡(luò)訓(xùn)練，即凍結(jié)網(wǎng)絡(luò)前5個(gè)stage，僅訓(xùn)練最后一個(gè)stage的 FC層和 softmax層參數(shù)，BatchSize為32，Epoch為 100，采用 AlexNet、VGG-16、Inception等算法[15]網(wǎng)絡(luò)設(shè)置相同的BatchSize、Epoch，4種算法驗(yàn)證集的準(zhǔn)確率迭代曲線(xiàn)如圖9所示，其檢測(cè)準(zhǔn)確率和所消耗時(shí)間如表1所示，本文算法經(jīng)過(guò)100次迭代，測(cè)試集的準(zhǔn)確率總體上優(yōu)于其他3種算法，用時(shí)上僅多于AlexNet網(wǎng)絡(luò)，表明設(shè)計(jì)系統(tǒng)采用算法模型測(cè)試效果較好。

表1 4種算法龍眼姿態(tài)圖像分類(lèi)訓(xùn)練結(jié)果

圖9 4種算法龍眼姿態(tài)圖像分類(lèi)訓(xùn)練迭代曲線(xiàn)

5 結(jié)束語(yǔ)

1)利用機(jī)器視覺(jué)及人工智能技術(shù)獲取水果姿態(tài)信息，輔助對(duì)水果進(jìn)行定向加工或采摘，是水果自動(dòng)化加工采摘技術(shù)的發(fā)展趨勢(shì)。

2)本文將攝像頭安裝在SCARA機(jī)械臂上，并與放置在可移動(dòng)云臺(tái)上的水果組合運(yùn)動(dòng)實(shí)現(xiàn)多姿態(tài)水果圖像的自動(dòng)拍攝采集和存放標(biāo)注，并以殘差網(wǎng)絡(luò)為基礎(chǔ)模型構(gòu)建了模塊化的水果姿態(tài)訓(xùn)練檢測(cè)模型程序。

3)以龍眼水果為對(duì)象進(jìn)行水果姿態(tài)圖像采集和水果姿態(tài)圖像訓(xùn)練檢測(cè)實(shí)驗(yàn)表明，裝置可實(shí)現(xiàn)1個(gè)水果正反放置2次，在20 s內(nèi)完成一組56張姿態(tài)圖像的拍攝存儲(chǔ)和標(biāo)注，且水果姿態(tài)圖像檢測(cè)的準(zhǔn)確率可達(dá)98.40%，滿(mǎn)足水果姿態(tài)圖像的自動(dòng)采集、訓(xùn)練、檢測(cè)需求。

4)所設(shè)計(jì)的裝置如配合目標(biāo)檢測(cè)和相應(yīng)的機(jī)械手，即可以進(jìn)一步用于水果自動(dòng)化定向加工和采摘等工業(yè)化應(yīng)用領(lǐng)域。