采摘機(jī)器人對(duì)獼猴桃果實(shí)硬度觸覺(jué)感知研究

嚴(yán)正紅，陳 琳,2

(1.安徽國(guó)防科技職業(yè)學(xué)院 電氣技術(shù)學(xué)院，安徽 六安 237011；2.合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院，安徽 合肥 230002)

隨著觸覺(jué)感知技術(shù)在農(nóng)業(yè)機(jī)器人領(lǐng)域的應(yīng)用，硬度作為果實(shí)重要的物理屬性之一，會(huì)影響采摘機(jī)器人在實(shí)際采摘時(shí)抓握策略的實(shí)施。國(guó)內(nèi)外已有大量對(duì)不同硬度果實(shí)的檢測(cè)與抓持研究，Shiuh-Jer[1]等人利用FPGA設(shè)計(jì)了基于位置控制的末端執(zhí)行器，并構(gòu)建模糊控制系統(tǒng)完成對(duì)不同軟硬物體的抓取和釋放等操作。Oveisi[2]等人對(duì)貯藏期梨進(jìn)行研究，提出利用聲振法建立多元線性回歸模型對(duì)梨果實(shí)的硬度進(jìn)行檢測(cè)。張穎[3]等人運(yùn)用3D打印技術(shù)制作仿人機(jī)械手，利用電流傳感器對(duì)物體硬度進(jìn)行感知，成功實(shí)現(xiàn)了對(duì)軟爛、新鮮水果的分撿。余樂(lè)[4]等人利用薄膜壓力傳感器采集物體接觸信息，提出卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)物體軟硬度進(jìn)行感知識(shí)別。

為提高采摘機(jī)器人抓取的觸覺(jué)感知能力，利用觸覺(jué)傳感器采集接觸信息，通過(guò)信息處理與特征提取，提出基于KNN算法的識(shí)別果實(shí)硬度模型，解決了采摘機(jī)械手難以區(qū)分果實(shí)軟硬度的問(wèn)題，可實(shí)現(xiàn)農(nóng)業(yè)機(jī)器人智能化采摘與分揀作業(yè)。

1 數(shù)據(jù)采集系統(tǒng)平臺(tái)

1.1 觸覺(jué)采集系統(tǒng)

實(shí)驗(yàn)平臺(tái)以WEISS公司生產(chǎn)的WTS4*6的陣列觸覺(jué)傳感器和德國(guó)雄克公司生產(chǎn)的WSG50二指夾持器搭建機(jī)器人抓取信息采集系統(tǒng)。其中，觸覺(jué)傳感器是由4行6列的壓力單元組成的陣列，可實(shí)時(shí)測(cè)量接觸點(diǎn)的正向壓力值，其內(nèi)嵌在夾持器的兩指上，如圖1所示。

圖1 機(jī)械手觸覺(jué)抓取系統(tǒng)

1.2 實(shí)驗(yàn)材料

采用陜西省眉縣生產(chǎn)的徐香獼猴桃果實(shí)(果型整齊，呈現(xiàn)圓柱形，長(zhǎng)徑55～60mm，短徑45～52mm，單果的重量在100～120克)。果實(shí)硬度主要是利用硬度計(jì)來(lái)檢測(cè)的，但其檢測(cè)方法為破壞性檢測(cè)，會(huì)影響實(shí)驗(yàn)抓取效果。所以，為確定樣本硬度等級(jí)，選擇成熟度不同的獼猴桃，并通過(guò)5名志愿者利用自身的主觀感受進(jìn)行硬度排序，然后將樣本按硬度排序情況平均分成四個(gè)等級(jí)并貼上標(biāo)簽：硬(A)、較硬(B)、較軟(C)、軟(D)。每個(gè)等級(jí)里有5個(gè)獼猴桃，樣本果實(shí)共20個(gè)。

2 數(shù)據(jù)預(yù)處理與特征提取

2.1 數(shù)據(jù)集采集

利用搭建好的機(jī)器人觸覺(jué)柔性抓取平臺(tái)對(duì)樣本果實(shí)進(jìn)行夾持作業(yè)。當(dāng)機(jī)械手與果實(shí)表面接觸后，隨著機(jī)械手緩慢勻速閉合，指端觸覺(jué)傳感器可實(shí)時(shí)采集傳感器數(shù)據(jù)并保存在后端。為保障信息的可靠性，剔除受干擾實(shí)驗(yàn)組，每個(gè)樣本重復(fù)有效抓取20次，共400組原始數(shù)據(jù)集。

2.2 數(shù)據(jù)預(yù)處理

由于采集信息的傳感器是由4×6矩陣壓力觸覺(jué)，其采集到的數(shù)據(jù)特征是矩陣圖像。為了減少數(shù)組維度，利用平均值μ和標(biāo)準(zhǔn)差σ表征所采集每幀矩陣數(shù)組的特征。隨著機(jī)械手與樣本的接觸時(shí)間推移，一系列的接觸數(shù)據(jù)特征集可用Z表示：

Zμ={μ1,μ2,…,μN(yùn)}

(1)

Zσ={σ1,σ2,…,σN}

(2)

經(jīng)預(yù)處理后的數(shù)據(jù)仍然是高維時(shí)間特征序列集，若將該特征集直接用于對(duì)果實(shí)的抓取識(shí)別，將會(huì)增加識(shí)別模型的計(jì)算時(shí)間和難度。所以，需要對(duì)特征集進(jìn)一步的進(jìn)行降維處理。

2.3 基于主成分分析法的特征提取

主成分分析算法作為一種基于統(tǒng)計(jì)特征的降維方法，在模式識(shí)別領(lǐng)域被普遍應(yīng)用[5-6]。其具體步驟如下。

(1)N個(gè)樣本P維的原始數(shù)據(jù)矩陣表示為：

X={X1,…,XN}

(3)

式(3)中，Xi={x1,…,xp}表示任意一次抓取的觸覺(jué)序列。

(2)計(jì)算樣本協(xié)方差：對(duì)樣本進(jìn)行歸一化處理后，協(xié)方差矩陣如式(4)所示。

(4)

|λ1|≥|λ2|≥…≥|λp|≥0

(5)

(4)選擇p個(gè)主元，根據(jù)公式(6)計(jì)算累計(jì)方差貢獻(xiàn)率。

①石羊河民勤蔡旗斷面下泄水量由治理前的0.98億m3增加到2.5億 m3以上，最高達(dá)到 2.9億 m3，民勤盆地地下水開(kāi)采量由5.17億m3減少到0.89億m3；六河中游地表供水量由9.72億m3減少到8.82億m3，地下水開(kāi)采量由7.47億m3減少到4.18億m3，基本實(shí)現(xiàn)六河水系中下游地下水采補(bǔ)平衡，民勤青土湖地區(qū)地下水水位開(kāi)始回升，累計(jì)上升0.77 m，青土湖出現(xiàn)了最大15km2的季節(jié)性水面，生態(tài)系統(tǒng)惡化趨勢(shì)得到有效遏制。

(6)

利用主成分分析方法對(duì)各樣本數(shù)據(jù)集的μ、σ序列分別進(jìn)行降維處理，并計(jì)算出累計(jì)方差貢獻(xiàn)率，其具體隨主成分?jǐn)?shù)目的變化情況，如圖2所示。

圖2 累計(jì)方差貢獻(xiàn)率變化

從圖2可知，當(dāng)主元成分量p=5時(shí)，μ序列和σ序列的累計(jì)方差貢獻(xiàn)率均達(dá)98.65%，此時(shí)數(shù)據(jù)的維度降比恰好為40:1；隨著主元成分量的增大，累計(jì)貢獻(xiàn)率變化不明顯。所以，為了便于比較在不同特征集下的硬度識(shí)別效果，本文提取前5個(gè)主成分構(gòu)成新的特征集，供分類(lèi)器訓(xùn)練與測(cè)試用。

3 獼猴桃硬度KNN識(shí)別

3.1 KNN算法理論

K-近鄰分類(lèi)法(K Nearest Neighbor，KNN)是一種成熟的模式識(shí)別算法，也是機(jī)器學(xué)習(xí)模式識(shí)別中應(yīng)用最為廣泛的一種分類(lèi)算法[7-8]。其主要思想可概括為：將已經(jīng)標(biāo)記好標(biāo)簽的訓(xùn)練樣本數(shù)據(jù)集用作參考，選擇一種距離方法來(lái)計(jì)算待測(cè)樣本與所有訓(xùn)練樣本間的距離，選擇與待分類(lèi)樣本點(diǎn)最近的K個(gè)鄰居樣本，最后以K個(gè)最近的樣本中占大多數(shù)的類(lèi)作為未知樣本的歸屬類(lèi)，即為“近朱者赤，近墨者黑”的思想。如圖3所示，在基于距離的二分類(lèi)算法中，如果已知最近鄰的樣本類(lèi)別，就可以對(duì)待測(cè)樣本所屬類(lèi)別進(jìn)行判別。

圖3 基于距離的二分類(lèi)示意圖

3.2 KNN分類(lèi)器設(shè)計(jì)

在選取合適的特征數(shù)據(jù)集后，機(jī)器人對(duì)獼猴桃果實(shí)硬度感知識(shí)別KNN算法實(shí)現(xiàn)的具體步驟如下。

(1)構(gòu)建樣本訓(xùn)練數(shù)據(jù)。經(jīng)過(guò)預(yù)處理和PCA特征提取后的400組特征數(shù)據(jù)集，從中隨機(jī)選取的300組數(shù)據(jù)作為訓(xùn)練集，以數(shù)組的方式存儲(chǔ)在內(nèi)存中。

(2)設(shè)定參數(shù)k的初始值。k值參數(shù)利用宏定義來(lái)設(shè)定，方便參數(shù)的調(diào)整。由于k值的設(shè)定直接會(huì)影響識(shí)別結(jié)果的準(zhǔn)確性，可能會(huì)出現(xiàn)待測(cè)樣本歸結(jié)于多個(gè)硬度等級(jí)，設(shè)定參數(shù)通常取奇數(shù)，文中K=1，3，5，7，9。

(3)從訓(xùn)練樣本數(shù)據(jù)集中選出與測(cè)試樣本距離最近的K個(gè)樣本，其中距離的度量為歐式距離。以樣本序列X和Y為例，歐式距離計(jì)算方法為：

(7)

(4)遍歷訓(xùn)練樣本集。計(jì)算訓(xùn)練特征集與測(cè)試特征集的歐式距離，通過(guò)比較計(jì)算的歐式距離與隊(duì)列中最大歐式距離，確定優(yōu)先級(jí)隊(duì)列。然后計(jì)算優(yōu)先級(jí)隊(duì)列中k個(gè)元組的多數(shù)類(lèi)，并將其作為測(cè)試元組的類(lèi)別。

(5)計(jì)算誤差率，繼續(xù)設(shè)定參數(shù)k值，重新訓(xùn)練，最終取誤差率最小的k值。

在數(shù)據(jù)采集系統(tǒng)中，機(jī)器人末端執(zhí)行器采用的是二指夾持器，在數(shù)據(jù)采集過(guò)程中，將指端均集成有觸覺(jué)傳感器。在每一次的抓取樣本每個(gè)傳感器采集的數(shù)據(jù)都可獲得Zμ和Zσ序列集，雙觸覺(jué)采集的序列集為：

Z={Zμ,l,Zμ,r,Zσ,Zσ,r}

(8)

式(8)中，Zμ,l，Zμ,r，Zσ，Zσ,r分別表示左指μ特征序列、右指μ特征序列、左指σ特征序列、右指σ特征序列。

針對(duì)單一觸覺(jué)進(jìn)行歐式距離計(jì)算。以左指特征序列為例。

(9)

(10)

式(9)、式(10)中，ωμi,l、ωσi,l為歸一化處理數(shù)據(jù)，使得測(cè)量距離在[0，1]范圍內(nèi)。

對(duì)于雙觸覺(jué)特征序列進(jìn)行歐式距離計(jì)算的情況，以μ序列為例，即：

drl,1=dμl,1(Zμ,l1,Zμ,l2)+dμr,1(Zμ,r1,Zμ,r2)

(11)

4 結(jié)果與分析

在前期數(shù)據(jù)采集中，對(duì)于20個(gè)標(biāo)有硬度等級(jí)的獼猴桃抓取，共獲取400組原始數(shù)據(jù)集。經(jīng)過(guò)預(yù)處理和PCA特征降維后，隨機(jī)選70%特征集用作訓(xùn)練樣本集，剩余30%特征樣本集用于測(cè)試。將測(cè)試組數(shù)據(jù)輸入已經(jīng)訓(xùn)練好的分類(lèi)器來(lái)檢測(cè)所設(shè)計(jì)分類(lèi)器的識(shí)別性能。為了量化分類(lèi)效果，使用10倍交叉驗(yàn)證，并統(tǒng)計(jì)不同K值和特征序列下的模型識(shí)別準(zhǔn)確率。

如表1所示，在兩種特征序列下分別利用左指觸覺(jué)傳感器信息、右指觸覺(jué)傳感器信息、雙指觸覺(jué)傳感器信息的特征數(shù)據(jù)對(duì)獼猴桃硬度屬性檢測(cè)識(shí)別均有一定的識(shí)別率。其中，雙指觸覺(jué)傳感器信息用于分類(lèi)識(shí)別的效果要比單個(gè)手指觸覺(jué)信息好，右手采集到的觸覺(jué)識(shí)別效果略好于左手采集的觸覺(jué)識(shí)別效果，這可能是因?yàn)樽ト〔僮鞣绞降挠绊憽谋碇锌梢钥闯觯?dāng)K=1、3、5、7時(shí)，隨著K值得增大，感知識(shí)別準(zhǔn)確率降低；當(dāng)K=9時(shí)，各觸覺(jué)特征信息的識(shí)別效果稍微趨好。此外，對(duì)于基于μ特征序列識(shí)別率要比σ特征序列的識(shí)別準(zhǔn)確率略高。

表1 不同特征序列下KNN模型識(shí)別準(zhǔn)確率

由以上對(duì)于KNN算法模型識(shí)別效果的分析可知，當(dāng)K=1時(shí)的分類(lèi)效果最好，且利用雙指觸覺(jué)特征信息識(shí)別準(zhǔn)確率為90.03%。為了進(jìn)一步分析探究特征數(shù)據(jù)集對(duì)獼猴桃果實(shí)硬度感知識(shí)別效果，將K=1時(shí)，μ特征序列下的三種觸覺(jué)信息識(shí)別混淆情況統(tǒng)計(jì)分析。

(a)左指觸覺(jué)識(shí)別(b)右指觸覺(jué)識(shí)別(c)雙指觸覺(jué)識(shí)別圖4 1NN識(shí)別混淆矩陣

如圖4所示，根據(jù)統(tǒng)計(jì)繪制出具體混淆矩陣。對(duì)于能夠準(zhǔn)確識(shí)別的硬度等級(jí)出現(xiàn)在混淆矩陣的對(duì)角線上，對(duì)于識(shí)別錯(cuò)誤的也會(huì)出現(xiàn)在相應(yīng)的位置上。通過(guò)對(duì)比不同手指間觸覺(jué)信息的識(shí)別效果，可得出基于雙指觸覺(jué)識(shí)別效果相對(duì)來(lái)說(shuō)更好的結(jié)論。在雙指觸覺(jué)識(shí)別中，對(duì)于獼猴桃硬度等級(jí)A、B、C、D的識(shí)別準(zhǔn)確率分別為91.4%、88.5%、86.7%、89.7%。在誤識(shí)別中，將A等級(jí)硬度誤認(rèn)為是B等級(jí)的概率為8.6%，B等級(jí)誤認(rèn)為是A等級(jí)和C等級(jí)的概率分別為3.8%、7.7%，C等級(jí)誤認(rèn)為B等級(jí)和D等級(jí)概率分別為11%、3.3%，D等級(jí)誤認(rèn)為是C等級(jí)的概率為10.3%，由此可得出硬度等級(jí)相近的更容易互相錯(cuò)識(shí)別的結(jié)論。

5 結(jié)論

為提高采摘機(jī)器人對(duì)果實(shí)的硬度感知識(shí)別能力，提出基于主成分分析與KNN算法的獼猴桃果實(shí)感知識(shí)別方法。該方法利用搭建好的觸覺(jué)采集系統(tǒng)采集機(jī)械手與果實(shí)樣本的接觸信息，隨后針對(duì)高維數(shù)據(jù)進(jìn)行預(yù)處理與特征提取，并將特征集輸入到KNN算法模型中，進(jìn)行訓(xùn)練與測(cè)試。經(jīng)統(tǒng)計(jì)分析，基于主成分分析的算法能夠成功實(shí)現(xiàn)抓取觸覺(jué)數(shù)據(jù)集的維數(shù)約簡(jiǎn)，找到最能反映接觸果實(shí)過(guò)程的特征。不同K值下，雙指觸覺(jué)傳感器信息用于分類(lèi)識(shí)別的效果要比單個(gè)手指觸覺(jué)信息好，其最優(yōu)分類(lèi)識(shí)別準(zhǔn)確率為90.03%。對(duì)于機(jī)器人抓取識(shí)別誤判情況，主要存在于硬度等級(jí)相近的果實(shí)之間。基于PCA-KNN算法模型果實(shí)硬度識(shí)別方法，對(duì)于農(nóng)業(yè)機(jī)器人觸覺(jué)感知研究具有一定的工程意義。