番茄粘彈性參數機器人抓取在線估計

周 俊 張 娜 孟一猛 王明軍

(南京農業大學江蘇省智能化農業裝備重點實驗室， 南京 210031)

番茄粘彈性參數機器人抓取在線估計

周 俊 張 娜 孟一猛 王明軍

(南京農業大學江蘇省智能化農業裝備重點實驗室， 南京 210031)

為了使采摘機器人在抓取過程中能夠對被抓果蔬的粘彈性力學參數進行快速估計，實時優化抓取過程，減少末端執行器對被抓取對象造成機械損傷，以抓取力、變形量、作用時間為輸入，建立了番茄粘彈性參數估計的人工神經網絡模型。運用質構儀蠕變試驗所測的力、變形和時間，以及粘彈性參數E1、E2、η1、η2作為訓練數據集，確定了人工神經網絡的拓撲結構和參數，并測試了網絡模型的粘彈性參數估計性能。利用二指機器人末端執行器對隨機番茄樣本進行抓取試驗，并在抓取過程中用此模型來在線估計粘彈性參數。通過與質構儀的實測值進行對比發現，當時間t≥0.2 s時，各參數的估計值與實測值之間的相對誤差均在25%以內，并根據0.2 s時得到的粘彈性參數對機器人抓取力范圍進行了估計。結果表明，利用此方法在機器人抓取過程中可以對被抓番茄粘彈性特性進行估計，為在線優化抓取力提供了依據。

機器人抓取； 番茄； 粘彈性參數； 蠕變試驗； 人工神經網絡

引言

在果蔬采摘、分級、包裝和加工等作業環節中，機器人經常通過末端執行器的手指直接對果蔬施加作用力來實現果蔬的穩定夾持抓取。而果蔬是一種粘彈性體，同時具有彈性和粘性兩種不同機理的形變[1]，研究果蔬的粘彈性，不僅可以減少果蔬抓取過程中的機械損傷，也為抓取部件的設計提供依據，同時為采摘機器人實現快速抓取提供必要信息[2-4]。

國內外學者對各類果蔬的粘彈特性進行了許多研究。CHEN等[5]和KAUR等[6-7]分別建立了梨和馬鈴薯的Maxwell粘彈性力學模型，并通過試驗求得相應的粘彈性參數。SAEIDIRAD等[8]利用質構儀對不同品種石榴分別做應力松弛試驗，利用人工神經網絡方法代替麥克斯韋模型來預測石榴的粘彈特性。張謙益等[9]和楊曉清等[10]通過試驗分別得到梨果實和河套蜜瓜的蠕變模型及相應的粘彈性參數，并對影響蠕變量的因素進行了分析。李小昱等[11]和劉繼展等[12]針對經典Burger’s模型在蠕變特性表達中的不足，分別在Burger’s模型基礎上建立了四元件五參數和四元件六參數的修正模型。此外，李小昱等[11]還通過試驗發現蘋果的粘彈性參數與損傷體積有著顯著的線性相關關系。郭文斌等[13]對馬鈴薯完整塊莖進行壓縮試驗，得到了馬鈴薯整莖淀粉含量與粘彈性參數之間的回歸方程，為利用粘彈性力學參數估測馬鈴薯淀粉含量提供了參考。楊玲等[14]和方媛等[15]分別對“華紅”蘋果和“紅富士”蘋果進行蠕變測試，分析了粘彈性參數與蘋果果實質構特性和營養成分的相關性，完善了蘋果果實品質評價體系。

雖然國內外學者對多種果蔬的粘彈性力學特性進行了研究，但是現有的研究幾乎都是通過傳統的試驗方法來求取粘彈性參數，而基于采摘機器人利用機器學習方法獲取果蔬粘彈性參數的研究卻很少。為了使采摘機器人抓取過程中能夠在盡可能短的時間內對被抓果蔬的粘彈性力學參數進行估計，可以為在線優化抓取控制提供信息，本文構建估計粘彈性參數的人工神經網絡模型，通過機器人兩指末端執行器抓取試驗驗證所建模型的有效性，得到估計果實粘彈性力學特性的最短時間，在此基礎上對機器人抓取力范圍進行估計。

1 蠕變實驗

1.1 實驗材料

選用材料為皖粉2號番茄。根據商業行業標準SB/T 10331—2000中關于番茄成熟期的界定，選擇紅熟前期(果實著紅面為10%～30%)、紅熟中期(果實著紅面為40%～60%)番茄各10個，番茄的赤道直徑(垂直于果柄方向)在72～80 mm之間，質量在166～252 g之間。番茄蠕變測試采用美國FTC公司的TMS-PRO型食品物性分析儀(質構儀)。

1.2 實驗方法

由于番茄在采摘、運輸、加工等作業環節中，一般都是處于完整狀態下承受外載荷作用，故對完整番茄果實進行蠕變實驗。

蠕變測試參數設置為：探頭P75(直徑75 mm)，起始力0.6 N，加載時間30 s，測試速度60 mm/min，數據采集頻率10 Hz。被測番茄果柄呈水平狀放置，用底座固定。每個樣本大致在果腰處隨機選取3個相鄰間隔約120°的點分別用3、5、7 N的力進行蠕變實驗，共進行60次蠕變實驗，圖1為蠕變實驗裝置。

圖1 蠕變實驗裝置Fig.1 Platform of creep experiment

蠕變實驗中所得的變形與時間關系曲線可以由不同的蠕變模型來描述，如Maxwell模型、Kelvin模型、Burgers模型等。其中Burgers模型是表征粘彈性材料蠕變特性的經典模型，它是由一個Maxwell單元和一個Kelvin單元通過串聯組成的四元件模型，其結構如圖2所示。Burgers模型可以表示粘彈性的主要特征，是預測物料蠕變特性的最著名模型之一[16]，故本文選用Burgers模型來描述番茄蠕變加載過程中的蠕變特性。

圖2 Burgers模型Fig.2 Burgers model

Burgers模型蠕變加載過程的微分方程為

(1)

式中D(t)——變形量，mmt——時間，sF0——恒定載荷，NE1——瞬時彈性系數，N/mmE2——延遲彈性系數，N/mmη1——串聯粘性系數，N·s/mmη2——并聯粘性系數，N·s/mm

1.3 蠕變模型參數求取

通過蠕變實驗可以得到變形-時間的關系曲線，即蠕變曲線，60次蠕變實驗可以得到60條蠕變曲線。使用Origin 8.0軟件中的非線性擬合工具箱，利用式(1)蠕變模型微分方程對番茄蠕變實驗數據進行擬合，即得番茄樣本蠕變模型的粘彈性參數和決定系數。擬合結果表明，決定系數R2均高于0.99，驗證了所選模型的有效性。圖3為從20個番茄樣本中隨機選取的一個樣本分別在3、5、7 N力作用下的蠕變曲線和擬合曲線，得到相應的粘彈性參數和決定系數如表1所示。其余番茄樣本的蠕變曲線及擬合曲線情況類似。

圖3 蠕變曲線與擬合曲線Fig.3 Creep curve and fitting curve

參數作用力/N357E1/(N·mm-1)2.782.422.52E2/(N·mm-1)14.029.7611.03η1/(N·s·mm-1)545.19595.45537.98η2/(N·s·mm-1)48.9445.1861.82決定系數R20.9900.9950.996

2 粘彈性參數估計模型建立

2.1 人工神經網絡

人工神經網絡是由大量簡單的處理單元通過廣泛連接組成的復雜網絡。這里采用前饋型神經網絡，通過反向傳播算法(BP算法)來實現。BP神經網絡由輸入層、隱含層和輸出層構成，能實現從輸入空間到輸出空間的非線性映射，可以逼近任意非線性系統[17]。標準的3層前饋人工神經網絡的拓撲結構如圖4所示，ωij和ωjk分別是輸入層與隱含層、隱含層與輸出層之間的連接權值。

圖4 3層前饋人工神經網絡的拓撲結構Fig.4 Topological structure of three layers feed forward artifical neutral network

2.2 粘彈性參數網絡估計模型設計

2.2.1 網絡模型拓撲結構

番茄粘彈性參數估計模型選用3層人工神經網絡結構。其中，輸入層和隱含層之間的傳遞函數為Tansig，即f(x)=tanh(x)；隱含層和輸出層之間的傳遞函數為Purelin，即f(x)=kx。

輸入層和輸出層的節點數分別由輸入變量和輸出變量的個數決定。由于模型的輸入變量為加載力F、變形量D和加載時間t，輸出量為粘彈性參數E1、E2、η1、η2，故輸入層和輸出層的節點數分別為3和4。根據Kolmogorov定理確定隱含層節點數理論值為7，經過反復訓練對比發現最佳隱含層節點數為11，所以確定所建模型網絡拓撲結構為3-11-4。

2.2.2 網絡模型訓練

從每次質構儀蠕變實驗數據中取10組數據作為樣本數。為了模擬機器人抓取過程，其中在這次蠕變實驗過程中隨機選擇加載時間t數據，與對應加載力F、變形量D構成1組輸入量。根據這次蠕變實驗數據應用曲線擬合方法得到的粘彈性參數作為這10組數據的共同輸出量。這樣便擁有了600組樣本數據。

對網絡的輸入樣本數據和輸出樣本數據進行預處理可以消除量綱影響，提高網絡收斂性能[18]。因此對數據進行歸一化處理，把所有數據都轉換為[0，1]區間的數。運用最大最小法對數據進行歸一化處理

xk=(xk-xmin)/(xmax-xmin)

(2)

式中xk——數據序列中第k個數xmin——數據序列中的最小數xmax——數據序列中的最大數

選用均方誤差MSE作為目標評價網絡模型性能

(3)

式中M——均方誤差N——訓練樣本數ei——第i個樣本的訓練誤差Ti——第i個訓練樣本的目標輸出Yi——第i個訓練樣本的網絡輸出

設定學習率為0.01，終止訓練步數為1 000，從600組樣本數據中隨機選擇500組數據為訓練數據，其余100組數據為測試數據，對神經網絡模型進行訓練。訓練數據的相關系數分別為0.93、0.92、0.93和0.93，均方誤差為0.033。

2.2.3 網絡模型性能分析

用100組測試樣本數據對網絡模型進行性能評價，網絡預測輸出的相對誤差如圖5所示。由于樣本中的時間t是隨機分布的，故各參數的相對誤差都有一定波動，一般與蠕變初始時刻對應的樣本形變量小、蠕變過程不充分等原因有關，誤差會比較大。由圖5可知，瞬時彈性系數E1的相對誤差均在15%以內，預測效果較好；延遲彈性系數E2和串聯粘性系數η1的相對誤差波動較大，但相對誤差大于25%的概率都低于10%；并聯粘性系數η2的相對誤差大于25%的概率為4%。可見，該網絡模型可以應用實測的力、變形量與時間3個數據來近似估計果蔬的粘彈性參數，使粘彈性參數的求取具有一定的實時性，從而為在線優化抓取控制過程提供了基礎。

圖5 網絡預測輸出的相對誤差Fig.5 Relative error of network predicted output

3 機器人抓取在線估計番茄粘彈性參數

3.1 機器人抓取試驗

試驗平臺采用德國SCHUNK公司生產的WSG 50型二指機器人末端執行器，該末端執行器集成了控制器、編碼器和SD存儲卡，與PC機的通訊協議為TCP/IP協議，手指材質為鋁合金。其中一個手指上裝有力反饋傳感器，抓取過程中可以實時測量抓取力，手指位移由編碼器實時測量。試驗平臺如圖6所示。

圖6 抓取試驗平臺Fig.6 Grasping experimental platform1.信息采集系統 2.WSG 50型機械手 3.力反饋手指 4.穩壓電源

使用Visual Studio 2010軟件開發末端執行器的控制軟件，可以實現對抓取速度、加速度、力和位移的調控，能夠實時記錄手指位移、抓取力及抓取時間等數據。

隨機選擇紅熟前期、紅熟中期番茄各2個，機械手以恒定的速度對這4個番茄樣本分別進行抓取試驗，當抓取力達到設定停止力后，手指停止移動保持自鎖直至釋放果實，記錄抓取過程中力、位移與時間的數據。試驗設定的停止力Ft為最小抓取力。

Ft=mgα/(2μ)

(4)

式中Ft——停止力m——番茄質量g——重力加速度α——安全因子，取α=1.5μ——番茄與機器手之間的摩擦因數，試驗測得μ為0.22

3.2 番茄粘彈性參數在線估計結果與分析

將抓取過程前0.6 s的試驗數據分別輸入粘彈性參數估計模型，在線計算番茄樣本的粘彈性參數。估計計算結果與通過質構儀數據擬合測得的粘彈性參數對比情況如表2所示。

番茄粘彈性參數網絡模型在線估計值與質構儀數據離線測量值之間的相對誤差如圖7所示。可見，彈性系數E1的相對誤差均在22%以內；當t=0.1 s時，E2、η1和η2的相對誤差波動較大，但當t≥0.2 s時，E2、η1和η2的相對誤差雖有波動但都在25%以內，趨于穩定。誤差的來源既有粘彈性參數估計神經網絡模型的計算誤差，也有傳感器等在線測量的誤差。雖然，這樣得到的粘彈性參數估計值誤差還不太理想，但相對完全未知的抓取而言，這個估計值對判斷被抓取對象物理特性提供了一定的信息，可以為采摘機器人在線優化抓取過程提供依據。

表2 估計值和實測值Tab.2 Estimated values and measured values

圖7 相對誤差曲線Fig.7 Relative error curves of estimated values

由于在線優化需要能夠盡快對被抓對象粘彈性力學特性進行估計，因此，可將0.2 s時的抓取力、變形量和時間輸入已訓練好的人工神經網絡模型來估計粘彈性參數，為在線優化抓取控制策略提供參數依據。

3.3 基于番茄粘彈性參數的機器人抓取力范圍估計

由式(1)可知，抓取停止時的番茄變形量為

(5)

抓取過程結束時番茄的壓縮率為

(6)

式中L——接觸處番茄樣本的直徑

由式(5)、(6)可得抓取力為

(7)

李智國等[19-20]通過試驗發現影響番茄機械損傷度最大的因素是壓縮率，壓縮率每增加1%，番茄的機械損傷度平均增加2.98%；當壓縮率水平分別為4%和8%時，番茄以彈性變形為主，當壓縮率水平分別為12%和16%時,番茄以塑性變形為主。為減少采摘過程中番茄的機械損傷，以番茄的壓縮率不高于4%為條件，即C≤4%。這樣，根據0.2 s時得到的粘彈性參數就可以對機器人抓取力范圍進行估計。

綜合考慮抓取穩定性和番茄的壓縮率水平，由式(4)、(7)可得機器人抓取力范圍為

(8)

通常情況下人工完成單次穩定抓取動作的時間為1 s，日本采摘機器人完成穩定抓取的時間大約為4 s[21]。因此，以機器人完成抓取過程時間持續2 s為例，可以計算出抓取力范圍如表3所示。

表3 抓取力范圍Tab.3 Range of grasp force

在實際抓取過程中，可利用0.2 s時估計得到的粘彈性參數來計算抓取力上限，結合穩定抓取的最小抓取力來在線選取抓取范圍，以實現在穩定抓取前提下避免造成番茄機械損傷。

4 結論

(1)以力、變形和時間為輸入，粘彈性參數E1、E2、η1、η2為輸出，構建了估計番茄粘彈性參數的人工神經網絡模型。確定網絡的拓撲結構為3-11-4，并利用質構儀的蠕變試驗數據對網絡進行訓練。

(2)利用二指機器人末端執行器對隨機選擇的番茄樣本進行抓取試驗，記錄試驗過程中力、變形量隨時間變化的數據，將不同時刻的試驗數據分別輸入粘彈性參數估計模型，計算輸出番茄的粘彈性參數。與質構儀實測值相比，抓取0.2 s以后，粘彈性參數估計值相對誤差小于25%。

(3)在番茄壓縮率不高于4%條件下，利用0.2 s估計得到的粘彈性參數計算出機器人抓取力的取值范圍，為避免抓取過程中造成番茄機械損傷提供了理論依據。

1 TSAI C H D, KAO I, SHIBATA A, et al. Experimental study of creep response of viscoelastic contact interface under force control[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems，2010, 6219(1):4275-4280.

2 鄧云, 吳穎, 李云飛. 果蔬在貯運過程中的生物力學特性及質地檢測[J]. 農業工程學報, 2005, 21(4):1-6. DENG Yun, WU Ying, LI Yunfei. Biomechanical properties and texture detection of fruits and vegetables during storage and transportation[J]. Transactions of the CSAE, 2005, 21(4):1-6. (in Chinese)

3 李成, 馬小愚, 雷溥. 番茄果實力學特性及與成熟度關系的試驗研究[J]. 農機化研究, 2006(1):167-169. LI Cheng, MA Xiaoyu, LEI Pu. Study on the relationship between mechanical and theological properties and ripe degree of tomato[J]. Journal of Agricultural Mechanization Research, 2006(1):167-169. (in Chinese)

4 劉繼展, 李萍萍, 李智國,等. 面向機器人采摘的番茄力學特性試驗[J]. 農業工程學報, 2008, 24(12):66-70. LIU Jizhan, LI Pingping, LI Zhiguo, et al. Experimental study on mechanical properties of tomatoes for robotic harvesting [J]. Transactions of the CSAE, 2008, 24(12):66-70. (in Chinese)

5 CHEN P, FRIDLEY R B. Analytical method for determining viscoelastic constants of agricultural materials[J]. Transactions of the ASAE, 1972, 15(6):1103-1106.

6 KAUR L, SINGH N, NAVDEEP S S, et al. Some properties of potatoes and their starches I. cooking, textural and rheological properties of potatoes[J]. Food Chemistry, 2002, 79(2):177-181.

7 SINGH J, KAUR L, RAO M A. Textural and rheological characteristics of raw and cooked potatoes[M]∥SINGH J, KAUR L, RAO M A.Advances in potato chemistry and technology. Amsterdam: Elsevier Inc,2009:249-271.

8 SAEIDIRAD M H, ROHANI A, ZARIFNESHAT S. Predictions of viscoelastic behavior of pomegranate using artificial neural network and Maxwell model[J]. Computers & Electronics in Agriculture, 2013, 98:1-7.

9 張謙益, 吳洪華. 梨果實蠕變基本流變特性研究[J]. 現代食品科技, 2006, 22(4):46-48. ZHANG Qianyi, WU Honghua. The creep rheological properties of pear[J]. Modern Food Science and Technology, 2006, 22(4):46-48. (in Chinese)

10 楊曉清, 王春光. 河套蜜瓜靜載蠕變特性的試驗研究[J]. 農業工程學報, 2007, 23(3):202-207. YANG Xiaoqing, WANG Chunguang. Creep properties of Hetao muskmelon under static loading[J]. Transactions of the CSAE, 2007, 23(3):202-207. (in Chinese)

11 李小昱, 朱俊平, 王為,等. 蘋果蠕變特性與靜載損傷機理的研究[J]. 西北農林科技大學學報:自然科學版, 1997，25(6):64-68. LI Xiaoyu, ZHU Junping, WANG Wei, et al. A study on creep properties and static loading damage mechanisms of apple[J]. Journal of Northwest A&F University: Natural Science Edition, 1997，25(6):64-68. (in Chinese)

12 劉繼展, 白欣欣, 李萍萍. 番茄果實蠕變特性表征的Burger’s修正模型[J]. 農業工程學報, 2013,29(9):249-255. LIU Jizhan, BAI Xinxin, LI Pingping. Modified Burger’s model for describing creep behavior of tomato fruits[J]. Transactions of the CSAE, 2013,29(9):249-255. (in Chinese)

13 郭文斌, 王春光, 高晶晶. 馬鈴薯整莖壓縮模型的建立與參數分析[J]. 農機化研究, 2014, 36(1): 190-193. GUO Wenbin, WANG Chunguang, GAO Jingjing. Study on correlation between starch content and parameters in viscoelastic model of potato tuber[J]. Journal of Agricultural Mechanization Research, 2014, 36(1): 190-193. (in Chinese)

14 楊玲, 張彩霞, 康國棟,等. ‘華紅’蘋果果肉的流變特性及其主成分分析[J]. 中國農業科學, 2015, 48(12):2417-2427. YANG Ling, ZHANG Caixia, KANG Guodong, et al. Rheologic properties of ‘Huahong’ apple pulp and their principal component analysis[J]. Scientia Agricultura Sinica, 2015, 48(12):2417-2427. (in Chinese)

15 方媛, 趙武奇, 張清安,等. ‘紅富士’蘋果蠕變特性與果實品質的相關分析[J]. 中國農業科學, 2016, 49(4):717-726. FANG Yuan, ZHAO Wuqi, ZHANG Qingan, et al. The correlation analysis between quality and creep property of ‘Fuji’ apple[J]. Scientia Agricultura Sinica, 2016, 49(4):717-726. (in Chinese)

16 楊明韶. 農業物料流變學[M]. 北京：中國農業出版社, 2010.

17 徐麗娜. 神經網絡控制[M]. 北京：電子工業出版社, 2009.

18 陳小前, 羅世彬, 王振國,等. BP神經網絡應用中的前后處理過程研究[J]. 系統工程理論與實踐, 2002, 22(1):65-70. CHEN Xiaoqian, LUO Shibin, WANG Zhenguo, et al. Research on preprocessing and postprocessing of the application of BP neural network[J]. System Engineering Theory and Practice, 2002, 22(1):65-70.(in Chinese)

19 李智國, 劉繼展, 李萍萍. 機器人采摘中番茄力學特性與機械損傷的關系[J]. 農業工程學報, 2010, 26(5):112-116. LI Zhiguo, LIU Jizhan, LI Pingping. Relationship between mechanical property and damage of tomato during robot harvesting[J]. Transactions of the CSAE, 2010,26(5): 112-116. (in Chinese)

20 李智國. 基于番茄生物力學特性的采摘機器人抓取損傷研究[D]. 鎮江：江蘇大學, 2011. LI Zhiguo. Study on the grasp damage of harvesting robot based on the biomechanical properties of tomato fruits[D]. Zhenjiang: Jiangsu University, 2011. (in Chinese)

21 李智國. 番茄采摘機器人夾持系統的加減速過程研究[D]. 鎮江：江蘇大學, 2009. LI Zhiguo. Acceleration and deceleration process of the grip system on tomato harvesting robot[D].Zhenjiang: Jiangsu University,2009. (in Chinese)

Online Estimation of Tomato Viscoelastic Parameters during Robot Grasping

ZHOU Jun ZHANG Na MENG Yimeng WANG Mingjun

(KeyLaboratoryofIntelligentAgriculturalEquipmentinJiangsuProvince,NanjingAgriculturalUniversity,Nanjing210031,China)

When a picking robot is able to quickly estimate the viscoelastic parameters of the fruits and vegetables in the process of grasping, an optimization of the grasping process in real time can be carried out and the mechanical damage caused by the end-effector can be alleviated. Artificial neural network (ANN) model of tomato viscoelastic parameters estimation was established by using grasping force, deformation and acting time as inputs. The force, deformation and time measured by creep test with texture analyzer, as well as the viscoelastic parameters (E1,E2,η1,η2) were used as the training data set to determine the topological structure and parameters of the artificial neural network. Then performance of the network model was tested. A two finger robot end-effector was applied to grasp tomato samples selected randomly, and the ANN model was used to estimate the viscoelastic parameters online during the process of grasping. Compared with the measured value by texture analyzer, when time was more than or equal to 0.2 s, the relative error between the estimated value and the measured value were less than 25%, and according to the viscoelastic parameters obtained from the 0.2 s time, the range of the robot’s grasping force was estimated. The results showed that the method could be used to estimate the viscoelastic properties of the grasped tomatoes during the robot grasping process, which provided the basis for the online optimization of grasping force.

robot grasping; tomato; viscoelastic parameters; creep experiment; artificial neural network

10.6041/j.issn.1000-1298.2017.08.002

2016-12-21

2017-03-20

國家自然科學基金項目(31471419)、高等學校博士學科點專項科研基金博導類項目(20130097110043)和浙江省自然科學基金項目(LY17F030006)

周俊(1974—)，男，教授，博士生導師，主要從事農業機器人和機器視覺與模式識別研究，E-mail： zhoujun@njau.edu.cn

TP24

A

1000-1298(2017)08-0026-07