基于LZG-Net的機(jī)械手觸覺識別和分類

摘要：準(zhǔn)確識別物體類別和觸覺信號對于機(jī)械手實(shí)現(xiàn)軟抓取控制至關(guān)重要。為此，提出了一種用于嵌入式設(shè)備的輕量級金字塔神經(jīng)網(wǎng)絡(luò)（LZG-Net）模型，用于處理機(jī)械手抓取物體時(shí)的振動(dòng)信號。LZG-Net模型以Ghost 模塊為基礎(chǔ)，采取卷積核逐層遞減的卷積策略。針對注意力機(jī)制SE模塊在一些嵌入式設(shè)備上無法部署的問題進(jìn)行改進(jìn)，并通過知識蒸餾、算子優(yōu)化和量化操作提高模型在嵌入式系統(tǒng)上的準(zhǔn)確率。最后，搭建了嵌入式觸覺識別系統(tǒng)，將LZG-Net模型部署至其中，對4種不同特征的物體進(jìn)行觸覺識別。實(shí)驗(yàn)結(jié)果表明：該模型能夠?qū)ξ矬w類別及抓取狀態(tài)進(jìn)行準(zhǔn)確分類，分類正確率達(dá)90.94%，其分類性能優(yōu)于現(xiàn)有的經(jīng)典輕量級神經(jīng)網(wǎng)絡(luò)。

關(guān)鍵詞：嵌入式系統(tǒng)；輕量級模型；機(jī)器人抓?。唤鹱炙軜?gòu)

中圖分類號：TP241.3文獻(xiàn)標(biāo)志碼：A深度學(xué)習(xí)在機(jī)械手觸覺抓取識別和分類方面顯示出巨大的潛力。其中，視覺-觸覺融合傳感器［1-2］是多模態(tài)信息融合的代表，集成了壓力和溫度傳感模塊的多感官觸覺手套［3］，以及基于光纖的觸覺傳感器［4］，為機(jī)械手觸覺感知的研究做出了重大貢獻(xiàn)。但從多個(gè)傳感器采集數(shù)據(jù)進(jìn)行多模態(tài)信息融合需要更高的數(shù)據(jù)同步性，并且存在互斥或不平衡融合等問題，這增加了數(shù)據(jù)處理和系統(tǒng)組成的復(fù)雜性。在觸覺數(shù)據(jù)處理中，文獻(xiàn)［5］使用主成分分析（PCA）來降低可變對象觸覺序列的原始數(shù)據(jù)集的維數(shù)，隨后使用k最近鄰（KNN）和支持向量機(jī)（SVM）算法進(jìn)行在線訓(xùn)練和測試，最終在線識別準(zhǔn)確率為90%。QIAN等［6］提出了梯度自適應(yīng)采樣（GAS）策略和多時(shí)間尺度三維卷積神經(jīng)網(wǎng)絡(luò)（MTS-3DCNNs）模型提取關(guān)鍵信息，其具有較好的泛化能力，但是在線識別準(zhǔn)確率僅為88.81%。BEDNAREK等［7］開展了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）和具有注意力機(jī)制的長短期記憶（AM-LSTM）網(wǎng)絡(luò)的紋理分類研究，分類準(zhǔn)確率為97.96%。XU等［8］開發(fā)了一種基于AM-LSTM方法的觸覺識別模型，發(fā)現(xiàn)夾持器的閉合速度會影響觸覺模型的識別準(zhǔn)確率，但最高準(zhǔn)確率僅為86.71%。上述研究側(cè)重于在線理論分析?，F(xiàn)有文獻(xiàn)中缺乏關(guān)于資源受限嵌入式設(shè)備的觸覺信號處理和模型分類的研究。

針對這些問題，本文基于剛性夾持器的機(jī)械手結(jié)構(gòu)，設(shè)計(jì)了一種適用于嵌入式設(shè)備的一維輕量級金字塔神經(jīng)網(wǎng)絡(luò)（LZG-Net），在自行建立的觸覺數(shù)據(jù)集上達(dá)到 99.12% 的識別準(zhǔn)確率。經(jīng)過優(yōu)化后，該模型可以在低成本嵌入式系統(tǒng)上實(shí)現(xiàn)觸覺振動(dòng)信號端到端的實(shí)時(shí)分類，平均準(zhǔn)確率為90.94%，分類性能優(yōu)異，實(shí)現(xiàn)了高精度和低成本的識別。

1機(jī)械手觸覺識別算法

1.1模型架構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)中的局部感受野思想可以有效地整合信道和空間信息，在解碼一維數(shù)據(jù)方面具有優(yōu)異的性能［9-10］。由于機(jī)器人物體操作的預(yù)抓取信息是密集且固定的峰值信號，網(wǎng)絡(luò)采用了金字塔結(jié)構(gòu)的卷積策略?；诖?，本文提出了一種基于一維Ghost模塊的輕量級LZG-Net卷積神經(jīng)網(wǎng)絡(luò)（圖1），并集成了改進(jìn)后SE模塊的GE模塊（圖2）。為了檢驗(yàn)金字塔CNN模型的有效性，確定網(wǎng)絡(luò)的最佳深度和寬度，基于LeNet、ResNet和GhostNet設(shè)計(jì)了18種不同的模型結(jié)構(gòu)，其中一半為金字塔結(jié)構(gòu)，并進(jìn)行對比實(shí)驗(yàn)。結(jié)果表明，與傳統(tǒng)模型相比，基于GhostNet的金字塔結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)（64-32-16）性能良好，需要的參數(shù)更少，泛化性更好。

隨著網(wǎng)絡(luò)的深入，來自較高層的微觀結(jié)構(gòu)被較低層轉(zhuǎn)化為更少和更具判別力的特征。第一層選擇最大數(shù)量的64個(gè)卷積核，而隨后的卷積層減少50%以保持金字塔結(jié)構(gòu)。第一個(gè)卷積層的輸入是歸一化的RAW加速數(shù)據(jù)片段。基本卷積塊由1×1的卷積層、1個(gè)ReLU激活層、1個(gè)Dropout層和1個(gè)Average Pooling層組成。對數(shù)據(jù)進(jìn)行歸一化后，使用Adam作為優(yōu)化器，輸出為對應(yīng)不同類別觸覺狀態(tài)的9×conv層。隨后，連接全局平均池化層和全連接層，前者減少參數(shù)數(shù)量以防止過擬合問題，后者提取判別信息。

1.2融合ESE模塊的GE模塊

SE模塊可以提高CNN的動(dòng)態(tài)通道特征重新校準(zhǔn)能力，以獲得更好的觸覺特征，但存在算子不支持或推理失敗等問題。一些含SE模塊的網(wǎng)絡(luò)在某些嵌入式設(shè)備上無法部署，為此提出了一種適用于嵌入式設(shè)備的ESE（Embedded-Squeeze-and-Excitation）模塊來解決這個(gè)問題。SE模塊中原來的全連接層被替換為卷積核大小為1的Con1D層。輸入為F∈RW×H×C，W和H表示特征映射的寬度和高度，C表示通道號。壓縮過程是在全局平均池化后輸出向量1×1×C，激勵(lì)操作由1×1卷積層、ReLU層和 Sigmoid激活層組成，壓縮比r=16。激活公式如下：

1.3模型優(yōu)化與量化策略

1.3.1知識蒸餾

為了提高模型在資源受限設(shè)備上的準(zhǔn)確性，采用知識蒸餾使模型更加輕量化，增加可部署性。通過小模型模仿大模型的行為，知識蒸餾使得小模型能夠?qū)W習(xí)到大模型的知識，并且在某些任務(wù)上表現(xiàn)得更好。交叉熵通常用于評估預(yù)測輸出與實(shí)際標(biāo)簽之間的差異，并用作學(xué)生模型的訓(xùn)練信號。學(xué)生網(wǎng)絡(luò)的交叉熵計(jì)算如下：

1.3.2算子優(yōu)化量化

2觸覺識別系統(tǒng)與數(shù)據(jù)集構(gòu)建

2.1觸覺識別系統(tǒng)

觸覺識別系統(tǒng)由帶剛性夾持器的機(jī)械手、壓電陶瓷A、振動(dòng)傳感器B、控制器STM32H750和電源模塊組成，如圖3所示。傳感系統(tǒng)安裝在其中一個(gè)機(jī)械手的抓取面上。圖3還展示了對采集的加速度垂直方向的掃頻信號圖，以及抓取狀態(tài)的劃分。C為物體；f是摩擦力，F(xiàn)1是物體所受壓力，F(xiàn)2是手爪受到的壓力，F(xiàn)3是摩擦力的反作用力。壓電陶瓷模塊的激勵(lì)信號選擇為F0sin（wt），頻率為3 000 Hz。壓電陶瓷具有逆壓電效應(yīng)，可以驅(qū)動(dòng)機(jī)械手進(jìn)行有規(guī)律地機(jī)械振動(dòng)。在抓取過程開始時(shí)，機(jī)械手在電機(jī)作用下勻速收縮。當(dāng)機(jī)械手與物體接觸并碰撞時(shí)，振動(dòng)傳感器檢測到物體運(yùn)動(dòng)變化產(chǎn)生的水平力F2和垂直力F3，收集信號并傳輸?shù)娇刂葡到y(tǒng)進(jìn)行分析和處理?？傮w方案設(shè)計(jì)如圖4所示。

2.2數(shù)據(jù)集構(gòu)建

通過大量的數(shù)據(jù)分析，抓取過程大致可分為3個(gè)狀態(tài)：未接觸、預(yù)抓取、穩(wěn)定抓取，分別對應(yīng)圖3中的Ι、П、Ш。實(shí)驗(yàn)選取了4個(gè)具有不同特征的物體來建立數(shù)據(jù)集：雞蛋（堅(jiān)硬但易碎）、空鋁罐（剛性但易變形）、小番茄（柔軟但易壓碎）和薄圓形金屬片（堅(jiān)硬而鋒利，容易損壞機(jī)械手和傳感器）。機(jī)械手未接觸物體時(shí)，機(jī)械手指的振動(dòng)由其自身的結(jié)構(gòu)和壓電陶瓷模塊所施加的激勵(lì)信號決定。在沒有抓取任何物體前，振動(dòng)傳感器采集到的信號具有相同特征，因此將未接觸狀態(tài)作為一類數(shù)據(jù)。當(dāng)機(jī)械手指接觸物體后，此時(shí)機(jī)械手指的振動(dòng)模態(tài)會發(fā)生變化，除自身結(jié)構(gòu)和激勵(lì)信號外，還取決于所夾持的物體材質(zhì)以及與所夾持物體間是否有滑動(dòng)摩擦。據(jù)此，將夾持上述4個(gè)物體的預(yù)抓?。ㄊ种概c物體間存在滑動(dòng)）和穩(wěn)定抓?。C(jī)械手指與物體間不存在滑動(dòng)且無損抓?。r(shí)的振動(dòng)信號分為 8類不同的數(shù)據(jù)。本文數(shù)據(jù)集共包含9類數(shù)據(jù)，如表1所示。表1中：“物體-2”代表物體的預(yù)抓取狀態(tài)；“物體-3”代表物體的穩(wěn)定抓取狀態(tài)；x1， x2， x3，…， x9分別對應(yīng)9類數(shù)據(jù)。每類包含200組數(shù)據(jù)，每組數(shù)據(jù)維度為4 000×2，即每組包含8 000個(gè)振動(dòng)加速度數(shù)據(jù)點(diǎn)。

3.1最佳模型配置實(shí)驗(yàn)

在確定卷積遞減核數(shù)（64-32-16）后，開展實(shí)驗(yàn)——確定各層升降維通道個(gè)數(shù)以及是否選用GE模塊，對比選擇出最佳結(jié)構(gòu)。網(wǎng)絡(luò)結(jié)構(gòu)見表2，對應(yīng)網(wǎng)絡(luò)的性能參數(shù)結(jié)果見表3。實(shí)驗(yàn)中，在較多通道數(shù)的Block1使用GE模塊后會造成模型大小普遍大于1 MiB，使得推理時(shí)間大大增加且部署過程相對困難，因此統(tǒng)一選擇不在通道數(shù)最多的Block1使用GE模塊。表2中，“128G-32G”表示通道數(shù)為128的Ghost模塊與通道數(shù)為32的Ghost模塊相連接，其余模塊同理。由表3結(jié)果可知，Model_D模型在準(zhǔn)確率和損失值上具有最好的表現(xiàn)，選擇其作為最終的LZG-Net模型。表3中F指每秒運(yùn)行浮點(diǎn)運(yùn)算的最大次數(shù)

3.2對比優(yōu)化實(shí)驗(yàn)

實(shí)驗(yàn)環(huán)境為TensorFlow2.10框架，WIN10系統(tǒng)、GTX 1660 SUPER顯卡，迭代130輪，按照7∶3的比例劃分訓(xùn)練集和驗(yàn)證集。評價(jià)參考分類準(zhǔn)確性、模型大小、驗(yàn)證集損失率等指標(biāo)進(jìn)行。將LZG-Net與6個(gè)模型進(jìn)行性能對比，輸入均為原始加速度信號，實(shí)驗(yàn)結(jié)果見表4。結(jié)果表明：與其他模型相比，LZG-Net在驗(yàn)證集上表現(xiàn)出最佳的準(zhǔn)確性和最低的損失；ResNet 引入殘差結(jié)構(gòu)提高了模型性能，但導(dǎo)致了更大的模型參數(shù)；MobileNetV1 使用深度可以分離卷積減少參數(shù)量，但導(dǎo)致模型表達(dá)能力下降，不適合部署在嵌入式設(shè)備上。

利用混淆矩陣實(shí)驗(yàn)評估LZG-Net對物體的類別和抓取狀態(tài)的分類能力，結(jié)果如圖5所示。在隨機(jī)抽取的455個(gè)樣本中，模型僅有4個(gè)誤判，顯示模型對不同物體和抓取階段的高分辨能力。

為了提高嵌入式平臺上的模型準(zhǔn)確性，采用知識蒸餾。表4 中準(zhǔn)確率最高的3個(gè)模型LZG-Net、GhostNet 和 MobileNetV2具有優(yōu)異的性能，選為學(xué)生模型，蒸餾溫度T設(shè)為4。被蒸餾的3個(gè)學(xué)生模型都帶有殘差結(jié)構(gòu)，使用同樣帶有殘差結(jié)構(gòu)的ResNet網(wǎng)絡(luò)作為教師模型進(jìn)行“知識”的傳遞。學(xué)生網(wǎng)絡(luò)使用教師網(wǎng)絡(luò)培訓(xùn)的軟標(biāo)簽進(jìn)行130 輪知識蒸餾。蒸餾模型評價(jià)指標(biāo)為藍(lán)色曲線，原生模型評價(jià)指標(biāo)為橙色曲線。蒸餾前后準(zhǔn)確率對比如圖6所示。由圖6可以看出：蒸餾模型的前30輪波動(dòng)較大，但在30～80輪表現(xiàn)得更好且相較于原生模型收斂更快，驗(yàn)證集準(zhǔn)確率也更高。

進(jìn)行抓取實(shí)驗(yàn)前，使用 TensorFlow Lite對模型進(jìn)行優(yōu)化，生成的模型僅為原始模型尺寸的 15%～21%，之后利用X-CUBE-AI工具把模型部署到STM32H750平臺。模型參數(shù)量的對比如表5所示。由表5可見，LZG-Net的模型參數(shù)從469 KiB減少到35 KiB，模型壓縮率為92.53%。

3.3嵌入式平臺抓取實(shí)驗(yàn)

在進(jìn)行抓取實(shí)驗(yàn)時(shí)，首先需要將模型部署到STM32H750 嵌入式平臺。然而，集成SE 模塊的 MobileNetV3 和 MnasNet 都遇到了算子不支持或推理失敗的問題。對此，本文提出了ESE模塊，其可以成功應(yīng)用在LZG-Net模型中，使得模型能夠部署在STM32H750 平臺上，并通過對4種物體進(jìn)行了320次抓取實(shí)驗(yàn)，驗(yàn)證了模型的有效性和實(shí)用性，結(jié)果見表6。

由表6可知：3個(gè)模型都能準(zhǔn)確辨識不同種類物體的未接觸狀態(tài)和穩(wěn)定抓取狀態(tài)；在預(yù)抓取狀態(tài)，LZG-Net表現(xiàn)出最高的識別率，平均值達(dá)到90.94%。本文設(shè)計(jì)的模型在區(qū)分具有不同屬性的物體，并準(zhǔn)確劃分其抓取階段方面表現(xiàn)出較好的性能；但和在線實(shí)驗(yàn)相比（表4），識別準(zhǔn)確率大概有8個(gè)百分點(diǎn)的下降。準(zhǔn)確率降低可能歸因于3個(gè)主要因素：優(yōu)化過程中的信息丟失、量化誤差的積累以及嵌入式平臺的計(jì)算能力不足。

4結(jié)論

在資源有限的嵌入式設(shè)備上實(shí)現(xiàn)對抓取對象的觸覺實(shí)時(shí)識別和分類是一項(xiàng)有挑戰(zhàn)性的工作。本文提出了一種輕量級金字塔網(wǎng)絡(luò)（LZG-Net）模型。該模型基于Ghost模塊，采用卷積核逐層遞減的策略，結(jié)合改進(jìn)的注意力機(jī)制模塊，在搭建的觸覺識別系統(tǒng)上對不同類別的物體及其抓取狀態(tài)劃分的平均識別準(zhǔn)確率為90.94%，識別率、模型參數(shù)量以及在嵌入式端的模型壓縮比都優(yōu)于GhostNet和MobileNet系列的經(jīng)典輕量級神經(jīng)網(wǎng)絡(luò)，是一種高效且低成本的機(jī)械手觸覺識別方法。未來的研究可以考慮添加更多不同種類和狀態(tài)的對象，并利用帶有神經(jīng)網(wǎng)絡(luò)處理器（neural network processing unit，NPU）的開發(fā)板來加速神經(jīng)網(wǎng)絡(luò)推理。參考文獻(xiàn)：

[1]PANG C， WANG Q， MAK K， et al. Viko 2.0： a hierarchical gecko-inspired adhesive gripper with visuotactile sensor［J］. IEEE Robotics and Automation Letters， 2022， 7（3）： 7842-7849.

［2］ SHAH U H， MUTHUSAMY R， GAN D， et al. On the design and development of vision-based tactile sensors［J］. Journal of Intelligent amp; Robotic Systems， 2021， 102（82）： 1-27.

［3］ QIU Y， WANG Z Q， ZHU P C， et al. A multisensory-feedback tactile glove with dense coverage of sensing arrays for object recognition［J］. Chemical Engineering Journal， 2023， 455： 140890.1-140890.11.

［4］ LU Z Y， YANG T Y， CAO Z S， et al. Optical soft tactile sensor algorithm based on multiscale ResNet［J］. IEEE Sensors Journal， 2023， 23（10）： 10731-10738.

［5］ ZHANG Z， ZHOU J， YAN Z H， et al. Hardness recognition of fruits and vegetables based on tactile array information of manipulator［J］. Computers and Electronics in Agriculture， 2021， 181： 105959.1-105959.10.

［6］ QIAN X L， MENG J， WANG W， et al. Gradient adaptive sampling and multiple temporal scale 3D CNNs for tactile object recognition［J］. Frontiers in Neurorobotics， 2023（17）： 1159168.1-1159168.11.

［7］ BEDNAREK J， BEDNAREK M， KICKI P， et al. Robotic touch： classification of materials for manipulation and walking［C］// 2019 2nd IEEE International Conference on Soft Robotics （RoboSoft）. Seoul： IEEE， 2019： 527-533.

［8］ XU Z， YI W， CHEN M， et al. Robotic tactile recognition system based on AM-LSTM model［C］// 2021 IEEE International Conference on Robotics and Biomimetics （ROBIO）. Sanya： IEEE， 2021： 1570-1575.

［9］ JI M， FANG H， ZHENG H， et al. Preprocessing-free surface material classification using convolutional neural networks pretrained by sparse Autoencoder［C］// 2015 IEEE 25th International Workshop on Machine Learning for Signal Processing （MLSP）. Boston： IEEE， 2015： 1-6.

［10］UIIAH I， HUSSAIN M， ABOALSAMH H， et al. An automated system for epilepsy detection using EEG brain signals based on deep learning approach［J］. Expert Systems with Applications， 2018， 107： 61-71.

（責(zé)任編輯：周曉南）

Manipulator Tactile Recognition and Classification Based on LZG-Net

YANG Lan1， LIU-NIE Tianhe2， WANG Minhui*1

（1.Department of College of Electrical Engineering， Guizhou University， Guiyang 550025， China;

2.Department of Guizhou Power Grid Co.， Ltd.， Guiyang 550025， China）Abstract： Accurate recognition of object categories and tactile signals is crucial for robotic hands to achieve soft grasp control. This paper proposes a lightweight pyramid neural network （LZG-Net） model for embedded devices， designed to process vibration signals during robotic hand grasping. The LZG-Net model is based on the Ghost module and adopts a convolutional strategy with progressively decreasing convolutional kernels. It addresses the issue of the attention mechanism SE module being unable to deploy on some embedded devices and improves the model’s accuracy on embedded systems through knowledge distillation， operator optimization， and quantization operations. Finally， an embedded tactile recognition system is built， and the LZG-Net model is deployed within it for tactile recognition of four objects with different characteristics. Experimental results show that the model can accurately classify object categories and grasping states， achieving a classification accuracy of 90.94%. Its classification performance is superior to existing classic lightweight neural networks.

Key words： embedded system; lightweight model; robotic grasping; pyramid architecture

（上接第51頁）

Damage Characterization of Marble Under Cyclic Impact Loading

YU Guoqiang HOU Kepeng SUN Huafen ZHU Zhigang

（1.School of Land and Resources Engineering， Kunming University of Science and Technology， Kunming 650093， China;

2.Yunnan Key Laboratory of Sino-German Blue Mining and Utilization of Special Underground Space， Kunming 650093， China）Abstract： In order to study the damage change characteristics of marble under local cyclic impact， the paper uses the damage factor to define the damage degree of the rock. Then with the help of the pendulum impact testing machine on the marble specimen with different impact energy under the contact area ratio of 1/18S cyclic impact test， the study analyzes the impact damage to the marble specimen with different impact energy and the number of impacts， and the change characteristics of the damage factor caused by different impact energy and the number of impacts. The results shows： when the pendulum lifting angle is 10°， the specimen does not have obvious damage; with the increase of the number of cyclic impact， the damage factor increases; when the cyclic impact increases to a certain number of times， the specimen is macroscopically damaged， and the damage factor changes significantly; with the increase of the pendulum lifting angle， the wave speed begins to decrease significantly， the impact absorbed energy and the number of impacts required during the specimen fracture damage also decreases，and the growth rate of damage factor reaches 75%. Considering that the impact mode of the rock on the shaft walls is localized impact with different contact areas， these results can provide a new idea for the study of the impact damage of rock to the shaft walls in mines.

Key words： marble; localized cyclic shock; pendulum test; damage factor; absorbed energy