煤矸石智能分揀機(jī)器人研究進(jìn)展與關(guān)鍵技術(shù)

張燁，馬宏偉，王鵬，曹現(xiàn)剛，魏小榮，周文劍

（1.西安科技大學(xué) 機(jī)械工程學(xué)院，陜西 西安 710054；2.陜西省礦山機(jī)電裝備智能檢測(cè)與控制重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710054）

0 引言

煤炭清潔加工和利用是實(shí)現(xiàn)煤炭工業(yè)綠色發(fā)展的重中之重，提高煤炭入選率是實(shí)現(xiàn)煤炭增值提效的有效途徑。目前一些發(fā)達(dá)國(guó)家的原煤入選率已超過(guò)80%，而我國(guó)原煤入選率僅為60%。國(guó)家能源局、科學(xué)技術(shù)部印發(fā)的《“十四五”能源領(lǐng)域科技創(chuàng)新規(guī)劃》將煤炭精準(zhǔn)智能化洗選加工技術(shù)作為重點(diǎn)任務(wù)之一，并要求形成煤炭精確分選技術(shù)工藝及裝備。揀矸是煤炭洗選加工最基本、最重要的方法。傳統(tǒng)揀矸工作（矸石粒度為50～300 mm）主要在地面依靠人工完成，存在人員需求多、揀矸效率低、勞動(dòng)強(qiáng)度大、工作環(huán)境惡劣等問(wèn)題[1]。另外煤矸石的堆放存在占用土地、污染大氣、危害水土、潛在災(zāi)變等一系列嚴(yán)重問(wèn)題[2-3]。因此，需要探尋一種新煤矸石分揀方法，以實(shí)現(xiàn)“矸石不升井，揀矸不用人”的新理念。所謂“矸石不升井”，即揀矸地點(diǎn)遷移至離井下采煤工作面較近的區(qū)域，并構(gòu)建煤矸石分揀機(jī)器人系統(tǒng)，將矸石在井下直接回填至采空區(qū)，不僅能夠避免環(huán)境污染，實(shí)現(xiàn)充填開(kāi)采，而且能夠節(jié)約巨大的運(yùn)輸費(fèi)用。所謂“揀矸不用人”，即研發(fā)煤矸石智能分揀機(jī)器人代替人工完成揀矸工作，不僅能夠有效解放生產(chǎn)力，而且能夠大大提高揀矸效率和準(zhǔn)確性。

隨著煤礦智能化的發(fā)展，煤矸石分揀已進(jìn)入一個(gè)新的階段，特別是煤矸石智能分揀機(jī)器人概念的提出，為其提供了新的發(fā)展思路[4]。煤矸石智能分揀機(jī)器人集煤矸石智能識(shí)別、動(dòng)態(tài)目標(biāo)精準(zhǔn)定位、多任務(wù)最優(yōu)分配、煤矸石穩(wěn)準(zhǔn)分揀等優(yōu)勢(shì)于一體，能夠有效實(shí)現(xiàn)大粒度煤矸石的高效分選，初步解決了目前依靠人工揀矸效率低、準(zhǔn)確性差等問(wèn)題。目前，煤矸石智能分選機(jī)器人已在一些煤礦企業(yè)地面選煤廠得到應(yīng)用。由于井下矸石被煤泥包裹，導(dǎo)致煤矸石識(shí)別難、分揀難；井下工作空間狹小，導(dǎo)致設(shè)備布局難、煤矸石分流難。因此，分析煤矸石智能分揀機(jī)器人研究進(jìn)展，提出亟待解決的關(guān)鍵技術(shù)和解決方案，對(duì)于研發(fā)高性能、高可靠的煤矸石智能分揀機(jī)器人系統(tǒng)具有十分重要的意義。

1 煤矸石智能分揀機(jī)器人研究現(xiàn)狀

煤矸石智能分揀機(jī)器人主要基于視覺(jué)、射線等識(shí)別原理，利用機(jī)器人機(jī)械系統(tǒng)對(duì)煤矸石進(jìn)行分離。分離裝置主要有桁架式[5]、并聯(lián)式[6]、串聯(lián)式、柔索驅(qū)動(dòng)[7]等（圖1），常常以“撥”和“抓”的形式分離煤矸石。許多學(xué)者從煤矸石識(shí)別、機(jī)器人軌跡規(guī)劃、多動(dòng)態(tài)目標(biāo)多機(jī)器人協(xié)同控制等3個(gè)方面對(duì)煤矸石智能分揀機(jī)器人進(jìn)行了研究。

圖1 煤矸石智能分揀機(jī)器人Fig.1 Intelligent coal-gangue sorting robot

1.1 煤矸石識(shí)別研究現(xiàn)狀

煤矸石識(shí)別技術(shù)包括射線識(shí)別法和視覺(jué)識(shí)別法，其關(guān)鍵是對(duì)獲取的煤矸石圖像進(jìn)行處理并提取特征，最后實(shí)現(xiàn)準(zhǔn)確識(shí)別。

在射線識(shí)別法方面，研究較多的為基于γ射線[8]和基于X射線的方法。楊慧剛等[9]采用X射線透射技術(shù)，實(shí)現(xiàn)了煤矸石的分離。徐琦等[10]采用γ射線結(jié)合模糊模式識(shí)別建立模糊系統(tǒng)，提高了煤矸石分揀的準(zhǔn)確率。射線識(shí)別法效率高、識(shí)別速度快，但射線輻射對(duì)人體有害，需要加強(qiáng)防護(hù)[11]。

在視覺(jué)識(shí)別法方面，先提取煤矸石灰度和紋理信息[12]等特征，再計(jì)算這些特征信息的灰度均值、灰度共生矩陣最大值、二階矩、對(duì)比度、相關(guān)性、熵等參數(shù)，同時(shí)結(jié)合小波變換[13-14]、支持向量機(jī)等方法進(jìn)行閾值計(jì)算，實(shí)現(xiàn)煤矸識(shí)別。以上方法往往提取的圖像特征較單一，在實(shí)驗(yàn)條件下識(shí)別效率高、速度快，但對(duì)于復(fù)雜的煤矸石分揀環(huán)境，其算法的準(zhǔn)確率和普適性還有待提高。隨著深度學(xué)習(xí)在圖像處理方面的應(yīng)用日益廣泛，基于深度學(xué)習(xí)的煤矸石識(shí)別已成為該領(lǐng)域的研究熱點(diǎn)[15]。曹現(xiàn)剛等[16]提出了基于遷移學(xué)習(xí)的GoogLenet煤矸石視覺(jué)圖像識(shí)別，通過(guò)對(duì)數(shù)據(jù)集擴(kuò)增，采用Inception模型對(duì)煤矸石圖像數(shù)據(jù)集進(jìn)行識(shí)別訓(xùn)練，取得了較高的分類準(zhǔn)確率。為進(jìn)一步提高煤矸石識(shí)別速率，沈科等[17]對(duì)YOLOv5模型中的Neck區(qū)域進(jìn)行適當(dāng)精簡(jiǎn)，不僅降低了模型復(fù)雜度，還提高了檢測(cè)實(shí)時(shí)性。

此外，學(xué)者們研究了基于紅外圖像[18]和多光譜圖像[19]的煤矸石高清圖像提取方法，在此基礎(chǔ)上融合深度學(xué)習(xí)算法實(shí)現(xiàn)煤矸石的準(zhǔn)確識(shí)別?；谏疃葘W(xué)習(xí)的煤矸石識(shí)別方法的識(shí)別效率較傳統(tǒng)煤矸石識(shí)別方法高[20]，但由于煤矸石分揀環(huán)境的特殊性和復(fù)雜性，基于深度學(xué)習(xí)的煤矸石識(shí)別方法作為主流識(shí)別方法之一，仍需構(gòu)建高效的煤矸石數(shù)據(jù)集，在煤矸石識(shí)別算法泛化性、實(shí)時(shí)性和魯棒性等方面進(jìn)行深入研究。

1.2 機(jī)器人軌跡規(guī)劃

煤矸石智能分揀機(jī)器人軌跡規(guī)劃是提高機(jī)器人自主性和智能化的關(guān)鍵問(wèn)題，是機(jī)器人完成復(fù)雜環(huán)境下煤矸石分揀任務(wù)的前提。在非結(jié)構(gòu)環(huán)境下機(jī)器人如何進(jìn)行最優(yōu)軌跡規(guī)劃是實(shí)現(xiàn)煤矸石分揀的難點(diǎn)。趙明輝[21]采用拋物線過(guò)渡的插值函數(shù)、三次多項(xiàng)式及五次多項(xiàng)式插值函數(shù)對(duì)機(jī)器人的軌跡進(jìn)行規(guī)劃，使分揀機(jī)器人的運(yùn)動(dòng)軌跡更加平穩(wěn)。李寧[22]采用比例導(dǎo)引法對(duì)機(jī)械臂軌跡進(jìn)行規(guī)劃，實(shí)現(xiàn)了較高精度的抓取。王鵬等[23]采用余弦定理?PID方法實(shí)現(xiàn)了大質(zhì)量、動(dòng)態(tài)煤矸石的同步跟蹤。馬宏偉等[24]采用“位置?速度?加速度”的三環(huán)PID控制，確保機(jī)械臂末端到達(dá)抓取點(diǎn)時(shí)位置、速度與抓取目標(biāo)同步運(yùn)動(dòng)，實(shí)現(xiàn)平穩(wěn)快速抓取。夏晶等[25]在傳統(tǒng)人工勢(shì)場(chǎng)法的基礎(chǔ)上引入相對(duì)速度勢(shì)場(chǎng)、相對(duì)加速度勢(shì)場(chǎng)，實(shí)現(xiàn)了煤矸石分揀機(jī)器人動(dòng)態(tài)避障及對(duì)動(dòng)態(tài)目標(biāo)的實(shí)時(shí)跟蹤。

以上機(jī)器人軌跡規(guī)劃方法對(duì)移動(dòng)對(duì)象狀態(tài)的預(yù)測(cè)能力較弱，對(duì)變軌跡運(yùn)動(dòng)目標(biāo)適應(yīng)性不強(qiáng)。特別是在帶式輸送機(jī)發(fā)生打滑和跑偏時(shí)，不能及時(shí)對(duì)機(jī)械臂軌跡進(jìn)行修正。因此，以視覺(jué)伺服技術(shù)為基礎(chǔ)，結(jié)合概率路圖法[26]、快速擴(kuò)展隨機(jī)樹算法[27-28]和強(qiáng)化學(xué)習(xí)的全局自主規(guī)劃算法[29]解決復(fù)雜環(huán)境下機(jī)械臂軌跡規(guī)劃問(wèn)題。研究建立動(dòng)態(tài)預(yù)測(cè)模型，根據(jù)機(jī)械臂運(yùn)動(dòng)軌跡在線預(yù)測(cè)機(jī)械手抓取姿態(tài)，采用視覺(jué)定位方法提高動(dòng)態(tài)目標(biāo)定位精度，從而實(shí)現(xiàn)機(jī)器人最優(yōu)軌跡規(guī)劃。

1.3 多動(dòng)態(tài)目標(biāo)多機(jī)器人協(xié)同控制

協(xié)同控制是多機(jī)器人系統(tǒng)研究的基礎(chǔ)問(wèn)題，體現(xiàn)了系統(tǒng)的高層組織形式與運(yùn)行機(jī)制[30]。多機(jī)器人任務(wù)協(xié)同能夠合理調(diào)度機(jī)器人隊(duì)伍，對(duì)機(jī)器人的工作量飽和、任務(wù)沖突、欠缺能力、出現(xiàn)故障等特殊情形進(jìn)行協(xié)同調(diào)度。因此，協(xié)同策略的好壞很大程度上影響了多機(jī)器人系統(tǒng)的作業(yè)效率與實(shí)際性能。Wang Peng等[31]提出了基于免疫空間的多機(jī)械臂系統(tǒng)控制方法，進(jìn)一步提高了機(jī)器系統(tǒng)的分揀效率。曹現(xiàn)剛等[32]引入?yún)f(xié)作反饋機(jī)制，建立多機(jī)械臂協(xié)同分揀策略的數(shù)學(xué)模型，實(shí)現(xiàn)多動(dòng)態(tài)目標(biāo)矸石的準(zhǔn)確、高效分揀。在多機(jī)器人智能控制方面，黃宛寧等[33]提出的單親遺傳算法，較好地處理了多機(jī)器人任務(wù)分配時(shí)任務(wù)競(jìng)價(jià)拍賣的確定獲標(biāo)者問(wèn)題。李濟(jì)澤[34]提出了粒子群遺傳優(yōu)化算法，在粒子群優(yōu)化算法中引入了克隆算子和變異算子，實(shí)現(xiàn)了多機(jī)器人任務(wù)的協(xié)調(diào)分配。姜健等[35]提出了一種基于蟻群算法的多機(jī)器人協(xié)作策略，很好地解決了多機(jī)器人系統(tǒng)中由于任務(wù)分配不當(dāng)而引起的沖突問(wèn)題。強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等智能任務(wù)分配理論減少了對(duì)先驗(yàn)知識(shí)的依賴[36]，得到了快速發(fā)展和廣泛應(yīng)用。

上述方法雖然能夠?qū)崿F(xiàn)多機(jī)器人協(xié)同控制，但是仍然存在單機(jī)器人自主性不高、多機(jī)器人協(xié)同度低等問(wèn)題，沒(méi)有實(shí)現(xiàn)多機(jī)器人高效智能協(xié)同分揀。因此，還需在多機(jī)器人煤矸石分揀系統(tǒng)智能協(xié)同控制方法上進(jìn)行深入研究。

2 煤矸石智能分揀機(jī)器人關(guān)鍵技術(shù)

目前，煤矸石分揀工作環(huán)境復(fù)雜，其質(zhì)量和形狀不規(guī)則且呈隨機(jī)分布，許多關(guān)鍵技術(shù)還有待分析、論證。因此，從復(fù)雜環(huán)境下煤矸石識(shí)別與抓取特征提取、非結(jié)構(gòu)環(huán)境下煤矸石穩(wěn)定可靠抓取、多目標(biāo)任務(wù)多機(jī)器人智能協(xié)同分揀3個(gè)方面分析抓取煤矸石智能分揀機(jī)器人關(guān)鍵技術(shù)。

2.1 復(fù)雜環(huán)境下煤矸石識(shí)別與抓取特征提取

（1）煤矸石數(shù)據(jù)集構(gòu)建與擴(kuò)增技術(shù)?；跈C(jī)器學(xué)習(xí)的煤矸石識(shí)別算法往往通過(guò)數(shù)據(jù)擴(kuò)增獲得大量圖像數(shù)據(jù)，并對(duì)大量的圖像數(shù)據(jù)進(jìn)行訓(xùn)練，同時(shí)構(gòu)建高質(zhì)量的煤矸石圖像數(shù)據(jù)集，為后續(xù)實(shí)現(xiàn)煤矸石圖像的精準(zhǔn)識(shí)別奠定基礎(chǔ)。

（2）煤矸石識(shí)別與抓取特征提取技術(shù)。煤矸石識(shí)別的準(zhǔn)確性是決定分揀機(jī)器人高效分揀煤矸石的關(guān)鍵。煤矸石表面特征復(fù)雜、形狀各異，特別是煤礦井下煤泥包裹嚴(yán)重，對(duì)煤矸石識(shí)別造成嚴(yán)重影響。因此，在煤矸石識(shí)別方面，除了要結(jié)合多種檢測(cè)方法對(duì)特征信息進(jìn)行提取，提高原始信息的準(zhǔn)確性外，還需在識(shí)別方法上進(jìn)行深入研究，提高煤矸石識(shí)別速度和精度。基于深度學(xué)習(xí)理論的煤矸石識(shí)別技術(shù)雖具有較強(qiáng)的特征提取能力和較高的識(shí)別效率，但在復(fù)雜目標(biāo)快速識(shí)別和抓取特征提取方面還需進(jìn)行深入研究，以提高算法的魯棒性和泛化性。

2.2 非結(jié)構(gòu)環(huán)境下煤矸石穩(wěn)定可靠抓取

（1）動(dòng)態(tài)煤矸石精準(zhǔn)跟蹤技術(shù)。獲取煤矸石實(shí)時(shí)位姿時(shí)，因帶式輸送機(jī)打滑而存在定位不準(zhǔn)情況，導(dǎo)致機(jī)械手抓取失敗，嚴(yán)重時(shí)會(huì)對(duì)機(jī)械手造成損壞，分揀機(jī)器人整體效率降低。因此，需要研究動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤方法，在動(dòng)態(tài)環(huán)境下對(duì)目標(biāo)進(jìn)行精準(zhǔn)定位和跟蹤，確保機(jī)械臂在執(zhí)行軌跡規(guī)劃任務(wù)時(shí)輸入數(shù)據(jù)的準(zhǔn)確性。

（2）機(jī)械臂同步跟蹤動(dòng)態(tài)目標(biāo)軌跡規(guī)劃技術(shù)。煤矸石在帶式輸送機(jī)上傳輸時(shí)，大質(zhì)量動(dòng)態(tài)煤矸石和機(jī)械手之間難以避免速度差會(huì)產(chǎn)生較大抓取沖擊，因此，需研究機(jī)械臂動(dòng)態(tài)目標(biāo)同步跟蹤軌跡規(guī)劃技術(shù)，確保機(jī)械手在執(zhí)行抓取動(dòng)作時(shí)和目標(biāo)矸石保持相對(duì)靜止，從而實(shí)現(xiàn)煤矸石目標(biāo)的穩(wěn)定可靠抓取。

（3）快速大質(zhì)量目標(biāo)穩(wěn)定抓取技術(shù)。煤矸石具有質(zhì)量差別大、移動(dòng)速度快等特點(diǎn)，當(dāng)機(jī)械手以不同速度搬運(yùn)煤矸石時(shí)會(huì)產(chǎn)生較大的慣性沖擊，直接影響抓取的穩(wěn)定性和可靠性。因此，需研究抓取質(zhì)量、抓取沖擊力、搬運(yùn)慣性力等對(duì)抓取力的影響機(jī)理及準(zhǔn)確控制，確保機(jī)械手穩(wěn)定可靠抓取煤矸石。

2.3 多目標(biāo)任務(wù)多機(jī)器人智能協(xié)同分揀

（1）多機(jī)械臂多任務(wù)高效分配技術(shù)。針對(duì)煤矸石目標(biāo)處于復(fù)雜動(dòng)態(tài)環(huán)境、抓取不同質(zhì)量煤矸石的優(yōu)先級(jí)別等問(wèn)題，通過(guò)多機(jī)械臂多任務(wù)高效分配技術(shù)，在確保任務(wù)分配均衡的前提下，以最小的代價(jià)高效地完成多機(jī)械臂的任務(wù)分配。

（2）多機(jī)械臂防碰撞路徑規(guī)劃技術(shù)。機(jī)械臂在執(zhí)行已分配的任務(wù)時(shí)，要考慮任務(wù)狀態(tài)、與其相鄰機(jī)械臂之間的位置關(guān)系及在進(jìn)行軌跡規(guī)劃時(shí)機(jī)械手與障礙物之間的碰撞問(wèn)題。因此，研究機(jī)械臂抓取動(dòng)態(tài)目標(biāo)防碰撞路徑規(guī)劃技術(shù)，可提高機(jī)械臂分揀穩(wěn)定性和安全性。

（3）多機(jī)械臂智能協(xié)同控制技術(shù)。通過(guò)任務(wù)分配和機(jī)械臂路徑規(guī)劃方法，構(gòu)建多機(jī)械臂智能協(xié)同分揀模型，提高機(jī)械臂利用率，最大限度發(fā)揮多機(jī)械臂系統(tǒng)性能。采用智能學(xué)習(xí)方法，提高機(jī)械臂自主避障、自主協(xié)同能力，并根據(jù)環(huán)境進(jìn)行自主決策。

3 煤矸石智能分揀機(jī)器人關(guān)鍵技術(shù)解決方案

針對(duì)目前煤矸石智能分揀機(jī)器人在實(shí)際應(yīng)用中存在的問(wèn)題，本文提出了煤矸石識(shí)別與抓取特征提取、機(jī)械臂動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤與穩(wěn)定抓取、多機(jī)械臂復(fù)雜環(huán)境下高效智能協(xié)同分揀3個(gè)方面的解決方案。

3.1 X射線+雙目視覺(jué)的煤矸石識(shí)別與抓取特征提取方法

X射線+雙目視覺(jué)的煤矸石識(shí)別與抓取特征提取方法如圖2所示。首先，通過(guò)煤矸石X射線和機(jī)器視覺(jué)（雙目視覺(jué)）圖像采集系統(tǒng)，獲取帶式輸送機(jī)目標(biāo)區(qū)域的X射線圖像和場(chǎng)景深度圖像。其次，通過(guò)隨機(jī)裁剪、翻轉(zhuǎn)、明亮度變化、添加噪聲等方法對(duì)X射線圖像和場(chǎng)景深度圖像進(jìn)行預(yù)處理，提高圖像數(shù)據(jù)質(zhì)量，生成對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)擴(kuò)增模型，以擴(kuò)充煤矸石圖像數(shù)據(jù)樣本庫(kù)。再次，構(gòu)建灰度特征、深度特征和輪廓特征分類器，以提取煤矸石圖像的3類特征，通過(guò)融合灰度特征和深度特征構(gòu)建煤矸石識(shí)別分類模型，實(shí)現(xiàn)煤矸石快速識(shí)別；融合深度特征和輪廓特征建立抓取矩形分類模型，實(shí)現(xiàn)煤矸石抓取特征的快速生成。最后，建立基于多模態(tài)卷積神經(jīng)網(wǎng)絡(luò)的頂層分類器，聯(lián)合3個(gè)特征分類器、2個(gè)模態(tài)分類模型，得到基于多模態(tài)識(shí)別與抓取特征模型，實(shí)現(xiàn)煤矸石的精確分類與最優(yōu)抓取立方體提取。

圖2 煤矸石識(shí)別與抓取特征提取方法Fig.2 Recognition and grasping featuresextraction of coal-gangue

3.2 機(jī)械臂動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤與穩(wěn)定抓取方法

機(jī)械臂動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤與穩(wěn)定抓取主要包括動(dòng)態(tài)煤矸石的快速匹配、機(jī)械臂對(duì)動(dòng)態(tài)目標(biāo)的精準(zhǔn)跟蹤和機(jī)械手的自適應(yīng)穩(wěn)定抓取，其流程如圖3所示。首先，通過(guò)基于視覺(jué)伺服多目標(biāo)在線定位模型獲取待抓取煤矸石實(shí)時(shí)位置，當(dāng)目標(biāo)到達(dá)機(jī)器人工作空間后，采用基于圖像特征的模板匹配方法進(jìn)行快速匹配，完成全局規(guī)劃與局部視覺(jué)之間目標(biāo)信息傳遞。其次，建立基于圖像視覺(jué)伺服動(dòng)態(tài)目標(biāo)跟蹤模型，通過(guò)圖像雅克比矩陣估計(jì)方法和參數(shù)優(yōu)化方法提高視覺(jué)伺服跟蹤精度和速度，結(jié)合運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)狀態(tài)預(yù)測(cè)模型對(duì)視覺(jué)伺服跟蹤軌跡進(jìn)行修正，實(shí)現(xiàn)機(jī)械臂對(duì)目標(biāo)的快速精準(zhǔn)跟蹤。再次，建立機(jī)器人視覺(jué)伺服控制模型，由機(jī)械臂動(dòng)態(tài)目標(biāo)同步跟蹤方法得到跟蹤抓取軌跡，并結(jié)合抓取立方體完成機(jī)械手抓取姿態(tài)控制。最后，通過(guò)自適應(yīng)抓取機(jī)械手模型和機(jī)械手變負(fù)載工況下的動(dòng)力學(xué)模型，獲取不同負(fù)載、不同運(yùn)動(dòng)狀態(tài)與抓取力的映射關(guān)系，構(gòu)建基于模糊神經(jīng)網(wǎng)絡(luò)的機(jī)械手抓取力動(dòng)態(tài)自適應(yīng)控制模型，確保機(jī)械手對(duì)矸石進(jìn)行穩(wěn)定可靠抓取和快速搬移。

圖3 機(jī)械臂動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤與穩(wěn)定抓取方法Fig.3 Precise dynamic target tracking and stable grasping method of mechanical arm

3.3 多機(jī)械臂復(fù)雜環(huán)境下高效智能協(xié)同分揀方法

多機(jī)械臂高效智能協(xié)同分揀方法包括環(huán)境感知層、環(huán)境地圖層、路徑規(guī)劃層和智能協(xié)同層，如圖4所示。

圖4 多機(jī)械臂復(fù)雜環(huán)境下高效智能協(xié)同分揀方法Fig.4 Efficient and intelligent collaborative sorting method of multi-mechanical arm in complex environment

環(huán)境感知層主要完成分揀環(huán)境空間信息采集、煤矸石識(shí)別和識(shí)別結(jié)果發(fā)送。環(huán)境地圖層對(duì)環(huán)境感知層提供的環(huán)境信息進(jìn)行三維柵格圖描述，為路徑規(guī)劃層提供機(jī)器人和任務(wù)的位置、障礙物分布等環(huán)境信息。路徑規(guī)劃層在環(huán)境信息的基礎(chǔ)上，通過(guò)基于視覺(jué)伺服的動(dòng)態(tài)目標(biāo)跟蹤軌跡規(guī)劃和基于A*算法的機(jī)械臂自主避障路徑規(guī)劃，實(shí)現(xiàn)機(jī)械臂動(dòng)作策略選擇。智能協(xié)同層包括任務(wù)分配和協(xié)同控制，根據(jù)機(jī)械臂狀態(tài)和目標(biāo)信息，建立多因素約束下機(jī)械臂綜合收益函數(shù)，實(shí)現(xiàn)機(jī)械臂分揀最優(yōu)任務(wù)分配；采用分布式架構(gòu)，通過(guò)基于強(qiáng)化學(xué)習(xí)的多機(jī)械臂協(xié)同分揀算法對(duì)機(jī)械臂動(dòng)作及收益推理系統(tǒng)進(jìn)行下一步?jīng)Q策收益優(yōu)化，實(shí)現(xiàn)機(jī)械臂自主協(xié)同和自主避障。

4 結(jié)論

在煤矸石智能分揀機(jī)器人研究現(xiàn)狀的基礎(chǔ)上，梳理了煤矸石智能分揀機(jī)器人的關(guān)鍵技術(shù)及其存在問(wèn)題，提出了煤矸石識(shí)別與抓取特征提取、機(jī)械臂動(dòng)態(tài)目標(biāo)精準(zhǔn)跟蹤與穩(wěn)定抓取、多機(jī)械臂復(fù)雜環(huán)境下高效智能協(xié)同分揀3個(gè)方面的解決方案。

（1）針對(duì)復(fù)雜環(huán)境下煤矸石識(shí)別問(wèn)題，提出X射線+雙目視覺(jué)的多模態(tài)傳感器融合技術(shù)，采用基于深度學(xué)習(xí)的多信息融合方法，實(shí)現(xiàn)煤矸石快速識(shí)別；提取抓取立方體特征，建立最優(yōu)抓取立方體模型。

（2）針對(duì)煤矸石定位不準(zhǔn)和直接抓取存在抓取沖擊力的問(wèn)題，提出采用基于煤矸石圖像特征的匹配方法實(shí)現(xiàn)快速定位，通過(guò)基于視覺(jué)伺服跟蹤方法獲取實(shí)時(shí)位置，實(shí)現(xiàn)煤矸石目標(biāo)的精準(zhǔn)定位；采用機(jī)械臂同步跟蹤煤矸石軌跡規(guī)劃方法，確保抓取時(shí)機(jī)械臂和目標(biāo)矸石相對(duì)靜止，實(shí)現(xiàn)機(jī)械手的穩(wěn)定抓取。

（3）針對(duì)復(fù)雜環(huán)境下多機(jī)械臂協(xié)同分揀問(wèn)題，構(gòu)建了包括環(huán)境感知、環(huán)境地圖、路徑規(guī)劃、智能協(xié)同的分揀系統(tǒng)架構(gòu)。采用基于A*算法的機(jī)械臂自主避障路徑規(guī)劃方法，實(shí)現(xiàn)機(jī)械臂動(dòng)作策略選擇；通過(guò)建立多因素約束下機(jī)械臂綜合收益函數(shù)，實(shí)現(xiàn)機(jī)械臂分揀最優(yōu)任務(wù)分配；采用基于強(qiáng)化學(xué)習(xí)的多機(jī)械臂協(xié)同分揀策略優(yōu)化方法，實(shí)現(xiàn)機(jī)械臂自主避障和自主協(xié)同。