視覺(jué)引導(dǎo)關(guān)節(jié)機(jī)器人在商超行業(yè)的設(shè)計(jì)應(yīng)用

文/何 敏 田曉美

關(guān)節(jié)機(jī)器人具備柔性高、定位準(zhǔn)確及運(yùn)行穩(wěn)定等特點(diǎn)，因此在自動(dòng)化物流領(lǐng)域得到廣泛應(yīng)用。關(guān)節(jié)機(jī)器人的引入，極大地推動(dòng)了物流自動(dòng)化的發(fā)展，提高了物流效率，降低了人力成本。關(guān)節(jié)機(jī)器人在物流行業(yè)的應(yīng)用，包括拆碼垛、分揀、上下料等。關(guān)節(jié)機(jī)器人實(shí)現(xiàn)貨物單元的準(zhǔn)確抓取有兩種解決方案，一種是人為的初始化設(shè)定，通過(guò)夾具等其它輔助工具，使得工件每次到達(dá)指定的位置。另一種是搭載視覺(jué)系統(tǒng)，通過(guò)視覺(jué)精確定位，實(shí)現(xiàn)機(jī)器手準(zhǔn)確抓取。隨著科技的進(jìn)展以及生產(chǎn)環(huán)境的復(fù)雜化，要求機(jī)器人完成更高精度、更復(fù)雜環(huán)境的任務(wù)。商超行業(yè)貨物單元種類(lèi)繁多，貨物單元的外形、外貌等均存在較大差異。現(xiàn)有的物流設(shè)備無(wú)法針對(duì)不同的垛形、不同的貨物單元等實(shí)現(xiàn)精確定位，導(dǎo)致現(xiàn)有的自動(dòng)化設(shè)備無(wú)法作業(yè)。目前，學(xué)術(shù)界和工業(yè)界正在大力探索人工智能技術(shù)在不同領(lǐng)域的應(yīng)用，而視覺(jué)技術(shù)亦是目前國(guó)內(nèi)外研究的熱點(diǎn)。近年來(lái)在ECCV、 CVPR 等國(guó)外計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議和雜志，不斷有新的“深度學(xué)習(xí)”網(wǎng)絡(luò)模型被提出。本項(xiàng)目基于回歸思想搭建深度學(xué)習(xí)網(wǎng)絡(luò)，實(shí)現(xiàn)了商超貨物單元的圖像分割。同時(shí)結(jié)合雙目視覺(jué)系統(tǒng)，實(shí)現(xiàn)對(duì)貨物單元的空間坐標(biāo)精確定位。

一、視覺(jué)系統(tǒng)在物流行業(yè)應(yīng)用的優(yōu)勢(shì)

視覺(jué)系統(tǒng)解決方案是一項(xiàng)綜合工程，包括圖像處理、光學(xué)成像、傳感器技術(shù)、計(jì)算機(jī)軟硬件技術(shù)等。一個(gè)典型的視覺(jué)應(yīng)用系統(tǒng)，包括圖像捕捉、光源系統(tǒng)、圖像算法模塊、智能判斷決策模塊和機(jī)械控制執(zhí)行模塊等。本項(xiàng)目的視覺(jué)系統(tǒng)結(jié)合了雙目視覺(jué)技術(shù)及深度學(xué)習(xí)技術(shù)，大大提高了視覺(jué)系統(tǒng)的普適性、精確度及穩(wěn)定性。

1.雙目視覺(jué)的應(yīng)用

雙目視覺(jué)識(shí)別技術(shù)的應(yīng)用可以更加便捷地獲取三維空間中的物體距離信息，提高信息獲取的效率與準(zhǔn)確性。雙目視覺(jué)技術(shù)避免了對(duì)外界特殊光源的依賴(lài)，同時(shí)能夠準(zhǔn)確獲取物體的距離信息。另外，利用計(jì)算機(jī)技術(shù)對(duì)獲取到的三維空間物體距離信息進(jìn)行分析以及處理，可以較好的獲得更加深層次的語(yǔ)義信息。傳統(tǒng)的視覺(jué)技術(shù)在進(jìn)行信息獲取時(shí)必須要借助外界特殊光源，通過(guò)光的反射信息達(dá)到語(yǔ)義理解的目的。因此傳統(tǒng)的視覺(jué)技術(shù)普適性不高，對(duì)于復(fù)雜的場(chǎng)景無(wú)法準(zhǔn)確理解。同時(shí)雙目視覺(jué)技術(shù)可以解決三維空間的識(shí)別問(wèn)題，將視覺(jué)技術(shù)的應(yīng)用范圍大大擴(kuò)展。

雙目視覺(jué)識(shí)別系統(tǒng)不需要大型設(shè)備，識(shí)別系統(tǒng)只有簡(jiǎn)單的硬件組成，因此，雙目視覺(jué)系統(tǒng)柔性高，可擴(kuò)展性強(qiáng)。同時(shí)，計(jì)算機(jī)技術(shù)的優(yōu)勢(shì)也可以在系統(tǒng)中得到充分的應(yīng)用，從而提高雙目視覺(jué)識(shí)別技術(shù)運(yùn)行的可靠性。雙目視覺(jué)識(shí)別技術(shù)的應(yīng)用可以解決傳統(tǒng)機(jī)器人信息獲取困難等問(wèn)題，提高機(jī)器人應(yīng)用的適用范圍，推動(dòng)機(jī)器人的智能化發(fā)展。

2.“深度學(xué)習(xí)”技術(shù)的應(yīng)用

“深度學(xué)習(xí)”是機(jī)器學(xué)習(xí)中的一個(gè)分支，也是一類(lèi)模式識(shí)別方法的統(tǒng)稱(chēng)。深度學(xué)習(xí)結(jié)構(gòu)包含多個(gè)隱藏層的多層感知器結(jié)構(gòu)，通過(guò)組合低層特征形成更加抽象的高層表示屬性類(lèi)別或特征，從而達(dá)到識(shí)別、判斷及分析等功能?；诰矸e運(yùn)算的神經(jīng)網(wǎng)絡(luò)系統(tǒng)是深度學(xué)習(xí)研究的重要方向，該研究方法在瑕疵檢測(cè)、圖像識(shí)別、文字識(shí)別（OCR）、人臉識(shí)別、指紋識(shí)別、醫(yī)學(xué)診斷等領(lǐng)域均取得了很好的研究成果。深度學(xué)習(xí)技術(shù)使得視覺(jué)系統(tǒng)能夠像人腦一樣識(shí)別物體特征，大大提高了視覺(jué)系統(tǒng)的普適性。傳統(tǒng)的視覺(jué)技術(shù)借助算法工具包，可以快速方便地對(duì)圖像信號(hào)進(jìn)行預(yù)處理，獲取圖像的特征信息。因此，深度學(xué)習(xí)技術(shù)的引入，可以有效解決識(shí)別種類(lèi)多，特征復(fù)雜等應(yīng)用場(chǎng)景。

圖1 項(xiàng)目部分物流布局圖

圖2 相機(jī)安裝示意圖

圖3 機(jī)器視覺(jué)系統(tǒng)通訊流程圖

二、物流方案

1.整體物流流程

商超周轉(zhuǎn)倉(cāng)貨物單元種類(lèi)繁多，吞吐量大，響應(yīng)節(jié)拍快。圖1為該項(xiàng)目部分物流布局圖。該部分物流線實(shí)現(xiàn)的功能是將緩存在庫(kù)區(qū)的貨物單元，拆垛、輸送到指定出庫(kù)區(qū)域。其作業(yè)流程為：上位系統(tǒng)下達(dá)出庫(kù)指令，AGV接收指令后前往暫存庫(kù)區(qū)取貨，隨后AGV將貨物單元由A處運(yùn)送到B處，然后退出作業(yè)工位；貨物單元在B處就位后觸發(fā)拆垛系統(tǒng)，視覺(jué)系統(tǒng)開(kāi)始對(duì)來(lái)料進(jìn)行識(shí)別定位，隨后關(guān)節(jié)機(jī)器手對(duì)貨物進(jìn)行準(zhǔn)確抓取、搬運(yùn)到輸送線；最后貨物單元跟隨輸送線到達(dá)指定出庫(kù)區(qū)域。整個(gè)作業(yè)過(guò)程無(wú)需人工干預(yù)，實(shí)現(xiàn)全自動(dòng)化，信息化作業(yè)。

2.視覺(jué)拆垛作業(yè)流程

該項(xiàng)目采用雙目結(jié)構(gòu)光相機(jī)進(jìn)行圖像采集。相機(jī)安裝在相機(jī)支架上，拾取裝置不得進(jìn)入相機(jī)視野。托盤(pán)貨物尺寸為1000×1200×1600（mm），為了保證圖像采集視野，要求相機(jī)距離托盤(pán)貨物最大尺寸不小于1140mm。為了保證系統(tǒng)的穩(wěn)定性及準(zhǔn)確性，相機(jī)安裝必須牢固可靠，機(jī)器手運(yùn)動(dòng)及物流設(shè)備帶來(lái)的震動(dòng)對(duì)相機(jī)不應(yīng)產(chǎn)生任何影響。另外，相機(jī)必須在機(jī)器手運(yùn)動(dòng)半徑以外，確保相機(jī)與機(jī)器手不發(fā)生任何干涉。相機(jī)安裝示意圖如圖2。

本項(xiàng)目采用的結(jié)構(gòu)光雙目視覺(jué)系統(tǒng)采集的數(shù)據(jù)流包括RGB彩色圖像及點(diǎn)云數(shù)據(jù)。雙目相機(jī)的精度為1mm@1m（在1米高度處，精度為1mm）。在商超拆垛作業(yè)場(chǎng)景下，通過(guò)該圖像設(shè)備采集的點(diǎn)云數(shù)據(jù)噪音較多，通過(guò)單一的機(jī)器學(xué)習(xí)算法很難達(dá)到去噪音的目的。因此，在處理三維點(diǎn)云數(shù)據(jù)時(shí)，需要結(jié)合二維圖像的特征提取，實(shí)現(xiàn)點(diǎn)云數(shù)據(jù)去噪。該任務(wù)環(huán)境要求實(shí)現(xiàn)1000種紙箱的自動(dòng)精確抓取，傳統(tǒng)的視覺(jué)技術(shù)難以滿足如此多種類(lèi)的圖像處理要求，因此，該項(xiàng)目基于深度學(xué)習(xí)模型，建立了圖像分割的神經(jīng)網(wǎng)絡(luò)模型。該模型能夠?qū)D像中的紙箱進(jìn)行實(shí)例分割，得到每個(gè)紙箱獨(dú)立的掩模（mask）。將實(shí)例分割得到的掩模映射到點(diǎn)云數(shù)據(jù)上，可以去除點(diǎn)云數(shù)據(jù)中的噪聲點(diǎn)。當(dāng)獲取每個(gè)紙箱去噪的點(diǎn)云數(shù)據(jù)后，通過(guò)機(jī)器學(xué)習(xí)算法可以計(jì)算出每個(gè)紙箱的中心坐標(biāo)，最后將中心坐標(biāo)位置反饋給機(jī)器手的PLC實(shí)現(xiàn)精確定位。

雙目視覺(jué)系統(tǒng)與機(jī)器人配合，實(shí)現(xiàn)自動(dòng)拆垛的作業(yè)流程為：當(dāng)系統(tǒng)就位后，上位系統(tǒng)向視覺(jué)系統(tǒng)發(fā)送指令，視覺(jué)系統(tǒng)被觸發(fā)后，開(kāi)始圖像采集。雙目視覺(jué)系統(tǒng)自動(dòng)識(shí)別出垛形以及計(jì)算出目標(biāo)物的空間位置信息、并發(fā)送給機(jī)器人。機(jī)器人根據(jù)收到的目標(biāo)物的位置信息，去拾取該目標(biāo)紙箱，隨后雙目視覺(jué)系統(tǒng)再次進(jìn)行圖像采集和數(shù)據(jù)計(jì)算。機(jī)器人運(yùn)動(dòng)到輸送線上方，并且將目標(biāo)紙箱放置到輸送線上。機(jī)器人返回到垛形上方，根據(jù)視覺(jué)系統(tǒng)的指令拾取目標(biāo)紙箱。系統(tǒng)不斷的循環(huán)上述步驟，直到完成任務(wù)。機(jī)器視覺(jué)系統(tǒng)流程圖，如圖3。

三、總結(jié)

視覺(jué)引導(dǎo)關(guān)節(jié)機(jī)器人拆垛系統(tǒng)的成功運(yùn)行，實(shí)現(xiàn)了商超行業(yè)多種類(lèi)貨物自動(dòng)拆垛的功能，推進(jìn)了物流業(yè)由勞動(dòng)密集型行業(yè)轉(zhuǎn)向技術(shù)密集型行業(yè)發(fā)展，推動(dòng)了物流機(jī)器人的智能化發(fā)展，提高了物流機(jī)器人的工作效率與工作質(zhì)量，大量節(jié)約了人力成本。另外，該項(xiàng)目的成功落地，也為深度學(xué)習(xí)此類(lèi)前沿的人工智能技術(shù)提供了較好的應(yīng)用場(chǎng)景，擴(kuò)展了人工智能技術(shù)的應(yīng)用范圍。