基于雙目視覺(jué)的散亂工件識(shí)別定位技術(shù)研究

凌 龍，曲 圓，王 靜，溫 雪，張汝波

(1.大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605；2.珠海科技學(xué)院 機(jī)械工程學(xué)院，廣東 珠海 519041)

在“十四五”規(guī)劃的新起點(diǎn)上，正值中國(guó)制造業(yè)飛速發(fā)展階段，工業(yè)自動(dòng)化水平已初見(jiàn)成效，為實(shí)現(xiàn)2035年新型工業(yè)化的遠(yuǎn)景目標(biāo)，對(duì)生產(chǎn)工廠和企業(yè)提出了新的要求。伴隨著工業(yè)產(chǎn)品的數(shù)量和種類的與日俱增，企業(yè)在相應(yīng)的生產(chǎn)鏈上出現(xiàn)大量散亂、堆積的工件，為保證其在出廠能完美分裝，并保持良好的產(chǎn)品質(zhì)量，提高企業(yè)生產(chǎn)效率，促進(jìn)自動(dòng)化水平進(jìn)一步發(fā)展[1]，散亂工件識(shí)別定位技術(shù)已成為工業(yè)生產(chǎn)過(guò)程中的重要研究?jī)?nèi)容。目前，在工業(yè)生產(chǎn)中，對(duì)散亂工件分裝通常還采用傳統(tǒng)的人工分裝方法，效率低、失誤率高、勞動(dòng)強(qiáng)度大[2]，且成本較高，而且易受各種客觀因素的影響，導(dǎo)致散亂工件人為操作不易，不符合大規(guī)模工業(yè)生產(chǎn)的要求。

隨著人工智能和機(jī)器視覺(jué)技術(shù)的不斷發(fā)展，通過(guò)視覺(jué)的識(shí)別定位方法已經(jīng)逐漸取代傳統(tǒng)的人工方法，并在無(wú)人駕駛、機(jī)器人導(dǎo)航、缺陷檢測(cè)等領(lǐng)域開(kāi)始實(shí)踐應(yīng)用[3]。機(jī)器視覺(jué)識(shí)別定位技術(shù)是一種在工業(yè)生產(chǎn)中以非接觸方式實(shí)施的自動(dòng)化技術(shù)，其中雙目視覺(jué)系統(tǒng)是通過(guò)模仿人類視覺(jué)原理所搭建的視覺(jué)系統(tǒng)，利用公共點(diǎn)的深度信息完成三維重建，為識(shí)別定位提供條件。具有安全可靠、檢測(cè)精度高、定位精準(zhǔn)、可長(zhǎng)時(shí)間工作等優(yōu)點(diǎn)，是實(shí)現(xiàn)工業(yè)自動(dòng)化和智能化的有效途徑，在眾多行業(yè)的工廠中應(yīng)用廣泛[4]。

本文以雙目視覺(jué)系統(tǒng)對(duì)散亂工件識(shí)別定位為論述中心，首先闡述雙目視覺(jué)識(shí)別定位技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀；然后將散亂工件識(shí)別定位技術(shù)歸納為采用邊緣特征與圖形特征進(jìn)行目標(biāo)定位、ICP配準(zhǔn)模型點(diǎn)云目標(biāo)定位及基于機(jī)器學(xué)習(xí)的三種目標(biāo)定位；最后對(duì)基于雙目視覺(jué)的散亂工件識(shí)別定位技術(shù)進(jìn)行總結(jié)，分析當(dāng)前此領(lǐng)域存在的問(wèn)題和未來(lái)的發(fā)展趨勢(shì)。

1 雙目視覺(jué)識(shí)別定位系統(tǒng)

1.1 系統(tǒng)組成

雙目視覺(jué)識(shí)別定位系統(tǒng)由硬件和軟件兩部分組成，硬件部分主要通過(guò)圖像采集模塊對(duì)工業(yè)生產(chǎn)鏈上的目標(biāo)圖像進(jìn)行拍攝采集，再利用軟件部分對(duì)采集的圖像進(jìn)行處理和分析，去除圖像中的無(wú)關(guān)信息，提取相關(guān)信息，并根據(jù)相應(yīng)信息對(duì)散亂工件進(jìn)行識(shí)別定位。雙目視覺(jué)系統(tǒng)的主要組成如圖1。

圖1 雙目視覺(jué)系統(tǒng)組成

1.1.1 硬件系統(tǒng)選型及作用

圖像采集裝置主要包括上位機(jī)、圖像采集卡、工業(yè)CCD相機(jī)、工業(yè)鏡頭及光源等。工業(yè)CCD相機(jī)主要通過(guò)成像傳感器將產(chǎn)生的光學(xué)圖像轉(zhuǎn)換成模擬信號(hào)，上位機(jī)負(fù)責(zé)對(duì)其進(jìn)行相應(yīng)處理，相機(jī)的成像質(zhì)量決定了上位機(jī)進(jìn)行圖像處理的效果能否達(dá)到預(yù)期，因此相機(jī)的選型是之后工作的重要基礎(chǔ)。圖像采集卡的作用是將采集到的圖像數(shù)據(jù)傳送到上位機(jī)，上位機(jī)對(duì)其進(jìn)行采樣，并轉(zhuǎn)化為數(shù)字信號(hào)。工業(yè)鏡頭在選型時(shí)應(yīng)考慮采集距離、焦距等影響，其中焦距作為鏡頭最重要的參數(shù)之一，在選型過(guò)程中需著重計(jì)算。光源是視覺(jué)系統(tǒng)進(jìn)行圖像采集時(shí)的重要輔助裝置，主要有環(huán)形光源、條形光源等多種類型。選擇光源時(shí)應(yīng)充分考慮光源的均勻性、對(duì)比度、照射角度等因素[5]，這些因素將影響采集圖像的質(zhì)量。

1.1.2 雙目視覺(jué)系統(tǒng)成像原理

雙目視覺(jué)模型是以人眼視覺(jué)模型為基礎(chǔ)，通過(guò)水平放置相距一定距離的兩臺(tái)相機(jī)分別獲取同一目標(biāo)工件圖像，基于視差原理計(jì)算兩幅圖像對(duì)應(yīng)點(diǎn)之間的位置偏差，以還原目標(biāo)工件原始三維位置的深度信息。雙目視覺(jué)系統(tǒng)成像原理如圖2。

圖2 雙目視覺(jué)系統(tǒng)原理示意圖

系統(tǒng)由左右(L,R)兩個(gè)相機(jī)組成，OL、OR分別為其坐標(biāo)原點(diǎn)，二者之間距離稱為基距。CL、CR為左右相機(jī)的圖像坐標(biāo)系，焦距表示為fL與fR，若兩相機(jī)型號(hào)相同，即焦距相等。當(dāng)目標(biāo)工件在雙目視覺(jué)系統(tǒng)中成像時(shí)，目標(biāo)工件中的任一點(diǎn)A(X,Y,Z)，在左右相機(jī)的圖像坐標(biāo)分別為aL(uL,vL)和aR(uR,vR)。定義視差值為空間一點(diǎn)的兩幅圖像位置差，即d=uR-uL。根據(jù)式(1)和式(2)，當(dāng)左右相機(jī)處于同一平面時(shí)，vL=vR。通過(guò)尋找空間上某點(diǎn)在左右相機(jī)的圖像面上的對(duì)應(yīng)點(diǎn)，根據(jù)相機(jī)標(biāo)定獲得相機(jī)的內(nèi)、外參數(shù)，可以確定點(diǎn)A的三維坐標(biāo)，為后續(xù)識(shí)別定位提供條件。

(1)

(2)

1.2 基于雙目視覺(jué)的散亂工件識(shí)別定位方法

目前，基于雙目視覺(jué)的散亂工件識(shí)別定位方法主要通過(guò)圖像處理得到特征信息，再進(jìn)行模板匹配，模板匹配的任務(wù)是針對(duì)某一特定目標(biāo)物體的形狀或輪廓，對(duì)目標(biāo)工件進(jìn)行識(shí)別定位。在三維空間中進(jìn)行目標(biāo)識(shí)別定位是現(xiàn)階段三維應(yīng)用的重點(diǎn)研究方向，并已有大量工作開(kāi)始研究空間物體的定位。獲取目標(biāo)工件的三維位置信息采用的方法主要有以下三種。

1.2.1 基于邊緣特征與圖形特征的目標(biāo)識(shí)別定位

基于邊緣特征與圖形特征的目標(biāo)識(shí)別定位方法主要是利用模板圖像的描述符來(lái)描述模板，在匹配過(guò)程中，會(huì)在待匹配圖像中搜索與其相似的描述符，通過(guò)比較兩個(gè)描述符的相似程度決定是否匹配。因此，當(dāng)目標(biāo)物體發(fā)生平移、旋轉(zhuǎn)、尺度變化或傾斜等情況，仍可以有效地識(shí)別，具有一定的魯棒性。郭宏達(dá)[6]通過(guò)對(duì)基于雙目視覺(jué)系統(tǒng)的堆疊零件識(shí)別定位問(wèn)題進(jìn)行研究，采用輪廓特征匹配方法進(jìn)行模板匹配，該算法精確實(shí)現(xiàn)了對(duì)散亂工件的識(shí)別定位，并使消耗時(shí)間減少。郝明[7]研究了機(jī)器視覺(jué)在雜亂工件分揀中的應(yīng)用，利用豪斯多夫距離算法對(duì)模板圖像和待匹配圖像進(jìn)行匹配，成功識(shí)別雜亂工件的目標(biāo)位置。曾超[8]研究了基于機(jī)器視覺(jué)的機(jī)器人拾取散亂工件技術(shù)，通過(guò)區(qū)域生長(zhǎng)法對(duì)圖像進(jìn)行分割，并對(duì)工件表面輪廓進(jìn)行重建，最后對(duì)輪廓點(diǎn)云與CAD模型點(diǎn)云進(jìn)行匹配，獲取了工件的最終位姿信息，定位成功率較高。劉曉陽(yáng)[9]研究了基于激光點(diǎn)云的散亂工件識(shí)別定位技術(shù)，通過(guò)自主研發(fā)的擺動(dòng)式線激光掃描儀獲取散亂工件場(chǎng)景點(diǎn)云，并通過(guò)點(diǎn)云全局特征和局部特征相似度加權(quán)的匹配方法完成對(duì)目標(biāo)工件位姿確定。Song K T等[10]使用RGB-D深度相機(jī)基于CAD模型姿勢(shì)估計(jì)解決隨機(jī)箱體抓取問(wèn)題，首先生成目標(biāo)對(duì)象點(diǎn)云數(shù)據(jù)庫(kù)，再通過(guò)投票法識(shí)別出不同物體的6-DOF姿態(tài)，識(shí)別率為92.39%。佐立營(yíng)[11]提出一種基于Kinect的散亂零件位姿估計(jì)方法，采用Kinect傳感器完成工件三維場(chǎng)景信息的獲取，基于全局閾值和平面特征將目標(biāo)從背景中分離，分割出目標(biāo)點(diǎn)云，最后使用RANSAC細(xì)匹配確定工件空間位姿。Chen L T等[12]設(shè)計(jì)了基于雙目視覺(jué)的機(jī)器人識(shí)別定位抓取系統(tǒng)，采用MLP分類器的視覺(jué)算法實(shí)現(xiàn)堆疊工件的識(shí)別，再通過(guò)可變形模板匹配算法將堆疊工件從背景中分離，最后經(jīng)過(guò)立體匹配、深度計(jì)算完成矩形和圓柱形工件的三維位姿提取，具有良好的分類效果和較高的識(shí)別定位精度。蔣萌[13]利用改進(jìn)的模板匹配方法實(shí)現(xiàn)目標(biāo)識(shí)別，再進(jìn)行三維重建，以最小化重投影誤差為目標(biāo)函數(shù)，用迭代算法求解目標(biāo)物體的位姿，最后通過(guò)機(jī)器人抓取實(shí)驗(yàn)進(jìn)行驗(yàn)證。江濤[14]提出了用于識(shí)別定位分散的自塞鉚釘?shù)碾p攝像頭方法，先通過(guò)多腐蝕和膨脹的圖像處理，獲得鉚釘?shù)妮喞畔ⅲ⑹褂媚０鍒D像多次減法的方式進(jìn)行重建，最終成功定位抓取。張海波[15]在基于雙目視覺(jué)的工件識(shí)別定位與分揀系統(tǒng)研究中，采用提取特征點(diǎn)的匹配算法完成對(duì)待抓取工件的識(shí)別定位與分揀，實(shí)現(xiàn)了螺母零件的分揀工作，且在被遮擋的情形下，工件識(shí)別的準(zhǔn)確性仍有保證，具有一定的魯棒性。

1.2.2 基于ICP配準(zhǔn)模型點(diǎn)云的目標(biāo)識(shí)別定位

迭代最近點(diǎn)(Iterative Closest Point，ICP)算法是一種在獲得目標(biāo)點(diǎn)云與模型點(diǎn)云后，通過(guò)迭代計(jì)算，得到目標(biāo)點(diǎn)云與模型點(diǎn)云剛體變換矩陣的算法。常用于點(diǎn)云配準(zhǔn)以及初始姿態(tài)輸入的優(yōu)化，以獲取高精度的位姿信息[16]。假設(shè)兩幅點(diǎn)云已經(jīng)完成了粗略配準(zhǔn)，匹配點(diǎn)之間的距離在一定閾值內(nèi)，則可以在場(chǎng)景目標(biāo)中尋找距離模型庫(kù)中最近的點(diǎn)，作為匹配的點(diǎn)對(duì)[17]。基本步驟如下：

(1)在場(chǎng)景目標(biāo)中尋找模型庫(kù)中距離相近的匹配點(diǎn)，并設(shè)定好距離的上限，可降低誤匹配率；

(2)利用估計(jì)模型庫(kù)和目標(biāo)場(chǎng)景之間的旋轉(zhuǎn)平移矩陣；

(3)將模型庫(kù)中的點(diǎn)通過(guò)旋轉(zhuǎn)平移到新的位置，若旋轉(zhuǎn)平移矩陣的變化沒(méi)有達(dá)到設(shè)定值則繼續(xù)執(zhí)行第一步，若迭代次數(shù)達(dá)到設(shè)定值或旋轉(zhuǎn)平移矩陣變化達(dá)到設(shè)定值則退出迭代。

譚歡[18]通過(guò)對(duì)基于雙目視覺(jué)的散亂工件分揀技術(shù)進(jìn)行研究，提出了一種三維點(diǎn)云分割方法，使目標(biāo)點(diǎn)集與模版點(diǎn)集進(jìn)行配準(zhǔn)，篩選出最優(yōu)匹配結(jié)果，使定位精度得到提高。柯科勇[19]研究了基于雙目視覺(jué)的散亂堆放工件拾取系統(tǒng)，使用了點(diǎn)云模板匹配方法對(duì)工件進(jìn)行識(shí)別定位，通過(guò)內(nèi)部形狀描述子(Intrinsic Shape Signatures，ISS)提取關(guān)鍵點(diǎn)，采用方向直方圖特征(Signature of Histogram of Orientation，SHOT)描述符對(duì)關(guān)鍵點(diǎn)進(jìn)行描述，得到匹配點(diǎn)，最后用ICP算法完成點(diǎn)云精確估計(jì)。崔旭東等[20]對(duì)基于3D視覺(jué)的散亂工件抓取進(jìn)行研究，先獲取了三維點(diǎn)云數(shù)據(jù)并分割，通過(guò)邊緣法分割后的點(diǎn)云和模型點(diǎn)云的主成分分析(Principal Component Analysis，PCA)、姿態(tài)變換與ICP匹配，實(shí)現(xiàn)了對(duì)散亂工件的識(shí)別定位，有較好的速度與準(zhǔn)確度。王德明等[21]提出了實(shí)例分割網(wǎng)絡(luò)和迭代優(yōu)化算法對(duì)散亂堆疊工件識(shí)別定位，在獲取的目標(biāo)點(diǎn)云上，通過(guò)改進(jìn)4點(diǎn)一致集算法(4-Points Congruent Set,4PCS)和ICP算法進(jìn)行姿勢(shì)估計(jì)，并將細(xì)分點(diǎn)云與目標(biāo)模板匹配，從而得到最終的位姿信息，定位誤差1 mm，偏轉(zhuǎn)角1°。王沖[22]通過(guò)Kinect V2傳感器對(duì)散亂工件識(shí)別定位進(jìn)行研究，利用Kinect V2傳感器采集目標(biāo)場(chǎng)景的RGB圖像和深度圖像，精確獲得散亂工件的點(diǎn)云數(shù)據(jù)，采用非極大值抑制和滯后閾值方法得到最有輪廓，最后通過(guò)對(duì)經(jīng)典ICP算法的改進(jìn)，降低了點(diǎn)云配準(zhǔn)的誤差，實(shí)現(xiàn)了對(duì)散亂工件的快速識(shí)別定位。田青華[23]通過(guò)點(diǎn)云處理完成了對(duì)散亂工件識(shí)別定位技術(shù)研究，先提出改進(jìn)歐式聚類的工件分割方法，得到點(diǎn)云數(shù)據(jù)并進(jìn)行關(guān)鍵點(diǎn)描述，使用ICP算法精確配準(zhǔn)，得到散亂工件的空間位姿信息。

1.2.3 基于機(jī)器學(xué)習(xí)的目標(biāo)識(shí)別定位

隨著機(jī)器學(xué)習(xí)的發(fā)展與成熟，其在工件分揀識(shí)別定位領(lǐng)域的研究不斷加強(qiáng)。徐慧等[24]提出了一種語(yǔ)義分割和點(diǎn)云注冊(cè)相融合的方法對(duì)散亂工件識(shí)別定位，先創(chuàng)建各種工件場(chǎng)景并標(biāo)記RGB圖像數(shù)據(jù)集，通過(guò)完全卷積網(wǎng)絡(luò)(Fully Convolutional Networks，F(xiàn)CN)進(jìn)行訓(xùn)練，推斷輸入圖像的語(yǔ)義細(xì)分結(jié)果，通過(guò)整合深度信息估計(jì)工件的實(shí)時(shí)位姿，定位誤差小于10 mm，角度偏轉(zhuǎn)2°。周偉峰等[25]提出利用支持向量機(jī)(SVM)在組合矩中實(shí)現(xiàn)工件識(shí)別的應(yīng)用研究，利用SVM對(duì)工件的各種矩特征進(jìn)行分類，從而對(duì)工件識(shí)別定位，識(shí)別率達(dá)到94.1%。彭澤林[26]對(duì)堆疊目標(biāo)的識(shí)別與定位抓取系統(tǒng)進(jìn)行研究，利用改進(jìn)的Hough變換擬合算法完成對(duì)目標(biāo)物體的邊緣擬合，利用SVM對(duì)目標(biāo)物體進(jìn)行識(shí)別分類，通過(guò)三維重建得到目標(biāo)空間位姿。Kneip J等[27]開(kāi)發(fā)了基于立體相機(jī)系統(tǒng)，使用GPU快速匹配相機(jī)圖像產(chǎn)生的點(diǎn)云作物邊緣檢測(cè)算法，使用高斯混合模型的“期望-最大化算法”獲得作物和地面的分割，通過(guò)線性回歸處理產(chǎn)生潛在作物的邊緣位置，以得到整體的線性邊緣模型。王正波等[28]為解決散亂工件識(shí)別定位問(wèn)題，利用機(jī)器視覺(jué)技術(shù)，通過(guò)改進(jìn)快速穩(wěn)健特性(Speeded Up Robust Features，SURF)+視覺(jué)字袋(Visual Word Bag,BOW)+SVM進(jìn)行識(shí)別定位，使用深度傳感器Kinect對(duì)散亂工件定位，定位誤差小于5 mm。Kim W S等[29]設(shè)計(jì)了基于機(jī)器視覺(jué)的高度測(cè)量系統(tǒng)，通過(guò)立體聲匹配，得到深度地圖，用于確定感興趣區(qū)域的邊緣分割，重疊的圖像仍能檢測(cè)出目標(biāo)區(qū)域。Lin C M等[30]提出基于深度學(xué)習(xí)的視覺(jué)對(duì)象識(shí)別與隨機(jī)對(duì)象拾取系統(tǒng)，結(jié)合CNN和完全連接的條件隨機(jī)場(chǎng)層實(shí)現(xiàn)圖像的語(yǔ)義分割功能，通過(guò)模型姿勢(shì)估計(jì)方法得到目標(biāo)3D姿態(tài)，可在雜亂無(wú)章的環(huán)境中穩(wěn)定準(zhǔn)確實(shí)現(xiàn)識(shí)別分類，三個(gè)軸的平均定位誤差和旋轉(zhuǎn)誤差都小于0.52 cm和3.95°。李榮華等[31]提出基于重要區(qū)域目標(biāo)識(shí)別的雙目視覺(jué)分揀系統(tǒng)，對(duì)拍攝的工件照片使用深度學(xué)習(xí)算法提取目標(biāo)工件的重要區(qū)域，從而計(jì)算出目標(biāo)工件的三維坐標(biāo)，實(shí)驗(yàn)結(jié)果表明對(duì)工件的識(shí)別定位精度高、穩(wěn)健性強(qiáng)。Periyasamy A S等[32]提出了一種使用語(yǔ)義分割和姿勢(shì)回歸網(wǎng)絡(luò)方法，在雜亂無(wú)章場(chǎng)景下進(jìn)行姿勢(shì)估計(jì)，通過(guò)快速數(shù)據(jù)采集方法和數(shù)據(jù)合成，并結(jié)合語(yǔ)義分割工作，在雜亂無(wú)章環(huán)境中分離出單個(gè)對(duì)象，提取相應(yīng)的目標(biāo)姿勢(shì)。不同方法對(duì)散亂工件識(shí)別定位的評(píng)價(jià)與梳理見(jiàn)表1。

表1 不同方法對(duì)散亂工件識(shí)別定位的評(píng)價(jià)與梳理

1.3 應(yīng)用實(shí)例

近年來(lái)，人工智能迅速發(fā)展，已在目標(biāo)識(shí)別、缺陷檢測(cè)、無(wú)人駕駛等方面都取得了較大突破。雙目視覺(jué)系統(tǒng)在工業(yè)生產(chǎn)中得到了廣泛應(yīng)用。

日本Fanuc公司推出了基于iRVision 3DL視覺(jué)傳感器的機(jī)器人拾取系統(tǒng)，該系統(tǒng)采用自主研制的3D視覺(jué)傳感器對(duì)場(chǎng)景信息進(jìn)行采集與分析，實(shí)現(xiàn)了圓柱體散亂工件的定位拾取[33]。埃夫特公司為提升奇瑞汽車的生產(chǎn)效率，節(jié)省人力成本，開(kāi)發(fā)了一臺(tái)搭載3D視覺(jué)相機(jī)和Vision Pro 3D軟件的搬運(yùn)機(jī)器人，該系統(tǒng)通過(guò)采集工件的3D信息，實(shí)現(xiàn)了對(duì)擺放位置不確定、存在小于20°傾斜角的缸蓋進(jìn)行自動(dòng)抓取[34]。丹麥Scape Technologies公司的SCAPE Bin-Picker Cell系統(tǒng)采用結(jié)構(gòu)光視覺(jué)完成三維場(chǎng)景信息的采集，并將視覺(jué)系統(tǒng)與機(jī)器人集成于一體，實(shí)現(xiàn)了隨機(jī)放置的管狀工件位姿測(cè)量[35]。上海沸谷自動(dòng)化科技有限公司研發(fā)了一套FG-IR2003D機(jī)器視覺(jué)識(shí)別定位系統(tǒng)，采用激光與結(jié)構(gòu)光相結(jié)合的方法來(lái)獲取散亂工件的點(diǎn)云數(shù)據(jù)，其定位精度可達(dá)到0.2 mm。瑞士ABB公司研發(fā)的機(jī)器人智能3D系統(tǒng)True View[36]，能對(duì)工件的樣式與位置的變化進(jìn)行檢測(cè)，同時(shí)可以精確定位料架上的工件，實(shí)現(xiàn)了全過(guò)程的自動(dòng)化生產(chǎn)。德國(guó)ISRA Vision公司利用兩臺(tái)相機(jī)及激光裝置組成3D視覺(jué)系統(tǒng)，用以分揀零件，可在2 s內(nèi)獲取零件的3D信息，后通過(guò)對(duì)視覺(jué)系統(tǒng)不斷更新，可以對(duì)不同類型的零件進(jìn)行識(shí)別抓取。2016年，河南省埃爾森智能科技公司推出一套針對(duì)散亂堆放工件定位的雙目機(jī)器人系統(tǒng)，該系統(tǒng)定位精度較高[37]。2017年，武漢庫(kù)柏特公司展示了其自主研發(fā)的3D視覺(jué)系統(tǒng)對(duì)LED外殼進(jìn)行無(wú)序分揀，該視覺(jué)系統(tǒng)可以對(duì)物體表面輪廓進(jìn)行掃描，形成點(diǎn)云數(shù)據(jù)，再分析處理，計(jì)算出位置信息，再轉(zhuǎn)換成機(jī)器人抓取的位姿信息，傳遞給機(jī)器人實(shí)現(xiàn)自動(dòng)抓取[38]。Rouhollahi Ali等[39]利用物體與傳送帶背景顏色的不同，將圖像顏色空間由RGB轉(zhuǎn)為HSV，提取物體輪廓，將位置反饋給機(jī)器人，實(shí)現(xiàn)機(jī)器人定位抓取。北京大恒圖像對(duì)散亂工件問(wèn)題進(jìn)行了研究，研發(fā)了一套機(jī)器人3D視覺(jué)智能裝配系統(tǒng)，通過(guò)3D智能傳感器對(duì)零件進(jìn)行掃描成像，得到其點(diǎn)云數(shù)據(jù)，再采用3D表面匹配得到模板零件和當(dāng)前零件的仿射矩陣，完成零件識(shí)別和位姿獲取，控制機(jī)械臂抓取零件并擺放。

2 存在的問(wèn)題

雙目視覺(jué)識(shí)別定位技術(shù)涉及眾多學(xué)科和理論，完整的雙目視覺(jué)系統(tǒng)包括圖像采集、相機(jī)標(biāo)定、立體校正、立體匹配和深度恢復(fù)等環(huán)節(jié)。每一個(gè)環(huán)節(jié)都直接或間接影響視覺(jué)系統(tǒng)的整體性能。基于雙目視覺(jué)散亂工件識(shí)別定位技術(shù)的理論研究和工業(yè)應(yīng)用已有一定基礎(chǔ)，但仍存在一些問(wèn)題和難點(diǎn)，有較大提升空間。

(1)在圖像采集階段，受光照條件、現(xiàn)場(chǎng)環(huán)境等外界因素的影響，采集的散亂工件現(xiàn)場(chǎng)圖的表觀特征發(fā)生變化，造成識(shí)別定位的精度下降；在三維重建時(shí)，對(duì)于光亮表面的工件三維重建的效果不如預(yù)期，容易產(chǎn)生更多的噪聲。噪聲的干擾以及散亂工件的遮擋或傾斜對(duì)圖像的質(zhì)量存在一定影響，識(shí)別定位性能較差。如何提高圖像采集的質(zhì)量，是需要解決的問(wèn)題之一。

(2)由于工件在散亂堆疊狀態(tài)是隨機(jī)的樣式，因此在某次工件抓取過(guò)程中，導(dǎo)致散亂工件隨機(jī)滾動(dòng)，這可能會(huì)使所有分割、三維配準(zhǔn)失效及接下來(lái)所有結(jié)果不可執(zhí)行的情況發(fā)生。為解決該現(xiàn)象，需在硬件設(shè)計(jì)與軟件設(shè)計(jì)層面添加一些錯(cuò)誤恢復(fù)機(jī)制，具備更好的魯棒性。多采用靜態(tài)采集圖像的方式，圖像處理操作相對(duì)較容易，在對(duì)運(yùn)動(dòng)中的工件進(jìn)行識(shí)別定位抓取時(shí)，還需進(jìn)一步提高算法精確度。

(3)目前在散亂工件識(shí)別定位方向，圓柱體或正方體等規(guī)則形狀的工件較多，識(shí)別效果較好，對(duì)輪廓較為復(fù)雜的工件算法還需完善。如何選擇合適的算法，提高雙目視覺(jué)識(shí)別定位系統(tǒng)的可靠性和實(shí)時(shí)性，使雙目視覺(jué)識(shí)別定位技術(shù)進(jìn)一步向智能化和精準(zhǔn)化方向發(fā)展是未來(lái)需著重解決的問(wèn)題。

3 研究展望

目前，雙目視覺(jué)技術(shù)已經(jīng)在醫(yī)療、汽車、航海、工業(yè)生產(chǎn)等領(lǐng)域有了突破性進(jìn)展，但仍有較大提升空間。由于工件的形式多種多樣且數(shù)量越來(lái)越多，工件散亂堆疊放置在傳送鏈上的情況愈發(fā)嚴(yán)重。采用全自動(dòng)化的方式將散亂工件從傳送鏈上取出并有序擺放就成了現(xiàn)階段自動(dòng)化生產(chǎn)中的重要一環(huán)。截至目前，在實(shí)際應(yīng)用中還沒(méi)有達(dá)到現(xiàn)代化工業(yè)生產(chǎn)所具備的高精化和智能化的要求，利用雙目視覺(jué)技術(shù)對(duì)工業(yè)生產(chǎn)鏈上的散亂工件進(jìn)行識(shí)別定位，并結(jié)合機(jī)械臂對(duì)散亂工件進(jìn)行精確分類抓取，是現(xiàn)代化工業(yè)生產(chǎn)的發(fā)展趨勢(shì)。

深度學(xué)習(xí)在工業(yè)生產(chǎn)領(lǐng)域飛速發(fā)展，但在散亂工件的識(shí)別定位方向，還沒(méi)有最大發(fā)揮深度學(xué)習(xí)的作用，相關(guān)研究仍停留在借鑒主流神經(jīng)網(wǎng)絡(luò)框架，對(duì)其進(jìn)行調(diào)整改進(jìn)，然后完成對(duì)散亂工件的識(shí)別與分類階段。未來(lái)，更加適合該領(lǐng)域的深度學(xué)習(xí)框架，提高散亂工件識(shí)別定位系統(tǒng)的有效性和準(zhǔn)確性，是實(shí)現(xiàn)工業(yè)生產(chǎn)鏈全自動(dòng)化的趨勢(shì)。