Bin-Picking中無紋理工件的分割

劉 瑤，趙 慧，伍世虔，陳 彬

（1.武漢科技大學(xué)機械自動化學(xué)院，湖北 武漢 430081；2.武漢科技大學(xué)機器人與智能系統(tǒng)研究院，湖北 武漢 430081；3.武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢 430081）

1 引言

Bin-picking系統(tǒng)的分揀功能在現(xiàn)代工業(yè)智能生產(chǎn)和制造等領(lǐng)域中發(fā)揮著重要的作用，如航空航天和汽車制造領(lǐng)域中的焊接與裝配，物流領(lǐng)域中的碼垛、分揀，工業(yè)2D、3D自動化檢測等具體生產(chǎn)場景中有著廣泛的應(yīng)用前景。其中，利用視覺檢測對分揀目標(biāo)進行分割在整個Bin-picking系統(tǒng)中發(fā)揮著基礎(chǔ)性作用，是“智能化”的一個重要體現(xiàn)。

目前分割算法大多基于圖像的顏色和紋理信息，這些信息獲取方式簡便且廉價。文獻[1]針對含有不同紋理圖像提出基于連續(xù)紋理梯度信息的各向異性分割。文獻[2]提出一種基于FFT 的Hu矩的目標(biāo)形狀特征提取，利用特征形狀進行目標(biāo)分割。文獻[3]使用形態(tài)學(xué)處理生成標(biāo)記圖，利用標(biāo)記圖輔助分水嶺。但Binpicking系統(tǒng)面對的目標(biāo)大多是缺乏表面紋理特征，形狀相似且無序堆疊，因此單獨利用圖像的顏色和紋理信息對目標(biāo)進行分割，會導(dǎo)致分割范圍不準(zhǔn)確，出現(xiàn)欠分割現(xiàn)象。

隨著深度傳感器技術(shù)的成熟發(fā)展，越來越多的研究者利用場景的3D特征對興趣目標(biāo)進行分割。深度傳感器采集的深度信息表示的是物體到相機的距離，其不受光照、背景遮擋等因素的影響，因此較于顏色紋理信息更加穩(wěn)定。文獻[4]以三維點云中視點特征直方圖作為特征，文獻[5]則是統(tǒng)計深度圖法向量差方作為特征，二者依據(jù)特征信息進行目標(biāo)分割。但僅利用深度信息會受傳感器的影響有局部空洞，引發(fā)目標(biāo)缺失、過分割等問題。

因此將目標(biāo)的顏色信息和深度信息相結(jié)合，是提高分割的準(zhǔn)確性的一個有效途徑。文獻[6]使用RGBD信息，計算顏色，3維坐標(biāo)，光流直方圖，使用直方圖差異構(gòu)建最小樹作為分層分割結(jié)果。文獻[7]利用深度梯度圖像、法向量梯度圖像和彩色梯度圖像的融合進行標(biāo)記提取，最后使用標(biāo)記分水嶺分割。

文獻[8]提出使用3D圖神經(jīng)網(wǎng)絡(luò)（3DGNN）實現(xiàn)場景分割。這些方法存在執(zhí)行復(fù)雜，需要大量的特征計算，分割時間較長的缺陷且不適應(yīng)工業(yè)場景。針對上述問題，這里提出基于RGB-D無紋理工件分割方法，實驗結(jié)果表明，對于無紋理工件的遮擋具有較強的魯棒性且運行快速可滿足檢測的實時性要求。

2 RGB-D無紋理工件分割算法

2.1 算法描述

針對無紋理工件目標(biāo)分割這一問題，提出首先利用邊緣圖像生成標(biāo)記圖輔助分水嶺，緩解因梯度圖偽極值點造成的分割不準(zhǔn)確問題；而后，將深度信息與顏色信息相融合作為初始分割結(jié)果；最后，使用顏色域信息輔助初分割區(qū)域生長法優(yōu)化分割結(jié)果。該法充分結(jié)合了顏色域分割的邊緣更加精準(zhǔn)，深度域分割目標(biāo)更加完整這一特點，將兩者進行融合，有效抑制了顏色域中欠分割與深度域中過分割現(xiàn)象，獲得了更好得分割結(jié)果。這里所闡述的Bin-Picking中無紋理目標(biāo)的分割方法總體框架，如圖1所示。

圖1 算法流程圖Fig.1 Diagram of the Algorithm

2.2 基于邊緣的標(biāo)記提取

分水嶺算法在多數(shù)分割場景中具有較好的效果，但由于其對噪聲敏感，易出現(xiàn)分割區(qū)域不準(zhǔn)確。而使用標(biāo)記修改原始梯度圖可有效抑制這種現(xiàn)象。如何提取標(biāo)記圖像是分水嶺分割的重點，根據(jù)目標(biāo)表面紋理特性提出一種基于目標(biāo)邊緣圖提取標(biāo)記方法，并將其分別應(yīng)用于深度域和顏色域中。

在深度域，利用法向量信息計算邊緣信息。深度圖中的每個像素表示為其中x，y表示深度圖像中的像素點的坐標(biāo)，D(x，y) 為相應(yīng)像素坐標(biāo)位置的深度值。

深度圖中法向量，如圖2（a）中所示，N—物體表面p點（其坐標(biāo)為（x，y)）處的法向量梯度，圖2（b）中的θ，φ為法向量梯度θ與X，Z軸的夾角。法向量梯度N可通過向量的叉積表示為：

其中，點P處的法向量梯度N在Z軸方向的參數(shù)為1，為P點處在X軸和Y軸方向上的梯度。如圖2（b）中θ和φ角可由下述公式可得：

圖2 深度圖的法向量Fig.2 Normal Vector of the Depth

使用θ和φ可描述深度圖每個像素點的法向量梯度的方向。而在計算φ時，噪聲過大［9］，因此選擇θ作為深度域的邊緣。相應(yīng)地，在顏色域采用Canny邊緣檢測來計算邊緣信息，在此就不再贅述。通過分別對深度域D和RGB彩色域進行處理獲得了關(guān)于同一拍攝場景的兩類邊緣信息：深度域邊緣信息和顏色域邊緣信息。3D相機采集的深度圖和彩色圖，如圖3（a）、圖3（c）所示。上述計算的深度域邊緣圖，如圖3（b）所示。經(jīng)過canny算子檢測的顏色域邊緣圖，如圖3（d）所示。

圖3 邊緣圖Fig.3 Edges of the Image

工件物體表面紋理信息較弱，如圖3（a）、圖3（c）所示。邊緣提取后保留了目標(biāo)輪廓信息，如圖3（b）、圖3（d）所示。且有效抑制了其他噪聲因素的影響。因此提取的標(biāo)記不受其他偽極小值的干擾。對二者進行形態(tài)學(xué)處理[3]提取前景與背景標(biāo)記，利用下式將前景與背景合并：

式中：MD、MRGB—深度域標(biāo)記圖，和顏色域標(biāo)記圖；fD、fRGB—深度域、顏色域前景標(biāo)記，bD、bRGB—深度域、顏色域背景標(biāo)記，效果，如圖4所示。

圖4 標(biāo)記圖Fig.4 Marks of the Image

2.3 RGB-D區(qū)域融合初分割

在式（4）、式（5）所示的標(biāo)記圖基礎(chǔ)上，采用極小值標(biāo)定技術(shù)[10]對顏色域和深度域梯度圖像進行修正。使用極小值標(biāo)定技術(shù)利用標(biāo)記圖像MD、MRGB對原始顏色域梯度圖像GRGB和GD進行修改（在此，梯度圖像G依據(jù)Sobel算子[11]計算），獲得修正后的顏色域和深度域的梯度圖像即：

其中，immin()—極小值標(biāo)定操作，減少分水嶺分割的區(qū)域。在修改后的彩色以及深度邊緣梯度圖使用分水嶺分割即可得到最終的分割結(jié)果SD和SRGB。基于邊緣標(biāo)記分水嶺在顏色域與深度域分割效果，如圖5（b）、圖5（c）所示。

在深度域的分割出大部分工件，分割邊界較為清晰，如圖5（c）所示。而與此同時，在顏色域中對無紋理目標(biāo)進行上文所述的分割操作時，由于紋理信息的缺失極易造成目標(biāo)物體的欠分割，如圖5（b）所示。工件兩兩相接部分并沒有分割出來。

針對于上述問題，在分別獲得顏色域及深度域分割結(jié)果的基礎(chǔ)上，利用式（8）將二者的分割結(jié)果相融合作為RGB-D初分割結(jié)果，即：

式中：SRGBD—RGB-D 的初分割結(jié)果；SRGB—顏色域的分割結(jié)果；SD—深度域分割結(jié)果；&—運算，根據(jù)上式（8）分割效果，如圖5所示。

圖5 初分割結(jié)果Fig.5 Segmentations of the Result

通過上述方法融合后的RGB-D 初分割結(jié)果所示有效地融合了兩種分割結(jié)果，保留二者的分割邊緣。區(qū)域融合初分割結(jié)果，如圖5（d）所示。相對于基于顏色域分割改善了欠分割情況，如圖5（b）所示。

2.4 區(qū)域生長優(yōu)化

初分割結(jié)果主要融合了深度分割的信息和部分顏色域分割信息。但是融合后的工件區(qū)域面積小于實際工件面積，雖然在顏色域中的標(biāo)記分水嶺分割結(jié)果存在欠分割，如圖5（d）所示。但是分割出來的工件邊界較為準(zhǔn)確。因此獲取RGB-D 初分割結(jié)果后，將顏色域分割范圍定義為生長彈性范圍，使用彈性范圍與區(qū)域生長法來調(diào)整分割后的目標(biāo)假設(shè)范圍，改善了初分割中過分割的現(xiàn)象，以提供更準(zhǔn)確的潛在目標(biāo)區(qū)域。

式中：p—一個像素點。具體生長規(guī)則如下

（a）C為生長法的種子區(qū)域，即初分割結(jié)果的輪廓；（b）將設(shè)為生長停止邊界；（c）從種子區(qū)域C中選取一個種子Ci；（d）從彈性區(qū)域中Se找出與種子Ci的8領(lǐng)域連通點集合E；（e）將集合E中滿足條件|DEj-DCi|

根據(jù)上述步驟，生長效果圖，如圖6所示。從圖6可知，相比較RGB-D初分割圖6（b），經(jīng)過RGB-D區(qū)域生長優(yōu)化的圖6（c）更加接近真實目標(biāo)區(qū)域大小S.

圖6 區(qū)域生長優(yōu)化結(jié)果Fig.6 Regions Growing

3 實驗與分析

這里使用3D 相機Kinect2和vs2013搭建視覺檢測平臺，獲取RGB-D信息，并且對3D相機進行畸變矯正和深度域、彩色域?qū)R。以直通管、三通管、彎管作為識別對象，將分割目標(biāo)隨意堆疊擺放在物料框中，如圖7所示。運用RGB-D 無紋理工件分割算法分割雜亂堆疊的工件。

圖7 實驗場景Fig.7 Experimental Platform

為驗證文中算法的魯棒性，實驗場景分為兩類場景，一類是工件平鋪擺放，另一類是雜亂堆疊場景。為了對比驗證文中區(qū)域融合初分割的有效性，將提出的分割方法與在RGB域分割方法[3]以及在RGBD域分割方法[6]進行了比較。同時將這里生長優(yōu)化前后的結(jié)果進行對比，驗證了算法優(yōu)化的有效性。

實驗場景一是工件平鋪擺放在容器框內(nèi)，該場景的RGB圖，如圖8（a）所示。分割結(jié)果，如圖8（b）～圖8（e）所示。圖8（b）中有兩處彎管與直管相連的邊緣沒有被分割出來，圖8（c）中三個綠色工件區(qū)域、兩個紅色三通管以及兩個彎管相邊緣都沒有分割出來。圖8（d）為所提出的融合分割結(jié)果以及圖8（e）優(yōu)化后的結(jié)果，工件分割區(qū)域的數(shù)目明顯增加，其中可以看出圖8（e）的分割區(qū)域更加接近真實區(qū)域。因此提出的算法提高了分割的正確率，使得分割結(jié)果更加接近真實工件區(qū)域。

圖8 場景一對比實驗分割結(jié)果Fig.8 Segmentation Results for Scene One Achieved by Different Algorithms

實驗場景二是工件任意堆疊的。場景二的RGB 圖，如圖9（a）所示；分割結(jié)果，如圖9（b）～圖9（e）所示。從圖9（b）上層工件與下層工件基本都沒有被分割出來。圖9（c）紅色區(qū)域的工件與藍色區(qū)域工件也存在頂層與下層的工件沒有被分割出來，并且上層的三通管與直管之間也沒有分割出來。相比較圖9（d）和圖9（e）分割正確。從中可以看出，算法實現(xiàn)較好的分割效果，而且優(yōu)化后的分割結(jié)果圖9（e）更加接近工件的真實區(qū)域。

圖9 場景二對比實驗分割結(jié)果Fig.9 Segmentation Results for Scene Two Achieved by Different Algorithms

從上述實驗結(jié)果可以看出，這里方法與在顏色域分割相比，由于加入了深度信息，在工件緊鄰和工件堆疊時分割效果較好，對于復(fù)雜場景具有魯棒性。與在RGBD域分割方法二相比，這里分割數(shù)目錯誤率較低，分割數(shù)目接近真實數(shù)目。此外在RGBD域分割是基于較為復(fù)雜點云的三個特征，算法復(fù)雜、運算時間較長。而本文算法步驟簡單，復(fù)雜度較低。對于相同場景做處理，這里算法對一幅圖片分割只需要1min，而使用RGBD點云信息分割至少需要10min。

為了對驗證這里提出優(yōu)化的有效性，針對優(yōu)化前后的分割結(jié)果與人工標(biāo)定結(jié)果進行對比。計算分割范圍的準(zhǔn)確性則是采用IOU（并交比），計算假設(shè)框重疊率。重疊標(biāo)準(zhǔn)為每個人工選擇的工件目標(biāo)最大矩形框和分割結(jié)果的目標(biāo)假設(shè)框交集和并集之比，衡量兩個邊界框的重疊相對大小，Ri為真實假設(shè)框的區(qū)域，Si為分割假設(shè)框的區(qū)域。i，j=1…n。公式如下表示：

由實驗效果圖8、圖9及表1的正確率對比分析可知。優(yōu)化后的準(zhǔn)確率得到明顯提升。

表1 優(yōu)化前后正確率對比分析Tab.1 Analysis and Comparison Between the Original Algorithms and Optimized Algorithms

綜上所述，這里提出的算法與在顏色域和RGBD 域典型算法相比，優(yōu)化之后在分割效果上有所提高，且分割速度較快。在本文提出基于RGB-D無紋理工件分割算法下，達到了分割較為準(zhǔn)確且運行速度快的效果，可滿足Bin-picking的實時性和魯棒性要求

4 結(jié)語

在Bin-picking的無紋理目標(biāo)的識別場景中，將顏色域和深度域相融合可分割出紋理信息較弱的潛在區(qū)域。針對無紋理的目標(biāo)輪廓信息的重要性，算法提取了深度域以及顏色域邊緣特征，使用邊緣特征生成二者標(biāo)記圖，依靠標(biāo)記圖輔助分水嶺分割，減少因工件表面?zhèn)螛O值點引起的小區(qū)域。然后將二者的分割區(qū)域相融合得到初分割結(jié)果，緩解基于顏色域的欠分割現(xiàn)象。最后利用顏色域分割區(qū)域為生長邊界限制初分割目標(biāo)區(qū)域生長范圍，解決RGBD信息相融合引起的過分現(xiàn)象，優(yōu)化目標(biāo)潛在區(qū)域，提高分割區(qū)域的準(zhǔn)確性。實驗結(jié)果表明，這里算法分割效果優(yōu)于在顏色域和RGBD域分割的典型算法，可在堆疊復(fù)雜場景中分割出完整的目標(biāo)區(qū)域，算法運行速度較快，具有實時性和較強魯棒性。下一步的工作是利用分割目標(biāo)的潛在位置方法替代滑動窗口實現(xiàn)對工件的識別和位姿估計，以此保持識別模塊的準(zhǔn)確性基礎(chǔ)上提高運算效率。