結構光條紋圖像分割方法

朱　真　杜軼誠　秦緒佳　陳勝男

(浙江工業大學計算機科學與技術學院　浙江 杭州 310023)

?

結構光條紋圖像分割方法

朱真杜軼誠秦緒佳陳勝男

(浙江工業大學計算機科學與技術學院浙江 杭州 310023)

結構光視覺三維重建中，結構光條紋分割與提取是關鍵。提出一種結構光條紋分割方法，該方法首先采用多尺度Retinex算法對條紋圖像暗部細節進行增強，然后使用K均值聚類算法對圖像的高光區域進行檢測，并在圖像高光區域約束下提出基于最小偏態分布指標的圖像分割技術，計算出高光區域和非高光區域兩個分割閾值；最后對處理后的圖像進行雙閾值分割，獲得最終的條紋圖像分割結果。實驗結果表明該方法能夠有效處理結構光條紋圖像的分割。

條紋圖像多尺度RetinexK均值聚類條紋分割

0　引　言

基于結構光投射的三維重建技術廣泛應用于計算機視覺等領域，通過結構光投射可以重構出被測物體的三維幾何信息。結構光根據投射的光束模式不同可分為點結構光模式[1]、線結構光模式[2]、多線結構光模式[3]及網格結構光模式等。由于該方法有著高精度、強實時性且易于提取光條圖像信息等特點，因此經常被用于三維視覺檢測領域。結構光視覺三維測量技術是基于光學三角原理是用與被測物體匹配的相應模式的結構光，在攝像機的拍攝下獲得變形光條圖像，這樣可以解決物體表面形貌測量、空問位置測量、三維運動信息獲取等許多在線測量的問題[4]。

在結構光幾何重建及三維測量應用中，結構光條紋分割及中心的提取對重建或測量精度有著重要的影響。胡坤等利用高斯卷積遞歸確定光條紋各點的法線方向，再用泰勒級數獲得光條紋中心的亞像素位置[5]。熊會元等采用閾值分割確定條紋中心初始點和法線方向，計算條紋法向，最后在法線方向精確獲取光條紋中心[6]。近年來，對如何精確提取條紋中心線提出了一些新方法，如鄭鷺斌等提出一種基于輪廓關鍵點和能量中心優化的條紋中心線精確提取方法[7]。賈衛平等提出一種基于Hessian的多結構光條紋亞像素中心提取方法[8]，提高了結構光亞像素中心提取速度。

在基于多線結構光模式下，由于拍攝條件的限制、被測物體表面顏色豐富以及光滑表面等情況下獲取的條紋圖像亮度往往不均勻，為后續的條紋提取帶來不便。通常的方法是對獲得的結構光圖像進行條紋增強處理，如秦緒佳等提出的HSV顏色空間下的結構光條紋增強算法[9]，可實現結構光圖像細節增強。還有采用方向場和頻率場約束進行結構光條紋進行增強[10]。柴玉亭等采用頻域濾波法對圖像高光影響進行了有效消除[11]，使條紋中心提取更精確。針對存在欠曝光、高光雙重影響的結構光圖像，我們提出了一種先進行MSRCR圖像增強，然后基于K-means的高光檢測方法和帶高光區域的結構光條紋雙閾值分割方法。

1　多尺度Retinex暗部細節增強

1.1多尺度Retinex算法

Retinex[12]理論是Land在1963年提出的一種具有顏色恒常知覺的計算理論，它是基于人類視覺的亮度和對顏色的感知。Retinex理論指出物體的顏色是物體對長、中和短波的光線的反射能力決定，并不由反射光的強度值決定。因此Retinex算法將物體的顏色和亮度定義為由周圍環境顏色和亮度和物體的反射光兩部分構成，從而通過對亮度間的比較獲得入射光分量且降低其質量，最終分解出反射光分量，消除光照不均和其他影響，獲得良好的視覺效果，達到圖像增強的目的。

根據Retinex[12]理論，圖像I(x,y)可以表示成入射光分量和反射分量的乘積，公式如下：

R(x,y)=E(x,y)·I(x,y)

(1)

其中，E(x,y)表示像素點(x,y)處的入射光分量，由于其具有動態壓縮性，所以E(x,y) 決定了動態范圍的廣度。由于對數可以使乘除變為加減，大大減少了計算復雜性且更直觀的可以表示，所以對式(1)兩求對數，得到式(2)如下：

log(I(x,y))=log(E(x,y))+log(R(x,y))

(2)

單尺度Retinex算法(SSR)是在Land提出的中心/環繞Retinex的基礎上發展起來的[13]。表示成如下公式：

log(Ri(x,y))=log(Ii(x,y))-log(Ii(x,y)*F(x,y))

(3)

(4)

F(x,y)為用高斯函數實現的中心/環繞函數，c為尺度常量,輸出圖像的色彩保真度隨c的增大而增大，動態范圍壓縮結果則相反，通常尺度常量選擇30至80間。*表示卷積運算符，而Ii(x,y)表示圖像I(x,y)處的第i個顏色通道上的值，Ri(x,y)表示反射光分量。

log(Fn(x,y)*Ii(x,y))}+b}

(5)

1.2暗部條紋增強實驗結果

圖1　Retinex暗部細節增強

圖1(a)由于曝光不足，黑色條紋與被測物體顏色對比度不高，條紋難以分辨，增加了后續處理的難度。圖1(b)為使用MSRCR算法處理后的結果，處理之后的圖像亮度較(a)明顯提高，背景和目標物清晰可辨，原來融入背景的光柵條紋信息也得到明顯增強，所以MSRCR算法能夠顯著提升結構光圖像暗部區域細節。

2　結構光條紋圖像分割算法

對于欠曝光、高光雙重影響的結構光圖像條紋分割，本文算法處理流程如圖2所示。

圖2　結構光條紋圖像分割算法流程圖

流程圖中三個關鍵步驟的具體處理過程如下：

(1) 采用第1節的MSRCR方法對結構光條紋圖像進行暗部細節增強；

(2) 采用K均值聚類算法對圖像的高光區域進行檢測，獲得高光區域圖；

(3) 對暗部細節增強的圖像轉化成灰度圖像，在高光區域的約束下采用基于最小偏態指標的圖像分割技對灰度圖像進行閾值分割，得到最終的結構光條紋圖像。

下面我們對圖像的高光區域檢測及基于最小偏態指標的圖像分割方法進行描述。

2.1K均值聚類的圖像高光區域檢測

大部分圖像總是存在高光部分，它是整個圖片中最亮的部分，不僅影響圖像細節處的觀察，更是對圖像處理的精度產生影響，如何去除高光已成為現實之需。

早期高光去除方式多以色度分析或光線極化分析方法為主，Wolff使用反射光的偏振性質分離出反射光的高光部分和漫反射部分[15]；Nayar等人在Wolff的工作基礎上又考慮了圖像的顏色信息[16]；Sato引入時間-顏色空間，通過分析相同光源不同角度的圖像序列分離高光[17]。當前的高光檢測方法主要以Shafer的雙色反射模型[18]為理論基礎。

以上這些方法都存在算法復雜、計算時間長等不足。本文提出一種較為簡單的高光去除方法，首先使用K均值聚類算法提取高光區域，然后采用最小偏態指標的圖像分割技術來實現高光區域的分割。

K均值聚類算法是將給定的數據點通過某個距離函數將數據放入聚類數目K(由用戶定義)中，而在比較分析圖像信息的過程中，發現無論是漫反射分量的像素還是高光分量的像素都較為集中，而且前者的灰度值相之于后者較為小。因此，可以將漫反射分量和高光分量通過K均值聚類算法區分來或者歸到同一類來。K均值聚類算法進行圖像高光區域檢測處理過程如下：

(1) 將顏色從RGB轉換為YUV格式，轉換公式為：

(6)

(2) 將Cdifu和Cspec分別設定為漫反射初始聚類中心和高光反射初始聚類中心。

(3) f(x,y)表示像素x,y對應的亮度分量，分別計算到兩類聚類中心的值。DDiffuse表示各像素與漫反射聚類中心的距離，DSpecular表示各像素與高光聚類中心的距離。計算各像素灰度與聚類中心的距離。公式如下：

(7)

(4) 利用式(7)求出的到兩類的距離，將到漫反射聚類中心的距離大于高光反射聚類中心的像素對應亮度分量求平均值，設定為下一次迭代的漫反射聚類中心；高光反射同理，得到式(8)。

(8)

(5) 如果當前的迭代次數大于設定的最大迭代次數，或者聚類差值大于閾值，則分類結束。否則進行下一次迭代，重復步驟(2)-(5)。

圖3給出了具有高光影響的圖像采用上述算法進行高光區域檢測的結果。(b)、(d)分別是(a)、(c)使用K均值聚類算法提取高光區域的結果圖像，結果圖像中的黑色部分為漫反射區域，白色部分為高光反射區域。(a)是一個含有高光信息的球，其高光區域在(b)中已經被識別出來，且(a)中高光區域中的原型突起物沒有產生高光反射，在(b)中也被很好的劃分在非高光區域。(c)是光柵條紋的花瓶瓶口部分存在高光反射的區域，其高光區域在(d)也被分割出來。因此，此算法可用于結構光條紋圖像的高光檢測。

圖3　高光區域檢測結果

2.2高光區域約束的最小偏態指標條紋分割

(9)

(10)

(11)

(12)

(13)

(14)

偏態指標為：

K(t)=|k1(t)|+|k2(t)|

(15)

閾值計算公式為：

Tred=ArgMin[K(t)]t∈[0,G]

(16)

表面光滑物體的圖片通常存在高光區域，而高光區域會對目標與背景的分離產生影響，直接采用并不能取得很好的效果。本文我們采用將高光部分和非高光部分分離且分別計算閾值的方法，來實現有效的目標與背景分離。

首先采用2.2節的方法將圖像分離為高光Ωh與非高光區域Ωd；然后分別對高光區域和非高光區域利用最小偏態法計算閾值，得到高光區域的閾值TredΩh和非高光區域的閾值TredΩd。雙分割閾值計算公式如下：

(17)

獲得圖像高光區域和非高光區域的分割閾值后，分別對圖像高光區域和非高光區域采用不同的分割閾值進行圖像二值化處理，得到最終的條紋分割結果。圖4(a)是花瓶瓶口部分存在高光反射的區域的光柵條紋圖像，圖4(b)為經上述雙閾值處理后的條紋分割結果。從圖4可以看出，結構光條紋得到有效的分割和提取。

圖4　高光區域約束的條紋圖像分割

3　實驗結果與分析

本文算法在Visual Studio 2008集成開發環境上采用C++編程實現，實驗運行環境：CPU 2.4 GHz，內存4 GB。

我們分別對金屬零件和陶瓷器件兩種不同材質的物體的結構光圖像進行條紋分割，并與常用的分割方法進行比較。由于金屬及陶瓷件表面光滑，會有高光區域，直接分割往往不能提取出高光區域的條紋結構。本文方法不僅對圖像暗區域進行了增強，而且對高光區域進行了處理，從而獲得很好的分割結果。

圖5(a)和圖6(a)結構光條紋圖像，原圖大小均為5412×7216，為便于中顯示清晰，本文中只截取了原圖的局部。圖5(b)和圖6(b)為本文經MSRCR增強圖像。MSRCR增強圖像時，式(5)中參數G取1.0，b取0值, 為尺度個數N取3。G值取過大暗區域明顯增強但高光區域會增強過度，從而影響第2步高光區域檢測。圖5(c)和圖6(c)分別為圖5(a)和圖6(a)的局部放大圖，圖5(d)和圖6(d)分別為圖5(b)和圖6(b)的局部放大圖。圖5(e)和圖6(e)為本文方法分割結果。圖5(f)和圖6(f)為直接閾值分割結果，圖5(g)和圖6(g)圖采用自適應閾值法(OTSU)的分割結果。

由實驗結果可以看出，無論采用固定閾值還是采用自適應閾值對原圖像進行分割，均無法得到好的條紋分割結果。而本文方法由于分別考慮了圖像的暗區域和高光區域，并分別進行了增強處理，可獲得較好的分割結果。

圖5　金屬零件結構光條紋分割

圖6　陶瓷器結構光條紋分割

圖7為我們采用結構光進行三維重建的金屬管接頭結構光條紋分割實例。圖7(a)為結構光原圖像，圖像大小為5412×7216，圖7(b)、(d)、(f)為圖7(a)中3個區域的局部放大圖。經采用本文對圖像先進行Retinex暗部增強，然后檢測高光區域并采用雙閾值分割，得到相應的分割結果。MSRCR增強圖像時，式(5)中參數G取1.0，b取0值, 為尺度個數N取3。由于本文為增強結構光圖像中的條紋，尺度常量取中間值50可得到好的效果。K均值聚類為區分前景與背景，K取2。為減少聚類迭代時間，最大迭代次數取20。

(a) 金屬管接頭結構光圖像

圖7　結構光條紋分割實例

4　結　語

針對基于結構光三維重建中條紋圖像的條紋分割與提取問題,對條紋圖像存在欠曝光的暗區域和高光反射的過亮區域時,傳統的分割方法難以獲得完整清晰的條紋,本文提出了一種新的結構光條紋分割方法。該方法首先利用MSRCR算法使得暗部細節得到有效增強,使條紋清晰可見，為圖像的欠曝部分的條紋提取提供了很好的解決方法。對因物體表面光滑存在高光反射時,采用K均值聚類應用于高光區域的檢測，且提出采用最小偏態法分別對高光區域和非高光區域計算閾值，高光與非高光區域分別用不同的閾值進行分割,獲得較好的條紋分割結果。

[1] Riorx M. Laser range finder based upon synchronized scanners[J]. Applied Optics, 1984, 23(21):3837-3844.

[2] Will P M, Pennington K S. Grid coding: A novel technique for image processing[C]//Proceedings of the IEEE, 1972,60(6):669-680.

[3] Brown C M, Ambler A P, Crawford G F. Forming models of plane-and-cylinder faceted bodies from light stripes[C]//Proceedings of the 4th International Conference on Artificial Intelligence, 1975: 664-668.

[4] 周富強，陳強，張廣軍. 結構光光條提取的混合圖像處理方法[J]. 光電子·激光，2008,19(11):1534-1537.

[5] 胡坤，周富強，張廣軍. 一種快速結構光條紋中心亞像素精度提取方法[J]. 儀器儀表學報，2006,27(10):1326-1329.

[6] 熊會元，宗志堅，陳承鶴．線結構光條紋中心的全分辨率精確提取[J]光學精密工程，2009，17(5)：1057-1062.

[7] 鄭鷺斌, 王曉棟, 嚴菲．一種實時準確的線結構光條紋中心提取方法[J]. 廈門理工學院學報, 2014,22(1):65-69.

[8] 賈衛平, 王邦國. 基于Hessian矩陣的多結構光條紋中心快速提取方法[J]. 大連大學學報, 2014,35(6):34-37.

[9] 秦緒佳, 王慧玲, 杜軼誠,等. HSV色彩空間的Retinex結構光圖像增強算法[J]. 計算機輔助設計與圖形學學報, 2013,25(4):488-493.

[10] 秦緒佳, 徐玲玲, 杜軼誠,等. 方向場和頻率場約束的結構光條紋圖像增強算法[J]. 計算機科學, 2014,41(6):299-303.

[11] 柴玉亭, 王昭, 高建民,等.基于頻域濾波的高光去除方法[J]. 激光與光電子學進展, 2013,50(5):131-139.

[12] Land E H．Recent advances in retinex theory and some implications for cortieal computations：color vision and the natural image[C]//Proceedings of the National Academy of Sciences of USA，1983，80(16)：5163-5169.

[13] Jobson D J，Rahman Z,Woodell G A．Properties and Performance of a Center/Surround Retinex[J]．IEEE Transactions on Image Processing，1997，6(3)：451-462.

[14] Jobson D J, Rahman Z, Woodell G A. A multiscale Retinex for bridging the gap between color images and the human observation of scences[J]. IEEE Transactions on Image Processing, 1997, 6(7):897-1056.

[15] Wolff L B.Using polarization to separate reflection components[C]//Proceedings of the IEEE Computer Vision and Pattern Recognition,1989:363-369.

[16] Nayar S K ,Fang X S, Boult T. Removal of specularities using color and polarization[C]//Proceedings of the IEEE Computer Vision and Pattern Recognition, New York，USA: IEEE Computer Society, 1993:583-590.

[17] Sato Y，IkeucIli K. Temporal color space analysis of reflection[J]．Journal of the optical Society of America A，1994，11(11)：2990-3002．

[18] Shafer S A．Using color to separate reflection components[J]．Color Research Application，1985,10(4)：210-218.

SEGMENTATION METHOD FOR STRUCTURED-LIGHT STRIPE IMAGE

Zhu ZhenDu YichengQin XujiaChen Shennan

(SchoolofComputerScienceandTechnology,ZhejiangUniversityofTechnology,Hangzhou310023,Zhejiang,China)

Segmenting and extracting structured light stripe is the key in 3D reconstruction of structured light vision. In this paper, we present a segmentation method for structured light stripe image. The method first uses multi-scale Retinex algorithm to enhance the details of darkness part of the stripe image, then uses k-means clustering algorithm for detecting the high-light areas of the image. We also proposed an image segmentation technique which is based on minimum bias-normal distribution index, at the constraints of image’s high-light area it calculates two segmentation thresholds for high-light areas and non-high-light areas. Finally, it makes dual thresholds segmentation on processed image and extracts the final segmentation result of stripe images. Experimental results show that this method can effectively deal with the segmentation of structured light stripe image.

Stripe imageMulti-scale RetinexK-means clusteringStriped segmentation

2015-03-31。國家自然科學基金項目(61303140)。朱真，本科生，主研領域：圖像處理。杜軼誠，碩士生。秦緒佳，教授。陳勝男，講師。

TP391

A

10.3969/j.issn.1000-386x.2016.08.046