連鑄坯三維測量多線結構光的中心條紋快速提取

孫傳富， 彭 濤， 陸永剛， 徐 錕， 張之江*

（1.上海大學 特種光纖與光接入網重點實驗室，上海 200444；2.中冶寶鋼技術服務有限公司，上海 201999）

1 引 言

在連鑄坯的生產過程中，由鋼水凝固產生的連鑄坯受到高溫的影響，通常會產生許多表面質量問題，不利于后續的生產加工與處理，因此，需要對連鑄坯邊緣進行倒角來提高連鑄坯的質量。連鑄坯的倒角工序是在連鑄坯的邊緣位置利用火焰吹掃槍切削邊緣，需要一套高精度的測量系統來測量連鑄坯邊緣所在的位置，進而配合執行機構上的火焰清理完成連鑄坯的倒角工序。

近年來，結構光三維測量系統因測量速度快、精度高而得到了廣泛應用[1］。結構光測量方法主要分為面結構光測量與線結構光測量。其中，面結構光測量是利用投影儀將預先編碼的圖案投影到被測物體上，并通過相機記錄包含三維形狀信息的畸變圖案[2］，然后利用相移算法等方式提取相位圖以重建對象的輪廓[3］。線結構光測量系統主要由線結構光發生器以及工業相機組成。基于光學三角法的原理，由線結構光發生器向待測物體表面投射線結構光，線結構光條紋受到待測物體表面輪廓的調制會產生形變。再由工業相機采集線結構光圖像并分析線結構光條紋的形變信息，進而獲得待測物體的三維信息[4］。

在連鑄坯測量現場中，被測連鑄坯尺度較大，單個結構光發生器無法實現高精度測量；且測量環境中存在高溫、粉塵等影響，若選用功耗較大的多個投影設備進行現場測量，難以保證系統的穩定性且成本較高，因此，通常選用功率較低的多個線結構光發生器進行連鑄坯的三維測量。

在線結構光視覺測量中，線結構光條紋中心的提取尤為重要，直接影響最終的測量精度[5］。傳統的線結構光中心條紋提取方法根據提取精度的不同主要分為像素級和亞像素級兩大類。其中，像素級提取方法有極值法[6］、閾值法[7］以及骨架細化法[8］等。這些方法獲得的光條中心精度較低，在高精度視覺測量中應用較少。亞像素級方法包括灰度質心法[9］、Steger算法[10-11］等。其中，灰度質心法是利用圖像中光條分布區域內的灰度信息計算質心并將它作為線結構光的中心，該方法能夠減少條紋灰度分布不對稱引起的誤差且計算速度較快。Steger算法是利用Hessian矩陣計算線結構光條紋的法線方向，將法線方向上的極值點作為最終的線結構光中心。該方法精度高、魯棒性好，但其計算量較大，速度相對較慢[12］。

傳統方法在線結構光中心提取上的速度及精度均有不足。為了提高提取速度及精度，文獻[13］在傳統重心方法上結合輪廓跟蹤算法對圖像中的線結構光部分進行分析，顯著降低了線結構光圖像光條中心計算的復雜度。文獻[14］提出一種自適應閾值的內部推進算法進行光條中心提取，在魯棒性、速度、精度上均具有良好的效果。針對粗糙金屬表面上不符合高斯分布的線結構光中心提取，文獻[15］對粗糙金屬表面的反射特性進行了分析，并根據反射特性設計了一系列的圖像增強與分割方法對線結構光圖像進行預處理，并利用灰度質心法進行光條中心的提取。該方法在圖像預處理上具有良好的效果，但在中心點提取中直接使用傳統灰度質心法精度略有不足。文獻[16］根據金屬表面的不均勻反射特性提出利用區域增長的方式消除激光散斑噪聲的影響，并利用灰度質心法的結果作為初值，結合Sobel算子計算光條的梯度向量，在梯度方向利用雙線性插值的方式得到光條中心的亞像素坐標。該方法計算過程較為復雜，在處理多線結構光條紋時用時較長，不滿足快速測量的需求。

本文提出了一種多線結構光中心條紋提取方法，首先對連鑄坯圖像進行背景差分等處理以獲取線結構光圖像，利用線結構光邊緣定位光條在圖像中的位置并提取感興趣區域（Re?gion of Interest， ROI），以傳統灰度質心方法獲得光條中心點并對該中心點進行優化，最后得到高精度的線結構光條紋的亞像素中心坐標。此方法應用于連鑄坯現場三維測量中取得了良好的效果。

2 圖像分析與處理

2.1 連鑄坯表面反射特性分析

連鑄坯是由鋼水直接澆鑄產生的粗加工工件，其表面平整性較差，且存在顆粒較大的鋼渣等殘留物。當線結構光投射到連鑄坯表面時，表面的不平整使得投射在其表面的激光條紋發生無規則散射。根據粗糙表面反射理論，激光以一定角度入射到粗糙物體表面時，入射光發生散射[15］。該部分的散射分為鏡面反射以及無規則散射，前者遵循幾何光學反射定律；后者則形成光斑狀的散射中心，從中心向兩端延伸的散射光帶，對光條成像的影響較大[15-17］。

連鑄坯三維測量系統在最初的結構設計階段，考慮到現場測量環境以及相機與激光模組的安裝位置條件，以及待測連鑄坯與安裝位置的距離，為保證線結構光投影在對應的相機視場內，投影線結構光以約45°的角度進行安裝。連鑄坯表面線結構光條紋的橫截面并不能滿足標準高斯分布，而是隨入射角度發生偏移[18］，如圖1所示。除此之外，線結構光發生器與投射物體表面對焦不清晰，投射表面不平整性引起反射等情況，導致成像時激光灰度值變化曲線并不具有單峰性，會出現圖1（c）中的陡峭變化。

圖1 激光條紋橫截面灰度統計Fig.1 Gray-scale statistics of laser stripe cross-section

2.2 圖像背景去噪

根據上述分析，相機成像平面上的光強噪聲是由環境背景光、線結構光投影方向以及連鑄坯表面的反射特性等多方面因素疊加產生的。工業現場測量環境中，光線變化較為常見，背景波動較為明顯，所以圖像噪聲較大。連鑄坯三維測量系統中，采集連鑄坯的原始圖像與線結構光投影圖像之間的時間間隔較短，因此認為現場環境光對圖像的影響是不變的[19］。連鑄坯三維測量系統采集的連鑄坯部分圖像如圖2所示。

圖2 連鑄坯圖像Fig.2 Images of casting slab

線結構光中心提取過程中，圖像的有效信息為圖像中線結構光條紋區域的灰度分布，而現場測量中環境光是以噪聲的形式存在。如圖3所示，圖3（a）是不帶有線結構光條紋的連鑄坯灰度曲面，圖像中明顯存在大量的噪聲。圖3（b）圖為帶有線結構光條紋的灰度曲面，將帶有線結構光條紋的圖像與不帶有線結構光條紋的圖像通過背景差分的方式可以有效去除環境噪聲的影響[19］。圖3（c）為通過背景差分處理后的灰度曲面，可以明顯看出在無線結構光條紋分布的區域，圖像噪聲明顯降低。

圖3 連鑄坯灰度曲面Fig.3 Gray scale surfaces of casting slab

背景差分法有效抑制了圖像中的環境噪聲，如圖4所示。圖4（a）為背景差分之后的圖像，可以看出圖像中環境背景噪聲較大程度上受到抑制，線結構光條紋部分的特征保留。圖4（b）為圖4（a）中第4條激光線的片段圖像。圖4（c）和圖4（d）分別對應圖4（b）在兩個光條截面處的灰度統計圖，可以看出，由于連鑄坯表面的不平整性導致結構光無規則散射，光條投影效果依舊較差。需要進一步根據圖像特征分離有效的ROI區域，并通過光條中心提取算法獲取準確的光條中心點。

2.3 光條區域定位

在光條中心提取過程中，為避免隨機噪聲的影響同時加快處理速度，通常只對帶有線結構光條紋的區域進行處理。如圖4（a）所示，圖像包含多條激光線，需要首先區分圖像中的各條激光線，再對單條激光線進行激光中心條紋提取，才能獲得較為精確的激光中心條紋坐標。為獲取多線結構光在圖像中的分布信息，選取圖像中單行的灰度數據進行分析。圖5為圖4（a）經背景差分后第2 560行的灰度統計圖，可以看出，在圖像中的8條線結構光條紋處圖像灰度值變化較為明顯，與背景灰度值間存在較大差異。可根據該特點進行結構光條紋的光條區域定位。

圖4 背景差分法處理后的圖像Fig.4 Image processed by background difference method

圖5 第2 560行灰度值曲線Fig.5 Gray value curves at line 2560th row

為確定單個激光條紋所在的ROI，需要對背景差分得到的圖像進行處理，主要包括高斯模糊和自適應多閾值分割。選用5×5的高斯卷積核與原圖進行卷積，再利用對圖像亮度及對比度具有較強魯棒性的OTSU算法對高斯模糊后的圖像進行閾值分割[20］。閾值分割處理后的圖像根據x方向上其像素值的變化確定激光線所在的大致區域。

根據激光條紋橫截面灰度值呈現突變分布的性質，選取合適的光條紋灰度閾值以確定激光條紋在圖像中的具體位置。在激光線的正常分布區域，取光條橫截面上灰度值大于光條紋灰度閾值的兩個臨界像素點分別對應每條激光線的左右邊緣。并根據激光條紋呈直線分布的特點，選取左右邊緣特征點分別擬合直線，根據兩條直線之間的位置關系便可依次有序分隔定位激光線。具體實現過程如下：

（1） 選取合適的間隔值dis沿圖像的y方向遍歷圖像像素點，若該像素點在x方向上的前一個 像 素 點 灰 度 值I(i-1，n?dis)小 于 激 光 線 低 閾 值l_thre，且下一個像素點灰度值I(i+1，n?dis)大于激光線閾值h_thre，則像素點(i，n?dis)判定為激光線左邊緣點，表示為：

若該像素點在x方向上的上一個像素點的灰度值I(i-1，n?dis)大于激光線閾值h_thre，且下一個像素點灰度值I(i+1，n?dis)小于激光線低閾值l_thre，則判定像素點(i，n?dis)為激光線右邊緣點，表示為：

（2） 由于同一間隔行中連續兩個左右邊緣點定位一條線結構光條紋，則每一行可定位圖像投影線結構光數量線結構光條紋。實際環境中，由于投影結構光在圖像中較弱導致左右邊緣所定位的結構光數量小于圖像投影線的結構光數量，因此，選取定位線結構光條紋數量等于圖像投影線結構光數量的左右邊緣點并利用最小二乘法進行線性回歸擬合直線。將定位激光線數量不等于圖像投影線結構光數量的左右邊緣點分別進行不同的直線匹配，計算邊緣點到直線的歐式距離，以最小歐式距離的直線與邊緣點進行匹配，完成線結構光邊緣匹配，實現光條紋的完整定位。

（3） 單條激光線ROI的確定。根據上一步驟中所確定的單條激光線的左右邊緣點，選取合適的左右邊緣距離進行ROI提取與拼接，實現單條激光線ROI區域提取。

2.4 中心提取

在背景差分的圖像中進行光條區域定位，將多線結構光圖像分割成多個單條激光線的ROI區域。由于連鑄坯表面的復雜反射特性，光條在不同位置處的寬度不均勻。為獲取準確的光條中心亞像素坐標，本文在傳統灰度質心法的基礎上，在光條紋法線方向上，采用自適應灰度閾值結合光條中心點鄰域信息對線結構光條紋中心進行優化，獲得高精度的光條中心。步驟如下：

（1） 利用傳統灰度質心法獲取光條行方向上的中心點；

（2） 根據行方向中心點求解光條梯度方向上的自適應灰度閾值，重新利用該閾值計算光條中心點；

（3） 利用質心方法對中心點進行重提取，獲取高精度的光條亞像素中心點。

2.4.1 傳統灰度質心法

光條中心提取時，首先利用灰度質心方法處理ROI提取出行方向的中心點。灰度質心法是對預處理之后圖像線結構光截面上的多個像素及其灰度信息加權計算求得條紋的亞像素中心，計算公式如下[21］：

其中：Cp(xp，yp)是亞像素中心坐標，I(i，j)是圖像在第i行第j列的像素灰度值，t0表示光條紋閾值。

2.4.2 自適應灰度閾值

在傳統灰度質心方法中，光條紋閾值一定程度上影響了光條中心的計算結果。連鑄坯測量中，當現場環境光較強或是線結構光投影較弱時，背景差分方式獲得的圖像受到現場環境光照的影響，光條紋區域的灰度值較小，使用固定閾值的灰度質心法會導致部分光條中心點的缺失。因此，本文利用自適應灰度質心法的閾值來解決此類問題。

以行方向上的中心點為中心，利用Sobel算子計算一定范圍像素點的梯度方向[22］，并統計梯度方向相同的像素點數量，以數量最多的梯度方向作為光條在該區域內的梯度方向。沿著梯度方向上的像素點作為光條截面的像素點，通過光條截面像素點的灰度積分比例獲取自適應灰度閾值。灰度光條截面上的像素點自適應灰度閾值為：

式中：emp表示灰度積分比例，為經驗值；I(i，j)表示光條截面像素點的灰度值；Ith表示自適應灰度閾值。

在獲得光條截面方向上的自適應灰度閾值后，再通過灰度質心法計算光條的中心點，公式如下：

2.4.3 光條中心重提取

為提高線結構光條紋中心點精度，進一步優化獲得較為平滑的中心條紋點，對由灰度質心法得到的線結構光條紋中心點進行優化。

如圖6所示，在圖像坐標系o-xy內由灰度質心法求出各點的初始結果，Cp(xp，yp)為其中一點。以Cp為中心，rp為距離范圍，選取范圍內共(2rp+1)個點重新計算質心作為優化后的結果值，即有：

圖6 灰度質心法優化原理Fig.6 Optimization principle of gray-gravity method

3 實 驗

3.1 實驗環境

實驗環境為中冶寶鋼連鑄坯清理吹掃工作現場，連鑄坯三維測量系統實物如圖7所示。系統中，工業相機使用大恒水星ME2P-2621-15U3M相機，相機分辨率為5 120×5 120 pixel，像素物理尺寸為2.5 μm×2.5 μm；相機所裝配的鏡頭為LM12FC24M型號的Kowa鏡頭，焦距為12 mm。激光器是由深圳森泰達公司生產的KYL650N200-X1670單線激光器，其功率為50 mW，波長為650 nm，激光光源距離待測連鑄坯約1.7 m。

圖7 連鑄坯三維測量系統現場Fig.7 Scene of three-dimensional measurement system for casting slab

3.2 圖像ROI提取與自適應閾值

為了測試本文所提出的ROI提取方法的有效性，實驗中使用圖4（a）背景差分圖像對連鑄坯表面的線結構光進行ROI提取。根據大量現場采集圖像得到的經驗性數據，間隔值dis取10，激光線低閾值l_thre取10，高閾值h_thre取30。經過圖像背景差分后，根據該閾值對亮條紋以及暗條紋均可以快速定位出連鑄坯表面線結構光條紋的位置。最終提取效果如圖8所示，對差分圖像中的8條激光線自左到右依次提取片段。所獲得的線結構光ROI片段均能完整地定位出線結構光在圖像中的準確位置。

圖8 線結構光ROI提取片段圖像Fig.8 Image of ROI extraction fragment of line-struc?tured light

在單線結構光條紋ROI內進行自適應閾值計算，選取灰度積分比例emp為0.7。設置自適應閾值的初值為0，并設定一個較小的步長進行迭代求解，當灰度積分比例大于等于經驗值時，則可求得自適應閾值。所得到的自適應灰度閾值效果如圖9所示。從圖9可以明顯觀察到，自適應閾值可以準確地根據圖像像素灰度值分離光條與圖像背景，抑制背景中散斑噪聲的影響。

圖9 自適應灰度閾值Fig.9 Adaptive gray threshold

3.3 光條中心線提取魯棒性測試

為了證明本文所提出的光條提取方法的魯棒性，采用不同方法與本文方法進行比較，得到的誤差對比如圖10所示。其中，Steger方法、GGM方法以及本文提出的方法得到的是亞像素級別的光條中心坐標，極值法與幾何中心法得到的是像素級別的中心點坐標。如表1所示，極值法與幾何中心法的像素中心點標準差明顯高于其他3種亞像素中心提取方法。亞像素提取方法中，傳統灰度質心法提取出的光條中心點標準差高于本文所提出的方法與Steger方法。本文提出的方法以及Steger方法處理連鑄坯表面激光條紋得到的光條紋中心點的平均像素值與標準差較為接近，均可獲得平滑性良好的光條中心點。

表1 不同光條中心提取方法的提取誤差Tab.1 Extraction errors of different strip center extrac?tion methods （pixel）

圖10 不同光條中心提取方法的誤差對比Fig.10 Comparison of extraction errors of different stripe center extraction methods

進一步將本文所提出的方法應用于連鑄坯三維測量系統所采集的其他圖像中，無論在光條光強較弱還是光條過曝的情況下，本文所提出的方法均可以提取到精度高且較為平滑的條紋中心點，如圖11所示，進一步驗證了本文方法的魯棒性。

圖11 不同亮度激光線的提取結果Fig.11 Extraction results of different laser lines with dif?ferent brightnesses

3.4 光條中心線提取速度測試

在速度測試實驗中，用于圖像處理的計算機的CPU型號為Intel i5-1135G7 2.40 GHz，RAM為16 G。軟件環境為Visual Studio 2015。對實驗使用現場所采集到的7組不同連鑄坯圖像進行測試，其中圖像的尺寸為5 120×5 120 pixel。對于每組圖像，使用傳統灰度質心法、Steger方法以及本文提出的方法提取圖像中完整的8個光條的中心條紋。其中，本文方法的rp值取5。

在程序計算的復雜度上，傳統灰度質心法的計算過程最為簡單，本文方法是基于灰度質心法結果的優化，因此運行時間比傳統灰度質心法更長；而Steger方法在計算過程中涉及到高斯核與圖像中每個像素的卷積過程，因此運行速度最慢。所測試的數據在不同方法下光條中心點提取算法的運行時長如表2所示。其中，GGM方法與本文方法利用8個線程對分離出的單個光條圖像進行同步處理。從表2可以看出，實際算法運行過程中灰度質心法算法的運行時長明顯低于其他兩種方法，Steger方法速度最慢，本文提出的方法居中。本文方法的單組圖像平均處理時長約為300 ms，運行時長為傳統灰度質心法的3倍左右，顯著低于Steger方法，滿足連鑄坯三維測量系統的應用需求。

表2 光條中心點提取運行時長Tab.2 Running time of light bar center point extraction（ms）

3.5 現場應用

為驗證本文提出方法在工業測量現場應用中的可靠性，采用多線結構光中心提取算法結合搭建的連鑄坯三維測量系統對現場長約11 m的連鑄坯進行了三維測量。

連鑄坯三維測量系統中共有7臺線性排列的工業相機，除1，2號相機外，相鄰兩臺工業相機之間視場相切。7臺相機共采集視場內54條線結構光的圖像，對投射到連鑄坯表面的線結構光進行三維重建獲取連鑄坯上下邊緣位置的三維點坐標，進而配合現場的控制火焰吹掃槍執行機構完成連鑄坯的倒角工序。

連鑄坯三維測量系統中，相機標定方法采用單目標定[23］算法得到相機內參，再通過公共視場的雙目標定方法，得到多個相機間的外參矩陣。完成相機坐標系間的坐標轉換，使其可統一到同一坐標系下。其中，相機單目標定的重投影誤差約為0.005 pixel，雙目標定的重投影誤差約為0.1 pixel。光平面標定方法是利用交比不變法獲取激光器發射的光平面在相機坐標系下的三維平面方程[24］，光平面的標定誤差約為0.003 mm。

在獲得圖像上的光斑中心的二維像素坐標后，可通過相機內參獲得在相機坐標系下的一條射線，與光平面相交，聯立方程求解得到唯一點，即為所求的三維點坐標。圖12（a）為7臺工業相機采集到的完整連鑄坯圖像。以圖12（a）中4號相機為例，部分光條中心提取效果如圖12（b）所示。將7臺工業相機視場內的線結構光三維測量結果統一至1號相機坐標系下，形成的三維點云如圖12（c）所示。

表3為連鑄坯三維測量系統測得的圖12（a）中連鑄坯表面線結構光上下邊緣在上下兩個執行機構坐標系下的部分三維坐標。根據最終測量結果中標準偏差進行系統性能評估，對上下邊緣三維坐標數據中x坐標進行線性回歸擬合直線，并計算標準偏差。最終測得標準偏差在2 mm以內，滿足工業測量現場連鑄坯三維坐標的測量要求。

表3 連鑄坯上下邊緣點三維測量結果Tab.3 Three dimensional measurement results of upper and lower edge points of casting slab （mm）

圖12 連鑄坯表面線結構光及點云圖Fig.12 Line-structured light on surface of casting slab and its three-dimensional reconstruction

4 結 論

針對連鑄坯表面不平整特性導致的投影線結構光不規則散射等問題，本文提出了一種對連鑄坯表面圖像處理及多線結構光中心條紋提取的方法。通過分析背景差分后圖像的灰度特性，可以準確提取線結構光條紋在圖像中的位置，并利用自適應閾值法獲取完整的線結構光條紋的ROI。在光條中心提取中，該方法相較于傳統的灰度質心法，獲得的條紋亞像素坐標更為準確，且速度相較于Steger算法更快。本文方法在傳統灰度質心法上進行改進，對連鑄坯三維測量系統圖像中心的提取效果較好，能夠提取到亞像素光條紋中心點，最終測量結果的標準偏差在2 mm以內，適用于連鑄坯的三維現場測量。