基于信度評(píng)估的線結(jié)構(gòu)光多重曝光條紋提取

李佐超,郭 威,景春暉,張代聰,馬訓(xùn)鳴

(西安工程大學(xué)機(jī)電工程學(xué)院,陜西 西安 710600)

0 引言

隨著計(jì)算機(jī)視覺與光電技術(shù)的迅速發(fā)展,基于機(jī)器視覺的檢測(cè)技術(shù)得到檢測(cè)行業(yè)的高度重視。其中,線結(jié)構(gòu)光[1]主動(dòng)視覺測(cè)量技術(shù)以其測(cè)量精度高、抗環(huán)境干擾能力強(qiáng)的優(yōu)勢(shì),在缺陷檢測(cè)[2]、目標(biāo)定位[3]、逆向工程[4]等眾多領(lǐng)域得到了廣泛應(yīng)用。結(jié)構(gòu)光測(cè)量系統(tǒng)的精度受到設(shè)備標(biāo)定、傳感器性能環(huán)境光等眾多因素的影響,尤其是面對(duì)表面反光特性復(fù)雜的被測(cè)物體時(shí),如何獲取可靠的光條圖像,對(duì)于保證測(cè)量精度具有重要意義。為了提升條紋圖像的質(zhì)量,國內(nèi)外學(xué)者針對(duì)結(jié)構(gòu)光測(cè)量系統(tǒng)的不同環(huán)節(jié)開展了深入研究。文獻(xiàn)[5]提出了1種實(shí)時(shí)曝光調(diào)節(jié)技術(shù),以獲取穩(wěn)定的灰度圖像。文獻(xiàn)[6]研究了圖像傳感器的參數(shù)標(biāo)定對(duì)測(cè)量精度的影響。文獻(xiàn)[7]研究了直方圖的自適應(yīng)曝光控制方法,以提高測(cè)量精度。文獻(xiàn)[8]通過分析曝光時(shí)間與條紋信度評(píng)估結(jié)果,獲得最優(yōu)曝光時(shí)間。文獻(xiàn)[9]通過連通域分析,實(shí)現(xiàn)圖像感興趣區(qū)域(region of interest,ROI)的提取及濾噪。文獻(xiàn)[10]提出了1種基于自適應(yīng)窗口的灰度中心法,解決了條紋圖像受光照變化與噪聲干擾的問題。但在上述各項(xiàng)研究中,參數(shù)標(biāo)定研究不能解決被測(cè)物體表面反光特性的復(fù)雜性問題,且自適應(yīng)曝光控制以及圖像預(yù)處理等方法對(duì)受欠曝光與過曝光雙重影響的測(cè)量場(chǎng)景適應(yīng)性較差。文獻(xiàn)[11]提出以光條截面所具有的能量和作為條紋可信度評(píng)估依據(jù)。能量越高,即條紋存在的可信度越高。但這種方法存在的問題是過曝光下條紋的信度值較高,會(huì)導(dǎo)致條紋灰度過飽和;同時(shí),伴隨干擾條紋與散斑的產(chǎn)生,所以實(shí)際條紋可靠性較低。

本文結(jié)合文獻(xiàn)[11]的可信度評(píng)估方法,在改進(jìn)的條紋信度評(píng)估基礎(chǔ)上,實(shí)現(xiàn)了1種通用型的多重曝光條紋提取法。

1 條紋信度評(píng)估數(shù)學(xué)模型

單線結(jié)構(gòu)光三維測(cè)量利用三角測(cè)量原理,通過相機(jī)、激光發(fā)生器、被測(cè)物體的空間三角位置來計(jì)算光條中心位置的三維坐標(biāo),以達(dá)到獲取物體表面三維數(shù)據(jù)的目的。

條紋截面的灰度分布直接影響條紋中心提取的準(zhǔn)確性。在固定拍攝角度下,被掃描工件表面各處的反光程度不同,實(shí)際的條紋圖像中往往存在多種低可信度的條紋圖。低可信度條紋灰度圖像如圖1所示。

圖1 低可信度條紋灰度圖像Fig.1 Low confidence striped gray scale images

根據(jù)條紋的能量水平和截面寬度可將其分為2類,分別為欠曝光條紋和過曝光條紋。欠曝光條紋處可能存在輪廓線,但截面能量密度處于低水平,灰度分布不均勻,一般認(rèn)為可信度較低。過曝光條紋處存在輪廓線,但條紋截面灰度過飽和且產(chǎn)生的散斑使條紋干擾嚴(yán)重,條紋寬度已超過正常范圍。

根據(jù)上述分析可知,可靠的結(jié)構(gòu)光條紋應(yīng)該具有2個(gè)特征。

①能量特征,即達(dá)到一定的能量水平,避免重建圖像中出現(xiàn)欠曝光條紋。

②合理?xiàng)l紋寬度特征,即防止過曝光下產(chǎn)生高能量但低可信度的條紋。

由此,本文選定條紋能量密度與寬度作為條紋可信度水平的評(píng)估依據(jù)。

單線結(jié)構(gòu)光圖像采集過程中,需盡量使條紋法向在圖像中水平分布,即條紋法向橫截面垂直分布。在此前提下,光條圖像上任意1列的能量密度計(jì)算方法如下。

①條紋截面寬度估計(jì)。

在M行N列的光條圖像f中,對(duì)于其中任意1列x,以某種方法得到條紋中心點(diǎn)的縱坐標(biāo)yC。中心處灰度值為Pmax,結(jié)構(gòu)光條紋邊緣最小灰度值為Pmin≤50%。以yC為中心向光帶兩端搜索首個(gè)Pmin值的像素點(diǎn)a和b,則a、b分別為條紋兩端邊界像素。其中像素個(gè)數(shù)wx被定義為條紋寬度。

②環(huán)境噪聲與基底噪聲。

由于環(huán)境光線及電荷耦合器件(charge conpled device,CCD)熱噪聲的影響,實(shí)際光條圖像中必然具有一定的噪聲,從而影響能量計(jì)算的準(zhǔn)確性。本文從條紋兩端a、b分別向外延伸w個(gè)像素,以其灰度累計(jì)作為條紋總噪聲。圖像f中單個(gè)像素灰度值為f(xi,yi),則第x列的條紋總噪聲為:

(1)

式中:Nx為第x列像素的總噪聲;wx為第x列像素的條紋截面寬度;yj為第x列像素的條紋截面像素的橫坐標(biāo)。

③光條截面能量和。

條紋截面能量即條紋截面寬度范圍內(nèi)像素的灰度值之和。圖像中第x列像素的能量可表示為:

(2)

式中:Ex為條紋截面能量累計(jì)和;ya、yb為條紋截面邊界像素橫坐標(biāo)。

④光條能量密度及歸一化處理。

條紋能量密度即條紋截面寬度范圍內(nèi)灰度值之和與截面像素寬度的比值。本文以最大像素值進(jìn)行歸一化處理。第x列的能量密度可表示為:

(3)

式中:Rx為第x列像素的歸一化能量密度;Dmax=255。

根據(jù)上述計(jì)算方法,本文以圖1中的條紋圖像為例,分別標(biāo)記出4種不同灰度分布狀態(tài)的條紋區(qū)域。其各包含50列像素。待評(píng)估條紋區(qū)域如圖2所示。

圖2 待評(píng)估條紋區(qū)域Fig.2 Striped areas to be assessed

區(qū)域①中的條紋形態(tài)較好,具有較高的可信度,故將此處條紋作為其他條紋的參照。區(qū)域②為過曝光區(qū)域。區(qū)域③為欠曝光區(qū)域。區(qū)域④中灰度分布較為正常。 本文將圖2中4種不同灰度分布狀態(tài)的條紋區(qū)域分別輸入信度評(píng)估體系,得到不同條紋區(qū)域能量密度和寬度分布圖。不同條紋區(qū)域能量密度分布如圖3所示。

圖3 不同條紋區(qū)域能量密度分布圖Fig.3 Distribution of energy density in different stripe regions

圖2中區(qū)域②由于過曝光導(dǎo)致條紋灰度值飽和,并且在條紋周圍產(chǎn)生了散斑。此處條紋的實(shí)際可信度較低,但處于過曝光下的條紋具有較高的能量水平。圖3中的過曝光條紋曲線相應(yīng)體現(xiàn)了這一狀況。由此可知,僅通過能量密度評(píng)估指標(biāo)不容易區(qū)分過曝光與形態(tài)較好的條紋。

對(duì)于圖2中區(qū)域③,即處于欠曝光狀態(tài)下的條紋,條紋灰度值和可信度均較低。圖3中對(duì)應(yīng)的欠曝光條紋曲線也驗(yàn)證了這一情況。

對(duì)于圖2中區(qū)域④,從圖3的條紋圖像中可以直觀看出此時(shí)的條紋形態(tài)較好。其在圖3中所對(duì)應(yīng)的正常條紋曲線與參照條紋的能量密度曲線最接近。

不同條紋區(qū)域?qū)挾确植既鐖D4所示。

圖4 不同條紋區(qū)域?qū)挾确植紙DFig.4 Width distribution of different stripe areas

由圖3可知,能量密度可以有效識(shí)別條紋圖中曝光不足區(qū)域,但存在明顯的不足,即能量密度在過曝光區(qū)域同樣表現(xiàn)出較高的值。為了解決這一問題,本文增加了條紋截面寬度參數(shù)來標(biāo)記過曝光區(qū)域。在圖4中直觀體現(xiàn)出:參照條紋與正常條紋的寬度基本位于5～6個(gè)像素、過曝光區(qū)域的條紋寬度基本在7個(gè)以上像素。顯然,條紋寬度與條紋灰度分布的可信度同樣具有非常直接的聯(lián)系。

由此可知,基于條紋能量密度與寬度雙參數(shù)對(duì)條紋截面灰度分布信度進(jìn)行評(píng)估的方法符合實(shí)際情況。

2 雙參數(shù)多重曝光條紋拼接

基于上述分析,本文設(shè)計(jì)了1種適用于單線結(jié)構(gòu)光可信條紋提取的多重曝光法。

(1)設(shè)定區(qū)域標(biāo)記原則。

本文設(shè)定能量密度為條紋下限參數(shù),將條紋截面寬度設(shè)定為截面上限參數(shù),以此標(biāo)記適用于測(cè)量的可信條紋。本文將圖像輸入信度評(píng)估體系,以輸出圖像評(píng)估結(jié)果。條紋圖像中:滿足評(píng)估標(biāo)準(zhǔn)的像素列標(biāo)記為“可信條紋”,其列號(hào)統(tǒng)計(jì)為集合Q;不滿足評(píng)估標(biāo)準(zhǔn)的像素列標(biāo)記為“不可信條紋”,其列號(hào)統(tǒng)計(jì)為集合U。

(2)設(shè)定曝光時(shí)間控制參數(shù)。

①條紋可信度閾值(能量密度Rt、條紋截面寬度Wt)。

②首次曝光時(shí)間t0。t0可以設(shè)定為0 ms,或者使得表面反光最強(qiáng)處條紋特征處于設(shè)定的信度閾值范圍內(nèi)。

③曝光時(shí)間調(diào)節(jié)單位步長(zhǎng)Δt、步長(zhǎng)系數(shù)λ。掃描反光特性復(fù)雜的表面時(shí),曝光量往往與條紋灰度呈現(xiàn)非線性關(guān)系。通過設(shè)置步長(zhǎng)系數(shù)實(shí)現(xiàn)可調(diào)步長(zhǎng)。λ值由上一次曝光中可信條紋集合中素列增量ε確定。

ε定義為:

ε=Cn-Cn-1

(4)

式中:Cn為第n次曝光融合后圖像中的可信條紋計(jì)數(shù)。

λ定義為:

(5)

④拍攝停止標(biāo)志。圖像中可信條紋所包含的序列占整幅圖像序列的比例為k。k的設(shè)定用于判斷拍攝是否停止,以及保證重建條紋圖像的全局可信度。

(3)條紋圖像重建。

本文創(chuàng)建M行N列的圖像序列It作為模板圖像,存儲(chǔ)可用于測(cè)量的條紋序列。相機(jī)采集到的條紋圖像序列儲(chǔ)存在It中。每次曝光后標(biāo)記圖像中的可信條紋序列,將其替換到模板圖像IT中對(duì)應(yīng)位置,并進(jìn)行圖像信度評(píng)估。替換式為:

IT(x,yj)=It(x,yj),x∈Qn且x∈Un-1

(6)

式中:Qn為第n次曝光圖像的可信條紋集合;Un-1為第(n-1)次曝光重建后模板圖像中的不可信條紋集合。

對(duì)于已經(jīng)替換到模板中的合格像素列,其將一直保留在模板圖像中,不再更新。每次曝光后隨即進(jìn)行圖像評(píng)估與重建,直到模板圖像中的k達(dá)到設(shè)定閾值,則圖像采集結(jié)束。多重曝光流程如圖5所示。

圖5 多重曝光流程圖Fig.5 Multiple exposure flowchart

圖像重建原則如圖6所示。

圖 6 圖像重建原則Fig.6 Principles of image reconstruction

3 試驗(yàn)與分析

為驗(yàn)證所提方法的可靠性,本文搭建了單線結(jié)構(gòu)光測(cè)量平臺(tái),被測(cè)物體需要具備反射特性復(fù)雜的表面。由于使用后的鐵軌同時(shí)存在銹蝕、摩擦高亮等不同表面狀態(tài),故將其選為被測(cè)對(duì)象。試驗(yàn)中采用了自行設(shè)計(jì)的線激光3D相機(jī)。CCD圖像傳感器為30萬像素。線激光發(fā)生器波長(zhǎng)為45 mW、線寬為0.15 mm。

針對(duì)鐵軌段固定位置,本文分別采用雙參數(shù)信度多重曝光法、能量信度法[11]多重曝光、傳統(tǒng)最優(yōu)曝光法提取條紋圖像。通過試驗(yàn)分析可知:曝光在2.0 ms時(shí),過曝光區(qū)域的條紋達(dá)到單次曝光下質(zhì)量最優(yōu);曝光在10 ms時(shí),條紋達(dá)到單次曝光下最優(yōu)。雙參數(shù)信度多重曝光、單次最優(yōu)曝光10.0 ms與能量信度多重曝光效果對(duì)比如圖7所示。

圖7 效果對(duì)比Fig.7 Effect comparison

鐵軌表面反射強(qiáng)度變化復(fù)雜,同時(shí)存在銹蝕、摩擦、高亮等不同表面狀態(tài)。試驗(yàn)中通過在鐵軌表面使用3D掃描顯影劑獲取理想條紋,使用灰度重心法分別提取不同方法所獲取條紋的中心位置,并分別計(jì)算雙參數(shù)信度重建、能量信度重建、單次最優(yōu)曝光與理想條紋中心的偏移距離,以此作為條紋中心誤差。試驗(yàn)以誤差數(shù)據(jù)的均值與方差來表征曲線的精度。均值代表測(cè)量所得的中心曲線與理想曲線的接近程度、方差代表測(cè)量所得曲線的穩(wěn)定性。

不同條紋提取方法的誤差均值與方差如表1所示。

表1 不同條紋提取方法的誤差均值與方差Tab.1 Error mean and variance of different stripe extraction methods

由表1中均值與方差數(shù)據(jù)對(duì)比可知,相對(duì)于單次曝光條紋,通過基于信度評(píng)估的多重曝光法所提取的條紋,其中心曲線的精度與穩(wěn)定性都得到了顯著提升。

4 結(jié)論

針對(duì)單線結(jié)構(gòu)光條紋輪廓條紋提取時(shí),復(fù)雜反射特性表面受到欠曝光與過曝光雙重影響的問題,本文提出了1種基于信度評(píng)估的線結(jié)構(gòu)光多重曝光條紋提取方法。基于對(duì)條紋的能量密度與寬度模型的分析,本文建立條紋可信度評(píng)估標(biāo)準(zhǔn)。在多重曝光下,依據(jù)此評(píng)估標(biāo)準(zhǔn),本文提取各幀圖像中的可信條紋序列,并重建為全局可靠的條紋圖像。本文利用所提方法進(jìn)行了對(duì)比試驗(yàn)。由試驗(yàn)數(shù)據(jù)可知,在使用相同的條紋中心計(jì)算方法時(shí),相對(duì)于能量信度方法與傳統(tǒng)的最優(yōu)曝光法,所提條紋提取方法的誤差均值分別降低了0.17與0.45個(gè)像素,其方差對(duì)應(yīng)降低了0.17與0.07。試驗(yàn)結(jié)果表明,所提方法有效解決了過曝光與欠曝光雙重影響下條紋圖像信度不足的問題,保證了最終光條紋圖像的全局可靠性,有效提升了條紋中心計(jì)算的精度與穩(wěn)定性。