基于幀間灰度變化分析的在線光源位置計算

申屠理鋒,奚嘉奇

(寶山鋼鐵股份有限公司研究院,上海 201900) (*通信作者電子郵箱shtulf@baosteel.com)

基于幀間灰度變化分析的在線光源位置計算

申屠理鋒*,奚嘉奇

(寶山鋼鐵股份有限公司研究院,上海 201900) (*通信作者電子郵箱shtulf@baosteel.com)

針對機器視覺系統在實際生產中光源位置無法事先確定的問題,提出一種基于幀間特征區域灰度形態分析的在線光源位置計算方法。首先基于灰度分布來確定一特征區域作為參考點,然后運用塊匹配算法確定相鄰兩幀中特征區域的位置變化,之后結合光照模型建立灰度和幾何位置之間的關系,運用線性回歸對聯立方程組進行求解,最后得到光源位置。實驗結果表明:光源位置的計算結果與實際所測的距離相比,誤差在5%之內。所提算法已被應用于實際生產,具有較好的計算精度和實時性。

幀間;灰度;光源;位置計算

0 引言

在鋼鐵制造業中表面缺陷檢測是質量控制的一個重要環節,這一工作大都由人工操作完成,隨著圖像技術的發展,許多基于機器視覺技術的系統被集成到生產線來輔助或替代人工作業,而表面缺陷檢測算法是這類系統的最核心部分。目前主要包括三類算法[1]:基于線性及非線性濾波、基于空域-頻域的變換及重構、基于機器學習的特征提取和分類。在基于濾波的算法中,首先需根據缺陷形態確定濾波算子,常用的算子有Laplacian和Gabor,然后調節算子參數來實現缺陷特征的提取[2-3]。由于參數的調節往往對光照環境的變化較為敏感,因此這類算法的魯棒性有所欠缺。為了克服這一缺點,文獻[4]提出了一種基于雙光源調節的識別方法。在光照條件給定的情況下,通過光源的切換來消除非均勻光照的影響,之后通過設計有限脈沖濾波器來進行缺陷定位。在基于空域-頻域變化的這類方法中,首先需依據缺陷及光照的特點選擇核函數,然后通過優化重構系數來實現前景和背景的分離[5-6]。由于增加了參數的空域維度,所以與濾波算法相比,其魯棒性有一定改善。近些年也出現了許多基于機器學習的方法,包括運用非監督分類和卷積神經網絡進行缺陷檢測[7-9]。其主要優勢在于通過對樣本的自學習,可自適應地辨認缺陷的特點和光影的影響而無需人工干預。其難點則在于樣本的選擇、訓練的次序及算法的收斂速度。

可以看出,這些算法都在一定程度上實現了對圖像中缺陷的自動檢測和識別功能,但對于如何克服光照環境變化帶來的影響,還缺乏有效的方法。文獻[10]提出了一種基于成像過程分析的算法,通過對坯料表面光照分布的計算,有效去除了非均勻光照的影響,之后根據特征分類來識別缺陷。然而在這一算法的實施過程中,需要事先知道光源所在的位置,在部分特殊工況下,這一信息是很難獲得的,同時很多生產過程中,光源相對于工件表面的距離和位置是不斷變化的,因此一定程度上限制了該算法的應用領域。為此,本文提出了一種在線光源位置計算的方法來改進這一不足。通過比對多幀連續圖像特征區域的像素信息變化,并結合光照模型分析,便可以準確地計算出光源相對于圓坯所在的位置。從實驗結果來看,誤差控制在5%之內,包括水平誤差和垂直誤差兩部分。將這一算法與文獻[10]算法相結合,便可以進一步增強算法的通用性。同時由于本文算法在計算時采用了累計迭代的表示方式,使得整體處理時間嚴格控制在5 s內,因此保留了原算法的實時性。

1 在線光源位置計算算法

本文算法的基本思路是,首先找到一幀圖像中的特征區域,即灰度發生陡變的區域。為了保證特征區域能在連續多幀圖像中被穩定地辨識,要求灰度變化大于等于50%，同時所占的大小為100個像素點。就圓坯圖像而言,典型的特征區域可以是表面缺陷處或者是氧化鱗屑覆蓋的地方。在確定了特征區域之后,接下來便要跟蹤這一區域在連續幾幀圖像中位置的變化情況(軌跡),考慮到速度及魯棒性,本文采用的是基于塊匹配的算法。在得到了位置信息之后,利用特征區域在不同位置點灰度的整體性變化趨勢,并結合光照模型的理論計算,來推算出光源所在的位置。從計算結果來看,它非常接近實測距離。

圖1 特征區域示意圖

1.1 特征區域運動計算

對于剛體運動而言,由于其局部和整體的運動狀態具有一一對應關系,而且可以由平移和旋轉矢量完全描述,因此特征區域跟蹤這一問題等價于運動計算。對于這一類問題的求解,通常有兩類算法。第一類是基于相關性的算法[11],另一類則是基于特征的算法[12]。對于當前的問題,考慮到物體在幀間的運動距離較小,而且光強分布呈連續性變化,基于塊匹配的算法較為合適。

首先根據特征區域的形態來確定塊的大小,如圖1(a)所示,然后需要確定在下一幀圖像中的搜索區域的大小,在此不妨將其設為以參考點p0為圓心,半徑為R的圓,其中R的值可通過對物體實際運動速度的測算而得到。在這一區域中,本文采用菱形算法進行搜索[13]，目標是在這一搜索區域中找到與參考點相匹配的塊,即對應的位置p1。圖1(b)表示了這一關系,其中p0的位置用虛線表示以區分。為了定量的反映匹配程度,引入了匹配度函數,表達式如下:

(1)

其中M為塊的大小。Corr是對塊內的每一個像素點作差求平方后的累加和，其值越小則匹配度越好。

1.2 光源位置計算

一般而言,由于光強的變化,特征區域的像素值在不同幀中會有一定差異,而且這一差異往往具有趨勢性,主要依據光源和相機的位置而變化。接下來將利用這種差異來推算出光源的位置。在此之前,將先簡單介紹一下光照模型。在一般成像過程中,光線到達物體表面后,一部分被物體吸收,另一部分則通過反射到達相機鏡面,其中反射的光線又包括漫反射和鏡面反射兩部分。這里主要討論漫反射部分。根據朗伯余弦定理[14],漫反射的入射光強與反射光強有如下關系：

(2)

其中:L是入射光強;f是反射光強;r是光源與被測物體間的距離;k是漫反射系數;ui和vi分別是物體表面pi處的法向量和入射向量。

為了便于接下來的討論,考慮如圖2所示的測量情形。一面光源以一定角度對著被測物體,一CCD相機在另一側進行圖像采集,在被測物體上擬跟蹤的特征區域位于物平面S。在檢測過程中,特征區域(以圓斑表示)隨著物體的運動而運動,形成了一系列軌跡p0、p1、p2等。pi為其在ti時刻的所處的位置。特別地,相鄰兩點pi和pi-1具有以下關系:

pi=pi-1+di;i≥1

(3)

其中:di即為上一步所得到的運動矢量。本文約定t0時刻所在的位置為參考原點,即p0=0并建立直角坐標系。我們希望得到光源相在此坐標系中的位置,即(xs,ys,H)。xs和ys為光源在物平面的投影,H為到物平面的垂直距離。為了實現這一目的,先考察光強在不同位置的分布情況。如果將特征點在ti時刻的位置pi代入式(2),將得到：

(4)

其中：θi為pi處法向量ui和入射向量vi所成的夾角。

假定它們處于同一平面,因此將pi展開成(xs,ys)的形式。對此作進一步簡化,可以得到

(5)

為了更清晰地描述ti時刻和t0時刻光強的相對關系,將兩者的值作比可以得到：

(6)

式(6)的左邊即為相對變化量,對此式進行化簡,并將(fi/f0)開1.5次方后記作αi,0,可以得到

(1-αi,0)(H2+xs2+ys2)=xi2+yi2-2xsxi-2ysyi

(7)

對軌跡上所有的點依次作這般處理,可以得到一組表達式,共計n個式子：

(8)

可以發現表達式(8)的左邊都有著類似的結構,公共因子為H2+xs2+ys2,因此如果兩兩作比,可以得到以下n-1個式子:

(9)

由于xi和yi為pi的分量,而pi又可以由di來表示,因此均為已知量。所以此方程組為線性方程組,利用簡單的線性回歸方法,便可求得關于xs和ys的解。將所得的解代入式子中,可求得H,至此光源的位置便確定了下來。

圖2 特征區域運動軌跡示意圖

1.3 整體表達式

對以上兩個步驟作適當整理,便可以得到完整的算法流程如圖3所示。

圖3 本文算法流程

首先,在第一幀中確定擬跟蹤的特征區域以及它所在的位置(x0,y0)。對于此后采集到的每一幀,將其與前一幀作比較,通過塊匹配算法來得到特征區域的位移矢量di,并以第1幀為參考計算特征區域的相對灰度比αi,0,然后將其分別代入關系式(9)的兩邊。以此類推,當得到了n-1組表達式之后,便可以運用線性回歸對其求解,最終得到光源的位置。由于在一般工業檢測環境中,光源位置一般固定,因此算法只需在初始化中作一下自動糾正即可,并不需要每步執行。

2 實驗與結果

本文所提出的方法已成功應用于鋼廠圓鋼磁粉探傷表面缺陷檢測系統中。磁探是鋼鐵制造業中一種常用的表面檢測手段,其基本原理利用的是漏磁檢測技術,被測工件被磁化后,工件缺陷處的磁力線會發生局部畸變而產生漏磁場,當磁懸液噴灑在工件上后,漏磁場會吸附更多磁粉,其將會輻射更多光能,從而顯示出缺陷的位置、形狀和大小。

下面將用一組實驗數據來驗證本文算法的實際計算精度。實驗工序如圖4所示。

圖4 實驗工序示意圖

圓坯在一組電機的驅動下呈螺旋運動,經過磁化以及噴灑磁懸液后,來到檢測區域。在區域的兩側置有兩盞紫外燈,以一定的角度照射著坯料表面,在坯料的正上方安裝了一臺高速相機,其采集的圖像通過以太網傳至機柜內的工控機,后者在對圖像進行分析處理后將最終結果顯示于顯示屏。為了保證清晰成像,盡量避免因坯料運動造成的拖影,根據實際生產現場的工況條件,選用焦距為24 mm的工業相機,結合坯料與相機的相對運動速度設定相機曝光時間為25 ms,采樣幀率設定為12.5 Hz。

首先需要確定待跟蹤的特征區域及其位置。在此,選擇了一表面鱗屑區作為跟蹤對象,并用方框標記了其所在的位置，如圖5(a)所示。圖5(b)和(c)是之后采集的第5幀和第10幀的圖片,幀間隔為80 ms,可以看出特征區域從左上角移動到了右下角,同樣用框標記其位置。

圖5 幀間圖像序列

圖6顯示的是特征區域在這3幀圖像中的灰度形態,可以發現盡管存著局部的灰度差異,但整體形態分布非常相似,因此利用塊匹配算法,將很容易對其進行識別,經計算平均匹配度大于95%。有了位移矢量之后,接下來便可利用幀間存在的局部明暗變化來計算光源所在的位置。在對連續10幀圖像進行計算后,最終光源的位置穩定在0.75 m附近,與實際所測的距離相比,誤差在5%之內。由于運用了迭代求解的方式,一次計算時間僅為5 s。按照這一方法又對不同規格的坯料下進行了25組實驗,具體運行結果如表1所示,可以看出其能較好地適應不同工況環境。

圖6 特征區域灰度形態分布

表1 本文算法運行結果

3 結語

為了解決機器視覺系統在實際生產中光源位置無法確定的問題,本文提出了一種在線光源位置計算的方法。通過比較連續多幀圖像中特征區域的灰度明暗變化情況,并結合光照模型的理論計算,可以建立灰度與幾何位置之間的關系,之后利用線性回歸的方法可高效地求解出光源位置。本文算法已被應用于鋼廠圓坯磁粉探傷現場自動缺陷識別系統中,用于計算光源位置。實驗結果表明:光源位置的計算結果與實際所測的距離相比,誤差在5%之內。其速度和計算精度已得到驗證,完全滿足一般工業實際生產中圖像測量系統對光源位置的需求。

References)

[1] NEOGI N, MOHANTA D K, DUTTA P K. Review of vision-based steel surface inspection systems [J]. EURASIP Journal on Image and Video Processing, 2014, 2014: 50.

[2] YUN J P, CHOI S, KIM J W, et al. Automatic detection of cracks in raw steel block using Gabor filter optimized by univariate dynamic encoding algorithm for searches (uDEAS) [J]. Non Destructive Testing amp; Evaluation International, 2009, 42(5): 389-397.

[3] 吳秀永, 徐科, 徐金梧.基于Gabor小波和核保局投影算法的表面缺陷自動識別方法[J]. 自動化學報, 2010, 36(3): 438-441. (WU X Y, XU K, XU J W. Automatic recognition method of surface defects based on Gabor wavelet and kernel locality preserving projections [J]. Acta Automatica Sinica, 2010, 36(3): 438-441.)

[4] JEON Y J, CHOI D C, LEE S J, et al. Steel-surface defect detection using a switching-lighting scheme [J]. Applied Optics, 2016, 55(1): 47-57.

[5] TSAI D M, HSIAO B. Automatic surface inspection using wavelet reconstruction [J]. Pattern Recognition, 2001, 34(6): 1285-305.

[6] GUAN S. Strip steel defect detection based on saliency map construction using Gaussian pyramid decomposition [J]. Transactions of the Iron amp; Steel Institute of Japan, 2015, 55(9): 1950-1955.

[7] VEITCH-MICHAELS J, TAO Y, WALTON D, et al. Crack detection in “As-Cast” steel using laser triangulation and machine learning [C]// Proceedings of the 13th Conference on Computer and Robot Vision. Piscataway, NJ: IEEE, 2016: 342-349.

[8] 吳家偉, 嚴京旗, 方志宏, 等.基于AdaBoost改進算法的鑄坯表面缺陷檢測方法[J]. 鋼鐵研究學報, 2012, 24(9): 59-62. (WU J W, YAN J Q, FANG Z H, et al. Surface defect detection of slab based on the improved AdaBoost algorithm [J]. Journal of Iron and Steel Research, 2012, 24(9): 59-62.)

[9] SOUKUP D, HUBER-M?RK R. Convolutional neural networks for steel surface defect detection from photometric stereo images [C]// Proceedings of the 10th International Symposium on Visual Computing. Berlin: Springer, 2014: 668-677.

[10] XI J Q, SHEN-TU L F, HU J K, et al. Automated surface inspection for steel products using computer vision approach [J]. Applied Optics, 2017, 56(2): 184-192.

[11] 禹晶, 蘇開娜.塊運動估計的研究進展[J]. 中國圖象圖形學報, 2007, 12(12): 2031-2041. (YU J, SU K N. A survey of block-based motion estimation [J]. Journal of Image and Graphics, 2007, 12(12): 2031-2041.)

[12] 鐘平, 于前洋, 金光.基于特征點匹配技術的運動估計及補償方法[J]. 光電子·激光, 2004, 15(1): 73-77. (ZHONG P, YU Q Y, JIN G. Motion estimation and motion compensation based on matching technology of feature point [J]. Journal of Optoelectronics·Laser, 2004, 15(1): 73-77.)

[13] 劉海峰, 郭寶龍, 馮宗哲.用于塊匹配運動估值的正方形-菱形搜索算法[J]. 計算機學報, 2002, 25(7): 747-752. (LIU H F, GUO B L, FEN Z Z. A square-diamond search algorithm for block motion estimation [J]. Chinese Journal of Computers, 2002, 25(7): 747-752.)

[14] PHONG B T. Illumination for computer generated pictures [J]. Communications of the ACM, 1975, 18(6): 311-317.

On-linelightsourcepositioncalculationbasedoninter-framegray-scalevariationanalysis

SHENTU Lifeng*, XI Jiaqi

(ResearchInstitute,BaoshanIronamp;SteelCompanyLimited,Shanghai201900China)

Aiming at the problem that the position of the light source cannot be determined in practical production, an on-line position calculation for the light source was proposed, which fully analyzed the gray-scale variation of the feature region in consecutive frames. In this approach, a featured region was first selected based on the local gray-scale distribution and used as a reference point, then its position was tracked in the following consecutive frames via block matching method. Combing with the analytic calculation from the light transport model, the relationship between the gray-scale value and geometric position was established. Finally, the set of equations were solved by linear regression method to find the position of light source. The experiment results show that the errors between the calculated results and the measured results are within 5%. The proposed approach has been successfully applied in the real-time manufacturing with good estimation accuracy.

inter-frame; gray-scale; light source; position calculation

2017- 04- 25;

2017- 07- 07。

國家科技支撐計劃項目(2015BAF22B01)。

申屠理鋒(1979—),男,浙江桐廬人,高級工程師,碩士,主要研究方向:機器視覺、自動控制; 奚嘉奇(1989—),男,上海人,工程師,碩士,主要研究方向:機器視覺、自動控制。

1001- 9081(2017)10- 2895- 04

10.11772/j.issn.1001- 9081.2017.10.2895

TP751

A

This work is partially supported by the National Key Technology Research and Development Program of the Ministry of Science and Technology of China (2015BAF22B01).

SHENTULifeng, born in 1979, M. S., senior engineer. His research interests include machine vision, automatic control.

XIJiaqi, born in 1989, M. S., engineer. His research interests include machine vision, automatic control.