面向熒光滲透檢測的小型管件圖像展開拼接方法*

蔡柳依婷 梁敏健 劉桂雄

特約論文

面向熒光滲透檢測的小型管件圖像展開拼接方法*

蔡柳依婷1梁敏健2劉桂雄1

（1.華南理工大學機械與汽車工程學院，廣東 廣州 510640 2.廣東省特種設備檢測研究院珠海檢測院，廣東 珠海 519002）

針對采用熒光滲透法檢測小型管件表面缺陷需人工翻找并肉眼觀察的不足，提出面向熒光滲透檢測的小型管件圖像展開拼接方法。首先，利用機器視覺技術從多角度采集小型管件熒光滲透處理后的表面圖像，通過建立小型管件成像展開模型將其側表面圓柱曲面轉換為平面成像；然后，利用改進單應性變換實現多角度小型管件圖像拼接配準；最后，基于區域融合與明度調節實現多角度小型管件圖像拼接融合。試驗結果表明：該拼接方法的特征匹配正確率達到86.78%，相對于原始匹配單應性模型適配率提高了12.43%，能較有效整合各角度熒光滲透處理后的小型管件表面缺陷信息，為小型管件圖像處理二次定性檢測提供優質輸入。

熒光滲透；小型管件；柱面展開；圖像拼接

0 引言

工業生產中常使用小型管件作為運輸元件，其表面質量是安全運行的重要保障之一[1]。小型管件典型缺陷主要有裂紋、焊瘤、凹陷和氣孔等，常采用熒光滲透法進行檢測[2]。該方法使用熒光物質作為滲透劑，噴涂于清洗后的小型管件表面；再在暗室條件下人工手動翻轉管件表面，并使用紫外燈對其表面照射，使其表面缺陷顯像。傳統熒光圖像缺陷識別依靠人工尋找缺陷位置，判斷缺陷類型，再用測量工具判定缺陷質量等級，得出小型管件表面缺陷質量評價結果[1]0。基于機器視覺的檢測方法能較完整地呈現管件側表面圖像，方便后續圖像處理，減少人工成本，提高檢測效率。

基于機器視覺的缺陷檢測方法通過圖像處理算法提取管件表面圖像典型特征缺陷并識別。文獻[3]（2013）針對產品表面線狀、條紋和塌邊等類型缺陷研究圖像濾波去噪、缺陷分割等處理手段，并取得工業應用效果；文獻[4]（2016）改進復雜背景下經典目標分割算法，通過工件表面缺陷圖像庫實驗，驗證算法在工件表面缺陷特征提取與識別方面的有效性。這些方法主要通過改善經典算法計算流程、二次設計計算參數等方式優化表面缺陷檢測方案，常應用于多缺陷共平面大型管件表面缺陷檢測，難以適用于小型管件柱狀表面曲成像結構。

為此，本文提出面向熒光滲透檢測的小型管件圖像展開拼接方法，在原有小型管件表面缺陷檢測流程中引入小型管件表面柱狀成像展開模型，并通過單應性變換實現多角度小型管件圖像拼接，在一個平面上較完整地呈現小型管件表面全貌特征。

1 整體設計

面向熒光滲透檢測的小型管件圖像展開拼接方法設計框圖如圖1所示，包括成像展開模型和圖像拼接模型。

通過對小型管件多角度圖像采集，建立面向熒光滲透檢測的小型管件成像展開模型，求取展開前后像素坐標變化關系；再利用圖像拼接模型，整合不同角度下的小型管件側圓柱面缺陷信息。

2 小型管件成像展開模型

小型管件展開成像模型將小型管件近似為圓柱體，本文以其中任意側表面成像為例，分析展開前后管件側表面任一點世界坐標變換關系。

圖1 面向熒光滲透檢測的小型管件圖像展開拼接方法設計框圖

圖2 小型管件圖像展開成像示意圖

令式(1)坐標縮放矩陣為，結合式(1)、式(2)、式(3)，可得小型管件展開前像素坐標-展開后像素坐標轉換關系為

再從方向進行二次插值，得到

由此得到多角度小型管件成像展開效果。

通過建立小型管件成像展開模型，研究展開前后像點坐標變換關系，可將管件側表面成像曲面近似轉換為平面，從而恢復其原始形貌特征。但為完整呈現管件側柱狀表面整體外觀，還需拼接多角度小型管件成像展開圖片。

3 圖像拼接模型

小型管件圖像拼接融合示意圖如圖3所示。

圖3 小型管件圖像拼接融合示意圖

由于多角度熒光滲透的小型管件圖像成像效果受其表面缺陷集中情況、種類和尺寸等因素影響，往往會呈現亮度差異，故需事先借助XYZ顏色空間將RGB圖像轉至Lab顏色空間，用以均衡亮度通道分量，從而均衡各角度配準結果圖像質量[12]。

通過基于單應性的圖像拼接配準方法，利用白光條件下特征匹配對獲取多角度小型管件幾何變換路徑；再通過基于顏色特征的圖像拼接融合方法整合熒光滲透處理后的表面成像圖片，改善基于機器視覺方式進行表面缺陷檢測的質量。

4 實驗結果與分析

小型管件圖像采集效果如圖4所示，其中圖4(a)、圖4(b)為白光光源條件下采集的不同角度1號管件成像；圖4(c)、圖4(d)為紫外光源條件下采集的不同角度2號管件熒光滲透處理后成像。為集中處理小型管件表面成像，可提取圖像中管件主體用于后續操作。

圖4 小型管件圖像采集效果

根據式(4)對小型管件主體進行成像展開，將小型管件側柱面按成像展開模型近似轉變為沿母線展開的平面。小型管件成像展開效果如圖5所示，其中圖5(a)、圖5(b)為白光光源條件下1號管件展開主體；圖5(c)、圖5(d)為紫外光源條件下熒光滲透處理后2號管件展開主體。圖5(a)、圖5(b)、圖5(c)、圖5(d)均與圖4拍攝角度依次對應，可對比看出管件邊緣得到明顯拉伸，原始曲面的特征也有相應恢復。

利用白光條件下多角度小型管件展開圖進行圖像拼接配準，為熒光滲透處理后的展開圖提供單應性幾何變換路徑。小型管件圖像拼接配準結果如圖6所示。由于小型管件展開使其側邊緣特征有所恢復，相對原始管件區域全局surf[13]特征提取時特征數平均增長了73.24%。同時，由于優化配準區域，只拍攝冗余區域，改善了RANSAC[14]特征匹配修正時2圖特征匹配正確率。小型管件單應性配準正確率對比表如表1所示，展開后2圖特征匹配正確率達到86.78%，相對于原始匹配單應性模型適配率提高了12.43%。

圖5 小型管件成像展開效果圖

表1 小型管件單應性配準正確率對比表

最后在單應性配準基礎上使用熒光處理后的小型管件展開圖像作為圖像拼接融合輸入，按式(7)、式(8)調整多角度圖像亮度并進行漸入漸出融合，得到熒光滲透多角度圖像拼接融合效果，如圖7所示。可以看出：其表面信息豐富度，灰度變化跨度、整體自然度都有所提升，可用于后續熒光滲透缺陷定位、識別和提取，甚至進行定量尺寸計算及測量。

圖7 小型管件圖像拼接融合結果

5 結語

根據小型管件幾何特征、成像原理構建小型管件成像展開模型，并推導像素層面小型管件展開前后坐標變換關系，從而一定程度地恢復小型管件曲面特征。通過改進單應性自由度求解方式，簡化小型管件圖像拼接配準計算過程，并通過改進漸入漸出圖像拼接融合方法，得到熒光滲透小型管件側表面拼接圖像，有效整合各角度熒光滲透處理后的小型管件表面缺陷信息，相對于原始匹配單應性模型適配率提高了12.43%，提高小型管件表面缺陷檢測圖像準確率和處理效率。

下一步將研究熒光滲透小型管件圖像表面缺陷提取與定位算法，全面實現小型管道的自動化檢測。

[1] 余達海.油氣管道運輸業的發展與安全思考[C]//中國石油石化健康,安全與環保.中國石油學會,2015.

[2] 全國鍋爐壓力容器標準化技術委員會.NB/T 47013.5―2015 承壓設備無損檢測第5部分：滲透檢測[S].北京:新華出版社,2015.

[3] 李玉寶.基于機器視覺的表面缺陷檢測算法研究[D].長沙:中南大學,2013.

[4] 趙君愛.基于圖像處理的工件表面缺陷檢測理論與方法研究[D].南京:東南大學,2016.

[5] VAGHELA D, NAINA P. A review of image mosaicing techniques[J]. arXiv preprint arXiv:1405.2539, 2014.

[6] ZITOVA B, FLUSSER J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[7] Debabrata Ghosh, Naima Kaabouch. A survey on image mosaicing techniques[J]. Journal of Visual Communication and Image Representation,2016,34:1-11.

[8] 劉桂雄,蔡柳依婷,王博帝.機器視覺檢測圖像拼接配準技術研究進展[J].激光雜志,2019,40(11):1-6.

[9] ANDREW A M. Multiple view geometry in computer vision[J]. Kybernetes, 2001, 30(9/10): 1333-1341.

[10] 劉桂雄,張瑜,蔡柳依婷.機器視覺檢測圖像拼接融合技術研究進展[J].中國測試,2020,46(1):1-6.

[11] HILLMAN P, HANNAH J, RENSHAW D. Alpha channel estimation in high resolution images and image sequences[C]//Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. CVPR 2001. IEEE, 2001, 1: I-I.

[12] 王可,陸長德,樂萬德.色彩相似性度量的研究與應用[J].計算機應用研究,2005(10):168-170.

[13] BAY H, TUYTELAARS T, VAN GOOL L. Surf: speeded up robust features[C]//European conference on computer vision. Springer, Berlin, Heidelberg, 2006:404-417.

[14] FISCHLER M A , BOLLES R C . Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981,24(6):381-395.

A Stitching Method for Unfolding Small Tube Images for Fluorescent Penetration Detection

Cai Liuyiting1Liang Minjian2Liu Guixiong1

(1. School of Mechanical and Automotive Engineering, South China University of Technology,Guangzhou 510640, China 2. Guangdong Institute of Special Equipment Inspection and Research Zhuhai Branch, Zhuhai 519002, China)

Fluorescence penetrating detection of small pipe surface defects usually needed to be manually searched and observed with the naked eye. We used machine vision to collect the surface pictures of mall pipe after fluorescent penetration from multiple angles. By establishing a small pipe imaging expansion model, the side surface of the cylindrical surface was converted into planar imaging. We then proposed an improved homography transformation to realize the registration of multi-angle small pipe images, and realized the multi-angle small pipe image fusion based on regional fusion and brightness adjustment. Experiments showed that the accuracy of feature matching of the splicing method reached 86.78%, which was 12.43% higher than that of the original matching homography model. It can effectively integrate the surface defect information of small pipe after fluorescent penetration treatment at various angles. The secondary qualitative inspection of the image processing of small pipe provided high-quality input.

fluorescent penetration; small pipe; cylindrical expansion; image stitching

TN911.73

A

1674-2605(2021)02-0001-06

10.3969/j.issn.1674-2605.2021.02.001

廣州市產業技術重大攻關計劃(2018020300006)；廣東省特檢院科研項目(2020CY14)。

蔡柳依婷，女，1996年生，研究生，主要研究方向：先進傳感與儀器研究。E-mail:1076050814@qq.com