基于機器視覺的光纖智能碳纖維構件路徑識別方法

謝嘯博 朱萍玉 黃孟姣 李永敬

?

基于機器視覺的光纖智能碳纖維構件路徑識別方法

謝嘯博 朱萍玉 黃孟姣 李永敬

（廣州大學機械與電氣工程學院）

為獲取布設在碳纖維預浸料內的光纖路徑，提出一種基于機器視覺的光纖路徑提取方法。首先，利用Forstner特征提取算子提取各分段圖像上的光纖特征點，并對相鄰的圖像進行逐次拼接；然后，獲得構件全景圖像，并采用最大類間方差法分別提取所需區域圖像；最后，通過快速傅立葉變換去除紋理噪音，并利用線條提取算子獲得光纖完整路徑。實驗表明：運用該方法獲得的完整光纖路徑與實際吻合。

機器視覺；光纖；碳纖維預浸料；圖像拼接；邊緣提取

0　引言

光纖傳感器具有靈敏度高、動態范圍大、抗電磁干擾等特點，且光纖本身纖柔輕細，使得光纖傳感器體積小、重量輕、幾何形狀可塑，不僅便于布設安裝，并對埋設部位的材料性能和力學參數影響甚小，可實現無損埋設，與待測材料有著良好的相容性，能以網絡鋪設實現全方位監測，提高安全監測的有效性。而碳纖維增強復合材料具有比強度高、比模量高、耐疲勞和尺寸穩定性好等特點，將光纖埋入碳纖維復合材料中可制作成光纖智能碳纖維構件。該構件屬薄板類結構，可粘貼于所需監測的零部件表面，如海上風電的風葉上。光纖被碳纖維復合材料包裹后，具體分布位置難以確定，需提前將光纖內部的分布位置確定，以保證監測的準確性。對于相機視野范圍內的光纖智能碳纖維構件，只需進行簡單的拍照取樣即可獲得光纖的具體分布位置；但對于超過相機視野范圍的光纖智能碳纖維構件，則需通過圖像拼接技術來確定分布位置[1]。本文提出一種基于機器視覺的光纖智能碳纖維構件路徑識別方法。經驗證，可有效解決超過相機視野范圍的光纖智能碳纖維構件圖像拼接問題。

1　基于機器視覺的光纖智能碳纖維構件路徑識別

光纖智能碳纖維構件內部結構如圖1所示，光纖由2塊碳纖維預浸料夾在中間。

基于機器視覺的光纖智能碳纖維構件路徑識別主要由光纖智能碳纖維構件路徑圖像采集和圖像處理2部分組成。

圖1　光纖智能碳纖維構件內部結構圖

1.1　光纖智能碳纖維構件路徑圖像采集

1.1.1 硬件組成

照明方式是影響圖像質量的關鍵因素，其設計直接影響解決方法的成敗。因此，為凸顯光纖的形狀特征，本方法采用方形光源照明的圖像采集方式，其硬件組成如圖2所示。圖像采集系統主要包括支架、工業相機、鏡頭、光纖智能碳纖維構件、方形無影光源、計算機以及顯示器。其中，方形無影光源位于光纖智能碳纖維構件上方；工業相機位于光纖智能碳纖維構件的正上方；鏡頭為定焦鏡頭。

1.1.2 路徑提取方法

目前針對光纖智能碳纖維構件中光纖路徑提取的方法較少。本文基于Halcon平臺提出一種針對光纖智能碳纖維構件的光纖路徑提取方法：1）以方形無影光源照明的方式凸顯光纖特征，并采集張圖像；2）利用Forstner特征提取算子[2]提取特征點進行圖像拼接；3）采用最大類間方差法（Otsu）提取所需區域圖像[3]；4）利用快速傅立葉變換去除碳纖維的紋理噪聲[4]；5）利用線條提取算子提取光纖路徑。圖像處理流程如圖3所示。

圖2　 采集系統整體結構

圖3 　圖像處理流程

1.2　光纖智能碳纖維構件路徑圖像處理

1.2.1 圖像采集與圖像配準

利用實驗平臺采集張圖像，然后對所采集的圖像進行圖像配準。

圖像配準是整個圖像拼接的核心，本文采用Forstner算子提取特征點。Forstner算子基本思想是：對最佳窗口內通過每個像元的邊緣直線（垂直于梯度方向）進行加權中心化，得到角點的定位坐標；對最佳窗口內通過每個像元的梯度直線進行加權中心化，得到圓心的坐標。

1.2.2 圖像拼接

特征點完成提取后，通過重疊區域的特征點對比關系可求得投影變換矩陣；然后經過特征點匹配，采用Ransac算法[5]進行魯棒性匹配，剔除不合適特征點；最后根據合適的特征點，完成圖像配準及圖像拼接，得到所需的光纖智能碳纖維構件全景圖。

1.2.3 圖像預處理與線條提取

對光纖智能碳纖維構件全景圖進行圖像處理步驟：1）獲取圖像區域，利用圖像腐蝕縮小圖像區域；2）采用最大類間方差法Otsu，對所采集的圖像進行自動閾值，選取感興趣區域作為檢測ROI；3）去除檢測ROI的其他區域像素。

利用正弦帶通濾波器增強區域內光纖路徑；再利用快速傅立葉變換去掉紋理噪聲；最后對全景圖進行光纖輪廓提取，獲得光纖在智能構件內部的分布圖。

2　實驗驗證

實驗采用型號為MER-500-14GM的工業相機；200 mm×300 mm的方形無影光源；長、寬為450 mm×100 mm的光纖智能碳纖維構件作為實驗對象。

2.1 圖像采集

在實驗平臺采集12張圖像，采集順序由小到大序號，如1,2,3,4,…,12進行排序，每張圖像均有一定的重疊部分，重疊部分以灰色顯示如圖4所示。采集圖像效果如圖5所示，可以看出圖中光纖路徑清晰可見，但也帶有一定的紋理噪音。

圖4　圖像采集順序示意圖

圖5 　源圖像

2.2 圖像配準

兩兩圖像進行特征點的提取與配對，12張圖像的配準如圖6所示。其中，位于圖形內的斜紋及短的密集線條為2個特征點直接的配對線。可以看出，特征點主要位于圖像的邊緣。由于圖像采集過程中操作的誤差，導致圖像重疊部分特征點配準過程中存在一定的角度偏差，但由圖像紋理可知圖像配準正確。

圖6 　特征點匹配圖

2.3 圖像融合

圖像融合得到檢測的全景圖如圖7所示。由圖7可見，圖像間無明顯的拼接線，融合效果良好。根據碳纖維與光纖圖像紋路特征匹配，確認圖像融合的正確性。

圖7　圖像融合效果

2.4　邊緣提取

對得到的全景圖進行正弦帶通濾波，然后提取圖像邊緣，最后經過篩選得到光纖的路徑分布。如圖8所示，粗線條為光纖路徑（為使得光纖的路徑分布更容易觀察，增加了所提取路徑的線寬）。

圖8 　光纖路徑提取圖

實驗結果表明：圖像經處理后，光纖路徑能完整呈現，可實現光纖智能碳纖維構件內部光纖路徑的識別。

3 結語

光纖智能碳纖維構件結合碳纖維復合材料以及光纖傳感器的優點，其內部封裝的光纖路徑的識別有利于構件實現在線監測。本文基于Halcon平臺提出一種光纖路徑的提取方法，通過工業相機采集圖像后，利用計算機圖像處理技術實現了光纖路徑的提取。實驗表明：該算法能穩定提取光纖智能碳纖維構件的光纖路徑，具有一定的理論及實用價值。

[1] Zhu Pingyu, Xie Xiaobo, Sun Xiaopeng, et al. Distributed modular temperature-strain sensor based on optical fiber embedded in laminated composites[J]. Composites Part B, 2019,168:267-273.

[2] 李天碩.基于改進的FORSTNER算子特征點提取方法[J].江西測繪,2017(1):30-32.

[3] 李永敬,朱萍玉,孫孝鵬,等.基于形狀模板匹配的沖壓件外形缺陷檢測算法研究[J].廣州大學學報(自然科學版),2017, 16(5): 62-66.

[4] 王蕾,厲征鑫,劉建立,等. FFT和Hough變換在織物紋理方向檢測上的應用[J].計算機工與應用,2014,50(18):39-43.

[5] Schnabel R, Wahl R, Klein R. Efficient RANSAC for point-cloud shape detection[J]. Computer Graphic, 2007, 26: 214-226.

Path Recognition Method for Optical Fiber Smart Carbon Fiber Components Based on Machine Vision

Xie Xiaobo Zhu Pingyu Huang Mengjiao Li Yongjing

(School of Mechanical and Electric Engineering, Guangzhou University)

An optical fiber path extraction method based on machine vision was proposed to obtain the fiber path of carbon fibre prepreg surface. Firstly, forstner operator was used to extract the segmented image optical feature points, then successive in stitching the adjacent image, and then got the panoramic images, and respectively OSTU method to extract the needed area image, at last, by fast Fourier transform to remove texture noise, and using fiber line extraction operator to obtain the full path. Examples show that the proposed method can obtain the complete optical path which has better tally with the experimental object, and lay a foundation about how to locate the sensing optical fiber in the intelligent structure.

Machine Vision; Optical Fiber; Carbon Fibre Prepreg; Image Mosaic; Edge Extraction

謝嘯博，男，1994年生，碩士研究生，主要研究方向：測試技術與儀器。

朱萍玉（通信作者），女，1971 年生，博士、教授，主要研究方向：光纖傳感技術、智能制造與維護。E-mail：pyuzhu@gzhu.edu.cn