胡巧聲,李永記,郝沛時
基于快反鏡的工件表面質量和尺寸在線檢測技術研究
胡巧聲1,李永記2,郝沛時2
(1.上汽大眾汽車有限公司,上海 201805;2.同濟大學 機械與能源工程學院,上海 201804)
運動模糊是機器視覺在線檢測的重要問題,限制了檢測的精度和效率。將快反鏡與機器視覺相結合,開發了基于快反鏡的在線檢測系統。建立快反鏡偏轉模型,實現了工件成像的像移補償;相機曝光和快反鏡偏轉同步運行,使系統采集到清晰的工件圖像。采用OpenCV庫對采集到的圖像進行處理,計算得到工件的內徑、外徑尺寸和表面缺陷面積。相對于傳統無快反鏡在線檢測系統,該系統的外徑、內徑和缺陷面積檢測平均誤差分別由1.2%、2.2%、28.9%減少至0.1%、0.3%、5.5%,在線檢測速度從0.1 m/s提升到0.4 m/s。
快反鏡;機器視覺;在線檢測;像移補償
現代制造業加快向智能制造發展,對于數字化、智能化、自動化的要求越來越高。中國正處于由制造大國向制造強國的轉變的階段,《中國制造2025》明確指明將推進智能制造作為中國現代先進制造業的主攻方向。在線檢測技術是智能制造的一項關鍵技術,相較于人工檢測、抽檢等傳統檢測方式,具有實時性、高效性、可靠性的巨大優勢。
機器視覺是在線檢測的有效手段[1],通過獲取被測物的圖像對其進行處理和分析,計算得到被測物體的特征量。但是對于生產線中高速運動的工件,機器視覺在線檢測系統拍攝的圖像存在運動模糊的問題,導致圖像處理得到的特征量如直徑、面積等計算偏差較大,降低了檢測的準確性,并且限制了檢測的效率。應用高速相機可以獲得較為清晰圖像,但是,高速相機相較于普通工業相機價格較為昂貴,另一方面高速相機對于環境的要求較高。實際的生產環境往往較為惡劣,切削液、切屑,包括電磁干擾等都會影響高速相機的正常工作,導致檢測系統的穩定性不高。
為解決運動模糊問題,國內外學者進行了一定的研究。朱非甲等[2]提出面向工業檢測的圖像模糊處理方法,該方法基于R-L引導濾波,通過軟件處理消除圖像模糊,但是其應用對象是運動速度為2~4 mm/s的工件,且單張照片處理時間約10 s。吳宏圣[3]研究了無人機全景相機像移補償的方法,綜合考慮飛機姿態、相機擺掃運動等因素,獲得了較滿意的成像效果。JANSCHEK等[4]提出根據圖像反饋信號來控制焦平面的位置,對像移進行補償得到較為清晰的圖像。BRIEB[5]在其專利中采用擺動平面鏡對機載CCD相機進行像移補償。GAYLORD[6]提出了一種用幀轉移CCD進行像移補償的方法。根據已有的研究,解決運動模糊問題的關鍵在于實現像移補償。
快速反射鏡(Fast Steering Mirror,FSM)是一種目標和接收器之間控制光束方向的光電裝置[7],具有響應速度快、控制精度高、結構緊湊的優點,目前主要應用于激光雷達、機載激光武器、空間尺度量子通信等軍事領域[8-9]。通過快反鏡實現像移補償,可以使相機采集到清晰的圖像,提高檢測的準確性和效率,進而可拓寬在線檢測系統的應用范圍。
快反鏡由偏擺臺和反射鏡組成,由壓電陶瓷驅動的偏擺臺構成的快反鏡被稱為壓電陶瓷驅動快反鏡。壓電陶瓷驅動快反鏡的工作原理如圖1所示,非工作狀態下兩個壓電陶瓷疊堆長度相同,通過給兩個壓電陶瓷疊堆施加互為反向的驅動電壓,可以使兩者做互為反向的運動,使柔性餃鏈支架圍繞軸向偏轉,實現反射鏡的偏轉,進而使外部光線的反射光產生偏轉。

圖1 壓電陶瓷驅動快反鏡工作原理[8]
運動模糊現象產生的原因是曝光時間內工件相對相機產生運動,導致工件成像相對于相機傳感器發生偏移。為消除運動模糊,關鍵在于使工件在相機曝光時間內,成像靜止于相機的視野中。將快反鏡布置于工件和相機之間,以一定速度偏轉,對運動中的工件進行跟蹤,使其成像相對相機靜止,從而實現像移補償,避免圖像模糊。為此,快反鏡的偏轉速度與工件運動速度、相機的曝光時間、系統部件的空間距離等參數需要滿足一定的關系,即快反鏡偏轉模型,如圖2所示。

圖2 快反鏡偏轉模型
如圖 2所示,設工業相機的曝光時間為,曝光開始時刻工件處于位置,曝光結束時刻工件處于位置。MN為快反鏡的初始位置,與工件運動平面夾角為45°。為實現快反鏡對工件的跟蹤,在相機曝光的時間內,快反鏡應通過偏轉使工件的反射光線保持不變,并于曝光結束時刻偏轉至位置。
設快反鏡在曝光時間內偏轉角度為,根據光的反射規律,工件入射光角度改變為其2倍,即:

已知快反鏡偏轉中心相對傳送帶表面的高度為,傳送帶速度為,由于快反鏡的偏轉角度極小,為mrad量級,可通過近似計算得到:

快反鏡的偏轉角度為:

本文以8×14×0.2的平墊圈為檢測對象,設計基于快反鏡的工件在線檢測系統。對該墊片的尺寸(包括外徑和內徑)和表面缺陷面積指標進行檢測。該工件具有一定的典型性,代表了厚度方向,可忽略的平面型工件。
該系統包含傳送裝置、光纖傳感器、延時裝置、快反鏡、工業相機和計算機,以及線纜、電源等其他必要部件。傳送裝置帶動工件運動,光纖傳感器用于感知工件的位置,并將檢測信號傳遞給延時裝置。延時裝置進行延時,并控制相機曝光和快反鏡偏轉同步運行。計算機程序進行各個部件的狀態識別和控制,以及處理工業相機采集到的圖像獲取工件尺寸和缺陷面積信息。系統方案如圖3所示。

圖3 工件在線檢測系統方案
系統控制信號如圖4所示。

圖4 系統控制信號
光纖傳感器根據接收到的光強來判斷信號的輸出,若檢測到光強超過此閾值則輸出信號,反之則無信號輸出。在工件未到達檢測區域時,由于傳送裝置反光性能很差,光纖傳感器接收到的反射光強很弱,無輸出信號;當有工件到達檢測區域時,光纖傳感器接收到較強的反射光,則輸出信號。從工件的檢測位置到拍攝位置距離不變,延時裝置基于傳感器輸出信號的時刻進行一定時間t-delay的延時,當工件運動至相機視野中央時,延時結束并輸出觸發信號,如圖4(a)所示。
快反鏡驅動電壓為0~100 V,可實現0~2.7 mrad范圍內的偏轉。計算機輸出0~10 V模擬量控制信號,由驅動裝置放大電壓并驅動快反鏡偏轉。為滿足分辨率、檢測精度、檢測效率和數據傳輸等要求,經綜合考慮,選用FLIR公司的GS3-U3-51S5M-C工業相機。該相機像素為500萬,分辨率為2 448×2 048,75FPS的高幀率。工業相機采用硬觸發模式,以保證工業相機曝光時刻的精確性。由于該工業相機內部集成了信號轉換裝置,采用的是USB接口,該相機可以直接將圖像通過特定的USB3.1線纜傳輸給計算機而無需任何中間設備,傳輸速度高,便于使用計算機軟件進行控制。實現像移補償的關鍵在于相機曝光和快反鏡偏轉同步進行。根據式(3),延時裝置輸出觸發信號后,工業相機進行曝光,與此同時在曝光時間內快反鏡偏轉角度。圖4(b)展示了相機曝光信號和快反鏡信號的同步性。
采集到工件圖像之后,基于OpenCV庫對采集到的工件圖像進行處理,獲取工件的尺寸(外徑和內徑)和表面質量(缺陷面積)。圖像處理流程如圖5所示,主要包括濾波處理、二值化處理和輪廓提取及最小外接圓檢測。

圖5 圖像處理過程
采集到的圖像表面存在大量細小點狀噪聲,對圖像進行濾波處理,得到無噪聲且輪廓清晰的圖像。由于最終目的是檢測工件的尺寸和缺陷面積,需要進行二值化處理以便在圖像中提取工件輪廓。二值化是將所有像素點的灰度值為0 (白色)或255(黑色),目的是使圖像中主要特征的輪廓更加清晰且突出。本設計采用閾值分割函數,遍歷圖中所有點將像素二值化。隨后進行工件的輪廓提取和最小外接圓檢測,得到內、外圓直徑的像素個數。
進行比例標定,獲得實際尺寸和像素個數的比值。據此可通過檢測得到的外環直徑和內環直徑值,求出外徑和內徑的實際數據,單位為mm,工件表面的缺陷面積等于工件面積與非缺陷面積之差,工件的非缺陷面積由二值化處理后的圖像的白色(灰度值為255)像素點個數得到。
根據設計方案,搭建基于快反鏡的在線檢測系統,如圖6所示。工件由傳送帶傳輸,快反鏡、工業相機等部件安裝于鋁合金型材框架,便于調節部件相對位置。系統檢測結果實時顯示于系統控制界面。

圖6 在線檢測系統實物圖
為驗證基于快反鏡的在線檢測技術帶來的檢測性能提升,進行實驗并對比該系統與傳統無快反鏡系統的表面質量和尺寸的檢測精度。工業相機的曝光時間設置為3 ms,傳送帶速度調節范圍為0~0.4 m/s。在有無快反鏡的兩種系統中,設置傳送帶速度為0.05 m/s、0.10 m/s、0.15 m/s、0.20 m/s、0.25 m/s、0.30 m/s、0.35 m/s以及0.40 m/s,測量工件的外徑、內徑和缺陷面積。
以0.40 m/s工件運動速度為例,兩種系統采集到的工件圖像如圖7所示。無快反鏡系統采集工件的圖像模糊程度較大,而有快反鏡系統采集的工件圖像清晰且輪廓突出。

圖7 采集工件圖像對比
根據檢測結果,分別計算檢測誤差,如圖8所示。

圖8 檢測誤差對比
分析檢測誤差可得,對于傳統的無快反鏡系統,外徑、內徑、缺陷面積檢測誤差隨工件速度提升而大幅增加,而有快反鏡系統檢測誤差維持在較小的范圍內;基于快反鏡的工件檢測系統的檢測精度較無快反鏡的檢測系統有大幅提升,外徑檢測平均誤差由1.2%大幅度降低到0.1%,內徑檢測平均誤差由2.2%顯著減小到0.3%,表面缺陷檢測平均誤差由28.9%大幅降低至5.5%;在外徑和內徑檢測誤差為1%和表面缺陷檢測誤差10%的要求下,基于快反鏡的在線檢測系統可將檢測速度從0.1 m/s提升至0.4 m/s,即速度提高4倍。
本文針對在線檢測中圖像模糊的問題,將快反鏡與機器視覺系統相結合,開發了基于快反鏡的在線檢測系統。建立了快反鏡偏轉模型,實現了工件成像的像移補償;相機曝光和快反鏡偏轉同步進行,使系統采集到清晰的工件圖像。采用OpenCV庫對采集到的圖像進行處理,包括濾波處理、二值化處理和輪廓提取及最小外接圓檢測,計算得到工件的內徑、外徑尺寸和表面缺陷面積。搭建了檢測系統并進行對比實驗,驗證了該技術有效改善運動中工件圖片的拍攝質量,提升表面質量和尺寸的檢測精度,大大提高了在線檢測速度。
軍用領域的快反鏡技術與機器視覺系統結合,有效改善了在線檢測中運動模糊的問題,擴大了工程中在線檢測的應用范圍。將快反鏡應用于制造領域,既是國家軍民融合戰略的具體實踐,又助力于智能化生產線在線檢測技術的發展,有利于智能制造的發展。
[1]HOU Q,SUN J,HUANG P.A novel algorithm for tool wear online inspection based on machine vision[J]. International Journal of Advanced Manufacturing Technology,2019(4):9-10.
[2]朱非甲,金鵬.面向工業檢測的圖像快速去直線運動模糊方法[J].哈爾濱工業大學學報,2018,50(9):123-129.
[3]吳宏圣.TDICCD全景航空相機像移補償研究[D].北京:中國科學院大學(長春光學精密機械與物理研究所),2003.
[4]JANSCHEK K,TCHEMYKH V.Optical correlator for image motion compensation in the focal plane of a satellite camera[C]//15th IFAC Symposium on Automatic Control in Aerospace,2001.
[5]BRIEB K.Method and device for a high-resolution CCD imaging system:Germany,10567998100[P].1998.
[6]GAYLORD G O.Image motion compensation with frame transfer CCDs[C]//Proc SPIE,2002.
[7]CSENCSICS E,BENJAMIN S,GEORG S.Integration of control design and system operation of a high performance piezo-actuated fast steering mirror[J].Journal of Robotics & Machine Learning,2020(4):17-22.
[8]吳鑫.高性能快速控制反射鏡研究[D].武漢:華中科技大學,2012.
[9]錢鋒.星地量子通信高精度ATP系統研究[D].北京:中國科學院大學,2014.
TP391.41
A
10.15913/j.cnki.kjycx.2020.14.010
2095-6835(2020)14-0034-04
胡巧聲(1983—),男,博士,主任工程師。
李永記。
〔編輯:嚴麗琴〕