基于機器視覺的熱軋中間坯鐮刀彎在線檢測系統

徐冬，楊荃，王曉晨，孫友昭，劉克東，代振洋

?

基于機器視覺的熱軋中間坯鐮刀彎在線檢測系統

徐冬，楊荃，王曉晨，孫友昭，劉克東，代振洋

(北京科技大學 國家板帶生產先進裝備工程技術研究中心，北京，100083)

為了能夠實現對中間坯鐮刀彎的非接觸在線測量，提出通過基于機器視覺技術的鐮刀彎在線測量方案。將面陣CCD相機布置在粗軋機出口傾斜拍攝中間坯表面形狀：首先通過亞像素角點定位完成相機標定；再次，通過引入中間坯厚度變量實現對不同厚度的中間坯平面形狀由圖像坐標向世界坐標轉化；最后通過中間坯邊緣輪廓連續變化的原理，計算具有重疊區域的連續中間坯圖像沿寬度方向的平移量和整體的旋轉量，完成中間坯平面圖像的拼接。研究結果表明：通過所提出的測量系統及算法可以獲得完整的中間坯平面圖像及鐮刀彎值，通過與工業現場測寬儀的測量結果對比，可知系統測量結果能夠反映中間坯彎曲的趨勢及細節特征，為熱連軋粗軋過程中間坯鐮刀彎的控制提供了有效測量手段。

熱軋粗軋；鐮刀彎；機器視覺；測量系統

在熱連軋生產中，粗軋中間坯的鐮刀彎是熱軋粗軋階段板坯不對稱缺陷的主要表現形式，產生鐮刀彎現象的根本原因是軋制時中間坯兩側壓下不同，使中間坯兩側的長度方向上的延伸不同[1?2]。粗軋出口中間坯的鐮刀彎缺陷不僅會影響成品帶鋼的板形和尺寸，而且會影響后續精軋過程的軋制穩定性，嚴重時甚至會導致堆鋼事故[3]。為了能夠實現對中間坯鐮刀彎的有效控制，首先要完成對中間坯鐮刀彎的測量。中間坯溫度高，生產節奏快，其鐮刀彎程度難以人工測量，因此，生產現場主要依靠操作工直接觀察中間坯表面形狀，根據經驗調整軋機輥縫的傾斜來消除和控制鐮刀彎。近些年來，隨著機器視覺技術的發展，很多研究者采用CCD相機對中間坯進行拍攝，從而獲得中間坯的平面形狀，為鐮刀彎的控制提供檢測手段[4]。在通常情況下，熱軋中間坯的鐮刀彎問題多發生在中間坯的頭部和尾部3~5 m 處，許多學者采用CCD相機對中間坯頭、尾局部區域進行拍攝，獲取鐮刀彎信息，包括：采用3臺線陣相機同步采集圖像，用三點法來檢測中間坯頭尾鐮刀彎[5?6]；采用單目[7]、雙目[8]的線陣相機，通過連續取樣測量中間坯頭、尾帶鋼的平面形狀；通過布置在粗軋機上方的單臺面陣CCD相機完成對粗軋中間坯頭部鐮刀彎的檢測[9?11]。除此之外，為了能夠測量中間坯全長的鐮刀彎信息，可以通過一次拍攝對粗軋前后的中間坯全長進行成像，此時面陣CCD相機只能安裝在距離中間坯較遠的地方，拍攝傾角較大，中間坯尾端在所成相中所占像素很少，測量誤差較大[12?13]。為了進一步提高檢測精度，采用面陣CCD相機對運動中間坯局部連續拍攝，并利用連續圖片序列拼接成完整中間坯平面形狀的測量方案被廣泛認可，同時，隨著圖像處理技術的發展，這種方案也被應用于實際生產過程中，包括：采用中間坯速度和拍攝時間間隔計算2張圖像中板坯沿長度方向的移動距離的方法[14?15]；采用尋找2幅具有重疊區域的中間坯表面圖像的特征點，通過匹配特征點的垂直距離確定2張中間坯圖像的重疊距離的方法[16?18]。本文作者將面陣CCD相機布置在粗軋機出口傾斜拍攝中間坯表面形狀，通過亞像素角點定位完成相機標定，通過引入中間坯厚度變量實現對不同厚度的中間坯品面形狀由圖像坐標向世界坐標的轉化，最后通過中間坯邊緣輪廓連續變化的原理，計算具有重疊區域的連續中間坯圖像沿寬度方向的平移量和整體的旋轉量，完成中間坯平面圖像的拼接，得到完整的中間坯平面圖像及鐮刀彎值，為熱連軋粗軋過程中間坯鐮刀彎的控制提供了測量手段。

1 測量系統結構

本文提出的鐮刀彎在線檢測系統結構和工作示意圖如圖1所示。當中間坯到達指定檢測位置時，熱金屬檢測器檢測到中間坯頭部位置，對應側面陣 CCD 相機進行拍攝，激光測速儀開始測量中間坯運行速度，然后將拍攝的中間坯上表面圖像及測量的中間坯運動速度經千兆網傳輸至圖像處理服務器，經圖像處理獲得可視化中間坯平面形狀和中間坯鐮刀彎曲量，并顯示在用戶顯示器上。

1—安裝平臺；2—相機支架；3—面陣CCD相機；4—激光測速儀；5—熱金屬檢測器；6—圖像處理服務器；7—水冷設備。

1.1 光學器件

光學器件安裝在軋機出口的輥道正上方安裝平臺上，對中間坯上表面進行傾斜拍攝。光學器件包含1個黑白面陣CCD相機、定焦鏡頭及千兆網線。其中面陣CCD感光傳感器平面尺寸為12.7 mm×9.6 mm，像素為3 376×2 704，鏡頭為千萬像素固定焦距鏡頭(焦距為16 mm)，因此，2個方向對應的視場角分別為43.3°和33.4°。相機選擇千兆網通訊，使得傳輸距離大于50 m且幀速能夠達到9 幀/s。為了隔絕現場灰塵與水汽，相機和支架密封在密閉空間內，同時為了相機工作在額定溫度范圍內，整個系統配備了水冷防護 系統。

(a) 側視圖；(b) 俯視圖

表1 光學器件不同安裝位置的視野范圍及精度

1.2 圖像處理器

1.3 測量支架

相機支架通過地腳螺栓安裝在輥道正上方的安裝平臺上，支架外部密封并留有安裝、檢修門以及位置可以調整的玻璃模塊。其內部核心結構如圖3所示，可以實現CCD相機高度和水平位置、俯仰角、水平擺角的調整，同時包含對相機進行密封保護的裝置和水冷散熱裝置。

1—高度位置調節導軌；2—水平位置調節導軌；3—俯仰角度調節；4—水平擺角調節；5—散熱裝置；6—密封保護裝置；7—冷卻水管道。

2 測量算法

熱軋粗軋中間坯鐮刀彎在線檢測系統算法流程如圖4所示，首先通過張正友標定法確定相機的內部參數和輥道平面的外部參數[19]。根據CCD相機視野范圍確定相機采樣頻率，當中間坯進入檢測區域后，利用面陣CCD相機獲取中間坯上表面連續局部圖像，對中間坯圖像進行預處理，采用Canny算法提取中間坯上表面輪廓像素坐標，通過粗軋工作站讀入本道次中間坯厚度，根據相機成像原理及標定結果，確定中間坯上表面某點空間坐標與對應圖像像素坐標之間的轉換關系，利用所建立的轉換關系計算中間坯輪廓實際坐標。在獲取中間坯局部輪廓實際坐標基礎上，根據采樣頻率及帶鋼運動速度確定連續2幅中間坯圖像沿長度方向的移動距離，通過中間坯邊緣輪廓連續變化的原理，計算2幅中間坯圖像沿寬度方向的平移量和整體的旋轉量，完成中間坯平面圖像的拼接，獲取中間坯上表面完整輪廓，并計算鐮刀彎值。

2.1 相機標定

相機的標定是視覺檢測技術應用中的關鍵步驟，標定的精度和效果直接影響系統的檢測精度。相機針孔成像模型中主要涉及到3個坐標系—圖像坐標系、相機坐標系和世界坐標系，三者的幾何對應關系如下：

圖4 熱軋粗軋中間坯鐮刀彎檢測系統算法流程圖

2.2 張正友標定法

本文的研究對象是粗軋中間坯的平面形狀和尺寸，檢測精度要求較高，而且一旦確定安裝后，相機的內外參數不會經常變動，因此，本文使用張正友相機標定法[19]，具體步驟如下。

2.3 基于灰度梯度特征的角點亞像素精確定位

內棋盤格角點檢測的精度對相機標定精度有著重要影響，本文在Harris角點檢測算子對棋盤格圖像進行角點檢測的基礎上，采用灰度梯度特征法進行亞像素級角點定位，使相機標定結果更為精確，減小標定誤差，進而提高鐮刀彎檢測系統的檢測精度。具體步驟如下。

2.汽車產業鏈是大數據源。截至2017年末，全國民用汽車保有量已突破2.1億輛，年新增汽車近3000萬輛。汽車生產、銷售、流通和使用的各個領域，都是每時每刻產生兆億級信息的全球最大規模的大數據源。

1) 通過Harris角點檢測算子[20]，對棋盤格角點進行初定位。

2) 噪點及棋盤格外角點篩選去除。在所述的Harris角點檢測結果中，可檢測出棋盤格內角點、棋盤格外角點及噪點這3種類型的點，如圖5中，，所示。只有沿矩形框路徑灰度跳躍變化次數為4次的才是棋盤格內角點，因此可實現對內角點的篩選。

3) 采用灰度梯度特征法對角點初定位坐標進行亞像素精確[21]。在棋盤格圖像中，邊緣上的點其灰度梯度垂直于該點與角點的連線，故可采用以初定位角點為中心的區域進行角點搜索，進行多次迭代，結果如圖6所示。

圖5 噪點及外角點去除示意圖

圖6 灰度梯度特征法亞像素精確定位結果

2.4 圖像處理及輪廓提取

對于粗軋鐮刀彎檢測，關鍵的一步是獲得中間坯的輪廓邊緣坐標。通過現場的圖像采集實驗發現，對CCD相機曝光時間等相關參數進行適當調整，可以獲得中間坯與環境區分度良好的圖像。但受拍攝環境和中間坯高溫輻射的干擾因素的影響，原始圖像往往存在噪聲干擾，會影響邊緣檢測的效果和檢測精度。因此，在進行邊緣檢測之前，需要對原始圖像進行一定的預處理。

1) 基于中值濾波的圖像平滑。為了減少原始圖像噪聲干擾，將5×5中值濾波窗口按照一定的移動次序依次覆蓋在粗軋中間坯圖像上，同時將覆蓋區域內的像素重新排列并計算中值，再以該中值代替覆蓋區域的中心像素。

2) 基于灰度直方圖的閾值分割法。中間坯圖像灰度與背景有明顯差異，圖像是包含著2個峰的雙峰直方圖，兩峰之間的波谷對應于對象邊緣附近相對較少數目的點，可根據峰的形狀確定閾值，對圖像進行二值化處理。

3) 圖像形態學運算。二值化之后的所得到的邊界往往不是平滑的，中間坯區域由于氧化鐵皮、冷卻水殘留也會出現一些噪聲孔洞，通過圖像形態學的膨脹、腐蝕、開和閉運算可有效消除中間坯上的“孔洞”和背景上的4鄰域不連通區域，結果如圖7(b)所示。

4) 基于Canny 算子的輪廓提取。使用Canny算子來計算與的2個偏導矩陣，然后采用非極值抑制技術對濾去噪聲的圖像進行處理，得到最后的邊緣圖像，并采用Freeman鏈碼描述中間坯輪廓邊界。如圖7(c)所示使用Canny算子的邊緣檢測可以很好地區分出中間坯的邊緣，并且保持了邊緣的連續性和完 整性。

(a) 原始圖像；(b) 形態學運算；(c) 輪廓提取

2.5 基于中間坯厚度的坐標轉換

內通過相機標定可以確定相機內參以及輥道平面的外參，從而確定了輥道平面上點的世界坐標與圖像坐標之間的轉換關系，當中間坯厚度為s時，中間坯上表面平面的外參相對于輥道平面發生了改變，此時投影矩陣變為

根據輪廓提取步驟得到的中間坯輪廓點圖像坐標，經過式(4)的計算后，可以得到中間坯輪廓的實際坐標。

2.6 圖像拼接

為了獲取中間坯全長的鐮刀彎信息，需要將具有重疊區域的局部中間坯圖像進行拼接。在實際生產過程中中間坯在輥縫內會出現跑偏現象，同時當鐮刀彎出現時，軋機出口的中間坯會出現彎曲。以中間坯為參考系，CCD相機運動，2次拍攝的區域如圖8所示，拍攝區域除了中間坯運動引起的沿長度方向的平移，還會出現沿寬度方向的平移(對應跑偏)和轉動(對應鐮刀彎)。

圖像拼接流程如圖9所示，通過對輪廓點縱坐標的比較，完成操作側、傳動側輪廓的分類，針對操作側和傳動側輪廓，分別通過測速儀獲取的軋件速度與相機的拍攝頻率計算2次拍攝間隔中間坯長度方向的運動距離，通過中間坯邊緣連續變化的特點確定沿寬度方向輪廓平移距離和輪廓整體旋轉量，最后通過操作側和傳動側輪廓數據計算得到的值取平均值，完成對整體中間坯輪廓的拼接。

圖8 運動中間坯鐮刀彎引起的相機視野內坐標系變化

2.7 鐮刀彎信息提取

圖9 中間坯局部圖像拼接過程

(a) “C”形彎；(b) “S”形彎；(c) 頭、尾局部彎

其中：為中間坯鐮刀彎彎曲量，單位為mm，其正負可以用來表示中間坯的彎曲方向，正值表示彎向傳動側，負值表示彎向操作側。

3 測量系統安裝及驗證

系統安裝在某廠熱連軋粗軋機R2出口后，連續獲取的中間坯圖像經過圖像處理、輪廓提取、坐標轉化和圖像拼接，最終獲取中間坯的平面形狀，圖11所示為3種不同彎曲形式的中間坯形狀。

圖11 粗軋中間坯平面形狀

熱連軋生產節奏快、板坯溫度高，因此，難以進行人工離線測量。為了驗證測量系統的檢測精度，在獲取中間坯的平面形狀之后，通過中間坯兩側邊緣中值確定中心線，并與粗軋機出口的測寬儀獲取的中間坯中心線進行比較。圖12所示為與圖11對應的中間坯CCD檢測結果與通過測寬儀測量的中心線偏移量，通過比較可知這2種測量方法測得的中間坯平面形狀形式是一致的，且具有相同的細部特征。但采用CCD測量的中間坯中心線偏移量明顯大于通過測寬儀測量的結果，這也從側面證明了采用測寬儀測量的結果因為沒有考慮中間坯整體的旋轉會引起測量結果偏小。

(a) 1號中間坯；(b) 2號中間坯；(c) 3號中間坯1—測寬儀測量中心線；2—CCD測量中心線。

系統投入應用后運行穩定，生產檢驗結果證明，在R2粗軋機不同道次軋制之前，可以給軋機操作人員10 s左右的預告時間。在這個時間內，軋機操作人員可以根據操作畫面顯示的板坯形狀對軋機進行相關優化設置，從而減少甚至消除鐮刀彎對軋制的影響。

4 結論

1) 為了克服現有測量方法存在的缺陷，實現熱軋中間坯鐮刀彎缺陷的在線非接觸測量，提出了一種由面陣CCD相機、激光測速儀、安裝支架及冷卻設備組成的鐮刀彎測量系統。

2) 利用亞像素精確定位的角點檢測技術完成了相機的標定，并通過引入厚度變量實現了不同厚度中間坯輪廓圖像坐標向實際坐標的轉化，最后通過中間坯邊緣輪廓連續變化的原理完成圖像拼接。

3) 測量系統及算法可以獲得完整的中間坯平面圖像及鐮刀彎值，滿足工程需要。同時，測量系統機械結構簡單、易于維護，算法具有較高的魯棒性和計算效率，適用于工業生產現場中間坯鐮刀彎的在線實時測量。

[1] KANG Y, JANG Y, CHOI Y, et al. An improved model for camber generation during rough rolling process[J]. ISIJ International, 2015, 55(9): 1980?1986.

[2] WANG Haiyu, YANG Quan, WANG Xiaochen, et al. Study and application of camber control model of intermediate slab in rough rolling[J]. Journal of Iron and Steel Research International, 2014, 21(9): 817?822.

[3] JEONG D, KANG Y, JANG Y J, et al. Development of FEM simulator combined with camber reducing output feedback fuzzy controller for rough rolling process[J]. ISIJ International, 2013, 53(3): 511?519.

[4] 陳江寧. 現代寬厚板特殊檢測儀表的應用與展望[J]. 自動化儀表, 2001, 22(1): 1?5, 8. CHEN Jiangning. The application and prospects of modern special detecting instrument for the heavy plate[J]. Process Automation Instrumentation, 2001, 22(1): 1?5, 8.

[5] Harris Instrument Corporation. Continuous online camber measurement[EB/OL]. [2016?01?01]. http://harris-instrument. com/wp-content/uploads/2016/01/HIC-Continuous-Online-Camber- Measurement-1.pdf

[6] 張向磊. 基于線陣相機的帶鋼鐮刀彎在線檢測技術研究[D]. 北京: 北京科技大學機械工程學院, 2009: 50?67.ZHANG Xianglei. Research on online detection technique of sickle-curved strip steel using line scan camera[D]. Beijing: University of Science and Technology Beijing. School of Mechanical Engineering, 2009: 50?67.

[7] 李毅杰, 王力飛, 孫一康, 等. 線陣CCD用于熱軋帶鋼頭部形狀檢測[J]. 北京科技大學學報, 1994, 16(3): 280?282, 288. LI Yijie, WANG Lifei, SUN Yikang, et al. Detecting the shape of hot strip head area with linear CCD[J]. Journal of University of Science and Technology Beijing, 1994, 16(3): 280?282, 288.

[8] 雷鳳翔. 熱軋帶鋼端部形狀視覺檢測研究[D]. 天津: 河北工業大學控制科學與工程學院, 2014: 13?14.LEI Fengxiang. Research on vision detection of the hot rolled strip end’s shape[D]. Tianjin: Hebei University of Technology. School of Control Science and Engineering, 2014: 13?14.

[9] KAMPMEIJER L, HOL C, DE R J, et al. Strip tracking measurement and control in hot strip rolling[J]. Metallurgia Italiana, 2014, 106(3): 29?34.

[10] EICHERT G, DEVORICH S. Position and camber measurement in the hot rolling process: EMG hotCAM[C]// Proceedings of the Iron and Technology Conference. Warrendale, PA, United States: Association for Iron and Steel Technology, 2013: 2329?2337.

[11] 何純玉. 中厚板軋制過程高精度側彎控制的研究與應用[D]. 沈陽: 東北大學材料與冶金學院, 2009: 98?124. HE Chunyu. Study and application of high accuracy camber control in plate rolling[D]. Shenyang: Northeastern University. School of Materials and Metallurgy, 2009: 98?124.

[12] OLLIKKALA A V H, KANANEN T P, MAKYNEN A J, et al. Camera-based curvature measurement of a large incandescent object[C]// Proceedings of SPIE: the International Society for Optical Engineering. Bellingham, WA, United States: Society of Photo-Optical Instrumentation Engineers, 2013: 87883D1?6.

[13] MONTAGUE R J, WATTON J, BROWN K J. A machine vision measurement of slab camber in hot strip rolling[J]. Journal of Materials Processing Technology, 2005, 168(1): 172?180.

[14] FRAGA C, GONZALEZ R C, CANCELAS J A, et al. Camber measurement system in a hot rolling mill[C]// Conference Record of the 2004 IEEE Industry Applications Conference: 39th IAS Annual Meeting. Piscataway, NJ, United States: Institute of Electrical and Electronics Engineers Inc, 2004: 897?902.

[15] YANG Y Y, CHEN C M, HO C Y, et al. Development of a camber measurement system in a hot rolling mill[C]// Conference Record: IEEE Industry Applications Society Annual Meeting. Piscataway, NJ, United States: Institute of Electrical and Electronics Engineers Inc, 2008: 379?384.

[16] LEE J, CHOI Y J. Development of camber and steering control system in hot strip mill[C]// 19th IEEE International Conference on Emerging Technologies and Factory Automation, ETFA 2014. Piscataway, NJ, United States: Institute of Electrical and Electronics Engineers Inc, 2014: 1?4

[17] KONG N, YOO J, LEE J, et al. Vision-based camber measurement system in the endless hot rolling process[J]. Optical Engineering, 2011, 50(10): 107202?107210.

[18] YOO J, LEE W, KONG N, et al. An edge detection algorithm for steel bar in hot rolling process (ICCAS 2014)[C]// International Conference on Control, Automation and Systems. Gyeonggi-do, Korea: IEEE Computer Society, 2014: 1389?1391.

[19] ZHANG Zhengyou. Flexible camera calibration by viewing a plane from unknown orientations[C]// Proceedings of the IEEE International Conference on Computer Vision. Piscataway, NJ, United States: Institute of Electrical and Electronics Engineers Inc, 1999: 666?673.

[20] BELLAVIA F, TEGOLO D, VALENTI C. Improving Harris corner selection strategy[J]. IET Computer Vision, 2011, 5(2): 87?96.

[21] 譚曉波. 攝像機標定及相關技術研究[D]. 長沙: 國防科學技術大學機電工程及自動化學院, 2004: 32?34. TAN Xiaobo. Study on calibration and its correlation technique[D]. Changsha: National University of Defense Technology. Institute of Mechanical and Electrical Engineering & Automation, 2004: 32?34.

[22] 葉明, 王惠文, 寇薇. 大規模曲線的自動分類方法及其應用[J]. 系統管理學報, 2010, 19(6): 640?644.YE Ming, WANG Huiwen, KOU Wei. Automatic classification method of large-scale curves and application[J]. Journal of Systems & Management, 2010, 19(6): 640?644.

Vision-based camber on-line measurement system in hot rough rolling

XU Dong, YANG Quan, WANG Xiaochen, SUN Youzhao, LIU Kedong, DAI Zhenyang

(National Engineering Research Center of Flat Rolling Equipment, University of Science and Technology Beijing, Beijing 100083, China)

To achieve non-contact and on-line measurement of camber in a hot rolling, the design and implementation of an image-based computer vision measurement system was proposed. In order to capture the plane images of intermediate slab, the area-scan charge-coupled device (CCD) camera was installed at the exit of the rough mill. The camber-detection algorithm consists of three parts. Firstly, the camera was calibrated by subpixel corner detection. Secondly, by introducing the thickness variable, the relationship between the physical positions on the intermediate slab and their relative image positions was formulated. Finally, the translation along the width direction and the rotation were calculated using the continuity of the intermediate slab edge shape, and then each frame capture with overlapped regions from the CCD camera was stitched. The results show that the propose camber measurement system and camber-detection algorithm can achieve the overall slab shape and camber values from the obtained image. The equipment and technique are validated through comparison with center-line deviation measured by width gauge. The accuracy of the system reflects that it can reflect the detailed character of the shape of intermediate slab, which provides a potential measurement tool for camber control.

hot rough rolling; camber; machine vision; measurement system

10.11817/j.issn.1672-7207.2018.07.012

TP391.4

A

1672?7207(2018)07?1657?10

2017?07?10；

2017?09?17

國家自然科學基金資助項目(51604024)；中央高?；究蒲袠I務費專項資金資助項目(FRF-TP-17-002A2)；清華大學摩擦學國家重點實驗室開放基金資助項目(SKLTKF16B11)；北京市自然科學基金資助項目(3182026) (Project(51604024) supported by the National Natural Science Foundation of China; Project(FRF-TP-17-002A2) supported by the Fundamental Research Funds for the Central Universities; Project(SKLTKF16B11) supported by the Tribology Science Fund of State Key Laboratory of Tribology; Project(3182026) supported by the Beijing Natural Science Foundation)

徐冬，博士，從事板帶軋制過程板形與表面形貌控制研究；E-mail: xudong@ustb.edu.cn

(編輯 楊幼平)