基于相機標定和最大連通區域算法的指針式儀表讀數識別

徐遵義 韓紹超

摘 ?要： 針對現有指針式儀表判讀技術很少利用攝像機標定參數，自動判讀準確度較低，無法滿足工業生產實際需求的現狀，提出將攝像機標定技術應用于圓形指針式儀表的自動判讀，極大地減少了攝像機自身在圖像采集過程中產生的誤差;提出基于最大連通區域的儀表輪廓識別方法，提高了圓形儀表輪廓檢測速度。利用SIFT算法進行儀表圖像的關鍵點提取，利用模板匹配的方式實現圖像中儀表的傾斜校正。實驗結果表明，該方法的檢測精確度可以達到95%以上，檢測效率較傳統方法提高了30%左右。

關鍵詞： 指針式儀表; 攝像機標定; 特征提取; 模板匹配; Hough變換; 最大連通區域

中圖分類號： TN911.73?34; TP216 ? ? ? ? ? ? ? ? ?文獻標識碼： A ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）09?0046?05

Pointer instrument reading recognition based on camera calibration

and maximum connected region algorithm

XU Zunyi， HAN Shaochao

（School of Computer Science and Technology， Shandong Jianzhu University， Jinan 250101， China）

Abstract： The camera is rarely used in existing automatic reading recognition technologies of pointer instrument for parameter calibration， and the low accuracy of automatic reading recognition can′t meet the actual needs of industrial productions. Therefore， the camera calibration technology is proposed for the automatic reading recognition of the circular pointer instruments to greatly reduce the camera′s error generated in the process of image acquisition. The instrument′s contour recognition method based on maximum connected region is presented to improve the detection speed of the circular instrument contour. The SIFT algorithm is used to extract the key points of the instrument image. The template matching method is adopted to correct the instrument tilt in the image. The experimental result shows that the detection accuracy of this method can reach up to 95%， and the detection efficiency is improved by about 30% than that of the traditional method.

Keywords： pointer instrument; camera calibration; feature extraction; template matching; Hough transformation; maximum connected region

0 ?引 ?言

指針式儀表是一種重要的工業測量儀表，以結構簡單、靈敏度高、受外界環境影響較小而廣泛應用于電力、冶金等工業領域[1?2]。但指針式儀表沒有數據傳輸接口，不能將測量值直接傳入計算機等設備進行處理，因此，在對工業生產中數量龐大的指針式儀表進行數據采集時，存在勞動強度大、讀數誤差大等問題[3]。在許多工業生產領域如電廠，由于存在嚴重的電磁輻射等影響因素，數字式儀表的使用受到諸多限制，在未來相當長的時間內大量指針式儀表在工業生產領域仍然是主要的測量傳感器。

為解決指針式儀表自動讀數識別問題，基于機器視覺的指針式儀表自動判讀技術被廣泛采用[4?5]，目前采用的主要算法有：經典的檢測圓的Hough變換算法[6?8]，檢測直線的Hough變換算法[9?10]、最小二乘法[3]、總體最小二乘法[11]、Bresenham畫線法[12]以及基于區域生長的算法[13]等，在實驗室環境下其識別準確率可以達到90%以上。此外，基于模板匹配和查表法的儀表讀數識別方法也取得了比較高的識別精度[14]。但由于工業環境下相機誤差、拍攝角度、光照等因素的影響，采集到的儀表圖像帶有不同程度的畸變和模糊，嚴重影響了識別準確率和識別效率，仍然不能滿足工業生產中高精度和實時性的要求。

針對相機畸變誤差，本文提出將相機標定技術引入到指針式儀表判讀中。通過對相機進行標定求取相機內外參數，利用得到的相機參數對原始儀表圖像進行畸變校正。并提出基于最大連通區域的儀表輪廓識別方法，提高圓形儀表輪廓檢測速度和精度，從而提高最終的讀數識別效率和精確度。

1 ?基于相機標定技術的指針式儀表自動讀數

空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系是由攝像機成像的幾何模型決定的，幾何模型參數即為攝像機參數。由于相機鏡頭制作材料及制作工藝的不同，采集到的圖像通常帶有不同程度的畸變。對于指針式儀表圖像，畸變會使圖像中的儀表輪廓以及指針線發生不同程度的變形，并且越靠近儀表圖像邊緣，變形越明顯，導致獲取到的儀表圖像存在不同程度的扭曲。為了提高儀表輪廓以及指針線檢測的精確度，盡量減少儀表圖像畸變至關重要，因此，本文將相機標定技術引入指針式儀表自動判讀。

基于相機標定技術的指針式儀表自動判讀技術工作流程為：首先對相機進行標定，獲取其內外參數;其次使用該相機采集指針式儀表圖像并進行預處理;然后利用該相機參數進行圖像畸變校正，利用SIFT算法提取關鍵點并進行模板匹配實現旋轉校正;最后利用機器視覺相關算法檢測出儀表輪廓和指針線，根據指針線角度以及儀表刻度信息計算出當前儀表讀數。完整的讀數識別過程如圖1所示。

圖1 ?基于相機標定的指針式儀表自動判讀流程圖

用[Mx，y，z]表示世界坐標系中的某點，[mu，v]表示圖像平面上的對應點，它們的齊次坐標分別表示為[Mx，y，z，1]和[mu，v，1]，則攝像機成像模型可用式（1）表示[15]：

式中：[ax]，[ay]分別表示[u]軸和[v]軸的尺度因子;[γ]表示[u]軸和[v]軸的不垂直因子。相機標定的目的就是求得內參數矩陣[A]、旋轉矩陣[R]以及平移矩陣[t]，利用這些參數值實現圖像中目標物體的校正。

目前，攝像機標定方法主要有：基于3D立體靶標的相機標定、基于徑向約束的相機標定和基于2D平面靶標的相機標定等。本文采用基于二維標定板的標定方法，即張正友標定法。所采用的二維標定板如圖2所示，利用同一相機在不同角度對標定板進行圖像采集，首先計算出外參數矩陣，然后利用極大似然估計法求得內參數矩陣。

圖2 ?二維標定板

經過該標定過程，可以很容易地獲取到攝像機的內參數矩陣[A]、旋轉矩陣[R]以及平移矩陣[t]，利用這些參數對該相機所采集的儀表圖像進行相應參數的逆變換，達到對儀表圖像畸變校正的效果。

2 ?最大連通區域法檢測輪廓

為了確定指針線位置，儀表輪廓的檢測是指針式儀表自動判讀技術的一個重要步驟。在二維圖像平面中檢測圓形物體常用的是Hough變換算法。但是由于執行Hough變換算法時，需要對圖像中的每個像素點進行轉換處理，因此會消耗大量的計算時間和內存空間。本文根據圓形指針式儀表表盤結構特點，提出基于最大連通區域的儀表輪廓識別方法。

圖像中感興趣的物體是由一系列像素點組成的。為了獲取物體所在區域，本文利用8鄰域法分析兩個像素點是否連通，即判斷該像素點是否位于另一像素點的8個鄰域方向上[16]，8鄰域法如圖3所示。

圖3 ?8鄰域法像素點關系圖

本文采用深度優先搜索算法進行儀表圖像的8鄰域法搜索以獲取儀表輪廓的像素點集合。具體算法為：反復搜索圖像中未被處理的像素行，當判斷出該行中某個像素點屬于物體的輪廓像素點后，接著搜索與此像素點交疊的上下兩個像素行，利用8鄰域規則判斷搜索行中的每個像素點是否屬于參考像素點的鄰域點，執行該過程的偽代碼如下所示：

算法：最大連通區域搜索算法框架

1.輸入指針式儀表二值圖像。

2.逐行掃描每一個未經處理的像素點，對于每一個未經處理像素點，逐行搜索其上下兩行，按照8鄰域規則判斷所掃描像素點的像素值是否屬于參考像素點所在連通區域幾何的元素，若是，加入該集合并繼續搜索;否則，不加入并繼續搜索。

3.通過所得的多個像素點的集合，計算其中所含像素個數最多的像素集合，由此得出最大連通區域所在的像素點集合。

4.輸出最大連通區域所在像素集合。

通過最大連通區域搜索算法，可以獲取到儀表二值化圖像中表盤所在的圓。最大連通區域算法的檢測效果及提取出的儀表感興趣區域如圖4所示。

圖4 ?最大連通區域識別效果及ROI

3 ?仿真實驗

基于相機標定的最大連通區域算法的圓形指針式儀表自動判讀技術處理過程如圖1所示，其中關鍵點提取與模板匹配、讀數識別是主要處理過程。

3.1 ?關鍵點提取與模板匹配

由于拍攝角度以及相機位置等原因，圖像中的儀表通常會帶有一定的旋轉角度，導致計算出的指針線角度存在誤差。為了降低檢測誤差，需要進一步對圖像中的指針式儀表進行旋轉校正。本文通過提取儀表圖像的關鍵點，利用關鍵點將待測儀表圖像與模板圖像進行匹配的方式實現旋轉校正。

首先分別檢測模板圖像與待校正圖像中的關鍵點，即對于位置、尺度、旋轉等均不變的特征點。將模板圖像與待測圖像中的對應關鍵點分別表示為向量形式，形成每個關鍵點的特征向量，通過匹配特征向量校正待測圖像。待測圖像與模板圖像的匹配效果如圖5所示，待測圖像校正前與校正后的效果如圖6所示。由此可見，圓形指針式儀表圖像的旋轉校正對識別指針線角度計算讀數階段的精確度具有較大影響，因此，指針式儀表旋轉校正可以極大地提高識別精確度。

圖5 ?待測圖像與模板圖像的匹配效果

圖6 ?待測圖像校正前后效果

3.2 ?指針線角度計算及讀數識別

當前常用的檢測指針線的方法是Hough變換算法，該方法利用笛卡爾坐標空間與極坐標空間的對偶性。但考慮到儀表中的指針線可能較粗，直接進行直線檢測時會出現偏差，甚至檢測到多條直線，因此本文首先對指針線區域進行細化操作，提取出指針線的骨架，其基本原理可用式（3）表示，而后利用Hough變換算法檢測指針所在直線。原始圖像與檢測效果如圖7a），圖7c）所示。

圖7 ?儀表圖像細化結果

4 ?實驗結果分析

4.1 ?實驗結果

本文分別對相機畸變校正、圓形儀表旋轉校正、改進的Hough變換算法以及指針線細化等進行相關實驗，并與其他傳統檢測方法進行對比，其檢測精確度均有很大提高。

首先利用相機標定的內部參數（見表1），對原始儀表圖像進行畸變校正，并且利用圖像方差評估畸變大小，如表2所示。實驗結果表明，盡管當前攝像機制作水平已相當成熟，但仍然存在較小程度的畸變。通過標定過程消除畸變，可以更加準確地定位表盤圓心及半徑。

表1 ?相機內參標定結果

表2 ?圖像標定前后誤差對比

為了消除儀表旋轉角度，使讀數更精確，通過匹配待測儀表圖像以及模板圖像中關鍵點的方式進行儀表旋轉校正，將校正后的儀表圖像的檢測讀數與未經校正的儀表讀數進行識別精確度的對比，結果如表3所示。可以看出，當儀表存在較大旋轉角度而不進行旋轉校正時，識別精確度會出現很大偏差。

表3 ?旋轉校正結果對比

針對傳統的Hough變換算法檢測效率較低的問題，本文提出基于最大連通區域的圓形儀表輪廓檢測方法，具體檢測數據如表4所示。實驗證明，該檢測方法對識別精確度有較好的魯棒性，檢測效率明顯提高。

表4 ?連通區域法與Hough變換法結果對比

最后本文對采集到的三幅儀表圖像進行自動判讀實驗，并將判讀結果與傳統判讀方式進行精確度與識別效率的對比，如表5所示。實驗結果證明，該判讀方法具有很高的精確度，并且基本可以達到實時檢測的效果。

表5 ?三組儀表圖像實驗效果對比

4.2 ?誤差分析

經實驗驗證，本文提出的圓形指針式儀表自動判讀方法具有很高檢測精確度與檢測效率。產生判讀誤差的原因主要是：本實驗尚未充分考慮儀表曝光問題，所用實驗數據均采集于自然光照條件下，導致對儀表進行預處理時，難以控制閾值的選擇。后期可以通過控制曝光時間和光照飽和度來采集更加清晰的指針式儀表圖像，以獲得更高的識別精確度。

5 ?結 ?語

本文通過對相機進行標定獲取相機參數，對儀表圖像進行畸變校正。利用SIFT提取關鍵點并進行模板匹配實現儀表的旋轉校正。提出最大連通區域算法，進行儀表輪廓的識別與提取，較傳統的Hough變換算法，檢測圓形輪廓在效率上有了很大提高。進行指針線檢測時，首先對指針區域進行細化操作，避免了由于指針線較粗而增大檢測誤差的問題。最后利用指針角度法計算出當前儀表圖像中的儀表讀數。

由于本文尚未充分考慮圖像采集時的曝光時間和曝光強度，因此在進行輪廓和指針線檢測時仍然存在少量誤差，后期可通過設定曝光時間與強度，獲取到更加清晰的指針式儀表圖像進行處理，進而得到更高的識別精確度和效率。

參考文獻

[1] ZHENG C， WANG S， ZHANG Y， et al. A robust and automatic recognition system of analog instruments in power system by using computer vision [J]. Measurement， 2016， 92： 413?420.

[2] HAN J， LI E， TAO B， et al. Reading recognition method of analog measuring instruments based on improved Hough transform [C]// 2011 IEEE International Conference on Electronic Measurement & Instruments. Chengdu： IEEE， 2011： 337?340.

[3] YANG B， LIN G， ZHANG W. Auto?recognition method for pointer?type meter based on binocular vision [J]. Journal of computers， 2014， 9（4）： 787?793.

[4] 李勇.指針式表盤的自動識別技術研究及實現[D].鄭州：鄭州大學，2015.

LI Yong. Analog dial indicator automatic identification technology and its realization [D]. Zhengzhou： Zhengzhou University， 2015.

[5] 王欣.智能變電站指針式儀表自動識別方法的研究[D].沈陽：沈陽工業大學，2016.

WANG Xin. Intelligent substation pointer instrument automatic identification method [D]. Shenyang： Shenyang University of Technology， 2016.

[6] 陶冰潔，韓佳樂，李恩.一種實用的指針式儀表讀數識別方法[J].光電工程，2011，38（4）：145?150.

TAO Bingjie， HAN Jiale， LI En. A practical method of pointer meter reading identification [J]. Opto?electronic engineering， 2011， 38 （4）： 145?150.

[7] GUAN Y， ZOU Y， HUANG B， et al. Pointer?type meter rea?ding method research based on image processing technology [C]// 2010 IEEE the Second International Conference on Networks Security Wireless Communications and Trusted Compu?ting. Chengdu： IEEE， 2010： 107?110.

[8] 朱桂英，張瑞林.基于Hough變換的圓檢測方法[J].計算機工程與設計，2008，29（6）：1462?1464.

ZHU Guiying， ZHANG Ruilin. Circle detection based on Hough transform [J]. Computer engineering and design， 2008， 29（6）： 1462?1464.

[9] 王欣，孫鵬.智能變電站中指針式儀表圖像自動識別方法[J].電氣技術，2016，17（5）：7?10.

WANG Xin， SUN Peng. An automatic identification method of pointer instrument image in intelligent substation [J]. Electrical technology， 2016， 17（5）： 7?10.

[10] 李祖賀，劉嘉，薛冰，等.面向自動校驗系統的指針式壓力表讀數識別[J].計算機工程與應用，2016，52（23）：213?219.

LI Zuhe， LIU Jia， XUE Bing， et al. Reading identification of pointer pressure gauge for automatic verification system [J]. Journal of computer engineering and applications， 2016， 52（23）： 213?219.

[11] WANG Q， TANG X， DING C， et al. Automatic alignment system based on center point recognition of analog measuring instruments dial [C]// 2013 Annual Conference of the IEEE Industrial Electronics Society. Vienna： IEEE， 2013： 5532?5536.

[12] BELAN P A， ARAUJO S A， LIBRANTZ A F H. Segmentation?free approaches of computer vision for automatic calibration of digital and analog instruments [J]. Measurement， 2013， 46（1）： 177?184.

[13] LIU J， LIU Y， YU L. Novel method of automatic recognition for analog measuring instruments [C]// 2015 International Conference on Manufacturing Science and Engineering. [S.l.]： Atlantis Press， 2015： 67?74.

[14] 莫文雄，裴利強，黃青丹，等.基于模版匹配和查表法的高精度指針式儀表自動檢定系統研制[J].電測與儀表，2017，54（12）：100?105.

MO Wenxiong， PEI Liqiang， HUANG Qingdan， et al. Deve?lopment of automatic verification system of high precision pointer instrument based on template matching and look?up table [J]. Journal of electric instruments and devices， 2017， 54（12）： 100?105.

[15] ZHANG Z. Flexible camera calibration by viewing a plane from unknown orientations [C]// Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra： IEEE， 1999： 666?673.

[16] STEGER Carsten，ULRICH Markus.機器視覺算法與應用[M]. 楊少榮，吳迪靖，段德山，譯.2版.北京：清華大學出版社，2009：155?159.

STEGER Carsten， ULRICH Markus. Machine vision algorithms and applications [M]. Translated by YANG Shaorong， WU Dijing， DUAN Deshan. 2nd ed. Beijing： Tsinghua University Press， 2009： 155?159.