巡檢機器人中指針式儀表示數的自動識別方法

孫婷 馬磊

摘 要：針對巡檢機器人室外自主識別儀表示數易受到光照影響的問題，在研究了基于二維伽馬函數的儀表圖像光照不均勻自適應校正算法的基礎上，提出了基于最大穩定極值區域（MSER）提取指針區域的算法。首先，通過三尺度高斯函數提取光照分量，構造二維伽馬函數自動地調整圖像反光區域或過暗區域的亮度;然后，通過MSER的兩次穩定區域檢測提取指針區域;接著，以指針通過儀表軸心為條件，用細化算法和累計概率霍夫變換（PPHT）精確地定位到指針，提高了定位直線的準確度;最后，通過PPHT檢測的直線兩個端點與軸心位置比較，直接可以判斷指針指向，更加方便了計算示數。實驗結果表明，所提的儀表示數識別方法能夠適應不同光照下、不同類型儀表的指針定位，且識別示數的正確率達到94%以上。

關鍵詞：二維伽馬函數;指針區域提取;最大穩定極值區域（MSER）;細化算法;累計概率霍夫變換（PPHT）

中圖分類號： TP216; TP391.413

文獻標志碼：A

Abstract： In the outdoor working environment of inspection robots， recognizing the number of meter was susceptible to illumination. An adaptive adjustment algorithm for meter images based on 2D-Gamma function was studied. Then an algorithm based on Maximally Stable Extremal Region （MSER） was proposed to extract the pointer. Firstly， the reflection component was extracted by three-scale Gaussian functions， 2D Gamma function was constructed to automatically adjust brightness of the reflected or overshadowed region of image. Secondly， the pointer region was extracted through two MSER detections. Thirdly， on the condition that the pointer passed through the axis of dial， the pointer was precisely positioned by thinning algorithm and Progressive Probabilistic Hough Transform （PPHT） to improve the accuracy of positioning lines. Finally， on basis of comparing the positions of two endpoints by PPHT with axis， the direction of pointer was directly determined， thus calculating the number was more convenient. The experimental results show that the proposed method can deal with different types of meters under different lighting conditions. Moreover， the correct rate of identification reaches over 94%.

Key words： 2D-Gamma function; extraction of pointer region; Maximally Stable Extremal Region （MSER）; thinning algorithm; Progressive Probabilistic Hough Transform （PPHT）

0 引言

指針式儀表因其實用性好、可靠性高、成本低、抗電磁干擾能力較好等特點，被廣泛應用于電力系統，因此需要對這類儀表示數進行識別達到監控設備的目的。在傳統的人工巡檢耗時、耗力、低效的背景下，電力巡檢機器人[1]應運而生。若要求巡檢機器人代替人工巡檢，那么自主而準確讀取不同工況下各個儀表的示數是其必備的核心功能之一。

由于巡檢機器人室外工作的環境，需要考慮到光照等天氣情況的影響。Liu等[2]利用小波變換提取邊緣點，再利用最小二乘法擬合指針所在的直線，但是該方法對噪聲比較敏感。Jian等[3]針對儀表反光的現象，利用輪廓特征對幾何圖形進行擬合，以某一固定特征為參考位置，根據位置關系讀取示數。該方法能減少光照影響，但若光照影響了指針輪廓提取，效果會不理想。許麗等[4]提出迭代最大類間方差算法，能夠提取不同光照條件下的指針區域，再利用霍夫變換（Hough Transform， HT）定位到指針。針對消除光照反射影響的問題，Tan等[5]根據反射模型采用位編碼的漫反射圖片估計去除高光后的圖片，由于需要進行顏色分割，所以部分情況下適用。Lee等[6]利用直方圖均衡化進行圖像增強，但存在色彩失真等問題?；赗etinex理論[7]的算法以色彩恒常性為基礎，在原圖像中估算出亮度圖像，保留反射圖像來消除光照的影響。該算法一定程度上可以消除亮度不均，但在亮度突變區域易產生光暈現象。Elad[8]提出的基于雙邊濾波的Retinex算法，利用雙邊濾波對原圖像平滑計算亮度圖像，該算法去光照效果較好，但是雙邊濾波耗時較長。

本文首先對儀表圖像進行預處理，其中主要研究了去除光照不均勻下的問題，采用了二維伽馬函數[9]校正亮度。該算法采用高斯模糊提取亮度圖像，根據亮度分布特性構造二維伽馬函數自適應校正圖像亮度。由于傳統的二值化算法難以適應不同條件下指針區域的提取，根據指針區域與表盤區域灰度差異，提出了基于最大穩定極值區域（Maximally Stable Extremal Region， MSER）算法得到最穩定的區域即儀表指針，然后利用細化算法[10]細化指針，便于累計概率霍夫變換（Progressive Probabilistic Hough Transform， PPHT）檢測直線定位到指針。在表盤上構建坐標系，根據指針的指向求解出指針的示數，最后通過實驗驗證本文算法識別儀表示數的有效性。

1 圖像預處理

由于室外光照、噪聲等因素的影響，在識別提取到的儀表示數之前對圖像進行預處理，包括二維伽馬函數[9]校正圖像的不均勻光照、中值濾波去噪、灰度化。

1.1 光照不均勻校正

1.1.1 Retinex理論

根據Retinex理論，對于一幅給定的圖像S（x，y）可以看作由入射圖像（亮度圖像）L（x，y）和反射圖像R（x，y）構成，如式（1）所示：

其中：L（x，y）決定了圖像中像素可以達到的動態范圍;R（x，y）代表了物體反射能力，由物體本身決定。Retinex理論的主要思想就是在原始圖像中，選取某種方法最大限度地降低入射圖像的影響，保留物體本身屬性的反射圖像，如式（2）所示：

一般將亮度圖像估計為空間模糊圖像，如式（3）所示：

其中：為卷積符號;F（x，y）為中心環繞函數。由于采取高斯函數的方法可以在壓縮圖像亮度的動態范圍同時準確估計圖像中照度的變化，故本文采用的是高斯函數形式，如式（4）所示。F（x，y）S（x，y）為高斯函數與原圖像卷積，即為光照分量的估計值。

其中：c為高斯環繞尺度;λ為歸一化常數，其取值必須滿足F（x，y）dxdy=1。

1.1.2 三尺度高斯函數

根據高斯函數的特點，單個高斯環繞尺度c的取值難以同時兼顧壓縮動態范圍和保證對比度，故采取多尺度高斯函數[9，11]，如式（5）所示：

其中：N為高斯中心環繞函數個數;ωi為相應的權系數。經典的就是三尺度，包括大（c1=250）、中（c2=85）、小（c3=15），既可以有效壓縮圖像動態范圍，又可保持圖像局部特性，即N=3，ωi=1/3。

1.1.3 二維伽馬函數

提取出光照分量之后，可以根據光照的分布特性，自適應地校正圖像的亮度分布，伽馬校正可以實現圖像的亮度校正。本文采用的是利用光照分布特性調整二維伽馬函數的參數，構造的二維伽馬函數如式（6）所示：

其中：O（x，y）表示校正后的圖像;γ為亮度校正的指數值;α為γ的可變參數，取值范圍為（0，1];m為光照圖像的亮度均值。根據伽馬校正[12]的原理，灰度值較低的區域，α取值越小，γ越小，則圖像的動態范圍變大;灰度值較高的區域，α取值越小，γ越大，則圖像的動態范圍變大。

本文的應用場景是針對指針型儀表的，對于獲取的儀表圖像中，指針一般為黑色（深色）、表盤多數為白色（淺色）或兩者相反。圖像整體亮度提高后，便于后續有效提取出指針區域，經過實驗，取α=0.3效果較好。

因此，不均勻光照校正的算法具體步驟如下：

1）將圖像從RGB轉換到HSV空間，可單獨處理圖像的亮度空間（V）而不對圖像的色調（H）、飽和度（S）產生影響。

2）三尺度高斯函數與原圖像卷積，得到光照分量估計圖。

3）根據光照分布特性對二維伽馬函數進行參數調整，自適應校正原圖像光照的不均勻分布。

4）從HSV轉換為RGB空間，得到校正后的圖像。

原始圖像光照過暗，得到的實驗結果如圖1所示。圖1（b）為基于雙邊濾波的Retinex校正的結果，校正后的儀表亮度均勻提高了，但耗時較長，處理時間為10.620337s。圖1（c）為二維伽馬校正的結果，沒有出現色彩失真等現象，去光照效果較好，處理時間為1.048631s，耗時較短。

1.2 圖像預處理流程

在采集儀表圖像時會有噪聲的干擾，因此在經過不均勻光照處理之后，采用中值濾波去噪，但是平滑窗口的大小過大或過小，在一定程度上會造成圖像的模糊，本文采用的是5×5方形窗口，去除噪聲的同時不會造成過多細節的丟失，因此本文的圖像預處理的整體算法流程包括不均勻光照校正、中值濾波、灰度化處理。

2 儀表指針定位

儀表指針的定位分為兩步，包括提取指針區域、定位指針所在直線。提取指針區域的二值化算法，如全局閾值化、最大類間方差法等，一般受光照、背景等影響難以有效提取指針區域。針對以上問題，本文提出了基于MSER的指針區域提取算法。指針區域具有末端細、始端粗的特點，直接定位其所在直線存在偏差，所以本文采用了細化算法和PPHT檢測直線算法來定位指針。

2.1 MSER檢測

MSER[13-14]是基于分水嶺的概念，可以用于圖像的區域檢測，而且具有仿射不變性。Nister等[15]的實驗證明，該方法多數情況下在區域檢測中性能最佳，穩定較好，計算效率高且無需模糊操作便可實現多尺度檢測。該算法獲取的極值區域反映的是其集合中的像素值總大于或總小于其鄰域中的像素值，本文的區域指的是儀表指針所在區域，一般其指針區域和表盤區域灰度深淺程度相差比較大，能夠進行指針區域的有效提取。

2.1.1 原理簡介

MSER基本思想：對灰度圖像進行二值化操作，其閾值變化范圍為[0，255]，即圖像經歷一個從全黑到全白的過程。此過程中，有些連通區域面積隨閾值上升的變化很小，這些區域即為MSER，如式（7）所示：

其中：Qi表示檢測的第i個連通區域的面積;Δ表示較小的閾值變化量。當面積變化率V（i）小于指定的閾值時即被認為是MSER。這個檢測的過程稱為MSER+檢測過程。

MSER+檢測到的MSER內部灰度值小于邊界值，需要對圖像反轉后再進行MSER檢測，獲取內部灰度值大于邊界的區域，此過程稱為MSER-檢測。

2.1.2 算法步驟

基本的MSER檢測算法[14]實現的步驟包括像素點排序、生成極值區域、穩定區域判定、區域擬合和區域歸一化。

根據MSER檢測的原理，MSER+適合檢測深色區域淺色背景，MSER-適合檢測淺色區域深色背景?；镜腗SER檢測方法是將兩次檢測結果“相與”，取兩次結果相同的區域。

由于在獲取圖像過程中拍攝亮度不均的影響，即使在亮度校正之后，也不能保證兩次都能檢測出完整的指針區域，一直都提取相同的區域可能導致指針區域的不完整，因此，為了更準確得到指針區域，本文提出的基于MSER算法檢測的具體步驟如下：

2.2 細化算法

如圖2所示，指針儀表的指針特征多為始端粗、末端細，因此為了后續精確定位指針讀數，需要對其進行細化操作獲取其骨架，得到圖中的虛線。其中Zhang文獻10的作者不是Zhang，請作相應調整。請注意，在正文中對文獻引用要依編號次序進行，不能跳過某一編號的文獻?；貜停横槍ξ椅恼轮心岢龅膯栴}：第[10]篇文獻中的作者不是zhang，其實是這樣的，那篇文獻是在zhang細化算法基礎上做的，但是這個方法最開始是zhang提出來的，所以默認就是叫作zhang細化算法，第[10]篇文獻中也是這樣寫的，下面是第[10]篇文獻的摘要，請查看。所以此處寫為zhang細化算法沒有問題的，不作修改。細化算法[10]具有快速并行、細化后的曲線保持連通性和無毛刺等優點，因此本文采用該算法來細化指針。

Zhang細化算法是一個迭代算法，迭代過程分為兩步。對于邊界上的某一待判斷點P1，該點的八鄰域如圖3所示。

2.3 累計概率霍夫變換

霍夫變換（HT）[16-17]檢測直線的主要思想就是將圖像坐標系映射到它的參數空間，得到一些位置的峰點，通過統計峰值點得到符合直線形狀的集合。任意一條直線在直角坐標系可表示為y=kx+b，則在極坐標系中如式（11）所示：

其中： ρ表示原點到直線的距離;θ表示ρ中表示距離的垂線與x軸的夾角。

HT檢測直線具有較好的魯棒性和容錯性，但是不能獲取直線的兩個端點，不能自動判斷指針的指向，不利于后續讀數的判讀，因此采取累計概率霍夫變換（PPHT）。獲取了細化后的指針后，PPHT檢測指針直線的算法步驟如下所示。

1）隨機選取指針邊緣中某一點，判斷該點是否被標記為直線上的點，若未被標記轉步驟2）;否則繼續在剩下的邊緣點中隨機抽取，如此循環至所有的點都被標記。

2）采用HT對上述選取的點進行變換，包括累加和計算。

3）在參數空間內選取值最大的點，如果該點大于設定的閾值，則轉步驟4）;否則返回步驟1）。

4）根據HT得到的最大值，以該點為出發點，沿直線方向移動，找到線段的兩個端點L1（x1，y1）、L2（x2，y2）。

5）計算檢測到的線段長度，如果大于設定閾值，則認為找到了好的直線，返回步驟1）。

根據以上算法內容得到儀表指針提取以及定位的流程如圖4所示。

3 儀表指針讀數識別

如圖5構建儀表讀數坐標系，其中表盤刻度的最大值和最小值是關于Y軸對稱的。預先獲取的內容包括：最大刻度值Vmax、最小刻度值Vmin、表盤中心點位置M0（x0，y0）。與X正負軸相交的兩個表盤刻度分別為X1、X2，與Y正方向相交的刻度為Y1。

在細化指針時，由于指針轉動軸心處有小圓的影響，細化的完整的指針直線會有點彎曲，因此PPHT檢測直線的時候檢測的是圖中虛線部分，如圖5構建讀數坐標系，則兩個端點中X坐標絕對值小的為指針始端，絕對值大的即為指針末端。

4 實驗結果及分析

本文以Visual Studio 2015和OpenCV作為軟件開發環境，測試了提取出的指針式儀表的自動判讀問題。實驗結果將從指針區域提取、指針定位、儀表讀數三個方面進行分析驗證。

4.1 指針提取實驗結果

本文研究了不同光照下、不同條件下指針區域提取的問題，將最大類間方差法（Otsu）、基本的MSER檢測和本文提出的基于MSER算法包括校正光照前、后進行對比實驗，對于正常光照、儀表面反光、過暗光照三種條件下實驗結果如圖6～8所示。

分析實驗結果可知，在指針區域提取方面，Otsu算法和基本的MSER檢測都只能在正常光照下較好地分割出指針區域，光照過暗或者存在反光現象時都無法提取。本文算法包括光照校正和MSER算法檢測，從圖7（c）、（d）和圖8（c）、（d）實驗對比中可以看出光照校正的有效性，本文MSER算法能提取較完整的指針區域，能夠適應各種光照條件，對光照具有較好的魯棒性;同時本文算法能夠更好地抑制指針周圍背景的影響，較好地去掉多余的背景區域。

4.2 指針定位實驗結果

針對不同情況下不同類型的儀表的指針直線定位的實驗結果如圖9所示，圖中檢測的直線即為定位的指針，直線的兩端為檢測的兩個端點，利于后續讀數判斷指針的指向。傳統的HT和PPHT算法在檢測直線都存在參數難調的問題，但本文的基于細化算法的PPHT檢測直線的方法一定程度上克服了需要不斷調參的缺點。

4.3 儀表讀數實驗結果

為了驗證儀表讀數的準確性，本文在變電站拍攝的儀表圖片中選取了49張儀表圖，進行讀數的識別，其中的13組識別結果和人工讀取的結果如表1所示。雖然在示數較小時相對誤差較大，但是總體的正確率達到了94%以上，能夠滿足變電站對儀表示數監控的要求，在示數超過正常范圍時進行提示。

5 結語

本文主要研究了不同光照條件下指針儀表自主示數識別的問題，主要包括光照的處理、指針提取和定位、示數識別三大部分。首先光照分量的去除在很大程度上提高了指針提取的有效性，通過對比實驗驗證了本文提出的基于MSER算法能夠適應不同光照條件下指針區域的提取，同時能較大程度地消除背景的影響。在指針的定位上，沒有直接通過霍夫變換檢測直線，而是有限制、有條件地定位指針軸心下端的直線部分，可以更簡便判斷指針指向、計算示數;且定位準確，能夠適應不同條件下儀表示數識別的應用。結合機器人巡檢的應用，本文研究的問題有一定的實際工程應用。

但是本文識別示數中用到的先驗條件，如最大值、最小值刻度、儀表軸心位置是人工標記獲取的，如何自動化獲取是后續需要解決的一個問題，同時后續研究的方向為結合機器人硬件設施，建立一個完整的視覺識別系統。

參考文獻 （References）

[1] 魯守銀，張營，李建祥，等.移動機器人在高壓變電站中的應用[J].高電壓技術，2017，43（1）：276-284.（LU S Y， ZHANG Y， LI J X， et al. Application of mobile robot in high voltage substation[J]. High Voltage Engineering， 2017， 43（1）： 276-284.）

[2] LIU S G， LIU M Y， HE Y. Checking on the quality of gauge panel based on wavelet analysis[C]// Proceedings of the 2002 International Conference on Machine Learning and Cybernetics. Washington， DC： IEEE Computer Society， 2002： 763-767.

[3] JIAN Y， XIN W， XUE Z， et al. Cloud computing and visual attention based object detection for power substation surveillance robots[C]// Proceedings of the 2015 IEEE 28th Canadian Conference on Electrical and Computer Engineering. Piscataway， NJ： IEEE， 2015： 337-342.

[4] 許麗，石偉，方甜.巡檢機器人中的指針式儀表讀數識別系統[J].儀器儀表學報，2017，38（7）：1782-1790.（XU L， SHI W， FANG T. Pointer meter reading recognition system used in patrol robot [J]. Chinese Journal of Scientific Instrument， 2017， 38（7）： 1782-1790.）

[5] TAN R， IKEUCHI K. Separating reflection components of textured surfaces using a single image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2005， 27（2）： 178-193.

[6] LEE P， WU S， HUANG Y P. Illumination compensation using oriented local histogram equalization and its application to face recognition [J]. IEEE Transactions on Image Processing， 2012， 21（9）： 4280-4289.

[7] WANG S， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.

[8] ELAD M. Retinex by two bilateral filters[C]// Proceedings of the 2005 International Conference on Scale-Space Theories in Computer Vision. Berlin： Springer， 2005： 217-229.

[9] 劉志成，王殿偉，劉穎，等.基于二維伽馬函數的光照不均勻圖像自適應校正算法[J].北京理工大學學報，2016，36（2）：191-196.（LIU Z C， WANG D W， LIU Y， et al. Adaptive adjustment algorithm for non-uniform illumination images based on 2D Gamma function[J].Transactions of Beijing Institute of Technology， 2016，36（2）： 191-196.）

[10] 牟少敏，杜海洋，蘇平，等.一種改進的快速并行細化算法[J].微電子學與計算機，2013，30（1）：53-55.（MOU S M， DU H Y， SU P， et al. A new improved fast parallel thinning algorithm [J]. Microelectronics and Computer， 2013， 30（1）： 53-55）.

[11] 李益紅，周曉誼.一種多分辨率多尺度的Retinex彩色圖像增強算法[J].計算機工程與應用，2017，53（16）：193-198.（LI Y H， ZHOU X Y. Multi-resolution and multi-scale Retinex for color image enhancement [J]. Computer Engineering and Applications， 2017， 53（16）：193-198.）

[12] 彭國福，林正浩.圖像處理中GAMMA校正的研究和實現[J].電子工程師，2006，32（2）：30-32.（PENG G F， LIN Z H. A study on GAMMA correction and its implementation in image processing [J]. Electronic Engineer， 2006， 32（2）： 30-32.）

[13] MATAS J， CHUM O， URBAN M， et al. Robust wide baseline stereo from maximally stable regions [J]. Image and Vision Computing， 2004， 22（10）： 761-767.

[14] 唐有寶，卜巍，鄔向前.多層次MSER自然場景文本檢測[J].浙江大學學報（工學版），2016，50（6）：1134-1140.（TANG Y B， BU W， WU X Q. Natural scene text detection based on multi-level MSER [J]. Journal of Zhejiang University （Engineering Science）， 2016， 50（6）： 1134-1140.）

[15] NISTER D， STEWENIUS H. Linear time maximally stable extremal regions [C]// Proceedings of the 10th European Conference on Computer Vision. Berlin： Springer， 2008： 183-196.

[16] BAKER L， MILLS S， LANGLOTZ T， et al. Power line detection using Hough transform and line tracing techniques[C]// Proceedings of the 2016 IEEE International Conference on Image and Vision Computing. Piscataway， NJ： IEEE， 2017： 1-6.

[17] YE H S， SHANG G C， WANG L N， et al. A new method based on Hough transform for quick line and circle detection[C]// Proceedings of the 2016 IEEE International Conference on Biomedical Engineering and Informatics. Piscataway， NJ： IEEE， 2016： 52- 56.