基于圖像處理的細指針表盤識別方法研究

(廣東工業大學 機電工程學院，廣州 510006)

0 引言

在變電站中，有許多表盤用來監測變電站中設備的工作狀態。由于電磁環境非常復雜，變電站中的表盤基本上全部是模擬式而并非數字式表盤[1-2]。伴隨著社會的發展與前進，早期指針式表盤采取人工讀數和記錄表盤數據方式，存在工作效率低、易視覺疲勞、識別率難以保證和實時性差等缺陷,已難以滿足實際中生產與工作的需求[3]。隨著圖像處理自動識別的發展，為利用計算機代替人工提供了技術支撐。

在指針式表盤識方面,國內外做了大量的研究，Yue[4]提出一種基于 Hough變換的表盤讀數方法，通過測量指針線段與零刻度線段的夾角來轉換得到表盤讀數；Yang Z等人[5]提出一種基于二進制描述器來獲取表盤的區域，再通過基于圓周區域累積直方圖(circle-based regional—cumulative histogram, CRH)的方法來對指針進行精準定位；剪影法[6-7]主要思想是通過對不同時刻的兩幅指針式表盤圖像進行差值運算，從而得到指針位置的角度，可該方法對于光照變化與有陰影干擾等環境，其效果就不好[3]，對于工業應用基本上就不起作用；Han[8]提出了一種改進Hough變換的算法，先對圖像進行圖像預處理操作，如中值濾波與二值化等操作，然后利用改進的Hough變換檢測指針直線角度，通過角度轉換獲得表盤示數；張永強[9]等提出基于收斂映射CM-Hough變化的檢測算法，使用Hough變化檢測直接得到指針位置，然而Hough變換法雖容錯性好，但是對一些多符號與多線條等干擾并不適用，魯棒性較差[5]。張文杰[10]等提出基于視覺顯著性區域檢測的儀表讀數算法，先通過視覺顯著性檢測先驗知識來獲得指針所在區域，然后對圖像進行旋轉來找到橫坐標投影的最大值。

變電站刻度儀表大致分為兩大類型，每一類型又根據表盤特征如量程、半徑、顏色等分為多種樣式，一類為指針短且細的表盤，一類是長且粗的表盤[5]。指針式表盤識別方面已經有很多方法,但是目前研究的大部分指針特征比較明顯，長且粗的表盤，如圖1(c)、圖1(d)之類，而對于短且細指針(如圖1(a)、圖1(b)之類)研究較少，在本文中指針短且細的表盤叫做細指針表盤。因短細指針更容易受光照、模糊的影響，導致識別率低[5]，且在細指針表盤識別中由于其細指針特征不明顯，以至于指針極難分割且算法魯棒性交差。針對其問題，本文提出一種基于分割扇形區域的視覺讀取方法。采用基于SURF算法的多任務匹配方法，同時匹配多張模板，解決光照變化過大影響匹配精度的問題，再通過分割扇形區域來獲取指針活動區域,通過灰度拉伸、二值化處理等預處理來分割指針，最后通過最小二乘法擬合直線求得指針角度，從而完成細指針指表盤讀數的自動識別。

圖1 表盤種類對比

1 基于圖像處理的表盤定位算法

1.1 表盤標定

表盤標定是指將細指針表盤相關先驗信息錄入表盤模板庫中，一種表盤的檢測只需要進行一次標定即可。刻度線所形成的圓本文叫做刻度線圓，通常需要標定的信息包括：表盤量程、刻度線圓半徑、刻度線圓圓心、表盤最小刻度線角度和表盤最大刻度線角度等。

1.2 基于SURF算法改進的多任務模板特征匹配算法

SURF匹配算法是在尺度不變特征變換算法(SIFT算法)的啟發下，在3個方面對其進行改進，即特征點檢測、特征點描述算子和特征匹配三方面，采用了harr特征和積分圖像的概念，提出的一種類似SIFT的加速算法，是一種對圖像縮放與旋轉保持特征不變性的圖像局部特征描述算子[11]。SRUF是SIFT算法加速版，對特征點檢測的速度有很大的提高，標準的SURF算子比SIFT算子能夠快好幾倍，并且在多幅圖片下具有更好的魯棒性，各方面性能都得到提高。

1.2.1 積分圖像

SURF通過對積分圖像進行操作，從而實現算法加速，利用方框濾波器計算每一個像素點的Hessian矩陣行列式(極小的運算量，因其只需簡單的幾次四則運算)，并且其計算量和方框濾波器大小無任何關系，如此就可以快速地構建SURF的尺度金字塔。在積分圖像中，每一個像元的值是原圖像上對應所在位置的左上角所有元素的和，如式(1)所示:

(1)

式中，I∑(x,y)表示在坐標X=(x,y)處，圖像原點和X點所構成的矩形內像素值的和。

1.2.2 尺度空間的生成

SURF通過Hessian矩陣行列式來近似圖像，在點X=(x,y) 處，在尺度σ下，其Hessian矩陣如式(2)所示：

(2)

式中，Lxx為高斯函數g(x,y,σ)二階偏導函數和圖像在像素點(x,y)處的卷積，如下式所示：

Lxx=G(x,y,σ)?I(x,y)

(3)

(4)

式(3)、(4)中，Lxy,Lyy含義類似。

為了讓運算速度提高，Bay等人[12]通過方框濾波器對高斯二階微分模板進行近似處理。通過積分圖像來對卷積操作進行加速，從而提高計算速度。在原始圖像上，使用方框濾波器的效果反映在掩膜版尺寸上。如圖2所示為9×9方框濾波掩膜版，圖中灰色的部分掩膜版值為0。其對應二階高斯濾波系數σ為1.2。進一步即可得到Hessian矩陣判別式，如式(5)所示：

det(H)=DxxDyy-(0.9Dxy)2

(5)

式中，Dxx,Dyy,Dxy為方框濾波模板和圖像卷積運算后的結果。

圖2 方框濾波掩膜版[10]

得到Hessian的行列式圖后，開始構建尺度圖像金字塔，把尺度空間分為若干階，在每一階中選擇4層的尺度圖像，如果模板尺寸為F×F,該模板對應的尺度計算公式為σ=1.2×9/F，由Hessian矩陣求出尺度極值,接著在3×3×3的立體鄰域內，對極值點進行非極大值比較，具體規則：如果該極值點為最小值或者最大值，則該極值點即為候選特征點。然后在圖像空間和尺度空間中進行插值計算，獲得穩定的特征點位置和其所在的尺度值。

1.2.3 選取特征點的主方向

在SURF中，不會統計其梯度直方圖，而是統計特征點所在區域內的Harr小波特征，具體為以特征點為中心，計算特征點的鄰域(比如半徑為6 s的圓，其中s表示該點所在尺度)內的點在x、y兩方向的Haar小波響應，Haar小波邊長設置為4 s，如此一個扇形得到了一個值。再以角度為60°的扇形以一定間隔進行旋轉，把60°范圍內的所有響應相加求和來形成一個新的矢量，然后遍歷整個圓形區域，把最長矢量的方向設置為該特征點的主方向，這樣就可獲得所有特征點的主方向。

1.2.4 基于SURF算法改進的多任務特征向量的匹配

用SURF方法獲得模板圖像和待匹配圖像的特征向量后，歐氏距離作為相似判定度量,以此來確定一對匹配點。到兩幅圖像特征點的匹配關系后，幅圖像存在這樣的一個變化過程：

(6)

式中，D為仿射變換矩陣，[x1,y1,1]T，[x,y,1]T分別為某組特征匹配點在模板圖像和待匹配圖像的像素坐標。式(6)，就可以求得D矩陣。而實現待檢測圖像中的細指針表盤的精準定位。

經過以上步驟，以獲取表盤的位置，由于變電站對指針式儀表進行定期巡檢來檢測電力設備運行狀態時，巡檢機器人在任何一日或者一日中的任何時期都有可能去巡檢，其間每日天氣不同，一日時期不同如清早、上午與傍晚，在這種限制情況下，采集到的圖像可能會光線灰暗，若模板是光線較好的情況下圖像所制作，然而待配準圖確是光線較暗的圖像，模板圖與待配準圖細節相差大，此時會出現找不到匹配點或者匹配較少從而定位不到表盤位置的情況，也就會導致表盤讀數失敗。基于此特征，本文提出一種基于SURF算法改進的多任務模板特征匹配算法，用以使得配準算法能夠適應亮度變化大的不同待配準圖。具體方法如下。

步驟1：巡檢機器人在一天的不同時期去采取m張圖像，如早晨、中午、傍晚，盡量使得m張圖像光照強度近似逐級增加，使得每張圖像都要有光照強度差異，制作m張模板圖像并保存。一般來說m數小于10(考慮代碼實現難度)。

步驟2：進行SURF特征點匹配時，將m張模板分別與待配準圖進行匹配獲取其匹配點，保存其每張模板與待配準圖的匹配點的數量。同時匹配m張圖像，會消耗大量時間，為解決此問題，采用多線程技術來同時獲取每張模板與待配準圖進行匹配獲取其匹配點。

步驟3：將步驟2獲得的每張模板與待配準圖的匹配數量依次排序，取匹配點數量最高的模板與待配準圖匹配結果作為最終結果。且設置其最小匹配數量n(一般n為4)，若最高匹配點數小于n,則報錯不進行檢測。預防其匹配到其他非表盤區域,即錯誤區域，增強匹配的準確性，也防止出現錯誤讀數。

步驟3：求出仿射變換矩陣，進行圖像分割。

由以上步驟，就可以定位表盤讀數區域，通過多任務模板匹配特征算法提高了匹配定位的魯棒性且不增加額外的時間，而且使得夠亮度變化大的不同待配準圖也能精準匹配定位。如圖3所示為一組基于SURF算法改進的多任務模板特征匹配算法進行匹配定位的處理結果，右上角圖像為匹配結果圖像，用P0表示。

圖3 模板圖像與待測圖像的特征點匹配圖

2 細指針表盤指針定位算法設計

細指針表盤由于其指針很細，指針與背景、刻度線、數字等干擾的灰度差異不大，很容易在處理過程中和這些干擾因素區分不開，導致難以分割出所需指針，若直接分割指針，會出現很多干擾直線(即非指針的直線)。實際的細指針表盤指針一般都是以軸心為圓心、指針長度為半徑，在一個扇形區域內旋轉，本文利用細指針表盤活動區域在一個扇形區域內這一特征，提出基于分割扇形區域的指針定位法(Pointer positioning method based on segmented sector,PSS)對指針進行定位，算法流程圖如圖4所示。

圖4 細指針表盤指針定位算法設計流程圖

2.1 PSS分割

由細指針表盤特征可知，表盤上的刻度線、數字、符號都和指針灰度差異不大，都會對指針分割造成干擾。PSS通過刻度線圓的圓心、半徑、表盤最小刻度線角度(即起始角度)與表盤最大刻度線角度(終止角度)，來獲取扇形區域。再通過以刻度線圓的圓心為圓心，小于刻度線圓半徑的半徑，再獲取一個扇形區域，兩個扇形區域的中間即為指針活動區域。如此就剔除了刻度線、數字、符號等其他的干擾。指針活動區域中只有指針和背景，不存在任何其他干擾，如此一來分割出指針就會更加精確。該具有方法計算簡單，準確率高的特點。具體實現步驟如下：

1) 創建一張與匹配圖像P0一樣大小的全黑圖像(像素值全為0的圖像)，在黑底圖像上填充一個白色(像素值為255)的扇形區域。由表盤標定獲得的先驗信息，可獲得刻度線圓半徑、刻度線圓圓心等數值，刻度線圓的半徑和模板圖像的高分別用R、H表示，用刻度線圓的圓心，以R-H/4為半徑(以此數值為半徑是為了剔除指針下其他文字影響)、表盤刻度線最小角度與表盤最大刻度線角度為起始和終止角度，在此圖像上填充一個小扇形區域，此圖用P1表示，如圖5(a)所示。

2) 創建一個與匹配圖像P0一樣大小的白底圖像(像素值全部為255的圖像)，在白底圖像上填充一個黑色(像素值為0)的扇形區域,用刻度線圓的圓心，以刻度線圓的半徑R為半徑、表盤刻度線最小角度與表盤最大刻度線角度為起始和終止角度，在此圖像上填充一個大扇形區域,此圖用P2表示。

3) 為了得到圖像P0中除P2扇形區域原圖像素值不變而其余部分像素值均設置為0的圖像，此圖像用P3表示，如圖5(b)所示,進行P3=P0-P2計算獲得。

4) 將P3中的像素值為0的值設置為255，用P4表示。將P4與P1相加則可獲得指針活動區域，如圖5(c)所示。

2.2 圖像預處理

在獲取表盤圖像過程中，由于現場的光線是一直變化的，指針與背景灰度差異不大，且受到周圍其他物體的干擾，往往會使得分割指針造成困難，因此需要對PSS分割后的結果圖進行灰度拉伸，使得圖像對比度得到增強、細節變得清晰，指針更加突出，具體方法如下：假設輸入圖像f(x,y)的灰度值變化區間為[0-fmax],變換后輸出圖像v(x,y)的灰度變化區間為[0-vmax],用如下數學公式實現：

v(x,y)=

(7)

式中，g(x,y)為原圖像的灰度值，[c,d]為原圖像灰度變化區間，v(x,y)為變化后的圖像灰度值。[e,f]為處理過后的灰度范圍。

由圖6所示，灰度拉伸區間在[a1,b1],在區間[0,a1]與[b1,fmax]灰度進行了壓縮，如此就使得前景與背景區域的對比度得到增強。可以看出可以通過改變三段直線的斜率來改變拉伸與壓縮的程度。處理結果圖如圖7(a)所示。

圖6 分段線性變換示意圖

為了提取表盤指針，需要對圖像進行分割，先將彩色圖像轉換為灰度圖像：

v=0.30R+0.59G+0.11B

(8)

式中，v表示灰度化后的灰度值，R，G，B分別為每個像素在紅色、綠色、藍色三通道的像素值。

之后再對圖像進行二值化處理，由于指針長度占整個圖像不會有太大變化，所以先驗概率(即指針目標像素點數量占整個圖像像素點比例)也不會有太大變化，使得二值化后的目標或背景像素比例等于先驗概率。所以采用百分比閾值來獲取分割閾值T，按照式9進行二值化處理，再篩選指針輪廓，結果如圖7(b)所示：

(9)

式中，T為分割閾值，v(x,y)為閾值前圖像像素值，v′(x,y)為閾值后圖像像素值。

圖7 圖像預處理

2.3 算法擬合

Hough[13]變化是模式識別領域中對二值化圖像進行直線檢測的常用方法，可其檢測需調的參數過多，且易受多線條等干擾，從而檢測出多條直線，導致不穩定。所以本文采用基于最小二乘法擬合直線，在圖像預處理后，先把二值化圖像中點的坐標讀出，再用最小二乘法擬合直線輸出。具體原理如下：

1)設擬合直線方程為f(x)=ax+b擬合直線與數據點直線相應點的偏差的平方和最小，數學表達為：

(10)

2)為求其偏差的平方和最小，分別對a、b求偏導數,并令其為零。得：

(11)

整理后得：

(12)

式中，J(a,b)為各數據點yi的偏差和，(xi,yi)為二值化圖像中的數據點。n為數據點的數量，a，b為待求變量。

經計算可以求得a，b值，即可得到細指針的角度。

2.4 讀數識別

指針表盤讀數是利用指針角度相對于表盤最小刻度線角度與最大刻度線角度與量程的關系識別表盤讀數，通過表盤標定,從表盤模板庫中提取相關數據，如量程范圍、最小刻度線、最大刻度線角度、細指針測量角度等。指針表讀數R與指針角度之間的函數關系可以表示為：

(13)

式中，量程范圍為(Min，Max)，最小刻度線角度為θmin，最大刻度線角度為θmax。細指針測量角度為θ。

根據式(13)，求得指針表盤讀數R。

3 實驗結果與分析

3.1 表盤讀數識別與多任務處理

為了驗證本方法的適用性和穩定性，本文在實際測試中通過巡檢機器人采集細指針表盤圖像200幅進行了測試，表1所示為其中10組樣本測試結果，表2為4組樣本測試匹配定位時間的結果，為使用多任務SURF匹配和不使用多任務SURF匹配定位時間對比。

表1 細指針式表盤讀數自動識別實驗結果 (mA)

表2 使用多任務SURF匹配前后時間對比

由表2可知，使用多任務處理可以節約60%～66%的處理時間。圖8為其中隨機取兩組圖像測試效果。為了測試本方法對視角、尺度和光照的魯棒性，本次采集圖像數據分別在多角度、多距離、不同光照條件的拍攝條件下的數據集。以某品牌的避雷檢測器為例，該避雷器檢測器的量程為0～2.0 mA。

在實驗中，為了減少人為讀數的誤差，將十人讀數的平均值作為真實值。在實際工程應用中，指針角度識別誤差允許范圍為以內，即表1中允許的誤差為0.073 mA。使用本文所提出的方法對細指針表盤進行識別，共有兩幅圖像不能被正確識別，正確識別率達到。測試絕對誤差最大在0.053 mA，能夠滿足實際工程應用的表盤測量實際需求。

圖8 兩組測試效果圖

3.2 結果分析與討論

實驗中五張未能正確識別原因是光照太暗、表盤玻璃反光和照片極其模糊的影響，表盤的指針基本的背景相差不大，肉眼都較難區分，導致未能正確識別。由于玻璃反光、采集圖像非常模糊使得指針發白或者看不清，這是影響正確率的主要因素。由測試結果可知，本文提出的方法對光照、多距離有較好的魯棒性，對于細指針類型表盤可以完成自動識別。總體而言，本文提出的細指針識別方法識別率與準確率均達到了實用化的要求，具有較強的穩定性和準確性。

4 結論與展望

針對細指針表盤識別中出現難以適應光照變化、細指針無法提取和表盤讀數識別準確率低的問題，提出一種基于圖像處理的細指針式表盤讀數方法。本文提出基于SURF算法的多任務匹配方法定位表盤區域，解決了表盤定位不能夠適應光照大幅度變化的問題，且大幅度提高速度。針對細指針由于其較細而特征不明顯，表盤上的刻度線、數字、符號都和指針灰度差異不大及難分割的問題，提出基于分割扇形區域的指針定位法(PSS)來分割指針區域，再采用最小二乘法擬合直線獲得其指針。實驗表明，本方法錯誤識別率低，識別精度高，能夠適應復雜背景與光照變化，在電力系統的工程應用中，細指針表盤檢測與識別具有良好的魯棒性和穩定性，達到實用化要求，具有很好的應用的前景。

另外如何將計算精簡，降低對硬件資源的要求，改用基于深度學習方法來進行表盤定位提高匹配精準度，如何應對光照嚴重不足的情況對細指針準確識別，將是本文后續重點研究內容。