基于改進U2?Net的指針式儀表讀數識別方法

摘" 要： 針對儀表表盤光照不均和幾何失真影響儀表關鍵區域提取、讀數識別準確率的問題，提出一種基于改進U2?Net的儀表校正與讀數識別方法。首先通過加入坐標注意力機制的U2?Net模型識別并分割出儀表表盤區域，隨后采用改進透視變換技術對表盤區域進行幾何校正，實現不同形狀的儀表幾何校正；再引入自適應MSRCR算法對表盤光照不均區域進行光照校正；最后，通過U2?Net對校正后的圖像進行指針分割和關鍵刻度點分割，采用PCA擬合指針所在的直線，得到指針偏轉角度并通過角度法計算準確讀數。實驗結果表明，該方法能夠在光照不足或光照過強的情況下有效恢復儀表關鍵信息區域，并能夠有效校正不同形狀的傾斜儀表，提升了指針和刻度信息提取的準確度，且讀數誤差率低于0.89%。

關鍵詞： 指針式儀表； 光照校正； 失真校正； U2?Net； 儀表讀數； MSRCR

中圖分類號： TN609?34； TP273" " " " " " " " " "文獻標識碼： A" " " " " " " " " " " 文章編號： 1004?373X（2025）05?0169?06

Pointer meter reading recognition method based on improved U2?Net

LI Li1， QIAO Yitian2， HUANG Xiaolong2， XIE Weicheng2， JIANG Wenbo2

（1. Unit 91001 of PLA， Beijing 100841， China;

2. School of Electrical Engineering and Electronic Information， Xihua University， Chengdu 610039， China）

Abstract： In view of the uneven illumination and the fact that the geometric distortion affects the extraction of key areas and the accuracy rate of reading recognition for instrument dials， a method based on improved U2?Net for instrument correction and reading recognition is proposed. Firstly， a U2?Net model with an integrated coordinate attention mechanism is employed to identify and segment the instrument dial area. Subsequently， an improved perspective transformation technique is used for geometric correction of the dial area， achieving geometric corrections for meters of various shapes. An adaptive MSRCR algorithm is then introduced to correct the unevenly illuminated areas of the dial. Finally， the U2?Net is used to segment the corrected image for pointers and key scale points. The pointer line is fitted with PCA to obtain the pointer deflection angle， and the accurate reading is calculated with the angular method. Experimental results show that the proposed method can effectively recover key information areas of meters under conditions of insufficient or excessive illumination， and can correct inclined meters of different shapes effectively. In addition， it enhances the accuracy of pointer and scale information extraction， with a reading error rate lower than 0.89%.

Keywords： pointer meter; illumination correction; distortion correction; U2?Net; meter reading; MSRCR

0" 引" 言

指針式儀表因結構簡單、抗干擾能力強等，被廣泛應用于工業生產環境中。由于沒有可以上傳數據到云端的數字接口，指針式儀表需要人工記錄讀數。人工讀數不僅效率低下還存在一定的安全風險，且隨著讀數次數的增加誤讀率也不斷提高。

隨著工業智能化的發展，儀表智能化讀數成為主要趨勢。但儀表因其處于復雜的工作環境，表盤區域易受到背光、曝光、雜物的影響，這些影響因素會導致儀表特征提取困難，從而影響讀數。為了消除上述影響，文獻[1]利用多尺度高斯函數提取光照分量，并重構二維伽馬函數，實現不同光照強度下指針式儀表圖像的自適應調整。文獻[2]通過二值化、濾波等預處理方法處理圖像以減少周圍環境干擾。文獻[3]在Retinex算法基礎上加入灰度級動態調整機制以達到去霧效果，并引入ResNet網格構建去雨模型，減小了雨霧天氣下對儀表識別的影響。文獻[4]針對儀表圖像存在弱光或光照不均勻的問題，提出一種光照增強融合算法，由改進Retinex算法和改進的自適應快速雙邊濾波算法組成，提高了低照度條件下的圖像色彩恢復能力。文獻[5]提出了一種對低照度圖像進行圖像增強的方法，分別改善了低照度圖像的暗區和亮區。文獻[6]采用基于Retinex的自適應伽馬增強算法來處理圖像表面光照不均勻的影響，使圖像的整體亮度得到平衡。文獻[7]采用基于Retinex的MSRCR算法降低亮度的影響。為消除表盤區域光照以及指針陰影對指針識別的影響，文獻[8]提出一種具有單參數的指數型同態濾波與全局對比度處理的光照校正算法。為了更好地分割表盤、指針和刻度區域，文獻[9]將ECA注意力機制模塊添加到U?Net四個復制和裁剪結構上，并在模型輸出端前添加ECA模塊，以解決U?Net模型在圖像特征融合過程中存在的信息丟失而導致分割精度降低的問題。文獻[10]將原始Mask?RCNN中的RoiAlign模塊替換為ProiPooling模塊，以提高表盤區域分割性能。對于儀表校正，文獻[11]提出一種二次校正方法，首先通過擬合4個關鍵點進行透視校正，再計算水平偏轉角度進行旋轉校正。文獻[12]使用MobileNetV3?UNet網絡檢測傾斜儀表圖像中關鍵點的位置，利用先驗信息中構造的對應點計算透視變換矩陣進行校正。

現有研究方法在一定程度上減少了環境對儀表讀數的影響。但在實際工業環境中，傾斜儀表和表盤區域的遮擋物會嚴重影響指針和刻度區域的提取，從而導致讀數誤差變大。針對此問題，本文提出基于U2?Net和自適應MSRCR的指針式儀表讀數方法。首先通過改進U2?Net，提高對表盤、指針、刻度的分割效果；經透視變換后，使用自適應MSRCR算法校正關鍵區域的色彩；最后，通過直線擬合和識別儀表刻度值，采用角度法實現讀數識別。

1" 指針式儀表讀數算法原理

1.1" 表盤區域分割

當表盤區域不規則時，基于霍夫圓檢測的表盤擬合方法效果不佳，為了更好地分割出儀表表盤區域，使用高精度圖像分割的深度學習模型U2?Net作為分割網絡。

U2?Net采用了一種嵌套的U型結構，提升了模型在各個尺度上捕獲特征的能力，從而有效處理圖像中的細節和全局信息。為進一步提升模型在關注區域的特征抽取能力及分割性能，在RSU模塊的上采樣過程中融入坐標注意力（Coordinate Attention， CA）機制，如圖1所示。

CA機制的加入可以提升對表盤、指針、刻度邊界的分割效果，使分割出的圖像邊界更加準確。同時，也能提升分割網絡對特征的識別能力，減少來自表盤遮擋物干擾導致的誤檢。

1.2" 儀表傾斜校正

儀表主要分為圓形儀表和方形儀表，對于不同形狀的傾斜儀表，采用不同的幾何校正策略。對于圓形儀表，先擬合儀表表盤最小外接橢圓，并得到長短軸與橢圓4個交點[S1，S2，S3，S4]。再計算長短軸所在的直線與橢圓的最小外接圓的4個交點，得到[S′1，S′2，S′3，S′4]。最后通過4組對應點計算透視變換矩陣，完成幾何校正，透視變換完整形式如式（1）所示：

[xyw=Puvw=a11a12a13a21a22a23a31a32a33uvw] （1）

式中：[u，v，w]是原始圖像中的二維齊次坐標；[x，y，w]是經過透視變換后的二維齊次坐標。設[w=1]，二維平面坐標[x，y]透視變換后的坐標用式（2）計算：

[x=xw=a11u+a12v+a13a31u+a32v+a33y=yw=a21u+a22v+a23a31u+a32v+a33] （2）

將透視變換前后的四組關鍵點坐標[S1，S2，S3，S4]和[S′1，S′2，S′3，S′4]代入上述公式，并設[a33=1]可求得透視矩陣。

對于方形儀表，初始點為四邊形的4個頂點[xr，yr]，[r=1，2，3，4]，通過擬合四邊形最小外接矩形，得到矩形4個頂點坐標[x′r，y′r]，[r=1，2，3，4]，同圓形儀表，通過4個對應點的坐標計算透視矩陣，完成透視變換。

1.3" 光照校正

為更好地區分表盤信息區域和背景區域，使用自適應MSRCR色彩校正算法[13]消除表盤受到的陰影、過曝、光斑影響。圖像灰度化后，根據像素值高低分為三等份：像素值在0～85的區間內為暗區域；大于85小于170的部分為中暗區域；高于170的圖像劃分為亮區域。取三個區域的均值作為正態分布的期望值并代入正態分布式中，計算圖像像素在明暗區域的概率分布。

[Gx，yn=e-Ix，y-μn22σ2] （3）

式中：[Ix，y]為輸入圖像；[μn∈μ1， μ2， μ3]。

根據式（3）所得的概率值，可將權重重新定義為：

[wnx，y=Gnn=13Gn] （4）

將此權重代入[RMSRCR]表達式中，讓原本的[wn]不再恒等于[13]。

[R′MSRCR=Cn（x，y）×" " " " " "n=1Nw′nlogIx，y+ε-logGσn*Ix，y+ε] （5）

式中[w′n]為權重[wn]的轉置。

1.4" 關鍵區域分割與指針直線擬合

在儀表讀數前，需要將指針區域和刻度區域從背景中分割出來。通過U2?Net分割出指針所在區域的二值蒙版后，通過主成分分析（Principal Component Analysis，PCA）擬合指針所在直線，PCA通過投影到較低維度的空間來捕捉數據的主要特征和結構，同時盡可能保留原始數據的變異性。

在指針直線擬合的過程中，首先使用Canny邊緣檢測算法獲取指針輪廓，得到輪廓點集，根據輪廓點集信息，使用PCA擬合指針所在直線。

1.5" 儀表示數計算

儀表示數可根據指針位置信息和離指針最近的兩個刻度點位置信息，通過角度法進行計算。該方法在讀數時需要的基本參數為：與指針最近的大刻度讀數[vb]、與指針最近的小刻度讀數[vs]、大小刻度之間的夾角[θ]、指針與小刻度的夾角[θs]、指針與最小刻度在順時針方法的夾角[θ0]。

在確定與指針最近的兩個關鍵刻度點后，刻度所對應的兩個刻度值大小[vb]、[vs]可通過光學字符識別技術讀取。具體讀數計算公式如式（6）所示：

[R=vs+θsθvb-vs] （6）

式中[R]表示最終讀數。

2" 實驗結果與分析

實驗環境的操作系統為64位Windows 10系統，CPU為Intel[?] CoreTM i5?12400F 2.50 GHz；GPU采用16 GB顯存的GeForce RTX 3070 Ti；軟件環境為Python 3.8.0、PyTorch 2.1.1、CUDA 12.1。運行平臺為Pycharm 2022.3.3和OpenCV 4.5.4。

2.1" 表盤分割與校正實驗

表盤區域形狀不規則和表盤存在遮擋物，都會在一定程度上影響分割算法的分割效果，為了驗證改進后的U2?Net對于表盤區域分割效果更好，與改進前的U2?Net進行對比，分割效果如圖2所示。

從實驗結果可以看出，改進后的U2?Net受表盤形狀和遮擋物的干擾更小，能更好地分割表盤區域。

分割出表盤區域后，通過前文所述的方法進行幾何校正，校正效果如圖3所示。

改進后的校正策略不僅能校正圓形儀表也可以校正方形儀表。對于表盤區域存在雜物干擾的儀表，校正效果不受干擾。

2.2" 光照校正實驗

為對比不同光照校正算法對光照影響下的圖像校正效果，選擇5張受光照不均影響的儀表圖像，其中3張是不同程度陰影影響下的圖像，從上到下分別是背光條件下的儀表、室外陰影下的儀表和光照不足的儀表，另外2張是受到光照影響的圖像，從上到下分別是過曝圖像和光斑影響圖像。分別使用MSRCR算法、MSRCP算法以及自適應MSRCR算法對5張圖像進行校正處理，得到的結果如圖4所示。

由實驗結果可知，MSRCR算法在處理陰暗圖像和過曝圖像時都有良好效果，特別是低照度圖像，能有效地恢復圖像細節。相較于MSRCR，MSRCP的色彩恢復效果更好。改進后的MSRCR算法在處理低照度圖像時表現出最佳的性能，不僅更好地平衡色彩信息，圖像特征也更加明顯，特別是儀表的刻度、刻度值以及指針區域，相較于其他方法更加明顯。

為了更客觀地評價各種光照校正算法對于儀表圖像的處理效果，分別取陰暗條件下和強光條件下的儀表圖像進行對比，如表1、表2所示。

使用峰值信噪比、結構相似性、圖像信息熵和平均灰度值等圖像評價指標來評價算法處理后的圖像。峰值信噪比用于衡量重構圖像與原始圖像之間的相似度，值越大，表示重構圖像與原始圖像之間的差異越小，圖像質量越好；結構相似性通過圖像的亮度等信息衡量圖像質量，值越大說明圖像質量越高；圖像信息熵用來衡量圖像中的信息復雜度，圖像信息熵越高，意味著圖像包含的信息越豐富，圖像的細節和紋理越復雜；灰度均值則反映了圖像整體的亮度水平。

由實驗結果可以得出，自適應MSRCR在多個圖像評價指標上的效果均優于另外兩種算法。

為進一步驗證經自適應MSRCR處理后的表盤信息區域更明顯，使用U2?Net對指針和刻度區域進行分割，結果如圖5所示。

由實驗結果可知，經圖像校正和去噪后的圖像消除了陰影、光照、噪聲對表盤區域的影響。對于欠光照的圖像，經自適應MSRCR算法校正后，提升了表盤的指針和刻度區域細節，使U2?Net能更好地分割目標區域，消除了因光照不足而導致的特征區域不明顯的問題。對于光照過強的表盤區域，校正后的圖像平衡了光斑影響區域的色彩，減少了分割算法的誤檢，對于刻度區域分割也更加準確。

2.3" 指針直線擬合實驗

PCA、最小二乘法、霍夫直線檢測都是常用指針直線擬合的算法，但對于指針二值化圖像，霍夫直線檢測不適用于此類情況。因此，為了驗證PCA算法能更準確地擬合指針所在直線，同時用最小二乘法和PCA在相同條件下擬合指針直線，實驗結果如圖6所示。

實驗結果表明，如圖6a）所示，當指針處于水平并有一定的旋轉角度時，PCA和最小二乘法有著接近的直線擬合能力，但也存在細小差別，PCA擬合的直線方向更接近指針所指方向。隨著指針旋轉角度增大，在接近與水平位置垂直時，如圖6b）、圖6c）所示，分別代表不同方向的指針垂直情況，最小二乘法因在計算誤差時只考慮了在[y]軸上的垂直距離，所以導致直線擬合能力明顯變差。在極端情況下，即指針完全垂直時，最小二乘法甚至無法正常擬合直線。相對而言，PCA能夠在指針任何旋轉角度下確定指針的方向。

2.4" 儀表讀數實驗

為驗證基于關鍵刻度點的讀數方法的準確性，與文獻[14]所用的最大最小刻度角度法讀數、文獻[15]所用的基于極坐標變換的距離法讀數進行對比。實驗分為8組，如表3所示，分別使用不同類型的一共8個指針式儀表進行讀數，得到的實驗結果如表4所示。

從表4可以看出：對于常見的圓形指針式儀表，三種方法都能有效讀數，量程越小誤差越小，隨著量程增大，最大最小刻度角度法誤差明顯增大；對于刻度區域為扇形的儀表，序號為G6～G8，基于極坐標變換的方法表現出較好的魯棒性，在序號為G8的實驗中，基于極坐標變換的距離法讀數誤差最小。綜上所得，本文采用的讀數方法整體誤差更小，且適用于各種類型的指針型儀表讀數，具有較強的魯棒性。

3" 結" 論

針對光照不均、儀表傾斜等因素導致儀表特征區域無法提取、儀表讀數誤差變大的問題，本文提出基于U2?Net和自適應MSRCR的指針式儀表讀數方法。首先通過改進U2?Net，提高對表盤、指針、刻度的分割效果；經透視變換后，使用自適應MSRCR算法增強關鍵區域的對比度；最后，通過直線擬合和識別儀表刻度值，采用角度法實現讀數識別，使得讀數誤差小于0.89%。

注：本文通訊作者為喬逸天。

參考文獻

[1] ZHAI X P， TIAN J Y， LI J F. An accurate reading algorithm for substation pointer meters based on improved 2?D gamma function and PA?RetinaNet [J]. IEEE sensors journal， 2023， 23（12）： 13738?13750.

[2] 孫順遠，魏志濤.基于刻度輪廓擬合的指針式儀表自動識別方法[J].儀表技術與傳感器，2022（8）：51?57.

[3] 朱斌濱，樊紹勝.雨霧環境下的變電站指針式儀表識別方法[J].激光與光電子學進展，2021，58（24）：221?230.

[4] WU X A， SHI X B， JIANG Y C， et al. A high?precision automatic pointer meter reading system in low?light environment [J]. Sensors， 2021， 21（14）： 4891.

[5] GE W Q， YU X G， HU X Y， et al. An optimized design of the pointer meter image enhancement and automatic reading system in low illumination environment [J]. Measurement science and technology， 2023， 34（10）： 105907.

[6] ZHANG X， DANG X， Lü Q S， et al. A pointer meter recognition algorithm based on deep learning [C]// 2020 3rd International Conference on Advanced Electronic Materials， Computers and Software Engineering （AEMCSE）. New York： IEEE， 2020： 283?287.

[7] LI D H， LI W X， YU X， et al. Automatic reading algorithm of substation dial gauges based on coordinate positioning [J]. Applied sciences， 2021， 11（13）： 6059.

[8] 胡秀軍，于鳳芹.基于單參數同態濾波與全局對比度增強的指針儀表讀數識別方法[J].儀表技術與傳感器，2021（5）：42?46.

[9] HOU L， WANG S， SUN X， et al. A pointer meter reading recognition method based on YOLOX and semantic segmentation technology [J]. Measurement， 2023， 218： 113241.

[10] ZUO L， HE P， ZHANG C， et al. A robust approach to reading recognition of pointer meters based on improved mask?RCNN [J]. Neurocomputing， 2020， 388： 90?101.

[11] HUO F C， LI A， REN W J， et al. New identification method of linear pointer instrument [J]. Multimedia tools and applications， 2023， 82（3）： 4319?4342.

[12] SHAN W， BAI F， XU Y， et al. Perspective deformation correction for circular pointer meter based on prior indication structure feature [J]. Measurement， 2024， 229： 114423.

[13] 王利娟，常霞，張伯妍.基于MSRCR的自適應低照度圖像增強[J].現代電子技術，2022，45（2）：155?161.

[14] CHEN L S， WU X， SUN C， et al. An intelligent vision recognition method based on deep learning for pointer meters [J]. Measurement science and technology， 2023， 34（5）： 055410.

[15] 陳從平，王欽，姚威.基于機器視覺的指針式儀表自動讀數算法[J].傳感器與微系統，2022，41（10）：130?133.

基金項目：四川省科技成果轉移轉化項目（2022ZHCG0099）；國家自然科學基金項目（61875166）

作者簡介：李" 麗（1979—），女，遼寧葫蘆島人，工程師，主要從事航空管制與信息處理研究。

喬逸天（1999—），男，四川成都人，碩士研究生，主要從事圖像處理方面研究。

黃小龍（2000—），男，四川德陽人，碩士研究生，主要從事圖像處理方面研究。

謝維成（1973—），男，重慶忠縣人，碩士研究生，教授，碩士生導師，主要從事智能信息處理研究。

蔣文波（1981—），男，重慶萬州人，博士研究生，教授，碩士生導師，主要從事光學信號處理方法與技術研究。