基于四足機器人的工業儀表數字識別方法研究

摘 要：在工業現場自主巡檢中，由于定位誤差和光線角度等因素的影響，使得四足機器人僅依靠機器視覺難以實現高精度的儀表數字識別。針對上述問題，提出一種結合移動機器人運動的工業儀表數字識別方法。該方法首先基于圖像感知的四足機器人控制策略實現儀表對準，來獲取大小適中的儀表圖片，進而使用改進自動色彩均衡（ACE）算法提高圖片清晰度，并使用改進高效準確的場景文本（EAST）檢測器來優化儀表數字漏檢情況，最后獲得儀表數字識別結果。在基于四足機器人的工業巡檢實驗平臺中驗證了該識別方法，實驗結果表明上述方法對工業儀表數字識別準確率達97.75%。

關鍵詞：四足機器人；巡檢；感知與控制；工業儀表；文本檢測；數字識別

中圖分類號：TP242 文獻標識碼：A 文章編號：2095-1302（2024）03-000-05

0 引 言

近年來，移動機器人與人工智能技術結合越來越緊密。四足機器人作為移動機器人技術應用落地的一個重要分支，有著優秀的越障能力，可以在地形復雜的工業現場對儀表、指示燈、貨物等進行巡檢[1-4]。儀表是工業生產的重要數據來源，數顯式儀表因具有顯示簡單、精確度高等優點而獲得廣泛應用。目前數顯式儀表的讀數方法有三種：人工讀表、自動抄表[5]和圖像識別。人工讀表成本高昂，而自動抄表的改造成本高、周期長。通過圖像處理技術能很好地對數顯式儀表進行數字識別[6]。四足機器人搭載攝像頭能夠做到對工業儀表24 h不間斷巡檢，降低人工成本[7]。

徐明輝[8]研究并設計了一種搭載攝像頭的自主導航機器人，進行儀表位置的巡航工作，使其能夠對準不同高度的儀表表盤；施會斌[9]設計實現了變電站巡檢機器人自動抄表系統，通過RFID技術完成對目標儀表區域的搜尋，基于輕量級YOLOv4數字式儀表讀數識別算法對變電站數字儀表進行讀數識別；何配林[10]針對工業儀表圖像在自然場景中可能存在光照不均勻、圖像模糊等問題，基于Mask-RCNN實例分割網絡、全卷積網絡和K-Means聚類等算法，提出了一種指針和數字式的多塊、多種、多類型儀表同時讀數識別算法。

1 四足機器人工業儀表數字識別系統構成

四足機器人的工業儀表數字自主識別方法是以廣角攝像頭實時獲取外界信息為主的系統，系統的組成包括：四足機器人本體、激光雷達、廣角攝像頭、工業儀表等。四足機器人工業儀表實驗場景如圖1所示，四足機器人工業儀表數字識別流程如圖2所示。

2 面向工業儀表數字識別的四足機器人控制策略

與輪式機器人平移穩定不同，四足機器人每條腿都擁有著3個自由度，步態控制較為復雜，在工業現場根據傳感器獲取地面狀況產生實時步態，此時搭載的攝像頭晃動劇烈，加之位姿偏移、激光定位誤差等問題，使得獲得圖像的清晰度不夠，因此有必要設計一個控制策略來調整四足機器人的位姿。

如圖3所示，圖中畫出了儀表的檢測框，（xtl， ytl）和（xbr， ybr）是檢測框的左上角坐標和右下角坐標，由此可以計算出檢測框中心點的坐標（xc， yc）；l1和l2是兩條豎直方向上的三等分線，將圖片分成左側區域、中間區域和右側區域。

在本文設計的控制策略中，當滿足檢測框中心點處在l1和l2之間即xl1≤xc≤xl2，且檢測框面積detect_area≥S時，認為此時得到的是形狀規則、大小適中的高清儀表圖片。

在控制邏輯上區域條件的優先級大于面積條件的優先級，所以當不能滿足上述兩個條件時，有3種情況需要進行調整，當xc≤xl1即中心點落在左側區域時，四足機器人處于圖4（a）的情況1；當xl1lt;xc≤xl2即中心點落在中間區域但是面積條件不滿足時，四足機器人處在圖4（b）的情況2；當xcgt;xl2即中心點落在右側區域，四足機器人處在圖4（c）的情況3。考慮到由于誤差會出現四足機器人在任務點檢測不到儀表的情況，四足機器人會重新規劃路徑導航至任務點進行第二次儀表檢測，直到檢測到儀表。

如圖5所示，對四足機器人的控制策略進行描述：感知主機截取攝像頭傳輸的視頻幀，計算儀表檢測框的面積和其中心點位置，首先判斷中心點坐標是否落在l1和l2之間，若是，則判斷是否滿足面積條件，對應圖4（b）情況2；如不是，則需要判斷中心點處于左側區域還是右側區域，此時對應于圖4（a）的情況1和圖4（c）的情況3；當中心點處于左側區域時，感知主機與運動主機進行通信，運動主機會發布腿部移動指令，四足機器人以線速度ν（單位為m/s）右移；判斷位移距離d是否大于α（單位為cm），若不是則繼續移動，若是則停止移動，當中心點處于右側區域時同理。接著返回區域條件判斷進行循環判斷、移動，直到滿足區域條件，當區域條件滿足后判斷面積條件detect_area是否大于等于S，若不是，則以線速度ν前進；判斷位移距離d是否大于α，循環判斷、移動，直至detect_area大于等于S，此時控制策略結束。

3 面向工業儀表數字識別的圖片色彩增強方法

由于光源和相機角度的問題，四足機器人獲取的圖像經常出現模糊和明暗不一的情況。如圖6所示，工業功率數顯表從上到下分別是電壓、電流、功率和電阻，且圖中4個參數明暗不一和數字模糊。因此，本文使用改進ACE算法[11]對圖片進行色彩增強。

圖6 光線明暗不一的儀表圖像

一張圖片可分為低頻分量和高頻分量，其中高頻分量出現在圖片的細節部分，ACE算法經過低通濾波獲得低頻分量，將原始圖片減去低頻分量得到高頻分量，用增益系數乘以高頻分量，重組得到增強后的圖片。ACE算法的基本公式如下所示：

（1）

式中：R（x）代表彩色空間調整結果，它是一個中間處理值；Subset是圖像像素集；x是固定像素值；y是可變化像素值；I（x）-I（y）代表兩個像素之間強度差；d（x， y）是距離度量函數（一般為歐拉距離）。Sα的表達式如下：

（2）

式中：α是斜率；Sα為斜率函數，Sα在三個范圍下進行取值，r=I（x）-I（y）。然后對調整后的圖像進行擴展。一張彩色圖像具有R、G、B三個通道，對每個通道進行線性擴展，表達式如下所示：

（3）

式中，斜率Sc為[（mc， 0）， （Mc， 255）]，且mc是R（x）的最小值，Mc是R（x）的最大值。最后，將上式映射到[0， 255]的空間中。

（4）

本文針對數字識別需求對y的范圍進行改進，使用YOLOv5[12]檢測儀表框對儀表進行圖像分割，盡可能地去除儀表外的其余像素，減少了ACE算法的運算量，節省了運行時間。此外為了更好地增強圖像的高頻部分，本文使用Huber函數[13]對式（4）的權重進行改進，結合歐氏距離函數，計算得Huber權重函數如下所示：

（5）

式中：可變像素值y與固定像素x之間的歐氏距離dy=1/||x-y||；d是所有dy的均值。若dy小于均值d則權重wy為1；若dy大于均值d則權重wy小于1；歐氏距離越大，即距離固定點越遠，權重系數越小，其色彩增強效果也越小。

4 工業儀表數字漏檢算法改進

在對圖片進行色彩增強并提高圖片清晰度后，將傳統的EAST算法[14]應用到四足機器人的儀表數字檢測中能夠減少計算量。與自然場景廣闊視野中會出現檢測框不完整的情況不同，四足機器人在通過控制策略調整完自身位姿后，獲得的圖片視野范圍較小，進行儀表數字識別會出現儀表某一行數字漏檢的情況。

EAST文本檢測算法結構由特征提取層、特征合并層、輸出層組成，形成特征金字塔網絡（FPN）結構，如圖7所示。

如圖8所示，EAST算法采用了4層FPN結構，在特征合并層進行融合，將小尺寸特征圖進行卷積，形成與大尺寸特征圖一樣的尺寸，再將其連接起來。通過結構圖可知，小區域感受野特征圖位于FPN結構的最底層，小區域感受野特征圖在最后進行融合后輸出。這種處理方法會使得小區域感受野特征圖處理過少，且當通道數較少時融合后相應特征信息所占比例較少，就造成了EAST算法對某些區域關注度不夠，不利于后續的圖片識別。

本文改進了FPN結構，在合并方向相反的路徑上只對特征金字塔的前兩層進行合并（是原EAST算法中關注度不夠的部分），然后再與另一方向路徑進行融合，具體結構如圖9所示。將卷積stage1得到的特征圖送入pooling層，尺寸縮小1倍后，與卷積stage2得到的α特征圖經Concat融合；然后依次送入1×1、3×3的卷積核，得到F（2）2和F（2）3。將抽取的特征圖按照U-net的思想進行合并，卷積核的個數逐層遞減，依次為128、64、32；最后經過32核3×3卷積后將結果輸出到“輸出層”，最終輸出工業儀表數字檢測框的置信度score map和檢測框的位置（x，y，w，h）。

5 實驗驗證

5.1 四足機器人的控制策略實驗驗證

為了驗證本文中四足機器人的控制策略可以有效獲取形狀規則、大小適中的儀表高清圖片，四足機器人進行50次SLAM導航，統計有無控制策略前后檢測框面積大小在整個圖片中的面積占比和運動控制調節次數。本文中，d是平移后的位置坐標與上一個位置坐標之間的歐氏距離；最終經過大量實驗，閾值α取4.4 cm，平移速度ν取0.1 m/s，該速度是四足機器人移動的最低線速度。

圖10表明，在無控制策略時，四足機器人獲得的儀表檢測框面積占比基本都小于有控制策略情況下的面積占比，且完全取決于SLAM定位誤差。圖11展示了S=18 000像素單位和S=19 000像素單位時四足機器人儀表數字識別時調節的次數，平均調節次數分別為7.36和9.6。

接下來采用ACE算法和EAST算法進行100次實驗，收集100張圖片，共400個數據，統計并對比四足機器人有無控制策略前后識別儀表數字的效果，結果見表1所列。四足機器人在無控制策略情況下，通過SLAM控制到達目標儀表前面進行數字識別，此時獲得圖片的清晰度是隨機的，取決于剛開始記錄的任務點位置和導航定位誤差，其中96%為無效識別；在有識別結果的圖片中，其結果個數最多為1，正確率僅為1.75%。

在有控制策略情況下，無效識別的情況得到了極大改善。表1的結果表明，S=18 000像素單位時的情況相比無控制策略的無效識別率降低了91%，數字識別正確率提高到了89%；進一步提高S到19 000像素單位，數字識別正確率提高到93%。結合圖11可知，后者通過犧牲少許的調節次數來換取高水平的數字識別準確率，前者卻無法保證較高的數字識別水平。如果繼續提高S的閾值，會使得調節次數陡增，detect_area的閾值S取19 000像素單位是由大量實驗測試獲得的最佳取值。實驗結果驗證了本文控制策略的有效性，表明四足機器人在該控制策略下使得無效識別率大幅度降低，提高了識別正確率。

5.2 四足機器人的圖像色彩增強算法驗證

該部分實驗分別使用ACE算法和改進ACE算法計算一張1 152 648的原圖經過圖像切割后的運行時間，進行100次計算。

見表2所列，改進的ACE算法比ACE算法的運行時間要短，最大運行時間節省2.401 s，最小運行時間節省2.274 s，平均運行時間節省2.259 s，運行效率平均提高了89.71%。

采用ACE算法和改進的ACE算法對切割后的儀表表盤進行圖像增強，結果如圖12所示，可以明顯看出改進ACE算法使得數字圖像色彩變得更均衡，圖像更清晰。

接下來采用EAST算法在S=19 000像素單位下進行100次實驗，共收集400個數據，統計并對比四足機器人在改進ACE算法前后識別儀表數字的效果，結果見表3所列。改進ACE算法能夠提高收集到圖片的清晰度，降低錯誤識別數和無效識別數，錯誤識別率從3.75%降低到2.25%，無效識別率從3.25%降到2%。可以看出，改進ACE算法有效地改善了四足機器人在儀表數字識別過程中出現的數字區域明暗不一的問題。

5.3 改善四足機器人數字漏檢實驗驗證

針對儀表數字識別存在儀表數字漏檢情況，本文對EAST算法的檢測網絡進行改進，提高對小感受野的關注度，優化檢測效果。改進EAST算法對儀表數字識別的效果如圖13所示。

該部分在S=19 000像素單位和改進EAST算法下進行了100次實驗，共收集400個數據，統計并對比四足機器人在改進文本檢測算法前后識別儀表數字的效果，結果見表4所列。四足機器人在進行儀表四個參數識別時，由于紅色功率數字的明度與黑色儀表表盤的明度最為接近，導致紅色的功率數字漏檢的次數最多。在改進EAST算法下，四足機器人儀表數字識別正確率提高到97.75%，無效識別率從2%降低到0.25%。

6 結 語

目前，有關數字識別的工作主要集中在圖像采集、圖像處理以及識別算法上，而對于四足機器人在工業現場實時控制的應用則甚少涉及。本文提出一種結合移動機器人運動的工業儀表數字識別方法，并在基于四足機器人的工業巡檢實驗平臺中進行了驗證。實驗結果表明，上述方法能夠有效提升工業儀表數字識別的正確率，為四足機器人在工業儀表巡檢中的應用提供重要的參考。

參考文獻

[1]孟健，劉進長，榮學文，等.四足機器人發展現狀與展望[J].科技導報，2015，33（21）：59-63.

[2]張偉，譚文浩，李貽斌.基于深度強化學習的四足機器人運動控制發展現狀與展望[J].山東大學學報（醫學版），2020，58（8）：61-66.

[3]朱秋國.淺談四足機器人的發展歷史、現狀與未來[J].杭州科技，2017，47（2）：47-50.

[4]張帥帥.復雜地形環境中四足機器人行走方法研究[D].濟南：山東大學，2016.

[5]唐賢敏，石云輝.電能計量自動抄表技術的現狀與展望[J].中國新通信，2018，20（20）：224.

[6]封磊.基于機器視覺的工業儀表自動讀數方法研究[D].太原：太原科技大學，2021.

[7] YANG X D，HUANG Y Z，LI J G，et al. Research status review of robots applied in substations for equipment inspection [J]. Shandong electric power，2015，42（1）：30-33.

[8]徐明輝.用于儀表位置尋找的自主導航機器人研究[D].西安：西安理工大學，2021.

[9]施會斌.變電站巡檢機器人自動抄表研究[D].成都：西南交通大學，2021.

[10]何配林.基于深度學習的工業儀表識別讀數算法研究及應用[D].成都：電子科技大學，2020.

[11]肖志云，李新科，軒波，等.對數域中自動色彩均衡化快速算法

[J].計算機輔助設計與圖形學學報，2013，25（3）：390-396.

[12] SHI B，BAI X，YAO C. An end-to-end trainable neural network for image-based sequence recognition and its application to scene text recognition [J]. IEEE transactions on pattern analysis and machine intelligence，2017，39（11）：2298-2304.

[13]趙開開，劉兆祥，廉士國.基于級聯卷積神經網絡的指針式儀表遠程讀數方法和系統[J].電力大數據，2021，24（8）：25-32.

[14] ZHOU X，YAO C，WEN H，et al. EAST：an efficient and accurate scene text detector [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu，HI，USA：IEEE，2017：5551-5560.

作者簡介：簡榮貴（1997—），男，碩士研究生，研究方向為四足機器人。

陳 康（1974—），男，副教授，研究方向為電機與IC設計。

徐哲壯（1984—），男，教授，研究方向為工業物聯網與大數據。