改進ORB和Hough變換的指針式儀表識讀方法

高建龍，郭 亮，呂耀宇，吳清文 ，母德強

1.中國科學院 長春光學精密機械與物理研究所 空間機器人工程中心，長春 130033

2.中國科學院大學，北京 100049

3.長春工業(yè)大學 機電工程學院，長春 130033

1 引言

指針式儀表因其結構簡單、安裝維護方便、可靠性高等優(yōu)點在電力系統(tǒng)、石油化工等行業(yè)大量使用。以變電站系統(tǒng)為例，其中很多設備的工作狀態(tài)需要通過儀表進行監(jiān)測，如壓力表，溫度表等。然而在變電站系統(tǒng)的日常維護中，傳統(tǒng)的人工巡檢由于受工作環(huán)境高壓高溫、工作人員主觀因素等影響，使得其存在安全性低，工作效率低，工作可靠性差等弊端。隨著機器人和計算機視覺技術的不斷進步，利用巡檢機器人搭載攝像頭進行視覺巡檢大大提高了巡檢工作的工作效率和可靠性。在通過視覺方法進行指針儀表讀數(shù)方面，國內(nèi)外科研工作者已經(jīng)積累了豐富的經(jīng)驗。李偉[1]等人利用中心投影法求取指針角度以實現(xiàn)指針儀表的讀數(shù)。楊志娟[2]等人利用模板特征獲得儀表先驗信息，并提出基于圓周區(qū)域的累積直方圖法對指針進行定位，進而讀取儀表示數(shù)。但中心投影法、模板特征法計算結果受圖像噪聲影響較大。李治瑋[3]等人利用減影法通過模板圖像與待測儀表圖像相減計算指針位置。但是減影法只能簡單有效適用于光照充足條件下的儀表指針定位，對于光照變化大、有陰影、圖像背景復雜等情況，減影法會影響檢測出的指針區(qū)域。李棟[4]、施健[5]等人利用添加圓心約束的Hough變換算法檢測指針角度從而進行儀表的自動讀數(shù)，但是在文中并沒有明確給出圓心坐標的提取方法。李祖賀[6]等人結合指針質(zhì)心，利用幀差法和角度法較好地實現(xiàn)了壓力表的讀數(shù)。

本文提出一種基于改進ORB和Hough變換算法的指針式儀表識讀方法。通過改進ORB算法實現(xiàn)儀表的識別與透視變換矩陣的計算。利用圖像預處理、投影法等方法進行指針的提取、定向。利用基于ORB特征匹配對的相似特征三角形法確定指針旋轉圓心，運用添加圓心約束的Hough變換提取指針角度，并根據(jù)儀表的先驗信息得到儀表讀數(shù)結果。該方法流程圖如圖1所示。

圖1 儀表識讀方法流程圖

2 儀表模板圖像采集

為了準確識別指針式儀表，得到后續(xù)可靠的透視變換矩陣和定位指針旋轉區(qū)域，首先要采集儀表的模板圖像。采集模板圖像時要求攝像頭和表盤垂直在一條直線上。以一種壓力表為例，采集其模板圖像如圖2所示。對模板圖像進行處理得到儀表的先驗信息，如表盤指針旋轉圓心、半徑、最大值、最小值等。其中，最重要的是指針角度與刻度之間的函數(shù)關系。圖2儀表的指針角度與刻度之間的函數(shù)關系如下式：

圖2 儀表模板圖像

3 ORB算法及改進

ORB[7-8]算法是一種快速匹配算法，利用Oriented FAST檢測算法檢測圖像上的特征點，再通過Rotated BRIEF描述符對特征點進行二進制向量描述，最后模板圖像與采集圖像的特征匹配采用漢明距離比值準則獲得最終匹配結果。

3.1 特征提取

ORB算法采用計算效率高的FAST（Features from Accelerated Segment Test）角點檢測算子實現(xiàn)圖像特征點檢測。針對FAST算子沒有角點響應函數(shù)，并且具有很大的邊緣響應的缺點，ORB算法采用Harris角點檢測算法對特征點進行排序，再提取前n個點。Harris角點檢測的排序依據(jù)的是Harris角點響應函數(shù)，如式（2）所示，其中M為描述像素點局部鄰域內(nèi)梯度分布的自相關矩陣，k一般取0.04，λ1、λ2為自相關矩陣的兩個特征值。

本文采用角點強化方法，通過選取λ1、λ2中的較小值λmin，與預先設定的閾值ε進行比較，若λmin＞ε，則保留該特征點。這種方式得到的特征點即為強化的角點，具有易于識別且穩(wěn)定的特性，可以有效地去除分布密集的現(xiàn)象，剔除不穩(wěn)定的邊緣響應點，加強后續(xù)匹配的穩(wěn)定性。

本文改進的FAST特征檢測算法實現(xiàn)步驟如下：

（1）對預處理后的圖像進行FAST角點檢測，得到總個數(shù)為N的角點集S。

（2）對于集合S中的每個點進行角點強化，比較λmin與閾值ε的大小。當λmin＞ε時，保留該點為強角點，否則剔除。

（3）特征點數(shù)量閾值化處理。由于特征點數(shù)量過少會降低目標定位精度，過多則會增加冗余信息，降低處理速度。因此，采用特征點數(shù)量閾值化進行處理。考慮到后期儀表圓心定位至少需要8個特征點，取數(shù)量閾值n1=8,n2=100。當強角點數(shù)小于n1時，則返回1重新提取特征點；當強角點數(shù)大于n2時，則取排序后的前n2個特征點。

針對FAST檢測的角點不具有方向信息，ORB算法應用灰度矩心法添加角點主方向。圖像角點區(qū)域的灰度矩定義為：

其中，p,q決定了灰度矩的階數(shù)。為了提高FAST角點的旋轉不變性，x、y需滿足x,y∈[ ]-r,r，r等于鄰域半徑。于是，可以得到灰度矩心為：

這樣可構造角點中心O到矩心C的向量OC，則角點主方向為：

對于ORB算法不具有尺度不變性的問題，本文通過構造圖像金字塔來加以補充。首先，利用高斯函數(shù)G(x ,y,σ)與圖像函數(shù)F(x ,y)的卷積得到尺度函數(shù)：

利用高斯差分函數(shù)與圖像函數(shù)卷積得到尺寸空間：

這樣就可以得到一系列金字塔圖像，同時應用改進的FAST角點檢測算子可以得到不同尺度空間的特征點。于是，改進了ORB算法的尺度不變性。

3.2 特征描述

對添加主方向的角點，ORB應用Rotated BRIEF描述子進行描述。通過貪婪式搜索，并設置閾值，篩選向量點對相關性較低的描述子，得到最終描述子。

3.3 特征匹配

由以上方法獲得的描述子為二進制比特串形式，ORB采用Hamming距離進行特征點匹配，即計算兩個特征點的最近鄰和次近鄰距離，并與閾值比較來判斷兩者是否匹配。但這種方法匹配速度慢，出現(xiàn)錯誤匹配的頻率高，影響程序運行效率和識別準確率。本文采用文獻[9]提出的適合高維二進制特征的最近鄰搜索算法FLANN進行粗匹配，并利用PROSAC[10]進行精匹配。最近鄰距離采用漢明距離計算，如公式（8）所示：

式中，ai為模板圖像任意角點的Rotated BRIEF描述向量中T(a0,a1,…,an)中第i位，bi為攝像機采集的待處理圖像任意角點的Rotated BRIEF描述向量中C(b0,b1,…,bn)中第i位。假設模板圖像中特征點k與待處理圖像特征點中對應的最近鄰和次近鄰特征點分別為m,n，則漢明距離表示為Dkm、Dkn。于是，匹配比率為Dr=Dkm/Dkn。規(guī)定閾值Td=0.6，若Dr＜Td，則滿足匹配要求，進行保留；否則舍棄。按照此方法得到FLANN匹配點對集。

采用FLANN匹配算法獲得的匹配結果仍然會出現(xiàn)錯誤匹配的結果，于是利用PROSAC算法，根據(jù)特征匹配點對的相似程度對特征點進行排序，從中抽取相似度較高的樣本估算出基礎矩陣，并利用基礎矩陣剔除誤差較大的匹配。

3.4 透視變換矩陣計算

利用ORB特征匹配對計算模板圖像與待處理圖像的透視變換矩陣[11]。模板圖像與待處理圖像之間的關系如下：

其中，x、y分別為模板圖像的行與列坐標，x′、y′分別為待處理圖像的行與列坐標，H為3×3的透視變換矩陣。通過透視變換矩陣可以得到待處理圖像中的儀表相對于模板圖像中的儀表的偏轉角度。

4 基于Hough變換的儀表讀數(shù)

指針式儀表的一般特征是表盤背景與刻度、指針灰度差異較大，根據(jù)這一特點，本文通過對采集圖像進行數(shù)學形態(tài)學處理、灰度拉伸、閾值分割等預處理。針對變電站儀表中指針頂部細、底部粗的特點，結合投影法判斷指針方向，利用骨架算法細化指針，最后通過Hough變換法提取指針角度。結合偏轉角度校正和函數(shù)關系式（1）即可得到最終的儀表讀數(shù)。

4.1 指針提取

為了保證儀表讀數(shù)的準確度，首先需要提取儀表指針，去除背景干擾。在采集儀表圖像的過程中，由于光線、投影等干擾的影響，采集圖像中會包含大量噪聲。指針式儀表圖像中的噪聲大多服從高斯分布，因此可以選用高斯濾波器進行去除。首先，為提升圖像質(zhì)量、提取完整指針，利用5×5的高斯模板對儀表圖像進行高斯濾波處理。

為了突出表盤區(qū)域，對高斯處理后的圖像應用數(shù)學形態(tài)學處理。黑帽運算是閉運算的結果圖與原圖像的差，可以突出比原圖輪廓周圍的區(qū)域更暗的區(qū)域，從而可以有效地分離出表盤區(qū)域和指針。將黑帽運算后的圖像轉化為灰度圖，然后利用灰度拉伸算法增強圖像對比度，使后續(xù)指針提取更加可靠。

為了簡單快速完整地提取指針的二值圖像，最后結合直方圖利用最大類間方差法（OSTU）[12]提取儀表指針二值圖。OSTU算法將兩個區(qū)域之間的方差最大化作為閾值選擇準則。閾值計算公式如下式：

儀表所示真實值分別為0.82 MPa和1.77 MPa時，上述指針提取結果如圖3所示。

圖3 指針提取結果

4.2 指針定向

由于指針的形狀特點，當指針處于水平位置時，將指針向圖像橫軸投影，則指針底部由于較粗在橫軸上的投影值較大。由于指針式儀表的刻度呈現(xiàn)關于通過指針旋轉圓心的垂直線對稱分布的特點，因此可以通過投影法[13]判斷指針底部所在垂直線的左側或右側來確定指針的所指方向。如圖4所示為對應上述指針提取結果的指針向x軸投影的效果圖。

在確定指針方向后，利用骨架細化算法[14-15]細化指針，以使后續(xù)Hough變化法提取指針角度更準確。骨架細化算法通過對8鄰域的迭代計算去除指針多余的邊緣像素，使細化的指針圖像的連通性與原圖像保持一致，細化指針線條寬度為單像素且為指針中心線。指針細化效果圖如圖5所示。

圖4 指針向x軸投影圖

圖5 骨架細化的指針圖

4.3 儀表讀數(shù)

針對原始Hough變換算法計算量大、實時性差等缺點，本文通過圓心約束改善該算法的實時性與準確性。

在變電站各種各樣的指針式儀表中，指針都具有一個共同的特征，即通過表盤圓心（或由指針旋轉圓心起始）的具有一定長度的近似直線。因此在很多指針式儀表的識讀研究中，都利用了指針旋轉圓心這一特點來檢測指針直線[4-5]。目前常用的提取圓形目標圓心的算法主要有極值均值法、Hough變換法和能量最小原理法[4]。但是在背景復雜環(huán)境情況下，難免存在圓形物體，因此利用Hough變換確定目標指針旋轉圓心的方法可靠性較差；極值均值法在指針旋轉圓心與表盤圓心不重合時不能滿足指針旋轉圓心要求。本文提出相似特征三角形方法確定目標指針旋轉圓心，為Hough變換添加圓心約束。相似特征三角形方法原理如圖6所示。具體方法如下：

首先在模板圖像A中確定儀表的指針旋轉圓心O。在利用上述ORB檢測的模板圖像的特征點集中，隨機選取三個特征點P、Q、R，構成滿足最小角大于5°的三角形，否則，重新選取特征點。在確定滿足要求的特征三角形后，由圓心向任意兩條邊投影，投影點分別記為M、N。

圖6 相似特征三角形方法原理圖

在儀表待處理圖像B的特征點集中，選取與模板圖像P、Q、R編號相同，即相匹配的特征點記為P′、Q′、R′。這樣，△PQR 與△P′Q′R′構成相似特征三角形。記O′、P′、Q′、R′坐標分別為，利用相似三角形性質(zhì)可得目標指針旋轉圓心在 △P′Q′R′對應邊上的投影點 M′、N′的坐標：

由向量垂直關系可得待處理圖像中關于目標指針旋轉圓心O′的坐標的關系式如下：

利用式（14）便可以求得目標指針旋轉圓心O′坐標。則k時刻目標指針旋轉圓心在圖像平面內(nèi)的坐標位置 (uk,vk)，即

Hough變換原理中，一條直線的極坐標方程可以表示為：

ρ為原點到直線的垂直距離，θ為直線的法線方向與x軸的夾角。該方程表示笛卡爾空間對于一個給定點，對應極坐標平面上的一條正弦曲線。空間的多個點映射到極坐標平面就可以得到曲線簇。因此，空間中共線的點對應于極坐標中交于一點的曲線，只需確定極坐標平面中多條曲線的交點便能確定笛卡爾空間中對應的直線。Hough變換算法由于對每條曲線和點進行累計，所以運算量和耗時較大。改進的Hough變換通過添加檢測的直線通過圓心的約束，即極坐標平面內(nèi)指針直線對應的點限定在圓心對應的曲線上，這樣大大減少了Hough變換的運算。如圖7所示為指針直線檢測結果。

由直線檢測結果便可以得到指針偏轉角度，結合透視變換進行儀表校正，將其帶入由模板圖像獲得的指針偏轉角度與刻度的函數(shù)關系式，便可以得到儀表最終讀數(shù)結果。

圖7 指針直線檢測結果

5 實驗結果與分析

為了驗證本文指針式儀表識讀算法的有效性和穩(wěn)定性，實驗環(huán)境如下：以0～2.5 MPa的指針式壓力表為實驗對象，實驗平臺如圖8所示，采用內(nèi)存4 GB，CPU主頻2.40 GHz的計算機，利用C++和OpenCV視覺庫在VS2012環(huán)境下編程實現(xiàn)，攝像機分辨率為640像素×480像素，安裝在二自由度旋轉云臺上。該云臺可以設計搭載在變電站巡檢機器人上，以實現(xiàn)變電站的全自動巡檢。

圖8 指針式儀表識讀實驗環(huán)境

5.1 改進ORB算法實驗

為驗證本文改進ORB算法FAST特征點檢測效果，分別對模板圖像和待處理圖像進行處理。圖9為ORB算法中FAST角點檢測結果，角點分布存在較嚴重的聚集現(xiàn)象，使錯誤匹配的概率提高。圖10為本文改進的FAST角點檢測結果，優(yōu)化后的特征點檢測具有穩(wěn)定性好、分布相對分散均勻、不存在過于聚集等特點，為后續(xù)特征點匹配定位目標儀表和計算透視變換矩陣提供了穩(wěn)定的特征點。

圖9 FAST角點檢測

圖10 本文改進的FAST角點檢測

為了驗證本文改進ORB算法的可靠性，圖11分別給出了本文算法與原始ORB特征匹配算法、傳統(tǒng)SURF算法[16]在特征點數(shù)量閾值為200時的匹配效果對比圖。表1為圖11對應的每一幀的實驗結果。

圖11 不同特征匹配算法實驗結果對比

表1 不同特征匹配算法實驗數(shù)據(jù)對比

由圖表數(shù)據(jù)對比可以看出，在檢測的特征點數(shù)量一定時，本文算法檢測到的特征點穩(wěn)定，分布均勻，環(huán)境背景影響較小，正確匹配的特征點對較多，為后續(xù)獲取指針旋轉圓心和儀表讀數(shù)提供了可靠的特征點匹配對。

5.2 指針旋轉圓心提取

為了驗證本文指針旋轉圓心提取算法的準確性，分別進行了相似特征三角形法與文獻[4]能量最小原理提取指針旋轉圓心的對比實驗，實驗結果如表2所示，列出了指針旋轉圓心在圖像中的坐標為（395，298）時，相似特征三角形法與能量最小原理法確定圓心的實驗數(shù)據(jù)。

由表2可以看出相似特征三角形方法確定圓心的平均偏差為3.696 pix，平均用時為53.725 ms，相比于能量最小原理方法識別準確度和速度分別提高了88.48%和88.08%，具有更高的準確度和實時性，能夠為Hough變換提供可靠的圓心坐標限制條件。

表2 相同指針旋轉圓心位置相似特征三角形法與文獻[4]方法對比

5.3 儀表讀數(shù)實驗

首先采集實驗中所用儀表的模板圖像，并處理獲得其先驗信息。利用添加圓心約束的Hough變換方法獲得指針角度，通過特征點匹配對得到的透視變換矩陣進行儀表偏轉校正，再帶入刻度與角度函數(shù)關系得到當前指針的讀數(shù)。表3為原始Hough變換與本文改進算法的儀表讀數(shù)實驗結果。

表3 儀表讀數(shù)實驗結果

在實際工程應用中，指針角度的識別誤差要求在3°以內(nèi)，即對應于讀數(shù)誤差要求在±0.027 9 MPa范圍內(nèi)。由表3可知本文算法最大絕對偏差為0.01 MPa，比原始Hough變換算法準確度有了很大的提高，滿足指針儀表自動讀數(shù)的要求。

在算法實時性方面，利用相似特征三角形方法大大縮減了確定指針旋轉圓心的時間，加上對ORB和Hough變換算法的改進，保證了本文算法的實時性。文獻[5]沒有說明儀表圓心確定的方法，因此本文考慮上述能量最小原理方法進行比較。兩種方法對10幅待測儀表圖像讀數(shù)實驗平均用時結果如表4。

表4 不同算法實時性比較 s

由表4可以看出，在保證儀表識讀精度的前提下，本文算法較文獻[5]方法用時降低了20.48%，能夠滿足儀表識讀的要求。

6 結束語

本文利用改進的ORB特征匹配算法和添加圓心約束的Hough變換算法進行指針式儀表的識讀。首先，對經(jīng)典ORB算法進行了改進，使其檢測的特征點分布更加均勻，使后續(xù)計算透視變換矩陣和Hough變換添加圓心約束更加可靠。然后利用圖像預處理提取儀表指針，并通過骨架算法細化指針，利用投影法確定指針方向。最后利用基于ORB特征匹配對的相似特征三角形方法確定指針旋轉圓心，并使Hough變換添加圓心約束，以提高檢測指針角度的速度。實驗結果表明，該方法能夠實現(xiàn)指針式儀表的準確快速識讀，滿足變電站巡檢的需求。