基于機(jī)器視覺的礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)系統(tǒng)

葉景東，　宗壽松,2，　朱美強(qiáng)，　李明

(1.中國礦業(yè)大學(xué) 信息與電氣工程學(xué)院， 江蘇 徐州　221008，2.江蘇安科瑞電器制造有限公司， 江蘇 無錫　214405)

?

基于機(jī)器視覺的礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)系統(tǒng)

葉景東1，宗壽松1,2，朱美強(qiáng)1，李明1

(1.中國礦業(yè)大學(xué) 信息與電氣工程學(xué)院， 江蘇 徐州221008，2.江蘇安科瑞電器制造有限公司， 江蘇 無錫214405)

針對(duì)人工核定煤礦數(shù)顯電測(cè)量?jī)x表時(shí)存在的檢測(cè)效率低、勞動(dòng)強(qiáng)度大、受人主觀因素影響等弊端，設(shè)計(jì)了基于機(jī)器視覺的煤礦數(shù)顯儀表自動(dòng)檢測(cè)系統(tǒng)。該系統(tǒng)通過控制數(shù)顯電測(cè)量?jī)x表上電全顯示與相機(jī)錄像獲取開機(jī)過程，使用亮點(diǎn)統(tǒng)計(jì)方式識(shí)別全顯幀，采用模板匹配完成儀表顯示質(zhì)量的自動(dòng)判定，并通過穿線法字符識(shí)別自動(dòng)判定其測(cè)量精度。工業(yè)樣機(jī)實(shí)驗(yàn)結(jié)果驗(yàn)證了該系統(tǒng)的有效性。

數(shù)顯電測(cè)量?jī)x表； 儀表檢測(cè)； 機(jī)器視覺

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160902.1009.004.html

0　引言

礦用數(shù)顯電測(cè)量?jī)x表是指以晶體管或液晶屏作為顯示載體的電量測(cè)量?jī)x表，在煤礦生產(chǎn)、電量監(jiān)控中被廣泛應(yīng)用[1]。礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)分為顯示質(zhì)量檢測(cè)與精度檢測(cè)兩部分。通常，礦用數(shù)顯電測(cè)量?jī)x表開機(jī)時(shí)，會(huì)依序自動(dòng)顯示全顯信號(hào)、儀表型號(hào)等信息[2-3]，根據(jù)全顯信息可以判斷儀表顯示是否正常。進(jìn)行儀表精度檢測(cè)時(shí)，將儀表顯示值與輸入信號(hào)進(jìn)行對(duì)比，判斷電信號(hào)測(cè)量誤差是否滿足國家標(biāo)準(zhǔn)或者企業(yè)規(guī)定的要求。目前，國內(nèi)煤礦企業(yè)對(duì)煤礦數(shù)顯電測(cè)量?jī)x表的安全檢測(cè)工作主要依靠人工檢測(cè)。人工檢測(cè)的自動(dòng)化程度較低，勞動(dòng)強(qiáng)度大，受主觀因素影響較大，而且無法保存檢測(cè)圖像數(shù)據(jù)[4-5]。鑒此，本文采用圖像處理和識(shí)別技術(shù)，設(shè)計(jì)了基于機(jī)器視覺的礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)系統(tǒng)。

1　系統(tǒng)總體設(shè)計(jì)

1.1系統(tǒng)硬件設(shè)計(jì)

人工檢測(cè)儀表時(shí)，檢測(cè)人員通過肉眼觀察儀表的開機(jī)過程，來確認(rèn)儀表顯示是否符合要求，再進(jìn)行精度檢測(cè)[6]。基于機(jī)器視覺的礦用電測(cè)量?jī)x表檢測(cè)系統(tǒng)將采用攝像頭代替人眼，計(jì)算機(jī)代替人腦來完成儀表的檢定。系統(tǒng)硬件部分主要由計(jì)算機(jī)、工業(yè)相機(jī)、串口控制繼電器、儀表供電電源、程控標(biāo)準(zhǔn)源等組成，其結(jié)構(gòu)如圖1所示。

圖1　硬件結(jié)構(gòu)

計(jì)算機(jī)通過并口、PCI總線和串口分別與工業(yè)相機(jī)和程控標(biāo)準(zhǔn)源及供電電源連接。由于電測(cè)量?jī)x表顯示器本身發(fā)光，所以外界光源影響較小，無需添加輔助光源。當(dāng)計(jì)算機(jī)控制工業(yè)相機(jī)開始錄像時(shí)，計(jì)算機(jī)通過控制串口控制繼電器接通儀表的供電電源，使儀表自動(dòng)開機(jī)。儀表開機(jī)完畢后，計(jì)算機(jī)控制工業(yè)相機(jī)停止錄制，保存儀表開機(jī)錄像，檢測(cè)所需的數(shù)據(jù)采集是否完成。進(jìn)行精度檢測(cè)時(shí)，計(jì)算機(jī)控制標(biāo)準(zhǔn)測(cè)試電源加載測(cè)試信號(hào)，并通過工業(yè)相機(jī)采集圖像，對(duì)顯示結(jié)果進(jìn)行識(shí)別。

1.2系統(tǒng)檢測(cè)流程

通過控制儀表電源獲得開機(jī)視頻后，系統(tǒng)對(duì)視頻的每一幀進(jìn)行分析，找出儀表開機(jī)時(shí)顯示的全顯幀，采用模板匹配的方法檢測(cè)儀表顯示是否符合要求，然后通過輸入精度檢測(cè)信號(hào)進(jìn)行精度檢測(cè)，最后保存檢測(cè)數(shù)據(jù)。具體檢測(cè)流程如圖2所示，圖像處理流程如圖3所示。

圖2　系統(tǒng)檢測(cè)流程

圖3　圖像處理流程

2　系統(tǒng)檢測(cè)原理

2.1開機(jī)關(guān)鍵幀圖像獲取

開機(jī)視頻可以分解為不同幀的圖像。對(duì)于每一幀圖像，系統(tǒng)將分通道處理，二值化每一個(gè)像素點(diǎn)，然后統(tǒng)計(jì)亮點(diǎn)的個(gè)數(shù)。以一個(gè)開機(jī)顯示2路信號(hào)的電壓表為例，統(tǒng)計(jì)亮點(diǎn)數(shù)的變化規(guī)律，如圖4所示,開機(jī)圖像如圖5所示。開機(jī)瞬間，亮點(diǎn)數(shù)增加，之后儀表進(jìn)入一個(gè)穩(wěn)定的過程，即狀態(tài)2，其對(duì)應(yīng)的圖像如圖5中的狀態(tài)2。第1個(gè)顯示信號(hào)穩(wěn)定一段時(shí)間后，儀表開始切換到第2個(gè)信號(hào)點(diǎn)并在一段時(shí)間內(nèi)保持穩(wěn)定，對(duì)應(yīng)的圖像為圖5中的狀態(tài)3。儀表完成開機(jī)后，切換到正常零輸出狀態(tài)，開機(jī)結(jié)束。

圖4　亮點(diǎn)數(shù)統(tǒng)計(jì)

根據(jù)圖4的規(guī)律，可以通過信號(hào)的亮點(diǎn)數(shù)和亮點(diǎn)數(shù)階躍點(diǎn)來判斷整段視頻中哪幾幅圖像幀是開機(jī)檢測(cè)需要的圖像。當(dāng)階躍的數(shù)量達(dá)到一定數(shù)值時(shí)，系統(tǒng)判定儀表狀態(tài)發(fā)生變化，儀表顯示進(jìn)入另一個(gè)狀態(tài)；當(dāng)階躍數(shù)量小于所設(shè)值時(shí)，系統(tǒng)判定為所在狀態(tài)得到保持。通過這種方法，系統(tǒng)得到每一種狀態(tài)的幀數(shù)及所保持的時(shí)間，并通過去除時(shí)間較短的狀態(tài)以去除干擾。統(tǒng)計(jì)同一狀態(tài)的亮點(diǎn)數(shù)量的平均值，找出最接近亮點(diǎn)數(shù)平均值的圖像幀為所在狀態(tài)的最穩(wěn)當(dāng)點(diǎn)。

狀態(tài)1:幀數(shù)1狀態(tài)2:幀數(shù)7狀態(tài)3:幀數(shù)14狀態(tài)4:幀數(shù)20狀態(tài)1:幀數(shù)2狀態(tài)2:幀數(shù)9狀態(tài)3:幀數(shù)15狀態(tài)4:幀數(shù)19

圖5開機(jī)圖像

由于工業(yè)相機(jī)分辨率高，統(tǒng)計(jì)關(guān)鍵幀亮點(diǎn)數(shù)的時(shí)間較長，所以在實(shí)際使用時(shí)需要對(duì)其進(jìn)行優(yōu)化。這里使用了2種優(yōu)化策略。首先，因?yàn)榱咙c(diǎn)統(tǒng)計(jì)規(guī)律與分辨率無關(guān)，所以可通過壓縮圖片、降低分辨率來加快關(guān)鍵幀獲取速度。其次，儀表開機(jī)時(shí)不同狀態(tài)會(huì)持續(xù)一定時(shí)間，同一個(gè)狀態(tài)會(huì)采集到數(shù)幀相同的圖像。因此，可采用跳躍統(tǒng)計(jì)圖像幀的方式統(tǒng)計(jì)所有幀，以縮減檢測(cè)時(shí)間。

2.2儀表圖像定位

在獲取到開機(jī)關(guān)鍵幀原始圖像后，為了消除因圖像錯(cuò)位產(chǎn)生的誤差，需要對(duì)圖像進(jìn)行定位預(yù)處理。將較小的標(biāo)準(zhǔn)模板作為參考，在輸入模板中尋找相對(duì)性的相似度最高的模塊，使標(biāo)準(zhǔn)模板可以在空間上進(jìn)行定位。模板匹配算法主要有基于灰度的模板匹配、基于幾何特征模板匹配和特征加權(quán)模板匹配[7]。本文使用算法較簡(jiǎn)單、速度較快的基于灰度的模板匹配定位方法。模板匹配示意和結(jié)果如圖6和圖7所示，從匹配數(shù)組中劃分和標(biāo)準(zhǔn)模板大小相同的子數(shù)組，與標(biāo)準(zhǔn)模板相減取絕對(duì)值，并且進(jìn)行累加。不同子數(shù)組的計(jì)算結(jié)果組成大小為(M-m)(N-n)的新數(shù)組,其中M,N為匹配數(shù)組大小,m,n為模板數(shù)組大小。新數(shù)組中最小值就是與模板相識(shí)度最高的子模塊，如式(1)所示。

(1)

式中：d(i,j)為最佳匹配子模塊；(i,j)為像素點(diǎn)的坐標(biāo)；S(i,j)為與模板大小一樣的子模塊數(shù)組；T(i,j)為模板數(shù)組。

圖6　模板匹配示意

圖7模板匹配結(jié)果

2.3顯示質(zhì)量檢測(cè)

尋找到最佳模板之后，系統(tǒng)需要對(duì)圖像進(jìn)行檢測(cè)識(shí)別，判斷儀表是否符合開機(jī)要求。將匹配到的最佳模板與標(biāo)準(zhǔn)模板相減，計(jì)算絕對(duì)值，組成差異化圖像數(shù)組。將差異化圖像數(shù)組進(jìn)行二值化濾波，消除因光線等外界因素產(chǎn)生的微小偏差。檢測(cè)二值化后的差異化圖像數(shù)組的聯(lián)通模塊，將因?yàn)槲恢闷畹纫蛩卦斐傻男∧K去除，保留面積較大的模塊。最后通過檢測(cè)差異化圖像數(shù)組是否存在面積大的模塊來識(shí)別圖像是否和標(biāo)準(zhǔn)模板一致，如圖8所示。

(a)關(guān)鍵幀圖像(b)標(biāo)準(zhǔn)模板圖像(c)相減圖像(d)處理結(jié)果

圖8圖像檢測(cè)

2.4儀表精度檢測(cè)

電測(cè)量?jī)x表精度檢測(cè)圖像采用邊緣檢測(cè)進(jìn)行顯示數(shù)字的提取，將圖像進(jìn)行膨脹，把每個(gè)數(shù)字作為一個(gè)聯(lián)通域進(jìn)行切割。數(shù)字圖像提取出來后,采用穿線法進(jìn)行數(shù)字字符的識(shí)別,如圖9所示。其中w為數(shù)字圖像寬度,h為高度。穿線法通過ABCDEFG七條線段穿過圖像,檢測(cè)是否經(jīng)過線段,經(jīng)過為1,不經(jīng)過為0。對(duì)識(shí)別到的編碼采用表1進(jìn)行轉(zhuǎn)換，得到識(shí)別數(shù)字。得到數(shù)字識(shí)別結(jié)果后，將其與儀表輸入進(jìn)行比對(duì)，計(jì)算精度誤差，并根據(jù)數(shù)據(jù)庫信息進(jìn)行精度檢定。

圖9　穿線法

ABCDEFG結(jié)果00001011111011021110101301011014111100151111011610001017111111181111101910111110

3　實(shí)驗(yàn)結(jié)果分析

采用2 592×1 944高分辨率工業(yè)相機(jī)和i7-4710MQCPU計(jì)算機(jī)，基于OPENCV和C++平臺(tái)搭建軟件系統(tǒng)。樣機(jī)在儀表生產(chǎn)廠家進(jìn)行了實(shí)驗(yàn)運(yùn)行，結(jié)果表明，該系統(tǒng)能夠?qū)崿F(xiàn)相關(guān)礦用數(shù)顯電測(cè)量?jī)x表的顯示質(zhì)量檢測(cè)和精度檢測(cè)。

3.1顯示質(zhì)量實(shí)驗(yàn)結(jié)果

在儀表生產(chǎn)廠家錄制15幀/s的開機(jī)錄像用于檢測(cè)顯示質(zhì)量。實(shí)驗(yàn)時(shí)，分別對(duì)數(shù)碼管與液晶面板兩類儀表進(jìn)行了測(cè)試，均得到滿意的結(jié)果。對(duì)于合格儀表，液晶儀表的實(shí)驗(yàn)結(jié)果見圖8，數(shù)碼管儀表結(jié)果與之類似。對(duì)于安全質(zhì)量不合格的儀表樣本，數(shù)碼管儀表開機(jī)過程中獲取到的全顯信號(hào)關(guān)鍵幀與標(biāo)準(zhǔn)模板匹配，識(shí)別出了儀表顯示存在缺段的質(zhì)量問題，如圖10所示。

關(guān)鍵幀圖像標(biāo)準(zhǔn)模板圖像差值圖像識(shí)別結(jié)果

圖10數(shù)碼管缺段檢測(cè)

通過壓縮圖像加速和跳躍采集對(duì)儀表信息關(guān)鍵幀獲取進(jìn)行優(yōu)化，使整個(gè)檢測(cè)時(shí)間縮短，結(jié)果如圖11所示。系統(tǒng)優(yōu)化后，在分辨率高時(shí)有較大的速度提升；當(dāng)分辨率低時(shí)，提升空間較小，提升效果依然存在，但不明顯。

圖11　處理時(shí)間

3.2精度檢測(cè)實(shí)驗(yàn)結(jié)果

樣機(jī)系統(tǒng)通過比對(duì)識(shí)別出的數(shù)字與輸入數(shù)值，檢測(cè)電測(cè)量?jī)x表精度是否滿足安全質(zhì)量要求。本系統(tǒng)測(cè)試了10種類型100多個(gè)電測(cè)量?jī)x表，包括電壓表、電流表、電能表，其中有液晶顯示和數(shù)碼管顯示的數(shù)顯儀表測(cè)試結(jié)果表明，系統(tǒng)能夠檢測(cè)出精度不達(dá)標(biāo)的電測(cè)量?jī)x表。

4　結(jié)語

針對(duì)煤礦數(shù)顯電測(cè)量?jī)x表的安全檢測(cè)，基于機(jī)器視覺技術(shù)，設(shè)計(jì)了煤礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)系統(tǒng)。該系統(tǒng)采用了計(jì)算機(jī)控制、機(jī)器視覺分析的方法，實(shí)現(xiàn)了煤礦電測(cè)量?jī)x表顯示質(zhì)量檢測(cè)和測(cè)量精度檢測(cè)，自動(dòng)化程度較高。工業(yè)樣機(jī)實(shí)驗(yàn)結(jié)果驗(yàn)證了該系統(tǒng)的可行性。

[1]韓書,胡彧,李彤,等.通風(fēng)安全儀器儀表管理系統(tǒng)設(shè)計(jì)[J].工礦自動(dòng)化,2014,40(5):109-112.

[2]孫杰.通風(fēng)安全儀表計(jì)算機(jī)管理系統(tǒng)的設(shè)計(jì)[J].工礦自動(dòng)化,2011,37(4):88-91.

[3]孫繼平.煤礦井下安全避險(xiǎn)“六大系統(tǒng)”的作用和配置方案[J].工礦自動(dòng)化,2010,36(11):1-4.

[4]陳蓉,楊慕升,張宇,等.基于機(jī)器視覺的儀表自動(dòng)檢定系統(tǒng)的研究[C]//中國儀器儀表學(xué)會(huì)青年學(xué)術(shù)會(huì)議,黃山，2007.

[5]李偉,任娜娜,胡艷俠,等.基于機(jī)器視覺和LabVIEW的指針式儀表自動(dòng)檢測(cè)系統(tǒng)設(shè)計(jì)[J].自動(dòng)化與儀器儀表,2015(4)：178-181.

[6]李棟,楊志家.基于機(jī)器視覺的指針儀表識(shí)讀方法[J].儀表技術(shù)與傳感器,2012(10):31-33.

[7]崔政,李壯.兩種改進(jìn)的模板匹配識(shí)別算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2006,27(6):1083-1085.

Detection system for coal mine electrical inspection instrumentwithdigitaldisplaybasedonmachinevision

YE Jingdong1,ZONG Shousong1,2,ZHU Meiqiang1,LI Ming1

(1.SchoolofInformationandElectricalEngineering,ChinaUniversityofMiningandTechnology，Xuzhou221008,China； 2.JiangsuAcrelElectricCo.,Ltd.,Wuxi214405,China)

Inviewofproblemsoflowmeasurementefficiency,highlabourintensityandbeinginfluencedbysubjectivefactorsinmanuallycalibratingcoalmineelectricalinspectioninstrumentwithdigitaldisplay,anautomaticinspectionsystemforcoalmineelectricalinspectioninstrumentwithdigitaldisplaywasdesignedbasedonmachinevision.Thesystemcontrolspoweronoftheinstrumentandavideotogetbootingprocess,anduseshighlightsstatisticsmodetoidentifykeydisplayframeoftheelectricalinspectioninstrument,usestemplatematchingtocompleteautomaticidentificationofthedisplayimage,andusesdigitrecognitionwiththreadingmethodtodetectthemeasurementaccuracyautomaticly.Validityofthedesignedsystemisverifiedwithexperimentresultsfromindustrialprototypesystem.

electricalinspectioninstrumentwithdigitaldisplay;instrumentinspection;machinevision

1671-251X(2016)09-0013-04DOI:10.13272/j.issn.1671-251x.2016.09.004

2016-04-14；

2016-07-20；責(zé)任編輯：胡嫻。

江蘇省自然科學(xué)基金項(xiàng)目(BK20130207)；江蘇省博士后基金項(xiàng)目(1301029C)。

葉景東(1990-)，男，廣東廣州人，碩士研究生，研究方向?yàn)闄C(jī)器視覺，E-mail：cumtyjd@126.com。

TD679

A網(wǎng)絡(luò)出版時(shí)間：2016-09-02 10:09

葉景東，宗壽松，朱美強(qiáng)，等.基于機(jī)器視覺的礦用數(shù)顯電測(cè)量?jī)x表檢測(cè)系統(tǒng)[J].工礦自動(dòng)化，2016,42(9)：13-16.