基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別方法研究

紀(jì) 永

(上海城建職業(yè)學(xué)院,上海 201415)

加熱爐是重要的工業(yè)加熱設(shè)備。加熱爐在持續(xù)運(yùn)行過程中,鋼坯不斷受到振動(dòng)的影響,爐內(nèi)容易產(chǎn)生襯里裂紋缺陷、掉鋼等異常故障。而加熱爐內(nèi)溫度極高,很難及時(shí)檢查異常情況,嚴(yán)重影響設(shè)備穩(wěn)定運(yùn)行[1-2]。圖像識(shí)別技術(shù)能夠?qū)崟r(shí)處理爐內(nèi)監(jiān)控圖像,有利于發(fā)現(xiàn)加熱爐內(nèi)的異常情況,及時(shí)維修故障,因此研究加熱爐內(nèi)異常情況圖像識(shí)別方法具有良好的應(yīng)用前景和重要的研究?jī)r(jià)值。圖像處理和識(shí)別技術(shù)已有一些研究成果,賀靜[3]提出了一種加熱爐故障可視化診斷方法。設(shè)計(jì)了加熱爐故障可視化診斷系統(tǒng);采用CCD相機(jī)采集爐內(nèi)圖像數(shù)據(jù)并利用DSP處理器進(jìn)行處理;通過圖像解碼使圖像清晰化,實(shí)現(xiàn)故障識(shí)別與診斷。但該方法提取圖像信息所用的時(shí)間較長(zhǎng),且特征提取不準(zhǔn)確,識(shí)別率較低。李瑩[4]等人通過輸出執(zhí)行模塊、分析模塊、采集模塊和處理模塊設(shè)計(jì)圖像識(shí)別系統(tǒng)。該方法處理圖像所用的時(shí)間較長(zhǎng),存在識(shí)別效率低的問題。

基于上述方法不足,進(jìn)一步提高圖像識(shí)別的識(shí)別率,減少識(shí)別時(shí)間,提出基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別方法研究。基于機(jī)器視覺采集加熱爐內(nèi)監(jiān)控圖像;通過加權(quán)平均方法對(duì)加熱爐內(nèi)圖像進(jìn)行灰度處理;通過圖像縮放完成歸一化處理;結(jié)合濾波操作、腐蝕操作和膨脹操作三種方法提高加熱爐內(nèi)圖像的識(shí)別率;創(chuàng)新性地采用Niblack算法完成圖像的二值化處理,縮短識(shí)別時(shí)間;設(shè)計(jì)特征匹配模板,完成特征提取,實(shí)現(xiàn)圖像識(shí)別。

1 方法設(shè)計(jì)

基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別方法分為圖像采集方法和圖像識(shí)別方法。

1.1 基于機(jī)器視覺的圖像采集方法

圖像采集方法主要是基于機(jī)器視覺通過圖像采集模塊采集并存儲(chǔ)加熱爐內(nèi)的異常情況監(jiān)控圖像。加熱爐內(nèi)異常情況圖像采集模塊結(jié)構(gòu)如圖1所示。

圖1 采集存儲(chǔ)模塊結(jié)構(gòu)

如圖1所示,在圖像采集結(jié)構(gòu)中設(shè)置了信令處理模塊、采集控制模塊、文件分區(qū)模塊、頁讀取模塊、塊擦除模塊和頁寫入模塊[5-7];前端使用高溫紅外攝像設(shè)備采集加熱爐內(nèi)異常情況圖像,該設(shè)備輸出的圖像進(jìn)入單片機(jī)功能模塊進(jìn)行采集控制。攝像頭與加熱爐內(nèi)異常情況圖像采集控制模塊具體連接方式如圖2所示。

圖2 采集控制連接圖

信令分析模塊負(fù)責(zé)接收來自網(wǎng)卡和PC機(jī)的命令,然后驅(qū)動(dòng)存儲(chǔ)器分區(qū)存儲(chǔ)采集圖像,通過采集控制模塊操控復(fù)位后的攝像頭完成初始化。攝像頭采集模塊在CAPEN的值為1時(shí)開始工作,采集加熱爐內(nèi)圖像,在JEPEGD0-JPEGD7的支持下將加熱爐內(nèi)圖像傳輸?shù)酱鎯?chǔ)器和識(shí)別模塊中,經(jīng)過存儲(chǔ)器讀取、寫入后進(jìn)行圖像識(shí)別。

1.2 基于機(jī)器視覺的圖像識(shí)別方法

利用上節(jié)采集的圖像,基于機(jī)器視覺人工智能技術(shù)進(jìn)行圖像識(shí)別方法設(shè)計(jì)。圖像識(shí)別的具體流程如圖3所示。識(shí)別流程主要分為灰度處理、歸一化處理、圖像增強(qiáng)、二值化處理、特征提取5個(gè)步驟。經(jīng)過以上5個(gè)處理環(huán)節(jié),輸出識(shí)別結(jié)果,完成圖像識(shí)別。

圖3 識(shí)別流程圖

1)灰度處理

用灰色圖像代替采集到的彩色加熱爐內(nèi)圖像,通過加權(quán)平均方法對(duì)加熱爐內(nèi)圖像做灰度處理,用8位圖像代替原始的24位圖像[8-10]：

(1)

式中：V為轉(zhuǎn)換后加熱爐內(nèi)圖像的顏色;x、y、z為基本顏色系數(shù);R、G、B描為三基色。

2)歸一化處理

歸一化處理灰度處理后的加熱爐內(nèi)圖像,使其在后續(xù)處理過程中的尺寸統(tǒng)一。所提方法通過圖像縮放形式完成歸一化處理,分別用gx、gy表示x軸和y軸的縮放比例,原始加熱爐內(nèi)圖像g(x,y)中存在的點(diǎn)(x0,y0)與縮放后原始加熱爐內(nèi)圖像h(x,y)中存在的點(diǎn)(x1,y1)相對(duì)應(yīng),此時(shí)存在下述公式：

(2)

加熱爐內(nèi)圖像通過歸一化處理后可以獲得更加準(zhǔn)確和較多的特征點(diǎn)。

3)圖像增強(qiáng)

采用濾波操作[11-12]消除加熱爐內(nèi)圖像中存在的干擾噪聲,結(jié)合腐蝕操作和膨脹操作提高加熱爐內(nèi)圖像的分辨率[13-14],通過上述過程完成加熱爐內(nèi)圖像的增強(qiáng)處理,提高圖像識(shí)別的準(zhǔn)確率。

4)二值化處理

通過二值化處理可以縮短識(shí)別加熱爐內(nèi)異常情況圖像所用的時(shí)間[15-16],所提方法在軟件設(shè)計(jì)中利用Niblack算法完成圖像的二值化處理,設(shè)t×t代表的是加熱爐內(nèi)圖像的周圍鄰域;(x,y)代表的是加熱爐內(nèi)圖像的中心坐標(biāo)：

(3)

式中：Y(x,y)為像素(x,y)在圖像中對(duì)應(yīng)的閾值;k為修正系數(shù);d(s,y)、q(x,y)分別為像素點(diǎn)在鄰域t×t內(nèi)對(duì)應(yīng)的標(biāo)準(zhǔn)方差和平均值。

5)特征提取

特征匹配過程中端點(diǎn)和交叉點(diǎn)具有重要作用,通過下式描述3×3模板區(qū)域：

(4)

上述模板區(qū)域中的中心點(diǎn)為A0,通過下述公式完成加熱爐內(nèi)圖像的特征提取：

(5)

根據(jù)上述公式獲取的特征,實(shí)現(xiàn)加熱爐內(nèi)異常情況圖像的識(shí)別,至此完成基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別[17-18]。

2 實(shí)驗(yàn)與分析

驗(yàn)證基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別方法的整體有效性。

2.1 實(shí)驗(yàn)準(zhǔn)備

將夜視鷹ST304RC高溫紅外攝像頭作為加熱爐內(nèi)異常情況圖像識(shí)別的監(jiān)控圖像采集設(shè)備,該設(shè)備輸出的圖像文件格式為JPEG。將NAND型閃存作為加熱爐內(nèi)異常情況圖像采集存儲(chǔ)器,用于存儲(chǔ)采集到的加熱爐內(nèi)監(jiān)控圖像。

為了實(shí)際測(cè)試識(shí)別方法的識(shí)別效果,實(shí)驗(yàn)設(shè)計(jì)了識(shí)別方法的硬件程序基礎(chǔ)結(jié)構(gòu)如圖4所示。

圖4中,JTAG UART模塊屬于串口調(diào)試模塊,用戶在該模塊中可以通過C標(biāo)準(zhǔn)輸入輸出識(shí)別方法函數(shù);PIO IIC配置模塊中存在的IIC協(xié)議可以對(duì)攝像頭做初始化處理;Display模塊的主要作用是處理圖像信息、識(shí)別標(biāo)記信息并顯示信息;Image模塊集成通過Avalon總線元件完成;SDRAM控制模塊中存儲(chǔ)了程序運(yùn)行的相關(guān)數(shù)據(jù);ROM模塊將程序與數(shù)據(jù)的存儲(chǔ)器分開,提高圖像識(shí)別整體性能;圖像識(shí)別的調(diào)度和運(yùn)算主要通過NiosII CPU模塊實(shí)現(xiàn),由SOPC Builder生成。

圖4 識(shí)別方法硬件結(jié)構(gòu)圖

基于以上硬件設(shè)備配置和結(jié)構(gòu),對(duì)某不銹鋼加工廠的加熱爐內(nèi)監(jiān)控圖像進(jìn)行識(shí)別(見圖5)。爐內(nèi)平均溫度保持900 ℃左右,測(cè)試時(shí)爐外的溫度與濕度分別是19 ℃和49%。紅外熱像監(jiān)控?cái)z像頭拍攝的圖像數(shù)據(jù),包括3 572張監(jiān)控圖像,其中異常情況圖像82張。

圖5 采集的爐內(nèi)異常溫度圖像特征

2.2 實(shí)驗(yàn)結(jié)果與分析

采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)該加熱爐內(nèi)的異常情況圖像進(jìn)行識(shí)別,對(duì)比不同方法的識(shí)別率和識(shí)別時(shí)間。

識(shí)別率p的計(jì)算公式如下：

(6)

式中：n為識(shí)別方法識(shí)別到的加熱爐內(nèi)異常情況圖像的數(shù)量;N為所有圖像的數(shù)量。

所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的識(shí)別率結(jié)果見圖6。

圖6 識(shí)別率結(jié)果

分析圖6可知,隨著不斷迭代,所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的圖像識(shí)別率均有所提高,所提方法的最終識(shí)別率高達(dá)90%,文獻(xiàn)[3]方法的最終識(shí)別率高于60%,文獻(xiàn)[4]方法的最終識(shí)別率高于70%。與文獻(xiàn)[3]方法和文獻(xiàn)[4]方法相比,提出方法的圖像識(shí)別率更高。這是因?yàn)樘岢龇椒▽?duì)采集的加熱爐內(nèi)圖像做了增強(qiáng)處理,消除了圖像中存在的干擾部分,提高了圖像的分辨率,便于后續(xù)的圖像識(shí)別,進(jìn)而提高了所提方法的圖像識(shí)別率。

將虛報(bào)率f作為指標(biāo),進(jìn)一步驗(yàn)證上述方法的識(shí)別有效性,虛報(bào)率可通過下述公式計(jì)算得到：

(7)

式中：m為錯(cuò)誤識(shí)別的圖像數(shù)量;M為采集到的圖像數(shù)量。

三種方法的虛報(bào)率如圖7所示。

圖7 不同方法的虛報(bào)率

由圖7可知,所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的虛報(bào)率隨著迭代次數(shù)的增加不斷降低,所提方法最終可將虛報(bào)率控制到2%,遠(yuǎn)低于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法,表明所提方法具有良好的識(shí)別性能。

采用所提方法、文獻(xiàn)[3]方法和文獻(xiàn)[4]方法對(duì)下述加熱爐中存在的異常情況識(shí)別,三種方法識(shí)別時(shí)間對(duì)比結(jié)果見表1。

表1 三種方法的識(shí)別時(shí)間

分析表1中的數(shù)據(jù)可知,所提方法識(shí)別加熱爐內(nèi)異常情況圖像所用的時(shí)間為0.03 s,遠(yuǎn)低于文獻(xiàn)[3]方法和文獻(xiàn)[4]方法的識(shí)別時(shí)間,驗(yàn)證了所提方法具有較高的識(shí)別效率。這是因?yàn)楸疚膭?chuàng)新性將Niblack算法應(yīng)用于圖像的二值化處理中,縮短了識(shí)別加熱爐內(nèi)異常情況圖像所用的時(shí)間。

3 結(jié) 語

在加熱爐中,通過攝像頭拍攝的監(jiān)控信息對(duì)爐內(nèi)異常情況進(jìn)行實(shí)時(shí)監(jiān)測(cè),在節(jié)省了勞動(dòng)力的同時(shí),降低甚至消除了爐內(nèi)故障發(fā)生的可能性,具有長(zhǎng)遠(yuǎn)的研究前景和應(yīng)用價(jià)值。

目前加熱爐內(nèi)異常情況圖像識(shí)別方法存在識(shí)別率低、虛報(bào)率高和識(shí)別效率低的問題,因此本文提出基于機(jī)器視覺的加熱爐內(nèi)異常情況圖像識(shí)別方法。該方法采用Niblack算法預(yù)處理采集的加熱爐內(nèi)圖像,設(shè)計(jì)特征匹配模板提取圖像特征,完成識(shí)別工作。測(cè)試數(shù)據(jù)證明本文方法解決了目前方法中存在的問題,為化工業(yè)的發(fā)展提供了保障。