探索基于EAST與CNN的鋼材表面字符檢測與識(shí)別方法

刁軍輝

摘要：對(duì)于環(huán)境背景復(fù)雜的鋼材生產(chǎn)線來說，現(xiàn)場光照條件和字符印刷質(zhì)量會(huì)直接影響采集圖像質(zhì)量，傳統(tǒng)字符識(shí)別和文本區(qū)域檢測方法效果會(huì)因此下降。基于此，本文將基于EAST深度學(xué)習(xí)文本檢測器與卷積神經(jīng)網(wǎng)絡(luò)（CNN）開展研究，并介紹一種實(shí)用的鋼材表面字符檢測與識(shí)別方法，希望研究內(nèi)容能夠給相關(guān)從業(yè)人員帶來一定啟發(fā)。

關(guān)鍵詞：鋼材表面;卷積神經(jīng)網(wǎng)絡(luò);字符識(shí)別

前言：自動(dòng)化操作正逐漸取代鋼材生產(chǎn)企業(yè)生產(chǎn)環(huán)節(jié)中的一些人工操作，對(duì)應(yīng)保存鋼材編號(hào)與測試數(shù)據(jù)便屬于其中代表。但結(jié)合實(shí)際調(diào)研可以發(fā)現(xiàn)，現(xiàn)階段的計(jì)算機(jī)視覺方法在很多時(shí)候無法較好滿足鋼材表面字符檢測與識(shí)別需要，為更好服務(wù)于自動(dòng)化生產(chǎn)，正是本文圍繞鋼材表面字符檢測與識(shí)別方法開展具體研究的原因所在。

1.????? 圖像預(yù)處理方法

受光照不均勻、鋼材表面坑洼、現(xiàn)場環(huán)境復(fù)雜等因素影響，圖像過暗、過亮、噪聲過多等情況很容易出現(xiàn)，并直接影響字符檢測和識(shí)別的開展，因此需開展圖像預(yù)處理，具體流程為：“灰度化→濾波去噪→圖像增強(qiáng)→EAST文本區(qū)域檢測”。可采用高斯濾波處理噪聲，以此可在保留字符邊緣的同時(shí)處理噪聲，后續(xù)算法受到的影響能夠降到最低，采用式（1）進(jìn)行處理，式中的 為事先定好的常數(shù)，由此得到的結(jié)果離散化為原圖和模板做卷積即可。

（1）

對(duì)于整體較亮或較暗的圖像，可開展直方圖均衡化處理，如采用伽馬變換，背景區(qū)域信息弱化、文本區(qū)域信息突出即可順利實(shí)現(xiàn)，具體為：

（2）

s設(shè)置為文本區(qū)域（拉伸具有更高灰度級(jí)的圖像區(qū)域），同時(shí)壓縮存在較低灰度的區(qū)域，圖像文本區(qū)域可由此擁有更強(qiáng)的對(duì)比度。由于鋼材的中央?yún)^(qū)域?yàn)樽址麉^(qū)域，因此先獲取整體文本的位置屬于常用方法，形態(tài)圖像處理和圖像邊緣分割屬于較為傳統(tǒng)的區(qū)域檢測算法，目標(biāo)區(qū)域獲得可基于連接區(qū)域找到實(shí)現(xiàn)，EAST深度學(xué)習(xí)文本檢測器可較好滿足實(shí)際需要。作為一種深度學(xué)習(xí)模型，EAST以訓(xùn)練模式和新穎架構(gòu)為核心，整個(gè)圖像中四邊形文本行可基于單個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)預(yù)測，不必要的中間步驟可由此省略，如字符分割和候選區(qū)域聚合。EAST模型由輸出層、特征合并分支、特征提取器三個(gè)部分組成。預(yù)訓(xùn)練可采用池化層和卷積層交錯(cuò)的卷積神經(jīng)網(wǎng)絡(luò)，四級(jí)特征圖像可由此獲得，分別為原圖1/4、1/8、1/16、1/32大小，在特征合并部分中，合并分支功能可逐漸合并，以此大小加倍處理圖形，隨后級(jí)聯(lián)當(dāng)前特征圖。對(duì)于之后的3×3卷積層，其負(fù)責(zé)信息融合及文本合并階段結(jié)果的最終產(chǎn)生，同時(shí)存在對(duì)應(yīng)RBOX的輸出層，由旋轉(zhuǎn)角度和軸向邊界框表示[1]。

EAST也存在一定缺點(diǎn)，如將一個(gè)文本區(qū)域檢測到多個(gè)文本區(qū)域，長文本的檢測會(huì)受到影響。需聚合多個(gè)文本區(qū)域，以此得到整體的文本區(qū)域。為適應(yīng)長文本區(qū)域檢測，需對(duì)EAST輸出層進(jìn)行改進(jìn)，以此實(shí)現(xiàn)更加準(zhǔn)確的長文本預(yù)測。EAST的最終頂點(diǎn)坐標(biāo)計(jì)算需應(yīng)用所有像素預(yù)測頂點(diǎn)坐標(biāo)加權(quán)平均值，這使得基于短邊一側(cè)的若干像素的長文本四邊形另一側(cè)兩個(gè)頂點(diǎn)預(yù)測存在較高難度，因此采用的文本框邊界輸出層模式設(shè)計(jì)有頭尾方向，頭部像素負(fù)責(zé)其一側(cè)兩個(gè)頂點(diǎn)預(yù)測，另一側(cè)由尾部像素負(fù)責(zé)，是否在文本框中、是否屬于文本框邊界像素、是頭還是尾分別為改進(jìn)后網(wǎng)絡(luò)輸出層的第一位、第二位和第三位，邊界像素可實(shí)現(xiàn)兩個(gè)頂點(diǎn)坐標(biāo)預(yù)測為最后四位。在得到預(yù)測輸出后，最后的文本框坐標(biāo)也需要通過計(jì)算得到，需根據(jù)配置閾值通過預(yù)測矩陣得到激活像素集合，合并相鄰集合需按照先左右后上下順序，以此獲得頭和尾邊界像素集合，最后的預(yù)測坐標(biāo)值為每個(gè)邊界像素點(diǎn)預(yù)測值的加權(quán)平均值。

2.????? 鋼材表面字符檢測與識(shí)別方法

2.1字符區(qū)域矯正與分割

EAST檢測會(huì)得到存在一定傾斜角度的文本區(qū)域，下一步的分割很容易受到角度過大傾斜的干擾，因此需開展針對(duì)性的字符區(qū)域矯正。需基于字符區(qū)域水平軸與包圍矩形的長邊夾角確定旋轉(zhuǎn)角度，根據(jù)字符區(qū)域包圍矩形中心點(diǎn)確定旋轉(zhuǎn)中心，仿射變換矩陣可由此計(jì)算。圖像傾斜矯正后需分割出背景中的字符，可采用最大類間方差法。多種場景下的分割不適合采用手動(dòng)選擇閾值方法，因此需應(yīng)用自適應(yīng)閾值選擇方法，圖片處理可采用最大類間方差法的二值化操作。二值化后，多個(gè)字符區(qū)域確定可通過找到正外界矩形實(shí)現(xiàn)，需搜索連接區(qū)域。在個(gè)別判斷外部矩形寬度異常字符的過程中，需基于列的線性掃描進(jìn)行操作，上下輪廓的極小值在異常區(qū)域?qū)ふ遥蟹终５膯蝹€(gè)字符可通過對(duì)比正常區(qū)域?qū)挾确指瞰@得，向訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)順序輸入切分正常的單個(gè)字符，最終的識(shí)別結(jié)果即可獲得[2]。

2.2卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)屬于鋼材表面字符檢測與識(shí)別的關(guān)鍵環(huán)節(jié)，卷積神經(jīng)網(wǎng)絡(luò)由三部分組成，包括全連接層、池化層、卷積層。對(duì)于普通神經(jīng)網(wǎng)絡(luò)來說，神經(jīng)元連接到圖像每個(gè)像素會(huì)導(dǎo)致參數(shù)過多，但卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)崿F(xiàn)參數(shù)數(shù)量的合理控制，這種控制可基于局部感知或權(quán)重共享實(shí)現(xiàn)。所謂局部感知，指的是基于強(qiáng)相關(guān)性的圖像特點(diǎn)，由于存在相關(guān)性較強(qiáng)的距離相近像素點(diǎn)，以及相關(guān)性較差的距離較遠(yuǎn)像素點(diǎn)，因此僅需要局部感知每個(gè)神經(jīng)元，且所需參數(shù)僅為卷積核心的像素?cái)?shù)量。權(quán)重共享指的是一種提取特征方法用于每個(gè)卷積內(nèi)核，通過對(duì)提取某一種特征卷積核的確認(rèn)，同樣的學(xué)習(xí)特征即可對(duì)整個(gè)圖像學(xué)習(xí)，通過多個(gè)卷積核進(jìn)行多種特征學(xué)習(xí)，特征提取充分即可得到保障，該區(qū)域的特征也可通過圖像區(qū)域上的特定特征的最大值或平均值計(jì)算確定。特征的尺寸可通過匯總統(tǒng)計(jì)特征實(shí)現(xiàn)減少，過度擬合的難度也會(huì)提升，這種操作被稱為池化，模型的參數(shù)和復(fù)雜性因此簡化。實(shí)際采用多層卷積，訓(xùn)練基于完整連接層實(shí)現(xiàn)，學(xué)習(xí)特征的全局化程度會(huì)隨層數(shù)增大而提高。本文研究需首先粗略切割鋼材表面圖片字符并保存，隨后基于0到9一共十類數(shù)字劃分字符圖片，分作測試集和訓(xùn)練集兩個(gè)集合，字符訓(xùn)練用卷積神經(jīng)網(wǎng)絡(luò)為LeNet5結(jié)構(gòu)，后續(xù)檢測基于保存的訓(xùn)練后權(quán)值進(jìn)行，圖1為卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

結(jié)論：綜上所述，基于EAST與CNN的鋼材表面字符檢測與識(shí)別方法具備較高實(shí)用性。在此基礎(chǔ)上對(duì)比傳統(tǒng)方法與本文研究方法可以發(fā)現(xiàn)，改進(jìn)后的EAST和卷積神經(jīng)網(wǎng)絡(luò)均具備較高準(zhǔn)確度，二者結(jié)合能夠取得令人滿意的結(jié)果，研究的價(jià)值由此得到證明。

參考文獻(xiàn)：

[1]艾夢(mèng)琴，陶青川.基于MobileNet模型的鋼材表面字符檢測識(shí)別算法[J].現(xiàn)代計(jì)算機(jī)，2020（03）：73-78.

[2]謝更新. EAST高速相機(jī)采集與圖像處理系統(tǒng)研究[D].中國科學(xué)技術(shù)大學(xué)，2019.