基于MobileNet模型的鋼材表面字符檢測識別算法

艾夢琴，陶青川

（四川大學(xué)電子信息學(xué)院，成都610065）

0 引言

板坯是鋼坯的一種，其是鋼板未軋制之前的鋼坯。在鋼板生產(chǎn)流水線中，首先會為每一塊板坯的表面上印上唯一的板坯號，其中包含板坯的爐號、生產(chǎn)日期等標識。在入庫前需要進行識別并記錄，將板坯編號與生產(chǎn)信息對應(yīng)起來保存，以便于日后的同一管理。在板坯生產(chǎn)過程中，板坯跟蹤是板坯管理的重要內(nèi)容，跟蹤信息的準確性、實時性直接關(guān)系到鋼板廠生產(chǎn)過程的自動化和信息化，由于板坯號的錯誤記錄從而導(dǎo)致跟蹤出現(xiàn)差錯，給轉(zhuǎn)爐廠和熱軋廠造成了一定的影響，而識別板坯號之前的重要步驟是需要進行精準定位。傳統(tǒng)的板坯號區(qū)域定位是利用傳統(tǒng)的圖像算法進行定位，一般首先對采集的圖像進行預(yù)處理，通常使用一些圖像去噪技術(shù)去除圖像的噪聲點，然后通過圖像增強技術(shù)增強目標區(qū)域的對比度，突出圖像中感興趣的特征，衰減不需要的特征[1]，接下來對圖像進行二值化，最后進行連通域分析得到板坯號區(qū)域。但是傳統(tǒng)的圖像目標定位算法得定位準確率難以保證，這是由于在使用高清相機對圖像進行采集時，所處的環(huán)境非常惡劣，較差的光照條件和工業(yè)現(xiàn)場的粉塵等都對采集高清圖像造成困難。在這種環(huán)境下采集到的圖片背景復(fù)雜、且有時目標與背景顏色十分相近、圖像噪聲太大等缺點，而且傳統(tǒng)的目標檢測算法步驟繁瑣，算法穩(wěn)定性不高，無法適應(yīng)各種背景多變、復(fù)雜的圖片，使得檢測準確率低下、速度較慢。

相比之下，目前的計算機視覺技術(shù)和深度學(xué)習(xí)技術(shù)能很大程度上提高板坯號區(qū)域的定位準確率，并且能提升檢測流程的自動化水平，同時能保證產(chǎn)銷系統(tǒng)數(shù)據(jù)的準確性和完整性，對實際的工業(yè)生產(chǎn)線上完成板坯號檢測具有重大的實際意義和經(jīng)濟價值[2]。隨著鋼鐵生產(chǎn)線的自動化改造，傳統(tǒng)的方式已經(jīng)不再適應(yīng)新的發(fā)展要求，采用計算機視覺技術(shù)以及深度學(xué)習(xí)技術(shù)在嵌入式系統(tǒng)上實現(xiàn)該算法，能保證在惡劣環(huán)境下的實際生產(chǎn)線采集目標圖像，并且進行精準快速的定位、識別。

基于深度學(xué)習(xí)的目標檢測算法是直接將采集的板坯圖片以及板坯圖像目標區(qū)域的坐標輸入目標檢測網(wǎng)絡(luò)，通過目標檢測的迭代學(xué)習(xí)過程從而找到目標區(qū)域。目前，基于深度學(xué)習(xí)的目標檢測算法已經(jīng)應(yīng)用到各個領(lǐng)域，例如行人檢測、人臉識別等領(lǐng)域[3]。本文提出了一種基于改進MobileNet模型并結(jié)合SSD算法的快速目標檢測深度學(xué)習(xí)框架，以及端到端的字符識別算法，能有效地避免切割不準確或者字符連接導(dǎo)致無法切割等問題。該框架能在大幅度提升檢測速度的同時，還能有較高的準確率以及識別率。

1 鋼板圖像預(yù)處理

由于工業(yè)環(huán)境惡劣，再圖像進行采集時，存在鋼板表面不平整，有細小凸起，以及現(xiàn)場環(huán)境造成的光照不均，圖像偏暗，出現(xiàn)暗紋，并且目標與背景過度相似的情況，這些都會對后續(xù)的檢測和識別造成影響，從而影響整體的準確率。因此需要對圖像進行相應(yīng)的預(yù)處理。

圖1圖像處理流程

受鋼廠生產(chǎn)線上采集環(huán)境以及光照的影響，鋼板圖片隨機出現(xiàn)了與背景顏色相似的脈沖點，因此考慮中值濾波能比較好的處理掉噪聲，并且保留了圖像更多的細節(jié)信息，對后續(xù)目標檢測影響較小。采集的圖像整體偏暗，而且目標區(qū)域像素占整體灰度像素值較少，目標區(qū)域與背景區(qū)域從肉眼來看區(qū)分不高，目標不明顯。所以通過分析圖像直方圖，結(jié)合分段線性變換，從而來增強圖像的對比度，更加突出圖像的前景目標部分。

圖2圖像預(yù)處理結(jié)果圖

通過圖2可看出，通過分段線性處理后，鋼板表面的目標字符區(qū)域與背景的區(qū)分度變大，這使得在后續(xù)的處理流程中能更準確地定位鋼板圖片的目標區(qū)域，能夠在一定程度上提升定位準確率。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的板坯號檢測算法

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一。卷積神經(jīng)網(wǎng)絡(luò)仿照生物的視知覺機制構(gòu)建，可以對輸入圖片自動進行特征提取和學(xué)習(xí)，有穩(wěn)定的效果且對輸入圖片不需要額外的特征設(shè)計和提取工程[4]。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)一般包括輸入層、隱含層和輸出層。卷積神經(jīng)網(wǎng)絡(luò)的隱含層包含卷積層、池化層、激勵層和全連接層這三類常見結(jié)構(gòu)。

圖3卷積神經(jīng)網(wǎng)絡(luò)

卷積層的功能是對輸入的圖像數(shù)據(jù)提取到高級語義特征，其內(nèi)部包含多個卷積核，可以提取到多種不同的特征，每個卷積核都對應(yīng)一個權(quán)重系數(shù)和一個偏差。經(jīng)過卷積層提取的高級語義特征信息會傳送至下一層池化層，從而進行特征選擇和信息過濾，將單個信息結(jié)果整合成統(tǒng)計量。激勵層會把卷積層輸出的結(jié)果做非線性映射。全連接層通常搭建在神經(jīng)網(wǎng)絡(luò)隱含層的最后部分，并只向其他全連接層傳遞信號。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的檢測定位算法

由于無需進行人工特征設(shè)計，良好的特征表達能力以及優(yōu)良的檢測精度，目前，基于深度學(xué)習(xí)的自然場景下的目標檢測算法已經(jīng)超越傳統(tǒng)的機器學(xué)習(xí)檢測算法，成為了當前目標檢測領(lǐng)域的一大主流。目前已經(jīng)涌現(xiàn)出許多優(yōu)秀的目標檢測算法，依據(jù)其設(shè)計思想，主要可以分為兩種：基于區(qū)域提名的目標檢測算法和基于端到端學(xué)習(xí)的目標檢測算法。

基于區(qū)域提名的目標檢測算法首先通過目標候選區(qū)域生成算法生成一系列目標候選區(qū)域，然后通過CNN網(wǎng)絡(luò)提取目標區(qū)域的特征，最后對候選區(qū)域進行分類和回歸。經(jīng)典的基于區(qū)域提名的目標檢測算法的網(wǎng)絡(luò)有R-CNN、Fast R-CNN以及Faster R-CNN[5]。

基于端到端學(xué)習(xí)的目標檢測算法的主流學(xué)習(xí)網(wǎng)絡(luò)有YOLO、SSD和MobileNet-SSD等。

由于基于區(qū)域提名的目標檢測算法的大部分處理時間都消耗在對候選區(qū)域的處理上，使得算法的實時性很差。因此基于端到端學(xué)習(xí)的目標檢測算法在這方面進行了改進，不需要生成目標候選框。

圖4幾種目標檢測算法框架

Wei Liu等人提出的SSD網(wǎng)絡(luò)模型是目標檢測網(wǎng)絡(luò)的一大發(fā)展，不僅準確率較之前的目標檢測模型高，而且檢測速度也很快[6]。雖然SSD算法的準確率很高，速度也有所提升，但是SSD網(wǎng)絡(luò)的權(quán)值還是過大，檢測速度不滿足某些情況下的實時要求。Andrew G.How?ard等針對移動端和嵌入式上使用深度學(xué)習(xí)網(wǎng)絡(luò)算法而提出一類稱為MobileNet的高效模型。MobileNet是基于一個流線型架構(gòu)，其引入了深度可分離卷積代替?zhèn)鹘y(tǒng)卷積來構(gòu)造深層神經(jīng)網(wǎng)絡(luò)。深度可分離卷積相較于標準卷積可以壓縮大約9倍的權(quán)值，大大減少了網(wǎng)絡(luò)的參數(shù)量。MobileNet模型與SSD目標檢測算法結(jié)合得到MobileNet-SSD網(wǎng)絡(luò)，此極大地提升了SSD目標檢測算法的速度。但是其還是無法滿足鋼材板坯號在嵌入式計算機上實時性的快速檢測要求，因此本文提出一種基于MobileNet模型算法的輕量級卷積神經(jīng)網(wǎng)絡(luò)，本文使用結(jié)合MobileNet模型與SSD目標檢測算法的核心，對SSD目標檢測框架進行剪枝和優(yōu)化，提出一種輕量級的目標檢測框架，該框架能進一步的減小網(wǎng)絡(luò)權(quán)值。本文框架能夠達到較高的準確率的前提下，提高大約5倍檢測速度、降低了權(quán)值的存儲空間。

2.3 基于MobileNet模型的輕量級卷積神經(jīng)網(wǎng)絡(luò)框架簡述

MobileNet模型之所以能夠降低模型的參數(shù)量，其原因在于其卷積操作與傳統(tǒng)的卷積操作不同，其是基于深度可分離卷積，即將傳統(tǒng)卷積分解成深度卷積（depthwise convolution）和逐點卷積（pointwise convolu?tion）。這樣分解的最大好處是可以大幅度降低參數(shù)量和計算量[7]。

圖5 MobileNet模型分解示意圖

若輸入的特征映射圖的尺寸為(DF,DF,M)，采用標準的卷積核為(DK,DK,M,N)，輸出的特征映射圖的尺寸為(DG,DG,N)，輸入通道數(shù)為M，輸出通道數(shù)為N，則對應(yīng)標準卷積的計算量為DK*DK*M*N*DF*DF，如果采用深度可分離卷積，則其對應(yīng)的計算量為DK*DK*M*DF*DF+M*N*DF*DF，通過計算量公式可知其計算量大約是傳統(tǒng)卷積計算量的1/9，這樣能大大提升檢測模型的速度。

本文提出一種基于MobileNet模型的輕量級卷積神經(jīng)網(wǎng)絡(luò)框架用于檢測鋼材板坯號，采用MobileNet加速模型，將網(wǎng)絡(luò)特征提取層設(shè)置為有窄及寬的結(jié)構(gòu)，即網(wǎng)絡(luò)輸出通道依次按32、64、128、256增長。雖然鋼板背景模糊、扭曲、噪聲大，但是色彩不豐富，背景種類不復(fù)雜。所以本文框架去掉SSD目標檢測框架的后8層，選取感受野較大特征層，不僅已經(jīng)有了較好的高級語義特征，而且較大的感受野有利于準確定位小目標。對抽取出來的特征層進行目標檢測。

圖6本文框架示意圖

本文沿用SSD算法中的anchor機制，以feature map上每一個像素點為中心，生成一系列prior box作為候選目標框，由于SSD為了適應(yīng)自然場景下的目標的各種形狀設(shè)計了橫向長方形和豎向長方形兩種不同的prior box，而對于本文所檢測的目標鋼板板坯號來說，由于板坯號都是橫向長方形，所以并不需要豎向長方形這種候選框。本文在featuremap上以每一個像素點為中心生成4個候選框，不僅更加符合實際情況下的需求，而且能在一定程度上減小參數(shù)量，提高運算速度。本文框架參數(shù)量少，計算量小，加載運行速度快，能夠在較高準確率的前提下達到實時檢測鋼材板坯號區(qū)域的目的。

圖7本文網(wǎng)絡(luò)框架檢測結(jié)果圖

3 基于端到端的字符識別算法

在傳統(tǒng)的字符識別中，一般分為兩個部分：單字符切割和分類任務(wù)。一般處理方法是先利用投影法分割出單個字符，然后送入字符分類網(wǎng)絡(luò)里面進行分類。此方法在本文中存在一定的缺點以及實現(xiàn)難度，由于背景模糊、扭曲、噪聲大、光照不均，存在字符部分存在缺失、字符粘連等情況，這對分割單個字符造成了難度，使得識別準確率降低。因此不使用文字切割，將端到端的文字識別方法應(yīng)用于該板坯識別系統(tǒng)，能有效的提高識別準確率。

現(xiàn)在基于深度學(xué)習(xí)的端到端識別技術(shù)有兩大主流：CRNN OCR和attention OCR。這兩大主流方法的最主要的區(qū)別是輸出層，即怎樣將網(wǎng)絡(luò)學(xué)習(xí)到的序列特征信息轉(zhuǎn)化為最終需要的識別結(jié)果。這兩大主流技術(shù)在特征學(xué)習(xí)階段都采用了CNN+RNN結(jié)構(gòu)，而CRNN OCR采取的輸出算法是CTC算法，attention OCR使用的是attention機制。

本文采用了CRNN OCR算法對鋼板文字進行識別，通過將CNN將圖片的特征提取出來后采用RNN對序列進行預(yù)測，最后通過一個CTC翻譯層得到最終的識別結(jié)果[8]。

圖8 CRNN算法結(jié)構(gòu)圖

采用CRNN算法對鋼板表面字符區(qū)域進行端到端的識別，既客服了文字粘連等傳統(tǒng)圖像算法難以分割的情況，同時將分割和識別集于一體，能夠在一定程度上提升分割和識別的速度和準確率。

4 實驗結(jié)果分析

實驗平臺：

處理器：Intel Core i5-7500HQ

顯卡：NVIDIA GTX 1080Ti

操作系統(tǒng)：Ubuntu 16.04

系統(tǒng)內(nèi)存：16G

在定位鋼板板坯號時，將本文算法網(wǎng)絡(luò)框架的檢測結(jié)果與目前速度最快的目標檢測算法MobileNet-SSD框架的結(jié)果進行對比，測試樣本一共有2000張鋼板板坯圖片，對比結(jié)果如表1所示。

表1

從表1可以看出，本文算法與MobileNet-SSD算法在定位板坯號時，準確率相差不多。由于本文算法的權(quán)值大小大約是MobileNet-SSD算法的1/10，因此本文算法的檢測速度大約是MobileNet-SSD算法的5倍。本文算法可以在高準確率的前提下能達到實時檢測。

對已有的板坯號區(qū)域樣本通過CRNN網(wǎng)絡(luò)進行訓(xùn)練，并且將本文算法檢測出來的區(qū)域輸入到已經(jīng)訓(xùn)練好的CRNN網(wǎng)絡(luò)進行端到端的識別，識別準確率能達到96.3%，能夠滿足實際的識別要求。通過結(jié)合改進后的鋼材板坯號檢測網(wǎng)絡(luò)框架和端到端板坯號識別算法，能夠達到速度和準確度的最優(yōu)結(jié)果。

5 結(jié)語

本文采用基于MobileNet加速模型的輕量級目標檢測框架對鋼板板坯號進行檢測定位，保證了在較低配置的計算機上檢測時間的快速性和準確性，并且通過采用分割和檢測一體的CRNN算法，避免了復(fù)雜背景下，產(chǎn)生的各種字符粘連、難以分割的各種難點從而降低系統(tǒng)魯棒性的情況。經(jīng)過測試，本文算法在測試集上綜合準確率達到了95%，能夠在實際生產(chǎn)中應(yīng)用。