基于機(jī)器視覺的火車棚車特征字符識別

摘要：將機(jī)器視覺技術(shù)融入裝車機(jī)，實(shí)現(xiàn)對火車棚車特征字符區(qū)域進(jìn)行定位、分割與識別。首先對采集到圖像進(jìn)行預(yù)處理，定位出字符區(qū)域位置，然后進(jìn)行字符矯正和剔除不屬于字符的區(qū)域，接著基于連通域分析法分割字符，最后論述并使用模板匹配、OCR識別以及卷積神經(jīng)網(wǎng)絡(luò)3種識別方法對同一分割的字符進(jìn)行識別，得出每種方法識別的準(zhǔn)確率。實(shí)驗結(jié)果證明，在同樣的圖像預(yù)處理及字符分割情況下，卷積神經(jīng)網(wǎng)絡(luò)識別結(jié)果最好，識別準(zhǔn)確率達(dá)到96%。該研究能很好識別火車特征字符，同時也為其他類型特征字符識別提供研究思路。

關(guān)鍵詞：棚車；機(jī)器視覺；卷積神經(jīng)網(wǎng)絡(luò)；智能識別

中圖分類號：TP391.4 文獻(xiàn)標(biāo)志碼：A DOI：10.16465/j.gste.cn431252ts.20240420

基金項目：十四五國家重點(diǎn)研發(fā)計劃（2022YFD2100201）。

Character recognition of train boxcar features based on machine vision

Jia Shihao， Wang Zhishan， Xu Yongsen， Xu Xuemeng， Li Yongxiang

（ School of Mechanical and Electrical Engineering， Henan University of Technology， Zhengzhou， Henan 450001 ）

Abstract： The machine vision technology is integrated into the loading machine to realize the location， segmentation， and recognition of the characteristic character area of the train box car. Firstly， the acquired image is preprocessed to locate the character region， then the character correction is carried out and the region that does not belong to the character is removed， and then the character is segmented based on the connected domain analysis method. At last， the recognition accuracy rate of each method is obtained by discussing and using three recognition methods， namely template matching， OCR recognition， and convolutional neural network. The experimental results showed that under the same condition of image preprocessing， and character segmentation， the recognition result of convolutional neural network was the best， and the recognition accuracy reached 96%. This research can identify train characteristics characters well， and also provide research ideas for other types of character recognition.

Key words： boxcar； machine vision； convolutional neural network； intelligent recognition

隨著老齡化加劇，傳統(tǒng)的袋裝成品糧火車裝車面臨年輕勞動力缺乏問題，為推進(jìn)火車棚車袋裝成品糧裝車自動化[1]，現(xiàn)研究機(jī)器視覺技術(shù)智能識別棚車的特征字符，其中包括車種車型以及車號，識別的車種型號為裝車機(jī)控制系統(tǒng)提供信號，提供裝車控制。識別的車號提供給貨場控制中心，方便管理和追蹤貨物，確保貨物安全、高效地運(yùn)輸[2]。

火車特征字符作為其獨(dú)特的“身份證”，已有人開展相關(guān)識別研究：吳志偉等[3]先以圖像預(yù)處理進(jìn)行字符定位，再以改進(jìn)的Faster R-CNN網(wǎng)絡(luò)進(jìn)行車號檢測，最后利用卷積循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行車號識別。胡路路[4]通過使用SSD算法對車號字符區(qū)域進(jìn)行檢測，然后繼續(xù)利用SSD算法對檢測出的車號進(jìn)行端到端的識別，提高識別準(zhǔn)確率。于雙芳[5]利用投影分割法對預(yù)處理后的圖像進(jìn)行字符分割，然后對分割出的字符進(jìn)行BP神經(jīng)網(wǎng)絡(luò)預(yù)測識別。成鞏俐[6]使用基于改進(jìn)的EAST算法對運(yùn)煤列車車號進(jìn)行定位，然后基于改進(jìn)的CRNN識別列車車號。

結(jié)合以上研究，本文使用新的圖像處理算法進(jìn)行圖像的預(yù)處理以及字符分割，然后對同一分割的字符用模板匹配、OCR識別以及卷積神經(jīng)網(wǎng)絡(luò)3種方法進(jìn)行識別，并給出3種識別方法的準(zhǔn)確率及優(yōu)缺點(diǎn)。

1 裝車機(jī)特征字符采集及特征字符意義

1.1 裝車機(jī)采集特征字符圖片

裝車機(jī)在高站臺進(jìn)行裝車，遙控行走過程中采集特征字符圖片，采集圖像三維示意如圖1，實(shí)地獲取圖像如圖2。獲取到的圖像中特征字符存在模糊、間斷以及傾斜。

1.2 棚車特征字符信息介紹

鐵路運(yùn)輸部門在1994年實(shí)施中華人民共和國鐵道行業(yè)標(biāo)準(zhǔn)《鐵路貨車車種車型車號編碼》[7]對鐵路貨運(yùn)車輛車廂信息進(jìn)行詳細(xì)規(guī)定。車種車型編碼用該車第一個大寫漢語拼音字母以及數(shù)字組成，字符數(shù)量為3～5位，車號編碼是由7位阿拉伯?dāng)?shù)字構(gòu)成。火車字符信息標(biāo)準(zhǔn)按照TBT 1.1—1995《鐵道車輛標(biāo)記一般規(guī)則》刷漆書寫。其中棚車應(yīng)在車體兩側(cè)墻的左側(cè)涂打大車號。車種車型以及車號書寫高度為200 mm，字符高寬比大約為3/2，其余字符大小為首字符的2/3。車號編碼大小和車種編碼首字符大小相同，要識別的特征字符由0～9和A、B、C、D、F、G、H、K、N、P、Q、S、T共23個字符組成。

2 圖像預(yù)處理

采集火車棚車車廂圖片會受到周圍環(huán)境的影響，對圖片進(jìn)行灰度化、目標(biāo)層提取、二值、邊緣檢測、形態(tài)學(xué)運(yùn)算等預(yù)處理操作，提高圖片中特征字符質(zhì)量，為后續(xù)特征字符區(qū)域定位、分割和識別提供好的基礎(chǔ)。圖像預(yù)處理流程如圖3。

2.1 圖像灰度化

進(jìn)行灰度化處理的主要目的是突出特征字符信息，減少圖像原始數(shù)據(jù)量，降低后續(xù)的計算量[8]。常用的圖像灰度化處理方法有：分量值法、最大值法、平均值法以及加權(quán)平均值法，本文使用MATLAB中rgb2gray函數(shù)實(shí)現(xiàn)灰度處理，而rgb2gray函數(shù)采用的是加權(quán)平均值法。

2.2 灰度圖像目標(biāo)層提取

使用灰度圖像偽彩色增強(qiáng)處理實(shí)現(xiàn)灰度圖像增強(qiáng)，突出特征字符目標(biāo)層，然后提取目標(biāo)層級圖像[9]。

2.3 圖像二值化

圖像使用全局閾值方法將提取目標(biāo)層后的灰度圖像轉(zhuǎn)換為只有兩個像素值的二值圖像。這種轉(zhuǎn)換有助于提取目標(biāo)對象，并進(jìn)行后續(xù)分析[10]。

2.4 圖像邊緣檢測

圖像的邊緣檢測標(biāo)識圖像中亮度變化明顯的點(diǎn)來初步判別特征字符的位置。同時有效保存圖像中的關(guān)鍵特征，減少計算機(jī)運(yùn)算時的計算量。常見的邊緣檢測算法有一階微分算子Roberts、Sobel、Prewitt，二階微分算子Laplacian以及非微分邊緣檢測算子Canny。本文使用Sobel[11]算法，既能準(zhǔn)確定位目標(biāo)區(qū)域，又能減少目標(biāo)區(qū)域特征提取，減少計算量。

2.5 預(yù)處理圖像形態(tài)學(xué)運(yùn)算

形態(tài)學(xué)運(yùn)算是用一定形態(tài)的結(jié)構(gòu)元素去改變以及提取圖像的形態(tài)和特征，達(dá)到圖像分析和識別的目的[12]。預(yù)處理圖像形態(tài)學(xué)運(yùn)算運(yùn)用到腐蝕、區(qū)域填充、面積開運(yùn)算，為下一步特征字符區(qū)域精確定位提供基礎(chǔ)。

圖像預(yù)處理全部操作如圖4所示。

3 特征字符區(qū)域定位及字符分割

圖像預(yù)處理后得到特征字符填充區(qū)域，在填充區(qū)域內(nèi)尋找到白色像素4個邊界點(diǎn)，將此邊界點(diǎn)賦值給二值化圖片，提取出對應(yīng)的區(qū)域，繼續(xù)形態(tài)學(xué)運(yùn)算使特征字符間斷部分閉合，然后進(jìn)行字符傾斜矯正，剔除不符合區(qū)域，最后基于連通域分析對特征字符進(jìn)行分割，整體流程如圖5。

3.1 特征字符區(qū)域的定位

經(jīng)過預(yù)處理以后棚車車身特征字符區(qū)域已經(jīng)形成一個字符填充區(qū)域，字符區(qū)域大致找到，然后利用像素點(diǎn)統(tǒng)計尋找字符區(qū)域的上下左右4個白色像素邊界，精確定位字符區(qū)域。

3.2 特征字符間斷形態(tài)學(xué)運(yùn)算

膨脹、開運(yùn)算以及細(xì)化是在特征字符區(qū)域提取后，操作對象是二值化后的圖片，目的是將一部分二值化后間斷的特征字符通過以上操作使字符間斷部分閉合，同時避免分割時出現(xiàn)字符粘連[13]。

3.3 特征字符區(qū)域矯正及不符合區(qū)域提出

特征字符區(qū)域后處理包含兩部分：字符傾斜矯正以及去除不屬于車廂字符的區(qū)域（主要是鐵路路徽）。相應(yīng)矯正算法主要有Hough變換法、Radon變換法以及線性回歸法[14]。本文使用Radon變換算法，二維圖像通過Radon變換在各個方向的投影得到傾斜角度，然后根據(jù)傾斜角度對字符區(qū)域進(jìn)行傾斜校正。在進(jìn)行字符傾斜矯正后，圖片中存在一部分不屬于字符的信息，依據(jù)棚車車廂字符形狀特征以及面積特征去除不屬于車廂字符的火車型號標(biāo)志以及其他不屬于字符區(qū)域的像素團(tuán)簇，從而保留字符區(qū)域。

3.4 特征字符分割

常用字符分割方法有：基于閾值的分割、連通區(qū)域分析、基于邊緣檢測的分割以及基于投影的分割等[15]。連通區(qū)域分析分割方法是對二值圖像進(jìn)行連通區(qū)域分析，即將同一字符對象中相鄰的像素劃分到同一個區(qū)域中。在本文圖像前面處理的都是為了滿足連通區(qū)域分析的正確分割。

特征字符區(qū)域定位及字符分割全部操作見圖6。

4 特征字符識別

4.1 字符識別方法介紹

特征字符識別是整個圖像處理中最重要的一步，將分割出的單一字符圖片識別為文本信息，常用的方法有模板匹配、OCR以及神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)5種方法[16]。

4.2 基于模板匹配的字符識別

基于模板匹配的字符識別是基于特征匹配原理，將待識別字符與預(yù)定義的模板進(jìn)行比較，通過計算相似度或距離來確定最匹配的字符。但是需要對待識別字符進(jìn)行尺寸歸一化，將分割出的待識別字符圖片大小縮放為字符數(shù)據(jù)庫中模板的大小，然后與所有的模板進(jìn)行匹配，最后選最佳匹配作為結(jié)果。

模板匹配除了進(jìn)行圖像預(yù)處理和字符分割等以外，還需進(jìn)行以下步驟：

模板準(zhǔn)備：首先，需要準(zhǔn)備火車車種車型、車號庫模板，該模板是一個二值字符圖像，其中字符為白色，背景區(qū)域為黑色。由于以上字符是噴涂的，且字符噴涂方式不一，為了提升識別精度，對每個字符選取多張模板圖片，并且放置于一個文件夾中，以該字符名稱命名。在進(jìn)行模板匹配識別時對字符圖片大小做歸一化處理，與分割處理后的字符大小一致，圖7為字符模板庫。

匹配計算：將字符模板與分割后的字符圖片進(jìn)行匹配計算。根據(jù)選擇的相似性度量方法，計算待識別字符與模板之間的相似性度量值，找出相似性最大，最接近模板的文件夾名稱。

結(jié)果輸出：根據(jù)匹配計算結(jié)果，確定車種車型、車號，識別結(jié)果如圖8。

4.3 基于OCR的字符識別

OCR全稱叫Optical Character Recognition，中文名稱為光學(xué)字符識別。OCR技術(shù)的基本原理是將輸入的圖像進(jìn)行一系列的圖片預(yù)處理、切割字符以及分類識別步驟，最終將圖像中的字符轉(zhuǎn)換為可編輯的文本。

OCR識別技術(shù)在經(jīng)過字符圖像預(yù)處理和分割后，還需進(jìn)行特征提取、字符分類和結(jié)果輸出三步。

特征提取：從每個字符的圖像中提取出特征。常用的特征包括字符的輪廓、幾何形狀、紋理等。這些特征可以用來對字符進(jìn)行描述和區(qū)分。

字符分類：將提取到的特征與已知MATLAB中OCR數(shù)據(jù)庫中的字符模板進(jìn)行比較，以確定每個字符的類別。

結(jié)果輸出：根據(jù)字符分類的結(jié)果，將識別的字符轉(zhuǎn)換為文本字符，輸出結(jié)果如圖9。

4.4 基于卷積神經(jīng)網(wǎng)絡(luò)的字符識別

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural neywork，CNN）在圖像分類和目標(biāo)檢測方面有著廣泛應(yīng)用。本文利用卷積神經(jīng)網(wǎng)絡(luò)對準(zhǔn)備的數(shù)據(jù)集進(jìn)行訓(xùn)練，學(xué)習(xí)樣本數(shù)據(jù)集中的字符特征，判斷出相應(yīng)的字符類別。將訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)入分割后的程序，實(shí)現(xiàn)對分割字符的分類預(yù)測。

4.4.1 卷積神經(jīng)網(wǎng)絡(luò)介紹

本文選取LeNet-5結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練字符數(shù)據(jù)集。LeNet-5卷積神經(jīng)網(wǎng)絡(luò)框架如圖10。

LeNet-5結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層和輸出層組成。對最左面的灰度圖片框選一個區(qū)域，該區(qū)域內(nèi)每一個像素代表一個神經(jīng)元，每個像素區(qū)域內(nèi)的神經(jīng)元作為一組元素構(gòu)成卷積神經(jīng)網(wǎng)絡(luò)的初始輸入單位，圖片中小立方體代表遍歷兩側(cè)網(wǎng)絡(luò)包含的所有神經(jīng)網(wǎng)絡(luò)。整個神經(jīng)網(wǎng)絡(luò)可以分為兩部分，輸入圖像、C1、S2、C3、S4、C5為第一部分，輸入圖像在第一部分被加工，變成尺寸更小、數(shù)量更多的圖像，并且在此過程中完成特征的提取。第二部分采用傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)，采用全連接層實(shí)現(xiàn)分類。

卷積神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)重要不同在于引入了卷積層和池化層這兩個新的網(wǎng)絡(luò)結(jié)構(gòu)。在卷積網(wǎng)絡(luò)中使用卷積層操作的目的是組合一個區(qū)域內(nèi)多個像素點(diǎn)，進(jìn)一步提取空間信息特征，卷積層常具有卷積操作、填充、步長以及通道等參數(shù)，卷積操作是卷積層的核心。假設(shè)輸入圖像在進(jìn)行矩陣處理以后得到6×6的矩陣，卷積核為3×3的矩陣，卷積運(yùn)算輸入如圖11，卷積運(yùn)算原理如圖12。

池化層和卷積層不同，池化層模仿了人類視覺對看到的圖像進(jìn)行抽象和降維的功能。池化只是在輸入圖像的每一個相鄰的正方形窗口區(qū)域中取最大值或者平均值，輸入數(shù)據(jù)和輸出數(shù)據(jù)通道數(shù)不會改變。最大值池化層運(yùn)算原理如圖13。

LeNet-5結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)全連接層將卷積、池化階段提取的特征進(jìn)行整合，并通過權(quán)重矩陣與輸出層進(jìn)行連接，最終輸出對輸入圖像的分類預(yù)測結(jié)果。最后通過輸出層輸出分類結(jié)果的概率。

4.4.2 訓(xùn)練神經(jīng)網(wǎng)絡(luò)

本文訓(xùn)練神經(jīng)網(wǎng)絡(luò)需要數(shù)據(jù)集如圖14，采集0～9和A、B、C、D、F、G、H、K、N、P、Q、S、T共23個字符組成23個字符文件的數(shù)據(jù)集，每個數(shù)據(jù)集有1016張圖片，使用splitEachLabel函數(shù)將訓(xùn)練數(shù)據(jù)集劃分為訓(xùn)練集和測試集，其中訓(xùn)練集700張，測試集316張。對樣本數(shù)據(jù)集后續(xù)進(jìn)行歸一化及灰度化處理，滿足神經(jīng)網(wǎng)絡(luò)輸入要求。

對神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以每個文件夾名稱作為字符標(biāo)簽，使用隨機(jī)梯度下降（SGD）作為優(yōu)化算法，通過設(shè)置合適的訓(xùn)練參數(shù)進(jìn)行訓(xùn)練。在訓(xùn)練過程中，會自動進(jìn)行前向傳播計算輸出結(jié)果，并通過反向傳播計算梯度并更新網(wǎng)絡(luò)的權(quán)重和偏置，以提高訓(xùn)練網(wǎng)絡(luò)的分類準(zhǔn)確率。

4.4.3 神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)果與分析

神經(jīng)網(wǎng)絡(luò)訓(xùn)練周期設(shè)定為50輪，最大迭代次數(shù)為4100次，整個訓(xùn)練用時156 min 24 s，數(shù)據(jù)集驗證準(zhǔn)確度為98.92%。訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)以mat文件保存，后續(xù)以文件格式導(dǎo)入程序中，分類預(yù)測識別字符。其識別結(jié)果如圖15所示。

4.5 不同算法實(shí)驗結(jié)果分析

在詳細(xì)介紹了以上3種字符識別方法后，對3種程序進(jìn)行實(shí)驗，在MATLAB中搭建GUI界面，選取需要識別的火車棚車圖片，對經(jīng)過處理后分割出的字符圖片進(jìn)行識別測試。

4.5.1 圖形用戶界面（GUI）設(shè)計

為了在程序使用時提供直觀、友好的操作界面、簡化操作流程，提供可視化數(shù)據(jù)展示以及增加程序的靈活性，在MATLAB中創(chuàng)建圖像用戶界面（GUI）。GUI運(yùn)行界面如圖16，第一部分11個模塊對應(yīng)前面圖像預(yù)處理以及特征字符區(qū)域定位及字符分割中的11個模塊。第二部分是將分割的特征字符進(jìn)行識別，以及進(jìn)行文本輸出。

4.5.2 實(shí)驗結(jié)果分析

選取28張待識別的圖片，分別對其進(jìn)行實(shí)驗，實(shí)驗準(zhǔn)確率如表1。

由表1可知，模板匹配算法的正確率低于OCR以及CNN算法。模板匹配算法對噪聲比較敏感且經(jīng)過前面圖像處理，分割出的字符與字符模板庫中要識別的正確的模板差別較多，計算機(jī)將其匹配給另外的模板字符。OCR算法略優(yōu)于模板匹配，是因為OCR算法夠根據(jù)輸入圖像的特征和上下文信息進(jìn)行靈活的識別，并且在MATLAB中OCR算法使用了大量的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，可以從數(shù)據(jù)中學(xué)習(xí)到更全面和準(zhǔn)確的模式，提高了識別的準(zhǔn)確率。CNN算法作為識別準(zhǔn)確率最高的算法，通過對數(shù)據(jù)集的訓(xùn)練，提取字符的特征，能更有效地應(yīng)對和處理更復(fù)雜的場景。

5 結(jié) 語

根據(jù)實(shí)際生產(chǎn)需求，將機(jī)器視覺技術(shù)融入火車棚車裝車機(jī)，推動了裝車機(jī)自動化，以實(shí)現(xiàn)裝車機(jī)對需要裝載的棚車信息的智能識別。為此，設(shè)計并使用了一系列新的算法，包括圖像預(yù)處理、車廂字符區(qū)域定位、字符分割和字符識別，并對3種字符識別方法進(jìn)行了實(shí)驗比對。結(jié)果顯示，卷積神經(jīng)網(wǎng)絡(luò)展現(xiàn)出最佳的字符識別效果。此研究方法后續(xù)將搭配嵌入式設(shè)備在棚車裝車機(jī)進(jìn)行使用，提升裝車機(jī)自動化水平。

參 考 文 獻(xiàn)

[1] 鄧原勝.移動式多功能裝卸機(jī)的研究與設(shè)計[D].武漢：華中科技大學(xué)，2017：2-7.

[2] 馬云嶺，陳雷，吳月東.鐵路貨車車號管理的發(fā)展及其應(yīng)用信息技術(shù)的研究[J].鐵道車輛，2006（4）：29-34+46.

[3] 吳志偉，高達(dá)，劉慧賢，等.鐵路貨車號碼圖像精準(zhǔn)識別方法研究[J].鐵道貨運(yùn)，2023，41（11）：61-68.

[4] 胡路路.基于深度學(xué)習(xí)的鐵路列車車號識別系統(tǒng)[D].南京：東南大學(xué)，2020：35-49.

[5] 于雙芳.運(yùn)行列車車廂編號定位技術(shù)和識別系統(tǒng)的研究[D].鄭州：鄭州大學(xué)，2017：26-35.

[6] 成鞏俐.基于EAST與CRNN的運(yùn)煤列車車號定位與識別研究[D].西安：西安科技大學(xué)，2022：18-40.

[7] 許華娣.《鐵路貨車車種車型車號編碼》標(biāo)準(zhǔn)簡介[J].鐵道標(biāo)準(zhǔn)化，1994（5）：11-12+6.

[8] 顧梅花，蘇彬彬，王苗苗，等.彩色圖像灰度化算法綜述[J].計算機(jī)應(yīng)用研究，2019，36（5）：1286-1292.

[9] GRUNDLAND M， DODGSON N A. Decolorize： fast， contrast enhancing， color to grayscale conversion[J]. Pattern Recognition，2007，40（11）：2891-2896.

[10] ARBELAEZ P， MAIRE M， FOWLKES C， et al. Contour detection and hierarchical image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，33（5）：898-916.

[11] RAKESH R， VINAY A. Edge detection using guided sobel image filtering[J]. Wireless Personal Communications，2023，132（1）：651-677.

[12] RAO S G， SRIKRISHNA A. Contrast enhancement of poor-quality satellite images through morphological operations[J]. Traitement Du Signal，2021，38（3）：821-827.

[13] 周偉，崔明.基于圖像處理的草莓匍匐莖定位技術(shù)研究[J].糧食科技與經(jīng)濟(jì)，2018，43（9）：89-92+106.

[14] 張愛苓.基于FPGA的復(fù)雜場景下的車牌識別系統(tǒng)設(shè)計[D].西安：西安石油大學(xué)，2023：35-36.

[15] 王鑫.鐵路機(jī)車車號字符分割與識別算法研究[D].武漢：中南民族大學(xué)，2019：12-18.

[16] 張松蘭.車牌識別系統(tǒng)算法綜述[J].電子技術(shù)與軟件工程， 2021（4）：128-130.