基于圖像處理的城軌列車車號識別系統

朱俊霖，段 鈺，滕 凱，邢宗義，宮 偉

（1.南京理工大學 自動化學院,南京 210094；2.南京地鐵運營有限責任公司 車輛分公司，南京 211135）

車號識別是城軌智慧交通系統的組成部分，準確識別車號端信息，可為車輛檢測與管理提供基礎數據，提高城軌信息化水平。

目前，射頻技術廣泛應用在城軌列車車號識別領域[1]，射頻車號識別系統由安裝在列車底部的電子標簽及地面的讀取裝備組成，雖然得到了普遍應用，但存在施工難度大、標簽易脫落損壞、偶發車號丟失等缺點，不能滿足智慧城軌對車號信息高準確率的要求[2]。

隨著工業相機和相關圖像處理算法的發展，基于圖像處理的車號識別系統得到越來越多的關注。針對動車組故障檢測的車號識別，方凱[3]提出了基于模板匹配算法的動車車號識別算法；針對編組站內機車車號的識別，李瑞辰等人[4]研究了一種基于卷積神經網絡的機車車號識別系統；針對地鐵車輛軸承故障檢測的車號識別，杜東偉等人[5]研制了一種基于攝像機和開源視覺庫的車號識別系統并在北京地鐵投入運用。

本文提出了一種基于圖像處理的的城軌列車車號識別系統，利用安裝在軌道旁的工業相機拍攝列車車身側面的車號，采用加速穩健特征（SURF，Speed Up Robust Features）算法[6]等圖像處理技術及卷積神經網絡（CNN，Convolutional Neural Network）中的Visual Geometry Group-16（VGG-16）技術，完成對圖像中車號信息的定位、校正、分割，之后對分割好的車號字符進行識別。

1 系統設計與實現

本文設計并實現的城軌列車車號識別系統由硬件部分和軟件部分組成。

1.1 硬件部分

硬件部分由工業相機、工業鏡頭、補光燈、可編程邏輯控制器（PLC，Programmable Logic Controller）、車輪軸位傳感器等組成。其中，工業相機和鏡頭用來拍攝圖片，補光燈用來改善拍攝條件，車輪軸位傳感器和PLC 用來向硬件系統發送開/閉指令。

1.1.1 工業相機

采用型號為Basler acA1300-60mNIR 的近紅外工業相機。該相機配有e2v EV76C661 CMOS 感光芯片，最大幀速率可達60 fps，像素為130 萬/pt，能在城軌列車規定的最高運行速度內拍攝沒有拖影且亮度合適的圖片。

1.1.2 工業鏡頭

通過對焦距、鏡頭與相機接口和光圈等參數的分析，并結合現場安裝距離等，本文選取Computa M0528-MPW3 廣角鏡頭，滿足靶面尺寸大于0.5 英寸（1 英寸=0.0254 m）、像素高于120 萬/pt，且拍攝區域應為車號區域的兩倍以上的要求。

1.1.3 補光燈

采用型號為TD-FL2040 的補光燈。該補光燈體積小、便于安裝、靈活方便，使用壽命長。采用全密封鋁壓鑄外殼，防塵防雨，可有效應對城軌現場環境。

1.1.4 PLC

采用型號為S7-200 SMART 的PLC，其具有不同類型、I/O 口點數豐富的CPU 模塊，配置靈活，可與計算機進行通信，便于組網。

1.1.5 車輪軸位傳感器

采用型號為NI50U-CK40-VP4X2-H1141 型軸位電式傳感器。該軸位傳感器安裝方便，有高亮度LED 指示燈，在任何安裝位置可顯示工作電壓及開關狀態，抗磁場干擾能力強。

1.2 軟件部分

軟件部分由圖像采集模塊和圖像處理模塊兩部分組成。其中，圖像采集模塊負責對車號圖片進行采集，并將將采集到的圖片傳輸至服務器進行存儲；圖像處理模塊負責對車號圖片進行處理與識別。

軟件開發環境為Visual Studio 2017、QT 5.14、OpenCV 3.4、Python 3.9。圖像采集模塊根據相機廠家提供的軟件開發工具包（SDK，Software Development Kit）開發，采用C++語言開發，圖像處理模塊使用Python語言開發。

1.3 系統工作流程

該系統的工作流程如圖1 所示。當車輪軸位傳感器檢測到第一個車輪時，會向PLC 傳遞電信號，PLC 收到信號之后觸發工業相機和補光燈開始工作，進行圖像采集，同時車輪軸位傳感器會對經過的車輪進行計數，當滿24 時（6 編組列車），PLC 發送關閉采集信號，關閉采集模塊；識別軟件將拍攝的圖像存儲到服務器中，對其進行實時的圖像定位、校正、分割及識別，將得到的車號信息存儲到數據庫中，并通過Web 發布，隨后關閉圖像處理模塊，整個系統工作流程結束。

圖1 車號識別系統工作流程

2 關鍵技術

2.1 車號區域定位

針對車號圖片中邊緣要素過多，難以用傳統的邊緣提取算法精確定位車號位置的情況，本文提出了一種基于加速穩健特征算法和筆畫寬度變換[7]（SWT，Stroke Width Transform）的城軌列車車號區域定位方法。

2.1.1 算法概述

尺度不變特征變換（SIFT，Scale Invariant Feature Transfrorm）算法用于對數字圖像進行特征描述，計算出的圖像特征點穩定性較強，不會因圖像存在旋轉、平移等情況而產生較大影響，廣泛應用于圖像處理領域。SURF 算法是在SIFT 算法的基礎上提出的一種改進的配準算法，具有較強的穩定性和良好的魯棒性，并在計算中引入積分圖像和箱式濾波器，縮短計算時間、提升計算效率。

SWT 算法通過計算圖像中每個像素點對應灰度值相等的最遠端的另一像素點間的距離，形成每個像素點最有可能的筆畫值，這些筆畫寬度值對應了相應像素點的筆畫寬度。變換后圖像的高、寬與原圖像一致。

2.1.2 區域定位流程

車號區域定位流程如下。

（1）對車號圖像進行積分計算，得到積分圖像，積分圖像中任意一點的值ii(i,j)為原圖左上角到該點相應的對角線區域灰度值的總和，即

其中，p(i′,j′)表示點 (i′,j′)的灰度值，通過對ii(i,j)的迭代計算得到該點所在列的積分，進而對整幅圖像進行積分遍歷，即可得到任一矩形區域的像素之和。

（2）SURF 算法采用箱式濾波器近似代替高斯核函數建立起圖像的尺度空間，通過建立Hessian 矩陣，檢測極值點特征，再利用該矩形區域的像素和提取車號圖片的特征點，篩選出車號的潛在區域。

（3）由于拍攝到的車號圖片存在較多的邊緣要素，易發生特征點誤匹配的現象，當車號區域在整個圖像中占比較小時，誤匹配的現象更為嚴重。因此，還需利用SWT 算法進行車號的精確定位。

對經過SURF 算法處理后的車號圖像進行Canny 邊緣檢測，會得到車號信息和其他車身邊緣信息，由于城軌列車車身上車號的字體類型及字符大小都是一致的，故可根據車號字符寬度設定筆畫寬度閾值，再根據閾值對得到的含邊緣信息的圖像進行篩選，排除非車號區域的邊緣信息，最終留下只含車號字符的圖像，實現對車號區域的精確定位。

2.2 車號字符校正與分割

在車號圖像采集的過程中，為增大拍攝到車號區域的概率，通常會采取攝像頭對城軌列車傾斜拍攝的方式。因此，車號在圖像中會存在一定程度上的傾斜和畸變。本文利用基于變換不變低秩紋理[8]（TILT，Transform Invariant Low-rank Textures）的圖像校正方法和投影法對字符進行分割。

2.2.1 車號字符校正

TILT 算法可使發生幾何形變或存在稀疏干擾的圖像恢復圖像的“本質”，即低秩紋理。其數學模型為

式中，I0表示恢復出的低秩紋理；E表示圖像中的稀疏“野點”或非高斯噪聲，由于其只對圖像中的極少部分像素造成影響，故將其定義為稀疏誤差；I表示低秩紋理經過幾何形變及稀疏誤差干擾后的視圖；γ表示低秩紋理與稀疏誤差之間的權重因子；τ表示特定條件下的李氏群。

2.2.2 車號字符分割

對校正后的車號區域進行圖像二值化，將圖像中灰度值大于閾值的點視作前景點，小于閾值的點視作背景點，即

式中，T為閾值；f(x,y)為原圖像；g(x,y)為二值化后的圖像。

考慮到補光燈長時間使用后的退化情況，光照強度可能減弱，手動設定閾值的方法魯棒性差，無法適應所有的車號圖像，故采用自動計算閾值的方法來進行二值化操作，通過Ostu 算法自動計算出能較好適應所有車號圖片的閾值。對二值變換質量較好的字符區域，將圖像縱向的每一列的灰度值按列相加，得到一個投影曲線，根據該曲線的極值點將車號區域劃分為單個字符區域。

2.3 車號字符識別

CNN 具有較高的識別準確率、較強的魯棒性且在構建好網絡后便可自動從數據中提取有效特征等特點。本文使用CNN 對自制的數據集進行模型訓練，用訓練完的模型進行單個字符識別。

城軌車輛的車號由線路編號、列車編號與車廂編號組成，包含0～9 的數字字符及A、B、C 3 個英文字符。針對車號數據較少，不同車號字符數量相差較多，難以對CNN 模型進行訓練的問題，通過對原始車號圖片進行隨機旋轉、平移、縮放等數據增強方式對車號數據集進行擴展，讓模型得到充分訓練。

CNN 通過連接不同的神經元節點對輸入數據進行處理，獲取圖像特征，將圖像標簽與網絡輸出進行比較，并根據比較結果調整網絡中的權重。CNN的主要特點是局部感知和聯合加權。在對圖像進行分類時，這兩個特征可解決復雜環境下圖像中的光照干擾和噪聲，顯著提高分類的魯棒性。

因為VGG-16[9]使用相同的卷積核參數和池化核參數，且由多個卷積層和池化層以堆疊的方式組成，故本文采用VGG-16 網絡完成字符識別的任務。

3 系統試驗與分析

3.1 車號定位效果分析

對現場拍攝到的圖片進行初步的SURF 計算，得到的結果如圖2（a）所示。可以看出，特征點存在誤匹配的現象，根據實驗情況，可將定位后輸出的圖片分為3 個區域，真實車號區域、車體邊緣區域、外部干擾區域。通過對SWT 算法設定筆畫寬度閾值，對SURF 算法得到的候選車號區域進行篩選，有效過濾絕大多數干擾字符，顯著提升識別效率，且能得到精確的車號位置，如圖2（b）所示。

圖2 車號區域定位

3.2 車號校正與分割結果分析

利用SWT 算法得到車號區域的精確定位后，用形態學操作可求出包含車號的最小外接矩形。如圖3（a）所示。

圖3 車號校正與分割

利用TILT 算法校正過后的結果如圖3（b）所示。經過TILT 算法校正過的字符沒有明顯的傾斜，各字符基本與正常的印刷體字符相同，為后續的字符分割和識別處理降低了難度。

利用投影法得到的分割結果如圖3（c）所示，分割結果中字符較為完整，分割得到的每個字符都清晰可辨。

3.3 車號識別結果分析

車號識別過程中用到的數據集分為訓練集和驗證集。為讓訓練出的模型具有良好的適用性，本文收集了多種與現場車號字體相似的印刷體數字和英文字符。

對訓練好的VGG-16 網絡做驗證，得到的結果如表1 所示。由結果可知，VGG-16 網絡具有較高的識別正確率，個別字符識別率偏低，經分析是因收集到的測試樣本圖片與實際車號圖片相差較大造成，剔除這些異常圖片后識別率可達到99.54%。

表1 訓練集字符正確率統計

3.4 現場試驗結果分析

本文提出的城軌列車車號識別系統于2021 年11 月在南京地鐵2 號線進行了現場試驗，共采集36列列車的648 個車號，系統針對每個車號圖片均能夠準確實現車號識別。現場試驗結果表明，本文提出的城軌列車車號識別系統能夠實現城軌列車車號的準確識別。

4 結束語

本文設計并實現了基于圖像處理的城軌列車車號識別系統。分別闡述了系統的軟件和硬件部分，以及系統工作流程。利用基于SURF 和SWT 相結合的車號定位算法對圖片中的車號區域進行精確定位；基于TILT 算法和投影法對定位好的車號區域進行校正與分割；通過訓練好的VGG-16 網絡對車號字符進行識別，得到城軌列車的車號信息。現場試驗結果表明，本文設計并實現的城軌列車車號識別系統的綜合準確率為99.54%，能夠較為準確可靠地實現列車車號信息獲取，滿足現場高準確率的要求。