自然環境下道口客車車身字符識別算法研究

趙永猛，宓 超

上海海事大學 物流工程學院，上海 201306

1 引言

隨著智能交通[1]的無人化發展，出現了諸如車牌付、自動發卡機、ETC 等多場景的應用，但由于車型信息未聯入交通系統網絡，僅靠車牌信息不能有效對應車輛型號，一些收費場景出現了大量套牌漏費等現象，為抑制該現象，智能識別車型顯得尤為重要。

目前車型識別的研究大多基于車輛的外觀輪廓特征[2-3]進行識別，這對于車型相近且處于分類區間邊緣的車輛，識別率并不理想。例如高速公路車型分類對于客車按座位數分類，但存在座位少車身長，座位多車身短的情況，僅靠外觀輪廓及輪軸特征無法有效區分。根據國家規定，大型荷載客車車身均需印刷限載字符字樣，而客車印刷的限載人數也與客車等級相對應，因此本文提出通過識別車身限載數字進行車型識別的算法，以此作為車型識別的輔助手段。

目前自然場景下的字符識別主要分為兩個階段：文本檢測和字符識別。文本檢測階段大體歸納為傳統的文本檢測和基于深度學習的文本檢測，而后者針對復雜環境下的樣本，無法普遍性地進行有效的檢測。傳統的文本檢測主要分為基于連通域[4]和基于滑動窗[5-6]的文本檢測。基于滑動窗的文本檢測要求尋找區分度好的描述特征[7]，但描述特征會受到光照、陰影等影響。基于連通域分析的文本檢測算法從連通域獲取途徑來看，分為邊緣檢測算法和文本級檢測算法，后者主要采用最大穩定極值[8]、顏色聚類[9]及筆畫寬度變換（Stroke Width Transform，SWT）[10]等來區分文本區域和背景區域，這對于受光照不均且顏色雜亂的客車樣本并不適用。文獻[11-12]等采用了一些邊緣檢測算子檢測出圖像的邊緣信息，然后對邊緣圖像進行形態學處理以剔除偽文本區域，取得了不錯的效果。字符識別階段，分為傳統的字符識別方法和基于深度學習的方法。傳統的字符識別主要分為預處理、特征提取及特征分類三個階段。基于深度學習的字符識別是目前研究的趨勢。如劉寶龍[13]基于遷移深度卷積神經網絡，對船名標識符進行了識別。張紹明等[14]使用深度卷積神經網絡模型以及采用Faster R-CNN 的思想實現了集裝箱箱號的提取。但由于車身數字字符字體規范且種類較少，基于深度學習的字符識別相比基于傳統方法字符識別，其識別率并無顯著提升，而且其對復雜環境下的樣本識別效果不太理想，因此考慮到樣本所處的環境以及車身文本的特點，有必要尋求一種自然環境下車身文本識別算法。

自然環境下的車身文字識別存在以下難點：字體顏色和車身顏色雜亂，字體尺寸不一致，字體間隔無統一標準，而且受光照不均以及陰影等影響。針對上述難點以及實際工程要求，本文提出的方法如下：首先通過改進的二值化算法結合車身文本的特征實現文本定位，然后將分割出的限載數字字符通過神經網絡進行識別，以此實現車身字符識別。

本文提出通過識別車身字符進行車型識別的方法，作為車型識別的輔助手段，以提高車型識別率。該方法相比基于外觀尺寸特征的車型識別方法，針對分類區間邊緣的客車車型，識別率得到有效的提升。識別算法流程采用了文本定位、字符分割及字符識別三階段法。其中在文本定位階段，針對客車樣本特點，要求在復雜環境下使得樣本在文本區域的保存與區分方面有較好的表現，為此提出了改進二值化Psauvola 方法，與其他局部二值化方法相比該方法表現更加優異，且最終分割出的字符識別率更高。Psauvola 方法對光照有較強的魯棒性，并且能夠消除大部分陰影帶來的影響，可有效處理復雜環境下的樣本；根據格式塔特征，針對限載字符的特點，有效剔除了干擾字符。對于復雜環境下的字符識別，目前使用深度學習的方法還未得到有效解決。

2 算法流程

算法所采用的樣本采集裝置安裝位置及應用場景如圖1所示。

圖1 部分應用場景及相機安裝位置

本文算法流程如下：第一階段檢測客車樣本文本區域；第二階段將定位出的文字區域分割成獨立字符；最后階段使用傳統的神經網絡對提取的數字字符進行識別。

2.1 字符區域檢測

本節提出檢測車身文本區域的命題，首先根據形態學操作[15]粗定位出類字符區域，然后將類字符區域的灰度樣本通過改進的二值化算法（Psauvola）轉化成二值圖，最后對二值圖中印刷字符的格式塔特征進行分析與提取，以實現文本區域精定位。

由于車身印刷不規范，印刷顏色雜亂，且車身顏色不統一，灰度化后的客車樣本文本區域與周圍車身背景區域之間的灰度值無確定大小關系，如圖2 黃框處所示，圖2（a）文字區域灰度大于周圍車身灰度，而圖2（b）文字區域灰度小于周圍車身灰度。因此粗檢測區域在進行二值化之前，應當先比較出文本灰度值與背景灰度值的大小，之后再以比較出的大小關系為賦值原則將樣本轉化成統一的二值圖。

圖2 不同灰度值大小關系的客車樣本

具體的文字區域檢測流程圖如圖3所示。

2.1.1 字符區域粗檢測

為初步檢測出字符區域，對樣本進行預處理操作。首先采用高斯濾波的方法去除高頻部分的噪聲[15]；其次采用加權平均的方法將樣本灰度化；客車圖像的采集均是由地感線圈觸發拍攝獲取，因此獲得的樣本，其客車位置基本相同，對圖像進行剪切以排除外界環境的干擾因素。預處理后的樣本如圖4（a）所示。

圖3 文本定位總體流程圖

樣本預處理后，利用邊緣提取算子[16]結合結構元素將字符區域膨脹成一個粘連的整體連通域，之后通過字符區域的幾何特征（長、寬及長寬比），結合連通域像素數以及黑白像素比篩除非文本區域；將最終得到的文本區域連通域通過最小外接矩形框框出，最后以此為蒙板在灰度圖像的對應位置裁剪出來，圖4（b）為最終篩選出的類文本區域的連通域。

圖4 文本區域檢測分圖

以文本區域的外接矩形框為蒙板裁剪出的灰度圖如圖5（a）所示，圖5（b）是對灰度樣本進行邊緣提取[10]，然后由適當大小的結構元素膨脹得到。

圖5 根據外接矩形框剪切出的灰度圖及連通域圖

2.1.2 灰度值大小比較

由于客車樣本文本區域與周圍車身背景區域灰度值大小關系不確定，為將樣本轉化成統一的二值圖，需要先比較出兩者的灰度值大小。基于上一小節檢測出的類文本區域，對文本與車身背景之間的灰度值大小進行比較，計算方法如下：

對 BW11（圖5（b））中的每個白色像素，對應在Icrop1（圖5（a））中，求出相應位置像素的平均灰度值，然后與Icrop1 中的所有像素的平均灰度值比較。具體計算如下：

式（1）中，P表示 BW11 中邏輯值為1 的坐標集合，(i1,j1)表示BW11矩陣的坐標；

式（2）中，(i2,j2)表示Icrop1 的矩陣坐標，V(i2,j2)表示該坐標下像素對應的灰度值；Q表示符合(i2,j2)∈P的所有Icrop1矩陣坐標下的像素對應的灰度值集合。

式（3）中，sum(Q) 表示Q集合中所有像素的灰度值之和，card(Q) 表示Q集合中的元素數量；式（4）中sum(Icrop1)表示Icrop1 中所有像素的灰度值之和；m、n分別表示矩陣Icrop1 的行數與列數。

當p1 ＞q1 時，說明文本區域平均灰度值大于周圍背景區域平均灰度值，當p1 ＜q1 時，說明文本區域平均灰度值小于周圍背景區域平均灰度值。

2.1.3 改進二值化算法（Psauvola）

進行灰度值大小比較之后，下一步將樣本轉化成統一的二值圖。二值圖通常用于文字的掃描識別，因此字符分割與識別之前，需要對樣本進行二值化。本節提出了計算二值化閾值的命題，該閾值要求能夠對客車圖像文字區域在復雜的自然環境背景中更好地工作，需要對光照有很強的魯棒性且能克服大部分陰影影響。Sauvola算法[17]的輸入是灰度圖像，它以當前像素點為中心，根據當前像素點鄰域內的灰度均值與標準方差來動態計算該像素點的閾值。Sauvola方法能夠通過在圖像中使用一系列灰度值來解決黑噪聲[18]問題，其具體取決于對標準偏差值的影響，而且當前景與背景對比度較大時，能更有效地進行分割，Sauvola算法的表示如下：

其中，R是灰度（128），m是r×r鄰域內的灰度平均值，σ是r×r鄰域內的標準偏差，k設置為 0.2（默認值）。本文根據樣本文字寬度設置為9×9像素的鄰域像素框，k值為0.1。

由上一小節判斷出文字區域與背景區域的灰度值大小，實驗發現，當p1 ＜q1 時，采用傳統的Sauvola算法進行二值化，即output=(image ＜T)分割效果良好；而當p1 ＞q1 時，即文本區域灰度值大于背景灰度值時，僅僅輸出反目標區域，即output=(image ＞T)，會使結果變得很模糊，丟失很多細節信息。

實際上，由于閾值較低，Sauvola方法未能對低對比度區域進行二值化。因此，本文傾向于在整體閾值的基礎上增加閾值，以便在低對比度區域對信息進行分割。但是，如果閾值較高，則會在生成的圖像上引入噪聲和人工制品，需要提出具體增加閾值的方法。鄰域均值[19]對閾值有很大的影響，結合車身文本的灰度特點，通過在鄰域均值的基礎上增加閾值。本文計算了最大均值以替換原始均值。最大均值方程如下：

式（6）中，m表示鄰域均值，mmin表示鄰域內最小灰度值，mx表示替換原始均值的最大均值。此時的閾值為：

式（7）中各參數與前述相同。

二值化賦值如下：

式（8）中，output表示輸出的二值圖像，image表示灰度圖像，T是當前像素點鄰域內的灰度均值與標準方差計算得到的閾值（二值化賦值準則1），Tx是改進后的閾值（二值化賦值準則2）。

為方便觀察，將取得的二值圖都進行了取反操作，效果如圖6所示，灰度值大小關系不同的兩張樣本均被轉化成文本區域為白色，背景區域為黑色的二值圖。

圖6 統一的二值圖

2.1.4 文本區域精定位

為利于后續字符分割，本小節對文本區域進行進一步的精定位。劉寶龍[13]利用格式塔理論對船名標識符進行檢測定位，取得不錯的效果。由于車身文本與船名標識符具有的相似特征，本小節亦借鑒格式塔理論來進行文本精定位。

2.1.4.1 格式塔理論

格式塔[13]作為心理學術語，具有兩種含義：一指事物的一般屬性，即形式；一指事物的個別實體，即分離的整體，形式僅為其屬性之一。也就是說，假使有一種經驗的現象，它的每一成分都牽連到其他成分；而且每一成分之所以有其特性，是因為它和其他部分具有關系，這種現象便稱為格式塔。總之，格式塔不是孤立不變的現象，而是指通體相關的完整的現象。完整的現象具有它本身完整的特性，它既不能割裂成簡單的元素，同時它的特性又不包含于任何元素之內。

2.1.4.2 車身文本的格式塔特征

車身文本本質上就是一串具有特定格式的字符串文本。同時，車身文本也是一類由人類設計、印刷于車身的字符標記。因而，車身標識字符本身也常常體現出格式塔完形規則中的若干規則。具體總結如下：

（1）幾何特征相似性。雖然車身文本包含的字符可能不盡相同，但是屬于同一串標識的字符在高度、面積大小、寬高比和字符數量等幾何特征方面應該在一個特定的范圍內。

（2）投影臨近性。屬于同一個車身文本標識的字符的垂直投影（X軸投影）應該彼此相鄰，并且這些投影之間的距離相對比較均勻。

（3）字符連續性。客車車身中屬于同一個標識的字符通常被印刷于一行之中。

（4）字符低維特征相似性。雖然來自不同客車的車身文本可能在顏色、亮度等方面各不相同，但是同一個車身文本的字符經常在底層特征信息方面（如顏色、亮度和紋理等）相互表現出較高的相似性。

二值樣本中的限載字符具體特征表現如下：二值樣本中字符連通域個數為4～6個；數字連通域個數為兩個；字符高度基本一致且在一定的大小范圍內；字符均印刷為一行，水平投影的高度范圍與字符高度基本一致。

根據上述特征，首先對圖5（a）所示的灰度文本，從圖6 所示的二值圖對應位置處裁剪出粗檢測區域二值圖，然后根據字符格式塔特征篩選出符合條件的字符連通域，之后以所有符合條件的連通域的最小外接矩形框為蒙板，在粗檢測灰度圖中裁剪，最終得到的精定位字符區域如圖7所示。

圖7 精確定位后的字符區域灰度圖

如圖7所示，根據連通域個數條件篩選掉了下面的總質量標識，保留了限載字符區域。

2.2 字符分割

精確定位出的文本區域二值圖如圖8所示，并將每個字符連通域用外接矩形框框出。

圖8 目標區域的外接矩形框

觀察圖8 可知，數字字符具有如下特點：數字寬度占比文字寬度為0.4～0.6，高度占比為0.8～1.0。

對圖8所示的二值圖像，統計其每一列的白色像素數，得到垂直投影圖如圖9所示。

圖9 目標區域二值圖像垂直投影圖

字符分割準則如下：

（1）設置矩形框標簽。字符之間絕大多數是相互獨立的，因此每個字符連通域對應一個外接矩形框，通過設置幾何閾值初步篩選出特定高度及寬度范圍內的矩形框，同時對矩形框按從左到右的位置進行標記。

（2）設置波谷點標簽。記錄等于閾值的對應列數值，并依次進行標記。對標簽數2、3 對應的列數值，求出兩者中間的列數值，并重新賦予標簽1，此為第一個波谷點；標簽數4、5對應的列數值的中間列數值對應第二個波谷點，賦予標簽2；以此類推，進行波谷點標記。

（3）比較篩選出的矩形框，若寬度大于上閾值（將篩選出的矩形框的平均寬度的特定倍數作為上下閾值），可能存在粘連字符，根據標記的標簽在投影圖中對應標簽的波谷點處進行切割，并增加標簽數。

（4）若矩形框寬度低于下閾值，但其高度符合條件，可能存在斷裂字符，判斷連通域質心的水平距離，來決定是否進行矩形框合并，合并的同時減少標簽。

（5）分析最終得到的矩形框，按照數字字符矩形框對應的標簽數字規則（標簽數為3～5），及該標簽對應的字符矩形框寬度相比所有矩形框的平均寬度大小，篩選出數字字符，并按標簽大小進行排列。

基于數字字符的幾何特征及投影圖分割準則自動分割[20-21]出數字部分。由于部分樣本數字與文字之間垂直投影存在重疊部分，分割出的數字區域會連帶極少的文字部分，通過連通域篩選進行剔除，最后得到的單個數字字符圖像并進行歸一化處理后如圖10所示。

圖10 樣本分割得到的字符

2.3 字符識別

車身限載字符識別的最后階段是對提取的字符進行識別。應用于字符識別的方法是神經網絡。反向傳播（Back Propagation，BP）神經算法是學習的一個監督形式[22]。輸入向量顯示在輸入層，并允許向前傳播以生成輸出。計算實際輸出和所需輸出之間的均方誤差（Mean Square Error，MSE），并將其傳播到各層，以便能夠根據錯誤項按比例調整每個階段的連接權重，從而將其最小化。網絡訓練的BP算法是一個迭代過程。它被反復應用于一組輸入輸出對，稱為訓練集，直到輸出誤差達到理想的小值。BP 神經網絡包括一個輸入層、一個隱藏層和一個輸出層。

在本文設計的三層神經網絡中，輸入節點為128，輸出節點為 6 個，輸出單元為10（本文僅識別0 至9 的10個數字，未對文字進行識別）。用于訓練BP網絡工作的數據集，共150個樣本，每個字符約15個樣本。

在BP神經網絡中，動量項設置為0.95，誤差目標設置為0.000 1。一條測試集，創建約200 個字符（每個字符有20個樣本）。隱藏層選擇25個節點。

3 實驗部分

3.1 樣本數據集及實驗環境

實驗樣本均采集自廣西高嶺收費站某ETC 車道入口處，采用USB 相機，由地感線圈觸發拍攝，照片分辨率為1 024×768，圖片格式為JPG。在采集的所有過往車輛樣本中，選取了100張三類客車樣本，100張四類客車樣本，且白天與晚上的樣本比例為4∶1（白天過往客車數量與夜間的比例大致在4∶1）。樣本示例如圖11所示。

圖11 示例樣本原圖

所有程序都是用宏基筆記本電腦用MATLAB2018a編寫，配備Intel Core i5 1.6 GHz四核處理器和8.00 GB RAM。

3.2 實驗設置

為驗證本文算法的有效性，分析算法流程中的步驟對識別結果的影響，以及提出的二值化算法相比其他局部閾值二值化算法對最終識別結果的影響，設置如下實驗：對200 張樣本使用本文提出的算法流程進行識別，統計其最終識別率。分別以Bernsen、Niblack 及傳統的Sauvola 二值化方法代替本文提出的二值化算法（Psauvola），其余步驟不變，對樣本進行識別實驗，并統計識別率。

3.3 結果分析

3.3.1 樣本識別結果及分析

在如圖11所示的200張樣本上進行識別實驗，根據廣西省交通部門對過往收費站的客車分類標準，若識別出的數字位于20～39區間，則判定為三類車（C）；識別出的數字區間在40及以上的判定為四類車（D）；其余沒識別出字符，只識別出其中一個字符的或者不在上述數字區間的識別結果均判定為錯誤。部分識別結果如表1所示。

表1 部分識別結果

所有樣本統計結果如表2。

表2 樣本上的識別結果統計

從表2得到，其綜合識別率為88.5%。

基于外觀輪廓特征的車型識別總體識別率可以達到95%左右，但樣本比例上一類車居多，占比85%以上；識別錯誤的樣本大多為鄰類車型中的邊緣車型。為說明基于外觀輪廓特征的車型識別對邊緣車型的識別準確率，從收費站統計了某一時間段（夜間環境并不影響外觀輪廓特征的獲取，因此任意時間段對統計結果均不產生影響）三類、四類客車的識別結果，并與obu（車載電子單元）車型進行對比，其準確率僅有80%左右。結果表明，本文提出的針對邊緣車型的識別算法，準確率提高了將近10個百分點。

3.3.2 改進二值化方法結果及分析

二值圖的轉化對文本區域的精定位及字符分割至關重要，對降級文本[18]擁有很好效果的Sauvola 算法進行改進后（Psauvola算法）對灰度圖像樣本進行處理，與經典的局部閾值算法Sauvola、Niblack、Bernsen 處理的樣本進行對比，實驗以示例樣本中的其中一張為例，處理結果如圖12所示。

從圖12 可以看出，針對文字區域大于周圍車身背景區域的樣本，Sauvola算法未能分割出目標區域，而是錯誤地將目標區域輪廓分割了出來；Niblack 及Bernsen算法處理的樣本存在大量的噪聲，同樣無法清晰地將文字區域從背景區域中區分開來；而Psauvola算法，如圖12（b）所示，在文字區域的保存與區分方面明顯優于其他算法。對降級文本[18]擁有很好效果的Sauvola算法用在車身文本上也表現出較好的效果，但需要針對車身文本特點進行相應改進。

圖12 二值化對比圖

同時，自然環境下的樣本不免會受到陰影及光照等影響，這種情形下，也要求二值化算法能有效地將目標區域區分開來。為說明改進后的二值化算法（Psauvola）在光照和陰影方面的效果，本文挑選了部分較差光照環境下的樣本，在Psauvola 算法及Sauvola 算法下分別得到的效果如圖13所示。

圖13 Psauvola算法與Sauvola算法效果對比圖

如圖13所示，第一行是光照有陰影的樣本，第二行是Sauvola 算法處理后的樣本，第三行是Psauvola 算法處理后的樣本。顯而易見，Psauvola算法對較差環境下的樣本，在細節上相比Sauvola算法有更好的表現，在文字區域的區分上有了極大改進，為后續字符分割奠定了基礎；同時Psauvola 算法對光照有更強的魯棒性，且極大地減少了陰影的影響。

為表明Psauvola算法的有效性，使用其他二值化算法代替本文Psauvola 算法，其余步驟不變，對樣本進行識別實驗，具體結果如表3所示。

表3 不同二值算法的最終字符識別樣本數

從表3可以看出，三種經典局部閾值算法為基礎的字符識別算法，最終識別出正確結果的樣本數均不足100張，遠小于本文算法（Psauvola算法）的樣本識別數。

字符識別的基礎是完整的字符分割，而字符分割成功與否與字符區域的精確定位及二值化算法的效果緊密相連，同時本文提出的精確定位算法亦與二值化算法有極大關聯，因此二值化對字符識別起著至關重要的作用。結合表3 以及圖14，在優化的Sauvola 算法基礎上對樣本進行識別實驗，其識別成功率遠大于以其他三種二值化算法為基礎的樣本識別成功率，表明了優異的二值化算法對字符識別的重要影響。

圖14 不同二值化方法的樣本識別成功率對比

3.3.3 字符分割及識別結果分析

在字符區域檢測階段，能否準確檢測出字符區域，對后續字符分割至關重要。樣本剪切后，車身干擾因素是其上印刷的一些標識，如圖15所示車身圖標、總質量標識、聯系電話以及其他車身標識；這些干擾區域以“格式塔”特征分析，與限載字符區域構成了兩個整體，即限載字符區域作為一個整體，干擾區域是一個整體。篩選出干擾區域后最終成功檢測出的僅含文字區域的樣本為198 張。字符定位階段對后續字符分割及識別幾乎不產生影響。

圖15 干擾標識及最終檢測出的限載字符區域

數字字符的識別在很大程度上取決于分割出的孤立的字符。采用基于連通域外接矩形框及像素投影圖的分割算法，從最終樣本成功識別率可以看出，樣本成功分割率不低于88.5%，其適用于絕大多數樣本。字符識別中的大多數錯誤都是由分割過程中的錯誤引起的，表1 中識別錯誤的樣本如圖16 所示（左邊為灰度樣本，右邊為相應二值圖），對于樣本中斷裂嚴重及粘連的字符，根據連通域外接矩形框并不能分割出完整字符，且很難尋找合適的投影圖波谷點。

圖16 污損及粘連樣本

同時對于夜間環境下的部分樣本，車體受補光燈光源的影響很大，轉化后的二值圖如圖17所示，連通域受光斑影響，連接成一塊整體，采用基于連通域及投影圖分割方法，亦無法分割出完整字符。

圖17 夜間受燈光影響的二值化圖

神經網絡的字符識別階段，在測試字符集上，最終識別率為95%。對于表1中錯誤地將“1”識別成“7”，雖識別結果不對，但對客車的歸類并無影響，如57被識別成51，但仍是四類車范疇。因為所選樣本為三類、四類客車，限載客數沒有超過70 的，而數字7 只可能出現在個位數，這對分類結果并無影響，因此字符識別階段對整體的識別率影響也不大。

4 結束語

面對邊緣車型區分不理想的問題，本文提出了通過識別車身文本限載數字字符進行車型識別的方法，以此作為車型識別的輔助手段。該算法由文本定位、字符分割、字符識別三個階段組成。其中在字符定位階段，提出的Psauvola 二值化算法結合車身文本連通域的格式塔特征精確定位出了文本區域；基于外接矩形框與投影圖的字符分割以及基于神經網絡的字符識別得到了最終的車身文本識別結果，總體識別率為88.5%，相比基于外觀輪廓特征的針對邊緣車型的識別，準確率提高了將近10個百分點。因此本文提出的基于圖像處理的車型識別方法在邊緣車型的識別率方面有了很大的改進。對算法每一階段的分析可以看出，有效的二值化算法對字符識別至關重要，本文提出的Psauvola二值化算法相比其他算法不僅對光照有更強的魯棒性，有效抑制了陰影的影響，而且在細節以及目標區域的區分方面表現更好，進而在字符區域的保存、分割及定位方面相比其他算法表現優異。字符分割階段對字符識別率影響較大，污損、粘連、受光照影響的樣本均會影響分割結果；神經網絡的字符識別對最終識別率影響有限。后續通過改善夜間補光效果以及改進分割算法將會提高樣本識別率，字符識別階段也可以使用模板匹配、模糊分類器等字符識別模型，以期該算法的識別率能達到實際工程應用的要求。