開放場景中的高精度車牌識別算法

舒 森,鄧春華

(武漢科技大學 計算機科學與技術學院,湖北 武漢 430065)

0 引 言

車牌識別是現代智能交通系統的重要組成部分,廣泛應用于停車場管理、交通監控、交通違規處理。目前限制條件下的車牌識別技術比較成熟,廣泛應用于實際生活。然而,在開放場景中,由于不同拍攝角度、較遠距離、不同尺度、光線明亮度、運動模糊、數據集類別不均衡等影響,中文車牌識別仍具挑戰。

在深度學習時代之前,大多數方法[1-2]都是利用顏色、陰影和紋理等手工制作的特征,并通過級聯策略與車牌檢測和識別相結合。盡管它們達到了較好的性能,但是該方案依賴手動設計的特征,其性能無法滿足實際應用需求。而隨著深度學習的發展,使用卷積神經網絡(Convolutional Neural Networks,CNN)能夠有效地提取對象豐富的特征,極大地增強了車牌識別的性能,基于CNN的車牌識別算法[3-4]在限制條件下已經形成較成熟的技術。

已有的中文車牌公共數據集存在較多缺陷。最大的車牌數據集CCPD[5]擁有超過250 K個樣本,97%以上的車牌都是“皖”開頭。而其它中文公共數據集[6-7]擁有的車牌數量遠遠少于CCPD,實際應用價值不高。針對上述車牌類型和字符分布不均衡的現象,該文制作了一系列配套中文車牌數據集。

現有的車牌識別方法[3,5]大多為采集數據訓練的模型和單一算法,極大地依賴于采集的數據,以及單一地使用檢測或分類模型不能達到高魯棒性的效果。結合制作的數據集,該文提出了一種檢測、分類一體化的逐級車牌識別算法。該算法結合了對象檢測、圖像分類的優點,有機融合真實車牌和模擬車牌樣本進行混合訓練,有效克服了采集數據訓練的模型和單一算法魯棒性不足的缺陷,具有較強的實際應用價值。此外,針對車牌字符分類算法需要高精度字符分割的基礎,該文提出了一種多錨點字符位置回歸算法,能夠利用車牌中置信度較高的字符位置信息預測其它位置信息。構建的一系列中文車牌數據集,均衡了車牌類型、車牌字符分布。

1 相關工作

典型的車牌識別方法都是采集數據訓練模型和使用單一的檢測算法進行字符識別。最近基于深度學習的研究工作,通過對檢測網絡進行改進,都取得了較好的車牌識別效果。Laroca等人[8]提出了一種統一的車牌檢測和布局分類方法,提高了使用后處理規則的識別結果。Zhou等人[9]采用YOLOv4[10]目標檢測框架實現車牌的檢測,和使用循環神經網絡(Recurrent Neural Network,RNN)實現字符識別。Tanwar等人[11]通過采集印度車牌數據集并使用語義分割來解決車牌檢測,裁剪出不受圖像方向影響的車牌,使用輕量級的CNN進行字符識別。文本檢測中的ABCNet v2[12]能夠有效檢測彎曲文本,可以很好的兼顧圖像中形變的車牌。但是采集數據訓練模型和單一算法對于采集到的數據過于依賴,并且只使用檢測算法,車牌識別的魯棒性不高。

車牌識別是對檢測后的車牌區域中的字符進行識別。車牌識別主要分為基于分割的方法和無分割的方法?；诜指畹姆椒ò址指睢⒆址R別。這種方法需要準確的字符分割,并且圖像模糊和環境因素也會進一步降低字符分割的準確性?，F有的研究中,無分割的方法逐漸取代了基于分割的方法。

無分割方法先從車牌中提取特征,并將其傳遞給CNN或RNN模型來識別字符序列。近年來,出現了大量的無分割的端到端車牌識別方案。Zherzdev等人[3]提出的LPRNet采用一種端到端的識別方案,使用原始RGB像素作為CNN輸入,不需要字符分割,速度快、效果好。Qin等人[13]提出了一種統一的方法,可以端到端地識別單行和雙行車牌,而無需行分割和字符分割。Li等人[14]提出的光學字符識別場景應用集合框架PP-OCRv3,對車牌識別進行了集成,直接檢測出車牌字符。這種直接檢測字符的無分割方法固然速度快,效果較好,但是存在著字符漏檢的情況,影響車牌識別結果。如何實現每次都能完整地識別出車牌的結果,是個值得研究的問題。

但是,由于中文車牌中漢字復雜多樣,中文車牌識別仍具有挑戰性。同時,開放場景中的車牌識別也面臨很多問題。因此,為中文車牌檢測和識別提出一個新的框架仍然具有價值。

近年來研究人員構建了多種車牌數據集。Zhang等人[6]提出了一個數據集,其中包含來自中國大陸31個省份的1 200張車牌圖像。中科大的楊威團隊提供一個大型車牌數據集(CCPD)[5],擁有超過250 K張圖像,其中包含具有各種角度、距離和照明的車牌。隨后在2019年更新構建了CCPD2019,并在2020年增加了一個新能源汽車子數據集(CCPD-Green)。Gong等人[7]生成了一個名為中國路牌數據集(CRPD),其中包含多目標中國車牌圖像作為對現有公共基準的補充,是最大的帶有頂點注釋的公共多目標中文車牌數據集。

2 數據集介紹

車牌識別能力的高低取決于模型訓練的好壞,而模型的訓練嚴重依賴于數據集。由于現有的車牌數據集中存在著規模過小[6-7]、車牌類型和字符分布不均衡[5]等問題,難以訓練一個穩健的中國車牌識別模型去解決開放場景中的車牌識別任務。針對這種現象,該文制作了一系列配套中文車牌數據集,具體如表1所示。

表1 數據集介紹

該系列數據集包括模擬車牌子集、實時監控運動車輛車牌子集、字符級別的標注子集、模擬字符子集、單字符分割的分類子集。其中模擬車牌子集和字符級別的標注子集用于訓練,實時監控運動車輛車牌子集用于測試,模擬字符子集用于訓練和單字符分割的分類子集用于訓練和測試?？紤]到各地車牌收集的困難,采取模擬生成大量省份分布均衡的200 K張車牌和200 K個字符用于輔助訓練。每種省份車牌平均23 K張,模擬字符子集中平均每種字符有2.9 K個。

2.1 車牌數據集

車牌數據集包括模擬車牌子集、實時監控運動車輛車牌子集、字符級別的標注子集。

模擬車牌子集含有多種類型的模擬車牌(藍牌、綠牌、黃牌、黑牌、白牌),增加車牌中漢字的比重,并對模擬車牌進行了仿射變換、亮度和對比度調整、高斯模糊等處理,以增強車牌的多樣性。每張車牌都帶有字符級的詳細標注,包括字符類別、中心點坐標、寬和高。

實時監控運動車輛車牌子集,包含藍牌、綠牌、黃牌等車牌。其中的車牌由兩部分組成,一部分是從CRPD[11]中檢測得到,另一部分是從實時監控運動的車輛中檢測而得,兼顧了各個省份的車牌。

字符級別的標注子集中的車牌都是現實場景中的真實車牌,并且對每張車牌都進行了字符級別的標注,對應的標簽中都包含著車牌中每個字符的類別、中心點坐標、寬和高等信息。該子集主要是藍牌。各車牌子集中綠牌尺寸為480×140像素,其余車牌尺寸為440×140像素。

2.2 字符數據集

字符數據集包括模擬字符子集和單字符分割的分類子集。模擬字符子集是通過對字符模板進行仿射變換、高斯模糊、亮度和對比度調整、顏色變換等操作制作而成,藍牌字符和綠牌字符各占一半。單字符分割的分類子集是在進行了高斯模糊和調節亮度和對比度等預處理的真實車牌圖像中獲得的字符,命名為SCSCS(Single Character Segmentation Classification Subset),字符大小為64×128像素。包含61.6 K個綠牌字符,150 K個藍牌字符,其中訓練集、驗證集和測試集按照6∶2∶2劃分。

3 主要工作

針對車牌類型和字符分布不均衡的問題,該文提出了一種檢測、分類一體化的逐級車牌識別算法。該算法結合了對象檢測、圖像分類的優點,有機融合真實車牌和模擬車牌樣本進行混合訓練,能夠有效克服采集數據訓練的模型和單一算法魯棒性不足的缺陷。針對車牌字符分類算法需要高精度字符分割和基于分割方法不足的問題,該文提出了一種多錨點字符位置回歸算法取代基于分割的方法,能夠有效利用車牌中置信度較高的字符位置信息回歸出其它位置信息。

3.1 檢測、分類一體化的逐級車牌識別算法

開放場景中,由于不同拍攝角度、較遠距離、不同尺度、光線明亮度、運動模糊等因素的影響,單一的端到端深度學習的車牌識別方法的魯棒性不佳,不能很好地應用。于是提出檢測、分類一體化的逐級車牌識別算法,逐級進行對象檢測并與字符分類相結合。考慮到圖像中車輛數據獲取較為容易,同時車輛圖像具有更易區分的紋理特征及語義特征,逐級進行車輛檢測、車牌檢測、字符檢測,并結合字符分類,具體如圖1所示。

圖1 方法框架

對于字符分類,由于在開放場景中獲取到的車牌存在缺損、模糊、遮擋、變形等情況,并且其中的中文字符容易筆畫模糊并且現有的數據集中字符類型分布不均衡,給車牌字符的識別帶來了極大的困難。由此,該文使用多階段字符分類訓練方法來訓練出這個字符分類模型。通過模擬數據和真實數據相結合,多次訓練,不斷提高字符識別效果。

3.2 多錨點字符位置回歸算法

在字符檢測時,獲得的車牌并非所有都是滿足標準車牌格式,仍含有少數車牌中字符存在向左偏移或者向右偏移的情況,給車牌中的字符定位帶來了較大的挑戰。

無分割的方法對于過度偏移車牌上的識別還是會存在字符檢測不準的問題。因此,為了更加精確地定位車牌中字符的位置,提出了多錨點字符位置回歸算法,設計了三種錨點來匹配車牌,可以根據字符檢測模型獲得的局部字符位置信息精確地回歸出未被檢測字符的位置信息。三種錨點為左偏移錨點、標準錨點和右偏移錨點,左偏移錨點是指車牌中的字符相較于標準車牌整體向左偏移;標準錨點是根據標準車牌規格所確定的錨點,字符基本處于車牌地中間區域,足以滿足大多數正常規格的車牌;右偏移錨點是指車牌字符相較于標準車牌整體向右偏移。該文設計的多錨點字符位置回歸算法可以有效處理多種車牌,包括藍牌、黑牌、部分白牌、綠牌、雙牌以及特殊白牌。如圖2所示,以藍牌和綠牌為例介紹多錨點字符位置回歸算法。

(a) (b) (c)

圖中左邊的是藍牌,右邊的是綠牌,其中第一行的(a)是左偏移錨點,(b)是標準錨點,(c)是右偏移錨點。第二行從左到右分別是車牌字符向左偏移車牌、正常車牌和字符向右偏移車牌。第三行和第四行分別為未使用多錨點字符位置回歸算法和使用多錨點字符位置回歸算法的車牌字符定位情況。多錨點字符位置回歸算法流程如圖3所示。

圖3 多錨點字符位置回歸算法流程

對于經過字符檢測模型的初步檢測結果,當已檢測字符個數小于車牌中字符個數,則通過多錨點字符位置回歸算法回歸出未檢測的字符。首先通過比較車牌中的字符在三種錨點中的數量確定車牌屬于哪種錨點,如式1所示:

(1)

其中,anchor為車牌所屬錨點,L,S,R表示車牌屬于左偏移錨點、標準錨點和右偏移錨點,max表示該錨點下的字符最多,n為車牌中已檢測字符的個數,Li,Si,Ri表示第i個字符屬于左偏移錨點、標準錨點和右偏移錨點。通過確定車牌所屬的錨點,從而確定車牌中字符對應的偏移值,最終確定車牌中已檢測字符在車牌中的次序。

然后通過已確定次序字符的位置信息回歸出未檢測的字符。首先通過車牌中已檢測字符的中心點坐標、寬度和高度,獲得其平均值,如式2所示:

(2)

考慮到車牌檢測結果中單個字符可能存在多個預測結果,當m大于1時,先計算出字符寬度和高度的標準差,如式3所示:

(3)

其中,σw,σh為已檢測字符的寬度和高度的方差。結合σw,σh,重新計算出已檢測字符中心點坐標平均值,如式4、式5所示:

(4)

(5)

w=

(6)

h=

(7)

其中,w,h為回歸的未檢測字符的寬度和高度,W∈Rl,H∈Rl為已檢測字符預測結果的寬度和高度矩陣。

(8)

(9)

4 實驗結果與分析

4.1 實驗細節

該文選擇了SCSCS,PDRC(License Plate Detection and Recognition Challenge),CCPD2019這三個數據集進行訓練和測試,實時監控運動車輛車牌子集僅作為測試。PDRC是飛槳對CCPD2019處理后得到的數據集,其中不包含沒有車牌的車圖像,已刪除清晰度太低的圖片,并進行去重,全為藍牌。圖片總數121 K張,訓練集和測試集數量分別為95 774和25 657,具體如表2所示。其中,PDRC和CCPD的圖片大小調整為640×640像素,實時監控運動車輛車牌子集的圖片大小為440×140像素。

表2 PDRC和CCPD,CCPD2019的比較

該文使用平均識別精度(Average Precision,AP)和每秒處理幀數(Frames Per Second,FPS)作為評價指標,AP來比較模型的優劣,fps衡量模型的識別效率。

在訓練階段,文中方法由PyTorch實現,實驗在配備Intel Xeon(R) E5-2683 v3 CPU和單個NVIDIA GTX-1080TI GPU的平臺上進行訓練。

在車輛檢測階段,采用CSPDarknet53[10]作為主干網絡,輸入圖片大小為640×640像素,采用SGD優化器,其學習率設置為0.001,動量因子為0.9,權重衰減為5e-4,batch size設置為64。在車牌檢測階段,由于車牌也可以看做文本,鑒于ABCNet v2[12]在文本檢測中的良好效果,該文采用其進行車牌的檢測,batch size設置為2,最大迭代次數為260 K,初始學習率設置為0.01,在第20 K次和30 K次迭代時分別降至0.001和0.000 1。在車牌識別階段,采用CSPDarknet53作為主干網絡,訓練數據由模擬車牌子集和真實車牌數據集組成,輸入圖片大小為512×512像素,采用SGD優化器,其學習率設置為0.001 3,動量因子為0.949,權重衰減為5e-4;batch size設置為64。由于batch size為64,所以在訓練的每個batch中加入18個含有多個漢字的模擬車牌,用來增加車牌中漢字的比重,以加強識別漢字的能力。在多階段字符分類網絡訓練過程中,采用ResNet50[15]作為主干網絡,訓練數據由模擬字符子集和單字符分割的分類子集組成,學習率設置為0.02,動量因子為0.9,權重衰減為5e-4,batch size設置為64,一共訓練50個epoch,采用SGD優化器進行訓練。

4.2 結果分析

為了驗證在字符分類中所使用的模擬數據與真實數據相結合的多階段字符分類訓練方法的有效性,設計了在SCSCS上的消融實驗。

多階段分類訓練中,在第一階段,使用模擬字符子集進行訓練,子集中均衡地包含各種字符,尤其是各種省份漢字字符。第二階段,在每一次batch訓練后,在驗證過程中將預測結果中置信度小于0.5的字符視為困難字符,其余視為簡單字符。并將困難字符的模擬字符加入下一次訓練的batch中,簡單字符和困難字符的比例設置為9∶1。第三階段,在第二階段訓練的基礎上加入SCSCS中的字符一起訓練,在每個batch中模擬字符和真實字符的比例設置為5∶1。通過多次訓練,不斷增強字符識別的泛化能力和魯棒性。在SCSCS上測試了三個階段的準確度,結果如表3所示?？梢钥闯龆嚯A段訓練方法是有效的,其中第二階段在兩種車牌測試集上提升約1百分點。在第三階段中加入真實車牌字符后,都有了很大的提升,分別在藍牌、綠牌上提升了約5.7百分點和4百分點,驗證了模擬字符子集和SCSCS結合訓練的有效性。

表3 在SCSCS上三個階段的準確度

為了證明文中方法的有效性,與其他方法在PDRC上進行了比較。先通過ABCNet v2對數據集進行檢測,獲得了車牌數據集,其中95 774張車牌用作訓練,25 537張車牌用作測試。通過與其他方法的比較,驗證多錨點位置回歸算法的有效性,結果如表4所示。結果表明,文中方法在數據集整體,Tilt,Weather子集中提升0.5百分點,在DB,Challenge子集中提升超過1百分點,由于FN子集中車牌形狀更加復雜,導致識別結果略低。

表4 文中方法與其他方法在PDRC上的比較

在實時監控運動車輛車牌子集上與其他方法進行比較,測試結果如表5所示?？梢钥闯鲇捎贑CPD數據集中漢字的不均衡性,導致訓練而成的模型LPRNET[11]和PP-OCRv3[14]具有局限性,不能很好地識別文中提供的實時監控運動車輛車牌子集?？梢宰C明文中提出的系列配套數據集的有效性,與采集數據模型和單一模型相比,文中方法有著較強的魯棒性,能夠適應多種場景下的車牌識別。

表5 不同方法在實時監控運動車輛車牌子集上的準確度

在采集的圖片上進行了驗證,效果如圖4所示,能夠較好地識別測試圖片。

圖4 場景測試效果

文中方法在數據集整體和各子集中都基本該文也在CCPD數據集上與其他方法作了比較。因為Xu[5]和Gong[7]都在不同的情況下評估了他們的方法,為了公平比較,該文在CCPD的各測試子集上進行實驗。按照Xu[5]和Gong[7]的實驗,Faster-RCNN[16], YOLOv4[10],SYOLOv4(ScaledYOLO-v4)[17],STELA[18]作為檢測模型,HC(Holistic-CNN)[19]和CRNN[20]作為識別模型,端到端方法TE2E[21]和RPNet[5]用于比較。該文還將ABCNet v2[12]與LPRNET[11]和PP-OCRv3[14]結合起來做更多的比較。如表6所示,可以看出文中的方法在數據集整體和各子集中都基本達到或接近最佳狀態,并在整體識別精度達到99%。在旋轉或傾斜的車牌圖像(Rotate)和通用車牌圖像(Base)子集中都取得了更好的成績。在效率上,由于該文是在單個NVIDIA GTX-1080TI GPU上進行測試,ABCNet v2的檢測影響了整個方法的效率,所以與其他方法相比略低。因為文中方法是一個多線程的解決方案,整體的識別效率由最耗時的檢測部分決定,因此比ABCNet v2與LPRNET和PP-OCRv3結合的兩種方案的識別效率略高。

表6 文中方法與其他方法在CCPD上的比較

5 結束語

綜合考慮開放場景中車牌識別容易受到拍攝角度差異較大、車輛運動模糊等因素的影響以及車牌數據集中類別不均衡的問題后,提出了一種融合算法和系列數據集一體化的方法。其中構建的一系列中文車牌數據集,極大地均衡了車牌類型、車牌字符分布,豐富了車牌數據集;提出了一種檢測、分類一體化的逐級車牌識別算法,解決了采集數據訓練模型和單一算法的魯棒性不足的問題;使用無分割的字符位置尺度回歸算法,能夠較精確地回歸出車牌中的所有字符。在多個數據集上驗證了文中方法的有效性,具有高魯棒性,能夠滿足開放場景中的車牌自動識別需求。雖然在車牌識別上達到了高性能,但是在識別效率上略有不足,未來將探索在保持高性能的同時實現較高的識別效率。