融合多傳感器與遷移學習的車牌識別方法研究

嚴 格

（浙江同濟科技職業學院，杭州 311200）

車牌的準確定位和識別技術作為智能交通系統和車輛管理的關鍵技術之一，不僅有助于提高交通管理效率，還為智能駕駛和車輛安防提供了重要支持。然而，在復雜背景下，車牌定位存在很多問題。例如：光照條件變化，傳統方法對于光照條件的變化較為敏感，容易造成車牌區域定位錯誤；復雜路況下（在彎道和交叉口），車牌定位及識別準確率降低；在夜間光線不好的情況下，也會限制其準確性和魯棒性。激光雷達技術具有高精度，無需外部光源等優勢，在光照變化和惡劣天氣條件下仍然能夠穩定工作，能夠適應復雜的實際道路環境，為車牌定位提供更為穩健的解決方案。與此同時，遷移學習作為一種機器學習技術，可以在源領域和目標領域之間共享知識，從而在目標領域中實現較好的性能，減少數據需求和模型訓練的復雜度。在車牌識別任務中，傳統的深度學習方法需要大量的標注數據進行訓練，但是在實際應用中獲取大規模標注數據常常具有較高的成本。因此，利用遷移學習技術將在源領域（如一般場景下的車輛圖像）訓練得到的知識遷移到目標領域（復雜背景下的車牌圖像）進行車牌識別，將成為提高車牌識別性能的有效途徑。

本文旨在為車牌定位與識別技術的改進提供新思路和方法，促進智能交通系統的進一步發展。該方法的核心在于將激光雷達技術與圖像傳感器相融合，并輔以遷移學習，構成了一種新的車牌精準定位與識別方法。在這一方法中，激光雷達技術實現車牌的精準定位，克服了復雜背景下存在的問題，為車牌識別奠定了基礎。同時，圖像傳感器獲取豐富的視覺信息，為車牌識別提供了必要的特征。通過圖像傳感器獲取的車牌圖像，可以為后續的字符分割和識別提供重要的輸入。對于車牌識別任務，遷移學習利用預訓練模型，使得字符識別模型能夠從源任務中學習到豐富的特征，再通過微調來適應目標任務，避免了從零開始訓練模型所需的大量數據和計算資源。本文融合了激光雷達和圖像傳感器數據，輔以遷移學習技術，充分利用了多模態信息，改善了車牌定位與識別的綜合性能，提高了車牌識別的準確性和魯棒性。本文所述車牌定位識別策略整體流程如圖1 所示。

圖1 車牌定位識別策略整體流程

1 基于激光雷達技術的車牌定位

激光雷達具有較強的環境感知能力，可以獲取到目標物體的距離和位置信息。在車牌定位中將激光雷達設置在車輛頂部，通過掃描周圍環境，獲取車輛及車牌的三維信息。與傳統的圖像處理方法相比，激光雷達能夠克服復雜背景下的干擾，具有更高的魯棒性和準確性。通過獲取車輛和車牌的三維點云數據可精確定位車牌的位置，本文采用Velodyne VLP-16 激光雷達進行數據采集，完成車牌定位。

1.1 點云預處理

去除離群點。點云數據中常常包含一些異常點，這些點可能是因為激光測量誤差、反射物體的干擾或傳感器故障等原因導致的。這些離群點對后續的處理和分析會產生不利影響，采用中值濾波的方法，通過計算點云數據的統計特征來識別和去除離群點。

數據平滑處理。點云數據采集過程中可能存在噪聲，這些噪聲會導致點云數據的不平滑。為了提高數據的平滑度和連續性，采用高斯濾波算法，對點云數據進行平滑處理。

點云配準。激光雷達在車輛行駛過程中可能會發生姿態變化或傳感器位置的微小變化，導致采集到的點云數據存在配準誤差。本文采用ICP 算法進行數據配準將多個點云數據進行匹配和對齊，使其在同一個坐標系下表示同一場景。通過點云配準，可以消除點云數據之間的配準誤差，提高數據的一致性和精確性。

點云濾波。首先根據車牌尺寸及激光雷達點云密度除去過于密集或過于稀疏的點云。然后由于車牌的位置是固定的，將背景中可能存在的交通標志牌、施工標志牌等復雜背景下的強反射點云濾除。

1.2 基于位置特征的點云聚類及車牌三維坐標獲取

在車牌定位中，車牌通常位于車輛的前部或后部，這一特征可用作車牌區域的定位依據。本文采用基于位置特征的幾何特征提取方法，將點云數據聚類成車牌區域和其他環境區域。具體步驟如下。

地面提取。首先，將地面點云數據從總體點云中提取出來。地面點云數據通常位于車輛周圍平坦區域，通過計算點云數據的高度特征，可以將地面點云數據識別出來。

聚類分析。在地面點云的基礎上，采用聚類分析方法將點云數據進行分組。聚類分析之所以能夠實現車牌區域定位，是利用點云數據中的點，依據這些點的特征來進行分組。確定車牌區域選擇使用基于密度的DBSCAN 聚類算法，該算法將具有足夠密度的區域劃分為簇，并在具有噪聲的空間數據庫中發現任意形狀的簇，將簇定義為密度相連的點的最大集合。根據使用該算法得到的上述點云聚類的結果，確定可能包含車牌的聚類區域。然后通過計算車牌區域的形狀特征，進一步篩選出車牌區域后，根據車牌區域的位置信息，得到車牌的三維坐標。

1.3 圖像傳感器的車牌圖像采集與雙重驗證

為驗證基于激光雷達技術的車牌定位策略的有效性，在激光雷達定位車牌的基礎上，利用圖像傳感器（如攝像機）對車牌區域進行圖像采集，獲取車牌圖像。通過激光雷達定位的車牌坐標和圖像傳感器采集的車牌圖像進行雙重驗證，對比2 種信息的一致性，可以驗證激光雷達定位的準確性，并排除可能存在的誤差。本文采用Velodyne VLP-16 激光雷達，在實時復雜背景下進行車牌定位，并通過圖像傳感器進行雙重驗證。共生成了153 組點云數據，每組數據大約包含10 000 個點，通過計算準確率、召回率和F1-score 指標，對2 種方法的定位準確性進行了對比。車牌定位準確性對比，見表1。

表1 車牌定位準確性對比（%）

通過計算定位結果之間的歐式距離，在大多數情況下，2 種方法得到的車牌位置之間的歐式距離較小，說明定位結果相對一致。在實驗中，當車輛遮擋、光照變化等復雜背景下，點云聚類方法相比圖像傳感器表現出更好的魯棒性。

通過實驗分析可得，在復雜背景下本文基于激光雷達的車牌定位方法有較高的準確性和魯棒性。為后續車牌字符識別實現了提供精準的車牌定位和感興趣區域，增強了魯棒性，降低了后續字符分割的難度，是提高車牌字符識別的精度和準確度的基石。

2 基于遷移學習的車牌識別

2.1 基于連通域提取的車牌字符分割

圖像傳感器在車牌識別中起著關鍵作用，其能夠捕捉車牌圖像，并為后續的字符分割和識別提供重要的輸入。本文通過圖像傳感器采集車輛圖像信息，根據激光雷達定位車牌的結果，確定車牌在圖像中的位置和大小，最終提取得到車牌區域圖像。本文采用基于連通域提取的字符分割算法，該算法是一種用于圖像分割的基礎算法，其原理是尋找圖像中具有相同像素值且相互連接的像素集合，將其看作是一個連通區域。具體可包括圖像表示、像素連接、連通域標記及連通域提取分析等幾個步驟。連通域提取算法在本文車牌字符分割中的實現過程如下。

圖像預處理。首先，對車牌圖像進行預處理。這包括將車牌圖像轉換為灰度圖像、去噪和圖像增強等操作。預處理有助于減少噪聲的影響，提高后續處理的效果。

邊緣檢測。利用Canny 邊緣檢測算法提取車牌圖像中的邊緣信息。邊緣檢測能夠確定圖像中的目標邊緣。

連通域提取。在邊緣圖像中，通過連通域提取算法尋找連通區域，在車牌字符分割中提取具有字符形狀特征的連通域，即車牌字符區域。

連通域篩選。由于車牌圖像可能包含多個連通域，需進行篩選，留下具有字符形狀的區域，該區域的寬高比例是個固定值，且間隔較小。根據這些特征進行篩選，去除不符合要求的連通域。

字符區域提取。經過連通域篩選后得到圖像中的字符區域。這些字符區域就是車牌圖像中的字符部分。根據連通域的位置和大小信息可以將字符區域從原始圖像中剪切出來，形成獨立的字符圖像。通車牌字符分割圖像效果示例如圖2 所示。

圖2 車牌字符分割效果示例

2.2 構建VGGNet 車牌字符識別模型

2.2.1 構建字符數據集

針對復雜背景下的車牌字符識別，為了提高模型在車牌數據上的表現，本文在VGGNet 在預訓練時使用的數據集的基礎上構建一個在復雜背景下（光線變化、復雜路況等）小規模的車牌字符數據集。將經過上文提取得到的車牌字符作為訓練樣本，對于每個字符區域標注其對應字符序列，并對字符集數據進行旋轉、平移、縮放等操作，以擴充訓練數據量。部分字符分割數據集示例如圖3 所示。

圖3 部分字符分割數據集示例

2.2.2 模型訓練

本文采用遷移學習策略，利用預訓練的VGGNet網絡，在數據集上進行預訓練，并將學習到的特征遷移到車牌字符識別任務中。本文訓練數據總共為21354張，其中訓練集1 4947 個樣本（70%），驗證集3 203 個樣本（15%），測試集3 203 個樣本（15%）。

在車牌識別過程中，首先需要將經過字符分割的圖像輸入到VGGNet 網絡，并利用前幾層的卷積和池化技術提取出其中的特征，然后將這些特征輸入到全連接層，進行精確的字符分類，從而實現準確的車牌識別。具體實現過程：將VGGNet 的卷積部分作為特征提取器，保持其權重不變，只對全連接層進行微調。這樣做的目的是利用在ImageNet 數據集上預訓練的VGGNet 學習到的通用特征，使其適應車牌字符識別任務。將數據集劃分為訓練集、驗證集和測試集。將ImageNet數據集上的預訓練的VGGNet 模型替換為一個新的全連接層，以便更有效地進行車牌字符的分類。該全連接層不僅可以提高模型的準確性，而且還可以更好地支持卷積分析。全連接層的輸出節點數等于車牌字符類別的數量。在開展數據分析之前，首先要對相關參數進行精確的設定，然后使用Adam 算法對交叉熵損失函數進行優化，將學習率設定在0.000 1，最后使用學習率調節器對其進行實時校正，從而使其能夠滿足訓練的要求。最后固定VGGNet 的卷積部分的參數，只訓練新添加的全連接層。在訓練過程中，根據驗證集的表現來調整超參數和防止過擬合。當驗證集上的性能達到最優時，將所有層的參數解除固定，繼續訓練整個網絡。

2.3 實驗結果與分析

為驗證車牌識別算法模型的性能，實驗采用了包含3 203 張車牌圖像的測試數據集，該數據集圖像包括復雜背景下（夜間道路、交叉口、光線變化等情況）1464張圖像以及普通背景下的1 739 張圖像，圖4 為部分車牌識別示例，車牌識別結果見表2，在復雜背景下車牌識別的準確率約為89%，在普通背景下車牌識別準確約為94%，車牌識別平均準確率為91.5%。

圖4 車牌識別示例

3 結束語

本文提出的融合多傳感器與遷移學習的車牌識別策略，旨在為復雜背景下的車牌識別問題提供新的解決思路，力求提高復雜背景下車牌定位及識別精度。通過實驗表明，使用本文提出的車牌識別方法充分利用了多傳感器的融合，能夠實現復雜背景下車牌的精準定位與識別。然而，本文提出的方法仍然存在一些挑戰和改進空間。例如，可以進一步優化激光雷達的數據處理流程，以提高車牌定位的效率。此外，在實際應用中，不同環境條件和車牌樣式可能會對識別性能產生影響，因此需要進一步考慮模型的泛化能力和魯棒性。融合多傳感器與遷移學習的車牌精準定位與識別方法為解決復雜背景下車牌識別問題提供了一種創新思路。未來，還可進一步探索不同傳感器的組合、更高效的特征提取方法以及更強大的遷移學習策略，以進一步提升車牌識別的精準度和魯棒性，為智能交通領域的發展作出更大的貢獻。