基于視覺圖像與激光點云融合的交通標志快速識別方法

王 坤，倪 娟，陳 印

(1.四川信息職業技術學院 軟件學院，四川 廣元 628000；2.中國人民解放軍94333部隊，山東 濰坊 621000；3.重慶工程學院，重慶 400056)

0 引言

交通安全成為一個不容忽視的問題。通過智能交通系統準確識別不同類型的交通標志已經成為當前研究的主要內容[1-2]，其有效減少交通事故發生。在交通標志智能識別中，根據交通標志的文字和圖形等內容的特征進行辨別，從而確定交通標志的含義，然后按照標志的含義執行交通規則，從而達到了智能通行的目的。但是現階段的交通標志識別的性能仍可以提高，例如識別標志的時間可以進一步縮短等。

國內相關專家針對交通標志快速識別方面的內容展開了大量研究，褚晶輝等人[3]在骨干網絡中加入注意力模型，對各個空間以及通道內的特征圖展開調整，通過特征圖元素權重加強或者抑制處理實現交通標志識別。但是該方法在實際應用中存在準確識別率低的問題，應用效果不佳。趙坤等人[4]建立大型復雜光照條件下交通標志數據集，然后對光照條件比較差的圖像展開自適應增強處理，實時調整圖像的對比度和亮度，強化圖像和背景之間的主要差異，最終引入YOLOv3網絡識別交通標志。該方法可以有效識別交通標志，但是其交通標志的識別時間較長。姚連璧等人[5]主要通過車載激光點云技術識別道路標線。該方法從車載激光點云中提取掃描線，根據道路邊緣位置幾何形態的突變從掃描線中提取道路路面，并且轉換為柵格圖像，結合自適應閾值分割方法，實現道路標線識別。該方法取得了一定的成果，但是也存在交通標志識別時間長的問題。

針對上述方法存在的交通標志識別問題，在以上幾種交通標志快速識別方法的基礎上，提出一種新的基于視覺圖像與激光點云融合的交通標志快速識別方法。該方法引入了視覺圖像與激光點云技術，通過兩者的融合，實現交通標志快速識別，從而提高識別率和降低識別時間。

1 交通標志快速識別方法

1.1 視覺圖像激光點云數據預處理

在進行視覺圖像和激光點云數據處理之前，預處理步驟是非常重要的。這是因為預處理可以幫助消除噪聲、提高數據質量，并為后續的任務提供更準確和可靠的數據。以下是進行視覺圖像和激光點云數據預處理的主要原因：1)去除噪聲：視覺圖像和激光點云數據通常會受到各種類型的噪聲干擾，如傳感器噪聲、環境光照變化等。通過預處理，可以應用濾波技術去除噪聲，減少對后續算法的干擾；2)數據校準：如果涉及多個傳感器或攝像頭的數據融合，預處理可以用于數據校準和對齊，以確保數據在相同坐標系統下一致；3)特征提取：對視覺圖像進行預處理可以提取出有用的特征，如邊緣、紋理、顏色等，用于目標識別等任務。對于激光點云數據，預處理可以提取出地面平面、物體邊界等特征用于建模和分割；4)數據降維：在某些情況下，視覺圖像和激光點云數據可能非常龐大，難以直接處理。預處理可以應用降維技術，如圖像壓縮、采樣或點云降采樣等，以減少數據量，簡化處理過程；5)數據增強：通過預處理，還可以進行數據增強操作，如旋轉、平移、鏡像等，以擴充訓練數據集，提高模型的泛化能力和魯棒性。綜上所述，視覺圖像和激光點云數據預處理是為了提高數據質量、去除噪聲、校準數據、提取特征，并為后續任務提供更準確、可靠和易于處理的數據。預處理可以幫助提升算法性能，并為進一步的圖像識別任務奠定基礎。交通標志快速識別是以視覺圖像為基礎，因此，首先需要獲取交通標志的視覺圖像。視覺圖像將數據和信息以一種易于理解的可視化方式呈現的圖像。視覺圖像通過攝像機拍攝交通標志場景獲得。攝像機的內參函數為：

K=[K1，x0；K2，y0；0，1]

(1)

式中，K1，K2均代表相機的焦距，x0，y0代表圖像中心點的坐標。

在設定攝像機內參函數后，考慮雙邊濾波屬于非線性的空域濾波方法，不僅能夠得到滿意的噪聲濾除效果，同時還可以獲取完整的視覺圖像邊緣信息，引入雙邊濾波算法獲取高質量的交通標志視覺圖像，公式為：

m(x，y)=l(x，y)+Kk(x，y)

(2)

式中，m(x，y)和k(x，y)分別代表包含和不包含噪聲的交通標志視覺圖像，其中，l(x，y)代表零均值加高斯噪聲模型l(x，y)。

通過雙邊濾波的本質，引入局部加權平均的處理方式將交通標志圖像中的噪聲有效剔除，則有：

(3)

式中，S(x，y)代表交通標志視覺圖像中心像素點的鄰域范圍；α(i，j)代表鄰域內像素點的權值；m(i，j)代表空域的鄰近度算子。

(4)

式中，q代表帶有噪聲的點云數據；d代表沒有任何噪聲的實體表面；n代表掃描點的符號距離。

(5)

式中，N代表掃描點總數。

通過公式(6)建立鄰域點云集合對應的協方差矩陣C：

(6)

通過公式(4)可以得到不同點云集合在空間的分布特征，對全部特征分解處理，則有：

C×Uk=βk×Uk，k=0，1，2

(7)

式中，Uk代表特征值；βk代表特征向量的交互結果；k代表常數。

將雙邊濾波方法應用到點云數據平滑處理中[8-9]，詳細的操作步驟如下所示：

1)通過K-最近鄰(KNN，K-Nearest Neighbors)算法掃描點云任意點的鄰域；

2)計算局部鄰域點在平面上的離散度L(x)，如公式(7)所示：

(8)

3)通過離散度確定均方誤差，將平滑次數設定為評價數據質量的重要依據，最終實現激光點云數據的預處理操作[10-11]。

預處理視覺圖像激光點云數據是為了給交通標志快速識別提供更高質量的視覺圖像，從而提高交通標志特征提取效果，進而達到準確識別交通標志的目的。

1.2 視覺圖像與激光點云融合的識別方法實現

在完成視覺圖像激光點云數據預處理后，為了更好完成交通標志快速識別，需要測量視覺圖像與激光點云融合的目標空間激光點云位置距離，為交通標志快速識別奠定基礎。目標空間位置測距過程需要將雷達激光點云投影到視覺圖像上，將數據點的距離設定為變量繪制熱圖。在繪制熱圖的過程中，為了準確描述不同數據之間的差異性，通過公式(9)將每張視覺熱圖像上雷達數據點的距離歸一化處理lnorm，同時設定區間范圍，則目標空間位置距離為：

(9)

式中，lmax和lmin分別代表交通標志圖像上的距離最大值和最小值；l代表沒有歸一化處理之前的距離。

通過公式(9)確定在lnorm區間范圍內的激光點云數據，剔除范圍外的數據[12-13]，進一步優化視覺圖像激光點云數據質量，為交通標志快速識別提供高質量數據，并且降低識別數據量，從而降低識別時間。

在得到交通標志視覺圖像的測距值后，以此為依據可以獲取目標視覺圖像位置，結合卷積神經網絡(CNN，convolutional neural network)、k均值聚類(K-means，k-means clustering algorithm)算法等算法，完成交通標志快速識別方法設計。為了確保交通標志視覺圖像候選塊的尺寸滿足識別輸入的需求，需要對其歸一化處理，利用圖像插值方法調整候選塊的規格。視覺圖像插值的主要目的是有效改變原始視覺圖像的尺寸，利用原始視覺圖像中幾個離散的采樣點重構建立一個視覺圖像函數，也就是通過視覺圖像函數完成交通標志圖像歸一化處理，具體的計算式為：

(10)

式中，τ代表交通標志視覺圖像的歸一化處理結果。

在道路環境下，交通標志會受到時間以及環境等多方面因素的影響。為了準確識別交通標志，采用傳統的灰度變化以及邊緣輪廓特征無法準確完成視覺圖像分割。所以，優先對交通標志視覺圖像聚類處理，提取視覺圖像感興趣區域(ROI，region of interest)[14-15]。ROI是指在一個圖像或視頻幀中，被確定為具有特定屬性或含有感興趣目標的區域。ROI可以是任意形狀和大小的圖像區域，并根據具體應用領域和任務的需求來確定。通過提取感興趣區域，可以實現以下目標：其一，減少處理的數據量：對于大型圖像或視頻，僅關注ROI可以減少計算負擔，提升性能效率；其二，集中注意力：通過提取ROI，可以將注意力集中在對進一步處理和分析最有意義的區域上；其三，提高算法效果：對于特定任務(如識別等)，ROI的提取通常有助于提高算法的準確性和效果。

分析交通標志的輪廓特點，通過k均值聚類算法對各個類型的交通標志聚類處理。k-means算法是一種基于樣本間相似性度量的間接聚類方法，屬于非監督學習方法，而引入k-means算法的原因是該算法可降低聚類時間復雜度，達到快速識別的目的。交通標志聚類處理首先獲取各類型數據樣本到聚類中心的距離平方和P(c)：

(11)

式中，hik代表類別相似性準則；ui和xi分別代表交通標志視覺圖像中第i個像素的灰度值和加權平均值。

為了有效降低原始交通標志視覺圖像在傳遞過程中產生的負面影響以及計算復雜度，分別提取不同類型交通標志視覺圖像的ROI，詳細的操作流程如下所示：

1)讀取待切割的交通標志視覺圖像，將全部圖像歸一化處理，同時設定圖像的統一規格。

審計的過程不能只是走馬觀花或者單純地走個過場，而是要有針對性、有重點、有價值地對重要內容進行審計。一般來說，審計的內容包括總部各項重大決策創造了多少經濟效益，決策落實的過程中執行是否到位，日常的經營政策是否合理，還要對現存制度進行基于當前時代的考量，挑出已經落后過時的條例條規。且經濟社會的瞬息萬變要求審計機構不能將審計工作僅僅停留在事后審查的程度上，還要通過現行的制度、政策、狀況看到目前甚至將來潛藏的風險，以做出及時的防范與規避。

2)引入k-means算法判斷交通標志視覺圖像的具體類別。

3)通過模板Q切割原始交通標志視覺圖像，獲取圖像感興趣區域G1和G2，如公式(12)所示：

(12)

式中，f1(r，q)和f2(r，q)分別代表交通標志圖像兩個不同感興趣區域的特征。

將兩個ROI對應位置的點展開乘運算，進而獲取沒有干擾信號的ROI，得到對應的切割算法：

(13)

4)提取感興趣區域的方向梯度直方圖(HOG，histogram of oriented gradients)特征，該算法通過計算圖像中每個像素點處的梯度方向和強度，并將這些信息分成若干個方向上的小區間，然后統計每個小區間內的梯度強度的頻率。這樣，對于給定的感興趣區域，可以提取出一組代表該區域紋理、形狀和邊緣信息的HOG特征，用于識別。設定交通標志視覺圖像的像素以及單元尺寸，進而獲取視覺圖像對應的維度信息[16-17]。

為了提升交通標志視覺圖像特征提取速度，采用CNN可以自動提取數據中的深層抽象特征[18]，同時還可以有效防止特征信息缺失情況的發生。所以，以下將CNN和HOG特征相結合，對HOG特征展開二次過濾和二次深度特征提取。

通過構建的卷積層對HOG特征展開卷積計算，對濾波器參數訓練處理，獲取交通標志視覺圖像的深層特征，同時引入CNN提取交通標志圖像復雜特征。其中，利用卷積提取標志特征為：

(14)

Tc=telu[telu(H)×{G1，G2}]

(15)

式中，telu代表全連接層參數。

在獲取特征維度計算結果的基礎上，需要對交通標志視覺圖像中的全部原始特征展開標定處理，詳細的計算過程如下：

(16)

softmax函數為輸出層激活函數f(xj)：

(17)

式中，z(xj)代表卷積神經網絡各個節點的映射關系。

將交叉熵損失函數f(zk)設為優化目標，引入Adam算法最小化損失代價loss，則有：

(18)

經過上述分析，利用圖1給出交通標志快速識別流程圖。

圖1 交通標志快速識別流程圖

至此完成基于視覺圖像與激光點云融合的交通標志快速識別方法設計，通過上述設計的方法，實現交通標志快速識別。該方法結合了視覺圖像與激光點云，并且引入了k-means算法和卷積神經網絡，通過多個算法的結合，實現提高交通標志識別的識別率和降低識別時間，從而提高叫他那個標志的識別效果。

2 實驗分析

2.1 實驗準備

為了驗證所提基于視覺圖像與激光點云融合的交通標志快速識別方法的有效性，選擇GTSBD作為識別數據集，GTSBD數據集是通常用于目標檢測的交通標志數據集，該數據集有900張圖像，包含禁止、危險、強制和其他四大類交通標標志，攻擊42小類。在該數據集中隨機選擇20個交通標志為研究對象，利用圖2給出具體研究對象圖像。

圖2 部分交通標志訓練樣本集

選擇圖2中4個交通標志為特征提取實驗的研究對象，其他類型的交通標志作為訓練樣本，將訓練樣本輸入本文方法。

在完成識別方法的訓練后，以交通標志特征提取效果、識別率和識別時間為實驗性能指標，實驗為對比分析實驗，對比方法分別為文獻[3]方法、文獻[4]方法、文獻[5]方法和所提方法。

實驗過程的配置為：內存容量為16 GB，硬盤容量為1 TB，CPU為英特爾酷睿i5-13500H，操作系統為Windows 11，64位家庭版。

2.2 交通標志快速識別方法的訓練

設計的基于視覺圖像與激光點云融合的交通標志快速識別方法需要進行訓練，為交通標志的識別奠定基礎。訓練過程可以分為以下幾個步驟。

1)數據預處理，將原始數據轉換為神經網絡可用的格式，即對交通標志視覺圖像數據進行歸一化、大小統一等處理；

2)初始化算法的參數，采用隨機初始化訓練算法參數，并且卷積神經網絡的學習率初始值設置為0.001；

3)數據通過卷積神經網絡，計算得到輸出結果；

4)計算損失函數，使用f(zk)評價指標，計算輸出與實際值誤差；

5)根據誤差反向傳播，更新參數，最小化loss；

6)通過隨機梯度下降優化算法，優化參數；

7)重復以上步驟，直到達到訓練輪數、誤差精度要求(訓練輪數為200輪，誤差精度采用0.5%)，二者滿足其一即可停止訓練。

避免過擬合現象，采用數據增強、Dropout技術進行處理，以提高是識別方法的泛化能力。

2.3 實驗參數設置

在開始實驗前，需要設置實驗參數，為實驗做準備，確保實驗順利進行，利用表1給出本文涉及的實驗參數設置的數據。

表1 實驗參數

按照上述實驗參數數值，設置實驗參數。完成實驗參數設置后，開始對比分析實驗，驗證本文方法的性能。

2.4 結果分析

2.4.1 交通標志特征提取效果分析

選取3種傳統交通標志識別方法作為對比方法，對比方法分別為文獻[3]方法、文獻[4]方法和文獻[5]方法，在圖3中選擇4個不同類型的交通標志作為測試對象，分別采用4種不同方法提取交通標志特征，分析特征提取效果，如圖3所示。

圖3 不同方法的交通標志特征提取結果對比

分析圖3可知，經過所提方法可以準確提取不同類型交通標志的特征，而經過另外3種方法提取的特征并不清楚，且邊緣比較模糊。由此可見，通過所提方法可以準確提取各個類型交通標志特征，該方法的交通標志特征提取效果更好。

2.4.2 交通標志識別率分析

經過上述分析，為了驗證各個方法的識別性能，以交通標志識別率為性能指標。不同測試條件下識別率如表2。

表2 不同條件下各個方法的交通標志識別率實驗結果對比

由表2中的實驗數據可知，無論是在如何復雜的測試條件下，通過所提方法均可以獲取相對較高的識別率，即可以準確識別交通標志，綜合識別率達到了89.74%，而另外3種方法的識別率明顯更低一些，文獻方法的識別率分別為87.11%、85.96%和82.15%，4種方法相比，所提方法的識別率提高了2.63%、3.78%和7.59%，因此，所提方法有效提高了識別率，其具備了可行性和有效性。主要因為所提方法可以準確提取各個類型的交通標志，進而獲取更加精準的交通標志識別結果。

2.4.3 交通標志識別時間分析

為了進一步驗證設計方法的性能，采用識別時間為性能指標，分析不同方法的交通標志識別時間，通過圖4給出各個方法的識別時間對比結果。

圖4 不同方法的交通標志識別時間實驗結果對比

由圖4可知，所提方法的交通標志識別時間在兩個測試樣本集中均最低，識別時間最低值達到了13.1 s，而文獻方法最低值分別為22.2 s、30.1 s和20.0 s，相比另外3種方法，所提方法的識別時間降低了9.1 s、17.0 s和6.9 s，由此可知，所提方法的識別時間最短，表明其可以以更快的速度完成交通標志識別。

由于生活環境中存在各個各樣的干擾，因此，在上述實驗的基礎上，對研究對象增加高斯白噪聲，分析干擾情況下交通標志識別時間，并且增加測試用樣本集數量，數量為10個。在實驗分析過程中，分別采用所提方法、基于注意力模型的無錨框交通標志識別算法(文獻[3]方法)、弱光照條件下交通標志檢測與識別(文獻[4]方法)、車載激光點云的道路標線提取及語義關聯(文獻[5]方法)進行對比分析，實驗結果如表3所示。

表3 干擾情況下交通標志識別時間實驗結果對比

根據表3的干擾情況下交通標志識別時間實驗結果可知，4種方法在干擾情況下的交通標志識別時間均有所增加，但是4種方法中，所提方法的交通標志識別時間增加的較少，并且波動幅度較小，而文獻方法的識別時間增加較高，并且存在較大波動。詳細分析可知，所提方法的識別時間最高僅為15.1 s，均值僅為13.9 s，而文獻[3]方法的識別時間最高達到了35.2 s，均值為30.5 s，文獻[4]方法的識別時間最高達到了41.1 s，均值為36.1 s，文獻[5]方法的識別時間最高達到了31.2 s，均值為24.9 s，相比可知，所提方法的最高識別時間和均值均有所降低，其中最高識別時間降低了16.0 s以上，均值降低了11.0 s以上。該實驗結果進一步驗證了所提方法識別交通標志的時間更低，有效提高了識別效率，具備更高的性能。

3 結束語

為了提升交通標志識別結果的準確性，提出一種基于視覺圖像與激光點云融合的交通標志快速識別方法。該方法以視覺圖像和激光點云數據為基礎，將二者融合，并且引入了激光點云融合技術、k-means算法和卷積神經網絡等算法，通過多個算法的結合，構建了交通標志快速識別方法。經過實驗對比證明，所提方法可以準確提取交通標志特征，進而獲取更加精準的交通標志識別結果，該方法的交通標志識別率提高了2.63%、3.78%和7.59%，識別時間降低了9.1 s、17.0 s和6.9 s，并且在存在干擾的情況下的識別時間也是4種方法中最短的，驗證了該方法具備更高的應用價值。未來階段，還需要進一步擴大研究范圍，可以將相關的決策理論引入到識別方法中，進而有效提升識別性能。