基于改進LTP特征與CNN的輪胎痕跡檢索算法

劉 穎，董海濤，王富平，李大湘

(1. 西安郵電大學電子信息現場勘驗應用技術公安部重點實驗室，陜西 西安 710121；2.西安郵電大學圖像與信息處理研究所，陜西省 西安市 710121)

1 引言

通常交通事故中會利用現場留下的車胎壓痕痕跡和物證之間的關系解釋事故的過程，判斷雙方責任，而地面輪胎痕跡往往是最有用的痕跡物證之一，所以輪胎痕跡檢索常用于公安破案或交通事故處理中的線索獲取[1]。

我國對輪胎痕跡圖像檢索相關的研究較遲，沒有建立相關數據庫，在輪胎痕跡方面的研究也比較簡單，主要是通過判斷嫌疑車輛的逃跑路線和速度，對輪胎痕跡圖像檢索分類，沒有標準的輪胎痕跡圖像測試數據庫，使用是采集規模不一的數據庫。輪胎與地面形成的輪胎痕跡圖像紋理豐富并且規則，痕跡顏色較為單一，所以學者們基于紋理特征對輪胎痕跡圖像進行檢索實驗。文獻[2]利用一種基于快速付氏變換圖像配準方法對輪胎痕跡圖像進行處理，文獻[3]通過分析SIFT變換原理和Gabor小波原理，提出了基于SIFT-Gabor變換的輪胎痕跡圖像模式識別算法。文獻[4]結合人腦的無監督學習和層次化提取特征提取特性，提出了一種基于稀疏表示和概率潛在語義分析的輪胎痕跡圖像檢索算法。文獻[5]提出了一種基于非下采樣Contourlet變換(non-subsampled contourlet transform， NSCT)和 GLCM的組合特征提取與多級支持向量機(Support Vector Machine，SVM)的輪胎花紋圖像識別算法。

由于輪胎痕跡圖像數據很難收集，在實際采集過程中并不能大量收集，每個高校團隊收集方式也有所不同。例如西安郵電大學圖像與信息處理研究所(Center for Image and Information Processing，CIIP)依托與公安部共建的重點實驗室平臺，科研人員在不同時間、不同環境(光照及氣候)及不同拍攝條件下(視角、距離、尺度、仿射角)采集輪胎痕跡圖像2400幅，如圖1(a)。大連海事大學的學者們利用油墨式按壓或油式按壓的方式得到496幅輪胎出廠時的輪胎痕跡圖像。然后將這496幅輪胎痕跡圖像中的每一幅輪胎痕跡圖像隨機截取成同等大小的5張，就可以創建輪胎痕跡圖像總共2976幅，如圖1(b)。吉林大學的王震選用常見車輛的壓痕圖像40幅，在不同光照情況，尺度下對痕跡圖像進行拍攝，共創建160幅輪胎痕跡圖像。如圖1(c)。表1是現有規模較大的輪胎痕跡數據庫的信息。

圖1 輪胎痕跡圖像庫示例圖

表1 輪胎痕跡圖像數據庫

在各種紋理圖像描述符中，局部二值模式(LBP)是一種流行且功能強大的圖像描述符，已經被成功地應用到不同的領域，例如人臉識別、對象識別和場景識別[6]。最早由芬蘭Oulu大學提出，LBP因為其計算復雜度低，無需訓練學習，易于工程實現所以在計算機視覺和圖像處理領域收到了廣泛的關注。基于原始的LBP方法，學者們又提出了許多改進LBP方法，Jabid等[7]提出了局部方向圖(LDP)，其使用來自Kirsch梯度算子的邊緣響應在像素周圍的八個方向上。zhong等[8]利用最突出的邊緣響應值的方向和第二個最突出的邊緣響應值給出了增強的局部方向圖(ELDP)。Ahmed[9]提出了梯度方向圖(GDP)，通過對梯度方向角進行量化以形成二進制模式來對局部區域的紋理信息進行編碼。Rivera等[10]通過使用羅盤屏蔽計算鄰域的邊緣響應來呈現局部方向數模式(LDN)，并且通過采取這些邊緣響應的最大正和負方向。但是在輪胎痕跡圖像檢索中，目前還沒有學者利用局部二進制及其改進方法進行實驗。輪胎痕跡圖像包括主線溝槽和的邊緣紋理線基本特征。同時，邊緣紋理線很復雜，不同類型的車的邊緣紋理線具有不同的寬度和方向，并且紋理線互連和纏繞。因此，本文將利用Sobel算子對圖像進行梯度方向角的轉換，然后利用局部三值模式(LTP)進行描述。

本文根據LTP描述符提出了局部梯度方向三值模式(Local Gradient Directional Ternary pattern，LGDTP)，與利用灰度等級來編碼局部紋理的LBP和LTP算子不同，所提出的LGDTP算子使用更穩定的梯度方向值來代替像素值。該編碼方案針對中心像素梯度角和閾值來量化局部鄰域中的梯度方向角，得到更好的紋理邊緣信息。而且利用針對輪胎痕跡圖像提出的圖像區域級聯方法，相對于之前2×2區域的方法維度增加不多且得到更好的效果。在輪胎痕跡圖像數據庫上和輪胎表面花紋數據庫上用該算法及其它LBP改進方法利用歐氏距離和曼哈頓距離進行實驗，實驗結果表明本文提出的算法相對于其它改進的LBP算法檢索準確度更高，更適用于輪胎痕跡圖像。為了更進一步提高LGDTP算法在輪胎痕跡圖像數據庫上的檢索效率，本文引入遷移學習對LGDTP算法進行改進。選擇卷積神經網絡(Convolutional Neural Network， CNN)模型AlexNet[15]作為基本的網絡結構，在ImageNet數據集上的訓練參數作為初始模型，然后對輪胎痕跡圖像進行了遷移學習[16](transfer learning) 訓練。由于輪胎痕跡圖像數據樣本少，AlexNet模型訓練容易過擬合，檢索效率和LGDTP算法比沒有優勢。因此，本文將基于遷移學習的CNN特征和LGDTP特征按不同的權值進行融合，并在輪胎痕跡數據庫上進行檢索實驗，得到更高的檢索準確率。

2 基于局部梯度方向三值模式的輪胎痕跡圖像特征

2.1 原始LBP描述子

最初的LBP描述子由芬蘭大學Oulu機器視覺小組的研究者Ojala等人針對紋理圖像分類問題提出的[6]。該方法提出后，受到了計算機視覺和模式識別領域學者的廣泛關注。LBP描述子的原理為定義在某中心像素的灰度值為閾值進行二值量化，大于或等于中心像素的像素值編碼為1，小于則為0，最終形成一個局部二進制模式。將該二進制模式以x軸正方向為起點按照逆時針方向進行串聯得到一串二進制數字，并用該二進制對應的十進制數字重新作為該中心的像素點，最終每一幅圖像都可以計算得到一個局部二進制模式。

(1)

(2)

這里gc是中心像素的灰度值，gi是其鄰域的灰度值，P是鄰域的數目，R是鄰域的半徑，對中心像素點的灰度值gc與其鄰域的灰度值gi進行比較gi大于gc則為1，反之則為0.這樣得到P位二進制編碼，再轉換為十進制數值返回給中心像素。具體過程如圖1所示：

圖2 LBP原理圖

2.2 局部三值模式(LTP)

LTP描述子[12]是Tan和Triggs在LBP描述子的基礎上進行的改進，其對不同光照下和噪聲下的圖像具有更好的魯棒性。并且更加細膩的描述了圖像的紋理特征。LTP增加自定義t，gi大于區間[gc-t，gc+t]}時為1，屬于區間時為0，小于此區間時為-1，得到三值編碼值，計算如下

(3)

(4)

這里P，R，i與LBP算法一致。為了簡化計算，令LTP特征分解為正，負LBP的編碼方式。即把編碼值為1的變為0，得到正LBP人臉紋理特征。把編碼值為-1的修改為1，其余均變為0，從而得到負LBP人臉紋理特征。過程如圖2所示。

圖3 LTP原理圖

2.3 LGDTP算法

LBP對噪聲和光照變化敏感，因為像素點的稍微改變，可導致其值對于中心像素的改變。一些改進的算法利用更穩定的梯度幅值和邊緣響應值而不是灰度值來形成二進制模式，但它們傾向于更加均勻的圖像區域中產生不同的編碼。而本篇文章改進的算法呈現出了更強大的局部紋理圖案，首先利用Sobel算子對圖像進行邊緣檢測。Sobel算子根據像素點上下、左右鄰點灰度加權差，在邊緣處達到極值這一現象檢測邊緣。對噪聲具有平滑作用，提供較為精確的邊緣方向信息，首先使用以下等式計算圖像中每個像素的梯度向量的方向角

α(x，y)=arctan(Gy/Gx)

(5)

這里α(x，y)表示像素(x，y)的梯度方向角，Gx和Gy是梯度向量的兩個元素，梯度向量是通過sobel算子在原圖像上進行計算得到。Sobel算子將圖像與水平核和垂直核進行卷積，以分別獲得Gx和Gy的值，如圖3所示

圖4 Sobel算子

在計算完梯度角之后，在3×3的鄰域中利用LGDTP算法進行操作。LGDTP算法增加自定義閾值t，gi大于區間[gc-t，gc+t]}時為1，屬于此區間為0，小于此區間為-1，得到三值編碼值。計算過程如下

(6)

(7)

這里P，R，i與LTP算法一致，gc是中心像素的梯度方向角，gi是其鄰域的梯度方向角，閾值t設置為10°，將LGDTP特征值分解為正負編碼的方式，即編碼值不為1的均修改為0，得到正的編碼特征。把編碼值為-1的修改為1，其余全變為0，得到負的編碼特征。過程如圖4所示。

圖5 LGDTP原理圖

3 特征向量描述

采用LGDTP算子對輪胎痕跡圖像中的像素進行特征編碼，最終得到算法編碼后的圖像。在進行輪胎痕跡圖像檢索時，不會將編碼后的圖像直接作為特征向量進行檢索實驗，而是采用統計直方圖作為圖像的特征向量，這樣有利于減少因圖像位置而產生的影響。但是，位置和空間關系信息的存在提供了更好的特征表示，并且更精確地描述了圖像內容。因此，為了結合圖像的位置信息，本文將編碼圖像進行分割成多個區域，并統計每一個區域的直方圖，最后對所有區域進行空間級聯，獲得LGDTP直方圖。具體步驟如下：

1)將輪胎痕跡圖像分為3×3分塊，得到9塊大小為m×n的圖像分塊。

2)采用公式計算每幅圖像的特征值。

3)對分塊后的子圖像進行直方圖統計。根據輪胎痕跡圖像的紋理信息的位置分布的特殊性和減少特征維度，本文只取2，4，5，6，8子區域進行直方圖級聯，如圖6所示。

4)將級聯后的直方圖作為整幅輪胎痕跡圖像的特征。

圖6 LGDTP算法特征向量描述圖

4 LGDTP特征與CNN特征融合

卷積神經網絡(Convolutional Neural Network， CNN)[14]是一種帶有卷積結構的深層神經網絡，該網絡采用端到端 (End-to-end) 的學習模型，利用卷積運算由深到淺的提取不同層次的特征。包括五種類別的層：輸入層 (data input layer)、卷積層 (convolutional layer， conv)、池化層 (pooling Layer， pooling)、全連接層 (fully connected layer， fc)和輸出層 (output)。結構如圖7所示。

圖7 卷積神經網絡結構圖

為了更進一步提高LGDTP算法在輪胎痕跡圖像數據庫上的檢索效率，本文結合卷積神經網絡模型AlexNet[15]與LGDTP算法進行改進。由于輪胎痕跡圖像數據樣本少，AlexNet模型訓練容易過擬合，檢索效率和LGDTP算法比沒有優勢。因此本文基于AlexNet模型和ImageNet[15]數據庫，對輪胎痕跡圖像進行遷移學習訓練，遷移學習[16]利用不同學習任務間的共性在任務間遷移知識，適用于小樣本數據庫。考慮到輪胎痕跡圖像數據庫的特殊性，本文將基于輪胎痕跡圖像的遷移學習特征和LGDTP特征按權值進行融合得到基于遷移卷積神經網絡的局部梯度方向三值特征。AlexNet架構如圖8所示。

圖8 AlexNet網絡結構圖

本文以ImageNet 數據庫作為輔助數據庫，以輪胎痕跡圖像數據庫為源數據集，選擇卷積神經網絡模型AlexNet作為基本的網絡結構，在ImageNet數據集上的訓練參數作為初始模型。然后在輪胎痕跡圖像上利用遷移學習 (transfer learning)訓練時，對softmax分類層進行微調訓練，提取AlexNet的fc7層4096維特征，利用主成分分析(Principal Component Analysis，PCA)將提出的特征降低維度到1280維和本文提出的LGDTP特征分配不同的權值進行融合實驗。經過實驗測試，特征分量權重比例選為0.4：0.6。

5 實驗結果

5.1 實驗數據庫及檢索性能評價參數

本文實驗在西安郵電大學圖像與信息處理研究所(Center for Image and Information Processing，CIIP)自建的輪胎痕跡圖像數據庫(CIIP Tire Indentation Mark Image Database )上進行實驗，圖9為例圖。其中輪胎痕跡數據庫包括30類每類80幅圖像共計2400幅，為了確保實驗的對比性更強，本文在同樣西安郵電大學圖像與信息處理所自建的輪胎表面花紋數據庫(CIIP Tread Pattern Image Database，CIIP-TPID)中選取同樣規格的數據進行實驗，圖10例圖。

圖9 輪胎痕跡圖像數據庫

圖10 輪胎表面花紋圖像數據庫

利用平均查準率作為檢索性能評價指標，該指標越大表明檢索結果越好，其計算公式為

(8)

其中S為查詢結果中包含正確圖像數目，K為查詢結果的圖像總數。

5.2 實驗結果

實驗1：不同距離衡量下圖像檢索 在輪胎痕跡圖像數據庫上，對LGDTP算法和LBP，LDP，ELDP，LDN，GDP，OLDP算法進行檢索實驗，并比較其性能。分別利用歐氏距離和曼哈頓距離計算相似度度量,,計算K=10時的平均查準率。結果如圖11所示，可以看出曼哈頓距離在輪胎痕跡圖像檢索中效果優于歐氏距離。

圖11 歐氏距離和曼哈頓距離檢索效果比較

實驗2：不同數據庫上檢索實驗

在輪胎痕跡圖像數據庫和輪胎花紋圖像數據庫上，利用曼哈頓距離計算圖像相似度，在輪胎痕跡圖像數據庫和輪胎表面花紋圖像數據庫上對本文提出的LGDTP算法和LBP，LDP，ELDP，LDN，圖12和圖13所示。

圖12 輪胎痕跡圖像檢索結果比較

圖13 輪胎表面花紋檢索結果比較

可以看出，本文提出的LGDTP算法在輪胎痕跡圖像數據庫和輪胎表面花紋數據庫上都比其它改進LBP的算法法提出的特征查準率高，而且在圖像痕跡數據庫上平均查準率提高更為明顯。比如K=10時，幾種紋理特征的平均查準率為50.7%， 49.1%， 47.8%， 45.9%， 45.8%， 43.1%，本文算法為57.8%，比原始LBP算法提高了14.6%。(給出具體數據提高百分比為例)，說明本文提出的算法更適應于描述輪胎痕跡圖像。因為輪胎痕跡圖像數據庫圖像痕跡信息多集中于圖像中間，并且實際刑偵案件中采集的信息往往是不完整的，更多的輪胎痕跡圖像紋理信息集中于圖像中間。利用本文的圖像區域選取方法提高檢索準確度。并且該方法新穎性在于利用更穩定的梯度方向值來代替像素值和局部三值模式對輪胎痕跡圖像進行描述，其更加穩定并且保留了更多的圖像紋理信息。

實驗3：傳統特征和LGDTP對比檢索實驗

在輪胎痕跡圖像數據庫上對本文提出的基于梯度方向角的局部三值算法與傳統的單一特征提取算法包括HSV顏色直方圖，HU不變矩，DWT小波紋理進行性能比較，結果如圖14所示。

圖14 本文算法與傳統特征的性能比較

可以看出本文提出的算法檢索準確率優于上述幾種特征。例如，在K=10時，局部梯度方向三值模式特征比HSV顏色直方圖，HU不變矩，DWT小波紋理特征的平均查準率分別提高了14%，32.6%，25.9%。

實驗4：融合特征檢索實驗

為了驗證LGDTP特征和遷移學習訓練模型特征融合算法在輪胎痕跡圖像據庫上的檢索優異性， 分別和LGDTP特征和和不同維度的遷移學習訓練模型特征進行比較，結果如圖15所示：

圖15 融合特征檢索性能比較

可以看出基于遷移學習和LGDTP的融合特征在返回值越大的時候體現出了該算法的優勢，在K=10時，平均查準率相對于其它算法分別提高了16.11%，15.83%，10.08%，說明本文提出的LGDTP特征和經過遷移學習訓練網絡的深度特征融合對輪胎痕跡圖像具有更強的表征能力。

6 結束語

本文針對輪胎痕跡圖像紋理信息復雜并且集中的特點提出了基于局部梯度方向三值模式特征提取算法，本算法利用更穩定的梯度方向值來代替像素值去描述輪胎痕跡圖像，再利用局部三值模式對新的變換，通過曼哈頓距離進行相似度度量，與已有的算法相比具有更高的查準率，在輪胎痕跡圖像數據庫上的實驗結果表明了本文提出的基于局部梯度方向三值模式特征提取算法更有效，又在LGDTP算法的基礎上，結合AlexNet 網絡和遷移學習的理論，提出將基于遷移學習的CNN特征和LGDTP特征分配不同的權值進行融合，得到更好的檢索結果。