機器視覺在輪胎及壓痕圖像分類研究的應用

朱建臣，王神龍

(上海理工大學 機械工程學院，上海 200093)

1 引 言

汽車是當今社會的重要交通工具，其輪胎和壓痕的甄別與分類逐漸成為焦點，主要包括刑偵案件、交通事故現場、輪胎紋理圖像專利等問題.為擺脫人工識別效率低、準確率低、工作量巨大等缺陷，開展基于人工智能技術的輪胎和壓痕圖像快速分類的研究具有重要意義.

針對這些圖像進行快速分類，國內外已有部分研究.其中，針對犯罪現場的輪胎壓痕的分類，Wang等[1,2]提出基于輪胎標識點形狀識別的算法，將提取到的標識點輪廓特征輸入到分類器中實現分類；Gueissaz等[3]提出收集胎面與道路磨損產生的小橡膠顆粒，通過比較收集得到的輪胎痕跡的化學特性，來區分不同制造商和型號的測試輪胎；Zhang等[4,5]提出基于深度學習的輪胎缺陷分類方法，研究基于監督特征嵌入深度學習的圖像分類問題；西安郵電大學Liu等[6-8]提出一種基于遷移學習和特征融合的輪胎花紋圖像分類算法，將輪胎圖像的低層特征與遷移學習提取的高層特征融合后，輸入到分類器中進行訓練分類.

結合國內外研究現狀，可以發現目前對輪胎及壓痕圖像的分類方法存在適用度局限性大、對樣本數量要求高、特征提取方法繁瑣及預測精度不夠等問題.針對上述問題，本文提出一種基于機器視覺和圖像處理技術的方法，對輪胎及壓痕圖像的分類問題進行研究.首先，對圖像庫中的原圖像進行預處理并提取融合紋理特征.其次，將融合特征輸入到分類器中進行訓練和測試，得到分類精度.最后，為解決CNN由于數據不足導致的過擬合問題，將遷移學習模型應用到研究之中，并探討了輪胎和壓痕圖像之間的映射關系.

本文的創新點包括：1)應用機器學習方法對輪胎及壓痕圖像分類進行研究，解決使用深度學習模型對硬件要求高的問題；2)針對CNN由于樣本不足產生的過擬合，應用遷移學習模型，解決小樣本數據應用深度學習的問題，實現′端到端′的思想；3)應用遷移學習模型對輪胎和壓痕圖像之間的映射關系進行研究并驗證其準確性.論文的主要安排如下：第1部分對研究方法所使用的原理和相關算法進行簡要介紹；第2部分在前文的基礎上實施實驗得到相應的結果，對提出的方法進行驗證；第3部分做出總結，并對待研究的問題進行展望.

2 模型構建與原理介紹

2.1 圖像庫介紹

本文所用的輪胎和壓痕圖像來源于CIIP公共安全領域圖像視頻數據庫[9].該數據庫由西安郵電大學圖像與信息處理研究所與陜西省法庭科學電子信息實驗研究中心共同建立.數據庫中既包括陜西省公安廳的真實案件數據，也有自建獲取的圖像數據.本文選用了在不同時間、不同環境(光照及氣候)及不同拍攝條件(距離、尺度、仿射角)下，采集的輪胎表面花紋和壓痕圖像.其中，輪胎表面花紋和壓痕圖像各30類，每類80幅，共計4800幅圖像.

2.2 機器學習的應用

機器學習模型是圖像識別分類的主要研究方法之一，本文將其應用于輪胎及壓痕的分類問題[10].所用方法主要包括圖像預處理、紋理特征提取與融合、分類器選取等步驟，其流程如圖1所示.

圖1 機器學習模型流程圖

2.2.1 圖像預處理

為去除原始數據庫中的圖像存在噪聲等無用信息，增加感興趣區域的紋理信息，提高特征提取的質量，需要對原始圖像庫進行預處理[11].

對原始圖像進行預處理的方法包括：尺度歸一化、灰度化、拉普拉斯銳化以及均值濾波.其中，尺度歸一化將所有圖像大小統一縮放為256×256像素，以減少其他因素的干擾；灰度化將原始數據庫中的RGB三通道圖像轉化為灰度圖像，減少計算量；拉普拉斯迭代銳化對原始圖像進行多次拉普拉斯銳化以增強紋理特征[12]；均值濾波處理減少圖像中噪聲對實驗的影響[13].經后續實驗證明，對原圖像進行兩次拉普拉斯銳化后，其提取的特征最具價值.經過上述預處理后的圖像即可作為紋理特征提取的數據庫.

2.2.2 紋理特征提取算法

1)灰度梯度共生矩陣

輪胎及壓痕圖像的特征主要為紋理特征，在比較各類紋理特征提取的算法后，選取灰度梯度共生矩陣作為描述圖像紋理特征的第1個算法[14-16].先將輪胎與壓痕的一幅圖像劃分為相同大小的N個子區域，計算每個子區域的灰度梯度共生矩陣的值.再使用所有子區域特征值的平均值表示圖像的特征量.本節對灰度梯度共生矩陣原理進行簡要介紹.

考慮用如下的二維函數表示輪胎及壓痕的一幅N×N像素的二維圖像：

{f(x,y);x=1,2,3,…,N-1；y=1,2,3,…,N-1}

(1)

梯度圖像可以通過梯度算子計算獲得，表示為：

{g(x,y);x=1,2,3,…,N-1；y=1,2,3,…,N-1}

(2)

其中，x和y是平面坐標，f代表圖像任意坐標處的灰度，g代表圖像任意坐標處的梯度。

然而，大量的灰度級會導致計算量急劇增加，所以需要進行灰度和梯度歸一化.灰度歸一化后的圖像表示為：

F(x,y)=[f(x,y)(Lg-1)/fmax]+1

(3)

其中，fmax是原始圖像的最大灰度，Lg是歸一化后的灰度.梯度圖像的歸一化定義為：

G(x,y)=[g(x,y)(Ls-1)/gmax]+1

(4)

其中，gmax是梯度圖像的最大梯度，Ls是歸一化后的梯度.隨后，在對灰度級和梯度進行歸一化之后，獲得兩個矩陣，如下所示：

{G(x,y);x=1,2,3,…,N-1;y=1,2,3,…,N-1}

(5)

{C(i,j);i=1,2,3,…,Lg-1;j=1,2,3,…,Ls-1}

(6)

其中C(i,j)是歸一化后的像素數，i是灰度級，j是梯度.最終，獲得灰度共生矩陣歸一化的表達形式：

(7)

通過灰度梯度共生矩陣算法，我們可以計算輪胎及壓痕圖像的15個統計量，以表示圖像的紋理的15維特征.包括：小梯度優勢、大梯度優勢、灰度分布不均勻性、梯度分布不均勻性、能量、灰度均值、梯度均值、灰度標準差、梯度標準差、相關性、灰度熵、梯度熵、混合熵、慣性、逆差矩.用于表示輪胎及壓痕的特征向量可描述為T=[T1,T2,T3,T4,T5,T6,T7,T8,T9,T10,T11,T12,T13,T14,T15].

2)灰度共生矩陣

灰度共生矩陣表示出現在圖像中的像素亮度值(灰度)的不同組合分布，選取其作為提取輪胎及壓痕圖像紋理特征的第2個算法[17,18].灰度共生矩陣通過計算輪胎及壓痕圖像中兩個像素點間特定距離和方向角之間的空間關系，來描述圖像中的紋理特征信息.取方向角θ=0°、45°、90°和135°，由灰度共生矩陣可計算出圖像的能量、熵、慣性矩、相關性4個紋理參數.選取這4個參數及其均值和標準差作為最終8維紋理特征，表示為G=[G1,G2,G3,G4,G5,G6,G7,G8].4個紋理參數的計算公式如下：

(8)

(9)

(10)

(11)

其中，i和j是矩陣中行和列的坐標，而p(i,j)是矩陣中對應坐標處的值.

2.2.3 多分類器設計

本節以壓痕圖像分類準確率為衡量標準，對比機器學習中常見分類算法在本研究中的性能，選取預測分類正確率最高的作為本研究的分類器.首先，將壓痕圖像劃分為訓練集和測試集；其次，將訓練集中提取的壓痕特征以及對應標簽輸入到各分類器中進行訓練；再次，將測試集的特征輸入到訓練好的各分類器中得到預測分類結果；最后，將測試集的預測分類與真實分類相對比，得到各分類器分類的正確率.如表1給出了幾種常見分類算法的優缺點及其對壓痕圖像的預測分類正確率.

表1 幾種常見分類算法對比

經實驗證明，支持向量機(SVM)可用于解決非線性和高維度等問題，在小樣本分類中表現出優秀的性能和強泛化能力，具有其他分類器難以比擬的優勢.因此，本文最終選取該算法作為處理輪胎及壓痕圖像的分類器，其原理可概括為在訓練數據的高維空間中建立若干個超平面以區分數據，進而實現非線性模型的分類問題[19].SVM在解決多分類問題時可采用“一對一”分類法構建分類器，在每兩類之間構建一個二分類器，當類別數為M時，需構建M×(M-1)/2個分類器.本文中M=30，需構建30×(30-1)/2=435個二分類器.

在本研究中，將灰度梯度共生矩陣中15維特征與灰度共生矩陣中8維特征進行加權融合，得到23維融合特征作為支持向量機的輸入，以30種輪胎和壓痕型號作為輸出，設計分類器.

2.3 遷移學習的應用

由于樣本數量的限制，使用卷積神經網絡很容易出現過擬合現象，因而引入遷移模型作為補充研究[20-22].與傳統的卷積神經網絡相比，遷移學習模型在預訓練一個模型后，應用到輪胎及壓痕分類問題中，不需要大量的訓練和測試數據作為支撐.其主要特點是利用不同問題之間的共性，將已經訓練好的模型應用到新的問題中，進而解決小樣本應用深度學習的問題.本文在ImageNet數據集[23]中，應用Alexnet深度學習模型[24]預訓練出一個模型，再調整某些超參數，以適合輪胎及壓痕圖像分類.圖2為遷移學習在ImageNet數據集中使用Alexnet學習模型，并應用到輪胎及壓痕圖像分類的過程.

圖2 遷移學習模型流程

3 實驗和結果

本節簡要介紹了融合特征的權重確定和兩種方法的實驗結果，并對兩種方法結果進行分析和比較.

3.1 機器學習方法的實驗和結果

為分析單特征與融合特征對于輪胎及壓痕圖像分類正確率的影響，先對二者進行驗證.利用幾種常見的紋理特征提取算法，對壓痕圖像進行測試，得到如表2所示數據.易知，融合特征相比于單特征的預測分類正確率有明顯提高，對于輪胎圖像的實驗結果也有相同結論.

表2 單特征與融合特征比較

確定選取融合特征后，需要對融合特征進行權重分配，以下為特征權重分配的具體步驟：

1.令F為分配權重后的融合特征，如式(12)所示.

F=[x×GGCM,y×GLCM]

(12)

2.將權重分配步長設置為0.1，遍歷所有x和y值并得出分類器的正確率；

3.選擇4種不同數量的訓練集和測試集組合，分別對應于100個、200個、300個和400個測試樣本.

如表3描述了不同分配權重比時，輪胎和壓痕的分類準確率.第1列為兩特征之比，第2列和第3列分別為輪胎及壓痕以100張圖樣作為測試集得到的實驗正確率.從表中可以看出，對于輪胎圖像分類，當x=0.2且y=0.8時，輪胎分類正確率最高為97%.對于壓痕圖像分類，當x=0.7且y=0.3時，壓痕分類正確率最高為88%.

表3 不同權重的融合特征對比

在確定融合特征權重之后，將數據庫劃分為不同數量的訓練集和測試集進行實驗.分別以100個、200個、300個和400個作為測試集，剩下樣本作為訓練集進行實驗，所得實驗結果如表4所示.

由表4可知，隨著訓練集數量的增加，模型對輪胎和壓痕圖像的分類正確率也隨之增加.當測試集樣本為100時，模型對輪胎的預測分類正確率高達97%.對于壓痕不同測試集分類結果，與輪胎有著同樣的規律.當測試集樣本為100時，模型分類正確率高達88%.由于圖片較大，此處僅展示以100個輪胎圖像樣本作為測試集的結果圖，如圖3所示.實驗硬件配置為i5 CPU，8GB內存，運行環境為MATLAB R2018b.

表4 輪胎及壓痕不同測試集分類結果

圖3 輪胎100個測試樣本的分類結果

圖3中，橫坐標為測試的圖片編號，縱坐標為對應的類別，星點表示預測的分類結果，圈點表示的實際類別，兩點重合，則表示預測分類是正確的.例如，圖3中的第1個測試圖片，其真實分類為第24類，預測分類也為第24類，易知預測分類正確.反之，第44個測試圖片，其真實分類為第20類，預測分類卻為第16類，顯然，預測分類錯誤.

以第20類輪胎為例，進一步探討上述散點圖所包含驗證過程的含義，如圖4所示.

圖4中，左側框內為輸入的圖像及其所屬分類，對應前文的圈點；右側框內為經過SVM模型預測后的分類結果，對應前文的星點.當左側真實分類與右側預測分類相同時，則表示預測分類正確，以笑臉表示，反之則以哭臉表示.

圖4 輪胎驗證過程示意圖

3.2 遷移學習方法的實驗和結果

遷移學習具備深度學習“端到端”的思想，在進行實驗時，不需要實施機器學習中預處理、特征提取融合以及分類器設計等操作.它在預訓練好一個模型后進行超參數微調，以適應目標任務的實現.

本文在ImageNet數據集中使用Alexnet學習模型，進行超參數微調后應用到輪胎及壓痕圖像分類.實驗前，先凍結預訓練模型中全連接層之前的所有網絡層次，使這些網絡的參數在訓練時不進行梯度更新，優化的僅是全連接層的所有參數.然后，將全連接層最終的輸出類別數修改為文中的30類.最后，輸入尺度歸一化后的輪胎及壓痕圖像進行訓練.其中部分參數設置如下：學習率Initial Learn Rate設置為0.0001，Mini Batch Size設置為10，Max Epochs設置為20.以不同百分比選取數據中的樣本作為訓練集樣本，剩余的樣本作為測試樣本進行實驗.

在進行實驗時，分別選用80%、75%、65%和60%的數據作為訓練集，在剩余樣本的每個類別中均勻采樣作為測試集進行實驗，所得實驗結果如表5所示.由于圖片較大，此處僅展示以20%壓痕樣本作為測試集的結果圖.圖中的標記以及預測分類的結果，與圖3中的含義相同，此處不再贅述.

表5 輪胎及壓痕不同測試集分類結果

由表5知，隨著訓練集數量的增加，模型對輪胎和壓痕的分類正確率也隨之增加.當訓練集樣本占比為80%時，輪胎分類正確率高達98.13%.同樣的，當訓練集樣本占比為80%時，壓痕分類正確率高達92.21%.

由圖5可知，壓痕錯誤率主要集中在第18和第19類，其他分類結果錯誤率較低，總體分類正確率較高.

圖5 20%壓痕測試集的分類結果

3.3 輪胎和壓痕圖像之間的映射

對比機器學習和遷移學習模型在輪胎及壓痕圖像的分類結果可以看出，遷移學習在本研究中的準確性明顯高于機器學習模型.本節選取遷移學習模型對輪胎和壓痕圖像之間的映射關系進行研究.

首先將20%的輪胎及壓痕圖像測試集分別輸入到對應訓練好的模型中進行預測分類，然后將輪胎預測分類結果、壓痕預測分類結果以及真實分類結果繪制到散點圖中，如圖6所示.當3者在散點圖中重疊，則表示輪胎和壓痕圖像之間的映射正確，否則錯誤.

圖6 20%測試集的輪胎與壓痕的映射結果

由圖6可知，輪胎和壓痕圖像之間的映射正確率可達到90.03%.其中，圖中圈點代表壓痕的預測分類結果，叉點代表輪胎的預測分類結果，星點代表真實的分類結果.當且僅當3點重合時，代表二者之間映射關系正確.

3.4 兩種方法的對比討論

對比上述輪胎及壓痕圖像分類的結果可以看出，本文所提出的方法在輪胎及壓痕圖像分類的研究具有準確率高、成本低、適用性強等優點.此外，兩種分類方法原理不同，各有優勢.其中，機器學習的優勢是：對于日常研究中難以獲得大數據庫的情況下，它更適合小樣本研究，且機器學習的可解釋性更強[25].遷移學習的優勢是：在相對較多的數據的支持下其正確率較高，不需要機器學習的特征工程，適用性較強.然而，它們也都有不可忽略的缺點.例如，機器學習的設計過程繁瑣，而遷移學習對GPU等硬件要求較高.對于本文所涉及的研究，基于更大圖像庫的卷積神經網絡的深度學習方法可能更合適.

4 總結和展望

本文基于機器視覺和圖像處理技術，對輪胎及壓痕圖像的分類進行研究.在機器學習方法中，對圖像進行預處理，提取并融合紋理特征，最后輸入到分類器中訓練并測試模型.同時，由于數據庫較小，還將遷移學習引入本研究中，對輪胎及壓痕圖像分類進行補充研究.

實驗證明，機器學習技術對輪胎圖像分類正確率達到97%，對壓痕圖像分類正確率也可達到88%.同時，遷移學習模型對輪胎圖像分類正確率達到98%，對壓痕圖像分類正確率可達到91%.在輪胎和壓痕圖像之間的映射關系研究中，遷移學習模型的預測分類正確率可達到90.03%.本文所提出方法中的機器學習模型和遷移學習模型對輪胎和壓痕圖像分類預測均可達到較高的精度.然而，本研究仍有許多工作需要繼續探索，例如對壓痕圖像分類正確率的提高，基于大數據庫應用深度學習模型等.對于這些研究，期待在以后的工作中繼續研究.