基于卷積神經網絡車身顏色識別技術研究

管德永，鞠銘，安連華

（山東科技大學交通學院，山東青島266590）

0 引言

近幾年，隨著從“平安城市”到“智慧城市”的推廣，很多科研項目陸續開展，取得了不錯的成果，提出了“3111工程［1］”、“立體化社會治安防控體系”等概念。權威電子行業研究機構IMSResearch研究表明，全球攝像頭每年呈指數增長，并且攝像后端的數據存儲十分龐大。據統計，2011年安裝攝像系統260多萬臺，一天的數據存儲達100 PB，而在2015年攝像設備增加到5454萬臺，相應的一天儲存數據也高達2000 PB。在這個大數據的時代，面臨著以下2大瓶頸：（1）提取結構化信息，縮減監控攝像頭產生的海量冗余視頻數據；（2）建立監控平臺網絡，更好的實現監控各子系統之間的連接，達到監控資源共享。如何解決這些問題成為近幾年的研究熱點，即視頻特征信息提取服務器的研究。車身顏色識別技術是一個重要研究方向，而其對車輛的識別與搜索、并為公安部門打擊套牌車輛具有重要的意義。

目前，深度卷積神經網絡的應用，在車型識別、圖片識別、車身顏色識別等方面取得了較高的識別率。鄧柳基于其建立的車型數據庫，從車型識別的提取速度和效果方面，進行卷積神經網絡的深度研究［2］。隨婷婷提出一種深度卷積網絡CLMF模型，從多目標角度提取特征，利用加融融合進行目標識別［3］。王茜等建立多角度拍攝的圖片數據庫，利用深度學習進行圖片識別，VGG16模型準確率達到97.58%［4］。楊楠利用 CIFAR-10神經網絡，自己搭建網絡的訓練方法，提高了網絡訓練的正確率［5］。

車身顏色識別技術的研究大致分為2類：（1）基于顏色空間的色差方法；（2）構建顏色模板，提取顏色特征，通過分類器進行分類、識別。趙紅波等提出了一種新的車身顏色識別算法，提取車輛顏色特征，這種新算法把白色分成白色和銀白色2種，把車身顏色數據庫分為7種，進行識別且精度較高［6］。Michelel建立了15種顏色數據庫，采用K近鄰算法進行顏色識別［7］。宋曉紅通過聯合共享技術對車身顏色識別技術研究，對圖像先進行圖像預處理，采用算法進行顏色特征提取，最后通過支持向量機SVM分類器進行分類識別，得到較高的車身顏色識別率［8］。Fang等將車身顏色數據庫分為7種，在HIS的3個通道中提取車身顏色中每個像素的微觀特性值，利用這些特征來進行顏色分類識別［9］。Wu等首先通過獲取車輛前景圖，去噪得到識別區域，采用SVM分類器進行分類識別，總體識別率得到提高，但黑、銀、綠顏色識別誤差大，識別率較低［10］。胡焯源等針對傳統的HSV模型中的局限性，即光線變化對車身顏色識別的影響，改進了模型顏色的量化模板和判別原則，提高了顏色的識別效果［11］。

從上述研究可以看出，復雜環境因素對于汽車車身顏色的識別影響并沒有得到很好的解決，車身顏色的識別率比較低，而且圍繞車身識別技術的研究，受到光照、環境等方面的噪音影響，研究結果不理想，造成的識別誤差也比較大。車身顏色識別模型的建立，需要克服復雜的數據庫中的噪音，避免因環境因素造成的識別錯誤。基于以上車身顏色識別技術的研究現狀，文章利用深度學習技術，在AlexNet［12］網絡模型的基礎上，并搭建 caffe深度學習框架，通過車身顏色的數據庫，進行自主學習，提出一種基于深度卷積神經網絡的車身顏色識別技術的研究方案。

1 車身顏色識別技術理論基礎

1.1 深度學習—caffe框架概述

深度學習是一個自主學習的過程，從底層到高層，類似于人體的神經網絡系統。學習過程由低到高，層層挖掘數據的本質信息。在圖像識別領域，HoG［13］、SIFT［14］等特征識別應用比較多，但這些特征有著各自的限定條件。深度學習一開始應用于圖像分類，在深度學習技術中，caffe框架是常用框架。2014年，caffe框架由伯克利大學發布，后來賈揚清團隊開發并由C++編譯caffe框架，搭配計算機GPU，其計算速度得到了很大的提高，Caffe所提供的測試單元在實際中廣泛應用［15］。

1.2 卷積神經網絡理論

隨著神經計算模型［16］的提出，第一代感知機的神經網絡［17］取得了良好的識別效果，特別是近幾年，深度學習模型優化迅速發展，卷積神經網絡CNN（Convolutional Neural Network）模型［18］應用于圖像識別、人臉識別中效果較好，受限于莫爾茲曼RBM（Restricted Boltzmann Machines）模型和堆棧式自動編碼機SAN（Stacked Auto-encoder Network）模型同樣是深度學習的重要應用模型。卷積神經網絡模擬人的神經網絡，成功訓練多層（輸入層、卷積層、降采樣層、全連接層）神經網絡，此算法省去了圖像預處理，直接通過圖片輸入，自主學習圖像特征。最重要的是模型結構、參數配置得到優化，提高了模型訓練測試速度和效果［19］。神經網絡結構如圖1所示。

圖1 卷積神經網絡結構示意圖

（1）輸入層 卷積神經網絡避免了圖像預處理，直接輸入原始圖片、多通道圖像或者圖像序列。

（2）卷積層 是卷積神經網絡的關鍵。卷積層對原始圖像進行卷積運算，獲取特征圖特征，得到卷積特征圖，其結果經過激勵函數作用，最終輸出為卷積層的輸出神經元，從而構成此層的特征向量表達式由式（1）表示為

式中：f為激活函數；t為卷積層數；kij為卷積核；*為2D的卷積操作；btj為偏置。

（3）降采樣層 可以得到抽樣特征，利用圖像局部相關性，對圖像進行子抽樣，減少數據處理的工作量，由式（2）表示為

式中：w為權重；down（·）為降采樣函數。

（4）全連接層 神經網絡的輸入層、卷積層、降采樣層的神經元都與全連接層的各個神經元連接。

利用卷積神經網絡進行車身顏色識別，輸入層輸入原始圖像，卷積層通過卷積運算，得到特征單元，降采樣層提取抽象特征，通過全連接層進行分類，輸出層進行輸出。卷積網絡中的各層相鄰神經元之間互相連接。首先在圖像中獲取最原始的特征，特征提取的方法和位置無關，這些特征可以為更高層的神經元所用［19］。特征圖的組成部分是模塊元，具有相同的權值，但位置不同。這些特征圖通過多次卷積，得到結果，再通過降采樣并反向調節，最后通過全連接層，實現對圖像的特征獲取，得到圖像的本質信息。

2 車身顏色識別技術方案設計

研究方案可以分為2個模塊：樣本訓練模塊和樣本測試模塊。方案設計的原理：（1）樣本訓練模塊是通過機器學習來提取已知的車身圖片顏色特征，確定車身顏色的識別模型；（2）樣本測試模塊的處理過程利用樣本訓練模塊得到的模型進行特征提取，通過自主學習，得到車身顏色的識別最優模型。總體設計方案如圖2所示。

圖2 車身顏色識別研究方案圖

研究方案表述的識別過程，（1）建立車身顏色數據庫，對數據庫進行標準化處理，分類出實驗所需要的車身顏色的訓練樣本和車身顏色的測試樣本，通過車身顏色訓練樣本來提取特征，確定研究的車身顏色識別模型；（2）利用車身顏色訓練樣本得到的車身顏色識別模型，對測試樣本進行測試，得到測試樣本的圖片特征，完成測試分類，識別出最終的車身顏色。

2.1 實驗環境

實驗選取的caffe框架在科研項目中應用廣泛，其優勢在于利用計算機的GPU來進行訓練，速度快、框架完整、兼容性強，并且容易搭建測試環境。因此，利用caffe框架來實現卷積神經網絡模型。

計算機的處理器要求比較高，選擇Intel（R）Core（TM）i5-3210M＠2.5GHZ；運行內存比較大，以滿足caffe框架的運行，選擇4.00 GB RAM；操作系統類型，要求兼容性強，選擇64位；實驗需要搭建環境，配置Microsoft Visual Studio 2010軟件。

2.2 實驗數據庫

實驗過程中，統計了近幾年中國國內車輛車身顏色比例。將顏色分為8種并進行樣本訓練和測試，按照標準分為白、黑、灰、紅、藍、黃、綠和紫，其比例各占22%、20%、12%、9%、6%、3%、3% 和1%，如圖3所示。

圖3 國內車身顏色的比例統計圖

訓練和測試的車輛顏色樣本是高清監控或者卡口圖片，構建的數據庫主要選取正常光照下的車輛圖片，包括少量逆光、順光、傍晚等背景下的車輛圖片。實驗中建立車身顏色數據庫，包括白、黑、灰、紅、藍、黃、綠和紫各為1000張。數據庫中的樣本標準：車身顏色圖片具有唯一性，不可重復地存在于一個數據庫中；車身顏色肉眼可識別出結果，即顏色無明顯的顏色偏差；車身顏色圖片具有統一性，需要對圖片進行歸一處理（高寬比大小256×256），得到輸入層要求的圖片尺寸；車身顏色圖片的復雜性，即車身顏色數據庫中包括黑天、白天、霧天、雨天等情況，增加數據庫的復雜性。實驗需要進行樣本訓練和樣本測試，因此需要把車身顏色數據庫分為訓練樣本數據庫和測試樣本數據庫，訓練樣本數據庫包括白、黑、灰、紅、藍、黃、綠和紫各900張，其余的100張車身顏色圖片作為模型的測試樣本。

2.3 模型的訓練及優化

利用卷積神經網絡能夠提取良好的特征，基于AlexNet網絡，搭建caffe深度學習框架進行訓練，配置好基本參數之后，需要進行參數的微調才能得到較好的分類結果。識別精度由式（3）表示為

式中：Prei為第i類車身顏色圖片的識別準確度；PTi為車身顏色圖片識別的正確樣本數；PFi為車身顏色圖片識別的錯誤樣本數。

2.3.1 模型的訓練

運用訓練樣本進行CNN網絡的訓練，模型的訓練過程需要進行層層特征提取，得到特征圖。模型訓練之前，把樣本分成N組，樣本個數設為m，這樣就需要訓練N次，每一次需要選取m／N個樣本。

（1）正向傳播

正向傳播需要將車身顏色的訓練樣本的原始圖片通過輸入層輸入CNN網絡，通過卷積運算，得到基本特征信息的特征圖。特征圖的大小為A×A，濾波器w的大小為n×n，最終提取的車身顏色特征圖大小（A-n+1）×（A-n+1）。卷積層中每個特征圖的非線性輸入的結果，由式（4）表示為

卷積過程Conv在Matlab中由式（5）表示為

把式（5）中的卷積層計算的結果，通過激活函數作用，得到非線性的卷積結果由式（6）表示為

其下采樣過程不需要自身的學習過程，輸出f×f的區域值。如果經過一個最大值的變換，即輸入層大小為N×N，由于每一個f×f的區域都要經過最大值函數變化，變成一個值輸出，因此整個下采樣層輸出的大小為

（2）反向傳播

反向傳播是正向傳播的逆過程，過程中需要逐層計算，把實際輸出值與理想值進行計算，得到誤差值。在卷積過程中，通過方差函數E來計算方差值，然后通過反向計算得到函數值，進而來計算權值的梯度。在計算權值梯度的過程中，可以得到每一層的每一個神經元輸出的方差為

根據鏈式法則，誤差值反向傳播到前一層，具體的實現過程由式（9）表示為

根據式（7）～（9），通過反向傳播的逐層計算，誤差值逐層向上一層反饋，得到首層的誤差值。

2.3.2 模型的優化

模型優化關系到最終模型的優劣。從模型的網絡層數、迭代次數、學習率三方面優化卷積神經網絡，通過自主提取特征，得到識別率較高的最優模型。

（1）確定最優的網絡層數

網絡層數的選取關系到模型的處理速度和圖像的信息效果。網絡層數過少，車身顏色的信息提取速度快，會失去有效信息。網絡層數過多，特征信息提取精度高，但訓練速度慢。

根據實驗構建的數據庫，最優的網絡層數需要識別效果來反饋。學習率設為0.001，迭代次數為30000次，通過控制變量法，設定不同的網絡層數，即網絡層數分別為7、8、9，各顏色樣本數為900張時的車身顏色識別正確率的變化，見表1。

表1 網絡層數的選取與識別正確率之間的關系表

從表1的識別效果來看，8層網絡的效果最好，而9層網絡的準確率最低。

（2）迭代次數的確定

迭代次數在一定范圍內，識別率與迭代次數成正比，當迭代次數超過這個范圍時，模型訓練時間會增長，迭代次數對識別正確率的提升作用會減弱。

針對于相同的數據集，迭代次數的確定需要根據最終的分類識別效果來確定，假設卷積神經網絡為8層，學習率初設為0.001，迭代次數分別取值10、20、30、40萬次，各顏色樣本數為 900張時的識別率變化，見表2。

表2 迭代次數的選取與識別正確率之間的關系表

從表2的識別效果來看，隨著迭代次數的增加，識別正確率也增加，迭代次數與識別正確率關系中來看，隨著迭代次數的增加，識別正確率的增加幅度越來越小，趨于平穩。結果表明：迭代次數為30萬次是識別準確率變化的轉折值，而迭代次數超過30萬次時，識別效果趨于穩定，但不會出現過擬合現象。

（3）學習率的確定

學習率是深度學習中的一個重要的參數，學習率太大，會跨越識別率的極值點，設置太小，造成跨度太小，容易出現局部最優。

采用基于經驗的手動調整。通過控制變量法進行訓練測試，設網絡層數為8，迭代次數為30萬，嘗試采用不同的固定學習率進行模型優化，即0.1、0.01、0.001、0.0001。各顏色樣本數為 900張時，學習率的選取與識別正確率之間的關系見表3。

表3 學習率的選取與識別正確率之間的關系表

從表3中可以看出，當學習率為0.1和0.001時識別正確率為92.7%，在其它參數一致的情況下，增大學習率，識別準確率也會相應下降。通過分析變化過程，發現識別準確率變化波動較大，當學習率過大時，準確率開始不穩定。因此，根據學習率與識別正確率的關系，學習率設為0.001，進行模型訓練和測試。

（4）確定最優網絡

實驗表明，在深度卷積神經網絡中，網絡層數、迭代次數、學習率影響車身顏色特征提取的速度和精度。同樣，濾波器的選取、特征維度和激活函數等，也是影響卷積神經網絡模型的重要因素。

針對搜集的車身顏色數據庫，基于AlexNet網絡模型，確定的最終模型為卷積神經網絡CNN模型層數為8，最大迭代次數為30萬，學習率為0.001。模型包括5個卷積層，以及3個全連接層，在每一個卷積層中都包含了激勵函數RELU與局部響應歸一化LRN處理，之后再經過降采樣處理。各顏色樣本數為900張時，模型的訓練優化結果，見表4。

表4 模型訓練優化結果表

3 實驗結果及分析

3.1 識別結果效果分析

通過測試白、黑、灰、紅、藍、黃、綠和紫各100張車身顏色圖片，判斷卷積神經網絡模型的性能優劣。將卷積神經網絡CNN模型與改進后的HSV模型［20］、支持向量機 SVM進行測試，對結果進行對比。基于建立的車身顏色數據庫，卷積神經網絡模型的識別率達到93，2%，明顯優于支持向量機SVM、改進后的HSV模型的識別率，見表5。

表5 SVM、改進后HSV模型、CNN模型結果對比表

由表5可以看出，SVM分類器、改進后的HSV模型、卷積神經網絡CNN模型的識別率都＞80%，改進后的HSV顏色空間量化模板車身顏色識別率達到85.25%，略優于傳統的SVM方法。利用深度學習技術，通過卷積神經網絡CNN模型自主提取車身顏色特征，識別率遠遠高于前兩種方法，故滿足實時的要求。

3.2 測試結果原因分析

通過分析原始樣本圖像可知，車身顏色數據庫中的樣本被識別錯誤的原因主要是背景的多樣性，逆光會讓顏色變暗，順光會增加光線強度，夜晚遠光燈會讓顏色增強，失去車身顏色的原色，在識別過程中，出現了如圖4所示的情況。

（1）傍晚 綠車識別為黑色，這是由于在學習的過程中，夜間光線灰暗，再加上車燈照射，造成光線混亂，部分顏色偏暗，車身部分背光。

（2）逆光 黑色識別為藍色，這是由于在學習的過程中，正常光線下，深藍與黑色的色差較小，加上白天逆光狀態，光線灰暗，顏色混淆。

（3）順光 灰色識別為白色，這是由于銀色、灰色與白色顏色相近，在學習的過程中，白天順光情況下，白天強光的照射，造成車身部分反光，顏色混淆。

圖4 車身顏色識別錯誤樣本代表圖

4 結論

通過上述研究可知：

（1）基于車身顏色數據庫，對卷積神經網絡網絡模型進行訓練，網絡層數為8時，模型識別率為89.5%；迭代次數為30萬次時，模型趨于穩定；學習率為0.001時，識別率為92.7%。因此，卷積神經網絡最優模型的神經網絡層數為8，最大迭代次數為30萬，學習率為0.001。

（2）卷積神經網絡顏色識別模型與改進后的HSV顏色識別模型、支持向量機（SVM）顏色識別模型進行測試對比，支持向量機SVM模型顏色識別率為80.05%、改進后的 HSV模型顏色識別率為85.25%，卷積神經網絡模型顏色識別率為90.20%，卷積神經網絡模型顏色識別效果最好。

參考文獻：

［1］顧長海.公共安全中的視頻結構化［J］.中國公共安全，2016（17）：141-143.

［2］鄧柳.基于深度卷積神經網絡的車型識別［D］.成都：西南交通大學，2015.

［3］隨婷婷，王曉峰.一種基于CLMF的深度卷積神經網絡模型［J／OL］.自動化學報，2016，42（6）：875-882［2018-01-05］.

［4］王茜，張海仙.基于深度神經網絡的汽車車型識別［J］.現代計算機（專業版），2015（35）：61-64.

［5］楊楠.基于Caffe深度學習框架的卷積神經網絡研究［D］.石家莊：河北師范大學，2016.

［6］趙紅波，張涵.車輛顏色識別方法研究［J］.電視技術，2013，37（23）：207-209，233.

［7］Merler M.Car Color and Logo Recognition［C］.CSE IM90A Projet in Vision and Learning，2006：46-49.

［8］宋曉紅.車身顏色識別在高速公路卡口中的應用［J］.中國交通信息化，2014（3）：87-90.

［9］Fang J，Yue H J，Li X Z.Color identifying of vehicles based on color container and BP network［C］.Proceeding of IEEE Conference on Business Management and Electronic lnformation，2012：226-229.

［10］Wu Y T，Kao JH，Yu M.A Vehicle color classification method for video surveillance system concerning model-based background subtraction［C］.Advances in Multimedia Information Processing-PCM，2010：369-380.

［11］胡焯源，曹玉東，李羊.基于HSV顏色空間的車身顏色識別算法［J］.遼寧工業大學學報（自然科學版），2017，37（1）：10-12.

［12］Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutionalneural networks［J］.Commun ACM，2017，60（6）：84-90.

［13］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］.IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005：84-90.

［14］Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［15］Jia Y，Shelhamer E，Donahue J，etɑl.Caffe：Convolutional architecture for fast feature embedding［C］.Proceedings of the ACM International Conference on Multimedia，2014：667-675.

［16］Mcculloch W S，PittsW.A logical calculus of the ideas immanent in nervous activity［J］.The Bulletin of Mathematical Biophysics，1943，5（4）：115-133.

［17］Rosenblatt F. The perceptron： A probabilistic model for information storage and organization in the brain［J］.Psychological Review，1958，65（6）：386.

［18］Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks［J］.Science，2013，313（5786）：504-507.

［19］賈世杰，楊東坡，劉金環.基于卷積神經網絡的商品圖像精細分類［J］.山東科技大學學報（自然科學版），2014，33（6）：91-96.

［20］敖道敢.無監督特征學習結合神經網絡應用于圖像識別［D］.廣州：華南理工大學，2014.