基于改進CNN的公交車內擁擠狀態識別

徐明遠，崔 華，張立恒

(長安大學 信息工程學院，陜西 西安 710000)

0 引 言

隨著生活水平的提高，車輛成為城市居民主要的出行手段，由此引發的道路擁堵問題困擾著許多城市。公共交通能承載城市的大量客流，緩解城市擁堵，各地都在大力提高公共交通對于居民出行的吸引力[1]。而公交公司目前缺少可靠的乘客擁擠信息識別技術，無法根據實際的客流信息實時地調整公交車的運營策略，尤其是乘車高峰期，公交車內極其擁擠，完全不能滿足乘客舒適出行的要求。因此，圖像處理識別技術被應用到公交車內乘客擁擠狀態的識別中來。2012年Garcia-Bunster G等改正了圖像的視角，通過結合線性回歸模型和線行判別兩個參數，使面積測算和計數達到最優映射，以此來實現公交車排隊乘客計數[2]。2013年Daley W等用紅外技術檢測公交內的乘客狀態，分析車輛和乘客的位置形狀分布，解決車內乘客的計數問題[3]。2014年Mudoi D等利用背景差分法提取目標圖像的相應區域，使用搭建的人工神經網絡進行訓練，并利用結果中目標的顏色、形狀特征完成乘客擁擠識別[4]。以上識別方法都有著各自的不足之處，背景差分算法會受乘客的運動陰影、車廂的動態背景及車廂內光照變化等因素的干擾，而目標檢測一般是檢測公交車內乘客的頭部特征，如果乘客染發或者乘客衣服與頭發顏色相近，可能就會導致錯誤的判斷。

目前，深度學習算法能夠很好地解決圖像識別的問題[5]。文中在國內外公交車內擁擠狀態識別研究的基礎上，結合對公交車內圖像擁擠特征的分析和卷積神經網絡(CNN)的研究，提出了一種基于改進VGG-16網絡的公交車內擁擠識別方法。考慮到公交公司對乘客擁擠信息識別的實際需要，建立了公交車內擁擠圖像四分類數據集，經過遷移學習的權值參數共享，對改進后的VGG-16模型進行訓練測試。該方法能較好地解決以上各個識別方法的不足，識別的結果能使公交公司及時對乘客擁擠或將要擁擠的情況采取相應的措施，實現智慧調度，提高公交出行的吸引力，從根本上緩解城市交通擁堵。

1 卷積神經網絡

受到生物學家研究的啟發，計算機視覺科學家開創性地提出了卷積神經網絡模型[6]。卷積神經網絡與普通神經網絡的不同之處是卷積神經網絡采用卷積層和池化層作為特征抽取器[7]。卷積和池化能極大地減少模型的參數和復雜度，其基本結構如圖1所示。

圖1 卷積神經網絡結構

1.1 卷積層

在CNN結構中，卷積操作通過權值共享的形式減少了網絡中參數的數量，同時增加了網絡的泛化能力，這些權重在網絡中采取隨機初始化的方式，在訓練中可以學習為能夠檢測邊緣、顏色、形狀的濾波器[8]。卷積運算的公式為：

(1)

其中，xj和yj是第i層的輸入特征映射和第j層的輸出特征映射，wij是卷積濾波器的權重，*表示卷積運算，bj和facti(·)是第j層的偏置和激活函數。

1.2 池化層

池化層是將相似的特征進行組合，池化計算卷積輸出的特征圖中一個局部區域的值，通過池化操作減少卷積層輸出的特征向量，防止過擬合，同時降低了數據表達的維度，并極大地減少模型參數數量和網絡中的計算量[9]。

常見的池化方法[10]有：最大池化(max pooling)、平均池化(mean pooling)和概率池化(stochastic pooling)。最大池化：取圖像某一區域特征的最大值作為該區域的特征。平均池化：取圖像某一區域特征的均值作為該區域的特征。概率池化：依據概率矩陣的大小，對矩陣區域求加權平均。三種池化方式如圖2所示。

圖2 三種池化方式

此外還有一些池化方式。例如：重疊池化(overlapping pooling)，空金字塔池化(spatial pyramid pooling)在卷積神經網絡中也具有比較穩定的特征提取能力[9]。

1.3 激活函數

為了解決實際問題，網絡必須能逼近任意的分類函數，因此就要引入非線性激活函數[11]。常用的激活函數包括Sigmoid函數、Tanh函數和Relu函數。公式如下：

(2)

(3)

Relu(x)=max(x,0)

(4)

Sigmoid函數和Tanh函數都能夠讓神經網絡逼近非線性函數，解決非線性問題，但是都可能會出現梯度消失或者梯度爆炸的情況，且計算比較復雜。而Relu的優點在于計算簡單，梯度穩定，也可以表現出抑制的效果，所以文中所訓練測試的網絡模型均使用Relu函數作為激活函數。圖3為上述三種激活函數的曲線圖。

圖3 三種激活函數曲線

2 改進的VGG-16卷積神經網絡

2.1 VGG-16網絡

VGGNet在AlexNet的基礎上探究了網絡模型的識別性能和深度的關系，在探究過程中發現較小的卷積核和更深的網絡可以明顯提升模型的分類精度，使得錯誤識別率明顯下降。VGGNet使用了3*3的卷積核并將模型的層數加深，兩個3*3卷積核堆疊在一起的視野范圍相當于一個5*5的卷積核的視野，而三個3*3卷積核堆疊在一起的視野范圍相當于一個7*7的卷積核，在同樣的視野范圍內采用3*3的卷積核可以降低參數的數量[12]。與此同時更深的網絡意味著會有更多的非線性變換，網絡的學習能力會更強，可以學習到更多的特征。VGGNet還采用多尺度訓練的方法，增加了訓練時的數據量，防止過擬合的同時提升了準確率[13]。基于VGGNet網絡結構的獨特之處以及該網絡在公開數據集上的優異表現，文中選擇VGG-16網絡作為解決公交車內擁擠狀態識別問題的特征提取網絡，網絡結構如圖4所示。

圖4 VGG-16網絡結構

2.2 改進VGG-16網絡

為了滿足對公交車內擁擠狀態識別的準確性和計算效率要求，設計了改進的VGG-16模型，在保證準確率的同時降低模型的計算量。文中構造的公交車擁擠狀態識別模型依然使用了標準VGG-16網絡結構的卷積層，16個卷積層被五個池化層分隔開，輸入的公交車內乘客擁擠狀態圖像通過16個卷積層和五個池化層的計算能提取到較為明顯的特征。模型最后的全連接層模擬大腦的邏輯認知過程，對卷積池化層提取的特征進行分類，得出識別標簽[14-15]。由于VGG-16模型的層數和參數是為1 000個分類類別設計的，其中的權重參數數量有65×106個，且參數較大部分分布在全連接層上，而文中要解決的問題是4種狀態的分類識別，不需要那么多的權重參數去參與計算，因此，提出用2個全連接層替換原有的3個全連接層的改進方法設計第一個全連接層的神經元為4 096個，第二個全連接層即輸出層的神經元個數為4個，降低模型參數個數和復雜度，以提高模型識別精度和計算效率。

圖5 改進VGG-16網絡結構

設計的模型如圖5所示。所有卷積計算都采用3*3大小的卷積核，卷積步長固定為1，所有的池化操作都采用2*2的最大池化，池化步長固定為2，去除了一層全連接層，使得卷積神經網絡可以節省大量計算和內存。模型采用Relu函數作為學習特征的激活函數，由此可以使獲得的特征更明顯，從而達到更好的分類識別效果。

2.3 改進VGG-16網絡的遷移學習

遷移學習是希望模型從大量的數據樣本中學習到比較泛化的特征，從而補充有限樣本的部分特征。在實際場景中無法收集到所有的樣本，如果只用這些有限的樣本訓練模型，就會很容易發生過擬合現象，除此之外，如果使用的網絡層數較多則可能會導致前邊幾層的參數很難得到更新，而通過遷移學習就可以解決以上麻煩[16]。VGG-16預訓練網絡是通過100萬幅圖像的ImageNet數據庫中訓練而成，擁有大量已訓練完成的參數和權重，特別是卷積層的權重參數已經能夠對圖像的曲線、邊緣、輪廓特征進行較為有效的特征提取。為避免從頭訓練整個網絡，減少網絡訓練時間和提高網絡訓練效率，可將在ImageNet上訓練完成的VGG-16網絡作為文中模型的預訓練模型，通過微調參數遷移學習的方式，將預訓練的VGG-16模型權重參數遷移到改進模型，利用預訓練模型的參數優化各層的模型參數，加快模型損失值的收斂速度，提高識別精度和模型的穩定性，更好地解決公交車內擁擠狀識別問題。遷移過程如圖6所示。

圖6 VGG遷移學習模型示意圖

3 公交車內擁擠狀態數據集

基于某市公交公司實際數據，文中建立了一個公交車內擁擠狀況圖像數據集來評估模型的性能。這些視頻數據來自公交車內的前后攝像頭，從前后兩個角度俯瞰整個車廂，將其中比較清晰的視頻選取出來，按照500幀截取一次，共獲得15 194張圖片。公交車內擁擠狀態如果只分為擁擠和不擁擠意義不大，無法對即將乘車的乘客和公交車的調度人員產生實際的指導價值，因此根據實際需要將公交車內的擁擠情況分為state0，state1，state2和state3四種狀態。其中，state0表示車內座位未坐滿且車內走道大面積未占用的空車狀態；state1表示走道小部分被占用，乘客中有明顯空隙的寬松狀態；state2表示走道大部分被占用但乘客中有少量空隙的較擁擠狀態；state3表示走道大部分或完全被占用，乘客中無空隙的擁擠狀態。每張圖片都是由2個不同的標注員獨立標注的，對于相同圖片的非相同標注，需要兩名標注員再進行一輪評估，才能達成最終的標簽。最終，15 194張原始圖像被分為四類，各類圖像數量分別為4 066張，3 582張，3 414張和4 072張，各類狀態如圖7所示，依次為state0，state1，state2和state3。

圖7 各類狀態展示圖

4 實驗及結果

4.1 模型訓練及實驗結果

實驗使用Ubuntu16.04系統，i7-7700k處理器，24 GB內存，采用建立好的公交車內擁擠狀態四分類數據集，每一類取出500張作為測試樣本，剩下的作為訓練樣本，將每張圖片歸一化到 224×224像素。網絡模型訓練學習率設置為0.01，批處理大小設為32，最大迭代次數為5 000次，使用caffe框架進行模型訓練。

模型訓練過程如圖8和圖9所示。

圖8 標準VGG-16模型訓練圖

圖9 改進VGG-16模型訓練圖

(1)兩種模型訓練的損失函數值都隨著迭代次數的增加呈現下降趨勢，且下降速度越來越慢，使用改進VGG訓練時的初始損失函數值相比于VGG標準模型更小而且收斂過程中波動較小，改進的VGG-16最終收斂的損失函數值更低，基本上穩定在0.04附近，而VGG標準模型損失函數值收斂到0.1左右。

(2)兩種模型的訓練準確率都隨著迭代次數的增加而不斷上升，且上升的速度趨于平緩，最終到達一個穩定的上限，改進后的VGG模型最終的訓練準確率要略高于標準模型，最終穩定在96.5%左右，且曲線波動較小，而標準模型最終穩定在95%左右，曲線波動較大，模型表現不夠穩定。

4.2 實驗對比分析

為進一步測試改進VGG模型的性能，選擇傳統的分區域融合算法以及AlexNet，GoogleNet兩種深層神經網絡進行對比試驗。分區域融合算法是通過人工選定圖像的目標區域，融合HSV顏色模型法，幀間差分法以及紋理分析法實現公交車的分區域擁擠判斷，根據各區域的結果匯總得出乘客的擁擠狀態信息。各方法使用事先建立好的測試集進行測試，測試集每一類有500張圖片，實驗結果如表1所示。

表1 文中模型與其它模型方法的識別準確率對比 %

表1對比了不同方法各類狀態的識別結果，AlexNet、GoolgeNet、VGG-16Net與文中改進模型4種卷積神經網絡模型的平均識別準確率均優于傳統的分區域融合算法，各種方法的平均識別準確率分別為86.9%，92.5%，93.8%，95.2%，96.1%。在對存在模糊分類界限的state1和state2狀態進型識別時，文中改進模型比傳統的分區域融合算法分別提升了17.1%和11.3%。在卷積神經網絡模型中，標準VGG-16和改進模型的特征提取都是通過3*3濾波器的層層提取，能夠更加有效地提取公交車內的擁擠狀態特征，識別結果要優于AlexNet和GooleNet。由于改進VGG模型減少了全連接層數量，大量降低了訓練參數量，因此在識別精度上略高于標準VGG。從測試結果看，文中提出的改進VGG-16模型比其它模型方法具有更好的識別準確率，更適合解決公交車擁擠狀態識別的實際問題。

5 結束語

對公交車內擁擠識別問題進行研究，在標準VGG-16網絡基礎上，用2個全連接層替換原有的3個全連接層，并用4標簽Softmax分類器替換原有的分類器，利用遷移學習對建立好的公交車擁擠狀態四分類數據集進行訓練和測試。

對比其它方法，改進后的VGG模型識別精度更高，準確率達到96.1%，且比標準VGG模型收斂更快，更加穩定，能更好地解決公交車擁擠狀態識別問題。下一步要對模型的卷積層和池化層的結構進行優化，提高模型對于模糊分類界限state1和state2的特征提取能力和識別精度。