CNN與SVM和ResNet相結合的牛臉識別系統模型研究與實現

朱敏玲，趙亮亮，和首杰

(北京信息科技大學 計算機學院，北京 100101)

0 引言

隨著畜牧養殖業向規模化、信息化、精細化的方向發展，集約化牛場將漸漸取代散戶養殖等小規模的養殖模式。在大規模化牛場中要實現對牛個體自動化、信息化的日常精細化管理，實現對每頭牛的健康狀況追蹤以及奶源和肉制品追溯，必須實現質量追溯體系的搭建與完善，而關鍵又在于對牛個體身份的識別[1]。傳統的牛個體身份識別需借助外部工具對身體某部位進行標記或者佩戴標記裝置，識別方法具有侵入性，不僅嚴重影響日常行為，還可能引發全隱患[2]。

從20世紀60年代以來，在物體識別的領域內，人臉識別一直受到眾多學術人士的研究和嘗試，尤其在計算機領域內視覺處理與圖像處理方向和相關的生物學方向激起了研究人員的探討和興趣[3]。目前，對于人臉的檢測和識別取得了非常大的成功。牛臉較其身體的其他部位具有眼睛、鼻子、嘴等結構及紋理的突出特征，比較適合牛不同身份的標識。當前鑒于人臉識別的技術在很多行業內部獲得廣泛應用，對牛臉識別技術的發展具有較強的可借鑒空間。Hadad等[4]采用基于分割的分形紋理分析提取牛鼻特征，提出人工神經網絡(ANN)和支持向量機(SVM)建立牛分類模型。Kumar等[5]利用加速魯棒特征(SURF)和局部二值模式(LBP)等紋理特征描述，從不同高斯金字塔平滑級別的牛鼻口圖像中提取特征，同時采用融合加權和規則方法對高斯平滑層上的特征描述進行融合，完成對牛分類。姚禮垚等[6]針對傳統檢測方法在牛臉檢測應用方面存在的檢測設備易損、檢測結果不理想等問題，使用目前有代表性的基于深度網絡模型的目標檢測方法(SSD，Faster R-CNN和R-FCN)對牛臉檢測進行試驗對比。蔡騁等[7]指出牛場當中的視頻監控圖像在實際生產環境下由于攝像機拍攝方位存在不足、太陽光照不均勻、牛場中一些物體遮擋牛臉等一系列問題，首先采用級聯式檢測器進行定位采集牛臉正面圖像，在獲取定位到牛臉正面信息時，利用監督式梯度下降算法、局部二值算法和主動外觀模型算法，驗證了對于牛臉進行特征點檢測的可行性和實用性。此類方法的關注點只有牛的正臉方面，導致在前面準備工作量巨大，并且自動采集牛臉數據在實際的實施過程中很難實現。因為人臉具有不同的五官特征，所以對于人臉識別是比較容易[8]；而牛臉上面的毛發和顏色分布是不穩定的，并且圖像采集的過程是無法控制的，牛沒有辦法在攝像頭前長時間靜止，尤其在大自然的環境下，太陽光時刻變化、照相機視角和距離的變化、復雜的背景、牛自身的活動等因素導致圖像采集十分困難。采集到不規則的牛臉會對于模型初步訓練和最后的識別精度有極大影響。因而與人臉識別相比，牛臉表面特征雜亂性以及各種外部因素的影響，導致對于牛臉的識別技術在實際生活中沒有大規模普及。故而，基于CNN在人臉識別上的優勢，展開針對牛臉的CNN遷移與改進方法研究有一定的可行性并且也是非常重要的。

1 傳統的卷積神經網絡

卷積神經網絡(CNN)是深度學習的重要算法之一，是卷積計算且具有深度結構的前饋神經網絡[9]。卷積神經網絡表征學習能力強，能夠按其階層結構對輸入信息進行平移不變分類[10]。如圖1所示，CNN通常含有輸入層、卷積層、池化層、全連接層和Softmax層[11]，其中卷積層占最為重要的地位。除此之外，卷積神經網絡還有兩大重要的特點，分別為局部感知和參數共享[12]。局部感知是每個神經元不與上一層的全部神經元連接而只和其中感受野內的神經元連接，因為這樣只能感知到感受野內的部分而并非全局，因此叫做局部感知[13]。之所以這樣做是因為小范圍內的像素之間聯系較大，離得越遠的像素之間通常關聯越小[14]。權值共享就是對于圖像中的每一種特征只通過一個卷積核來進行過濾。如此，網絡通過這2個重要的特點來減少參數達到簡潔。處理圖像問題時，需要考慮到圖片的大小規格，例如對一個900×900圖像的訓練難以實現，所以要想辦法減少參數。

圖1 典型CNN結構

卷積神經網絡中卷積層、池化層和全連接層，每一層都將實現不同的功能，每個連接層代表不同類型數據的線性映射。

1)卷積層(Convolution Layer)

每個卷積核通常都可以理解為一個n×n的小方塊，也叫濾波器，這樣的一個卷積核在圖像矩陣上對卷積核范圍內的數字通過一定的運算法則進行壓縮。如果是灰度圖，只使用二維的卷積核即可。如果圖像是彩色圖，需要使用的卷積核也從小正方形變成了小正方體。而卷積層就是多個卷積核疊加而形成的。

2)池化層(Pooling)

池化層實現圖像特征選擇和去除冗余信息。池化層通過相鄰區域內對特征圖信息提取替換特征圖中單個像素點的信息，保留高強度區域，過濾掉低強度區域，將特征矩陣進行壓縮，增強特征表示，進而縮小參數矩陣的尺寸，有效地使全連接層中的參數數量減少以保證全連接層擬合正常[15]。

3)全連接層(Fully Connected Layer)

全連接層就是把神經元連接起來，位于 CNN 隱含層的最后，并且其信號傳遞具有特異性，只將信號傳遞到全連接層，并將拓撲結構的特征圖轉換成向量形式輸出，通常再加上Softmax[16]。Softmax 函數主要起分類作用，并將多個神經元的輸出映射到(0，1)區間范圍內，將分類轉化為概率比較問題[15-16]。

2 CNN-ResNet-SVM網絡模型設計

CNN能夠從非常多的樣本當中學習到特征表示，具有強大的分類能力，整個網絡表達了原始圖像像素與類特征之間的映射關系[17]。但是牛臉識別是一個新任務，沒有像人臉一樣有標準的大規模訓練數據集，且現場采集的牛臉數據的質量也不高，因而，設計輕量化的網絡結構以及引入其他算法以應對小數據集。SVM支持向量機方法是一種采用結構風險最小化準則的學習方法，其模型本質是特征空間上間隔最大的線性分類器，具有更強大的泛化能力[18]。傳統機器學習算法在特征的選擇和提取過程中，存在憑借人工經驗去設計特征和選取特征的問題，最終會使識別的準確率降低。而基于CNN神經網絡提取特征通過網絡自動提取特征，解決了SVM等憑借經驗去設計和提取特征過程復雜且結果不好的問題[19]，而且提取的特征具有平移、傾斜、旋轉不變等特點。SVM需要比較少的樣本數量就可以達到與CNN一樣的識別效果，同時SVM決策分類方法的訓練時間長度也比復雜的神經網絡訓練時間相對少得多，并且預測速度也更快。

為進一步提升收斂速度，以及降低網絡深度引起的部分特征丟失和梯度彌散問題，引入殘差網絡(residual neural network，ResNet)模塊環節。即隨著網絡深度的增加，普通卷積神經網絡會出現訓練梯度彌散收斂困難而導致網絡性能退化的問題，所以提出了殘差網絡來解決普通卷積神經網絡的此類問題。殘差網絡本質上是在普通卷積神經網絡的基礎上增加了恒等映射，當網絡達到最優狀態時，殘差網絡中的殘差映射變為“0”，此時只剩下恒等映射，使網絡一直處于最優狀態[20]。

通過以上SVM以及殘差網絡的研究，本文中提出的改進結構如圖2所示。網絡結構包含3層卷積層、3層最大池化層、1層殘差單元層、1層平均池化層和1層SVM分類層。殘差網絡單元結構如圖3所示，該結構是一個3層的網絡結構，其中中間卷積層的卷積核大小為3×3，其他2個卷積層的卷積核大小為1×1。殘差單元直接將底層信息與高層信息進行融合，將特征映射到網絡的深層部分，防止特征減弱或消失。

圖2 CNN-ResNet-SVM網絡結構

圖3 殘差網絡單元結構

改進的卷積神經網絡對圖像處理采用更大的感受野，首先通過卷積核大小為 5×5進行卷積運算，提取原始圖像的特征，然后分別通過一個5×5和3×3的卷積運算進一步提取圖像特征；在進行卷積操作之后再通過一個2×2的池化對特征進行過濾；在進行殘差之前先對特征圖進行降維操作，輸出的維度為64維，經過殘差單元之后維度變為128，再經過一個平均池化層；平均池化層在保持旋轉、平移、伸縮等情況下減少特征和參數，最后在SVM層依據前面環節所提取的特征進行分類識別。

3 實驗與分析

本實驗數據來源于四川省宜賓市養殖場所拍攝的圖像，總計70頭西門塔爾肉牛，原始圖像總計2 792張，其中訓練使用2 218張，測試使用574張。同時，訓練網絡的實驗環境是：操作系統為Window10 64位，處理器為Intel i7-4770@3.40 GHz，GPU為GTX1080，內存為16 GB，未使用GPU cuda加速。

3.1 訓練與結果分析

目前，對于人臉檢測和識別已經相當完善，存在著大量可用于實驗的公開數據集。人臉各部位的位置及結構穩定，方便進行檢測和識別。而牛臉的毛發和紋理變化是不確定的，并且圖像采集的過程是無法控制的，牛沒有辦法在攝像頭前長時間靜止，尤其在大自然的環境下，太陽光照條件時刻變化、照相機視角和距離的變化、復雜的背景、牛的運動等因素導致圖像采集更難。將原始圖像進行了數據增強與擴展，將訓練測試集擴充到了27 920張。訓練總迭代次數共350次，訓練時間313.16 s，預測時間2.06 s，識別率達到了95.12%。圖4為某次訓練過程中損失值與準確率結果，由于現場采集的圖像都為客觀數據，而不是理想化的數據，其結果曲線值存在一定的波動，但總體來說，隨著訓練輪次的遞增，對于牛臉的識別準確率是顯著提升的，同時收斂的速度也在變快。

圖4 本文與傳統CNN-Softmax模型曲線

通過模型訓練過程與結果分析，本文算法將CNN、ResNet和SVM相結合，將單一化的卷積神經網絡的結構進行優化，減少了模型的參數數量，同時模型的收斂速度更快并且還有更高的識別精度。卷積神經網絡在進行訓練之前，要先給出圖像及其對應標簽，是一種有監督學習模型。在改進的CNN中，在進行SVM分類之前先通過一個平均池化層，將提取的特征向量進行過濾，有助于最后SVM的分類。SVM算法相比較于傳統的Softmax通過概率輸出來說，可以只通過其中的關鍵特征數據對最后決策結果進行評估，可以有效剔除部分無關的數據，不用考慮樣本中的全部特征數據，具有很好的魯棒性，對牛臉識別準確率有明顯提升。CNN-ResNet-SVM結合的算法將網絡提取到的圖像特征轉為特征向量，最后通過SVM實現對圖像的分類。這樣結合起來的算法運行時間短、收斂速度快且識別率高。CNN-ResNet-SVM算法本質上是在網絡中通過殘差結構保證了特征在訓練過程中不會減弱，最后用SVM輸出分類結果代替了傳統神經網絡中用Softmax來進行分類的結構。

3.2 卷積層特征提取效果分析

本文的思想是CNN-ResNet-SVM首先通過卷積神經網絡提取牛臉特征，經過池化操作過濾特征圖信息且保留重要特征；然后通過一個全局平均池化將特征圖像全局進行壓縮，轉換為特征向量的格式，作為SVM的輸入，最后由SVM對牛臉圖像進行分類決策得到識別結果。同時對各層卷積作用后的結果進行了可視化，如圖5所示。圖5(a)第1層體現了邊緣特征；圖5(b)第2層對角、輪廓等進行了展現，本層體現出的效果更接近人類視覺；而圖5(c)第3層則更加抽象。

圖5 各卷積層特征提取結果可視化圖

3.3 識別效果分析

在PC端運用訓練好的模型識別效果，如圖6所示，在不同光線、不同角度及背景下的識別效果中，當背景有干擾及角度大幅度變化時，識別的錯誤率會提升，如第1行第1列的角度干擾導致了錯誤判斷。

圖6 模型訓練后PC端識別結果

同時，將訓練好的模型移植到手機端，借助Tensorflow Lite工具設計Android平臺的加載模型框架，并設計出圖片處理框架，運用手機攝像頭拍攝圖片或者通過系統相冊選擇圖片加載到 APP 界面，隨即就可以在圖片下方顯示預測結果。用OpenCv對數據集圖片進行預處理并用ImageDataGenarator對數據集進行增廣，最后通過Android studio對2個框架開發成安卓手機 APP。手機端為華為榮耀款，其主要配置：CPU型號為天璣900；運行內存為8 GB；前攝主攝像素為1 600萬；后攝主攝像素為1億。如圖7所示，識別速度最快在128 ms左右，識別率最差95.12%，最好達97.358 2%。

圖7 智能牛臉識別系統APP端識別結果

如表1所示，匯總了幾個最新的牛身份識別相關方法，本文的算法在準確率上比ANN+SVM、SURF+LBP、SSD模型高，比R-FCN、Faster R-CNN要略低一點；但R-FCN、Faster R-CNN模型參數量大并且運行時間較長，實用性差，同時它們只是實現了牛臉檢測發現功能，并未實現牛的身份確認功能。

表1 最新檢測結果

經過以上實驗驗證，CNN-ResNet-SVM 模型的優點在于改進后CNN網絡結構中，由于ResNet環節的引入加速了模型收斂速，并保證了進入SVM前的低級與高級抽象特征內容都更豐富；而SVM作為CNN的最后一個環節，不僅能加速判斷分析的速度，同時充分利用其具有的最優超平面的特性使得系統的泛化性較傳統CNN顯著提升。

4 結論

本文調研和分析了牛身份識別現存問題以及計算機技術在人臉識別上取得的方法和成績，并分析圖像方法在自動牛臉識別上的難點問題，在牛臉識別上的算法模型和實現方法上展開了研究。傳統的圖像機器學習識別算法中，提取優質特征對人工經驗的依賴性較大，對于識別問題存在如何提取出有效特征的復雜工程問題，使得實驗過程過于繁瑣。基于深度學習的神經網絡識別算法中，對數據量的要求較高，而且層數越多，預測識別的時間越長，且收斂速度嚴重減慢。此模型結合了CNN自適應提取特征以及殘差網絡結構對淺層和深層特征差異增強的能力和傳統機器學習中的SVM泛化能力強的特點，通過CNN提取特征可以增強數據的個體差異并保證所提取的特征內容更豐富和準確，最終提高SVM判斷識別物體的速度和精度。實驗結果證實了基于CNN-ResNet-SVM用于牛臉識別分類的可行性及模型的泛化性能，即使在小樣本識別任務中也同樣具有優秀的識別精度和快速的實時響應速度。

但是該模型和算法在光照強度與角度變化較大時，識別準確率明顯下降，值得繼續關注和研究的。在未來的工作中，將進一步研究該模型，從引入噪聲訓練的角度出發提升模型對于抗干擾的魯棒性。