基于改進特征袋模型的奶牛識別算法

陳娟娟　劉財興　高月芳　梁云

摘要：針對特征袋（BOF）模型中存在特征計算耗時、識別精度低的不足，提出一種新的改進BOF模型以提高其目標識別的精度和效率，并將其應用于奶牛個體識別。該算法首先引入優化方向梯度直方圖（HOG）特征對圖像進行特征提取和描述，然后利用空間金字塔匹配原理（SPM）生成圖像基于視覺詞典的直方圖表示，最后自定義直方圖交叉核作為分類器核函數。該算法在項目組自行拍攝的數據集（包含15類奶牛、共7500張奶牛頭部圖像）上的實驗結果表明，使用基于SPM的BOF模型將算法的識別率平均提高2個百分點；使用直方圖交叉核相比使用高斯核將算法的識別率平均提高2.5個百分點；使用優化HOG特征，相比使用傳統HOG特征將算法識別率平均提高21.3個百分點，運算效率為其1.68倍；相比使用尺度不變特征變換（SIFT）特征，在保證平均識別精度達95.3%的基礎上，運算效率為其7.10倍。分析結果可知，該算法在奶牛個體識別領域具有較好的魯棒性和實用性。

關鍵詞：特征袋模型；圖像識別；梯度直方圖特征；空間金字塔匹配；尺度不變特征變換特征

中圖分類號：TP391.41

文獻標志碼：A

0引言

互聯網的興起使得現今各行業逐漸朝著工業化、智能化方向發展，其中奶業發展是農業發展中國家十分關注的問題。隨著信息技術和多媒體技術的飛速發展與廣泛應用，圖像數量日益增多，圖像識別和分類的研究與應用成為計算機視覺領域中越來越重要的課題[1]。基于計算機視覺技術，利用奶牛圖像進行奶牛個體識別和分類是實現奶牛信息化管理的有 效手段，對奶業的飛速發展起著至關重要的作用。

傳統的圖像識別與分類算法有很多，特征袋（Bag of Features， BOF）[2]是最具代表性的一類。該算法由文本領域的詞袋（Bag of Word， BOW）算法發展而來，其出現為基于內容的圖像描述和處理以及對圖像的語義理解開拓了新思路。該算法主要用于計算機視覺領域的圖像分類、目標識別和圖像檢索[3-4]，近年來，也開始用于顯著性區域檢測[5]、行為識別[6]、糖尿病患者的食物識別系統[7]和人喉表皮樣癌細胞 （HEp-2）的識別分類[8]。隨著該算法在各領域的廣泛應用，其存在的計算效率低、識別精度有限等問題成為研究者們越來越關注的內容，為此，不斷有研究者嘗試新的方法以改善上述問題。為提高算法計算效率，有學者提出較快速的局部特征描述子DAISY[9]和快速魯棒特征（Speeded Up Robust Features， SURF）[10]來替換尺度不變特征變換（Scale Invariant Feature Transform， SIFT）進行圖像特征提取以縮短特征提取時間。為提高算法識別率，有學者嘗試提高BOF表示的判別力，例如，文獻[11]提出利用均值漂移方法對視覺單詞進行聚類以產生具有更高判別力的高序語義級視覺詞典；文獻[12]把視覺單詞的空間分布信息考慮在內提出了一種更有判別力的視覺單詞空間合并方法；文獻[13]提出了一種新的基于直方圖向量的無監督降維框架，以創建一個緊湊和有判別力的BOF表示；文獻[14]則提出了一種用于目標跟蹤的軟分配BOF算法，試圖利用軟分配來提高BOF表示的判別能力；此外，文獻[15]提出采用多種特征描述符相結合的方式進行圖像特征描述以提高算法的識別精度。

上述方法在一定程度上提高了BOF算法的識別精度和計算效率，但是這些方法僅適用于某種特定的情境。為進一步提高BOF的計算性能和識別精度并將其應用于奶牛個體識別，本文提出了一種新的改進BOF模型。該模型將優化后的方向梯度直方圖（Histogram of Oriented Gradient， HOG）特征[16]引入到基于空間金字塔匹配（Spatial Pyramid Matching， SPM）[17]的BOF模型中，并使用自定義的直方圖交叉核（Histogram Intersection Kernel）[18]作為分類器的核函數。使用基于SPM的BOF模型和基于直方圖交叉核的分類器可提高算法識別精度；使用本文優化HOG特征相比使用傳統HOG特征既提高了算法計算性能，又改善了算法識別性能；相比使用SIFT特征在保證識別精度的基礎上大大改善了算法計算性能。將本文算法用于奶牛個體識別，奶牛個體的實驗用數據集為該奶牛在不同姿態、不同背景、不同角度下拍攝得到的若干張具有判別力的圖像，因此可將奶牛個體視為目標識別中的一個類別來分析處理。實驗中，用本文算法分別對5類、8類、10類、12類、15類奶牛識別分類，在每類奶牛有500張圖像（80%作訓練集，20%作測試集）的情況下，識別精度平均可達95.3%，分析結果表明本文算法在奶牛個體識別領域。

1基于SPM的BOF模型

在自然語言處理和信息檢索領域中有一種比較常見的用于文本分類的模型——詞袋（BOW）模型，該模型將文本看作是若干單詞的集合，忽略單詞之間的語法和語序關系。隨后，圖像研究領域的學者將這一思想引入到圖像檢測和圖像識別領域中，將圖像看作是局部特征的集合，BOF模型由此誕生。BOF模型應用在圖像識別領域主要包括以下步驟：首先是特征提取和特征描述，BOF模型多采用SIFT特征對圖像進行描述；然后是構造視覺詞典，選擇一種聚類算法對圖像的特征描述符進行聚類，通常采用的聚類算法是K-均值（K-means）；最后是訓練分類器對結果識別分類，比較常用的分類器是支持向量機（Support Vector Machine， SVM），常用的核函數有高斯核和線性核。

將場景分類中常用的空間金字塔匹配原理引入到BOF模型中，即可得到基于SPM的BOF模型[16]。該模型的基本思想是利用空間金字塔對圖像進行匹配、識別和分類，其工作原理如圖1，圖中的圓形、菱形和三角形分別表示三種不同的特征類型，三種不同分層方法的權重分別是1/8，1/4，1/2。空間金字塔匹配方法將特征集映射到多分辨率的直方圖空間，在該空間中計算加權的直方圖交叉結果，以此尋找特征集的最佳匹配。因此，空間金字塔匹配的核心思想在于將圖像的特征集映射到高分辨率的空間內進行匹配，匹配的最終結果是不同分辨率下經過不同加權后匹配結果的和。

2改進的BOF模型

BOF模型存在計算性能差、識別精度低的不足，上述基于SPM的BOF模型雖然提高了該模型的識別精度，但其計算性能仍有待提高。BOF模型的運算耗時主要集中在特征提取和描述階段，其中SIFT特征維數較高、計算復雜度較大、特征計算耗時、執行效率低是導致算法計算性能差的一個很大因素。為此，本文將優化后HOG特征引入基于SPM的BOF模型替換SIFT特征以改善算法計算性能。優化HOG特征相比SIFT特征減少了特征維度，降低了特征復雜度，縮短了特征計算時間，從而提高了整個算法的計算性能。選擇適當的特征提取算法對圖像進行特征提取后，需要利用提取到的圖像特征完成識別分類任務，此時分類器的選擇至關重要。為進一步提高算法識別精度，本文分析對比了基于高斯核和直方圖交叉核的兩種SVM分類器的識別性能，實驗表明后者更適合于本文的奶牛識別算法，因此最終選擇后者作為本文算法的分類器。

2.1優化HOG特征

HOG是計算機視覺領域中常用于目標檢測的描述符，傳統HOG特征實現步驟為：首先對圖像進行歸一化處理，將檢測窗口內的圖像劃分為若干個cell（細胞單元）；然后統計每個cell中各像素點的梯度或邊緣的方向為每個cell建立直方圖，將相鄰的若干個cell組成block（塊），統計整個塊的直方圖并對其進行歸一化；最后，把所有block的直方圖組合得到HOG特征描述符，即36維的HOG特征。

為進一步降低特征復雜度，提高算法計算性能，本文采用與文獻[19]相似的思想，在不引起性能損失的前提下對傳統36維HOG特征解析降維，得到31維的優化HOG特征并將其作為本文特征描述符。優化HOG特征相比傳統HOG特征省去了計算稠密特征映射時的投影過程，減少了特征維度，降低了特征復雜度，節省了特征計算時間，縮短了整個算法的運行時間，從而提高了算法計算效率，但是識別性能并未因此受到影響。優化31維HOG特征的具體實現如下：

在實際使用中發現，有些目標類別適合使用對比度敏感特征，有些則適合使用對比度不敏感特征。為了使本文的優化HOG特征能適用于盡可能多的目標類別，文本既使用了對比度敏感特征又使用了對比度不敏感特征。假設C是聚合有9個對比度不敏感方向基于cell的像素級特征映射，D是聚合有18個對比度敏感方向基于cell的像素級特征映射。使用式（8）定義C和D的4種歸一化因子，從而得到4×（9+18）=108維的特征向量F（i， j）。本文沒有直接使用這個108維的特征向量，而是對其解析投影降維：27個在不同歸一化因子上的累加和，F中的每個方向通道對應一個；4個在不同方向上的累加和，每個歸一化因子對應一個。這樣最終得到的特征映射是31維：27維對應不同的方向通道，其中包括9個對比度不敏感方向和18個對比度敏感方向；另外4維捕獲（x，y）周圍4個cell組成的block的梯度能量信息。

2.2直方圖交叉核

若要實現圖像的識別分類，在提取得到圖像的優化HOG特征后，要選擇適當的分類器利用提取到的特征完成識別分類任務，BOF算法多采用SVM作為分類器，因此本文也選用SVM作為分類器。SVM作為分類器時，一個很關鍵的步驟是核函數的選取[20-21]，選擇適當的核函數可在一定程度上提高算法的識別性能，本文在3.3.1節中為對比分析高斯核與直方圖交叉核的識別性能進行了大量實驗，最終確定選用后者作為本文SVM分類器核函數。直方圖交叉核是圖像分類領域常使用的核函數，常適用于圖像的直方圖特征分類。直方圖交叉核的形式可表示為：

2.3算法描述

本文算法在BOF模型基礎上，通過引入優化HOG特征等對其進行了一系列優化改進。算法具體流程如圖2，圖中SVM分類過程使用LIBSVM軟件包實現，選擇的SVM類型為C-SVC，松弛變量為200，所用核函數為自定義的直方圖交叉核。

將從牛場拍攝得到的奶牛頭部圖像規格化，統一命名，初始化算法的一系列路徑變量，為所有圖像分配指定標簽（用數字表示），如第一類奶牛的標簽為1。將圖像名稱、存儲位置、標簽等相關信息以mat文件保存。

提取優化HOG特征

利用優化HOG特征提取算法對預處理后的奶牛頭部圖像進行特征提取和描述，獲取每張奶牛頭部圖像的特征信息。在local文件夾中為每張圖像建立一個文件夾，將每張圖像的HOG特征以mat文件的格式保存在相應的文件夾中。

K-Means聚類

用K-Means聚類算法構造視覺詞典，本文初始聚類質心隨機選取，通過限定迭代次數收斂出最終的聚類中心，構造出視覺詞典。構造的視覺詞典以mat文件的形式保存在global文件夾中。

引入SPM對圖像進行基于視覺詞典的直方圖表示

利用第1章介紹的方法生成所有奶牛頭部圖像的直方圖表示，結果以mat文件的格式保存在global文件夾內。

SVM分類器識別分類

該過程直接使用由林智仁等開發出來的LIBSVM軟件包[17]實現，核函數選用本文自定義的直方圖交叉核。

3實驗結果與分析

3.1實驗環境

本文實驗是在64位的Windows 7操作系統下完成，Matlab版本為2014a；主機內存為4.0GB，CPU為4核的i5-3470，主頻為3.2GHz。

3.2實驗數據集

本文實驗用奶牛頭部圖像是項目組從牛場中實地拍攝而來，包含15類奶牛，共7500張奶牛頭部圖像。每類奶牛有500張圖像，將該類奶牛所有頭部圖像統一命名后按照名稱排序，取前400張作為訓練集，其余100張作為測試集。本文將奶牛頭部圖像規格化為400×400像素大小，選擇cellsize=8，p=9，因此每張圖像的優化HOG特征為（400/8）×（400/8）×31維。字典大小為200，金字塔層數為3。該數據集取自現實自然場景，奶牛姿態比較多，圖像背景比較復雜，部分圖像光照條件不好，比較模糊。數據集中部分圖像截圖如圖3所示。

3.3實驗結果與分析

本節在收集得到的數據集上對基于直方圖交叉核和高斯核的分類器的識別性能進行比較分析，并分析研究空間金字塔匹配原理對識別性能的影響，最后對基于傳統HOG特征算法、基于SIFT特征算法和本文算法的識別性能和計算性能比較分析，以驗證本文算法的有效性和合理性。實驗中算法計算性能用運算時間衡量，識別精度用平均正確率衡量。

3.3.1識別性能分析

1）直方圖交叉核提高識別精度。

為了驗證選用直方圖交叉核的合理性，本文分析對比了兩種核函數：高斯核和直方圖交叉核。實驗分為5組，將15類奶牛按照名稱排序后分別對其中的前5類、8類、10類、12類和15類奶牛識別分類。表1給出的是BOF模型中選用優化HOG作為特征描述符，使用高斯核和直方圖交叉核作為分類器核函數時的識別精度情況。選擇的SVM類型為C-SVC，松弛變量為200，其中高斯核參數gamma=2，直方圖交叉核為本文自定義核，N表示類別數目。

由表1可知，在實驗環境和參數設置相同的條件下，選用直方圖交叉核和高斯核作為分類器核函數時，算法的平均識別精度分別可達93.3%、90.8%，選用直方圖交叉核作為核函數比選用高斯核作為核函數能將算法的識別性能平均提高將近2.5個百分點，并且隨著奶牛類別數目的增多，其提高的識別率整體上呈現增大的趨勢。因此，本文算法選用直方圖交叉核作為分類器核函數以提高識別性能。

2）空間金字塔提高識別精度。

為了驗證金字塔匹配原理的有效性，本文同樣是進行了5組對比實驗，將15類奶牛按照名稱排序后分別對前5類、8類、10類、12類和15類奶牛識別分類。表2給出了將優化HOG特征分別引入BOF模型和基于空間金字塔匹配的BOF模型時的識別精度情況，分類器核函數為本文自定義直方圖交叉核。將優化HOG特征引入到基于SPM的BOF模型即為本文算法，N表示類別數目。

由表2可知，本文算法和BOF模型的平均識別精度分別可達95.3%、93.3%。本文算法能夠將算法的識別精度平均提高將近2個百分點，驗證了本文算法使用基于金字塔匹配的BOF模型的有效性。

3.3.2與基于其他特征的算法對比分析

本文算法，選用直方圖交叉核作為分類器核函數，對BOF模型的識別性能作出優化。為驗證本文優化HOG作為特征描述符相比傳統HOG作為特征描述符在不引起性能損失的前提下提高了算法的計算效率、相比SIFT作為特征描述符在保證識別精度的基礎上提高了算法的計算性能，同樣是進行了上述5組對比實驗。表3將本文算法與其他算法對比分析，給出了本文算法，分別使用傳統HOG、優化HOG、SIFT作為圖像特征描述符時算法的運行時間和識別精度。為使實驗數據具有可比性，實驗中基于傳統HOG、SIFT特征的算法其圖像大小、金字塔層數、字典大小等參數設置與本文算法完全一致，分類器核函數均為本文自定義直方圖交叉核。

從表3的結果可知，在實驗環境和參數設置完全相同的條件下，本文算法和基于傳統HOG特征算法的平均識別精度分別可達95.3%、74.0%。使用本文優化HOG特征相比使用傳統HOG特征，算法識別性能平均提高21.3個百分點，運算效率為其1.68倍，證明本文優化HOG特征的優越性。

另一方面，在實驗環境和參數設置相同的條件下，文本算法和基于SIFT特征算法的平均識別精度分別可達95.3%、95.6%。導致本文算法平均識別精度較低的主要原因在于第2組實驗中二者的識別精度相差較大，這與本文算法中K-Means的初始聚類質心是隨機選擇的有關。與使用SIFT作為特征描述符的算法相比，使用優化HOG作為特征描述符的本文算法在保證識別精度平均達到95.3%的基礎上，計算性能為其7.10倍，并且隨著奶牛類別數目的增多，優化HOG作為特征描述符時的識別精度逐漸超過SIFT作為特征描述符時的識別精度，其提高的計算性能也出現增多的趨勢。

綜合分析表3的結果可知，本文算法具有較好的魯棒性和實用性，在實驗數據集部分圖像噪聲較多、干擾較大的情況下依然能夠取得好的實驗結果。

4結語

本文算法在BOF模型的基礎上，引入空間金字塔匹配原理對其加以改進，并引入優化31維HOG特征作為圖像特征描述符，在此基礎上選用圖像處理領域中常用于直方圖特征分類的直方圖交叉核作為分類器的核函數。將該算法用于奶牛個體識別，在本文數據集上的實驗結果表明，本文算法具有較好的魯棒性和實用性，使用基于空間金字塔匹配的BOF模型和基于直方圖交叉核的分類器提高了算法的識別性能，優化HOG作為特征描述符在保證識別精度的基礎上改善了算法的計算性能，縮短了計算時間。本文接下來的研究方向為針對具體的奶牛個體識別問題，在K-Means聚類階段制定更好的初始質心選取規則，以降低識別精度的隨機性。

參考文獻：

[1]王澍，呂學強，張凱，等.基于快速魯棒特征集合統計特征的圖像分類方法[J].計算機應用，2015，35（1）：224-230. （WANG S， LYU X Q， ZHANG K， et al. Image classification approach based on statistical features of speed up robust feature set [J]. Journal of Computer Applications， 2015， 35（1）： 224-230.）

[2]CSURKA G， DANCE C R， FAN L， et al. Visual categorization with bags of keypoints [EB/OL]. [2015-11-06]. http：//www.cs.haifa.ac.il/～rita/vision_lab_course/2007/Project3_files/csurka_dance_bags_keypoints.pdf.

Proceedings of the 2004 Workshop on Statistical Learning in Computer Cision. 2004： 1-2.原稿這個查不到完整要素，ECCV 04與這個會議全稱完全不一樣

[3]WU L， HOI S C H， YU N. Semantics-preserving bag-of-words models and applications [J]. IEEE Transactions on Image Processing， 2010， 19（7）： 1908-1920.

[4]UIJLINGS J R R， SMEULDERS A W M， SCHA R J H. Real-time visual concept classification [J]. IEEE Transactions on Multimedia， 2010， 12（7）： 665-681.

[5]ZHENG Z， ZHANG Y， YAN L. Global and local exploitation for saliency using bag-of-words [J]. IET Computer Vision， 2014， 8（4）： 299-304.

[6]YU J， JEON M， PEDRYCZ W. Weighted feature trajectories and concatenated bag-of-features for action recognition [J]. Neurocomputing， 2014， 131： 200-207.

[7]ANTHIMOPOULOS M M， GIANOLA L， SCARNATO L， et al. A food recognition system for diabetic patients based on an optimized bag-of-features model [J]. IEEE Journal of Biomedical and Health Informatics， 2014， 18（4）： 1261-1271.

[8]SHEN L， LIN J， WU S， et al. HEp-2 image classification using intensity order pooling based features and bag of words [J]. Pattern Recognition， 2014， 47（7）： 2419-2427.

[9]ZHU C， BICHOT C-E， CHEN L. Visual object recognition using daisy descriptor [C]// ICME 11： Proceedings of the 2011 IEEE International Conference on Multimedia and Expo. Washington， DC： IEEE Computer Society， 2011： 1-6.

[10]BAY H， TUYTELAARS T， VAN GOOL L. SURF： speeded up robust features [C]// ECCV 06： Proceedings of the 9th European Conference on Computer Vision — Volume Part Ⅰ. Berlin： Springer-Verlag， 2006： 404-417.

[11]WANG M， ZHANG C， SONG Y. Extraction of image semantic features with spatial-range mean shift clustering algorithm [C]// Proceedings of the 2010 IEEE 10th International Conference on Signal Processing. Piscataway， NJ： IEEE， 2010： 906-909.

[12]MU G， LIU Y， WANG L. Considering the spatial layout information of Bag of Features （BoF） framework for image classification [J]. PloS One， 2015， 10（6）： e0131164.

[13]CUI J， CUI M， XIAO B， et al. Compact and discriminative representation of bag-of-features [J]. Neurocomputing， 2015， 169： 55-67.

Learning for Visual Semantic Understanding in Big Data

ESANN 2014 — Selected papers from the 22nd European Symposium on Artificial Neural Networks， Computational Intelligence and Machine Learning （ESANN 2014）

Industrial Data Processing and Analysis — Selected papers from the 11th World Congress on Intelligent Control and Automation （WCICA2014）

[14]REN T， QIU Z， LIU Y， et al. Soft-assigned bag of features for object tracking [J]. Multimedia Systems， 2014， 21（2）： 189-205.

[15]ABDULLAH A， VELTKAMP R C， WIERING M A. Ensembles of novel visual keywords descriptors for image categorization [C]// Proceedings of the 2010 11th International Conference on Control Automation Robotics & Vision. Piscataway， NJ： IEEE， 2010： 1206-1211.

[16]DALAL N， TRIGGS B. Histograms of oriented gradients for human detection [C]// CVPR 2005： Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2005， 1： 886-893.

[17]LAZEBNIK S， SCHMID C， PONCE J. Beyond bags of features： Spatial pyramid matching for recognizing natural scene categories [C]// CVPR 06： Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2006， 2： 2169-2178.

[18]CHANG C-C， LIN C-J. LIBSVM： A library for support vector machines [J]. ACM Transactions on Intelligent Systems and Technology， 2011， 2（3）： Article No. 27.

[19]FELZENSZWALB P F， GIRSHICK R B， MCALLESTER D， et al. Object detection with discriminatively trained part-based models [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（9）： 1627-1645.

[20]陳永健，汪西莉.FCM預選取樣本的半監督SVM圖像分類方法[J].計算機應用，2014，34（1）：260-264. （CHEN Y J， WANG X L. Semi-supervised SVM image classification method with pre-selected by fuzzy C-mean [J]. Journal of Computer Applications， 2014， 34（1）： 260-264.）

[21]王朔琛，汪西莉.參數自適應的半監督復合核支持向量機圖像分類[J].計算機應用，2015，35（10）：2974-2979. （WANG S S， WANG X L. Semi-supervised composite kernel SVM image classification with adaptive parameters [J]. Journal of Computer Applications， 2015， 35（10）： 2974-2979.）