應用輪廓變化信息的實驗鼠行為識別

洪留榮

?

應用輪廓變化信息的實驗鼠行為識別

洪留榮

(商丘師范學院計算機學院，河南 商丘 476000)

實驗鼠行為分析數據是神經學、生理學、藥物學等學科實驗數據的重要部分。針對實驗鼠缺少肢體運動信息的特點，提出一種實驗鼠多行為分析方法。提取實驗鼠輪廓的幀間變化信息，同時考慮變化信息與實驗鼠本身的位置關系，對行為視頻形成系列輪廓變化幀。在訓練階段，通過Pillar K-means聚類算法從系列幀中提取80個關鍵幀，并把每一個訓練行為視頻用對應關鍵幀頻數的直方圖表示。在測試階段，測試視頻用最近鄰法確定每一幀對應的關鍵幀，形成相應的關鍵幀直方圖，從而把分類問題變成一個直方圖相似性問題，再應用卡方距離進行分類。實驗結果表明，該方法對8種行為的分類準確率最高達到100%，最低達到95%。

行為分析；實驗鼠；相似性；變化信息；Pillar K-means算法；關鍵幀

1 概述

在神經科學、生物科學、藥物開發等領域的研究中，實驗鼠是常用的實驗動物，對它們的行為進行定量分析是獲取基礎實驗數據的重要內容。在行為分析這一領域，針對人的行為分析已經做了大量工作，并取得了很多優秀成果[1]，與實驗鼠行為分析不同的是，人的肢體為其行為分析提供了大量信息，而實驗鼠幾乎難以提取這些信息。

目前，實驗鼠的行為分析主要靠人工進行，費時費力。更重要的是由于人的干擾影響了實驗鼠的真實行為，從而造成實驗數據偏差，而應用視頻進行實驗鼠行為分析可以避免以上不足[2]。因此，近幾年國內外相關企業和科研人員進行了較為深入的研究。

文獻[3]利用輪廓曲率和譜系聚類算法對大鼠的體態進行識別。文獻[4]通過對小白鼠的體態分析其行為。

對實驗箱老鼠的行為，許多研究者提出一些自動分析系統，如文獻[5]提出老鼠行為結構的自動分析系統，文 獻[6-7]介紹的自動實驗箱監視系統等，大部分都依賴像紅外線光束等做一些簡單的監測。這些基于傳感器的自動分析方法能夠有效地監視動物的行為和行為發生的條件，但只局限于研究者所感興趣部分行為，即使是應用轉發器技術的商業系統也是如此。文獻[8]通過運動和功率頻譜分析來識別靜止、修飾和運動3種行為。

總體上目前研究主要限于對實驗鼠的跟蹤，在此基礎上，分析其速度、位置、區域、運動時間等參數或者是研究其興趣的幾種行為[9-10]。而對于動物行為譜中重要的行為，如懸掛、微動、行走、吃、喝水、修飾、直立和休息等行為研究較少，通過對文獻的查閱，只有文獻[11]對多種行為進行了綜合研究。它主要應用人的視覺機制，并結合一般的位置與速度特征完成實驗鼠8種行為的分析，由于其采用了多尺度和多方向Gobar濾波提取特征，并采用了分層處理，算法的時間復雜性較高，正確率也不滿足實際需求[11]。

輪廓(silhouette)是計算機視覺系統中提取特征的重要信息來源之一，許多文獻從輪廓信息中提取特征。文獻[12]用幀間不同的能量圖進行步態識別。文獻[13]應用輪廓開發出了人類行為的一種表示方法用于人的行為識別。文獻[14]應用輪廓邊界信息面積與寬度，通過傅里葉變換描述人的姿態特征，以識別人的姿態。

本文應用視頻輪廓幀差信息，針對實驗鼠行為譜中的8種行為進行分析識別。本文方法與其他方法的不同之處在于本文利用視頻輪廓幀差信息來提取關鍵幀，并提出一種行為描述子，把一種行為視頻用關鍵幀直方圖表示，從而只須用簡單的直方圖匹配方法就可以進行行為分類。

2 分析方法框架以及特征抽取

研究實驗鼠行為一般把實驗鼠置于一個特制的實驗箱中，本文稱為行為分析實驗箱。實驗箱內部環境比較穩定，實驗鼠的顏色也比較特殊，一般是黑色、灰色和白色3種。如圖1所示，視頻錄入時攝像機固定，以視頻系列幀作為輸入。

圖1 實驗鼠行為分析實驗箱

通過對實驗鼠視頻幀的分析，發現實驗鼠一種行為的輪廓幀間差與另一種行為的輪廓幀間差相差較大，可以作為行為分析的一種顯著性判別特征。利用這種特征，應用Pillar K-means算法提取出不同行為的關鍵幀，應用這些關鍵幀構建直方圖，形成行為描述子，并作為樣本數據。對待識別行為視頻，應用最近鄰法確定其對應的關鍵幀，并構建行為描述子，然后應用卡方距離作為待識別行為與樣本行為的相似性測度，給出分類。

總體上講，本文方法的框架分為2個部分：在訓練階段，從視頻中獲取實驗鼠輪廓，提取幀差信息，并考慮到這些信息與實驗鼠位置之間的關系，根據這些信息提取關鍵幀，給出樣本視頻的行為描述子。在分類階段，除行為描述子的算法和計算相似性不同外，其余都與訓練階段相同。在這個階段，根據抽取的行為描述子與樣本行為描述子進行相似性計算，然后確定待測行為類型，如圖2所示。

圖2 實驗鼠行為分析總體框架

2.1 實驗鼠輪廓的提取

行為分析實驗箱內部背景比較穩定，實驗鼠顏色比較固定，主要通過實驗鼠本身圖像的灰度值，經2個閾值二值化，計算公式如式(1)所示，然后尋找面積最大的塊作為實驗鼠的輪廓：

其中，表示一個像素的灰度值；1和2為2個閾值。

這種方法在前期開發的鼠跟蹤實驗箱中證明效果非常好，提取輪廓的正確率為99.7%。圖3是實驗鼠喝水與微動2種行為的部分輪廓示例。

圖3 實驗鼠的一組輪廓實例

2.2 特征的抽取

在實驗中發現，輪廓的幀間變化為實驗鼠行為分析提供了重要的信息。比如行走，幀之間的變化在一段時間內位于實驗鼠行走方向上的前后2個方向，直立時在一段時間內上或下交叉變化，而且這種變化有一定的規律，考慮到行為對象本身的身體大部分不提供對行為分類有意義的信息，如果利用這些信息還可能給分析帶來干擾。因此，本文只利用行為對象幀間變化信息進行行為分析。

圖4 3種行為部分原始幀圖像及其幀差圖像

視頻可以看成是一系列的幀，從這些系列幀中提取實驗鼠的輪廓最大邊界框圖像作為下一步抽取特征的幀。幀間差能反應運動信息，但如果間隔幀數少，變化的信息量就少，一般來說可以加大時間軸上間隔的數量(>1)來加大運動的信息量。

本文中把一個視頻系列中在時間軸上間隔為的幀定義為1,2,…,F(為幀的個數)，其幀間差定義為D1,D2,…,DF-1。

這些變化信息只是相對于整個幀而言，并沒有突出它們相對于實驗鼠前一幀整個輪廓之間的運動關系，因此，本文提取F與F(=1,2,…,-)中實驗鼠邊界框的共同邊界框內圖像作為幀間差圖像。這種做法有3個好處：(1)能有效利用實驗鼠的運行變化信息；(2)可以突出幀間變化相對于實驗鼠的位置信息；(3)避免同樣的行為由于實驗鼠運動位置不同產生的差異。

令F幀中實驗鼠邊界框的左上角點、右下角點在原始幀中坐標分別為pre、pre、pre、pre。F幀中對應的坐標分別為next、next、next、next，則輪廓幀間差圖像的左上角點和右下角點在原始幀中的坐標可簡單地由式(2)計算：

根據上述方法得到的幀差圖像大小隨著實驗鼠形狀大小的變化而變化，為處理方便，把它們歸一化為′大小的圖像，本文中取60′30像素，這些圖像將作為提取關鍵幀的對象。圖4中各幀差圖像中的白色點表示了運行信息，同時也包含了這些運動信息與實驗鼠對象之間的關系信息。

把包括這些信息的圖像幀轉換成一維矢量，對于′大小的圖像，該矢量長度為′。所有行為類型的訓練視頻得到的這些特征矢量用于K-means聚類以獲取每一個行為的關鍵幀。

2.3 關鍵幀的提取

從視頻中提取的基于輪廓的幀間差圖像矢量如果全部作為樣本，會增加冗余信息，同時也加重分類的計算負擔，通常的做法是根據這些樣本提取關鍵幀作為以后分類的依據[15-16]。K-means算法可以有效、快速地對大數據進行聚 類[17-18]，但由于選擇初始聚類中心的隨機性，算法難以達到全局最優，常常只達到一個局部最優，從而使分類結果產生錯誤，對有良好區分度的數據集用K-means進行分類，可以產生60%以上的錯誤率[17-19]。因此，在對幀差圖像進行聚類前，用Pillar算法[17]對初始聚類中心進行分析計算，Pillar算法根據承受屋頂分布不均壓力的柱子彼此之間要“盡可能地分離遠”這一原則，把待分類數據看成屋頂壓力分布，聚類初始中心看成為柱子位置。應用這一建筑學上的原理為K-means算法確定初始聚類中心，其算法步驟見文獻[17]。

通過這種K-means算法，把所有訓練視頻，即第1節提到的8種動物譜行為中的每一個視頻應用2.2節形成的矢量進行聚類，形成80個關鍵幀，把這個關鍵幀作為待分類時應用的樣本數據。

2.4 行為描述子

在所有參與訓練的視頻幀中，對于每一類行為中的一個輪廓幀差圖像，根據分類情況，每一個行為視頻可確定其所在關鍵幀。對訓練的一個行為視頻，統計出它對應于每個關鍵幀的個數，形成一個關于關鍵幀的直方圖，把這個直方圖作為一個行為的描述子。

圖5為喝水與懸掛2個視頻的實例，其中，為關鍵幀編號，為關鍵幀個數。這樣，一個行為視頻就變成了一個關鍵幀頻數的分布。如果待分類視頻也用這樣的行為描述子進行行為描述，那么分類問題就是一個判別直方圖相似的問題。

圖5 2個視頻行為描述子

2.5 行為分類

對于一個待分類視頻，根據2.1節所述形成系列輪廓幀差圖像，并轉換成系列一維矢量，對于每一個幀差圖像，應用最近鄰法確定它對應的關鍵幀，然后計算該行為視頻的直方圖，令為。應用距離判別與樣本直方圖的相似性。

其中，=1,2,…,8。

最終分類為：

即最小時對應的作為最終的分類結果。

3 實驗結果與參數獲取

3.1 實驗結果

本文實驗均在Jhang提供的實驗鼠視頻數據庫[11]基礎之上完成，實驗數據庫以及開發的軟件可從http://cbcl.mit. edu/softwaredatasets/mouse/上下載，共8種行為。

每個行為隨機選擇20個視頻作為訓練數據，聚類后得到80個關鍵幀，實驗所用參數為：=3，=80，′60′30。

具體的分類結果如表1所示。這些參數均是在實驗中通過對比得到的。實驗在Matlab7.0中完成，為比較結果，給出了文獻[11]中的結果，見表2。同時用Jhang提供的軟件進行了用相同的實驗視頻進行對比，結果見表3，3個表中的加粗數值表示正確識別率。

表1 本文方法得到的實驗結果

表2 文獻[11]中的實驗結果

表3 文獻[11]軟件得到的實驗結果

通過對比，本文算法有效地提高了精度。通過考慮位置后的輪廓差提取特征，對同一種視頻行為而言，均集中于某幾個關鍵幀，見圖5。這說明，這種特征提取方法對不同行為具有很好的判別性，從而可有效地提高分類效果。另一方面，把訓練視頻的關鍵幀直方圖均作為樣本，盡量地包含了不同行為視頻直方圖的不同情況。對一些誤識別，比如修飾與微動，主要是由于部分輪廓差比較相似，導致了部分關鍵幀分類錯誤。

對比表3與表2，實驗結果基本一致，一些數據有差異主要是由于訓練和測試的視頻及數量不一樣。

在文獻[11]中，應用視皮層原理提取實驗鼠運動速度和方向作為特征，而這2種特征數據在某2類行為中的相似性較大，比較行走與微動，造成了分類困難。

3.2 參數的獲取

在實驗中根據行為分類的總體錯誤率最小來選定最佳參數，歸一化大小′為20′20~80′80，行、列分別每次增加10作對比；聚類數為30~100，每次增加5作對比；為1~5，每次加1，這些參數每次變化組合，對視頻進行測試，以錯誤率作對比，錯誤率最小的參數組合作為最終參數，即本文實驗參數。圖6~圖8分別為實驗比較分析時參數變化時的實例圖。其中，圖6的實驗參數為=3，=80；圖7的實驗參數為′=60′30，=8；圖8的實驗參數為′=60′30，=3。

圖6 歸一化大小變化時的錯誤率

圖7 幀間隔變化時的錯誤率

圖8 聚類數k變化時的錯誤率

4 結束語

本文將實驗鼠行為發生時視頻幀間的變化信息及其相對于實驗鼠對象的位置信息作為特征抽取的對象，利用K-means算法提取關鍵幀，在使用之前通過Pillar算法進行了初始化聚類中心的處理。把關鍵幀的頻數分布直方圖作為一個視頻行為描述子，使分類問題變成一個判別直方圖相似性問題。從直方圖的分布來看，利用輪廓幀間變化信息可以很好地提取物體的運動信息，并具有較高的行為判別性。下一步將對此方法加以改進，使其可以應用于長視頻中不同行為之間的分割。

[1] Poppe R. A Survey on Vision-based Human Action Recogni- tion[J]. Image and Vision Computing, 2010, 28(6): 976-990.

[2] Auwerx J. The European Dimension for the Mouse Genome Mutagenesis Program[J]. Nature Genetics, 2004, 36(11): 925-927.

[3] 張 敏, 張恒義, 鄭筱祥. 基于輪廓曲率和譜系聚類的大鼠體態自動識別[J]. 浙江大學學報, 2006, 40(3): 107-114.

[4] 陸 鋮. 基于視頻的動物行為智能分析系統關鍵技術研 究[D]. 西安: 西北農林科技大學信息學院, 2008.

[5] Goulding E H. A Robust Automated System Elucidates Mouse Home Cage Behavioral Structure[J]. Proceedings of the National Academy of Sciences of the United States of America, 2008, 105(52): 20575-20582.

[6] Van de Weerd. Validation of a New System for the Automatic Registration of Behaviour in Mice and Rats[J]. Journal of Behavioural Processes, 2001, 53(1): 11-20.

[7] Osechas O. Ratpack: Wearable Sensor Networks for Animal Observation[C]//Proc. of the 30th Annual International IEEE Engineering in Medicine and Biology Conference. Vancouver,Canada: [s. n.], 2008: 538-541.

[8] Campbell S. Segmentation and Behavioral Classification of Mice Using Digital Video[C]//Proc. of the 4th International Conference on Methods and Techniques in Behavioral Research. Amsterdam, Holland: [s. n.], 2002: 27-30.

[9] Idaku I, Shogo K. Automatic Scratching Pattern Detection for Laboratory Mice Using High-speed Video Images[J]. IEEE Transactions on Automation Science and Engineering, 2008, 5(1): 176-182.

[10] Idaku I, Yuman N. Real-time and Long-time Quanti?cation of Behavior of Laboratory Mice Scratching[C]//Proc. of the 3rd Annual IEEE Conference on Automation Science and Engineering. Scottsdale, USA: [s. n.], 2007: 628-633.

[11] Hueihan J. Automated Home-cage Behavioural Phenotyping of Mice[J]. Nature Communications, 2010, 25(9):1-9.

[12]Chen Changhong, Liang Jimin. Frame Difference Energy Image for Gait Recognition with Incomplete Silhouettes[J]. Pattern Recognition Letters, 2009, 30(11): 977-984.

[13] Wu Di, Shao Ling. Silhouette Analysis-based Action Recog- nition via Exploiting Human Poses[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2013, 23(2):236-243.

[14] 鄧甜甜, 王智靈. 基于輪廓圖像空頻域特征的人體姿態分層識別算法[J]. 模式識別與人工智能, 2011, 24(3): 411-416.

[15] Kim S. Optimal Keyframe Selection Algorithm for Three- dimensional Reconstruction in Uncalibrated Multiple Images[J]. Society of Photo-optical Instrumentation Engineers, 2008, 47(5): 188-195.

[16] Naveed E, Bin T. Adaptive Key Frame Extraction for Video Summarization Using an Aggregation Mechanism[J]. Journal of Visual Communication and Image Representation, 2012, 23(7): 1031-1040.

[17]Barakbah A R, Helen A. Optimized K-means: An Algorithm of Initial Centroids Optimization for K-means[C]//Proc. of a Seminar on Soft Computing Intelligent System and Information Technology. Surabaya, Indonesia: [s. n.], 2005: 102-107.

[18] Barakbah A R. A Pillar Algorithm for K-means Optimization by Distance Maximization for Initial Centroid Designation [C]//Proc. of IEEE Symposium on Computational Intelligence and Data Mining. Nashville, USA: [s. n.], 2009: 61-68.

[19] Barakbah A R, Yasushi K. A New Approach for Image Segmentation Using Pillar-kmeans Algorithm[J]. International Journal of Information and Communication Engineering, 2010, 6(2): 83-87.

編輯 任吉慧

Laboratory Mice Action Recognition Using Silhouette Difference Information

HONG Liu-rong

(School of Computer, Shangqiu Normal University, Shangqiu 476000, China)

Mice action data is an important part of the experimental data in neurology, physiological pharmacology, etc. A method is proposed on multi actions analysis of mice in this paper for lacking the limbs information. The inter-frame difference of mice silhouette are extracted while the relation between the difference and the position of mice silhouette is taken into consideration, then sequential silhouette difference frames are obtained from action videos. In training phase, the 80 key frames are extracted using Pillar K-means algorithm, each video is presented by the key frames and a histogram on frequency of key frame is obtained. In test phase, the histogram of each video is determined using its key frames by nearestneighbour algorithm. So, a classification problem is transformed into the similarities problem. Actions are classified by2distances. Experimental results show thatthe correct rate of the proposed method is a maximum of 100%, and the lowest of 95%.

action analysis; laboratory mice; similarity; difference information; Pillar K-means algorithm; key frame

1000-3428(2014)03-0213-05

A

TP391

安徽省自然科學基金資助項目(KJ2011A251)。

洪留榮(1969－)，男，副教授，主研方向：模式識別，數字圖像處理。

2013-01-22

2013-04-02 E-mail：sqhongliurong@126.com

10.3969/j.issn.1000-3428.2014.03.045