基于視頻的果蠅求偶行為識別和運動軌跡跟蹤預測

謝忠紅,于 樂,梁敬東,李 飛,王翠花

(1.南京農業大學信息科學技術學院，江蘇 南京 210095；2.南京農業大學植物保護學院，江蘇 南京 210095)

?

·計算機軟件理論、技術與應用·

基于視頻的果蠅求偶行為識別和運動軌跡跟蹤預測

謝忠紅1,于 樂1,梁敬東1,李 飛2,王翠花2

(1.南京農業大學信息科學技術學院，江蘇 南京 210095；2.南京農業大學植物保護學院，江蘇 南京 210095)

針對人工檢測果蠅求偶行為效率低、果蠅軌跡跟蹤困難的問題,提出一種基于視頻的果蠅求偶行為識別和運動軌跡跟蹤預測的方法。首先采用Ostu法實現圖像分割，并使用外接橢圓鎖定果蠅目標，根據果蠅位置關系和差值圖像灰度均方差進行求偶行為誤判篩除；然后提取果蠅輪廓的形狀特征(面積，周長，似圓度等)和7個不變矩特征，并依據特征信息實現果蠅求偶行為的識別；最后采用卡爾曼濾波和特征匹配的軌跡跟蹤方法實現運動果蠅的跟蹤預測。實驗結果表明，該方法能夠準確識別果蠅的求偶行為和運動跟蹤預測。

果蠅；求偶行為；跟蹤；卡爾曼濾波

求偶行為是動物與生俱來的復雜行為，果蠅作為理想的模式生物被廣泛地用于求偶行為的研究[1]。果蠅求偶時，雄果蠅的行為呈現固定模式：朝向雌蠅，拍打雌蠅，跟隨雌蠅，振動一側翅膀對雌蠅唱“求偶歌”，舔雌蠅尾部，試圖交尾和交尾[1-3]。傳統果蠅求偶行為的觀測方式是人工觀測，但這種方法的效率和準確率都非常低；因此，急須一種新的方法代替。利用計算機視覺技術[4-17]實現果蠅求偶行為的自動識別不僅能節省人力、物力還有助于觀察果蠅的動作細節，深入探究果蠅求偶行為的奧秘。吳偉忠等[4]使用微機技術對黑腹果蠅求偶歌節律進行測量，首次測量出黑腹果蠅ipi節律周期平均值約為53 s。后來的研究結果表明，這一節律僅表現在部分果繩的求偶歌中[3，5-6]。梁敬東等[3]探討了基于圖形圖像處理技術的果蠅求偶行為的微機檢測與識別的方法，設計了求偶果蠅檢測算法，該方法具有較高的效率和可靠性。謝元澄等[1]設計了一種機器學習分類算法，實現對果蠅求偶行為的自動識別，檢測正確率達到了(91.6±0.036)%，其中正樣本的漏檢率為(3.0±0.023)%，負樣本的誤檢率為( 9.75±0.041)%。從已有的文獻資料看，利用機器視覺技術對果蠅求偶行為的研究才剛剛起步，研究工作主要集中在求偶瞬間的果蠅動作上。本文利用機器視覺技術實現果蠅運動軌跡的自動跟蹤，以再現果蠅運動軌跡和求偶行為。

1 果蠅運動軌跡再現試驗平臺

1.1 視覺檢測平臺

在南京農業大學植物保護學院試驗室，選擇直徑為35 cm的封閉且透明的昆蟲玻璃培養平皿，并將其倒扣在無菌操作臺上，使用OLYMPUS SZX10體視顯微鏡拍攝，其圖像采集裝置如圖1所示。試驗主要處理工作分為2步：1)選取多只在玻璃培養皿(倒扣、封閉、透氣、透明) 中的運動果蠅為研究對象[3]，采集果蠅活動視頻，設計軌跡跟蹤算法實現果蠅運動軌跡的自動跟蹤；2)使用乙醇氣體持續不斷地作用于玻璃培養皿(倒扣、封閉、透氣、透明) 中的同性果蠅，使雄性果蠅之間在168 h內持續不斷地發生同性求偶行為[1]，采用攝像機拍攝其活動視頻，探討計算機自動檢測果蠅求偶行為的算法。

圖1 圖像采集裝置

1.2 研究的技術路線

為能夠從視頻中識別出果蠅的求偶行為，本次研究的基本流程是：首先采用攝像機拍攝果蠅活動視頻；然后從視頻中按時間順序獲取幀，保存為連續圖像序列，對每幀圖像進行預處理(增強、去噪)后，分割出果蠅目標；接著提取目標對象的位置、形狀、灰度等相關特征；最后基于這些特征進行行為判別和軌跡跟蹤。具體的技術路線如圖2所示。

圖2 技術路線圖

2 果蠅求偶行為檢測

2.1 生成背景和刷新背景

果蠅為運動目標，并不是長時間停留在某個點，因此圖像中每個素點的灰度值在多數時刻為背景灰度。為此，可利用第k幀及其后面連續多幀的圖像(k+1、k+2、…)生成Δt時間內的背景圖像。具體步驟如下。

1)令背景生成的時間間隔為Δt，初始化計時器Time=0。

2)選取當前幀記為Framek， Back′(i,j)也記為第k幀的圖像，令視頻第1幀開始時刻為t1,Time=0，Time開始計時。

3)計算Framek的灰度直方圖，找到所有果蠅目標，共n個 ，用外接矩形標記所有果蠅，外接矩形左上角(x1,y1),右下角(x2,y2)，依據第k幀和k+1、k+2、…、k+m的連續幀序列，計算出新的背景圖像 Backk(i,j)。

4)s=1。

5)在Framek選擇第s只果蠅目標，設外接矩形區域中的像素點坐標為Rectk,s(i,j)，依據式(1)計算該矩形區域的背景圖像為B-Rectk,s(i,j),將B-Rectk,s(i,j)與已生成的背景Back′(i,j)合并生成新的Back′(i,j) 。

B_Rectk,s(i,j)=max frequency(Rectk,s(i,j))。

(1)

式中frequency 函數表示像素點(i,j)在k、k+1、k+2、…、k+m連續幀中出現次數最多的灰度值。

6)如果∑|Back(i,j)-Back′(i,j)|<θ，則該時間片背景生成結束轉到步驟7)，否則s=s+1, Back(i,j)= Back′(i,j) 轉到步驟5)。

7)若視頻已是最后1幀，則算法結束；若Time=Δt，則轉2)；若Time！=Δt，則 Time繼續計時，轉步驟7)。

生成背景圖像的過程，如圖3所示，(a)為第k幀圖像，(b)—(g)為去除背景中間圖像，(h)為生成的背景圖。

(a)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

2.2 輪廓提取

首先將灰度圖Gray與背景圖Back相減得到對應的差值圖像Diff；然后通過大津法計算差值圖像Diff的分割閾值T，實現圖像二值化；接著對二值圖像進行多次腐蝕操作減少果蠅軀干輪廓的粘連、重疊，其過程如圖4所示。

(a)灰度圖像

((b)差值灰度圖

((c)二值軀干圖

2.3 求偶行為預篩

2.3.1 果蠅間相對位置的預篩選

果蠅的求偶行為表現為單側振翅和尾隨，因此2只果蠅須滿足一定的位置關系，如圖5所示。圖5中A、B2點為2只果蠅對應擬合橢圓的中心，L1和L2分別為2個橢圓的長軸方向的直線，A、B之間的的直線為L3。假設單只果蠅軀干的平均長度為L(L=10 pixel),則2只發生求偶行為的果蠅具有如下特征：中心點A、B之間的距離應該在[L，2L]之內，2只果蠅軀干所在軸線L1、L2間的夾角范圍為[0，π/2]，并且L3與L1之間的夾角范圍為[0，π/4]。

位置預篩的基本步驟為：1)計算A和B之間的距離，并記為D；2)計算L1、L2間的夾角，并記為θ2；3)計算L3與L1間的夾角，并記為θ1；4)計算D∈[L，2L]&&θ2∈[0，π/2]&&θ1∈[0，π/4]的結果，若為假就判定為不是求偶行為，提前篩除。

圖5 求偶果蠅間的位置關系

2.3.2 基于差值圖像灰度均方差的預篩選

果蠅圖像可分為3類：第1類果蠅數目多且擁擠，人工識別求偶行為非常困難，應提前篩除該類局部圖像，如圖6所示；第2類果蠅翅膀在局部圖像中所占區域較小，甚至完全收攏，不可能發生求偶行為，也應篩除，如圖7所示；第3類果蠅翅膀在局部圖像中所占區域較大，其中部分果蠅張開了單側翅膀，可能發生求偶行為，如圖8所示。

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

(a)

(b)

(c)

(d)

圖像的灰度均方差是衡量圖像質量和均勻度等的重要指標。在本研究中，為提前篩除第1類和第2類果蠅，定義了差值圖像的灰度均方差Diff_Mse，為

(2)

表1 果蠅差值圖像的灰度均方差

為有效減少檢索范圍，本文采用基于差值圖像灰度均方差的篩除方法：1)若Diff_MseT2(T2=1.3)時，果蠅翅膀所占比例過小，不可能發生求偶行為，也提前篩除。

2.4 求偶行為識別

1)幾何形態識別。

選擇單側振翅果蠅和未振翅果蠅各30只，計算出各幾何參數的取值范圍，如表2所示。通過多個幾何參數的計算發現，單側振翅的果蠅與未振翅果蠅在輪廓面積、周長和似圓度上差距較大，其他幾何參數無明顯差距，如圖9所示。圖中(a)—(c)為單側振翅，(d)—(f)為未振翅。基于此，通過多次實驗得到最佳的參數取值范圍是：面積(220.00,350.00)、周長(70.00,100.00)、似圓度(0.25,0.50)。

(a)

(b)

(c)

(d)

(e)(f)

果蠅類別形狀特征面積/pixel周長/pixel似圓度長軸/短軸單側振翅224～34678～970．33～0．492．44～3．33未振翅1306～23159～780．44～0．582．46～3．42

2)不變矩。

不變矩具有平移、縮放以及旋轉不變性，被廣泛地應用在模式識別中。Hu提出p+q≤3的7個不變矩對平移、旋轉、鏡面以及尺度變換均具有不變性[18]，因此，本研究以7個不變矩作為果蠅輪廓的特征參數，如表3所示。研究中分析了30幅果蠅求偶圖片，計算了具有求偶行為的果蠅的7個不變矩參數的絕對值取值范圍，為：φ1(1.2,1.5，)、φ2(3.8，4.5)、φ3(7.3,8.1)、φ4(8.9,9.6)、φ5(17.3,18.3)、φ6(11.5,12.5)、φ7(17.9,18.5)。

表3 圖9中6只果蠅的7個不變矩特征值

通過2次預篩選后，剩下來的果蠅圖像可能就是有求偶行為的圖像，再計算圖像中果蠅目標的幾何形態特征和7個不變矩特征，即可找出發生求偶行為的果蠅。

在多樣本中，通過本文方法判斷識別出4種情況為果蠅求偶行為，其位置如圖10所示，均方差及相關的特征信息如表4所示。

(a)

(b)

(c)

(d)

特征值圖編號(a)(b)(c)(d)均方差0．980．941．040．92面積325．2270．3324．3320．1周長94．290．394．793．6似圓度0．450．370．440．45φ1-1．3-1．4-1．5-1．3φ2-4．2-4．1-4．1-4．2φ3-7．7-7．7-7．4-7．6φ4-9．4-9．4-9．3-9．4φ5-17．8-17．9-17．9-18．1φ6-12．0-11．7-11．8-11．9φ7-18．2-18．1-18．0-18．1

3 基于卡爾曼濾波的果蠅運動軌跡跟蹤預測

3.1 基于卡爾曼濾波的果蠅跟蹤算法原理

卡爾曼濾波器是一種基于線性最小均方差預測的最優線性遞歸濾波方法[14-15]，卡爾曼濾波器的解為：

(3)

式中：Xk和Xk-1為k和k-1時刻的狀態向量；Zk為k時刻的觀測向量；Fk為系統狀態轉移矩陣；Hk是觀測矩陣；Wk-1為系統噪聲；Vk為觀測噪聲；Wk-1和Vk均是零均值。

選擇運動果蠅的質心P(a,b)和外接橢圓(長軸h、短軸s)，進行跟蹤。質心P的運動矢量為(vx, vy)。設果蠅運動狀態向量為X和觀測向量為Z, 系統的狀態轉移矩陣為F和觀測矩陣為H。

X=(a,b,h,s,vx,vy)T；

(4)

Z=(a,b,h,s)T；

(5)

(6)

(7)

果蠅的初速度和外接橢圓的變化初速度均為0。 對第k幀中所有果蠅利用鄰域軌跡預測判斷其在第k+1幀中應該出現的區域，計算該區域中果蠅的個數n。

若n=1，利用k+1幀中該果蠅的位置進行運動軌跡的Kalman濾波估計，修正濾波中的狀態估計值。

若n>1,說明出現軌跡交聯,先用Kalman濾波預測目標的位置，然后與n個目標位置進行對比，運用特征匹配和公式(8)找出δ2最小的位置(xp,yp)，更新為果蠅位置，并繼續修正狀態估計值。

δ2=(x-x′)2+(y-y′)2。

(8)

式中：(x,y)表示預測的果蠅位置；(x′,y′)果蠅當前真實的位置。

若n=0,說明跟蹤區域內果蠅可能丟失，使用Kalman濾波預測出該區域內的原來跟蹤的果蠅在第k+1幀中應該出現的位置，同時更新為該果蠅位置，繼續預測 ，設定連續預測的次數不大于T(T取值為3)，若3次預測后該區域中果蠅的個數n依然為0，則判定該果蠅已經完全丟失,放棄跟蹤。

最后對第k+1幀中存在的果蠅目標區域到其對應的前一幀(第k幀)中尋找匹配的果蠅，如果沒有找到果蠅則說明不存在相應的匹配果蠅，反之說明該區域對應著第k+1幀中新增果蠅并記錄著這果蠅的位置信息。

3.2 果蠅軌跡跟蹤預測結果

對視頻中果蠅的跟蹤過程如圖11所示。綠色和深綠色2只果蠅分別記為1號果蠅和2號果蠅，對2只果蠅在每幀中的坐標信息進行記錄，繪制其軌跡,如圖12所示，并對10 s內果蠅對象的實際坐標和預測坐標進行定量比較：1號果蠅實際坐標和預測坐標x方向的平均誤差為 4 pixel,y方向的平均誤差為5 pixel，如圖13所示；2號果蠅實際坐標和預測坐標x方向的平均誤差為 5 pixel,y方向的平均誤差為6 pixel，如圖14所示。圖中(x,y)為實際位置，(x′,y′)為預測位置。

(a)初始狀態圖

(b)跟蹤狀態圖

(c) 跟蹤過程中狀態圖

(d) 跟蹤最終的狀態圖

(a)1號果蠅軌跡跟蹤圖

(b) 2號果蠅軌跡跟蹤圖

圖13 1號果蠅的卡爾曼濾波預測坐標與實際位置對比

圖14 2號果蠅的卡爾曼濾波預測坐標與實際位置對比

4 結論

本文提出一種基于視頻的果蠅求偶行為識別和運動軌跡跟蹤預測方法。首先根據果蠅位置關系和差值圖像灰度均方差對圖像進行篩選，然后提取果蠅輪廓的形狀特征(面積、周長、似圓度等)和7個不變矩特征，并依據特征信息識別果蠅求偶行為，最后采用卡爾曼濾波和特征匹配預測運動果蠅的軌跡。

研究中還存在問題，需投入更大的精力進行研究。1)在圖像預處理模塊，因為果蠅的翅膀呈半透明，且經常處于振動狀態，這就使得翅膀與背景差異小，分割結果有一定誤差；培養皿有時存在刻痕和污漬，也會引入誤差。 2)基于卡爾曼濾波的多目標跟蹤算法是基于數據關聯的，當果蠅數目較多時，計算量巨大；在果蠅發生遮擋、運動方式突然發生變化時跟蹤會不穩定，甚至丟失跟蹤目標。

[1]謝元澄，梁敬東，王書平,等.基于特征選擇集成學習的果蠅求偶行為識別[J].南京農業大學學報,2011,34(6):82.

[2]苗雪霞,黃勇平.果蠅求偶行為的影響因素及其分子基礎[J].昆蟲知識,2008,45(1):5.

[3]梁敬東,余倩倩,謝元澄,等.果蠅求偶行為計算機檢測識別方法[J].江蘇農業學報,2011,27(1):209.

[4]吳偉忠,陳暨耀,蔡懷新,等.用微機技術測量黑腹果蠅(Drosophila melanogaster)求偶歌節律[J]．復旦學報(自然科學版),1988,27(4):402．

[5]陳暨耀,吳偉忠,蔡懷新，等.用新的計量方法研究黑腹果蠅的求愛歌[J]. 動物學研究,1988,9(2):133.

[6]孫吉祥,梁敬東,謝元澄,等.一種自適應的運動目標模糊邊緣檢測方法[J].計算機與數字工程,2012,40(10):126.

[7]Ojala T， Pietikinen M， Harwood D.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J]．Pattern Recognition，1996，29(1):51.

[8]楊耿.運動目標的圖像識別與跟蹤研究[D]. 鎮江:江蘇大學，2005.

[9]劉曉麗.基于機器視覺的異常行為檢測[D]. 鞍山:遼寧科技大學,2011.

[10]蔣戀華，甘朝暉，蔣旻.多目標跟蹤綜述[J].計算機系統應用,2010,19(12):10.

[11]邵春福,李娟,趙熠,等.行人交通的視頻檢測方法綜述[J].交通運輸系統工程與信息,2008(4):23.

[12]劉軒.基于圖像處理的行人運動微觀行為特征實驗研究[D].合肥：中國科學技術大學，2009.

[13]沈濤.基于視頻檢測的行人交通參數提取技術研究[D].北京:北京交通大學,2011.

[14]Blanding Wayne R，Wille Peter K, Bar-Shalom Yaakov. Multiple Target Tracking using Maximum Likelihood Probabilistic Data Association[C]//IEEE Aerospace Conference Proceedings, 2007 IEEE Aerospace Conference Digest. Big Sky, MT: IEEE,2007：416-445.

[15]皮燕妮,史忠科,黃金.智能車中基于單目視覺的前車檢測和跟蹤[J]. 計算機應用,2005,25(1):220.

[16]謝忠紅,姬長英. 基于顏色模型和紋理特征的彩色水果圖像分割方法[J]. 西華大學學報(自然科學版),2009,28(4):41.

[17]謝忠紅,蘇堅,郭小清,等. 自然場景下樹上桃子生長形態的識別[J]. 西華大學學報(自然科學版),2015,34(2):6.

[18]張明恒，韓月林，趙一兵，等.基于改進Hu不變矩的路面交通標識識別[J].大連理工大學學報，2012，52(6):908.

(編校：饒莉)

Drosophila Movement Trajectory andCourtship Behavior Reappearance Based on Video Processing

XIE Zhonghong1,YU Le1,LIANG Jingdong1， LI Fei2,WANG Cuihua2

(1.College of Information Technology, Nanjing Agriculture University, Nanjing 210095 China；2.CollegeofPlantProtection,NanjingAgriculturalUniversity,Nanjing210095China)

A method of drosophila movement trajectory and courtship behavior reappearance based on video processing is proposed to increase the manual detection efficiency of drosophila courtship behavior and track the drosophila movement trajectory more easily. After the image was segmented with Ostu algorithm, the drosophilas were located in circumscribed ellipses. Then shape characters(area, perimeter and roundness) and 7 moment invariant characters were achieved, and fake courtship drosophilas were deleted according to positional relation and gray mean variance of the difference image, and drosophila courtship behavior was recognized with the shape characters and moment invariant characters. Finally Kalman filter and feature matching method were used to predict drosophila movement trace. The experiment result shows that the method presented in this paper could recognize courtship behavior of drosophila and stalk moving drosophila accurately.

drosophila；courtship behavior；movement trajectory；Kalman filter

2016-01-21

中央高校基本科研業務費項目(KYZ201670)；國家轉基因生物新品種培育重大專項(2009ZX08001-002B)。

謝忠紅(1977—)，女，副教授，博士，主要研究方向為計算機圖像處理、模式識別、農業機器人視覺。E-mail：xiezh @njau.edu.cn

TP391.41

A

1673-159X(2016)05-0018-7

10.3969/j.issn.1673-159X.2016.05.004