基于視頻跟蹤的豎縫式魚道內魚類運動行為分析

顏鵬東　譚均軍　高　柱　戴會超,　石小濤　黃太安

(1. 三峽庫區生態環境教育部工程研究中心, 三峽大學, 宜昌 443002; 2. 河海大學水利水電學院, 南京 210098)

大壩的建設阻隔了魚類的洄游通道, 致使魚類資源不斷減少, 物種多樣性趨于降低[1,2]。以魚道為主要代表的過魚設施, 是協助魚類順利上行或下行過壩的常見手段, 對維持河流生態系統連通性、保護珍稀魚類、維持生物多樣性具有重要作用[3,4]。豎縫式魚道作為一種協助魚類恢復其洄游通道的生態補償措施, 受到廣泛關注[5]。由于豎縫式魚道池室中的水流急劇變化, 魚類在不同水流條件下會產生不同的運動行為[6,7]; 而過魚對象運動能力與魚道池室內水力條件是否相適應是進行魚道設計的關鍵, 因而, 獲取魚類在魚道中的運動行為至關重要。

魚的運動軌跡在一定程度上能反映魚與所處的水流條件是否相適應, 魚在水中的運動速度、加速度是魚類游泳行為的重要指標。目前獲取魚的運動行為最基礎、最常用的方法為水槽試驗法。水槽試驗有目視、錄像、照相等觀測方法, 并可借助計算機對實測資料和數據進行處理、分析。徐盼麟等[8]提出了一種基于單攝像機的魚類三維觀測方法, 該方法雖然實現了自動輸出魚的三維坐標、實時速度、方向等參數, 且生成完整的魚類三維軌跡, 但僅適用于靜水狀態下魚缸中魚的運動監測。石小濤等[9]采用SwisTrack軟件對圓形水槽中鰱幼魚的二維運動軌跡進行了分析。柯森繁等[10]采用基于Matlab的方法分析封閉水槽中白鰱的擺尾頻率、擺尾幅度、速度和加速度。上述研究工作使得魚類運動行為的高效捕捉成為可能, 但均僅適用于水流較為平緩的水槽。相比較而言, 豎縫式魚道中存在渦流, 紊動強度較大, 因此上述工作中的魚類運動行為獲得方法, 特別是運動軌跡提取方法在豎縫式魚道中的應用還有待實踐檢驗, 但上述研究思路為豎縫式魚道內魚的運動行為的提取提供了很好的借鑒方法。

本文利用基于Matlab的視頻圖像跟蹤方法, 獲取豎縫式魚道內魚的運動軌跡、運動速度和加速度, 以期為豎縫式魚道提供有用的信息參考。

1　材料與方法

1.1　材料

本試驗選用體長為10—15 cm的草魚作為目標魚種, 暫養期間, 將目標魚置于與試驗室循環水水溫相同的水體中暫養數天, 期間24h持續充氧, 正式試驗前禁食24h。視頻圖像在如圖1所示的試驗裝置圖中得到, 包括豎縫式魚道、紅外攝像頭、計算機錄像采集系統。豎縫式魚道長為7.0 m, 水槽寬0.5 m、高0.7 m, 魚道末端設有尾門。魚道池室段共包括5個大小相同的池室, 單個池室寬度為0.5 m,單個池室長度為0.625 m, 豎縫寬度為0.25 m。豎縫擋板材料為厚度1 cm的聚乙烯硬板, 模型擋板側邊和底部均采用有機玻璃膠固定。

圖1　試驗裝置圖Fig. 1　Experiment installation diagram

試驗前, 在池室入流段和出流段中分別布置攔漁網, 防止試驗時魚游出魚道入口和出口。每次試驗時, 將單條魚放入池室1的出水口處, 從撤掉攔魚網時開始計時并進行攝像。以40min為1個放魚試驗時間段, 若單條魚成功游到池室5的進水口處, 即設定單條魚成功上溯, 單條魚的運動軌跡試驗完成。分別采用人工計數和基于Matlab編程開發的視頻圖像跟蹤方法獲取魚的運動軌跡。2種方法的詳細應用見第1.2節。

1.2　方法

視頻圖像跟蹤方法視頻圖像跟蹤方法是基于Matlab軟件平臺專門開發的用于跟蹤魚的運動軌跡、輸出魚的運動行為參數的程序, 可實時、準確輸出魚的運動軌跡、運動速度、加速度等行為參數, 將其以文本形式輸出并保存(圖2)。

基于Matlab的視頻圖像跟蹤方法基本流程如圖3, 包括視頻輸入、圖像處理以及魚的運動軌跡、運動速度、加速度等數據輸出。該方法將豎縫式魚道魚類游動視頻導入Matlab程序, 通過將視頻圖像灰度化、混合高斯建模以及背景差分等處理, 采用分塊自適應閾值獲取效果較好的圖像; 并進一步對處理后的圖像進行連通域分析、形心點確定, 最后輸出魚的運動軌跡及魚的運動速度、加速度等數據。

(1) 讀取視頻圖像的每一幀, 將圖像轉換到灰度空間得到灰度圖像, 并采用混合高斯背景模型對灰度化的圖像進行背景建模, 得到背景圖像;

(2) 采用背景差分法提取前景圖像, 將豎縫式魚道作為感興趣區域(Region of interest, ROI), 只提取ROI中的運動前景; 對ROI中的運動前景進行面積濾波, 去除細小的噪聲干擾;

(3) 由于豎縫式魚道中水流紊動、陰影現象的存在, 目標魚在魚道中的比例較小, 因而采用固定的全局閾值分割法不能達到理想的分割效果。本文采用分塊自適應閾值法[11](一種針對不同圖像區域選擇不同分割閾值的方法)對圖像進行分割, 該方法抗噪能力較強, 對豎縫式魚道有較好的分割效果;

(4) 對處理后的圖像進行形態學腐蝕膨脹操作和連通域分析, 將連通區域面積最大的輪廓作為個體魚區域, 求取該區域的最小外接矩形, 作為最終魚體所在區域, 并將區域形心點作為個體魚所在位置; 對每一幀圖像進行相同的跟蹤操作, 即可得到魚的運動軌跡。

圖2　基于Matlab視頻跟蹤魚的運動軌跡示意圖Fig. 2　The schematic diagram of fish movement trajectory using video tracking method base on Matlab

人工手動計數法人工手動計數是指將視頻導入到Logger Pro視頻分析軟件中, 通過建立直角坐標系, 然后采用手動方式逐幀點擊視頻中運動的個體魚, 得到不同時刻魚的運動位置, 手動打點獲取所有時刻目標魚的運動, 即形成魚道中的魚的運動軌跡等運動參數(圖4)。

1.3　數據分析

實驗數據采用采用SPSS 18.0來進行分析。統計值分別采用平均數±標準差(Mean±SD)描述,根據數據的總體分布情況采用t檢驗分析數據的差異性。

2　結果

本試驗對不同個體魚的運動軌跡進行跟蹤, 并和人工手動跟蹤的運動軌跡進行比較, 圖5為使用2種不同方法所獲得的3條個體魚的運動軌跡。在3條不同個體魚的運動軌跡中, 使用2種不同方法得出的魚的運動軌跡其縱坐標值間的相對誤差分別為(1.16±0.12)、(1.32±0.14)、(1.30±0.11) cm。此外, 在同一工況下, 采用2種方法獲取的魚的運動行為數據包括魚的運動速度和加速度如圖6, 2種方法獲取的魚的速度、加速度無顯著差異(P＞0.05)。

3　討論

盡管魚道在魚類生態保護發揮重要的作用, 但其在世界范圍內仍未達到預期效果, 其根本原因在于魚道水力特性與過魚對象的運動行為不匹配。隨著現代高新技術的快速發展, 一些新技術如聲納、電子閃光水下攝像等大大擴展了觀察魚類水下活動的范圍。特別是隨著水下遙測系統、地球衛星遙感技術等的發展與應用, 在混沌水域以及大范圍內研究魚類行為逐漸成為可能。然而, 由于進行現場試驗的設備通常較昂貴, 現場試驗成本較高,使得上述新技術并未廣泛被應用。因此, 有必要尋找成本較低, 易于操作的方法和技術。

圖3　視頻圖像跟蹤處理基本流程Fig. 3　Flow chart of video tracking process

圖4　人工手動跟蹤魚的運動軌跡示意圖Fig. 4　The schematic diagram of fish movement trajectory using manual tracking analysis method

圖5　使用視頻圖像跟蹤方法和人工手動計數法所獲得魚的運動軌跡Fig. 5　The fish movement trajectories using two methods

本文在基于Matlab視頻圖像跟蹤方法中使用了分塊自適應閾值方法, 將豎縫式魚道內受水流影響較為明顯的圖像區域應用不同分割閾值, 能更好捕捉到魚的軌跡點, 并獲取魚的運動速度和加速度值。使用2種方法得到的魚的運動軌跡存在一定的誤差, 可能因為使用人工手動跟蹤方法進行人工手動打點過程中, 因水面紊動造成人眼觀察魚的運動位置時出現偏差, 但2種方法得到魚的運動速度、加速度未存在顯著差異。另外, 從使用的時間和人力上, 利用視頻跟蹤法處理處理1min視頻(每秒25幀)僅需62s(測試電腦聯想ideapad700), 可對視頻進行快速批量處理; 而采用人工手動處理一幀一幀打點, 1min的視頻(每秒25幀)約為1500幀, 所需時間遠遠大于62s, 且需人工手動打點1500次。可見, 使用基于Matlab的視頻圖像跟蹤方法能有效提取魚的運動軌跡和運動行為數據, 大量減少人工打點操作, 節省操作時間。

魚在豎縫式魚道中的運動軌跡、運動速度和加速度是反應魚類應對不同水流條件的重要特性。本文得到草魚的運動速度為(0—1.42) m/s, 魚在運動過程中的最大運動速度約為爆發游速(10 BL/s,BL表示魚的體長), 與于曉明等[12]的研究結論基本一致。進一步證實基于Matlab的視頻圖像跟蹤方法能為豎縫式魚道設計提供基礎數據。

在采用視頻圖像跟蹤法獲取魚的游泳行為過程中, 可通過調試合理的參數如閾值調節參數、連通域面積調節參數等改進分析效果。總的說來, 基于Matlab的視頻圖像跟蹤方法能有效獲取魚在豎縫式魚道中的運動軌跡, 并獲取魚在水中的運動行為參數, 為魚道設計提供有用的參考依據。

圖6　使用視頻圖像跟蹤方法和人工手動計數法獲得魚的運動速度和加速度Fig. 6　The movement speed and acceleration of fish using two methods

參考文獻：

[1]Chen K L, Chang Z N, Cao X H, et al. Status and prospection of fish pass construction in China [J]. Shuili Xuebao, 2012, 43(2)： 182—188 [陳凱麒, 常仲農, 曹曉紅,等. 我國魚道的建設現狀與展望. 水利學報, 2012,43(2)： 182—188]

[2]Dong Z R, Sun D Y, Zhao J Y, et al. Progress and prospect of eco-hydraulic engineering [J]. Shuili Xuebao,2014, 45(12)： 1419—1425 [董哲仁, 孫東亞, 趙進勇, 等.生態水工學進展與展望. 水利學報, 2014, 45(12)：1419—1425]

[3]Shi X, Kynard B, Liu D, et al. Development of fish passage in China [J]. Fisheries, 2015, 40(4)： 161—169

[4]Tan J, Dai H, Gao Z. Fish species and hydropower projects in upper Yangtze River in China： impacts and rehabilitation [J]. Fresenius Environmental Bulletin, 2016,25(6)： 1846—1857

[5]Bomba? M, Novak G, Mla?nik J, et al. Extensive field measurements of flow in vertical slot fishway as data for validation of numerical simulations [J]. Ecological Engineering, 2015, 84： 476—484

[6]Arenas A, Politano M, Weber L, et al. Analysis of movements and behavior of smolts swimming in hydropower reservoirs [J]. Ecological Modelling, 2015, 312： 292—307

[7]Newbold L R, Shi X, Hou Y, et al. Swimming performance and behavior of bighead carp (Hypophthalmichthys nobilis)： Application to fish passage and exclusion criteria [J]. Ecological Engineering, 2016, 95： 690—698

[8]Xu P L, Han J, Tong J F. Preliminary studies on an automated 3D fish tracking method based on a single video camera [J]. Journal of Fisheries of China, 2012, 36(4)：623—628 [徐盼麟, 韓軍, 童劍鋒. 基于單攝像機視頻的魚類三維自動跟蹤方法初探. 水產學報, 2012, 36(4)：623—628]

[9]Shi X T, Hu Y S, Wang B, et al. Using free software swistrack to learn swimming behavior of silver capp, Hypophthalmichthys molitrix [J]. Acta Hydrobiologica Sinica, 2014, 1(3)： 588—591 [石小濤, 胡運燊, 王博, 等. 運用免費計算機軟件SwisTrack分析鰱幼魚游泳行為. 水生生物學報, 2014, 1(3)： 588—591]

[10]Ke S F, Gao Z, Liu G Y, et al. The analysis of fish swimming dynamics based on the Matlab [J]. Acta Hydrobiologica Sinica, 2016, 40(5)： 985—991 [柯森繁, 高柱, 劉國勇, 等. 基于Matlab的魚類游泳動力學分析. 水生生物學報, 2016, 40(5)： 985—991]

[11]Long J L, Shen X J, Chen H P. Adaptive minimum error thresholding algorithm [J]. Acta Automatica Sinica, 2012,38(7)： 1134—1144 [龍建武, 申鉉京, 陳海鵬. 自適應最小誤差閾值分割算法. 自動化學報, 2012, 38(7)：1134—1144]

[12]Yu X M, Zhang X M. Research progress on measurements of fish swimming ability [J]. South China Fisheries Science, 2011, 7(4)： 76—84 [于曉明, 張秀梅. 魚類游泳能力測定方法的研究進展. 南方水產科學, 2011,7(4)： 76—84]