計(jì)算機(jī)視覺在觀測(cè)量化魚類行為中的研究

曹譽(yù)尹

(重慶交通大學(xué)河海學(xué)院，重慶 400074)

計(jì)算機(jī)視覺技術(shù)是人工智能的一個(gè)重要分支，可以代替人類的眼睛和大腦進(jìn)行觀察和判斷。由數(shù)碼相機(jī)組成的二維和三維視覺系統(tǒng)用于收集信息，然后將獲得的信息輸入計(jì)算機(jī)進(jìn)行語義分析和決策。從這個(gè)角度來看，圖像處理和計(jì)算機(jī)視覺技術(shù)在魚類檢測(cè)中發(fā)揮著重要作用，使用計(jì)算機(jī)視覺模型的檢測(cè)結(jié)果可用于識(shí)別魚類物種、估計(jì)數(shù)量和了解魚類行為[1,2]。在早期魚類行為研究中，由傳統(tǒng)人為觀測(cè)要收集的指標(biāo)必須易于觀察和記錄，如尾拍頻率和跳躍次數(shù)。但更復(fù)雜的指標(biāo)，如游泳速度，只能由觀察員不準(zhǔn)確地估計(jì)。有些指標(biāo)能更恰當(dāng)和準(zhǔn)確地反映魚類的狀況，但更為復(fù)雜，需要較高的計(jì)算工作量，從而不可避免的對(duì)魚產(chǎn)生干擾，導(dǎo)致在沒有準(zhǔn)確的行為數(shù)據(jù)的情況下難以對(duì)行為模型進(jìn)行參數(shù)化[3]。鑒于魚類行為監(jiān)測(cè)的局限性，需要使用侵入性較小的方法高效、準(zhǔn)確地量化魚類行為。

魚類作為重要的水環(huán)境生物指標(biāo)，對(duì)pH、溫度、溶解氧等水環(huán)境參數(shù)的變化十分敏感。其運(yùn)動(dòng)特征、生理特征等信息直接反映水環(huán)境情況。其中，魚類運(yùn)動(dòng)特征參數(shù)包含了魚類運(yùn)動(dòng)行為的最重要信息，而行為作為應(yīng)付環(huán)境的第一性手段，任何能被連續(xù)觀察和量化的行為反應(yīng)都可能在魚類的監(jiān)測(cè)中作為指示信息，計(jì)算機(jī)視覺技術(shù)作為非入侵的技術(shù)監(jiān)測(cè)，在檢測(cè)過程中使動(dòng)物產(chǎn)生的應(yīng)激小，減低勞動(dòng)強(qiáng)度，提高了準(zhǔn)確率。

1 魚類的典型行為

1.1 攝食行為

攝食行為是漁業(yè)生產(chǎn)非常重要的研究領(lǐng)域。魚類捕食可分為3個(gè)階段：刺激和激發(fā)、搜索和定位、捕食和攝食。魚群攝食情況直接影響到魚體生長(zhǎng)發(fā)育狀況，通過有效的視覺信號(hào)處理系統(tǒng)，持續(xù)監(jiān)測(cè)魚類的攝食行為，以及監(jiān)測(cè)未食用的飼料來推斷魚類的攝食活動(dòng)，研究水溫[4]、光線周期[5]對(duì)攝食規(guī)律的影響。在水產(chǎn)養(yǎng)殖中，飼料管理策略可用于調(diào)節(jié)和控制養(yǎng)殖魚類的生長(zhǎng)性能，同時(shí)控制殘余飼料對(duì)水質(zhì)平衡的影響，進(jìn)而提升水產(chǎn)養(yǎng)殖的經(jīng)濟(jì)效益。

1.2 游泳行為

魚類游泳行為數(shù)據(jù)是研究魚類生活習(xí)性的重要信息來源，魚類游泳速度和加速度能反映其在特定環(huán)境下的游泳能力，通過游泳軌跡也在一定程度上判斷魚類對(duì)所處的環(huán)境是否適應(yīng)。鰭是魚類重要的游泳器官，其中尾鰭對(duì)游泳行為產(chǎn)生的推動(dòng)力最大，一般情況下可用擺尾頻率和擺尾幅度作為衡量魚類運(yùn)動(dòng)強(qiáng)度的指標(biāo)，同時(shí)背鰭、腹鰭、臀鰭、胸鰭均有保持魚體平衡的作用。魚類的游泳行為受季節(jié)、時(shí)間、光照強(qiáng)度和攝食活動(dòng)的影響。

1.3 異常行為

魚類的異常行為主要表現(xiàn)在生長(zhǎng)環(huán)境惡劣或疾病的情況下，運(yùn)動(dòng)速度或方向突變或者運(yùn)動(dòng)軌跡刻板單一。通過計(jì)算機(jī)視覺檢測(cè)魚類的異常行為主要是計(jì)算游泳絕對(duì)速度和游泳速度、體色變化、方向變化率、碰壁率以及到墻壁的距離來反映異常行為的程度。也有學(xué)者對(duì)魚類的“個(gè)性”行為進(jìn)行探討，其指不同時(shí)空條件下個(gè)體間行為特性的穩(wěn)定差異，但與遺傳效應(yīng)、種群適合度及群落動(dòng)態(tài)密切相關(guān)[6]，因此異常行為作為對(duì)特定環(huán)境下的行為表達(dá)與個(gè)性行為有本質(zhì)性的差異。

1.4 環(huán)境因素應(yīng)激反應(yīng)

魚類應(yīng)激反應(yīng)是對(duì)多種環(huán)境因素產(chǎn)生的應(yīng)激源的非特異性生理反應(yīng)。如果沒有應(yīng)激反應(yīng)，魚類就無法適應(yīng)超出環(huán)境變化生理調(diào)節(jié)的正常范圍。然而，過強(qiáng)或過長(zhǎng)的應(yīng)激反應(yīng)是有害的，會(huì)導(dǎo)致生長(zhǎng)緩慢、生殖能力下降、免疫功能低下以及發(fā)病率和死亡率升高。對(duì)魚類種群的科學(xué)管理而言，全面分析和評(píng)估各種環(huán)境應(yīng)激因素對(duì)魚類生產(chǎn)的影響至關(guān)重要。應(yīng)激源根據(jù)其強(qiáng)度和持續(xù)時(shí)間分為2種：急性應(yīng)激(水溫、溶解氧或鹽度)，慢性應(yīng)激(如亞致死氨或亞硝酸鹽養(yǎng)殖水)。

2 監(jiān)測(cè)魚類行為的相關(guān)方法

2.1 粒子圖像測(cè)速

粒子圖像測(cè)速(Particle Image Velocimetry，PIV)通過測(cè)量示蹤粒子在已知很短時(shí)間間隔內(nèi)的位移來間接地測(cè)量流場(chǎng)的瞬態(tài)速度分布，是一種瞬態(tài)、多點(diǎn)、無接觸式的流體力學(xué)測(cè)速方法。魚體在水中運(yùn)動(dòng)時(shí)，由于周身的瞬態(tài)壓力無法直接通過儀器測(cè)得，但壓力場(chǎng)作為流場(chǎng)的重要組成部分，是分析魚類游泳行為及其動(dòng)力形成的關(guān)鍵因素，因此利用PIV技術(shù)對(duì)魚類運(yùn)動(dòng)過程中產(chǎn)生的力場(chǎng)進(jìn)行分析十分有效。

2.2 聲學(xué)技術(shù)

聲波技術(shù)通過發(fā)射單元向水中發(fā)射一定頻率的聲波，可以在水中長(zhǎng)距離傳播[7]以探測(cè)遠(yuǎn)程目標(biāo)，使其成為遠(yuǎn)程檢測(cè)和識(shí)別水中魚類的方式。隨著聲學(xué)技術(shù)的發(fā)展，聲學(xué)作為遙感工具的應(yīng)用迅速增加，特別是在魚類保護(hù)區(qū)。聲學(xué)技術(shù)廣泛用于魚類的時(shí)空分布、物種檢測(cè)和種群評(píng)估[8]，而不會(huì)使魚類產(chǎn)生應(yīng)激反應(yīng)。但魚類棲息地的波浪和氣泡等環(huán)境條件會(huì)影響聲吶圖像的質(zhì)量，需要選擇有效的數(shù)據(jù)算法過濾原始圖像的噪聲并且其對(duì)遠(yuǎn)距離監(jiān)控的計(jì)算成本高。

2.3 計(jì)算機(jī)視覺技術(shù)

基于計(jì)算機(jī)視覺的魚類行為的研究，通過攝像機(jī)采集魚類視頻圖像，對(duì)魚類游泳視頻進(jìn)行預(yù)處理，并利用相關(guān)算法對(duì)魚類運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)與跟蹤，來實(shí)現(xiàn)高效準(zhǔn)確的獲取魚類行為數(shù)據(jù)，對(duì)探究魚類在特定環(huán)境下的生活習(xí)性有很大的參考價(jià)值。

3 計(jì)算機(jī)視覺監(jiān)測(cè)魚類行為

通過計(jì)算機(jī)軟件進(jìn)行魚類游泳視頻分析是一種較高效的方法，魚類游泳動(dòng)力學(xué)分析研究對(duì)解決魚道等工程應(yīng)用中水力學(xué)設(shè)計(jì)方面的關(guān)鍵問題有著重要的意義，利用計(jì)算機(jī)技術(shù)對(duì)魚類游泳動(dòng)力學(xué)進(jìn)行分析有助于研究目標(biāo)魚類的游泳能力與水力環(huán)境因子的響應(yīng)關(guān)系?；谟?jì)算機(jī)視覺技術(shù)對(duì)魚類游泳視頻圖像序列進(jìn)行處理時(shí)，首先對(duì)魚類游泳運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤，進(jìn)而提取出魚類速度、加速度和擺尾頻率等行為信息并提供數(shù)據(jù)支持，最后通過行為特征參數(shù)量化分析特定環(huán)境下的魚類行為。

3.1 運(yùn)動(dòng)目標(biāo)檢測(cè)算法

魚類在水中常表現(xiàn)為運(yùn)動(dòng)狀態(tài)，因此通過對(duì)運(yùn)動(dòng)檢測(cè)可以有效地得到魚體輪廓和狀態(tài)。運(yùn)動(dòng)檢測(cè)的目的是從每幀2D圖像中提取出表征魚體運(yùn)動(dòng)目標(biāo)的像素信息，以便為后續(xù)的圖像分割、目標(biāo)分類識(shí)別或匹配跟蹤等環(huán)節(jié)做準(zhǔn)備。運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要可以分為背景減除法(BS,BackgroundSubtraction)和時(shí)間差異分析法(TVA,Temporal VariationAnalysis)2大類。

背景減除法是將待檢測(cè)的某一幀圖像與背景圖像作減法，保留下超過某一閾值的像素識(shí)別為前景運(yùn)動(dòng)目標(biāo)像素，在場(chǎng)景穩(wěn)定并且圖像像素高的情況下能對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行分割。但實(shí)際視頻環(huán)境中背景比較復(fù)雜，簡(jiǎn)單的背景減除法難以滿足需求。時(shí)間差異分析法，是指通過在時(shí)間域上分析、提取出幀與幀之間的差異部分視為運(yùn)動(dòng)像素，如光流法和幀差法。其缺點(diǎn)主要是對(duì)噪聲敏感，計(jì)算量大且運(yùn)行耗時(shí)長(zhǎng)，實(shí)時(shí)性低。

3.2 運(yùn)動(dòng)目標(biāo)跟蹤算法

早期的目標(biāo)跟蹤算法主要是根據(jù)目標(biāo)建?；蛘邔?duì)目標(biāo)特征進(jìn)行跟蹤，主要方法有以下幾種?；谀繕?biāo)模型建模的方法：通過對(duì)目標(biāo)外觀模型進(jìn)行建模，然后在之后的幀中找到目標(biāo)?；谒阉鞯姆椒ǎ簩㈩A(yù)測(cè)算法加入跟蹤中,在預(yù)測(cè)值附近進(jìn)行目標(biāo)搜索,減少了搜索的范圍，提高實(shí)時(shí)性。常見一類的預(yù)測(cè)算法有卡爾曼濾波、粒子濾波方法，均值漂移算法，即Meanshift算法及其改進(jìn)的Camshift算法。Hu[9]等采用改進(jìn)的視覺跟蹤C(jī)amshift 算法和運(yùn)動(dòng)調(diào)節(jié)模糊邏輯控制器完成機(jī)器魚目標(biāo)跟蹤任務(wù)，并對(duì)其胸鰭與尾鰭的偏移角度進(jìn)行分析。同時(shí)，在深度學(xué)習(xí)的基礎(chǔ)上也有研究者用卷積目標(biāo)識(shí)別網(wǎng)絡(luò)YOLOv2與卡爾曼濾波器優(yōu)化魚群的檢測(cè)跟蹤[10]。

4 魚類行為的參數(shù)及應(yīng)用

4.1 軌跡、速度和加速度

魚類游泳行為數(shù)據(jù)是研究魚類生活習(xí)性的重要信息來源，魚類游泳速度和加速度數(shù)據(jù)能反映魚類在特定環(huán)境下的游泳能力，其游泳軌跡在一定程度上能分析出魚類對(duì)所處的環(huán)境是否適應(yīng)。王卓等[8]利用計(jì)算機(jī)記錄視頻跟蹤系統(tǒng)，研究了斑馬魚染毒前后運(yùn)動(dòng)軌跡變化和水平、垂直2個(gè)方向的位移距離和穿梭次數(shù)等指標(biāo)。Michael J.Barry基于計(jì)算機(jī)視覺技術(shù)研究了硫酸奎寧對(duì)阿拉伯鳉魚(Aphanias dispar)絕對(duì)游泳速度、向前游泳速度、方向變化率和離壁距離的影響[11]。魚類游泳的能量消耗取決于游泳速度、轉(zhuǎn)彎速度和加速度，當(dāng)應(yīng)對(duì)湍急和紊亂的水流時(shí)上述參數(shù)都可能顯著增加。

4.2 胸鰭

魚類為了捕捉獵物、避開掠食者并在水中游動(dòng)，需要協(xié)調(diào)身體各部分協(xié)作運(yùn)動(dòng)，如眼睛、尾巴、下頜和魚鰭(腹鰭、胸鰭、尾鰭等)等。在大量的針對(duì)魚鰭的研究中，大部分的工作集中在對(duì)于尾鰭的研究，但有些魚類以胸鰭的運(yùn)動(dòng)作為主要的推進(jìn)方式[12]。胸鰭對(duì)于魚類的推進(jìn)、轉(zhuǎn)向和穩(wěn)定性非常重要。在咽頜模式中，推進(jìn)力主要由胸鰭震蕩提供，主要以產(chǎn)生恒定或接近恒定推進(jìn)力的推進(jìn)力游動(dòng)。在其他形式的游泳中，胸鰭也有利于改變俯仰、轉(zhuǎn)彎、懸停和制動(dòng)等行為。還有研究通過處理跟蹤記錄的圖像，獲得了魚在前游、倒游和拐彎3種運(yùn)動(dòng)模式下的身體曲線，以及尾鰭和胸鰭的運(yùn)動(dòng)學(xué)參數(shù)[13]，但在魚體游動(dòng)時(shí)胸鰭的變化并不是周期性的擺動(dòng)[14]，難以體現(xiàn)胸鰭作用的規(guī)律性。

4.3 擺尾頻率及幅度

大多數(shù)魚類通過身體和尾鰭的側(cè)向運(yùn)動(dòng)產(chǎn)生持續(xù)游泳的推力。根據(jù)推進(jìn)部位不同將魚類的分為2類：身體/尾鰭推進(jìn)模式(BCF)和中央鰭/對(duì)鰭模式(MPF)。推進(jìn)方式的不同主要在于橫向波動(dòng)的幅度和身體彎曲的比例，分別是鰻鱺模式、亞鲹科模式、鲹科模式、鮪科模式和箱鲀科模式。Zhao等[15]通過圖像處理算法對(duì)目標(biāo)圖像進(jìn)行檢測(cè)，得到的魚類質(zhì)心、尾部和頭部坐標(biāo)等關(guān)鍵點(diǎn)，提出了一種基于魚類關(guān)鍵特征點(diǎn)的尾頻模型。Yuan等[16]通過機(jī)器視覺觀測(cè)統(tǒng)計(jì)了河槽匯流分離區(qū)附近鰱魚幼魚的游泳行為，發(fā)現(xiàn)當(dāng)鯉魚遇到大渦度切變流時(shí)擺尾頻率增加，擺尾振幅和游泳速度降低以保持魚體穩(wěn)定性。Xiao等[17]通過測(cè)量鯽魚異常尾拍頻率和撞壁率來觀測(cè)監(jiān)測(cè)水質(zhì)并以此定量評(píng)估魚的逃生行為。

5 總結(jié)與展望

目前，基于計(jì)算機(jī)視覺的魚類行為研究，大多數(shù)通過一些跟蹤方法來建立單一魚類在特定環(huán)境下的運(yùn)動(dòng)模型，并從中提取特征參數(shù)指標(biāo)來分析魚類的行為，不能體現(xiàn)類間差異及生存環(huán)境變化而導(dǎo)致的結(jié)果。并且根據(jù)傳統(tǒng)的計(jì)算機(jī)視覺算法未將背景信息考慮在內(nèi)，導(dǎo)致在目標(biāo)遮擋、光照變化以及運(yùn)動(dòng)模糊等干擾下容易出現(xiàn)魚體跟蹤失敗和跟蹤算法執(zhí)行速度慢，無法滿足實(shí)時(shí)性的要求，魚類擺尾頻率等游泳行為也缺乏量化分析。

因此，亟待提出關(guān)于精確測(cè)定魚類行為的方法以及行為學(xué)參數(shù)對(duì)魚類行為進(jìn)行預(yù)估的模型。隨著計(jì)算機(jī)視覺的不斷推進(jìn)，對(duì)于未來的魚體動(dòng)態(tài)檢測(cè)可以將深度學(xué)習(xí)應(yīng)用于提取魚的特征參數(shù)，對(duì)魚類的檢測(cè)跟蹤進(jìn)行優(yōu)化并對(duì)不同種類間的魚或魚群的行為參數(shù)實(shí)現(xiàn)現(xiàn)場(chǎng)自動(dòng)檢測(cè)，從而更有力地推動(dòng)魚類行為研究，為更好地利用指示性生物監(jiān)測(cè)水質(zhì)環(huán)境、魚類生境重建、保護(hù)漁業(yè)資源提供理論依據(jù)。