基于稠密光流和統計學的蝦苗活力檢測方法

薛江浩,陳 明,苗揚揚,江靜粼,丁 寅

(1 上海海洋大學信息學院,上海 201306;2 上海市極棧信息科技有限公司,上海 201306)

南美白對蝦(Penaeusvannamei)是目前養殖產量最高的三大蝦類之一,在養殖過程中蝦苗的選取是關鍵的一步,苗種質量的好壞直接影響到養殖生產的效益[1]。目前,在實際水產養殖中,蝦苗質量檢測方法主要是依賴專業人員進行感官評價,即通過觀察蝦苗的游動活力來判斷,但這種方法的評價結果容易受評價人員主觀影響[2]。有學者提出微生物法和化學法進行水產品質量評估,例如楊其彬等[3]通過進行抗性試驗和病毒檢測建立評估斑節對蝦蝦苗活力和質量的標準。但此類方法均需要過多人為參與且檢測效果常無法兼顧快速和準確,因此客觀準確地實現蝦苗質量檢測有重要的研究價值和現實意義。

隨著中國水產養殖業和計算機技術的發展,在水產養殖中應用計算機技術的相關研究越來越多。如單佳楠等[4]通過多種機器學習方法建立金鯧魚質量檢測模型,驗證表明基于機器視覺技術的金鯧魚質量預測模型可靠性高; Liu等[5]、Zhou等[6]提出了魚群聚集系數和魚群攝食搶食強度2個系數來量化魚群的聚集和搶食強度;張志強等[7-8]運用機器視覺提取淡水魚的顏色和長短軸之比等特征來實現淡水魚分類;Duarte等[9]通過計算視頻的幀間差值來計算魚群的圖像處理活動系數,該系數和人工觀測指標有相關性。在蝦苗養殖領域,范松偉等[10]提出的蝦苗自動計數模型在均勻背光環境下能對一定密度的蝦苗自動計數;Jonas等[11]引入偽彩色可視化技術快速獲取蝦的豐富度和空間分布的變化;劉子豪等[12]引入香農信息論構造不同蝦樣本的特征差異模型,建立了一個用于染病蝦識別的自適應卷積神經網絡,該網絡在單個數據集上的識別精度為97.96%。上述研究主要是通過機器視覺或統計學等方法對魚蝦的運動信息進行建模,然后利用神經網絡或算法做進一步的分析和檢測。對蝦苗進行質量檢測,可以通過蝦苗的游動狀態來估計蝦苗的活力和品質,但對于蝦苗這種體積小、游動速度較快的多目標跟蹤場景,對跟蹤的魯棒性和可靠性仍有較大的挑戰[13]。

光流法目前已經被廣泛應用于運動目標檢測與跟蹤的相關研究中,其本質是計算兩個圖像之間的一個矢量場,即第一個圖像中目標的像素如何移動以形成第二個圖像中的相同目標,主要用于序列圖像的運動近似估計[14-15]。文獻[16-17]將光流法和其他運動目標檢測方法結合,從而提高特殊場景下的目標檢測效果。Zhang等[18]提出一種新的光流神經網絡的訓練策略,目的是在低光照條件下依然可以保持光流估計的效果;Sana等[19]構建了一種基于邊緣保護濾波器的光流法,對光流法存在的邊緣不明確問題有所改善;李泉成等[20]利用光流提取視頻的運動特征對原圖像進行光流增強從而提高氣體泄露檢測的精確率。高云等[21]在Res-net網絡中加入光流信息和注意力機制,從而增加梅花鹿攻擊行為的識別精度。文獻[22-23]使用光流法提取視頻中目標的運動特征,并采用不同方法對運動特征進行建模來實現魚群的行為檢測。上述研究主要是通過光流法提取視頻的光流信息作為行為特征,說明光流信息能較好地表征運動目標的行為信息。

本研究擬利用計算機視覺技術,研究基于稠密光流和統計學運動特征的蝦苗活力檢測方法。采集不同活力程度的蝦苗視頻,使用基于Python語言的圖像處理庫OpenCV將視頻轉為灰度視頻,同時將視頻分辨率壓縮至360×360像素以減少光流法的運算量。利用Gunner Farneback(GF)稠密光流法從視頻中提取蝦苗幀間運動特征,GF光流法計算所有像素點在相鄰幀間的偏移量,形成每個像素點的運動矢量,包含幅值強度和相角角度兩個維度的行為信息,二者包含了蝦苗運動的主要信息。在對每一幀幅值強度和相角角度統計分析的基礎上,應用改進后的信息熵(weighted information entropy,WIE)以及互信息(mutual information,MI)2種方法來對蝦苗進行活力檢測。

1 材料與方法

1.1 試驗材料

本研究試驗對象為南美白對蝦蝦苗,試驗數據采集于上海海洋大學濱海養殖基地,試驗蝦苗長度約1～2 cm。南美白對蝦對環境變化適應能力很強,對高溫的忍受極限可達43.5 ℃,但對低溫的適應能力較差,在水溫在18 ℃以下時,蝦苗基本停止攝食,水溫在9 ℃以下時,蝦苗開始昏迷甚至死亡[24]。因此,本研究將蝦苗活力分為“活力弱”“活力中”“活力強”3類,蝦苗活力分級及狀態如表1所示。

表1 蝦苗活力分級

為得到3種不同活力程度的蝦苗,準備3個底面直徑30 cm、深40 cm的試驗箱a、b、c。3個試驗箱的水溫分別為24℃、16℃、8℃,試驗中將同一批正常飼養的蝦苗(約50只)分為3組分別放入3個試驗箱中飼養3 h,其間正常喂食。3 h后拍攝蝦苗的游動情況。

1.2 圖像采集系統

本研究所有的試驗數據采集使用如圖1所示的計算機視覺系統。

圖1 計算機視覺系統

該系統包括3個試驗箱、3個恒溫器、3臺高清攝像機和1臺計算機。恒溫器采用家庭魚缸恒溫機(冷暖一體),可以保證試驗箱水溫變化不超過0.5℃,高清攝像機使用羅技C920高清攝像頭,視頻圖像分辨率為1 920×1 080像素,幀率為30幀/s,拍攝期間蝦苗光照環境不變。試驗開始通過恒溫器將水溫恒定后放入蝦苗,在不同溫度下正常養殖3 h后,使用計算機控制攝像機開啟并使用羅技capture視頻錄制軟件進行視頻采集,錄制時間超過1 min,檢測時截取其中連續30 s作為研究對象。所有視頻均采用俯拍視角,攝像機通過立桿固定于試驗箱頂部中央,距水面0.5 m,保證拍攝視角水平及拍攝范圍覆蓋整個試驗箱。

1.3 試驗方案設計

為了避免試驗的偶然性,本研究共進行7組試驗,試驗1#～4#組為實驗組,每組試驗條件相同,在不同溫度下飼養3 h后采集不同試驗箱中蝦苗的游動視頻,每次試驗選擇不同活力的蝦苗視頻的連續900幀(30 s)作為研究對象。試驗5#～7#組為驗證組,為了模擬實際生活中可能出現不同質量的蝦苗混合在一起的情況以及驗證2種方法的有效性,試驗5#～7#組將不同活力的蝦苗進行混合后再采集視頻,混合后的蝦苗總數基本保持不變。其中試驗5#組的蝦苗為試驗箱a和試驗箱b中蝦苗1:1混合;試驗6#組的蝦苗為試驗箱b和試驗箱c中蝦苗1:1混合;試驗7#組的蝦苗為試驗箱a和試驗箱c中蝦苗1∶1混合。

2 蝦苗活力檢測算法

2.1 基于稠密光流法的蝦苗幀間運動特征提取和分析

2.1.1 光流法提取幀間運動特征

光流[25]是空間運動物體在觀察成像平面上的像素運動的瞬時速度,包含了物體表面結構和動態行為的重要信息,是對真實運動的近似估計。本研究使用經典的GF稠密光流法提取蝦苗幀間運動特征,該方法在圖像的全局范圍內計算每個像素點在相鄰幀間的偏移量,形成光流位移場。運動特征提取流程如圖2所示。

圖2 幀間運動特征提取流程

由圖2可知,光流場中不同顏色表示像素點的相角角度,顏色亮度的高低表示幅值強度的大小,即某一幀的光流場反映了蝦苗瞬間的游動情況,因此通過對幅值強度和相角角度的統計學分析可以獲得不同活力蝦苗運動特征的特點。

使用光流法提取蝦苗的幀間運動特征建立在3個假設的基礎上:1)相鄰幀之間的亮度恒定,即同一蝦苗目標的像素值在相鄰幀間不會發生變化;2)短距離運動,即相鄰幀之間的時間足夠短,且蝦苗的運動距離較小;3)空間一致性,即蝦苗像素點具有相同的運動趨勢。

基于假設1),同一蝦苗目標在相鄰幀中亮度保持不變,可建立式(1):

p(x,y,t)=p(x+x′,y+y′,t+t′)

(1)

式中:p(x,y,t)表示坐標為(x,y)的像素點在t時刻的像素值;p(x,y,t)表示該像素點在t+t′時刻移動到p(x+x′,y+y′,t+t′)位置后的像素值。對式(1)進行泰勒展開,推導出光流方程如式(2)所示:

pxu+pyv+pt=0

(2)

式中:px為像素值p對位置x的偏導;py位像素值p對位置y的偏導;pt為像素值p對時刻t的偏導;u為光流沿x方向的運動矢量;v為光流沿y方向的運動矢量。

GF稠密光流法使用多項式展開的方法求解u和v,對每個像素的鄰域使用一個二次多項式來近似表達,然后通過分析前后兩幀像素點的多項式展開系數估計2個方向的運動矢量。這種方法具有較高的魯棒性和可靠性,滿足實際應用的需求。

蝦苗像素點移動的幅值強度(pixels)和相角角度(°)計算如式(3)如式(4):

(3)

(4)

式中:mag為坐標為(u,v)的像素點移動的幅值強度(pixels);ang為坐標為(u,v)的像素點移動的相角角度(°),由此可以得到視頻中每一幀所有蝦苗像素點的運動特征,包含幅值強度和相角角度2個運動矢量。

2.1.2 運動特征統計學分析

運動特征統計學分析如圖3所示。

圖3 運動特征統計學分析

Freeman等[26]最早在手語識別中使用直方圖的方法,直方圖可以對數據進行初步分析,得到數據的分布情況。對不同活力蝦苗視頻某相鄰幀的幀間運動特征進行直方圖分析,將幅值強度和相角角度的取值范圍分為若干個區間,然后分別統計二者的值在各個區間出現的次數。如圖3a和3b分別為不同活力蝦苗視頻中某一幀的幅值強度和相角角度的統計直方圖,橫軸分別表示幅值強度和相角角度,縱軸表示不同值出現的頻率。圖3c所示為幅值強度和相角角度的聯合分布直方圖,橫軸表示幅值強度,縱軸表示相角角度。不同活力的蝦苗其視頻每一幀的幅值強度和相角角度的數值分布呈現不同的趨勢,且二者的相關性也有顯著差異。因此可以利用幀間運動特征的這一特性來實現蝦苗的活力檢測,本研究提出基于WIE和MI的2種檢測方法。

為了避免統計維數過大,以及攝像機的微小晃動造成的噪聲影響,本研究通過拍攝沒有蝦苗時的試驗箱視頻,計算此時提取到的幅值強度的最大值T1,即噪聲像素幅值強度的最大值,通過篩選幅值強度小于T1的像素點去除噪聲像素,經過計算后T1的值為1.4 pixels。相角角度每隔3°進行一次統計,幅值強度每隔0.04 pixel進行統計一次。

2.2 基于加權信息熵(WIE)的蝦苗活力檢測

1948年,Shannon首先在信息論中引入了熵(Entropy)的概念,把熵作為一個隨機事件的不確定性信息量的度量稱為信息熵(Information Entropy),可以用來描述任何一種體系或物質運動的混亂度和無序度[27]。

(5)

將信息熵引入對相鄰幀的幅值強度的統計分析,通過計算幅值強度的信息熵可以間接反映出蝦苗運動速度混亂程度,以此來分析蝦苗的運動狀況。但對于不同活力的蝦苗,按照原始計算方式得到的不同活力蝦苗的信息熵沒有明顯的區別,針對此問題,本研究提出一種加權信息熵(Weighted Information Entropy)用于對蝦苗的幅值強度進行統計分析,公式為:

(6)

式中:xi為幅值強度的大小,p為幅值強度取值的概率。

因為活力較高的蝦苗對應像素的幅值強度會更大,所以通過在計算中引入具體幅值強度的值,使活力不同的蝦苗的加權信息熵會有明顯區別。

本研究應用加權信息熵Hw來進行蝦苗的活力檢測。其中x為某一幀蝦苗運動特征的幅值強度所構成的隨機變量,其概率分布用p(x)表示,Hw表示某一幀光蝦苗幅值強度的加權信息熵。根據Hw的公式可知,活力越強的蝦苗其Hw越大。根據對同種活力的不同批次的蝦苗Hw指標進行分析,確定合理的指標閾值,可以實現對蝦苗活力的檢測。

2.3 基于互信息(MI)的蝦苗活力檢測

互信息(Mutual Information)是信息論中的重要概念,用來衡量隨機變量之間的相關性。假設有2個離散型隨機變量X和Y,則互信息I(X,Y)可以定義為:

(7)

式中:p(x,y)為X和Y的聯合概率分布函數;p(x)和p(y)分別為X和Y的邊緣概率函數。

根據上式可知:互信息的值越大,說明變量之間的相關性越強,如果互信息為0,則說明2個變量相互獨立。本研究應用互信息I(X,Y)來進行蝦苗活力檢測。其中x和y分別為某一幀蝦苗運動特征的幅值強度和相角角度所構成的隨機變量,二者的概率分布分別用p(x)和p(y)表示,p(x,y)表示二者的聯合概率分布。活力越強的蝦苗,其幅值強度和相角角度的相關性越強,互信息MI值就越大。

3 結果與討論

3.1 結果分析

如圖4所示為試驗1#～4#基于WIE和MI的蝦苗活力檢測結果。黑色實線為不同時刻的檢測值,2條虛線是區分3種不同活力蝦苗的閾值指標。對于基于WIE的蝦苗活力檢測方法,本研究設定閾值為11.3和4.8;對于基于MI的活力檢測方法,本研究設定閾值為0.182和0.09。由圖4a可以看到,對于基于WIE的活力檢測方法,活力強的蝦苗WIE指標基本保持在11.3以上;活力中的蝦苗WIE指標基本保持在4.8～11.3之間;活力弱的蝦苗WIE指標基本保持在4.8以下。因此將基于WIE的活力檢測方法的閾值設定為11.3和4.8時對不同活力的蝦苗有較高的區分度。由圖4b可以看到,對于基于MI的活力檢測方法,活力強的蝦苗MI指標基本保持在0.182以上;活力中的蝦苗WIE指標基本保持在0.09～0.182之間;活力弱的蝦苗MI指標基本保持在0.09以下。因此將基于MI的活力檢測方法的閾值設定為0.182和0.09時對不同活力的蝦苗有較高的區分度。

圖4 試驗1-4組的蝦苗活力檢測結果

表2給出了2種檢測方法的評價指標數據,精準度表示算法預測的所有屬于該類別的樣本中預測正確的比例,召回率表示所有真實屬于該類別的樣本中被算法正確預測的比例。由表2可以看出,基于WIE的檢測方法對3種類別均有較好的效果,而基于MI的檢測方法則出現了較多誤檢。整體而言,2種檢測方法均能取得較好的試驗效果。

表2 基于WIE和MI的蝦苗活力檢測方法

3.2 驗證實驗結果

如圖5所示為試驗5#～7#的檢測結果,從圖中可以看出2種方法都在一定程度上體現出混合后蝦苗的整體活力情況。對于基于WIE的活力檢測方法,在試驗5中蝦苗的WIE指標基本都保持在4.8以上,部分超過11.3;在試驗6中蝦苗的WIE指標基本維持在4.8左右;在試驗7中蝦苗的WIE指標多數維持在4.8兩側,少部分超過11.3。對于基于MI的活力檢測方法,在試驗5中蝦苗的MI指標保持在0.182;在試驗6中蝦苗的MI指標保持在0.09;在試驗7中蝦苗的MI指標基本分布在0.04～0.182之間。試驗5#～7#組側面反映出2種檢測方法的有效性。

圖5 試驗5～7組的蝦苗活力檢測結果

3.3 討論

對比魚類行為檢測[28-29],本研究的難點在于蝦苗目標小且通體透明,游動敏捷,行為特征較魚類更難以捕捉;對比傳統運動目標跟蹤檢測[30],被跟蹤目標的靜態特征多樣且明顯,而蝦苗靜態特征幾乎沒有,無法應用現有的特征提取器,因此先檢測再跟蹤的方法難度較大。馮國富等[31]采用YOLOv4目標檢測算法和DeepSort多目標跟蹤算法記錄蝦苗應激前后的相關特征值,使用單一顏色和紋理特征的算法準確率為91.98%和96.56%。針對以上問題,本研究在光流法提取蝦苗的整體運動特征基礎上進行統計學分析,得到不同活力的蝦苗特征分布情況;對特征應用加權信息熵和互信息,使得不同分布的特征計算結果有顯著差異。

4 結論

本研究基于計算機視覺技術,設計了一種基于稠密光流和統計學特征的蝦苗活力檢測方法。本研究對光流信息進行統計學分析后,首次將其與信息熵、互信息等信息論概念相結合,并創新性地改進原始信息熵的計算方法使之能更好地表征蝦苗的運動情況。改進后的信息熵和互信息兩種檢測方法的精準度都在98%以上,可以有效實現蝦苗活力檢測。蝦苗活力檢測方法是實現自動化蝦苗質量檢測的關鍵之一,但由于蝦苗目標小且近乎透明,所以該方法所需的檢測條件較為苛刻,仍需在后續的研究中對其進行改進以應對真實的養殖環境。除此之外,也可以圍繞蝦苗質量的其他評估指標,例如蝦苗腸道的干凈程度、肝胰臟的顏色等,提出蝦苗質量評價方法,從而提升蝦苗養殖的信息化和數字化水平。

□