基于深度學(xué)習(xí)的魚類攝食狀態(tài)識別算法

黃 平，鄭金存，龐 毅

（1.廣西大學(xué) 計算機與電子信息學(xué)院，廣西南寧 530004；2.玉林師范學(xué)院物理與電信工程學(xué)院智能信息與通信技術(shù)研究中心，廣西玉林 537000）

傳統(tǒng)利用機器視覺研究魚類攝食狀態(tài)的方法主要通過魚類的運動特征、圖像紋理特征等方式對攝食狀態(tài)進行量化[1-7]。此類方法易受光照、水質(zhì)條件的限制，圖像特征提取過程繁瑣、識別效率低。神經(jīng)網(wǎng)絡(luò)模型通過自主學(xué)習(xí)實現(xiàn)了對圖像特征的自動提取和識別，提高了識別的效率[8]，但其識別效果仍受到圖像預(yù)處理質(zhì)量的影響。為此，采用了結(jié)構(gòu)復(fù)雜的網(wǎng)絡(luò)模型[9-10]來提高模型識別精度，解決導(dǎo)致模型訓(xùn)練、部署困難的問題。因此該文利用深度相機及基于距離特征的算法克服環(huán)境因素的影響，提高圖像預(yù)處理的質(zhì)量，簡化了識別模型的結(jié)構(gòu)，解決了模型訓(xùn)練困難的問題。

1 數(shù)據(jù)處理

1.1 基于距離特征的圖像預(yù)處理方法

采用微軟公司Azure Kinect DK 深度相機為前期圖像處理設(shè)備。相機基于光子時間飛躍（Time of Light，TOF）技術(shù)，通過測量調(diào)制光信號在相機和物體之間的飛行時間來測量距離信息[12]，其距離計算公式如式（1）：

式中，D是深度相機到被測物的距離，c為光在空氣中傳播速度，Δφ為發(fā)射光信號與接收信號的相位差，f為光的頻率。

將深度相機放置于養(yǎng)育池正上方中心并向下俯拍，調(diào)節(jié)深度相機與養(yǎng)育池的水面距離為50 cm，使得深度相機的視野范圍覆蓋整個養(yǎng)育池水面。游泳型魚類（如鯉魚）攝食區(qū)域通常為距離水面深度15 cm的區(qū)域[13]。故設(shè)置深度相機水下有效測量范圍為0～15 cm，僅聚集在魚群攝食區(qū)域，排除了其他未進入攝食區(qū)域魚的干擾。鯉魚攝食階段的明顯特征是上浮水面搶食，使得魚群在水體表面深度圖的像素分布增大，水體表面的目標(biāo)分布可直觀反映魚類的攝食情況，通過編寫的C#程序?qū)Λ@取的深度圖像的像素點g(x,y)的取值作如下處理：

式中，z(x,y)表示深度圖中坐標(biāo)為(x,y)點的深度值，深度相機使用16 位二進制形式表示深度圖中像素點的值，深度相機理論測量距離為0～65 535 mm，z(x,y)的取值范圍為深度相機有效測量范圍即500～3 860 mm。根據(jù)式（2），當(dāng)像素點的深度值在距離深度相機平面500～650 mm 范圍內(nèi)時，此像素點的值設(shè)為1，其灰度值為255（顏色為白色）；超出此范圍的像素點，其灰度值為0（顏色為黑色），因此深度圖可用黑白色圖來表示。故水面攝食魚群和飼料顆粒的深度圖計算如式（3）所示：

式中，g(x,y,t)表示t時刻深度圖中坐標(biāo)點（x,y）的像素值，其取值按式（2）處理，取0 或1，深度圖像大小為640×576，故坐標(biāo)點g(x,y,t)中x和y的取值分別為0～640 和0～576。通過C#程序設(shè)定循環(huán)累加求和，f(k,t) 的值即表示在t時刻水面活動的魚群和飼料顆粒的像素點的總和，表征的是魚群的輪廓特征。

當(dāng)魚群在距離水面15 cm 范圍內(nèi)活動時，魚群的攝食活動被近紅外相機捕捉。由于近紅外成像不受照明光線的影響，即使在渾濁的水體、昏暗的光照環(huán)境，深度相機對于活動于水體表面附近的魚群也可清晰成像。如圖1 中（a1）、（b1）、（c1）、（d1）分別為水質(zhì)較為清澈的條件、夜間無光條件、水質(zhì)較為渾濁的條件、水質(zhì)清澈條件獲取的RGB 圖，圖1 中（a2）、（b2）、（c2）、（d2）為其對應(yīng)的深度圖；通過對比這四種類型的深度圖與RGB 圖可知，深度圖不受拍攝光線和水質(zhì)渾濁度的影響，呈現(xiàn)攝食魚群白色特征輪廓與黑色背景的特點，而未進入攝食區(qū)的魚群深度圖僅為黑色背景圖像，相比于RGB 圖更容易區(qū)別開來，可排除更多的環(huán)境因素干擾。

圖1 不同環(huán)境條件下深度圖與RGB圖

1.2 深度信息與顏色轉(zhuǎn)換方法

深度圖中魚群圖像均包含深度信息，魚群在攝食區(qū)域的深度信息有助于提高對魚類攝食狀態(tài)的判斷準(zhǔn)確度，但其深度信息讀取不易。為了實現(xiàn)將魚群深度信息用顏色表示出來，將魚群的深度距離信息線性轉(zhuǎn)換為HSV 顏色模型的Hue 值，如下式：

式（4）中的z(x,y)表示按式（2）預(yù)處理后深度圖像素點的深度值，z0、z1分別為500 與650，γ是衰減因子，取值為0.67，則魚群在距離水面0～15 cm 的深度運動時，對應(yīng)的色調(diào)Hue 值的取值范圍是0～0.67；利用C#開發(fā)平臺的顏色模型轉(zhuǎn)換函數(shù)將HSV 模型轉(zhuǎn)換為RGB 模型，其方法如下[14]：

式中，S、V的取值為1，因此得到基于距離信息的32 位偽彩色圖。其顏色按照藍綠紅三種顏色演變，藍色表示魚群目標(biāo)貼近水面，如圖2 中的A 所示；綠色表示較為接近于水面，如圖2 中的B；紅色表示魚在較深水體的運動，如圖2 中的C。偽彩色圖可反映魚群立體空間位置信息。

圖2 深度偽彩色圖

該次實驗收集了452 組魚群攝食行為圖像，魚群攝食圖像標(biāo)注參考文獻[15]所提出的分類標(biāo)準(zhǔn)，分別為強攝食、中等攝食、弱攝食、無攝食。構(gòu)成了魚群攝食狀態(tài)數(shù)據(jù)集，訓(xùn)練集圖像44 964 張，驗證集11 242張，測試集2 068 張。

2 魚類攝食圖像識別模型

2.1 SimpleCNN網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,CNN）在目標(biāo)檢測、圖像分類等領(lǐng)域得到廣泛應(yīng)用，針對不同領(lǐng)域開發(fā)了多種網(wǎng)絡(luò)結(jié)構(gòu)的模型。使用CNN 對于魚類攝食行為圖像識別，模型的識別精度、輕量化、檢測速度成為關(guān)注的指標(biāo)。由于魚類攝食深度圖像的預(yù)處理效果較好，該文設(shè)計一簡單CNN模型對魚類攝食數(shù)據(jù)集進行訓(xùn)練和識別，其結(jié)構(gòu)如圖3 所示。

圖3 SimpleCNN模型結(jié)構(gòu)

其中，網(wǎng)絡(luò)輸入層為維度為3，大小為224×224的深度圖，輸入層后為三個隱藏層，其均使用大小為5×5，步長為1 的二維卷積核，均采用Relu 激活函數(shù)，卷積核個數(shù)分別為32、64、128。每個卷積層后面均使用步長為2 的MaxPooling 層進行下采樣處理，其間使用丟棄率為0.2 的Dropout 層來防止網(wǎng)絡(luò)過擬合，最后使用一個平均全局池化層來降低計算參數(shù)量，并連接一個四分類的輸出層，其中，輸出層使用Softmax 分類函數(shù)預(yù)測類別概率，并使交叉熵損失函數(shù)優(yōu)化訓(xùn)練，其式如下所示：

式（6）中，Pi為類別i的最終預(yù)測概率，zi為分類模型對類別為i的原始預(yù)算輸出；zj為分類模型對類別為j的原始預(yù)算輸出，c為類別總數(shù)。式（7）中Loss 為交叉熵損失函數(shù)，yi為類別i對應(yīng)的標(biāo)簽。

2.2 模型評價指標(biāo)

該實驗使用準(zhǔn)確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1 得分（F1 score）作為評價模型的指標(biāo)，如式（8）-（11）：

式中，TP 為真實值為正且預(yù)測也為正的樣本數(shù)量；FP 為真實值為負但預(yù)測為正的樣本數(shù)量；FN 為真實值為正但預(yù)測為負的樣本數(shù)量；TN 為真實值為負且預(yù)測也為負的樣本數(shù)量。

3 模型訓(xùn)練與結(jié)果分析

該實驗使用VGG19、Resnet50、Mobilenet、Densenet201模型對魚群攝食數(shù)據(jù)集進行遷移學(xué)習(xí)訓(xùn)練[16]，SimpleCNN 模型采用傳統(tǒng)重新學(xué)習(xí)的方式。上述各模型參數(shù)統(tǒng)一設(shè)置如下：使用隨機梯度下降優(yōu)化[17-19]方法；學(xué)習(xí)率為0.000 1；batch size 設(shè)置為2，進行100輪次的訓(xùn)練。經(jīng)過100 輪次訓(xùn)練后各模型的準(zhǔn)確率曲線圖、損失值曲線圖如圖4 所示。

圖4 各模型的準(zhǔn)確率、損失值曲線

由圖4 可知，在模型收斂速度方面[20-21]，由于訓(xùn)練數(shù)據(jù)充足，復(fù)雜網(wǎng)絡(luò)模型使用遷移學(xué)習(xí)的方法可以加速模型的訓(xùn)練，在經(jīng)過40 輪次左右各模型接近收斂，SimpleCNN 模型在訓(xùn)練40 輪左右收斂，模型能較快地完成訓(xùn)練。經(jīng)過100 輪次的訓(xùn)練后，各模型的性能及參數(shù)如表1 所示。

表1 100輪次后各個模型性能及參數(shù)

由表1 可知，SimpleCNN 模型在訓(xùn)練集準(zhǔn)確率為99.78%，損失值為0.001，表現(xiàn)優(yōu)于其他模型。Simple CNN 模型使用三個隱藏層來減少模型的復(fù)雜度和參數(shù)量，使得模型的每輪訓(xùn)練用時最短、權(quán)重空間最小、網(wǎng)絡(luò)層數(shù)最小，可移植性好。

使用測試集測試的各模型識別效果如表2所示。

表2 不同模型的識別效果對比

由表2 可知，該研究提出的模型，在準(zhǔn)確率、精確率、召回率、F1 得分等各項評價指標(biāo)值均優(yōu)于文獻[8]方法，也優(yōu)于其他模型。其原因主要是深度圖預(yù)處理效果較好、特征提取容易，SimpleCNN 模型各個網(wǎng)絡(luò)層的結(jié)構(gòu)設(shè)置較為合理。其網(wǎng)絡(luò)第三卷積層特征提取的可視化結(jié)果如圖5 所示。

圖5 深度圖特征提取

由圖5 可知，模型的第三層網(wǎng)絡(luò)能很好提取圖像的特征，說明模型針對此類數(shù)據(jù)集的特征提取效果較好。使用遷移學(xué)習(xí)方式訓(xùn)練的VGG19、Resnet50、Densenet201 模型對魚類的數(shù)據(jù)集識別效果表現(xiàn)不佳，其原因為該次魚類分類任務(wù)的數(shù)據(jù)集與上述模型的源域訓(xùn)練數(shù)據(jù)集相似性不高、差異較大。其次遷移學(xué)習(xí)主要通過預(yù)訓(xùn)練的網(wǎng)絡(luò)來對新數(shù)據(jù)集進行學(xué)習(xí)和訓(xùn)練，通常預(yù)訓(xùn)練的骨干網(wǎng)絡(luò)處于被凍結(jié)狀態(tài)，無法根據(jù)新數(shù)據(jù)集的特點進行微調(diào)，導(dǎo)致模型的特征提取效果不理想。因此針對不同識別任務(wù)要求，設(shè)計結(jié)構(gòu)合理的識別模型方可達到最佳的識別效果。

4 結(jié)論

該文研究了一種基于距離特征的圖像預(yù)處理方法，該方法可克服復(fù)雜養(yǎng)殖環(huán)境中不良因素對圖像成像質(zhì)量的影響，為識別模型提供良好的訓(xùn)練素材。利用顏色表征魚類空間深度信息的方法，實現(xiàn)了對魚群空間深度位置的有效定位，獲得了一種二維圖像表征空間信息的方法，為研究魚類攝食狀態(tài)變化規(guī)律提供更多的技術(shù)支持。針對魚類攝食行為識別任務(wù)，設(shè)計一種結(jié)構(gòu)簡單、高效的卷積神經(jīng)網(wǎng)絡(luò)模型，探索了輕量化網(wǎng)絡(luò)模型在魚類攝食行為識別中的應(yīng)用。