基于圖像特征與競爭型神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計

張 帆 徐建瑜

(寧波大學信息科學與工程學院 浙江 寧波 315211)

?

基于圖像特征與競爭型神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計

張 帆 徐建瑜

(寧波大學信息科學與工程學院 浙江 寧波 315211)

蟹苗的密度估計在蟹苗養(yǎng)殖中有著重要的意義。但現(xiàn)有的基于圖像處理的密度估計算法不能對蟹苗圖像進行準確地密度估計，因此提出一種基于圖像特征與競爭型神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計算法。首先引入背景建模與噪聲處理得到前景圖像像素數(shù)；然后使用閾值區(qū)分高密度圖像和低密度圖像；最后對閾值上下圖像分別采用基于全局特征的密度等級分類算法和基于局部特征的線性回歸算法。其中蟹苗圖像的密度等級由競爭型神經(jīng)網(wǎng)絡(luò)進行劃分和判斷。實驗結(jié)果表明正確率可達到93.95%。

蟹苗密度估計 閾值判別 線性回歸 競爭型神經(jīng)網(wǎng)絡(luò) 紋理特征

0 引 言

隨著梭子蟹人工育苗產(chǎn)業(yè)的擴大，對蟹苗密度的估計有了廣泛需求。在育苗過程中獲得蟹苗密度信息對蟹苗的餌料投喂、健康判斷和產(chǎn)量預估具有重要意義。作為蟹苗狀態(tài)的主要表征，蟹苗密度也為育苗過程中養(yǎng)殖環(huán)境的判斷和蟹苗生長狀態(tài)分析提供了決策參考。因此，對蟹苗密度進行準確估計具有重要意義。

傳統(tǒng)的蟹苗密度估計使用人工觀測的方法，對觀測人員的經(jīng)驗要求較高，且主觀性強，環(huán)境干擾因素多。隨著計算機視覺和人工智能等領(lǐng)域相關(guān)技術(shù)的發(fā)展，基于圖像處理的水下生物密度估計成為智能化水產(chǎn)養(yǎng)殖的研究熱點。現(xiàn)有的基于圖像處理的密度估計算法分為以下三種：(1) 基于局部特征的統(tǒng)計算法[1-3]采用前景目標檢測的方法，對前景圖像進行像素統(tǒng)計或是特征分析，通過統(tǒng)計前景目標個體來獲取目標密度。此類算法對低密度圖像的目標密度估計性能較好，而對于高密度圖像，由于目標個體之間存在遮擋，導致算法密度估計性能降低。(2) 基于全局特征的密度估計算法[4-6]采用紋理分析或回歸擬合的方法，對整個圖像的特征信息進行分析計算，對圖像中目標密度等級進行分類，從而估計目標密度。此類算法對各個密度等級的圖像密度估計性能較好，但在低密度情況下容易受背景噪聲的影響。(3) 結(jié)合局部特征和全局特征的密度估計算法[7-10]使用閾值區(qū)分低密度圖像和高密度圖像，對低密度圖像使用基于局部特征的目標個體統(tǒng)計的方法，對高密度圖像使用基于全局特征的密度估計的方法。此類算法對不同密度等級的圖像有更準確的估計，且適應性較好。

文獻[8]提出的結(jié)合局部特征和全局特征的密度估計算法多用于人群密度估計，由于人群圖像與蟹苗圖像差別較大，因此其中針對人群的密度等級標準不適用于蟹苗的密度估計。文獻[9]提出的基于頻率直方圖特征和神經(jīng)網(wǎng)絡(luò)的密度估計算法，對魚苗圖像的密度估計性能較好，但該算法所使用的特征維數(shù)較高，網(wǎng)絡(luò)結(jié)構(gòu)復雜，計算量大，效率較低。

1 蟹苗密度估計

針對上述問題，本文提出一種基于圖像特征與競爭型神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計算法。流程如圖1所示。

圖1 算法主流程

首先，對采集的圖像進行背景建模和噪聲處理；然后，統(tǒng)計前景圖像像素數(shù)，得出合適閾值；再對高于閾值的高密度圖像進行紋理特征分析，通過競爭型神經(jīng)網(wǎng)絡(luò)(CNN)劃分出蟹苗圖像的密度等級并統(tǒng)計其對應的蟹苗個數(shù)范圍，對低于閾值的低密度圖像進行前景圖像像素數(shù)和蟹苗個數(shù)的統(tǒng)計，得出兩者之間的線性回歸模型；最后，對閾值上下的圖像分別采用基于全局特征的密度等級分類算法和基于局部特征的線性回歸算法來估計蟹苗密度。

1.1 前景目標提取

蟹苗圖像采集過程中，受外界光源影響，蟹苗的活動范圍有限，不會分布在整個圖像中，因此本文劃分出圖像中的感興趣區(qū)域(ROI)即蟹苗活動區(qū)域。這不僅排除了部分水中雜質(zhì)的干擾，同時降低了計算量。本文采用基于混合Gauss模型的背景建模方法(GMM)[11]來提取前景圖像。GMM算法對圖像背景的變化有較好的適應性，可以排除部分水下環(huán)境雜質(zhì)的影響。為進一步去除圖像中的雜質(zhì)，本文對所得的前景圖像提取輪廓，將輪廓周長小于正常蟹苗圖像周長的像素塊去除。原圖與預處理結(jié)果圖對比如圖2所示。

圖2 預處理前后對比

1.2 閾值判別

基于局部特征的密度估計算法，是基于目標個數(shù)和前景圖像像素數(shù)存在線性遞增關(guān)系[12]。但該線性關(guān)系在目標圖像密度較高時，密度估計性能下降。因此需要引入閾值判別機制，區(qū)分低密度圖像和高密度圖像。為了獲取判別閾值，本文實驗選取在外部光源引誘條件下，蟹苗密度隨時間逐漸增加的視頻數(shù)據(jù)，對視頻中圖像進行預處理后，計算其前景圖像像素數(shù)并統(tǒng)計圖像中蟹苗個數(shù)。圖3顯示了該視頻中前景圖像像素數(shù)和蟹苗個數(shù)的變化情況。由圖3可以看出，當前景圖像像素數(shù)達到一定值后，前景圖像像素數(shù)和蟹苗個數(shù)的線性相關(guān)性降低。通過本文實驗數(shù)據(jù)分析，選取前景圖像像素數(shù)為28 000，蟹苗個數(shù)為700的數(shù)據(jù)點為閾值判別點，設(shè)置閾值T=28 000。

圖3 前景圖像像素數(shù)與蟹苗個數(shù)之間的關(guān)系

1.3 基于局部特征的線性回歸算法

對前景圖像像素數(shù)小于等于T的圖像，先統(tǒng)計前景圖像像素數(shù)作為局部特征，然后通過前景圖像像素數(shù)和蟹苗個數(shù)之間的線性回歸模型，計算得出蟹苗密度。為了計算前景圖像像素數(shù)和蟹苗個數(shù)之間的線性回歸模型，將通過本文實驗得出的低密度圖像序列作為輸入數(shù)據(jù)，使用圖像處理的方法統(tǒng)計其前景圖像像素數(shù)和蟹苗個數(shù)，得出實際數(shù)據(jù)點序列，而后曲線擬合數(shù)據(jù)點序列，得出實際數(shù)據(jù)點和擬合曲線如圖4所示。

圖4 實際數(shù)據(jù)點與擬合曲線

根據(jù)曲線擬合結(jié)果，得出蟹苗個數(shù)y和前景圖像像素數(shù)x之間的線性回歸模型為式(1)。

y=-1×e-6x2+0.053x+2.052

(1)

線性回歸模型式(1)估算的蟹苗個數(shù)與實際值的平均絕對差值為13.95，由圖4可以看出該線性回歸模型可以較好地估計圖像中蟹苗的個數(shù)。

1.4 基于全局特征的密度等級分類算法

對前景圖像像素數(shù)大于T的圖像，使用基于全局特征的密度等級分類算法。由于不同密度等級的圖像呈現(xiàn)不同的紋理特征[13]，因此將紋理特征作為圖像的全局特征。灰度共生矩陣(GLCM)是一種通過研究灰度的空間相關(guān)特性來描述紋理的常用方法，可以反映圖像在方向、間隔和變化幅度上的綜合信息。因此本文使用GLCM計算圖像的紋理信息。將GLCM統(tǒng)計計算出的不同的紋理特征組合成多維的紋理特征矢量輸入至已經(jīng)訓練好的競爭型神經(jīng)網(wǎng)絡(luò)(CNN)中，得出圖片的密度等級。基于全局特征的密度等級分類算法流程如圖5所示。

圖5 基于全局特征的密度估計算法流程

1.4.1 灰度共生矩陣

GLCM通過計算灰度值為i的像素點，偏離距離d、方向角θ處出現(xiàn)灰度值為j的像素點的概率f(i,j|d,θ)，構(gòu)成二維概率矩陣。通過不同統(tǒng)計方法計算該矩陣，可以得到描述不同紋理特征的特征描述子。本文實驗圖像數(shù)據(jù)灰度等級為256，由于256個灰度級的GLCM計算量過大，因此縮減為64個灰度等級。本文實驗計算64個灰度級，θ=(0°,45°,90°,135°),d=1的GLCM，選用能量、熵、均勻度三個統(tǒng)計量組成特征矢量。

(2)

(3)

(4)

通過計算式(2)-式(4)可以得出每個GLCM的4個方向上的3種紋理特征值，因此每幀輸入圖像可提取出12個紋理特征值，組成12維的紋理特征矢量。

1.4.2 競爭型神經(jīng)網(wǎng)絡(luò)

CNN可以對訓練數(shù)據(jù)進行聚類劃分，訓練之后的CNN可以對測試數(shù)據(jù)進行等級分類。CNN分為輸入層和競爭層，由于本文中計算所得的特征矢量維數(shù)為12，因此輸入層由12個神經(jīng)元構(gòu)成。本文設(shè)定密度等級個數(shù)為5個，因此競爭層有5個神經(jīng)元。網(wǎng)絡(luò)連接權(quán)值為wij(i=1,2,…,N;j=1,2,…,M)，其中N=12，M=5，并且滿足約束條件式(5)。

(5)

按wij=1/N(i=1,2,…,N;j=1,2,…,M)賦予初值。在競爭層中，神經(jīng)元相互競爭，最終只有一個神經(jīng)元獲勝，競爭勝利的神經(jīng)元代表當前輸入樣本的分類模式。競爭后的權(quán)值按式(6)更新。

wij=wij+a(xi|m-wij)

(6)

CNN結(jié)構(gòu)如圖6所示。

圖6 競爭型神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

1.4.3 密度等級劃分

由于現(xiàn)存的密度估計算法所使用的密度等級標準僅適用于人群密度估計，因此本文需要劃分出蟹苗圖像的密度等級作為密度估計的標準。CNN在無監(jiān)督情況下能夠自組織地分析輸入數(shù)據(jù)特征，從而對輸入數(shù)據(jù)進行聚類處理[14-15]。因此，本文使用CNN對蟹苗圖像序列進行密度等級劃分。本文實驗選取經(jīng)閾值區(qū)分出的高密度圖像序列作為訓練數(shù)據(jù)。實驗中，將經(jīng)過預處理后的圖像，使用GLCM計算其紋理特征，將所得的特征描述子組合為特征矢量，將訓練數(shù)據(jù)輸入CNN可以劃分出特定數(shù)量的密度等級，然后對劃分完成的圖像序列進行蟹苗個數(shù)統(tǒng)計，獲得每個密度等級對應的蟹苗個數(shù)范圍。密度等級劃分實驗流程如圖7所示。

圖7 密度等級劃分流程

本文實驗將訓練圖像序列劃分為5個密度等級，每個密度等級對應的蟹苗個數(shù)范圍由圖像處理和人工統(tǒng)計結(jié)合的方法獲得。密度等級劃分實驗結(jié)果如表1所示。

表1 蟹苗圖像的密度等級劃分表

1.4.4 密度等級分類

上述實驗得出了蟹苗密度等級的標準，并且訓練出具有分類功能的CNN。在此基礎(chǔ)上，將前景圖像像素數(shù)大于T的測試圖像通過紋理分析得出紋理特征矢量，輸入至訓練完成的CNN中，得出密度等級，最后根據(jù)蟹苗圖像的密度等級劃分表即可估計出測試圖像的蟹苗密度。

2 實驗和討論

為了驗證本文基于圖像特征與神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計算法能有效地估計實際環(huán)境中蟹苗密度，實驗采集了不同密度蟹苗的活動視頻，然后對這些蟹苗的活動視頻使用本文算法計算處理。

2.1 數(shù)據(jù)采集實驗

視頻數(shù)據(jù)采集實驗裝置如圖8所示，實驗裝置主要由攝像頭、拍攝盒和背光源組成。攝像頭采用Basler acA1600-20gm攝像頭，背光源用尺寸為0.1 m×0.1 m的紅外燈板，蟹苗入口設(shè)在亞克力板和背光源之間。為模擬蟹苗密度逐漸增高的情況，在實驗裝置后方放置一個9 W的小燈作為引誘光源。

圖8 數(shù)據(jù)采集裝置結(jié)構(gòu)

實驗裝置可固定于蟹苗池中不同位置進行視頻采集。實驗錄制對象為溞狀幼體Ⅰ期的蟹苗。在引誘光源打開后，開始錄制，每次錄制時長為50秒。

2.2 算法測試

使用上述實驗裝置在蟹苗池中采集視頻數(shù)據(jù)，共獲得7 860幀1 626×1 260像素的蟹苗圖像。選取靠近光源的1 046×322像素的圖像作為ROI，預處理得出前景圖像像素數(shù)，根據(jù)本文實驗得出判別閾值，設(shè)定T=28 000(圖像中蟹苗個數(shù)約為700個)。對于前景圖像像素數(shù)小于T的圖像，采用基于局部特征的線性回歸算法計算其蟹苗密度。前景圖像像素數(shù)小于T的圖像共2 730張，對這些圖像使用線性回歸模型計算得出蟹苗的估測數(shù)量。蟹苗的實際數(shù)量與估測數(shù)量的對比如圖9所示。經(jīng)過統(tǒng)計得出，實際蟹苗數(shù)量與估測數(shù)量平均絕對差值為12.04。

圖9 蟹苗的實際數(shù)量與估測數(shù)量

對于前景圖像像素數(shù)大于T的圖像，采用基于全局特征的密度等級分類算法進行密度估計。此類圖像共有5 130張，其中4 104張作為訓練數(shù)據(jù)，用來劃分密度等級，1 026張作為測試數(shù)據(jù)，用來測試本算法的分類效果。密度等級劃分為5個等級：等級1(790～860個)，等級2(860～950個)，等級3(950～1 050個)，等級4(1 050～1 120個)，等級5(1 120～1 250個)。將從訓練數(shù)據(jù)中分析計算所得出的紋理特征矢量輸入到訓練完成的CNN中進行分類，分類結(jié)果如表2所示 。經(jīng)統(tǒng)計得出本算法分類正確率為94.93%，因此可以看出本算法能較好地對高密度圖像進行密度等級分類。

表2 密度等級分類結(jié)果

2.3 與其他算法對比

對比算法選取文獻[3]提出的基于目標輪廓和形態(tài)分類的密度估計算法和文獻[6]提出的基于子區(qū)域紋理特征和支持向量回歸模型的密度估計算法，對同樣的測試圖像序列進行蟹苗密度估計。三種算法處理結(jié)果如表3所示。

表3 本文算法與其他算法對比

3 結(jié) 語

本文提出了一種基于圖像特征和競爭型神經(jīng)網(wǎng)絡(luò)的蟹苗密度估計算法，算法采用閾值判別的機制將蟹苗圖像區(qū)分為低密度圖像和高密度圖像。對于低密度圖像，采用基于局部特征的線性回歸算法。對于高密度圖像，采用基于全局特征的密度等級分類算法。針對蟹苗密度等級的劃分，采用競爭型神經(jīng)網(wǎng)絡(luò)的方法進行聚類劃分，得出了蟹苗高密度圖像的密度等級劃分表。將該密度等級表與基于全局特征的密度等級分類算法結(jié)合，可估計出高密度圖像中蟹苗的密度。實驗結(jié)果表明，本文算法可準確地對不同密度的蟹苗圖像進行密度估計。由于本文數(shù)據(jù)采集對象均為溞狀幼體Ⅰ期的蟹苗，因此對于多期蟹苗混合的圖像，本文算法有待進一步的優(yōu)化。

[1] Rodriguez M,Laptev I,Sivic J,et al.Density-aware person detection and tracking in crowds[C]//2011 International Conference on Computer Vision.IEEE,2011:2423-2430.

[2] Fradi H,Dugelay J L.Crowd density map estimation based on feature tracks[C]//Multimedia Signal Processing (MMSP),2013 IEEE 15th International Workshop on.IEEE,2013:40-45.

[3] Luo S,Li X,Wang D,et al.Automatic Fish Recognition and Counting in Video Footage of Fishery Operations[C]//2015 International Conference on Computational Intelligence and Communication Networks (CICN).IEEE,2015:296-299.

[4] Cao L,Zhang X,Ren W,et al.Large scale crowd analysis based on convolutional neural network[J].Pattern Recognition,2015,48(10):3016-3024.

[5] Zhang C,Li H,Wang X,et al.Cross-scene crowd counting via deep convolutional neural networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015:833-841.

[6] 胡宏宇,關(guān)可汗,李志慧.考慮特征空間分布的行人數(shù)量估計方法[J].長安大學學報:自然科學版,2015(S1):54-58.

[7] Gündüz A E,Temizel T T,Temizel A.Density estimation in crowd videos[C]//2014 22nd Signal Processing and Communications Applications Conference (SIU).IEEE,2014:822-825.

[8] 李寅,王貴錦,林行剛.結(jié)合局部和全局特征的人群密度估計算法[J].清華大學學報:自然科學版,2013(4):542-545.

[9] Newbury P F,Culverhouse P F,Pilgrim D A.Automatic fish population counting by artificial neural network[J].Aquaculture,1995,133(1):45-55.

[10] 徐麥平,張二虎,陳亞軍.融合像素與紋理特征的人群人數(shù)統(tǒng)計方法研究[J].西安理工大學學報,2015,31(3):340-346.

[11] Stauffer C,Grimson W E L.Adaptive background mixture models for real-time tracking[C]//Computer Vision and Pattern Recognition,1999.IEEE Computer Society Conference on.IEEE,1999,2.

[12] Davies A C,Yin J H,Velastin S A.Crowd monitoring using image processing[J].Electronics & Communication Engineering Journal,1995,7(1):37-47.

[13] Marana A N,Costa L D F,Lotufo R A,et al.Estimating crowd density with Minkowski fractal dimension[C]//Acoustics,Speech,and Signal Processing,1999 IEEE International Conference on.IEEE,1999,6:3521-3524.

[14] Haykin S S,Haykin S S,Haykin S S,et al.Neural networks and learning machines[M].Upper Saddle River,NJ,USA Pearson,2009.

[15] Maren A J,Harston C T,Pap R M.Handbook of neural computing applications[M].Academic Press,2014.

CRABLARVAEDENSITYESTIMATIONBASEDONIMAGEFEATUREANDCOMPETITIVENEURALNETWORK

Zhang Fan Xu Jianyu
(CollegeofInformationScienceandEngineering,NingboUniversity,Ningbo315211,Zhejiang,China)

Crab larvae density estimation is of great significance in breeding crabs. However, existing density estimation algorithms based on image processing cannot accurately estimate the density of crab larvae images at different density levels, we propose a crab density estimation algorithm based on image feature and competitive neural network. First we introduce background modeling with noise processing to get foreground image pixels. Then we use thresholds to distinguish between high density images and low density images. Finally, a regression algorithm based on local features is used to analyze images below the threshold and a classification algorithm based on global features is used to analyze images above the threshold. Density levels of crab larvae image are divided and judged by competitive neural network. Experimental results showed that algorithm can accurately estimate the density of crab larvae images at different density levels.

Crab larvae density estimate Threshold determination Linear regression Competitive neural network Texture feature

2016-08-18。張帆，碩士生，主研領(lǐng)域：圖像處理與機器學習。徐建瑜，副教授。

TP391.41

A

10.3969/j.issn.1000-386x.2017.08.042