基于機器視覺跟蹤的計數算法*

郭 俊，鄭 堤，2，陳俊華, 劉年福

(1.寧波大學 機械工程與力學學院，浙江 寧波 315211；2.浙江大學 寧波理工學院 機電與能源工程學院，浙江 寧波 315100；3.浙江大學 機械工程學院，浙江 杭州 310058)

0 引 言

隨著養殖生產規模的不斷擴大，魚群在設施養殖中的精確計數為魚苗銷售運輸、養殖密度控制等環節的有效管理提供了基礎。傳統的人工魚群計數方法有分布取樣統計平均法和稱重法，前者費時費力，且亦受到人為主觀因素的影響[1，2]，后者會對幼苗產生應激和物理傷害，測量過的幼苗需較長時間才能恢復正常的攝食生長[3]。

隨著計算機視覺和圖像處理技術的迅速發展,依靠傳感器技術科學的指導養殖生產勢在必行[4]，基于圖像處理技術魚群計數方法得到了廣泛的關注，具有操作簡便、效率高、準確度高、對魚體基本無傷害等特點[5]，在農業的生產中有著廣泛的應用和廣闊的發展前景。目前，已有研究人員利用端點細化算法[6]、神經網絡[7，8]、四鄰域標記[9]、灰度圖像分析[10]、曲線演化法[11]等方法對生物幼苗進行計數，但主要針對單幀圖像且對于因魚苗黏連導致的計數誤差較大并未有很好的解決方法。

本文提出了一種基于視覺跟蹤和回歸分析的魚苗計數方法，對無黏連的正常圖像和有黏連的異常圖像分別進行分析處理和回歸建模，較好地解決了圖像黏連導致的計數誤差較大的問題，為精確、高效的設施養殖管理奠定基礎。

1 計數系統總體設計

魚苗計數系統由養殖水箱、計數水箱、出魚水箱和圖像采集與處理子系統等部分組成，如圖1所示。養殖水箱中養殖待計數的魚苗；計數水箱用于暫存按批次從養殖水箱放下來的魚苗，并供攝像機攝取每批次魚苗的圖像信息；出魚水箱用于收集經過計數的魚苗供銷售、檢驗分析或其他研究與管理使用；電荷耦合器件(charge coupled device,CCD)攝像機進行圖像采集，處理子系統可按一定時間間隔動態跟蹤拍攝多幅計數水箱中的魚苗圖像，并以計算機為平臺，采用NI公司開發的NI Vision Assistant視覺模塊對采集的魚群圖像進行相關處理，利用MATLAB軟件求出相關參數，得出相關算法模型。魚苗計數系統的工作原理：控制球閥(球閥內部安裝電磁閥，防止球閥關閉時誤傷正在通過的魚)，讓魚苗從養殖水箱通過管道進入計數水箱；由圖像采集與處理子系統采集計數水箱中的魚群圖像并進行分析處理與計數；將計數水箱中的魚群通過球閥和管道放入出魚水箱。上述過程持續進行，直至出魚水箱中魚的總數達到預定值。

圖1 計算機視覺魚苗自動計數系統

1.1 計算機圖像分析

對采集自計數水箱中的一張魚苗圖像如圖2(a)所示,進行濾波、二值化等預處理，其結果如圖2(b)所示。

圖2 圖像預處理

對預處理后的魚苗圖像中每個圖像塊分別進行標記，如圖3(a)所示，未黏連的每尾魚單獨標記，稱其為正常圖像，在圖中有4個圖像塊為正常圖像；如圖3(b)中的標簽7和8所示，兩尾或多尾魚因重疊而黏連在一起的圖像整塊標記，稱其為異常圖像，圖中有兩個圖像塊為異常圖像。

圖3 圖像誤判標記

分析正常圖像，選取面積最小的正常圖像的值記為c1，選取面積最大的5個正常圖像求平均值記為c2。對正常圖像的面積在區間[c1,c2]上進行歸一化處理，得

(1)

式中Fa為正常圖像測得的面積；Sa為歸一化處理后該正常圖像的面積。

1.2 計算機視覺跟蹤分析

由于魚群在水箱中自由游動，其拍攝的圖像具有多樣性，如圖4(a)中標簽1與圖4(b)中標簽7的圖像塊，其面積相差不大且均超過正常圖像的面積，在劃分圖像時可能會同時被誤判為異常圖像。因此，需要對異常圖像進行視覺跟蹤分析，便于區分黏連的圖像。

圖4 異常圖像誤判分析

在跟蹤分析異常面積的過程中，若由于圖像面積太大而被判定為異常圖像，可考慮在0～t時刻內觀察圖像是否變化進行分析；若由于黏連而被判定為異常圖像，在0～t時刻內跟蹤異常圖像，若圖像塊的面積Fa變化幅度較大(超過1/3Fa)或者分為多個獨立的圖像塊,則判定為黏連導致的異常圖像。在魚苗的計數時，不同范圍的圖像面積對應的計算方法有所不同。

(2)

2 計算機視覺的圖像算法研究

2.1 計數模型建立

為了計算圖像中每個圖像塊對應的魚苗的數目，將定義為正常圖像或異常圖像的面積的歸一化值作為自變量，定義的正常圖像或異常圖像轉化為量值0或1作為修正變量，每個圖像塊對應不同的魚數目作為因變量，構建數學模型[12～15]，反映圖像塊面積與魚苗數目之間存在相關關系。

根據式(1)和式(2)，對于圖像塊設自變量x1，x2，x3，系數θ0,θ1,θ2,θ3，因變量n建立數目計算的估計函數模型

n=θ0+θ1x1+θ2x2+θ3x3

(3)

式中x1此圖像塊的面積歸一值；x2,x3分別為正常圖像和異常圖像的量值，取值0或1。

2.2 相關系數的求解

若在一組圖像中有n個圖像塊，為了便于得出相關系數，則式(3)改寫成矩陣形式為

h(x)=XθT

(4)

利用梯度下降法進行迭代直到收斂得到最佳系數，其迭代公式為[16]

(5)

式中θj為初始系數值，根據初始系數進行系數迭代，迭代曲線逐漸趨于平穩，直至收斂，輸出θ值；hθ(x(i))為圖像中的第i個圖像塊計算對應的數目；ni為第i個圖像塊對應的實際魚的數目；n為一組圖像中參與計算的圖像塊的數目；α為學習速率，文中選取1×10-3。

2.3 計數算法應用

每塊圖像的面積大小決定了所對應魚的計算數目。在圖像分析中可知，正常圖像(即c1

(6)

式中n1為正常圖像的個數；x1為正常圖像的面積歸一化值(即為Sa)，由于是正常圖像則取x2=1，x3=0。

對于異常圖像，為了判定面積相差較大導致的異常圖像和黏連導致的異常圖像，需要在0～t時刻對異常圖像跟蹤分析，若為面積較大導致的異常圖像，結合式(1)和式(3)，其對應的魚的數目計算如公式(7)中N21；若為黏連導致的異常圖像，則結合式(2)和式(3)，其對應的魚的數目計算如式(7)中N22

(7)

式中n21，n22分別為為由于面積尺寸較大導致的異常面積的數目和由于黏連導致的異常面積的數目。N21中參與計算的x1由于是誤判為異常面積,所以,在計算時需要在正常圖像面積范圍內取值，在計算中x1取值為原始面積(c1+c2)/2經過歸一化的值，其中x2=1，x3=0；N22中參與計算的x1根據實際面積的歸一化值代入計算，x2=0，x3=1。

對一組圖像中不同的圖像塊分別計算魚的數目，累加求和得出圖像中魚苗的數目

N=N1+N21+N22

(8)

3 驗證與分析

為了確保魚苗數目估計函數中相關系數的精度，需要拍攝多組圖像作為訓練組，并擬合出最佳系數。在魚苗計數實驗系統中進行樣本采集，養殖魚苗種類為鯽魚，水箱直徑100 cm，水深50 cm。計數水箱中首先放入25尾魚，并拍攝魚群游動過程中動態圖像作為訓練組。拍攝第一張圖像且通過軟件處理得到面積參數，選取正常圖像中的圖像面積范圍(c1，c2)為(1 000,2 000)，若在(2 000，+∞)范圍內則為異常圖像。為了便于精確圖像劃分和分類，分組拍攝圖像，每組2張，時間間隔為2 s，第一張圖像作為初始圖像識別正常圖像和異常圖像，第二張圖像作為對比圖像分析識別導致異常圖像的原因并計算一組系數。同理，在2 s后進行第二組拍攝，共計拍攝100張圖像50對圖像組進行分析。根據訓練組得出圖像劃分情況如表1所示。

表1 圖像劃分 個

根據魚苗的游動特性2 s內能夠明顯判斷出導致異常圖像的原因。由表1可知，開始時的第一組圖像中識別的正常圖像的數目有13個，異常圖像的數目有6個，經過2 s拍攝的圖像中識別的由于面積較大導致的異常圖像的數目有1個，由于黏連導致的異常圖像的數目有5個。根據圖像面積的不同，對圖像進行劃分的方法解決了圖像黏連的問題。

在訓練組的圖像劃分的基礎上根據式(1)～式(3)，通過梯度下降法迭代求解每組的相關系數，然后回歸擬合得出最佳系數[17]，確定估計函數n為

n=0.598 7+0.352 8x1+1.266 5x1+0.332 2x2

(9)

為了驗證此估計函數的準確性和適用性，在實驗中控制球閥1，拍攝在一定的時間內進入計數水箱中的魚苗并進行數目計算。根據每次進入計數水箱中魚群的數目不同，魚苗的數目統計如表2所示。

表2 魚苗的數目計算結果 尾

由表2可知，此算法計算魚苗的數目接近真實值，最大誤差約為4.18 %，且每次計數只需要4 s，即可完成。實驗表明：基于圖像面積分析的方法計算魚群的數目精度較高且時間較短。

4 討 論

4.1 計數方法比較

范嵩等人[5]提出了基于端點的細化算法，通過連通域中的端點數目確定魚群中魚的尾數，2個端點判斷為1尾魚，3個端點判斷為3尾魚，n個端點則根據n/2+1公式計算，計算數目誤差較大，計數的魚苗的數目較少且平均誤差達到7.13 %；黃玲等人[6]用連通域中像素點分析法進行魚群計數，對16～19尾魚數目統計，當連通域內魚數較多且圖像黏連情況較嚴重時，多尾魚的像素點重疊在一起，計數誤差達到11.76 %。王文靜等人利用圖像閾值分割法通過單一目標面積和平均面積的關系確定目標數量，對不重疊區域計算幼苗的數量，黏連的幼苗利用標記的方法區分，然后估算出黏連的魚苗數目，并未具體分析黏連的數目，導致最終累加求出魚苗的的總數誤差較大，雖然統計的數目較大，但是精度較低，誤差達到11.5 %。魚苗的購銷過程中對魚苗的計算時間和數目精度要求比較高，本文主要設計了一種對于一批或多批魚苗連續實時的在線計數系統，計算數目適當且精確度較高，解決了人工計數的繁瑣和精度誤差較大的問題，并為魚苗銷售運輸、養殖密度控制方面提供實用的理論基礎。

4.2 尚需改善的部分

算法的計算精度和可行性已通過驗證，為了進一步提高精度可以通過以下方面進行改進：1)在實驗中最佳的效果是控制球閥的開啟時間，根據管道直徑的尺寸和水流速度估算在一定的時間內進入計數水箱中魚群的數目，水箱中水的高度不應超過3倍魚體的尺寸高度，防止魚被完全遮擋；2)魚的圖像劃分尺寸選擇不合理會影響計算精度，在選取魚的正常圖像面積范圍時要根據多數合理的形狀統計后進行選取；3)在實驗數據采集時，多數的魚苗盡量分散，可以將圓形水箱設計為扁型的水箱。

5 結束語

采用計算機視覺技術實時跟蹤分析魚苗規律完成計數并解決魚苗計數過程中黏連問題。基于圖像面積的不同建立圖像特征值與魚苗數量之間的相關關系模型，根據圖像塊面積大小不同劃分圖像，對其中異常圖像的跟蹤分析識別出黏連的圖像并獲得魚苗數目計算的算法，在相同樣實驗情況下，對不同數目的魚群進行驗證，此研究方法計算得出的魚群的數目精度較高，且用時短，同其他計數算法相比較，計算精度較高。算法可為魚苗的飼養、運輸和銷售過程中對一定數量或批量的魚苗精確計數提供理論參考。對于非設施養殖的復雜的環境中魚苗的批量計數算法有待進一步的探討與研究。

[1] 王文靜.基于計算機視覺魚苗自動計數系統研究 [J].漁業現代化,2016,43(3):34-38.

[2] 徐斐力，馬應森，黃應生.分布取樣式魚(蝦)苗計數器：中國，CN88202836.7[P].1989—12—13.

[3] 盧建琦.稱量式魚(蝦)計數方法及其設備:中國，CN88100193.7[P].1989—08—09.

[4] 石 堯，李 暉，楊永欽,等.海洋牧場多參數智能監測系統設計與實現[J].傳感器與微系統，2017,36(9):70-72.

[5] Chatain B,Debas L,Bourdillon A.A photographic larval fish counting technique:Comparison with other methods,statistical appraisal of the procedure and practicaluse[J].Aquaculture,1996,141:83-96.

[6] 范 嵩，劉 嬌，楊 軼.圖像識別技術在魚苗計數方面的研究與實現[J].水產科學,2008,27(4):210-212.

[7] Fan L Z,Liu Y.Automate fry counting using computer vision and multi-class least squares support vector machine[J].Aquaculture,2013,380-383:91-98.

[8] Newbury P F,Culverhouse P F,Pilgrim D A.Automatic fish population counting by artificial neural network[J].Aquaculture,1995,133(1):45-55.

[9] 劉世晶，陳 軍，劉興國,等.基于圖像處理技術的小球藻熒光圖像自動計數方法研究[J].漁業現代化,2012,39(5)：16-19.

[10] Foster M,Petrell R,Ito M R,et al.Detection and counting of uneaten food pellets in a sea cage using image analysis[J].Aquacultural Engineering,1995,4(3):251-269.

[11] 王 碩，范良忠，劉 鷹.基于計算機視覺的大菱鲆魚苗計數方法研究[J].漁業現代化，2015，42(1)：16-19.

[12] 汪奇生,楊德宏，楊騰飛.線性回歸總體最小二乘平差模型及解算[J].大地測量與地球動力學，2015,35(1):126-128.

[13] 王惠文，孟 潔.多元線性回歸的預測建模方法[J].北京航空航天大學大學學報，2007,33(4)：500-504.

[14] 陳永勝，宋立新.多元線性回歸建模以及SPSS軟件求解[J].通化師范學院學報，2007,28(12)：8-9，12.

[15] 劉 嚴.多元線性回歸的數學模型[J].沈陽工程學院學報：自然科學版，2005(Z1)：128-129.

[16] 郭躍東，宋旭東.梯度下降法的分析和改進[J].科學展望，2016,26(15)：115-117.

[17] 鞠升輝,李楊民.基于運動分析的運動目標實時跟蹤系統[J].傳感器與微系統，2016,35(7):58-61.