一種基于冗余裁剪的魚群密度估計算法*

李 婧 吳俊峰 于 紅 周弈志

（1.大連海洋大學信息工程學院 大連 116023）（2.設施漁業教育部重點實驗室 大連 116023）

1 引言

我國海洋資源雖然豐富，但相比于我國陸地開發利用程度，其開發利用的程度很低。以魚類為主體，地球上生物資源的80%分布在海洋里。然而目前對魚群領域技術還很匱乏，由于沒有對魚群密度、數量有一定的數據支撐，很難通過準確獲取魚群的分布、數量，去研究魚類的種群分布、群體組成等領域。通過獲取自然水域中的魚群數量或密度，可以有效地幫助漁業管理部門了解水域中海洋生物的真實情況，也可以幫助主管部門合理的制定漁業政策，也可以幫助漁民有計劃性的進行捕撈，以保護生態并促進魚類的繁衍生長。對魚類養殖企業來說，及時地獲取固定養殖水域中魚群的數量可以幫助企業實現餌料的精準投喂，有效地幫助企業節省餌料成本并保持水質的潔凈。因此，魚群密度估計有著重要的實用價值，正逐漸引起產業界和眾多專家學者們的關注。

2 相關工作

傳統的計數方法主要是通過一些容器進行取樣，然后通過肉眼進行計數，不僅效率低，受到人工的限制，甚至在取樣時會造成魚類的損傷。李伯珩等［1］試驗和分析了單通道光電式魚苗計數器。易金根等［2］提出了多通道魚苗計數器，采用光/電/微機一體化設計原理及方法，并給出主要電路程序框圖。其中測魚管徑是影響計數誤差的關鍵因素，而且出口速度和壓頭則對魚的通過量影響較大，同時它們僅適用于數量較少的魚群，如果是海洋中數量較大自然魚群，將會顯得捉襟見肘。

隨著計算機視覺和圖像處理方面的發展，可應用在此基礎上的魚群計數方法得到了廣泛應用。王文靜等［3］為了在魚苗的飼養、運輸和銷售過程中對一定數量或批量的幼苗進行精確計數，提出了一種基于計算機視覺的魚苗自動計數系統。朱從容［4］對采集到的魚苗灰度圖像進行分析，通過數據擬合方法建立圖像中魚苗所占像素點數與魚苗數的關系，并由此對魚苗進行計數。王碩等［5］采用計算機視覺的方法，提出了一種基于曲線演化的圖像處理方法來解決魚苗圖像粘連問題，并完成對魚苗的準確計數。范嵩等［6］利用計算機視覺技術，對于在自然光下拍攝的魚苗圖像進行智能識別計數研究。以上方法雖然相比于傳統的魚群計數方法其精度有所提高，但由于真正水域下拍攝到的圖片會存在顏色失真，雜質過多而導致圖片出現霧化現象等客觀因素，并不能很好地應用于實際當中，同時，它們僅適用于魚群數量較少的圖像，并不能很好地處理海洋魚群數量比較多的圖像。

2012年，AlexNet［7］在ImageNet競賽中獲得冠軍，其結果遠遠超出了當時的工藝水平，給當時的學術界和工業界帶來了巨大沖擊，由此基于卷積神經網絡的深度學習方法逐漸受到人們的重視，現如今已經廣泛應用到目標識別、檢測、跟蹤等領域［8～10］。Yingying Zhang等［11］提出了一種簡單但有效的多列卷積神經網絡（MCNN）架構，能夠準確地估計人群的數量及其分布。Yuhong Li等［12］提出的CSRNet網絡模型主要分為前端和后端網絡，能夠在保持分辨率的同時擴大接受域，生成質量較高的人群分布密度圖。Xinkun Cao等［13］使用一系列的Inception結構［14］提取不同尺度的特征，再使用反卷積生成高分辨率的密度圖。但以上方法因為其人頭的重疊和尺度的變化，成為其生成密度圖的難點。

為了能夠解決魚群計數方法的局限性，本文基于冗余裁剪和多列卷積網絡的魚群密度估計，提出了一種稱為FishCount的魚群計數方法，對高密度的魚群進行計數，結果表明，本文算法可以應用在海洋魚群這類相對數量較大的群體，能夠有效地對魚群進行精確地計數和密度估計，并解決魚群的尺度透視嚴重的問題。

本文所做的主要工作有：

1）為了擴充數據集和最大程度的保留魚群圖片的細節特征，并提高算法的準確性，在算法執行過程中，本文將待訓練的圖片冗余裁剪為原始尺寸的1/4，并盡可能地保留魚群圖片的細節信息；

2）在最后一次聚合卷積神經網絡產生的層上設計了一種密集連接的方法，并對所有裁剪后的圖片進行特征提取，以保證后續層能夠學習到前面所有層的核心信息。

3 FishCount模塊

如圖1所示，本文所提出的FishCount模型由三部分組成：1）OSA（One-Shot Aggregation）模塊；2）多列的卷積神經網絡；3）SENet（Squeeze-and-Excitation）模塊。更具體地，首先將收集的DLOU2數據集圖片進行冗余裁剪，這是為了擴充該數據集和盡可能多地保留圖片的特征細節，這些數據集的圖片均是大小不一的魚群圖片，接下來將每張裁剪后的圖片喂入FishCount模型中；通過OSA模塊，圖片的一些基礎特征因為它的密集連接的原因，能夠學習到卷積神經網絡產生的所有層的核心信息；生成的特征圖經過這個多列的卷積神經網絡［11］，可以分別處理大、中、小多尺度的魚圖像，得到了多尺度的上下文信息的特征圖；但由于每張圖片中尺度不同的魚類占比不同，為了能夠學習通道之間的相互性以及通道的注意力，將多列卷積網絡生成的特征圖喂入SENet模塊中；最后使用1×1的卷積核進行卷積，最后得到了原圖1/4的密度圖。

圖1 FishCount框架

3.1 冗余裁剪

考慮到DLOU2數據集過于密集，如果直接學習整張圖片，學習速度慢導致訓練精度無法保證，所以對它們進行了裁剪。特別地，本文采用了一種特殊的裁剪方法（冗余裁剪）對數據集進行處理，裁剪后的圖片是原圖的1/4，具體做法是：從原圖左上角開始，為了敘述清楚，這里假設原圖大小為400×400，裁剪后的大小為200×200。左上角在坐標點O（0，0）的位置，如圖2所示。分別將坐標點的x，y軸上加上裁剪后的圖片的尺寸200，圖2（a）中小框就是裁剪后的圖片，接著將點O在x軸上以固定的步長s向后平移，（圖2中的步長為100，該數據集中設的步長為512）重復剛才的做法，得到了圖2（b）中小框內的圖片，當裁剪到圖2（c）的位置后，我們將圖2（d）的小框作為下一張裁剪的圖片，即O的x軸重新置為0，y值以固定的步長s向下平移，然后重復剛才在x軸裁剪的規律。最后，得到了2790張裁剪后的圖片。

圖2 冗余裁剪示意圖

3.2 OSA模塊

OSA（One-Shot Aggregation）模塊，該模塊是由Youngwan Lee等［15］提出來的，有研究表明，如果卷積網絡在接近輸入層和接近輸出層的層之間包含更短的連接，那么在訓練時卷積網絡可以更深入、更準確、更高效。為此，DenseNet［16］提出了其核心模塊Dense Block，如圖3（a）所示，這種密集連接會聚合前面所有的層，由此引發其密集連接過重，同時由于每個層都會聚合前面層的特征而造成了特征的冗余，據此提出了OSA模塊，如圖3（b）所示，簡單來說，就是只在最后一次性聚合前面所有的層，這一改動將會解決DenseNet前面所述的問題，由此可將OSA模塊來用作很好的特征提取器。本文對OSA模塊進行了一系列的參數優化，我們用3個3×3的卷積核構成OSA模塊的主干，然后將它們生成特征圖進行聚合，最后采用一個2×2的最大池化層進行下采樣。

此外，食藥監局還給出溫馨提示：每個國家的保健食品都是依據其本國人的體質、營養狀況生產的。中國人擁有自己的體質特點，一味迷信海外保健品并不可取，建議謹慎選購，最好是遵醫囑。

圖3 （a）DenseNet模塊（密集地連接）

圖3 （b）OSA模塊（一次連接）

3.3 SENet模塊

多列卷積神經網絡模塊只是簡單地將三列全卷積網絡進行了融合，并沒有考慮到圖片中存在不同尺寸的魚群占比不同，將每個通道中的圖片特征同等處理，而忽略每一個通道內的局部信息。SENet［17］（Squeeze-and-Excitation Networks）思 想 簡單，易于實現，并且很容易可以加載到現有的網絡模型框架中，網絡架構如圖4所示。SENet可以顯式地建模通道之間的相互依賴關系，自適應地重新校準通道的特征響應，自適應學習了通道之間的相關性，篩選出了各個通道的注意力，整個網絡增加的計算量非常有限，但是效果比較理想。

圖4 SENet模塊

3.4 自適應的密度圖生成

由于需要訓練卷積網絡將輸入圖像生成對應的密度圖，其中密度圖的質量很大程度上影響著本文網絡架構的性能。一般地，將標記魚頭的圖像轉換成密度圖：

其中δ(x-xi)表示在像素xi處的一個魚頭。

而后使用高斯核Gσ對式（1）進行卷積，卷積函數為

此時已轉換為連續密度函數。然而，該密度函數的前提是這些是圖像平面中的獨立樣本，實際上，這些樣本是3D場景下拍攝的，并且由于透視失真的原因，不同的樣本對應于場景中不同大小的區域。因此，在這里使用了一種叫自適應的密度圖估計算法：

其中對于給定圖像中的每個魚頭xi，將其與k個最近相鄰魚頭的距離表示為，平均成比例的半徑區域與魚頭xi相關聯的像素大致對應，因此，要估算像素周圍的魚群密度，需要將δ(x-xi)與高斯內核Gσi(x)卷積，方差σi與dˉi成比例。實驗中β=0.3效果最優。距離為=，與

3.5 損失函數

用歐幾里德距離測量估計密度圖和真實值之間的差異。損失函數定義如下：

4 實驗

為了驗證FishCount算法的有效性，我們將其和其他算法進行了對比。本文采用了DLOU2數據集進行了大量的仿真實驗以評估算法的有效性，并從MAE和MSE兩個方面對算法的性能作出結果分析。為了說明本文提出算法的有效性，本文又進一步分析了冗余裁剪、SENet模塊對算法的影響。本文所有的訓練和測試部分均是基于NVIDIA K20 GPU下的Keras框架完成的。

4.1 評估標準

為評估算的性能，本文引進了平均絕對誤差（Mean Absolute Error，MAE）和均方誤差（Mean Square Error，MSE）。用MAE評估算法的準確性，MSE評估算法的穩健性。其定義如下：

其中N是測試圖像的數量，zi是第i個圖像中的真實魚數，z?i是第i個圖像中的估計魚數。

4.2 DLOU2數據集

由于現有的數據集中的魚群密度較低，我們引入了一個名為DLOU2的新的魚群數據集，共計300張圖片，其中標記的魚頭數量多達70000條。如圖5所示是DLOU2數據集的魚頭數量統計圖。

圖5 DLOU2數據集的圖像數量分布（其中大部分圖片的魚群數量集中在500～1000條）

4.3 訓練

訓練中使用Adam算法對網絡進行優化，學習率設置為10-4，動量設置為0.9。在DLOU2數據集上進行訓練時，每個訓練周期包含2000次迭代，共200個訓練周期，每5個周期使用驗證集對網絡模型進行驗證。

4.4 單模塊之間的對比實驗

為了驗證本文網絡框架的有效性，本章節通過控制變量的方式對內部模型之間設計了一系列的控制實驗。為了更直觀地觀察各個模塊對模型性能的貢獻，這些實驗全部使用DLOU2數據集，對比實驗的設置和結果分析如下。

4.4.1 冗余裁剪

為了驗證冗余裁剪的有效性，進行了兩次不同的裁剪，一種是和MCNN同樣裁剪方法的模型，即對每張圖片隨機裁剪9張，每張圖片的大小是原圖的1/4，另一種就是本文中介紹的冗余裁剪的方法，這兩種裁剪方式都是在多列卷積神經網絡架構的基礎上進行驗證的。如表1所示，當使用的是冗余裁剪時，模型對DLOU2數據集的性能提高較大。這表明，冗余裁剪在擴充數據集的同時，也冗余地保留了圖片的一些特征細節，由于進行卷積神經網絡時，這些細節特征會因為進行了多層卷積后丟失，又因為DLOU2數據集是高密度的魚群，會存在大量的特征細節，而這些特征細節決定了最終性能的高低，因此，在計數精度和魯棒性方面，使用冗余裁剪的效果優于隨機裁剪，證明了冗余裁剪在對數據進行預處理時的有效性。

表1 冗余裁剪對性能的影響

4.4.2 SENet模塊的性能

為了驗證SENet模塊的有效性，本文在數據預處理是冗余裁剪的多列卷積神經網絡架構的基礎上添加了SENet模塊。如表2所示，由于DLOU2數據集中魚群圖片的拍攝角度問題，造成了一定的透視影響，同時因為魚群與攝像頭距離的不同，會有魚的個頭大小相差太過明顯的差異，這些大小差異明顯的魚群數量并不是均等的，加入SENet模塊后，通過自適應地重新校準通道的特征響應，篩選出了針對通道的注意力，可以更好地把圖片中不同尺度的魚群對象按照一定的比例進行學習，雖然整個網絡稍微增加了一點計算量，但是效果比較好。

表2 SENet模塊對性能的影響

4.5 不同模型之間的性能對比

將本文的方法與新發布的方法進行了比較，如表4所示。本文提出的方法在DLOU2數據集上表現優于其他競爭方法。MCNN的多列卷積神經網絡框架雖然可以將學習到不同尺度的魚群信息，但并沒有考慮學習不同尺度的通道占比。本文使用了一種冗余裁剪的方法以此來擴充數據集和得到更多的特征細節，同時使用了OSA模塊，通過一次密集連接，盡可能地保留由于卷積后丟失的部分特征，得到質量較高的特征圖，并使用SENet模塊對多列卷積神經網絡的通道按照一定比例學習。在訓練集上，MAE和MSE分別提高了51.49和50.83。

表4 不同方法在DLOU2數據集上的性能影響

5 結語

本文提出了一種基于冗余裁剪的魚群密度估計算法。為了驗證算法的有效性，在DLOU2魚群數據集上進行了不同類型的仿真實驗，實驗結果表明本文提出的算法是有效的，但本文仍然存在一些不足的地方：在前期進行標注時，由于是人工進行標注，而且多數圖片的魚頭數量達到上千條，存在誤標現象；雖然本文在精度方面優于目前的最新模型，但卻消耗了較大的顯存資源，一定程度上增加了較多的樣本訓練的時間。因此，在未來的工作中將集中在數據集質量的提高以及算法的優化處理上。