基于深度學習的魚類智能識別系統的設計與實現

呂俊霖，麥嘉銘 ，熊 浩，蔡海真

(1 中國水產科學研究院南海水產研究所，廣州 510300；2 華南農業大學，廣州，510642)

隨著機器學習尤其是深度學習技術的迅速發展，圖像識別技術已在植物識別[1-2]、人臉識別[3-4]、交通標志識別[5]和醫學圖像等方面展開了廣泛的研究應用。圖像識別技術在魚類智能識別領域起步較晚，這是因為魚的身體是柔性的，不容易取得固定的特征，再加上水體和光照的因素，要識別并鑒定水中的魚類就顯得較為困難[6]。

在對魚類進行圖像識別研究的過程中，王文成等[7-8]應用ResNet50網絡模型，對巴鰹魚、大菱鲆、鯔魚等10 種魚類的分類和識別進行探索研究；陳文輝等[9]提出一種基于DCNN和遷移學習的方法，針對新圖像數據集，通過選擇訓練參數，對預訓練模型進行再訓練，實現4種魚類的分類識別，徐嘉熠[10]基于ResNet101網絡的Faster RCNN算法和基于VGG16網絡的SSD算法對有標記的魚類圖片進行目標識別；賈玉霞[11]使用自制的數據集Fish30Image，利用ResNet模型結合遷移學習方法，對30種魚類的識別，得到了99%的準確率。

識別系統的設計和實現需要考慮樣本來源和技術框架的問題。其中，樣本來源即訓練集的圖像，這決定了最終所得的權重文件的擬合程度，訓練集的覆蓋場景越多，標注越準確，擬合程度就越好，識別就越準確，反之則相反。技術框架是指識別的前后端應采用什么樣的技術進行組合。根據識別技術的使用場景，前端技術應當是便攜的，易用的，與后端無縫集成的。根據前端的應用要求，后端為其提供功能接口，比如文件讀取、數據存取等等。根據使用場景，前端可使用微信小程序、手機應用程序或網頁等，后端可選擇的技術較多，基于Python 的Django[12-13]，基于PHP的ThinkPHP[14-15]或基于Java的SSM均可。

提出了一種基于深度學習的魚類智能識別系統的設計方案。該系統前端采用微信小程序作為界面載體，后端采用Java的SSM框架，對用戶上傳的圖片進行識別，并將識別結果返回給前端做進一步的渲染，展現給用戶最終的識別結果。

1 技術原理

1.1 卷積神經網絡

卷積神經網絡(Convolutional Neural Network,CNN)是一種前饋神經網絡，由一個或多個卷積層、池化層和頂端的全連接層組成。這一結構使得卷積神經網絡能夠利用輸入數據的二維結構提取圖像的特征。與其他深度學習結構相比，卷積神經網絡對圖像的某些關鍵特征能做出較為敏感的反應，因此，目前多用于大型圖像的圖像識別、圖片分割、物體檢測等方面[16-18]。

1.2 Softmax函數及多分類識別

在機器學習尤其是深度學習中，Softmax是個非常常用且比較重要的函數，在多分類的場景中使用廣泛。在多分類中，可能有多個預測結果，這些預測結果用概率的形式表示，概率值較大，表示預測準確度較高，反之則說明準確度較低。預測結果的概率總和是1，Softmax函數剛好符合這個性質，可以把輸出映射為0～1之間的實數，并且保證輸出的概率之和為1，因此，Softmax函數在多分類的應用場景中取得了主流地位。

在本系統的設計中，通過運行識別腳本，得到Softmax函數的返回值，該返回值(一個或幾個)與數據庫的ID值一一對應，從而可得到該物種的詳細信息。通常，取概率值最大的ID作為物種的識別結果。

1.3 前端和后端技術的選用

在識別的應用場景中，識別行為通常是偶發的、一次性的，微信小程序的“隨用隨走”的特點正好滿足這一需求。微信小程序的本質是一個富單頁面的Web應用，所有的頁面渲染和事件處理都在一個頁面內進行，但與傳統的WebApp不同的是，它可以調用原生的各種接口，像網絡狀態、羅盤、重力、手機攝像頭、手機文件接口等[19-20]，因此，微信小程序非常適合應用在圖像識別的場合。

Java的SSM(Spring + Spring MVC + MyBatis)是一個輕量級的應用技術[21-23]。Spring依賴注入的方式來管理各層的組件，使用面向切面編程來管理事務、日志、權限等。Spring MVC使用Model(模型)、View(視圖)、Contoller(控制)來接收外部請求并進行分發和處理。MyBatis是基于JDBC的框架，主要用來操作數據庫，并且將業務實體和數據表聯系起來。自SSM框架推出以來，在業界獲得了較多應用，技術比較成熟，近年來在人臉識別、商品推薦等領域取得了不少應用[24-26]。因此，前端使用小程序技術，后端使用SSM框架，是一個比較常用的設計方法。

2 魚類智能識別系統的構架設計

2.1 系統的框架結構

系統采用微信小程序+SSM作為技術框架。微信小程序作為前端，可以調用攝像頭或利用相冊進行圖片傳輸，后端采用了Java的SSM框架，具有靈活高效的特點。數據庫采用開源數據庫MySQL進行數據的管理。程序流程圖如圖1所示。

圖1 程序流程圖

在圖1中，用戶使用小程序進行拍照或直接在相冊中上傳魚類物種的圖片，后端的SpringMVC監聽到請求后，將傳上來的圖片暫存在本地，然后調用深度學習的腳本進行圖片識別，識別結果與訓練好的模型文件進行比對，得到屬于某個物種的概率，并返回該物種的ID號，由于物種的ID號跟物種的具體信息已事先存儲在MySQL數據庫中，因此，根據該物種的ID訪問數據庫并取得該條記錄的具體信息并返回給前端。于是，用戶在網頁或小程序上就獲得了該圖片的識別結果和該物種的詳細資料。

系統的數據集訓練采用谷歌的Efficient Net網絡模型，該算法于2019年推出，實現了網絡模型的深度、廣度和圖片解析率的動態平衡，在同等的參數情況下，比VGG15、ResNet50和ResNet10更為優越[27-29]，因此，本系統采用該模型進行魚類數據集的訓練，可以取得更高的精度和更快的訓練速度。

2.2 系統的功能結構

系統按照功能結構可分為系統管理模塊、深度學習模型調用模塊、魚類信息管理模塊、統計分析模塊和智能推薦模塊。系統管理模塊主要提供系統的基本功能，包含用戶、角色、權限配置等管理功能。此部分內容比較簡單，屬于通用模塊，本文不予詳述。深度學習模型調用模塊是系統的關鍵點，負責與深度學習模型進行交互，達到魚類智能識別的目的。魚類信息管理模塊是本系統的另一個關鍵模塊，其功能包括：魚類資料錄入、縮略圖上傳、參考圖上傳等。統計分析模塊用于統計識別種類的次數、識別時間等。智能推薦模塊則根據識別結果，推薦與識別結果近緣的種類。系統的功能框架圖如圖2所示。

圖2 功能框架圖

3 魚類識別系統關鍵模塊的設計與實現

3.1 深度學習模型的調用

前端上傳過來的圖片保存在本地后，調用深度學習的腳本文件對此圖片進行卷積處理，將卷積結果與模型文件進行比對，從而計算出屬于某個魚類(此魚類在數據庫中的ID)的概率。概率越大，屬于該種魚類的可能性越高，準確度越高。在實踐中，舍去了概率值低于0.05 的魚類，返回“很抱歉，我們暫時無法識別此生物”。

3.2 魚類信息管理

系統的魚類信息管理模塊的功能是為前端提供所識別的魚類的具體信息。如學名、俗名、形態特征、生活習性等等。因此，需要設計一個數據表進行管理。該數據表的設計如表1所示。

表1 魚類信息數據表

在表1中，image是指在物種詳情頁的上方所展示的圖片，該圖片在小程序上進行輪播展示，點擊可查看大圖；smallimage是指在查詢時展示的縮略圖；infomatihonsource是指信息來源，如某本論著或某個網站等。 表1中資料由工作人員在相關論著和維基百科、百度百科上采集而成，個別有疑問的字段，則由專業人員審查后確定。

3.3 統計分析模塊

統計分析模塊用于在一個時間段內統計分析后臺接口被調用的次數和物種被預測識別的次數，從而在宏觀角度上掌握識別系統被使用的情況，有利于研究團隊合理分配資源和分析識別結果。比如某些魚類被識別的次數較多，就需要把服務器資源和更多精力投入到這些魚類當中。

3.4 智能推薦模塊

隨著推薦系統的廣泛應用，本文也增加了推薦功能，用于對識別結果的同屬物種的推薦。根據魚類學名的命名規律，相鄰的科屬往往也采用相似的名稱，因此，可以用SQL的like語句來進行鄰近種的推薦。對相鄰科屬的推薦，一方面便于用戶對所識別的物種進行細微的辨別，另一方面也增加了用戶使用程序的時間。

4 應用測試

數據集使用EfficientNet網絡模型訓練完畢后，查看其精度和損失值情況。見圖3和圖4所示。

圖3 魚類訓練集的精度和損失值

由圖3a可以看出，在第20 個Epoch之前，精度(accuracy)上升較快，之后逐漸趨緩，最終停留在約95%的位置。在圖3b 可以看出，損失值(loss)在第20個Epoch 之前下降較快，之后逐漸趨緩，最終損失值0.05左右，可見整體訓練效果較好。最終獲得的模型文件為74.5MB，在服務器上的檢測時間為0.2 ms。

為了便于應用推廣，項目成員制作了“識魚”小程序。在微信中，搜索小程序“識魚”并打開，起始頁面是一張魚類的清晰大圖，起到吸引用戶的效果，可以點擊此圖，直接對此圖進行識別，也可以由用戶自行選擇圖片或使用相機進行識別，通常不到一秒即可得到識別結果，見圖4和圖5。

圖4 識魚首頁

圖5 識別結果頁

此外，項目成員還在農貿市場、超市、酒店水族箱等對魚類進行拍照識別測試，測試次數200次，所涉及的魚類有金線魚、大眼鯛、籃子魚、金錢魚、細鱗鯻等，基本準確率在90%以上。另外，對家庭水族箱、網頁中的魚類圖片甚至是簡筆畫也進行了測試，見表2。表2說明，該模型對這幾種魚類在水族箱、網頁圖片和簡筆畫等場景的泛化程度較好。這些圖片由網絡隨機挑選而得，雖然不能說明全部種類的識別情況，但也有一定的代表性。

表2 不同場景下對若干魚類識別

5 討論

5.1 魚類的細粒度識別

在對圖片進行物體識別的發展過程中，前期主要側重于對物體的大類進行識別，這稱為“粗粒度識別”，與此相對，“細粒度識別”是指對同一基礎類別的不同子類對象進行識別，其難點在于不同類別間僅有細微的局部差異[30-32]。在本研究中，因為需要識別出圖片里的每條魚的分類地位，所以，這是魚類的“細粒度識別”。在細粒度識別中，所需要識別的子分類越深，科、屬內所包含的種越多，識別的難度就越大。因此，識別同一個屬內的若干種魚類，與識別不同科的若干屬魚類，前者的難度要更高。這也是相關研究[7-11]較為不足的地方。在本研究中，是通過收集大量能體現物種特征的圖片，并輔以性能更為優越的EfficientNet來提升細粒度識別的精度。

5.1 數據集的重要性

從表2可以看出，本研究最終生成的模型不但對魚類實際圖片的識別效果較好，對簡筆畫也能做出較準確的識別。這是因為項目成員對網絡圖片及對最常見種類的圖片做了廣泛收集。比如，對金魚、錦鯉等最常見的種類，項目成員采集了大量在臉盆里、玻璃箱里、公園的池塘里的金魚和錦鯉的典型圖片并加以訓練，所生成的模型中包含了物種的典型特征，因此，當用戶上傳類似的圖片時，就能對此做出較為準確的識別。事實上，對一個基于深度學習的識別系統來說，數據集質量的高低決定了所能達到識別準確度的上限。因此，系統設計人員在開發過程中，不但要考慮到技術框架的適應性，還更應注重數據集的質量。在以往的研究中，研究人員多側重在圖像識別的技術層面，而對數據集的質量有所忽視，這導致了在技術層面(算法、性能和功能等)的表現雖好，但卻難以落地的問題。

但是，質量更高的數據集則意味著需要花費更多的時間和精力。因此，在本系統的研發中，花費最多精力和時間的并不是對代碼的編寫和對參數的調整，而是對圖片的反復收集和鑒定。在后續的研究中，應側重于對小樣本數據集的特征提取研究，以在一定程度上減少人力的使用[33-34]。

5.3 智能識別中的人工介入

本研究所設計的魚類智能識別系統，在實際的識別應用中，有些魚類可能無法識別，或者識別不準確，需要人工介入。對此，本設計已在“我的”頁增加了“聯系我們”，可使用微信小助手跟鑒定人員進行互動，以幫助用戶進行更準確地識別。但更好的形式卻是開辟討論頁，讓眾多的用戶加入到對魚類的識別和鑒定中來[35]。但此頁面的開辟，因關系到值守制度，言論管理制度的執行，在一定程度上增加了運維成本。如何取舍，還要看各運維單位的實際情況。

6 結論

設計了一種魚類智能識別系統，對卷積神經網絡技術、微信小程序技術和SSM技術進行集成，并開發了智能推薦和統計分析模塊，較好地完成了對魚類智能識別的設計和實現，可對中國1 400種魚類進行智能識別，在不同場景中對魚類的識別效果良好。本研究中所提出的設計和實現方法，為移動端的魚類識別開發提供了一種可行的思路，可為廣大海洋科研人員和開發人員提供有益的參考。

□