基于注意力機制和深度神經(jīng)網(wǎng)絡的中華絨螯蟹品級快速鑒定方法研究

摘要 提出一種基于注意力機制和深度神經(jīng)網(wǎng)絡（YOLO-v7）的中華絨螯蟹品質快速預測的新方法。首先，蟹在自然環(huán)境中生長會形成背部花紋特征，根據(jù)形態(tài)測量學將其劃分為側齒、龍骨脊、額突、疣突、頸溝、復眼6種特征，提出基于對稱度的特征定量計算方法，并根據(jù)視覺注意力機制可視化YOLO-v7模型中對分類精準度較高的區(qū)域，采用LabelImg圖像標記軟件分別對差異較大的前5種組合特征進行活力品級標記，然后基于YOLO-v7模型對標記好的數(shù)據(jù)進行訓練和推理，得到最優(yōu)中華絨螯蟹品級鑒定和預測模型。結果顯示，疣突+頸溝的蟹背紋理組合特征可實現(xiàn)中華絨螯蟹品級的快速識別，總體訓練準確率可以達到95.0%，總體推理準確率可以達到96.2%，且每只河蟹活力品級的推理時間不超過0.5 s。該方法具有較大的應用前景和市場價值，為開發(fā)大規(guī)模中華絨螯蟹在線品質的無損檢測裝備提供關鍵技術。

關鍵詞 中華絨螯蟹；快速鑒別；外觀品級；YOLO-v7模型；組合特征

中圖分類號 TS254.7 文獻標識碼 A 文章編號 0517-6611（2024）14-0191-09

doi：10.3969/j.issn.0517-6611.2024.14.041

Rapid Identification Method of Chinese Mitten Crab Based on Attention Mechanism and Deep Neural Network

SUN Shu-yuan1，LIU Zi-hao2，CHEN Wei-jie2 et al

（1.Changxing County Agricultural Technology Extension Service Station，Huzhou，Zhejiang 313199;2.School of Information Science and Engineering，Jiaxing University，Jiaxing，Zhejiang 314001）

Abstract We established a mathematical model for predicting the health status of Chinese mitten crab based on deep inference model （YOLO-v7）.Firstly，crabs grew in the natural environment form the back pattern characteristics，which could be divided into six features of lateral teeth，keel ridge，frontal gibbosity，verruca process，neck groove，compound eye according to morphometrics.Based on the human visual attention mechanism，the effective feature characterizations were visualized with higher classification accuracy in the YOLO-v7 model.Moreover，according to the calculation results，the image labeling software-LabelImg was used to mark the vitality grade of the first five different feature combination modes，respectively.Then，the YOLO-v7 model was used to train and reason the marked data，and the optimal Chinese mitten crab freshness identification model was obtained.The experimental results showed that the proposed texture feature combination algorithm of verruca process + cervical groove could basically realize the recognition of the health status of Chinese mitten crab.The overall training accuracy could reach 95%，the reasoning accuracy could reach 96.20%.Moreover，the reasoning time of each vitality grade of Chinese mitten crab was less than one second.This method had great application prospect and market value，which provided key technology for developing nondestructive testing equipment for large-scale online quality of Chinese mitten crab.

Key words Chinese mitten crab;Rapid identification;Health status;YOLO-v7;Combination feature

基金項目 國家自然科學基金面上項目（62374074）；浙江省“尖兵領雁”研發(fā)攻關計劃 （2024C04028）；浙江省農業(yè)科學院科技合作項目（00522228，00523051）；嘉興市公益性研究計劃項目（SQGY202400009）；嘉興大學人才項目（CD70623008）；海鹽縣民生及農業(yè)領域科研項目（2022ND03）；浙江省大學生科技創(chuàng)新訓練計劃項目（851923030Z）。

作者簡介 孫淑媛（1988—），女，浙江長興人，工程師，從事食品質量安全檢測研究。 *通信作者，副教授，博士，從事農產品在線無損檢測技術研究。

收稿日期 2023-07-24

中華絨螯蟹又被稱為河蟹、大閘蟹，其養(yǎng)殖和捕撈量很大，是海洋和淡水養(yǎng)殖的主要蟹類經(jīng)濟水產品種之一。然而，近幾年來，存在一種被稱為“水癟子病”的河蟹養(yǎng)殖病［1-2］，在全國某些重要的河蟹養(yǎng)殖地區(qū)逐漸蔓延，患了水癟子病的河蟹雖然沒有傳染性，但是一旦被感染，蟹甲殼變軟，活力下降，攝食能力逐漸減弱，甲殼內的血淋巴液量增多，肝胰腺量減少、萎縮，肝胰腺顏色逐漸變淡，肌肉、心臟和鰓組織細胞壞死，且細胞壞死的過程不可逆，這些給河蟹養(yǎng)殖戶帶來了較大的養(yǎng)殖災難，眾多學者從病理性和生理性方面對水癟子病進行了相關研究［3-5］，但是直到現(xiàn)在都沒有得到統(tǒng)一的結論。中華絨螯蟹背部的顏色深淺和花紋的錯綜復雜程度與其健康狀態(tài)、活力差別、養(yǎng)殖方式、水質污染、生活習性、進食等有較大關聯(lián)［6-7］，傳統(tǒng)河蟹活力判別方法往往通過訓練有素的“挑蟹工”來完成，這項工作只有長期在“挑蟹”一線工作的員工才可勝任，對工種的要求很高，這種方式費時費力、效率低下，隨著勞動力的短缺，對河蟹品級的傳統(tǒng)人工識別法必將被淘汰。近年來隨著人工智能技術的發(fā)展，對中華絨螯蟹的健康狀態(tài)品級快速鑒定實現(xiàn)自動化、智能化已成為一種必然趨勢。在中華絨螯蟹的相關國標中，雖然有對河蟹的外觀、感官、滋氣味的評價方法，但是只能依靠人工經(jīng)驗判斷河蟹的品級好壞，適合于靜態(tài)分析和研究，無法定量快速、高通量地實現(xiàn)中華絨螯蟹外觀品質的鑒別，因此該研究具有一定的研究價值和意義。

近年來，國內外研究學者們在中華絨螯蟹的水下個數(shù)統(tǒng)計、品級判別、實時檢測等方面進行了許多相關的研究工作。例如，周志強等［8］提出了一種新穎的河蟹分揀方法，通過圖像預處理、雌雄判別以及河蟹肥滿度的計算公式得到超過97%的識別結果。趙德安等［9］提出采用YOLO-v3網(wǎng)絡結構實現(xiàn)河蟹的目標檢測。曹碩［10-11］均針對河蟹養(yǎng)殖過程中飼料無法精準投喂的問題，提出采用深度學習模型對傳統(tǒng)的河蟹識別檢測模型進行參數(shù)和網(wǎng)絡結構調整，提高模型的檢測精度。石海軍［12］采用光譜技術實現(xiàn)河蟹外觀品質的等級劃分。在國外，Cui等［13］提出采用深度卷積神經(jīng)網(wǎng)絡對河蟹的雌雄進行判別，可取得98.9%的檢測精準度。Lu等［14-15］針對深海生物缺乏訓練樣本的問題，采用YOLO算法開展自動跟蹤研究，對深海水生生物實現(xiàn)自動跟蹤。以上文獻中的方法主要聚焦在河蟹雌雄判別、計數(shù)、肥滿度計算以及采用類似近紅外光譜、電子鼻和電子舌實現(xiàn)河蟹品級的自動分析和判別，雖然現(xiàn)有研究已存在采用新興技術（光譜技術、電子鼻和電子舌）實現(xiàn)河蟹的品級鑒定，但是這類研究的數(shù)據(jù)采集和分析過程較為復雜，往往需要把一只只河蟹手工放入實驗儀器中，通過大型的陣列式傳感器和商業(yè)化的光譜波段提取分析軟件對采集到的數(shù)據(jù)進行特征提取和分類，算法時間復雜度和空間復雜度較高，無法高效根據(jù)蟹外觀特征實現(xiàn)其品級的快速判別。

鑒于此，針對以上問題，該研究引入YOLO-v7（You Only Look Once第七代模型）發(fā)掘隱藏于中華絨螯蟹背部花紋中的密碼，探索其與中華絨螯蟹健康狀態(tài)之間的相關關系，基于中華絨螯蟹背部花紋中隱含的側齒、龍骨脊、額突、疣突、頸溝、復眼6大細節(jié)特征，采用YOLO-v7模型分別對這6種單獨和組合特征進行標記和模型訓練，通過建立多因素試驗測試推理得到最優(yōu)的模型，實現(xiàn)中華絨螯蟹的健康狀態(tài)活力品級鑒別。

1 材料與方法

1.1 試驗材料

試驗選取的中華絨螯蟹樣本于2023年5—6月購自江蘇省南通多瑞鮮電子商務有限公司，樣本量總共有800只，雌雄個體各占50%，雄蟹和雌蟹的去繩后的重量為503 g，其中活力好的蟹500只，活力差的蟹150只，由于各種原因導致死亡的蟹150只，其中活力判別依據(jù)參考江蘇省地方標準［16］。

1.2 試驗圖像獲取

為了獲取試驗用的大批量河蟹圖像，該研究搭建了一套完整的機器視覺實時采圖系統(tǒng)，如圖1所示，其中包括圖像采集裝置主要由高分辨率的CCD工業(yè)相機、鏡頭、鋁型材支架、魚缸、增氧棒組成，工業(yè)相機采用海康威視5 000萬高分辨率相機，型號為MV-CE200-11UMUC，匹配的鏡頭焦距為16 mm，型號為 MVL-KF5024M-25MP。

為了增強算法的魯棒性和適應性，樣本圖像的獲取是在不同光照、不同位置下拍攝的，該研究將試驗室內白熾燈作為圖像采集系統(tǒng)的照明光源，相機可以覆蓋到魚缸全表面信息，對出現(xiàn)在相機視場內的河蟹進行在線自動視頻錄制，對獲取到的視頻離線按照每隔20幀提取1張圖像，圖2展示了視頻轉幀后的部分河蟹圖像。

1.3 中華絨螯蟹背部花紋特征定量描述方法

從中華絨螯蟹背部的外觀來看，存在6種較為明顯的凹陷和凸包特征，分別為側齒、龍骨脊、額突、疣突、頸溝、復眼，這些特征結構在蟹甲殼上的分布如圖3所示。這些特征在不同個體之間存在微小的差異，而且每只蟹背上的花紋具有唯一性，這也被研究者們用于鑒定蟹的真?zhèn)危?］。然而，針對這六大特征以何種方式組合才能最大限度地表征不同個體之間的健康狀態(tài)和活力品級，該研究采用組合法對這6個特征進行自由組合，發(fā)現(xiàn)共有63種組合方式，把這些特征進行標記后導入YOLO-v7，先讓模型學習隱藏在這6種特征中最能表達中華絨螯蟹的品級鑒定目標的最優(yōu)組合，這既避免了傳統(tǒng)人工鑒別的局限，又能提升了水產行業(yè)的智能化水平。表1展示了中華絨螯蟹背部花紋的不同組合方式。

深度學習理論來自監(jiān)督學習，這表明要從經(jīng)驗中學習先驗知識，即需要預先訓練大批量的目標才可完成蟹品級的鑒別目標，因此需要先對訓練數(shù)據(jù)進行打標簽。從表1可以看出，中華絨螯蟹背部的6種特征的組合方式共有63種，若將如此多組合方式逐一打標簽導入深度學習模型是一項巨大的工程，因此該研究構建了一種特征優(yōu)選方法，實現(xiàn)定量計算這63種組合特征的最優(yōu)模式，篩選出最后對蟹的品級鑒別貢獻最大的組合特征，該研究首次提出采用對稱度算法對中華絨螯蟹進行特征組合的優(yōu)選。

對稱度在機械工程領域是指加工的兩個目標表面中心平面偏離基準面的程度［17］，即判斷計算的對稱中心與實際對稱中心保持在同一平面內的程度。該研究把對稱度引入中華絨螯蟹組合特征的計算中，是衡量以蟹背殼中線為基準線、中線兩側的特征是否完全對稱的一種方法，基于對稱度的特征定量描述方法見圖4。

中華絨螯蟹背部的花紋特征基本上都是左右對稱的，這

里以側齒特征為例對提出的對稱度方法的實現(xiàn)過程進行闡述：①側齒特征在每一側有4個部分，選取其中單個側齒區(qū)

域，其形狀類似于三角形，該局部區(qū)域的三角特征可以通過

前期研究中提出的閾值融合分割算法［18］結合側齒處于邊緣的位置信息獲取得到，然后計算該特征的質心點，標記為X1，以蟹背中間的對稱軸為基準把計算得到的左邊特征的質心點映射到右側，形成質心點標記為X2。

②采用同樣的閾值分割算法提取右則對應位置的局部側齒特征，計算獲取該三角特征的質心點，標記為X3，基于兩點之間的距離公式獲取質心點X2和X3的距離d，將數(shù)值d作為最后判別兩端的特征是否對稱的指標。如果是多個特征模塊的對稱度計算，則以多個特征模塊的標記框為計算基準。③對其他特征，即疣突、龍骨脊、額突、復眼等特征重復以上的計算步驟分別獲取定量描述的距離值，然后把這些值在區(qū)間0～1進行歸一化處理，得到最終的數(shù)值，最后根據(jù)數(shù)值從大到小的順序，選出最大值對應的組合特征，作為判定特征是否對稱的最優(yōu)值。

1.4 視覺注意力機制可視化蟹背部有效特征方法

基于圖像特征的注意力機制（attention mechanism）源于認知科學［19］，由于信息處理的瓶頸，人類會選擇性地關注所有信息的一部分，同時忽略其他可見的信息，這種視覺過程被稱為注意力機制。近年來，注意力機制通過“聚焦式”注意力和“顯著性”注意力被用于改進已有的深度卷積神經(jīng)網(wǎng)絡（CNN）和深度循環(huán)神經(jīng)網(wǎng)絡（RNN），并取得了一些實質性的進展和成果［20-24］。

為了進一步探明中華絨螯蟹背部花紋特征進行有效組合，并在“1.3”的基礎上進一步提煉組合特征，基于視覺注意力機制和類激活圖（class activation mapping，CAM）對YOLO-v7檢測結果進行特征可視化，以便蟹圖像在YOLO-v7中經(jīng)過backbone層和head層之后，推理得出圖像的某種特征區(qū)域對最終的蟹品級鑒定作出了較大貢獻，并對該特征區(qū)域進行識別定位和目標關注，可視化步驟如下：①在初始化的神經(jīng)網(wǎng)絡進行前向傳播時，計算出中華絨螯蟹不同品級的3種類別，給出目標層特征圖的輸出結果，然后在每一輪反向傳播迭代中，通過計算獲取3個目標類相對于目標層各特征圖的梯度，對無效梯度清零，保留有效梯度。②中華絨螯蟹背部花紋特征可視化方法在對目標層的梯度進行全局平均池化處理，然后將處理后的梯度值與目標層的輸出值逐點相乘，得到初始化的熱力圖。③熱力圖是灰度圖像，其灰度值的范圍在0～255，由于灰度圖在人眼中表達的層次差異感不強烈，為了增強對比度，添加不同特征在顏色上的表現(xiàn)力，借助偽彩色圖像處理算法［25-26］對梯度圖求均值，得到一個標量，再把結果放到原圖中進行不同色彩顏色的添加，即可形成對應不同特征區(qū)域宣示權重的彩色圖。

1.5 中華絨螯蟹背部花紋特征的標定方法 采用的YOLO-v7深度推理模型包含訓練和推理過程，訓練過程中需要把在蟹殼上標記完成的批量圖像投入網(wǎng)絡中進行特征提取和參數(shù)優(yōu)化校正，因此對圖像中蟹背上的紋理特征進行標記就變得尤為重要。對中華絨螯蟹背部花紋特征采用LabelImg軟件標注，標注過程是在某一個或某幾個組合特征上用一個矩形框來表示，并在矩形框左上角位置處標記相應的類別，這里的類別規(guī)定標記“huo”“hlc”“si”3類，分別表示活力好的蟹、活力差的蟹以及死蟹。然而，考慮到蟹殼上花紋特征結構的連續(xù)性問題，在標記某些結構不連續(xù)的特征上，該任務就變得很困難，如無法對側齒+復眼的組合特征進行標記，因為用一個最小的矩形框包含這兩者必定會把其他特征一同包含進來，導致特征混亂，因此在結構上不連續(xù)的特征，需要對此類組合特征進行篩選過濾，剩下的特征則采用“1.2”和“1.3”介紹的方法進行優(yōu)選。

1.6 基于YOLO-v7中華絨螯蟹健康品級預測方法 研究主要采用YOLO-v7模型對中華絨螯蟹健康品級進行鑒定，YOLO-v7是深度神經(jīng)網(wǎng)絡的代表，近年來在多個研究領域的超高識別率，逐漸取代之前的YOLO系列算法成為深度學習領域中的主流網(wǎng)絡，被廣泛用于眾多智能化的檢測領域，包括多目標追蹤領域［27］、無人駕駛［28］、醫(yī)學圖像分析［29］、農業(yè)工程領域［30］等，具有較多的應用場景。YOLO-v7的網(wǎng)絡結構是Alexey Bochkovskiy在2022年提出的一種全新網(wǎng)絡結構，主要由4個部分組成：輸入層、卷積網(wǎng)絡backbone特征層、head推理層、輸出層，其中輸入層用于接收圖像的導入，backbone卷積網(wǎng)絡層主要用于提取圖像的特征，并且該層也包含了3種子特征提取模塊：梯度多樣性模塊（ELANB）、空間金字塔池化模塊（SPPCSPC）、最大池化卷積模塊（MPConv），這3種模塊在特征提取層中可以有效地發(fā)現(xiàn)隱藏在中華絨螯蟹背部花紋中細節(jié)的紋理特征，在獲取輸入圖像的多尺度、高噪聲、特異性不明顯的情況下可以最大限度提高特征提取的效率，這為揭示中華絨螯蟹背部中藏匿的密碼提供積極作用。而且，隨著層數(shù)的深入迭代生成形態(tài)和輪廓更為完整的高層特征，head推理層主要用于預測圖像的類別，從而得到最終的每幅推理圖像的標簽信息，基于YOLO-v7中華絨螯蟹的健康狀態(tài)預測的訓練和推理過程見圖5。

該研究采用YOLO官方網(wǎng)站公布的YOLO-v7代碼（網(wǎng)址參見https：//github.com/Wong KinYiu/yolov7），其中包含2個部分：采用自己數(shù)據(jù)集從頭開始訓練、基于官網(wǎng)生成的權重。用數(shù)據(jù)集對網(wǎng)絡head模塊的最后一個分類層進行參數(shù)微調，因為該研究采集了大批量的中華絨螯蟹圖像，構成了一個包含活力好、活力差以及死蟹的數(shù)據(jù)集，因此該研究采用本地數(shù)據(jù)集從頭開始訓練YOLO-v7模型。該研究使用的YOLO-v7網(wǎng)絡采用3×3卷積層，使用該種卷積層可增加網(wǎng)絡backbone特征提取層中函數(shù)的非線性表達能力，對生成的權重參數(shù)進行壓縮，對每個池化層后的通道數(shù)進行擴增，同時為了增強河蟹細微特征的表達能力，對其中的backbone層中3×3卷積層每前進一個步長替換為1×1的卷積層，這樣可以最大限度使得訓練好的模型傾向于表達河蟹背部花紋的細節(jié)信息，有利于提高模型的推理準確率。該研究使用的檢測網(wǎng)絡的backbone特征提取層數(shù)總體為54層，其中ELANB疊層特征結構包含7層，MpConv疊層卷積層包含4層，SPPCSPC疊層卷積層包含11層，其他普通卷積層為4層；head推理層數(shù)總體為51層，其中ELANN疊層特征結構包含7層，MpConv疊層卷積層包含4層，其他普通卷積層為11層。最后一個類別輸出層的層數(shù)與該研究對應的分類目標一致，有3層，負責輸出中華絨螯蟹3種不同活力品級的目標層。該研究使用的YOLO-v7的模型結構見圖6。

2 結果與分析

2.1 數(shù)據(jù)來源 該研究采用的深度學習硬件平臺為 DELL P5820臺式電腦（美國 Dell 公司），Intel（R） Core（TM） i9-10900X CPU@ 2.40 GHz 處理器，顯卡型號為RTX3090 Ti 24 G顯存，內存為32 GB，算法是基于PyTorch深度學習架構在Pycharm軟件平臺上實現(xiàn)的程序功能。中華絨螯蟹總圖像數(shù)量總共有1.15萬張圖像，打標簽先以視頻轉幀，再采用LabelImg軟件進行標注，訓練樣本在實驗室條件下拍攝獲取，驗證集和測試集的部分樣本通過網(wǎng)絡爬蟲采集的河蟹圖像，其中訓練集包含8 000張圖像，驗證集包含2 000張圖像，測試集包含1 500張圖像。

2.2 中華絨螯蟹背部花紋組合特征優(yōu)選試驗結果與分析

在該試驗中，分別對3種蟹的健康品級進行特征優(yōu)選試驗，在總共1.15萬張圖像中，8 500張是活蟹圖像，1 500張是活力差的蟹圖像，1 500張是死蟹圖像，基于“1.2”中華絨螯蟹背部花紋組合特征定量計算方法，通過在Python中編程實現(xiàn)，得到表2的結果，表中數(shù)值為對應類別樣本對稱度的平均值。

由表2可知，活力好的蟹和活力差的蟹在2種特征組合模式中表現(xiàn)較優(yōu)，而對于死蟹來說單特征模式具有更好的結果。從組合特征的對稱度來看，2種特征的組合形式的對稱度相比于其他組合模式具有較好對稱形式，而且2種特征的組合可以形成穩(wěn)固聯(lián)結，組合的特征越多，其聯(lián)結形式越復雜，越可能導致對稱結構失穩(wěn)，也是解釋2種特征組合可以獲取較好對稱度的原因，這也為后面特征篩選提供了強有力的證據(jù)。基于此，下文關于中華絨螯蟹外觀品級的預測試驗主要采用單獨特征和2種特征的組合形式進行。

2.3 中華絨螯蟹背部花紋可視化結果與分析

從構建的中華絨螯蟹圖像數(shù)據(jù)集中任意挑選9張圖像，按照“1.4”中介紹的可視化方法進行展示，結果見圖7，其中越接近紅色區(qū)域表明其覆蓋的組合特征可最優(yōu)地識別出該樣本對應的品級信息，越接近黃綠色區(qū)域表明其覆蓋的組合特征可較優(yōu)地識別出該樣本對應的品級信息，其他顏色區(qū)域對中華絨螯蟹的品級識別起到負向作用。

從圖7可以看出，該試驗的可視化區(qū)域中紅、黃、綠色區(qū)域大部分集中于蟹背部的中心區(qū)域，其中包含了疣突、額齒、龍骨脊、頸溝4種特征，尤其在疣突和頸溝區(qū)域中，紅色占了大部分，這表明該2種區(qū)域特征的組合模式可以較好地表達中華絨螯蟹背部花紋特征對其品級鑒定準確率的貢獻，這與表2的試驗結果是一致的，從而為組合特征的試驗開展進行了優(yōu)化，提高了效率。

2.3 中華絨螯蟹健康品級預測實驗結果與分析

為了建立中華絨螯蟹背部花紋與健康狀態(tài)活力品級之間的關系，基于YOLO-v7深度推理模型發(fā)掘兩者之間深層次關聯(lián)，并根據(jù)“2.2”中試驗結果選擇特征組合形式，YOLO-v7模型中采用網(wǎng)絡超參數(shù)以0.10為初始學習率、以0.98為震蕩率、基準深度模型采用ResNet具有101層的網(wǎng)絡結構在傳統(tǒng)的ImageNet圖像庫上訓練100個周期，衰減方式為多項式衰減。訓練階段中，選擇每批次導入網(wǎng)絡8張圖像樣本，輸入圖像尺寸歸一化到640×640，訓練總共進行100輪循環(huán)迭代。在推理階段，目標置信度閾值設置為0.25，非極大值抑制閾值（NMS）目標為0.45，推理輸入輸出的圖像尺寸為640×640，YOLO-v7的中華絨螯蟹的訓練和推理統(tǒng)計結果如圖8所示。

從圖8可以看出，訓練和推理階段中的目標損失函數(shù)（圖8a和8c）的下降速度先快后慢，隨著網(wǎng)絡訓練輪數(shù)的增加，目標函數(shù)與損失函數(shù)之間的差距不斷縮小，預測值不斷向目標精度逼近，迭代速率不斷減小，并逐漸趨向于0。在目標識別精度方面，訓練和推理階段中的目標預測精度從第1輪到第10輪期間內快速上升，然后逐漸趨于平緩，在訓練階段的圖8b中，目標預測精度曲線存在一定的震蕩，在訓練至5輪左右時，模型出現(xiàn)較大的波動趨勢，表層原因在于模型網(wǎng)絡深度較大的情況下，選擇了較小的batch-size。深層原因在于圖像樣本在標記中出現(xiàn)特征混亂的情況，即在中華絨螯蟹背部花紋中有些特征比較鄰近，在用矩形框框選的時候，把不是該特征的一些局部區(qū)域也囊括進來，造成特征混亂的問題，因此出現(xiàn)局部震蕩，而且模型在30輪左右也出現(xiàn)了該問題，但是在推理階段中這種現(xiàn)象逐漸消失，也體現(xiàn)出該研究構建模型的有效性。在推理階段的圖8d中，前20輪曲線上升較為迅速，當輪數(shù)進行到80輪時，模型預測精度值基本保持在0.96以上，而且隨著網(wǎng)絡訓練輪數(shù)不斷增加，模型預測精度也不斷增加，與損失函數(shù)的下降趨勢剛好相反。結果表明，該研究構建的深度推理模型具有較好的圖像泛化能力，在訓練階段出現(xiàn)精度曲線震蕩的情況下，推理中依然可以保持較高的識別準度，具有一定的應用前景和價值。

為了對中華絨螯蟹的健康狀態(tài)進行預測，該研究開展了由表2得出較優(yōu)的單特征和雙特征組合試驗，從識別率、識別時間、模型權重占比3方面對比特征的優(yōu)劣，結果見表3。其中，特征組合1為側齒+龍骨脊；特征組合2為額齒+疣突；特征組合3為疣突+頸溝。加粗數(shù)字表示當前列中最好的表現(xiàn)結果。

表3對以頸溝和疣突為代表的2個單獨特征以及對側齒+龍骨脊、額齒+疣突、疣突+頸溝3個特征組合模式訓練和推理的結果進行統(tǒng)計，這些特征的篩選結果是基于“2.1”和“2.2”節(jié)的試驗結果進行的。進一步來說，單特征表現(xiàn)的結果沒有兩兩特征組合的結果好，但是針對頸溝特征而言，其在模型的訓練總時長（87.1 min）以及訓練模型參數(shù)占內存比重（71.27 M）方面是較優(yōu)的，原因可能在于用于訓練頸溝圖像的樣本量較少，以數(shù)量上的成本換取時間上的優(yōu)勢，而且單特征的訓練過程中損失函數(shù)的收斂速度較快。在兩兩特征組合方面，疣突+頸溝的訓練成功率和推理成功率分別可以達到95.0%和96.2%，高于其他組合特征的結果，因為這2種特征集中在蟹背的正中央以及上側部分，在中華絨螯蟹的長期進化和生長發(fā)育過程中，疣突和頸溝在結構和紋理上的不斷變化塑造了其在不同的生長環(huán)境、健康狀態(tài)以及活力表征的最重要的指標［7］。其他2組組合特征以額齒、側齒以及龍骨脊為基礎構建，這3種特征集中在蟹背的邊緣或者側邊。在生物學上，額齒和側齒的結構進化往往與蟹的防御性、守衛(wèi)等方面具有較大的關聯(lián)性，其活力健康狀態(tài)的好壞主要集中于蟹背的3個特征疣突、頸溝、龍骨脊中，這也在試驗中得以證實。從時間效率上來看，單特征的識別效率較高，可在增加較多樣本的情況下考慮對以上3種單特征進行權重的重新訓練，這樣可以在增加推理成功率的基礎上盡可能地減少推理時間，增加了程序的執(zhí)行效率，為把所提算法應用于河蟹的在線自動化檢測設備中打下基礎。

為了展示YOLO-v7推理階段的識別準確度，表4給出了基于疣突+頸溝特征關于中華絨螯蟹3類分級結果的混淆矩陣圖，其中推理階段的圖像樣本數(shù)量為1 500張，其中活力好的蟹900張，活力差的蟹300張，死蟹300張。

為了把表3中較優(yōu)的組合進行可視化，采用最優(yōu)特征組合模式（疣突+頸溝）進行試驗，可視化結果如圖9所示，綜合考慮表4列出的混淆矩陣，其中大部分活力好和活力差的河蟹樣本都可以被正確推理，但在死蟹方面，存在個別樣本出現(xiàn)標記框推理異常的情況，例如圖7死蟹的右圖中，推理形成的矩形框只包含部分疣突，并且把蟹背最下面冗余的背景也包含進來了，屬于框選錯誤樣本，該原因從表2中可看出，基于對稱度的特征優(yōu)選結果顯示，死蟹在單特征方面表現(xiàn)較優(yōu)，而活力好的蟹和活力差的蟹在兩兩組合特征的表現(xiàn)較優(yōu)，由于YOLO-v7在模型訓練的時候需要采用LabelImg軟件對圖像進行標記，而且每輪訓練只能標記一種組合特征或者單特征，因此模型在推理死蟹的過程中識別錯誤率較高，如把4只死蟹誤判為活力好的蟹，把17只死蟹誤判為活力差的蟹，這也進一步證實了死蟹的單特征最優(yōu)屬性。

為了驗證該研究所提方法的新穎性和有效性，也為了論證深度卷積神經(jīng)網(wǎng)絡方法用于鑒別蟹品質的可行性，將所提方法與其他方法進行對比，從識別準確率、研究對象、采用技術方面呈現(xiàn)試驗結果（表5）。

從表5可以看出，所提方法在中華絨螯蟹的外觀品級識別的準確度較高，而且其他文獻中僅針對如何快速提高蟹的品級的識別精度設計了較為復雜的機器視覺算法，如邰偉鵬等［32］提出基于SURF特征點匹配+FLANN優(yōu)化方法提取蟹背部花紋點狀特征，實現(xiàn)中華絨

螯蟹的防偽目標，然而該算法的空間和時間復雜度較高，僅在試驗室狀態(tài)下可以獲得較高精度，在實際應用中存在一定的時間效率問題；張云等［34］提出采用RGB+HSI顏色空間對中華絨螯蟹的品級狀態(tài)進行定量描述，這種方法在特定的機器視覺系統(tǒng)中可以取得較好的識別結果，但是一旦脫離該環(huán)境，把該過程遷移至室外，河蟹樣本就會受到自然光照的影響，該算法就會失效，因此在考慮算法魯棒性的問題中，只要給YOLO-v7喂入足夠量各種實際場景下的訓練圖像，該模型可以適應在不同場景下、不同光照下以及不同位置中的識別效果，具有較高的魯棒性，也為后面開發(fā)大規(guī)模中華絨螯蟹在線快速品級鑒定生產線打下基礎。

3 結論

針對傳統(tǒng)中華絨螯蟹品級鑒定方法的局限性，引入深度推理模型發(fā)掘隱藏于中華絨螯蟹背部花紋中的密碼，探索其與中華絨螯蟹健康狀態(tài)以及活力之間的相關關系，基于中華絨螯蟹背部花紋中隱藏的側齒、龍骨脊、額突、疣突、頸溝、復眼6個細節(jié)特征，提出對稱度和視覺注意力機制對6種特征進行定量描述，根據(jù)定量描述結果采用LabelImg軟件分別對差異較大的前5種特征組合模式進行活力品級標記，基于 YOLO-v7深度推理模型對標記好的數(shù)據(jù)進行訓練和推理，得到最優(yōu)模型。未來可從以下2點開展進一步研究：①基于蟹背花紋隱藏的模式進行中華絨螯蟹的肥厚度研究。基于蟹背花紋隱藏的模式探索了對蟹的健康狀態(tài)的研究，然而從本團隊開展的預試驗發(fā)現(xiàn)，蟹背部紋理中隱藏的信息不僅局限于鑒別蟹的健康狀態(tài)，而且還可以探索其在判別蟹殼內部的品質的功能，如判別公蟹含膏量的多少、識別母蟹含黃量的多少，這兩者可進一步代替工人在池塘邊篩選的過程，節(jié)省大量人工成本。

②所提算法融入在線自動化河蟹品質檢測裝備。

對所提算法可融入河蟹活力品級的在線自動化檢測裝備中，對標記好的特征進行離線訓練，檢測活力品級采用在線推理的方式進行，可以嵌入多種河蟹的自動化檢測生產線中，提升河蟹水產品的檢測效率，提高水產行業(yè)的裝備自動化和智能化的檢測水平。

參考文獻

［1］ 食用大閘蟹安全么？［EB/OL］.（2021-09-22）［2023-04-17］.http：//www.jgs.moa.gov.cn/kptd/202107/t20210721_6372512.htm.

［2］ 馮楊，黃小麗，汪開毓，等.中華絨螯蟹“水癟子”病的主要體征指標［J］.水產學報，2020，44（5）：858-869.

［3］ 陸宏達，田全全，賈相相，等.中華絨螯蟹水癟子病不同發(fā)病階段的病理變化特點［J］.水生生物學報，2017，41（6）：1242-1250.

［4］ 楊宗英.中華絨螯蟹肝胰腺壞死綜合癥發(fā)病原因及致病機理初步研究［D］.上海：上海海洋大學，2018.

［5］ 葛家春，馬行空.應對河蟹水癟子病的建議［J］.水產養(yǎng)殖，2020，41（10）：76-77.

［6］ 李浩.基于圖像局部特征的中華絨螯蟹防偽算法研究［D］.馬鞍山：安徽工業(yè)大學，2019.

［7］ 李春波.中華絨螯蟹對生境因子的喜好性研究［D］.上海：上海海洋大學，2022.

［8］ 周志強，曹倩，朱虹，等.基于圖像處理的河蟹分級系統(tǒng)設計［J］.南方農機，2023，54（10）：8-10，18.

［9］ 趙德安，劉曉洋，孫月平，等.基于機器視覺的水下河蟹識別方法［J］.農業(yè)機械學報，2019，50（3）：151-158.

［10］ 曹碩.基于水下機器視覺的池塘河蟹實時檢測分割研究［D］.鎮(zhèn)江：江蘇大學，2021.

［11］ 賀帆.基于水下機器視覺的河蟹養(yǎng)殖精準投飼技術研究［D］.鎮(zhèn)江：江蘇大學，2020.

［12］ 石海軍.基于光譜圖像技術的中華絨螯蟹品質鑒別研究［D］.鎮(zhèn)江：江蘇大學，2019.

［13］ CUI Y H，PAN T H，CHEN S，et al.A gender classification method for Chinese mitten crab using deep convolutional neural network［J］.Multimedia tools and applications，2020，79（11）：7669-7684.

［14］ LU H M，UEMURA T，WANG D，et al.Deep-sea organisms tracking using dehazing and deep learning［J］.Mobile networks and applications，2020，25（3）：1008-1015.

［15］ HOW M J，CHRISTY J H，TEMPLE S E，et al.Target detection is enhanced by polarization vision in a fiddler crab［J］.Current biology，2015，25（23）：3069-3073.

［16］ 江蘇省市場監(jiān)督管理局.中華絨螯蟹“諾亞1號”：DB 32/T 3719—2020［S］.江蘇省市場監(jiān)督管理局，2020.

［17］ 賈婧瑜，沈云波，曹建鋒.人字齒輪對稱度偏差對系統(tǒng)振動特性的影響分析［J］.西安工業(yè)大學學報，2022，42（3）：230-237.

［18］ LIU Z H，JIA X J，XU X S.Study of shrimp recognition methods using smart networks［J］.Computers and electronics in agriculture，2019，165：1-10.

［19］ DONG H，YUAN M，WANG S，et al.PHAM-YOLO：A parallel hybrid attention mechanism network for defect detection of meter in substation［J］.Sensors （Basel），2023，2023，23（13）：1-18.

［20］ ZHANGY，ZHU Y S，LIU X，et al.In-field tobacco leaf maturity detection with an enhanced mobileNetV1：Incorporating a feature pyramid network and attention mechanism［J］.Sensors （Basel），2023，23（13）：1-21.

［21］ LAWAL O M，ZHU S Y，CHENG K.An improved YOLOv5s model using feature concatenation with attention mechanism for real-time fruit detection and counting［J］.Frontiers in plant science，2023，14：1-11.

［22］ AKTER M，ANSARY S，KHAN M A，et al.Human activity recognition using attention-mechanism-based deep learning feature combination［J］.Sensors （Basel），2023：23（12）：1-15.

［23］ NKABITI K P，CHEN Y Y.Device-free tracking through self-attention mechanism and unscented kalman filter with commodity Wi-Fi［J］.Sensors （Basel），2023，23（12）：1-24.

［24］ Computational Intelligence and Neuroscience.Retracted：Identification of navel orange diseases and pests based on the fusion of DenseNet and self-attention mechanism［J］.Computational intelligence and neuroscience，2023，2023：1.

［25］ DE ROSA I，OHAYON A，SEMOUN O，et al.Real-color versus pseudo-color imaging of fibrotic scars in exudative age-related macular degeneration［J］.Retina，2020，40（12）：2277-2284.

［26］ LI H，CHEN C B，F(xiàn)ANG S R，et al.Brain MR image segmentation using NAMS in pseudo-color［J］.Computer assisted surgery，2017，22（S1）：170-175.

［27］ 王承梅，杜豫川.基于YOLO算法的復雜交通環(huán)境中車輛目標檢測方法［J］.交通與運輸，2023，39（2）：20-24.

［28］ 王小瑀.無人駕駛環(huán)境中視覺感知關鍵技術研究［D］.長春：長春工業(yè)大學，2022.

［29］ 梁爽.基于深度神經(jīng)網(wǎng)絡的醫(yī)學圖像特征學習與分析［D］.北京：北京科技大學，2022.

［30］ 趙春江，梁雪文，于合龍，等.基于改進YOLO v7-tiny的籠養(yǎng)雞/蛋自動識別與計數(shù)方法研究［J/OL］.農業(yè)機械學報，2023-05-11［2023-04-21］.https：//kns.cnki.net/kcms/detail/11.1964.S.20230511.1322.014.html.

［31］ 姜曉東，成永旭，潘建林，等.中華絨螯蟹背殼特征識別及其算法研究［J］.中國水產科學，2019，26（6）：1116-1125.

［32］ 邰偉鵬，李浩，張炳良，等.中華絨螯蟹背殼特征識別及其算法研究［J］.中國海洋大學學報（自然科學版），2021，51（1）：138-146.

［33］ 盧少坤，李榮華，施歐文，等.基于圖像識別技術研究不同海區(qū)三疣梭子蟹甲殼白色斑紋特征及蛻殼前后斑紋特征的變化［J］.水產學報，2018，42（2）：257-266.

［34］ 張云，楊宏偉，羅克勇.中華絨螯蟹蟹殼顏色的識別量化研究［J］.江蘇農業(yè)科學，2005，33（6）：115-117.

［35］ 顧賽麒，王錫昌，張晶晶，等.電子鼻在中華絨螯蟹產地鑒別及等級評定上的應用［J］.中國水產科學，2014，21（1）：108-117.

［36］ 張晶晶，顧賽麒，丁玉庭，等.電子舌在中華絨螯蟹產地鑒別及等級評定的應用［J］.食品科學，2015，36（4）：141-146.