基于無人機圖像的中華絨螯蟹質量估算研究

宦 娟，李明寶，徐憲根，曾一鳴，史 兵，張勤蘭

（1.常州大學計算機與人工智能學院，江蘇常州 213164；2.常州市環境科學研究院，江蘇常州 213022；3.溧陽市水鄉特種水產養殖專業合作社，江蘇常州 213300）

中華絨螯蟹（Eriocheir sinensis），俗稱河蟹、毛蟹、大閘蟹等，是我國特有的水產珍品，具有極高的經濟及醫用價值［1］。近年來，隨著水產養殖技術的不斷發展，中華絨螯蟹養殖和集約化程度得到不斷提高。精準的質量測量可為養殖者生產調控和養殖產業結構調整提供科學依據，但由于中華絨螯蟹養殖的特殊性，在質量估算方面存在著一定的困難。傳統的質量測量方法是定期捕獲部分中華絨螯蟹進行人工測量，此過程易造成應激反應［2］，導致部分蟹爪脫落，損傷中華絨螯蟹，影響中華絨螯蟹生長［1］。

近年來，由于無人機速度快、效率高，且具有圖像實時傳輸、姿態實時監控等優點，被廣泛地應用于農業研究中。劉家歡等［3］利用無人機拍攝大面積種植的小麥冠層對小麥莖葉快速診斷。ZHANG等［4］利用無人機采集的視覺與光譜圖像對棉花產量進行預測。喬浪等［5］利用無人機拍攝玉米冠層圖像并結合BP神經網絡對玉米冠層葉綠素含量進行檢測，為田間作物長勢評價和精細化管理提供了技術支撐。研究者們運用計算機視覺圖像技術對圖像信息進行分析，提取圖像特征，獲取相關信息。張超等［6］與唐楊捷等［7］利用計算機視覺技術結合傳統的產量預測方法對三疣梭子蟹（Portunus trituberculatus）質量進行了預測。

綜合無人機的優勢和中華絨螯蟹無應激質量測量需求，本文提出了基于無人機圖像的中華絨螯蟹質量估算方法。利用無人機獲取中華絨螯蟹圖像，運用計算機視覺技術，對圖像進行清晰化、輪廓及其特征提取，選取中華絨螯蟹甲殼的寬與長作為參數，計算甲殼面積，建立質量估算模型。

1 材料與方法

1.1 實驗材料

實驗數據樣本采集自江蘇省常州市漁業科技示范基地，基地占地約10 hm2。位于江蘇省南部（119°08′～120°12′E、31°09′～32°04′N），隸屬長江下游平原，所在的氣候為亞熱帶季風氣候。選取基地內的養殖池作為實驗場所，每個養殖池占地0.1 hm2，水深0.8 m，，每個養殖池配備水質自動監測儀，實時獲取溫度、pH和溶解氧等水質信息。養殖池中溶解氧≥5 mg·L-1，透明度≥40 cm，pH 7.5±0.3。常州漁業示范基地主要養殖的中華絨螯蟹品種為“諾亞一號”與“諾亞二號”，每個養殖池里養殖2000只中華絨螯蟹。本次實驗針對品種“諾亞一號”進行研究。

1.2 實驗方法

1.2.1 實驗裝置

實驗數據采集時間為2018年7月1日至12月31日，實驗采集中華絨螯蟹質量、甲寬、甲長及圖像。獲取圖像的裝置為大疆無人機“御”MavicAir。無人機具體參數如下：4翼機身凈重430 g，展開時長、寬、高為168 mm、184 mm、64 mm，對焦軸距213 mm，飛行速度25 km·h-1，續航時間為21 min，搭載3軸云臺，可控轉動范圍俯仰-90°～＋17°（可擴展），橫滾-30°～＋30°，角度抖動量±0.005。相機鏡頭FOV85°（24mm格式等效），原始圖像分辨率3840×2160。

1.2.2 實驗方案

中華絨螯蟹質量估算實驗分為3個步驟，步驟一：用游標卡尺測量中華絨螯蟹的甲長與甲寬，測量后在甲殼部貼上序號標注；步驟二：將標注后的中華絨螯蟹放入電子秤中，稱其體質量；步驟三：將稱重后的中華絨螯蟹放在養殖池斜坡上，操作無人機進行拍攝，獲取單個中華絨螯蟹圖像。為避免風速對無人機飛行穩定度的影響，本實驗選擇的時間均為天氣晴朗、風速較小或無風的時間段。實驗時，無人機飛行的高度為3 m，該無人機噪聲較小且無人機底部搭載3軸云臺，配置的攝像頭可對運動的物體抓拍。為使實驗獲取的圖像為正射影像，即云臺攝像頭與養殖池斜坡成垂直角度，拍攝時調制云臺攝像頭角度至俯角63°，操控無人機沿著養殖池斜坡飛行并對中華絨螯蟹進行抓拍。本實驗共采集120張圖像，其中84張圖像用于質量估算模型研究，36張圖像用于質量估算模型驗證。拍攝的中華絨螯蟹圖像如圖1所示。

圖1 無人機拍攝中華絨螯蟹圖像Fig.1 Image of Eriocheir sinensis taken by UAV

1.3 中華絨螯蟹圖像處理與特征提取

1.3.1 中華絨螯蟹圖像處理流程

圖像處理過程主要分為圖像預處理、目標清晰化、圖像更新和邊緣檢測提取4個部分。中華絨螯蟹目標圖像清晰化為整個過程的核心，它為后續的圖像特征提取提供良好的支撐。圖像處理過程在python開發環境下結合OpenCV庫編寫完成，具體過程如下：

1）圖像預處理分為3個步驟：幾何校正、圖像模糊化和目標區域提取。

2）提取出目標區域后，采用維納濾波對目標區域進行清晰化處理。

3）進行圖像更新處理，將圖像模糊化后的目標區域與清晰化處理后的目標區域替換。

4）應用Canny邊緣檢測算子進行中華絨螯蟹輪廓提取。

1.3.2 中華絨螯蟹圖像預處理

由于現實中的光照條件以及無人機在飛行過程中存在許多不可抗力因素的影響，在進行圖像處理前需要對圖像進行幾何校正、圖像模糊化、目標區域提取等預處理操作［8-10］。

無人機體積較小，超低空拍攝時，由于風力或操作抖動等因素影響，會產生圖像傾斜等問題，因此，在圖像處理前需對圖像進行幾何校正［11-12］。幾何校正主要有基于控制點和基于影響特征的校正。本實驗地點主要為中華絨螯蟹養殖池，范圍較小，且易尋找控制點，因此，本文選擇基于控制點的幾何校正法。養殖池斜坡可看做一個矩形，選擇矩形的左上、右上、左下以及右下4個頂點為控制點。

中值濾波是一種非典型濾波，其基本思想是用像素點鄰域灰度值的中值來代替該像素點的灰度值，讓該點周圍的像素點值接近真實的值，從而消除孤立的噪聲點［13-14］。圖像模糊化算法關鍵在于確定濾波模板，一般濾波模板均為二維模板。本文經過實驗最終確定濾波模板大小為19×19個像素點。

中華絨螯蟹目標區域提取過程利用GrabCut算法進行交互式前景提取。GrabCut算法首先需要用一個矩形框將圖像中前景框住，然后進行迭代式分割，直至達到分割效果為止［15-16］。由于本實驗采集的圖像中中華絨螯蟹形狀各不相同，無法統一確定目標區域，所以本文利用交互式程序確定前景區域，即利用人為操作框取目標前景。

1.3.3 目標清晰化

利用圖像復原技術，對提取出的目標區域圖像進行復原，從而將目標圖像清晰化。圖像復原是利用退化過程的先驗知識恢復圖像本來面目的方法，其過程可以看作為圖像退化的逆向過程［17-18］。圖像復原首先對圖像退化過程進行適當的估計，在此估計基礎上得出退化模型，根據退化模型對圖像進行擬合，直至達到最優結果。圖像復原的基本過程如流程圖2所示。逆濾波與維納濾波是應用于圖像復原技術中最廣泛的復原濾波，本實驗分別采用逆濾波與維納濾波對中華絨螯蟹目標進行復原，結果分別如圖3、圖4所示。對比兩幅圖的復原效果，維納濾波比逆濾波對目標圖像的復原效果更好，因此，本實驗選擇使用維納濾波作為復原濾波。

圖2 圖像復原流程圖Fig.2 Image restoration flow chart

圖3 逆濾波復原圖像Fig.3 Image restoration by inverse filtering

圖4 維納濾波復原圖像Fig.4 Image restoration by Wiener filter

1.3.4 中華絨螯蟹圖像更新

本過程將利用圖4對目標中華絨螯蟹區域進行更新。首先，利用python中OpenCv庫的copyMakeBorder邊緣填充函數，對圖4上下左右分別進行填充，填充后的圖像大小為800×600。其次，確定圖像中目標區域所在位置，可由步驟1.3.2得知。最后將模糊化圖像中目標中華絨螯蟹區域RGB值與填充圖像中目標區域RGB值替換。

1.3.5 Canny邊緣檢測

Canny邊緣檢測算法是邊緣檢測的一種標準算法，利用Canny邊緣檢測算法可有效地提取出中華絨螯蟹的邊緣輪廓［19］。Canny邊緣檢測的步驟分為：灰度化、高斯檢測、調用Canny函數尋找強度梯度、邊界清晰化、設置雙闕值［20-21］。

2 結果與分析

2.1 中華絨螯蟹輪廓提取

利用OpenCV庫中封裝好的Canny函數，編寫程序時需設置Canny函數雙闕值。本文經多次實驗，最終確定闕值threshold1為200像素梯度值，threshold2為300像素梯度值。根據Canny邊緣檢測的結果，提取出的中華絨螯蟹邊緣特征由甲長與甲寬組成的矩形區域，經膨脹算法［22］處理后，如圖5所示。

圖5 中華絨螯蟹邊緣特征Fig.5 Edge characteristics of Eriocheir sinensis

2.2 中華絨螯蟹參數獲取

2.1提取出的中華絨螯蟹邊緣特征是由甲長與甲寬組成的矩形區域。利用公式L＝l×V計算圖測甲寬和甲長。式中，L為圖測甲長甲寬，l為甲長甲寬像素點，V為中華絨螯蟹圖像中單個像素點長度。經過計算，V＝0.034 cm·像素點-1。部分圖測甲長甲寬計算結果如表1所示，筆者選擇相對誤差作為衡量圖測參數與實測參數之間的誤差。

從表1中可以看出，圖測甲長與實測甲長的相對誤差最大值為6.8%，最小值為0.4%，這說明，圖測甲長接近中華絨螯蟹的實測甲長，計算較為精準。圖測甲寬與實測甲寬的相對誤差最大值為11.0%，最小值為0.2%，圖測甲寬計算結果誤差較大，但仍在可接受的誤差范圍內。為進一步確定圖像計算結果的精確度，隨機抽取30張中華絨螯蟹圖像，經過計算得出甲長與甲寬，圖6為部分中華絨螯蟹的無人機圖像計算結果與實際人工測量對比。

表1 中華絨螯蟹的無人機圖像計算結果與實際人工測量值Tab.1 UAV image calculation results and actual manual measurement of Eriocheir sinensis

從圖6可以看出，無人機中華絨螯蟹圖像計算結果與人工實際測量數據擬合程度較高。經過計算，圖測甲長與實測甲長的相對誤差平均值為2.93%，圖測甲寬與實測甲寬的相對誤差平均值為5.40%，誤差較小。利用公式S＝L×W最后計算出中華絨螯蟹甲殼的像素點面積。式中，S表示甲殼的像素點面積（cm2），L表示甲殼的圖測長度，W表示甲殼的圖測寬度。

圖6 中華絨螯蟹圖像計算結果與人工實際測量數據對比Fig.6 Comparison between calculation results of Eriocheir sinensis image and actual manual measurement

2.3 中華絨螯蟹質量估算

利用本文提及的算法對84張圖像進行處理并經過計算得出甲殼像素點面積，將甲殼像素點面積與實測體質量作為參數，分別利用線性回歸、二次多項式回歸、對數回歸、冪函數回歸以及指數回歸這5種回歸模型，得出甲殼像素點面積與中華絨螯蟹質量的關系。

為了比較線性回歸、二次多項式回歸、對數回歸、冪函數回歸以及指數回歸等5種回歸模型的建模效果，本文選擇以決定系數R2和自相關系數P值作為衡量模型的標準。各模型計算結果如表2所示。由于計算出的各模型自相關系數P值均大于0.01，所以為了進一步確定每一個模型的預測精度，隨機抽取30條數據，將數據中的甲殼面積S作為未知參數x代入表2中的各個模型，對預估結果y和實測數據M進行對比，取絕對誤差和相對誤差作為衡量各個回歸模型預測精準度的標準，對比結果如表3所示。

表2 5種中華絨螯蟹質量回歸模型及評定系數Tab.2 Five regression models and evaluation coefficients of Eriocheir sinensis mass

表3 中華絨螯蟹質量回歸模型精度分析Tab.3 Accuracy analysis of regression model for Eriocheir sinensis mass

對表2進行分析發現，線性回歸模型、二次多項式回歸模型以及冪函數回歸模型的擬合程度較高，決定系數均大于0.9。對數回歸模型和指數回歸模型的決定系數相對較低，其決定系數均小于0.9。表3中，筆者主要以絕對誤差的平均值和相對誤差的平均值來比較5種回歸模型的預測效果。對表3進行數值分析發現，指數回歸模型的絕對誤差平均值為16.0，遠遠大于其他模型，這說明指數回歸模型的預測精度最差。對數回歸模型的相對誤差平均值為9.1，大于其他模型，這說明對數回歸模型的預測精度較差。線性回歸模型、二次多項式回歸模型和冪函數回歸模型的絕對誤差平均值和相對誤差平均值較為接近。但是，冪函數回歸模型的絕對誤差最大值和相對誤差最大值分別為16.1和12.4，分別比線性回歸模型小4.1和7.2，說明線性回歸模型與冪函數回歸模型相比，冪函數回歸模型的預測精度更高。表2中冪函數回歸模型和二次多項式回歸模型的決定系數，冪函數回歸模型的決定系數為0.9678，遠大于二次多項式回歸模型的決定系數。綜上對表2與表3的分析，發現冪函數回歸模型的決定系數和預測精度均優于其他模型。因此，本文選擇冪函數作為中華絨螯蟹質量估算模型。

2.4 中華絨螯蟹質量估算模型分析

由2.3中華絨螯蟹質量估算可知，冪函數回歸模型的估算效果最好。為了進一步確定冪函數回歸模型的估算精度。將用于驗證中華絨螯蟹質量估算模型的36張圖像經過本文提及的算法處理后，計算出甲殼的圖像面積S，將甲殼圖像面積S作為未知數x代入冪函數回歸模型中。本文選擇平均絕對誤差（MAE）、均方根誤差（RMSE）以及相關系數（R）作為模型評價標準。MAE可以反映估算值誤差的實際情況，RMSE可以用來衡量實際值與估算值之間的偏差，R可以衡量實際值與估算值之間的總體相關性，R越接近于1說明實際值與估算值之間的相關性越高，整體的估算精度也越高。

冪函數模型中華絨螯蟹質量估算結果如圖7所示。圖中藍色曲線為中華絨螯蟹質量實際測量值，黃色曲線為冪函數模型預估結果值，從圖7中可以看出，冪函數模型預估結果值大部分接近于中華絨螯蟹質量的實際測量值。經過計算，冪函數模型預估結果的平均絕對誤差（MAE）、均方根誤差（RMSE）以及相關系數（R）分別為14.4722、17.6186、0.9465，從相關系數R可以看出模型整體的預測精度較高，而MAE與RMSE誤差均較大，說明部分中華絨螯蟹質量預估結果與實際質量偏差較大。原因在于，本文實驗時間為6月至12月，中華絨螯蟹質量分布不統一，后續研究可增加實驗樣本容量。結合圖7與模型函數評價標準，冪函數可作為中華絨螯蟹質量估算模型，可滿足中華絨螯蟹質量測量的需要。

圖7 冪函數模型中華絨螯蟹質量估算結果Fig.7 Predicted results of Eriocheir sinensis mass by power function model

3 小結

針對傳統中華絨螯蟹質量測量方法對檢測人員造成誤傷、對中華絨螯蟹造成應激反應、估測精度不高等問題，本文提出了基于無人機圖像的中華絨螯蟹質量預估的方法。

利用無人機獲取中華絨螯蟹圖像，運用計算機視覺技術提取中華絨螯蟹特征作為參數估算中華絨螯蟹質量的方法具備一定的可行性。針對中華絨螯蟹質量預估的問題，本研究提出單個冪函數中華絨螯蟹質量估算模型，其擬合決定系數R2為0.9678，自相關系數P＜0.01，在測試樣本中的相關系數R為0.9465。估算結果表明，該模型對中華絨螯蟹質量估算具有一定的適用性，可為中華絨螯蟹質量測量提供參考。由于中華絨螯蟹在養殖池岸邊的高密度移動，在無人機采集到的圖像中會出現重疊問題，使得圖像分割過程較為復雜。后續將進一步研究高精度圖像分割，從而提高高密度養殖情況下中華絨螯蟹質量預估精度。