基于計算機視覺的卵形鯧鲹眼部特征檢測方法研究

胡祝華， 曹 路， 張逸然， 趙瑤池， 黃夢醒， 謝明山

(1 海南大學(xué)信息科學(xué)技術(shù)學(xué)院，海南 海口 570228；2 海南大學(xué)南海海洋資源利用國家重點實驗室，海南 海口 570228)

基于計算機視覺的卵形鯧鲹眼部特征檢測方法研究

胡祝華1,2， 曹 路1， 張逸然1， 趙瑤池1， 黃夢醒1,2， 謝明山1,2

(1 海南大學(xué)信息科學(xué)技術(shù)學(xué)院，海南 海口 570228；2 海南大學(xué)南海海洋資源利用國家重點實驗室，海南 海口 570228)

魚形態(tài)特征檢測作為漁業(yè)信息化的一個重要課題，有著廣泛地應(yīng)用前景。現(xiàn)有的魚眼特征檢測主要依靠人工，操作復(fù)雜、效率低下、結(jié)果主觀性強。因此提出一種基于圖像處理及最小二乘橢圓擬合的魚眼檢測方法，首先在養(yǎng)殖場采集實驗魚例圖像，再對魚眼瞳孔和虹膜區(qū)域進行圖像預(yù)處理，最后分別對魚眼的瞳孔/虹膜輪廓進行橢圓擬合。實驗結(jié)果顯示，魚眼瞳孔檢測平均耗時325.96 ms，虹膜檢測平均耗時364.57 ms，兩者檢測誤差分別為7.247(1±11.82%)mm和12.179(1±14.05%)mm。研究表明，采用該方法不僅可以解決人工測量操作繁瑣、主觀性強等問題，而且能夠避免測量過程耗時過長，為魚眼的大批量非接觸式測量提供了新途徑。

形態(tài)特征檢測；計算機視覺；圖像預(yù)處理；直接最小二乘橢圓擬合

卵形鯧鲹(Trachinotusovatus)又名金鯧、黃臘鯧等，一般生活于熱帶及溫帶沿海，與銀鯧(Pampusargenteus)相比，其味鮮美，價格便宜，成熟周期短、生長速度快，是一種高級的養(yǎng)殖魚種[1-3]。在水產(chǎn)養(yǎng)殖管理中，獲取魚體可量性狀對養(yǎng)殖漁業(yè)具有重要意義，它能直觀反映不同養(yǎng)殖環(huán)境與應(yīng)激條件下魚的生長狀況，同時也是養(yǎng)殖者進行喂養(yǎng)、捕撈、分級的主要信息依據(jù)[4]。現(xiàn)有的測量方法仍主要依靠人工，操作者手持游標卡尺等工具接觸測量，存在勞動強度大、效率低、檢測結(jié)果主觀性強等問題[5]。同時，由于測量耗時過長，容易造成魚脫水死亡[6]。因此，探究魚體形態(tài)特征檢測新方法，對水產(chǎn)養(yǎng)殖管理具有重要意義。

計算機視覺已廣泛應(yīng)用于水產(chǎn)魚類形態(tài)檢測中。如：一種可對大黃魚可量性狀進行檢測的系統(tǒng)[6]；一種簡單有效的金槍魚長度測量方法[7]；一套可對比目魚體長、體寬、厚度、體重等進行測量的檢測系統(tǒng)[8]；結(jié)合3D成像和光譜分析技術(shù)實現(xiàn)對大西洋鯛魚的新鮮度預(yù)測[9]。但是，以上研究基本都是圍繞體長、體寬等特征進行，將計算機視覺技術(shù)應(yīng)用于魚眼的形態(tài)特征檢測尚未見報道。因此，本文提出了一種基于圖像處理和最小二乘橢圓擬合的卵形鯧鲹眼部特征檢測方法。該方法利用圖像采集裝置采集圖像數(shù)據(jù)后，首先獲取魚眼區(qū)域，并對魚眼區(qū)域進行預(yù)處理，再采用直接最小二乘橢圓擬合方法獲得虹膜/瞳孔的準確輪廓，進而得到虹膜/瞳孔的直徑大小。該方法不僅可以自動、批量地獲取到魚眼的準確特征，還將人工測量所帶來的主觀誤差盡可能降到最低。

1 材料與方法

1.1 材料

所用魚例圖像(JPG格式，4 608×3 456像素)均采集自海南省陵水縣新村鎮(zhèn)鹽墩村鯧魚養(yǎng)殖場(海南大學(xué)海洋學(xué)院產(chǎn)學(xué)研基地)，選用鯧魚共100尾，采集時間為2016年11月。實驗所用圖像采集裝置由標準平臺(平臺底長560 mm)、機械手臂、采集相機(OLYMPUS TG-4，f/2.0，焦距4 mm，自帶鏡頭畸變校正)構(gòu)成(圖1)。

機械手臂可調(diào)節(jié)相機位置、高度，拍攝時調(diào)整手臂使相機畫面長度正好能夠覆蓋平臺底長，利用裝置采集到的部分魚例圖像(圖2a)，選取魚體的眼部區(qū)域(圖2b)作為后續(xù)處理步驟的輸入。

圖1 鯧魚圖像采集裝置

圖2 實驗所用魚例

1.2 圖像預(yù)處理

對魚眼圖像進行預(yù)處理的基本流程如圖3所示。首先對魚眼圖像分別進行灰度化處理、直方圖均衡、灰度拉伸操作[10-11]。通過對不同受檢魚眼進行采集比較發(fā)現(xiàn)：眼珠區(qū)域與眼瞼部位的對比差異不夠明顯，需進行歸一化處理，以便部分地消除這種差異所造成的影響。光線因素會造成圖像局部過亮或過暗，需要對圖像進行灰度變換，擴展其灰度范圍，從而提高圖像的對比度(圖4)。

圖3 預(yù)處理的基本流程

圖4 魚眼圖像的灰度增強

對于瞳孔，往往需要選擇一個合理的閾值來實現(xiàn)瞳孔區(qū)域提取。瞳孔通常為深色，其灰度遠小于眼部其它部分，從灰度直方圖(圖5a)和魚眼圖像(圖5b)中可以看出，瞳孔區(qū)域近似灰度值的像素點分布集中，且存在明顯的峰谷。表1為目前主流的閾值化方法，考慮到采集環(huán)境相對固定、受檢魚眼圖像灰度變化不大等因素，采用固定閾值法[12]分離瞳孔，選取左側(cè)第一個峰值右側(cè)峰谷的灰度值作為分割閾值，對整個圖像進行閾值化，初步提取出瞳孔，結(jié)果如圖5c所示。

圖5 魚眼圖像的閾值化

方法原理參考文獻固定閾值法基于多樣本訓(xùn)練得到的固定閾值文獻[12]自適應(yīng)閾值法根據(jù)灰度特性將瞳孔圖像分成瞳孔與背景2個部分文獻[13]結(jié)合灰度均值的閾值法結(jié)合整幅圖像的灰度均值得出文獻[14]結(jié)合K-Means聚類的閾值法直方圖分成3類,把均值最小一類的聚類中心作為閾值文獻[15]

圖5c中可以看出與瞳孔無關(guān)的背景干擾被提取了出來，該問題可以考慮使用形態(tài)學(xué)操作[16]來解決。圖6a～c、圖6d～f分別是以3、5、7為大小的結(jié)構(gòu)元素進行開運算、閉運算得到的圖像，結(jié)合實際開閉運算效果，先進行3×3開運算操作以修補瞳孔區(qū)域(圖6g)，再進行5×5閉運算操作去除背景干擾，最終分離出瞳孔區(qū)域(圖6h)。

圖6 瞳孔圖像的形態(tài)學(xué)處理

對于虹膜，首先對灰度修正后的圖像進行Canny邊緣檢測[17](圖7)，作為不同閾值條件下的邊緣檢測結(jié)果。其中，圖7a為灰度修正后的原圖，圖7b～e分別是閾值為50、100、150、200的檢測結(jié)果。可以看出，閾值為100時效果最好，提取的邊緣較為完整，背景干擾較少。為了連通邊緣輪廓，對邊緣檢測后的圖像進行閉運算操作。圖8a～d分別是結(jié)構(gòu)元素大小為3、5、7、9所得到的圖像，可以看出窗口大小為7的效果最好。

圖7 不同閾值的Canny邊緣檢測結(jié)果

圖8 不同結(jié)構(gòu)元素大小的閉運算結(jié)果

2 輪廓擬合方法

預(yù)處理后的魚眼圖像需進行輪廓擬合操作。已知動物的瞳孔/虹膜形狀與人類存在較大差異，其中人的瞳孔/虹膜形狀近似圓形，羊眼則近似圓角矩形，魚眼則接近于橢圓[18](圖9)。

當(dāng)待識別形狀為不規(guī)則的類圓時，常采用橢圓擬合方法。目前已知的橢圓檢測方法有投票聚類算法和最優(yōu)算法[19]。直接最小二乘法作為一種最優(yōu)算法，以代數(shù)距離平方和最小作為擬合原則[20]，其算法復(fù)雜度低，對噪聲具有較好的穩(wěn)定性。橢圓的平面曲線的一般方程[21]可表示為：

F(a,x)=a·x=ax2+bxy+cy2+dx+ey+f=0

(1)

其中:a=[abcdef]T,x=[x2xyy2xy1]T。根據(jù)最小二乘原理，曲線擬合問題可以通過使代數(shù)距離平方和最小D來解決：

(2)

求解時為了保證擬合結(jié)果為橢圓，設(shè)定約束條件為4ac-b2=1，滿足該條件的二次曲線即為橢圓。因此約束條件可用矩陣表示為：aTCa=1，即:

(3)

在上面的約束條件下，最小化問題可以用聯(lián)立的廣義特征系統(tǒng)求解。根據(jù)Lagrange乘子法，引入Lagrange算子λ并求導(dǎo)可得到以下方程組：

其中:數(shù)據(jù)樣本集合D為[x1，x2，…，xN]T，S=DTD。式(4a)顯然是廣義特征值求解問題，根據(jù)廣義特征值求解方法求得(4)式的解，得到：

(5)

(6)

分別將虹膜/瞳孔預(yù)處理后圖像中的所有像素點作為擬合數(shù)據(jù)，進行最小二乘橢圓擬合操作，最終得到的擬合結(jié)果如圖10所示。

圖9 不同物種眼球的特征

圖10 魚眼圖像的直接最小二乘橢圓擬合

3 像素距離轉(zhuǎn)換

通過上述步驟得到的距離為像素距離，實際使用時需轉(zhuǎn)換為實際距離。已知圖像采集裝置底長LRP，采集所得圖像長LCP，瞳孔/虹膜的像素距離LCF，轉(zhuǎn)換后的實際距離LRF。其中，LRP為560 mm，LCP為4 608像素。因為LCF通過算法可求得，則實際長度可通過式(7)計算求得。

(7)

4 結(jié)果

試驗中使用2.2GHz Intel(R) Core(TM) i5計算機，內(nèi)存為2GB，用MATLAB 2013b編程實現(xiàn)，分析軟件界面如圖11所示，分別對100組魚例的彩色魚眼圖像(像素為150×150)進行檢測。為了方便展示，從中隨機抽取10組結(jié)果進行顯示。

圖11 分析軟件界面

4.1 試驗效果

傳統(tǒng)的類圓檢測可以采用經(jīng)典的Hough圓變換[22]來完成，該方法可以減少干擾，圈出瞳孔的位置。但是該方法復(fù)雜度過高，而且針對虹膜的檢測不夠準確。為了檢驗本文方法的實際效果，將其與Hough法進行對比(表2)。可以看出，兩種方法均能較好地擬合瞳孔/虹膜輪廓；在瞳孔輪廓擬合上兩種方法的效果基本一致；在虹膜輪廓擬合上，Hough法穩(wěn)定性較差。綜合來看，本文方法效果好于Hough法。

表2 Hough法與本文方法檢測效果的對比

4.2 試驗精度

圖12為本文方法的測量結(jié)果。為檢驗該結(jié)果的精度，采用相對誤差來度量。相對誤差定義為系統(tǒng)測量值與標準值之差的絕對值除以標準值[23]。

圖13為Hough法與本文方法的瞳孔/虹膜直徑測量結(jié)果的對比，其中，標準測量結(jié)果為采用人工測量3次后的平均值。人工測量過程：在魚排上將魚麻醉后平放在量魚板上，用卡尺對魚眼進行3次獨立測量并記錄測量結(jié)果，最后求得平均值。結(jié)果顯示，本文方法在瞳孔測量上與Hough法效果基本相同，兩者測量誤差分別為7.247(1±11.82%) mm和7.226 (1±12.06%) mm。對于虹膜測量，兩種方法的測量結(jié)果均存在較大偏差，Hough法誤差為12.461 (1±16.75%) mm，本文方法測量誤差較小，為12.179 (1±14.05%) mm。

圖12 本文方法的測量結(jié)果

圖13 本文方法與Hough法的測量結(jié)果對比

值得注意的是，根據(jù)成像原理，不同距離物體在相機中成像大小不一樣(近大遠小)。由于金鯧魚體具有一定的厚度，導(dǎo)致魚眼的成像距離與測量板的成像距離存在一定的差異，使得公式(7)計算結(jié)果與實際尺寸會也存在一定的誤差。但是，由于大部分魚體呈扁平特征，金鯧魚尤為突出，因此本文沒有考慮這部分距離差異對測量帶來的誤差影響。在后續(xù)的研究中，可以根據(jù)一類魚體具有大致相同的厚度，然后在像素距離轉(zhuǎn)換中把距離差異所帶來的計算誤差考慮進去。

4.3 實驗耗時

對兩種方法的運行耗時情況分別進行統(tǒng)計，結(jié)果(圖14)顯示，本文方法瞳孔測量平均耗時325.96 ms，虹膜測量平均耗時364.57 ms，Hough法瞳孔測量平均耗時1190.16 ms，虹膜測量平均耗時1221.22 ms。結(jié)果表明，本文方法平均耗時更短，運行速度比Hough法快3～4倍，具有較好的實時性。

圖14 Hough法與本文方法檢測耗時對比

5 討論

5.1 不同光照條件下測量偏差比較

本文方法在光照均勻條件下測量偏差較低。其原因是，本方法多使用固定閾值法確定圖像處理中的閾值。在光照均勻條件下，閾值范圍穩(wěn)定且容易被確定，圖像處理效果較好；而在光線非均勻條件下，圖像局部過亮或過暗，難以確定較為穩(wěn)定的閾值范圍，導(dǎo)致圖像處理效果較差。圖像處理效果直接影響魚眼輪廓擬合的準確率。因此，針對非均勻光照條件下的魚眼輪廓擬合需要進一步完善。

5.2 與人工測量法比較

Strachan[24]指出手工測量魚體體長的速度約12尾/min。Jeong等[8]針對比目魚體長、厚度、體重等多個參數(shù)設(shè)計的檢測系統(tǒng)能達到15尾/min的測量速度。本文方法主要針對魚眼部位進行測量，假設(shè)瞳孔/虹膜檢測在系統(tǒng)中同時進行，理論上能夠達到約160尾/min的檢測速度。當(dāng)大批量測量時，相較人工測量，本文方法檢測速度更穩(wěn)定，測量結(jié)果也更準確、客觀。其原因是，人工測量的主觀性較強，當(dāng)測量基數(shù)增大時這種差異會愈發(fā)明顯；另外，不同操作者的熟練度也會影響測量耗時，體力不斷消耗也會明顯增加測量耗時。

6 結(jié)論

本文提出了一種基于計算機視覺和圖像處理技術(shù)，并結(jié)合最小二乘橢圓擬合的卵形鯧鲹眼部特征檢測方法。該方法既可以較為準確地檢測出魚眼的瞳孔大小，也可以準確地檢測出魚眼虹膜的大小。實驗結(jié)果表明，魚眼瞳孔檢測平均耗時為325.96 ms，虹膜檢測平均耗時為364.57 ms，與參考數(shù)據(jù)進行比較，瞳孔和虹膜的檢測誤差分別為7.247(1±11.82%)mm和12.179(1±14.05%)mm，基本達到了實時、準確的檢測要求。因此，該方法不僅可以自動、批量地獲取到魚眼的準確特征，還將人工測量所帶來的主觀誤差盡可能降到最低，為魚眼的大批量非接觸式測量提供了新途徑。由于絕大多數(shù)魚苗的眼部形態(tài)特征分布與本文實驗所用卵形鯧鲹類似，因此，本文方法還可以推廣到其他種類的魚眼測量。

在實際使用中，本文方法對光照條件較為敏感，光照的不均可能會對采集的圖像質(zhì)量造成影響，并最終影響到眼部的特征檢測結(jié)果。這也是課題組在下一步的研究中要解決的問題。

□

[1] 劉志玲,唐啟勝.金鯧養(yǎng)殖過程中的病害防治[J].科學(xué)養(yǎng)魚, 2014(6): 81.

[2] 農(nóng)新聞,米強,朱瑜,等.卵形鯧鲹的含肉率及肌肉營養(yǎng)價值研究[J].中國水產(chǎn),2008 (9):73-75.

[3] 彭志東.卵形鯧鲹的人工繁育技術(shù)[J].當(dāng)代水產(chǎn),2007(9):14-15.

[4] 段延娥,李道亮,李振波,等.基于計算機視覺的水產(chǎn)動物視覺特征測量研究綜述[J].農(nóng)業(yè)工程學(xué)報, 2015, 31(15):1-11.

[5] MA Q, JIANG J, ZHU D, et al. Rapid measurement for 3D geometric features of maize ear based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering, 2012, 28(1): 208-212.

[6] 余心杰,吳雄飛,王建平,等.基于機器視覺的大黃魚形態(tài)參數(shù)快速檢測方法[J]. 集成技術(shù), 2014 (5): 45-51.

[7] HSIEH C L, CHANG H Y, CHEN F H, et al. A simple and effective digital imaging approach for tuna fish length measurement compatible with fishing operations[J].Computers & Electronics in Agriculture,2011,75(1):44-51.

[8] JEONG S J, YANG Y S, LEE K, et al. Vision-based Automatic System for Non-contact Measurement of Morphometric Characteristics of Flatfish[J]. Journal of Electrical Engineering & Technology, 2013, 8(5):1194-1201.

[9] IVORRA E, VERDU S, SáNCHEZ A, et al. Predicting Gilthead Sea Bream (Sparus aurata) Freshness by a Novel Combined Technique of 3D Imaging and SW-NIR Spectral Analysis[J]. Sensors, 2016, 16(10):1735.

[10] GONZALEZ R C, WOODS R E. Digital Image Processing [M]. 3rd Edition. Upper Saddle River: Prentice Hall, 2010:728-788.

[11] 蔡超峰, 任景英. 基于直方圖均衡化的手背靜脈圖像對比度增強[J]. 計算機應(yīng)用, 2013, 33(4):1125-1127.

[12] ZUO J, SCHMID N A. On a methodology for robust segmentation of nonideal iris images[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2010, 40(3): 703-718.

[13] LIAGHATDAR A, KANGARLOO K, FAROKHI F. Pupil localizing in video images the first step toward eye monitoring[C]// International Conference on Multimedia Technology. IEEE, 2011:3163-3166.

[14] 彭建,向軍.一種基于形態(tài)學(xué)的虹膜定位快速算法[J].計算機工程與應(yīng)用,2012,48(4):193-196.

[15] 駱名猛,吳錫生.改進的快速虹膜定位算法[J].計算機工程與應(yīng)用,2010,46(17):200-203.

[16] 陳勇平,郭文靜,王正.基于數(shù)學(xué)形態(tài)學(xué)的木材單板節(jié)子識別改進算法[J].林業(yè)科學(xué),2015,51(9):90-95.

[17] CANNY J. A computational approach to edge detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1986 (6): 679-698.

[18] LAND M F. Visual optics: the shapes of pupils[J]. Current biology, 2006, 16(5): 167-168.

[19] 王志彬,王開義,張水發(fā),等.基于K-means聚類和橢圓擬合方法的白粉虱計數(shù)算法[J].農(nóng)業(yè)工程學(xué)報,2014,30(1):105-112.

[20] 閆蓓,王斌,李媛.基于最小二乘法的橢圓擬合改進算法[J].北京航空航天大學(xué)學(xué)報, 2008, 34(3): 295-298.

[21] FITZGIBBON A, PILU M, FISHER R B. Direct Least Square Fitting of Ellipses[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1999, 21(5):476-480.

[22] 孫亦南,劉偉軍,王越超.一種用于圓檢測的改進Hough變換方法[J].計算機工程與應(yīng)用,2003(20):35-37.

[23] KREINOVICH, VLADIK. How to define relative approximation error of an interval estimate: a proposal[J]. Applied Mathematical Sciences, 2013(5/8):211-216.

[24] STRACHAN N J C. Length measurement of fish by computer vision[J]. Computers and electronics in agriculture, 1993, 8(2): 93-104.

Study on eye feature detection method ofTrachinotusovatusbased on computer vision

HU Zhuhua1,2, CAO Lu1, ZHANG Yiran1, ZHAO Yaochi1, HUANG Mengxing1,2，XIE Mingshan1,2

(1 College of Information Science and Technology, Hainan University, Haikou 570228, China；2 State Key Laboratory of Marine Resource Utilization in South China Sea, Hainan University,Haikou 570228, China)

As a vital issue of information based fisheries, morphological feature detection of fish is widely applied to many domains. The existing fish eye feature detection mainly depends on manual work, and the operation process is complex with low efficiency and subjective results. Therefore, a detection method of fish eye based on image processing and least square ellipse fitting is proposed. Firstly, fish images are collected from facilities in farm. Then image preprocessing is performed on fish eye pupil and iris. Finally, the edge of the fish eye pupil and iris is identified by ellipse fitting method. As seen from the results, pupil detection costs an average time of 325.96 ms, iris detection costs an average time of 364.57 ms, pupil detection error is 7.247 (1±11.82%) mm, and iris detection error is 12.179 (1±14.05%) mm. Studies have shown that the proposed method can not only solve the problem that manual work is complex and subjective, but also avoid the time-consuming measuring process and provide a new way for large quantities of fish eye non-contact measurement.

morphological feature detection; computer vision; image preprocessing; direct least square ellipse fitting

10.3969/j.issn.1007-9580.2017.04.003

2017-01-30

海南省重大科技計劃項目(ZDKJ2016015)；海南省自然科學(xué)基金項目(20166232，20167238，617033)；海南大學(xué)南海海洋資源利用國家重點實驗室開放項目子課題(2016013B)；海南大學(xué)南海海洋資源利用國家重點實現(xiàn)室導(dǎo)向課題(OX2017012)；海南大學(xué)研究生優(yōu)秀學(xué)位論文培育計劃項目

胡祝華(1979—)，男， 副教授，研究方向：智慧農(nóng)業(yè)、海洋通信。E-mail：eagler_hu@163.com

趙瑤池(1980—)，女，副教授，研究方向：智慧農(nóng)業(yè)、計算機視覺與圖像處理。E-mail：yaochizi@163.com

TP212.9

A

1007-9580(2017)04-015-09