






文章編號:2096-1472(2024)03-0007-04
DOI:10.19644/j.cnki.issn2096-1472.2024.003.002
摘"要:針對同種藻類形態(tài)各異、藻類相似性高、采集圖像中存在氣泡和雜質(zhì)等帶來的檢測與識別準(zhǔn)確率低的問題,提出了基于多方法融合的淡水水域常見藻類檢測與識別算法。首先利用顏色信息識別藻類圖像的背景顏色,為不同顏色背景的圖像選擇最佳的預(yù)處理與分割方法;其次使用基于形狀參數(shù)、尺度不變特征變換-快速近似最近鄰查找(SIFT-FLANN)、方向梯度直方圖-支持向量機(HOG-SVM)的多方法融合的藻類檢測與識別算法,以提高識別的準(zhǔn)確率和魯棒性。對25種常見的藻類進行實驗與對比,其中常見的10種藻類的平均檢測成功率為96.07%,對魚腥藻、針桿藻的識別準(zhǔn)確率較高,分別達到了100.00%與99.50%,驗證了該算法對常見藻類的檢測與識別具有一定的魯棒性。
關(guān)鍵詞:藻類檢測與識別;SIFT-FLANN;HOG-SVM
中圖分類號:TP391 ""文獻標(biāo)志碼:A
Detection and Recognition of Common Freshwater Algae in Aquatic Environments Based on the Fusion of Multiple Methods
ZHANG Wenyi, ZHU Hong, NIE Fengxiang, ZHANG Jiajun
(Computer and Software School, Dalian Neusoft University of Information, Dalian 116023, China)
zhangwenyi01@outlook.com; zhuhong@neusoft.edu.cn; a1748355368@outlook.com; 1282947838@qq.com
Abstract: Aiming at the problems of low detection and recognition accuracy caused by the diverse morphology of the same type of algae, high similarity of algae, and the presence of bubbles and impurities in the collected images, this paper proposes a common algae detection and recognition algorithm in freshwater based on the fusion of multiple methods. Firstly, color information is used to identify the background color of algae images, allowing for the selection of optimal preprocessing and segmentation methods for images with different background colors. Secondly, a multi-method fusion algae detection and recognition algorithm based on shape parameters, Scale Invariant Feature Transform-Fast Library for Approximate Nearest Neighbors (SIFT-FLANN), and directional gradient Histogram-Support Vector Machine (HOG-SVM) is used to improve the accuracy and robustness of recognition. Through experiments and comparisons conducted on 25 common algae, an average detection success rate of the 10 common algae is 96.07%, and the recognition accuracy rate for Anabaena and Synedra is high, reaching 100.00% and 99.50%, respectively, verifying that the proposed algorithm has a certain degree of robustness for the detection and recognition of common algae.
Key words: algae detection and recognition; SIFT-FLANN; HOG-SVM
0""引言(Introduction)
水質(zhì)監(jiān)測是開展水生態(tài)環(huán)境評價、監(jiān)管的基礎(chǔ)性工作之一[1],對淡水水域中常見藻類的檢測與識別,可以有效反映出該地區(qū)的水質(zhì)情況。
目前,藻類的檢測方法都需要大量的人工參與,例如王璐等[2]將統(tǒng)計分布的方法與可變熒光法相結(jié)合,通過可變熒光分布參數(shù)定量分析藻類活體細胞數(shù);鄭琳琳等[3]采用一定規(guī)則的視野計數(shù)法優(yōu)化驗證顯微鏡法對水中藻類計數(shù)及分類的測定,對檢測人員的專業(yè)知識要求高且檢測效率低。因此,國內(nèi)外很多學(xué)者在用計算機代替人工來檢測常見水藻的方向上進行了深入的探索。例如,SAMANTARAY等[4]提出了一種基于深度學(xué)習(xí)的藻類監(jiān)測計算機視覺系統(tǒng);胡圣等[5]采用單階段實時檢測算法YOLOv3,實現(xiàn)對浮游藻類圖像的識別和計數(shù);QIAN等[6]提出多目標(biāo)深度學(xué)習(xí)框架的藻類檢測和分類方法。
雖然上述研究均獲得了一定的成果,但是仍存在同種藻類形態(tài)各異、藻類相似性高、采集圖像中存在氣泡和雜質(zhì)等帶來的檢測與識別準(zhǔn)確率低的問題。因此,本文提出了基于多方法融合的淡水水域常見藻類檢測與識別算法。針對不同的背景顏色,采用不同的預(yù)處理與分割方法,融合形狀與紋理特征,實現(xiàn)了對常見藻類的準(zhǔn)確檢測與識別。
1""算法流程(Algorithm flow chart)
針對藻類數(shù)據(jù)樣本種類繁多且數(shù)據(jù)集分布不均勻的問題,本文提出了基于多方法融合的檢測與識別算法。該算法的具體實現(xiàn)過程如下:首先,對圖像進行預(yù)處理,利用顏色信息識別該圖像的背景顏色,對不同背景顏色的圖像進行去噪與增強操作,增強水藻區(qū)域的視覺效果和表現(xiàn)能力,為后續(xù)圖像感興趣區(qū)域的分割操作做鋪墊;其次,利用不同圖像分割方式得到感興趣的水藻區(qū)域,降低背景區(qū)域信息的干擾,使用形狀參數(shù)、SIFT和HOG進行特征提取,精確地對水藻區(qū)域特征進行表達;最后,融合基于形狀參數(shù)的識別算法、基于FLANN匹配的識別算法、基于SVM的分類算法完成對常見藻類的識別,并對識別結(jié)果進行框選與標(biāo)注。本文算法流程如圖1所示。
1.1""圖像預(yù)處理
本研究使用的藻類顯微鏡下的圖像數(shù)據(jù)集包括紫色、黃色、綠色3種背景顏色,在后續(xù)圖像分割過程中,不同背景顏色的圖像會使用不同的方法進行分割,得到準(zhǔn)確的分割結(jié)果。因此,本研究使用顏色信息識別當(dāng)前圖片的背景顏色,設(shè)當(dāng)前圖像的r、g、b通道中b通道總和為B,r通道總和為R,具體判斷依據(jù)如下。
(1)若滿足B<100 000,則認為該圖像為紫色背景。
(2)若滿足B<30 000且R<19 000,則認為該圖像為黃色背景。
(3)若滿足B<10 000或B<30 000且R>19 000,則認為該圖像為綠色背景。
判斷出輸入圖像的背景顏色后,為達到最佳預(yù)處理效果,本研究針對不同背景顏色的圖像采用不同的預(yù)處理方法,具體預(yù)處理過程如下。
(1)對于紫色背景圖像,藻類與背景顏色差異較大,后續(xù)可利用顏色信息準(zhǔn)確地分割出藻類區(qū)域,因此保持顏色空間不變。
(2)對于黃色背景圖像,因為黃色圖像中的雜質(zhì)較多,所以將彩色圖像轉(zhuǎn)化為灰度圖像,通過高斯低通濾波,可以有效消除圖像中的高頻噪聲對后續(xù)圖像分割的影響。
(3)對于綠色背景圖像,藻類顏色與背景顏色差異較小且圖像中噪聲較少,因此將彩色圖像轉(zhuǎn)化為灰度圖像,然后通過高斯高通濾波增強藻類邊緣信息。
1.2""水藻區(qū)域分割
由于不同背景顏色很難采用相同的圖像分割方法得到準(zhǔn)確的感興趣區(qū)域。因此,本研究根據(jù)上述預(yù)處理的顏色判別結(jié)果,對于不同背景顏色的圖像使用了不同的方式進行圖像分割,通過實驗找到對應(yīng)背景顏色的最佳圖像分割方法。具體分割方案如下。
(1)對于綠色背景圖像,首先采用Canny算子提取水藻的邊緣信息,Canny算子通過調(diào)整高、低閾值可以避免噪點的影響并提高檢測準(zhǔn)確度;其次利用數(shù)學(xué)形態(tài)學(xué)對孔洞進行填補,去除噪聲的干擾。綠色背景算法分割效果如圖2所示。
(2)對于黃色背景圖像,采用分水嶺算法[7]對水藻區(qū)域進行分割,其中高灰度值的像素相當(dāng)于山峰,而低灰度值的像素則是山谷。該算法利用圖像的梯度信息將圖像分割成具有明顯區(qū)域特征的局部極小值區(qū)域。通過對每個像素進行泛洪填充,從不同的局部極小值區(qū)域開始填充像素并分配相應(yīng)的分水嶺標(biāo)簽,最終將整個圖像分為不同的分割區(qū)域。分水嶺算法泛洪效果如圖3所示。
(3)對于紫色背景圖像,由于前景的顏色與背景的顏色信息差異較大,因此本研究采用基于r、g、b三個通道的當(dāng)前像素值rcur、gcur、bcur與先驗背景像素值rbg、gbg、bbg的差值平方和作為二值化的依據(jù),從而完成水藻區(qū)域的分割。其中,先驗背景像素值是根據(jù)圖像特點,取圖像左上Pul、左下Pll、右上Pur和右下Plr的4點求平均值,其計算公式如下:
Pbg=(rbg,gbg,bbg)=(Pul+Pll+Pur+Plr)/4(1)
計算當(dāng)前像素點Pcur=(rcur,gcur,bcur)與先驗背景像素值的差值平方和,具體實現(xiàn)公式如下:
Diff=[(rcur-rbg)2+(gcur-gbg)2+(bcur-bbg)2]2(2)
將Diff與最佳閾值Th進行比較,當(dāng)Diff大于Th時,說明當(dāng)前像素值與背景差異較大,則認為該像素點為前景區(qū)域,將其置為白色;反之,則認為是背景區(qū)域,將其置為黑色。經(jīng)過實驗得出Th=2 700時的分割效果較好。紫色背景算法分割效果如圖4所示。
1.3""水藻特征提取
對上述圖像進行分割得到的感興趣水藻區(qū)域,首先將其大小統(tǒng)一為80×80;其次進行灰度化處理,圖像中水藻區(qū)域的灰度值偏低,背景灰度值偏高,進而采用冪次變換對低灰度級進行拉伸,擴大水藻區(qū)域的灰度范圍,具體公式如下:
s=c×rγ(3)
其中:r為灰度圖像的輸入值;s為經(jīng)過伽馬變換后的灰度輸出值;c為灰度縮放系數(shù);γ為伽馬值,本研究設(shè)定為0.8。對處理后的感興趣區(qū)域提取形狀與紋理特征,本算法分別使用了三種方法進行特征描述:(1)形狀特征,使用直邊界矩形的長寬比、最小面積和圓形度[8]描述;(2)SIFT特征[9];(3)HOG特征[10]。
1.4""基于多方法融合的淡水水域常見水藻檢測與識別
在藻類的檢測與識別問題中,僅使用單一算法無法滿足對所有藻類準(zhǔn)確識別的要求,因此本文提出了一種基于多方法融合的檢測與識別算法。創(chuàng)建投票機制,融合三種不同方法的識別結(jié)果,從而得到最終的識別結(jié)果,以降低單一分類器錯誤分類的影響,提高整個算法的準(zhǔn)確率和魯棒性。
本文采用的三種算法分別為基于形狀參數(shù)的識別算法、基于SIFT-FLANN匹配的識別算法、基于HOG-SVM的分類算法。在整個投票機制中,會對上述三種算法的識別結(jié)果進行統(tǒng)計,當(dāng)票數(shù)達到兩票及以上時,即可確認藻的類別;否則,以基于HOG-SVM的分類結(jié)果為最終檢測結(jié)果。
1.4.1""基于形狀參數(shù)的識別算法
根據(jù)對上述形狀參數(shù)的計算,判斷當(dāng)前圖像的形狀,具體判斷條件如下。
(1)根據(jù)圓形度是否趨近于1,對小環(huán)藻等近似圓形的藻類進行篩選。
(2)根據(jù)圓形度與面積相結(jié)合的方式去除載玻片中未完全排除的小氣泡。
(3)根據(jù)直邊界矩形的長寬比與輪廓面積結(jié)合的方式去除圖像中顯微鏡的細胞計數(shù)板。
具體可依據(jù)每種藻類的形狀調(diào)整上述判斷條件的閾值,從而完成對水藻的粗識別。
1.4.2""基于SIFT-FLANN匹配的識別算法
SIFT算法可提取圖像中的特征點信息,F(xiàn)LANN特征匹配是一種基于近似最近鄰查找?guī)斓奶卣鼽c匹配算法,在本算法中將SIFT與FLANN相結(jié)合,利用樹結(jié)構(gòu)實現(xiàn)高效的特征點匹配。SIFT-FLANN匹配的識別算法能更好地應(yīng)用于大規(guī)模圖像數(shù)據(jù)的特征點提取和匹配。
具體而言,SIFT-FLANN算法首先以樹根作為查詢點,通過貪心法尋找相鄰分支;其次使用與查詢點距離最近的樹葉上的k-1個葉節(jié)點更新查詢點鄰域。FLANN特征匹配算法支持使用不同的距離度量,如歐氏距離、曼哈頓距離等。本研究使用歐氏距離計算FLANN特征匹配算法中查詢點(Query Point)Q與數(shù)據(jù)庫中的特征點(Database Points)P之間的歐氏距離,具體公式如下:
其中:n為特征向量的維數(shù),Q和P中的每個分量Qi和Pi表示特征向量在第i個維度上的分量。
1.4.3""基于HOG-SVM的分類算法
HOG特征可以提取目標(biāo)物體的形狀、邊緣等信息。支持向量機(SVM)是機器學(xué)習(xí)領(lǐng)域中常用且效果最好的一種分類識別算法。相對于神經(jīng)網(wǎng)絡(luò)等分類算法,支持向量機的優(yōu)化目標(biāo)是結(jié)構(gòu)化風(fēng)險最小,而不是經(jīng)驗風(fēng)險最小,使其具有了優(yōu)秀的泛化能力和魯棒特性,避免了過擬合、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇和局部最優(yōu)等問題[11]。因此,將HOG特征和SVM分類器結(jié)合使用[12],可以提高算法的準(zhǔn)確性、魯棒性和可解釋性,并且可以加速訓(xùn)練和分類速度。
在HOG-SVM算法中,將多分類問題分解為多個二分類問題,將每一個類別看作一類,其他類別看作一類,形成多個二分類問題,將得到的多個分類器組合起來,進而對圖像進行分類,最終保留置信度最高的分類結(jié)果作為基于HOG-SVM算法的分類結(jié)果。
2""實驗結(jié)果與分析(Experimental results and analysis)
本實驗采用的硬件環(huán)境為CPU Intel(R) Core(TM) i7-10750H CPU @ 2.60 GHz,開發(fā)環(huán)境為Python 3.6與OpenCV 3.4。數(shù)據(jù)集通過光學(xué)顯微鏡人工目視和拍照觀察等手段采集,包括藍藻門藻屬4個、硅藻門藻屬8個、隱藻門藻屬1個、甲藻門藻屬2個、金藻門藻屬1個、裸藻門藻屬2個、綠藻門藻屬7個,共25種藻類、807張圖像,包含相似藻類、不同背景顏色的藻類圖像、形態(tài)各異的同種藻類,檢測與識別還受氣泡與微生物干擾等多種挑戰(zhàn)。
為了驗證本算法的有效性,將本文算法與對比算法在常見的25種藻類數(shù)據(jù)集上進行了實驗與對比,表1展示了其中10種常見藻類的識別準(zhǔn)確率。在表1中,算法1表示僅用基于形狀參數(shù)的識別算法,算法2表示僅用基于SIFT-FLANN匹配的識別算法,算法3表示僅用基于HOG-SVM的分類算法。
根據(jù)表1可知,對于常見的10種藻類,算法1的平均識別準(zhǔn)確率為57.77%,算法2的平均識別準(zhǔn)確率為76.44%,算法3的平均識別準(zhǔn)確率為86.58%,本文提出的算法的平均識別準(zhǔn)確率為96.07%,高于算法1、算法2與算法3(分別高出38.30%、19.63%、9.49%),其中對魚腥藻、針桿藻的識別準(zhǔn)確率分別達到了100.00%、99.50%。可見,本文提出的算法相較于單一識別算法,能更好地檢測與識別目標(biāo)藻類,也具備更高的準(zhǔn)確率,能滿足用戶對常見藻類的檢測與識別需求。
圖5展示了本文提出的算法對常見藻類的識別結(jié)果。其中:圖5(a)展示了相似藻類的識別效果,可見本文提出的算法在藻類形狀及紋理特征極其相似的情況下,仍然能夠準(zhǔn)確地識別出其種類;圖5(b)展示了包含較多氣泡、沙礫等雜質(zhì)圖像的識別效果;圖5(c)和圖5(d)展示了不同背景顏色下舟形藻的識別效果,可見針對不同背景顏色的藻類圖像,本文提出的算法具有較強的魯棒性;圖5(e)和圖5(f)展示了不同形態(tài)小環(huán)藻的識別效果。通過以上識別效果可知,本文算法針對不同背景顏色的圖像,使用不同的預(yù)處理方法與不同的分割方法可以有效對抗背景顏色和雜質(zhì)的干擾。同時,結(jié)合形狀和紋理能夠較好地描述藻類特征,克服了形態(tài)各異的藻類識別問題和圖像背景顏色不同、氣泡雜質(zhì)干擾的問題,能準(zhǔn)確地檢測與識別出相應(yīng)藻類,算法具有一定的魯棒性。
3""結(jié)論(Conclusion)
本文針對淡水水域藻類檢測與識別準(zhǔn)確率低、魯棒性差等問題,提出了一種基于多方法融合的常見藻類檢測與識別算法。針對不同背景顏色的圖像,使用不同的預(yù)處理與分割方法,有效地提取出藻類區(qū)域,然后結(jié)合形狀參數(shù)、SIFT-FLANN、HOG-SVM共同完成藻類的檢測與識別。經(jīng)實驗驗證,本文提出的算法相比其他單一算法,在平均準(zhǔn)確率上有更優(yōu)異的表現(xiàn),同時能對抗不同程度的檢測與識別干擾,具有更強的魯棒性。
參考文獻(References)
[1] 陳杰,張輝,婁保鋒,等. 船載自動監(jiān)測系統(tǒng)在水質(zhì)監(jiān)測中的應(yīng)用[J]. 中國環(huán)境監(jiān)測,2023,39(2):33-40.
[2] 王璐,殷高方,趙南京,等. 基于可變熒光統(tǒng)計分析法的混合藻類活體細胞數(shù)定量實驗研究[J]. 光學(xué)學(xué)報,2022,42(24):26-34.
[3] 鄭琳琳,李海濱,李明明. 水中藻類計數(shù)及分類的測定(視野計數(shù)法)驗證實驗研究[C]∥中國環(huán)境科學(xué)學(xué)會. 2020中國環(huán)境科學(xué)學(xué)會科學(xué)技術(shù)年會論文集(第三卷). 北京:《中國學(xué)術(shù)期刊(光盤版)》電子雜志社有限公司,2020:296-302.
[4] SAMANTARAY A,YANG B J,DIETZ J E,et al. Algae detection using computer vision and deep learning[DB/OL]. (2018-11-27)[2023-03-27]. https:∥arxiv.org/abs/1811.10847.
[5] 胡圣,劉浩兵,劉輝,等. 基于深度學(xué)習(xí)技術(shù)的藻類智能監(jiān)測系統(tǒng)開發(fā)[J]. 中國環(huán)境監(jiān)測,2022,38(1):200-210.
[6] QIAN P S,ZHAO Z Y,LIU H B,et al. Multi-target deep learning for algal detection and classification[C]∥IEEE. Proceedings of the IEEE: 2020 42nd Annual International Conference of the IEEE Engineering in Medicine amp; Biology Society (EMBC). Piscataway:IEEE,2020:1954-1957.
[7] 黃家才,唐安,張鐸,等. 基于自適應(yīng)標(biāo)記分水嶺算法的茶葉嫩芽圖像分割方法[J]. 南京工程學(xué)院學(xué)報(自然科學(xué)版),2022,20(4):6-11.
[8] 熊保玉. 基于改進Hough變換算法的圓形零件檢測[J]. 食品與機械,2021,37(3):112-115,143.
[9] 李文舉,王子杰,崔柳. 基于多特征融合和改進SIFT的目標(biāo)跟蹤算法[J]. 鄭州大學(xué)學(xué)報(理學(xué)版),2024,56(1):40-46.
[10] GUO S J,LIU F,YUAN X H,et al. HSPOG: an optimized target recognition method based on histogram of spatial pyramid oriented gradients[J]. Tsinghua science and technology,2021,26(4):475-483.
[11] 吳鵬,李穎,劉瑀,等. 基于PCA-SVM的仿刺參產(chǎn)地溯源在線系統(tǒng)研究[J]. 光譜學(xué)與光譜分析,2019,39(5):1604-1609.
[12] SHI X S,TANG Z L,WANG Y H,et al. HOG-SVM impurity detection method for Chinese liquor (Baijiu) based on adaptive GMM fusion frame difference[J]. Foods,2022,11(10):1444.
作者簡介:
張文漪(2001-),女,本科生。研究領(lǐng)域:計算機視覺。
朱"虹(1988-),女,碩士,講師。研究領(lǐng)域:計算機視覺。
聶鳳翔(2002-),男,本科生。研究領(lǐng)域:機器學(xué)習(xí)。
張佳俊(2001-),男,本科生。研究領(lǐng)域:深度學(xué)習(xí)。
收稿日期:2023-05-29