基于卡爾曼濾波多目標追蹤的家用精子活力檢測算法研究與驗證

朱燕飛 王勇偉 李傳江 張崇明

摘??要：?針對傳統精液分析方法存在的主觀性差異、操作繁瑣和不適合便攜式家用檢測等問題，研究并驗證了一種基于卡爾曼濾波多目標追蹤技術的精子活力檢測系統算法. 首先，通過疊加平均法，獲取靜態精子數量，根據三幀差法獲取運動精子質心位置；然后，使用卡爾曼多目標追蹤方法繪制運動目標軌跡，再根據篩選條件獲取運動精子數量；最后，綜合靜態與運動精子數量評價精子活力. 通過對實際采集的7組樣本圖像進行分析，研究結果表明：該系統所檢測精子的活力值與人工檢測的活力值相差較小，基本滿足了家用精子活力檢測的需求.

關鍵詞：?精子活力檢測；?卡爾曼濾波；?多目標追蹤

中圖分類號：?TP 183 ???文獻標志碼：?A ???文章編號：?1000-5137（2024）02-0283-08

Research and validation of household sperm motility detection algorithm based on Kalman filter multi-target tracking

ZHU Yanfei，?WANG Yongwei，?LI Chuanjiang^*，?ZHANG Chongming

（College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 201418，China）

Abstract：?In order to solve the problems of subjective differences，?cumbersome operation and discommodious portable household detection of traditional semen analysis methods，?a sperm motility detection system algorithm was studied and verified based on Kalman filter multi-target tracking technology in this paper. Firstly，?the number of static sperm was obtained through the superposition average method. The centroid position of the moving sperm was obtained according to the three frame difference method. Secondly，?the Kalman multi-target tracking method was used to draw the trajectory of the moving target，?obtaining the number of moving sperm according to the filtering conditions. Finally，?the number of static and moving sperm was combined to yield sperm motility. Through the analysis of the actual seven groups of sample images，?the results showed that the sperm motility value detected by the system was less different from that detected manually，?which basically satisfied the requirement of household sperm motility detection.

Key words：?sperm motility detection；?Kalman filter；?multi-target tracking

0 ?引言

精子活力檢測是指檢測精子樣本中活動精子的百分比. 在現代醫學和生殖研究中，活力檢測具有重要地位，是評估男性生育能力和協助生育治療不可或缺的方式^［1］. 傳統精液分析方法主要依賴于經驗豐富的技術專家，通過高倍顯微鏡下用肉眼觀察樣本運動狀態進行評估，但會因專家經驗差異而影響檢測結果的客觀性^［2］.

計算機輔助精子分析（CASA）系統將攝像機與顯微鏡相連拍攝樣本，使用圖像處理方法對精子目標進行追蹤與分析，能有效降低人工檢測誤差^［3］. 由于缺乏統一的標準和規范，不同廠家、不同參數的CASA系統的檢測結果之間存在難以進行有效比較的問題^［4］. 另外，CASA系統的設備通常由于體積龐大、操作繁瑣且價格高昂等原因難以廣泛普及.

家用精子檢測設備能夠進行簡便、快速、準確的精子質量檢測，這一特點有助于及時發現生育問題，對生育障礙的早期發現和治療等方面都具有積極的意義. 精子活力分析技術核心包括精子目標檢測和運動跟蹤. 在傳統的精子運動目標跟蹤算法中，首先對運動中的精子目標進行提取，隨后通過關聯匹配方法繪制目標的軌跡. 劉廣宇^［5］使用背景減除法提取運動目標，通過最近鄰域法繪制活性精子目標的軌跡.李丹^［6］采用卡爾曼濾波技術對常用的核相關濾波跟蹤算法進行改進，從而實現目標定位，再結合交并比匹配關聯法，得到活動目標軌跡.URBANO等^［7］通過基于雷達跟蹤算法的圖像處理方法，實現自動化檢測與跟蹤人類精子細胞的游動路徑.HESAR等^［8］使用改進的高斯混合概率假設密度（GM-PHD）濾波器跟蹤多個精子，并獲取精子軌跡. 王碩^［9］通過改進光流法實現精子活力分析，采用Lucas-Kanade算法和Harris角點檢測算法提取單個精子的運動軌跡，并在此基礎上提出一種基于橢圓擬合定量評價方法來描述精子運動特性. QI^［10］提出了一種基于高斯混合模型檢測運動目標，使用背景減除法提取靜態目標，從而獲得精子活力.

隨著人工智能的不斷發展，深度學習逐漸應用于活力檢測. 針對精子目標檢測，研究人員采用了多種深度學習方法，如深度學習single shot multibox detector（SSD）目標檢測框架^［11］、深度卷積神經網絡（DCNN）^［12］、區域卷積神經網絡（R-CNN）^［13］、改進深度學習網絡you look only once （YOLO）?v5^［14］、RetinaNet目標檢測器^［15］等. 同時，精子運動狀態方法也多種多樣，如GOH等^［16］使用三維卷積神經網絡（3DCNN）進行精子運動預測；HIDAYATULLAH等^［17］提出了精子運動的平均角度和跟蹤網格來預測未被檢測到的精子位置，使用公牛精子漸進運動分類器對精子活力進行分類；HAUGEN等^［18］通過訓練DCNN預測進行性運動、非進行性運動和不運動精子.

為滿足便攜式家用檢測系統對采樣地點限制要求較低和檢測便捷性的需求較高，本研究采用卡爾曼濾波多目標追蹤技術繪制精子的運動軌跡，其優勢在于能有效處理存在噪聲、遮擋以及多目標精子的復雜情況，確保了精確和穩定的跟蹤結果. 同時，卡爾曼濾波多目標追蹤算法具有良好的實時性和計算效率，滿足了實際應用的要求. 此外，該算法的可擴展性為未來的研究和技術創新提供了可能，為精子質量檢測領域的進步和創新做出了積極的貢獻.

1 ?卡爾曼濾波多目標追蹤算法

由于樣本視頻中的精子目標通常非常微小，會導致算法定位出現誤差，甚至無法獲得確切位置的問題，這對檢測精確性構成了重大挑戰. 另外，樣本視頻包含兩種不同狀態的精子目標：連續運動的動態目標和位置相對不變的靜態目標. 同時，分析這兩種目標狀態不僅會顯著增加系統的計算負擔，還可能對目標追蹤的結果產生負面影響. 因此，采用將靜態和動態目標分別分析的策略，以確保精子活力分析的準確性.

1.1 靜態精子目標提取

由于樣本視頻中存在噪聲和連續拍攝幀之間目標的位置變化，為了增強目標特征，并降低目標分割的難度，選擇采用疊加平均法來提取靜態目標，如圖1所示. 疊加平均法將視頻中的每一幀添加到同一張圖片中，將該圖片除以幀數獲得幀平均圖，如圖2（a）所示. 通過自適應閾值獲取目標輪廓，如圖2（b）所示. 通過形態學操作去除不必要的噪聲并連接目標區域，如圖2（c）所示. 通過經驗篩選并繪制符合特定面積范圍的輪廓，標記為靜態目標，如圖2（d）所示.

1.2 動態目標提取

三幀差法能有效減少背景噪聲的影響，對小幅度運動目標更為敏感，同時計算效率較高. 該方法能夠區分當前幀與前幾幀之間的差異，突顯連續幀之間發生變化的區域，用于標明動態目標，如圖3所示. 經過灰度化和自適應閾值處理差異圖像，以有效分離靜態背景和動態目標，如圖4（a）所示. 將差異圖像形態學操作，以去除噪聲并連接目標區域，如圖4（b）所示. 通過檢測和提取二值圖像中的輪廓，獲取動態目標的形狀和位置信息. 經過篩選，保留適當大小的動態目標.在輸出圖像中繪制符合條件的輪廓，實現了對動態目標的標注，如圖4（c）所示.

1.3 卡爾曼多目標追蹤

對于目標追蹤，大多采用最近鄰域法，將每個目標與最近的測量值相關聯，然而在目標濃度較高或被遮擋的情況下，極易出現誤關聯問題. 卡爾曼濾波方法通過狀態估計，借助模型的適應性，能夠有效地處理這類問題，提高多目標追蹤的準確性和可靠性.

本研究的多目標追蹤基于單目標追蹤的基礎上實現.首先，系統根據首幀檢測到的運動目標數量來初始化多個卡爾曼濾波器，其中每個卡爾曼濾波器代表一個精子的跟蹤目標. 這些濾波器通過維護狀態和協方差矩陣，用以預測每個精子的下一個狀態. 同時，估計精子的位置和速度. 對于每個精子運動目標，其t時刻的狀態方程與觀測方程可以分別表示為：

， （1）

， （2）

其中，是精子目標的狀態變量；是精子目標的觀測變量；A是狀態轉移矩陣；B是控制輸入矩陣為系統控制量為狀態觀測矩陣為過程噪聲為測量噪聲.精子目標的狀態變量主要由動態精子的位置目標和兩個方向的運動速度共同組成，初始化時認定速度為0，即：

（3）

由于載玻片厚度很低，默認精子為二維平面運動，精子的運動公式為：

， （4）

， （5）

其中，在本系統中認定為相鄰幀的差值，且1，所以狀態方程可以表示為矩陣形式：

. （6）

由于在計數板內沒有外力影響，可以近似認定為認定精子不作加速運動，即=0，因此狀態轉移方程可簡化為：

， （7）

其中，狀態轉移矩陣

. （8）

而精子觀測值為通過幀差法獲得精子的質心位置，即：

， （9）

所以觀測方程

， （10）

精子目標的狀態預測方程為：

， （11）

， （12）

其中為狀態預測值為先驗誤差矩陣為后驗誤差矩陣；Q為狀態噪聲協方差矩陣. 更新過程如下：

， （13）

， （14）

， （15）

其中，R為觀測噪聲協方差矩陣，且Q，R均為常數. 由于觀測噪聲存在形態學操作，使觀測誤差較大，為體現與狀態噪聲的對比，設置觀測噪聲矩陣形式為：

， （16）

設置狀態噪聲矩陣形式為常數

. （17）

該算法在一個精子的運動過程中，每一幀變化時，使用其所在的卡爾曼濾波器預測出精子下一幀可能出現的位置，查看在預測位置周圍是否存在檢測到的目標運動精子，如果存在，則將該位置作為真實值對卡爾曼濾波器的預測值進行更新. 同時，記錄每個精子的狀態歷史，以實現后續軌跡的繪制. 為了提高準確率，當運動目標首次被檢測到時，且尚未被系統跟蹤，則新初始化一個卡爾曼濾波器，用于追蹤該精子. 同時，如果一個精子在連續多幀中均未被檢測到真實值，系統自動停止追蹤該目標. 最后，對各個追蹤器的追蹤狀態進行分析，若追蹤的次數小于整個視頻片段幀數的95%，則認定該精子在整個樣本視頻未處于運動狀態，定義為非動態精子. 算法流程圖如圖5所示，示例跟蹤結果如圖6所示.

2 ?實驗結果

本實驗數據均通過便攜式設備實地采集于某醫院. 采集樣本相機為HD1313 USB免驅攝像頭，視頻幀率為30 幀·s^-1，圖像分辨率為1 280×720 pixels. 為保證檢測精度，根據樣本編號分別進行系統檢測與人工檢測，實際檢測結果如表1所示.

對比系統檢測值與人工檢測值，結果表明：盡管在精子總數和靜止數量方面存在一些誤差，但在精子活力和活動數量方面，系統檢測表現良好. 誤差范圍保持在合理的范圍內，且平均誤差不超過10%，已基本滿足家用設備的檢測需求.

3 ?結語

針對精子活力檢測領域便攜性不足的問題，研究并驗證了一種基于卡爾曼濾波多目標追蹤的家用精子活力檢測系統算法. 針對精子目標較小且目標追蹤易丟失的問題，利用疊加平均法、三幀差法和卡爾曼濾波等多重技術，實現了對精子活力的自動化檢測，為男性精子檢測領域帶來了便捷、準確的解決方案，為生殖醫學和生育研究提供了有力支持. 未來的研究可以引入形態分析，以實現更全面的精子質量評估，從而進一步提高系統性能和實用性.

參考文獻：

［1］ 盧文紅，?蔡靖，?孫瑩璞，?等. 精液分析質量控制方法專家共識?［J］. 生殖醫學雜志，?2023，32（1）：1-8.

LU W H，?CAI J，?SUN Y P，?et al. Expert consensus on semen analysis quality control methods ［J］. Journal of Reproductive Medicine，?2023，32（1）：1-8.

［2］ 朱寬峰. 精液質量分析系統的應用技巧?［J］.中國畜牧業，?2022（11）：120-122.

ZHU K F. Application techniques of semen quality analysis system ［J］. China Animal Industry，?2022（11）：120-122.

［3］ ZHAO W，?MA P，?LI C.A survey of semen quality evaluation in microscopic videos using computer assisted sperm analysis ［J/OL］. arXiv：2202.07820，?2022 ［2023-10-10］. https：// arxiv.org/abs/2202.07820v2.

［4］ 汪成，?范舒舒，?張思. 男科實驗室計算機輔助精液分析系統的應用及質量控制?［J］. 中國醫學創新，?2020，17（13）：143-148.

WANG C，?FAN S S，?ZHANG S. Application and quality control of computer-assisted semen analysis system in andrology laboratory ［J］. Chinese Medical Innovations，?2020，17（13）：143-148.

［5］ 劉廣宇. 基于OpenCV的精子運動軌跡檢測系統的設計與實現?［D］. 濟南：?山東大學，?2018.

LIU G Y. Design and implementation of sperm motion trajectory detection system based on OpenCV ［D］. Jinan：?Shandong University，?2018.

［6］ 李丹. 基于計算機視覺的精子活性檢測技術研究?［D］. 上海：?上海師范大學，?2020.

LI D. Research on sperm vitality detection technology based on computer vision ［D］. Shanghai：?Shanghai Normal University，?2020.

［7］ URBANO L F，?MASSON P，?VERMILYEA M.Automatic tracking and motility analysis of human sperm in time-lapse images ［J］.IEEE Transactions on Medical Imaging，?2017，36（3）：792-801.

［8］ HESAR H D，ABRISHAMI M H，SAFARI A.Multiple sperm tracking in microscopic videos using modified GM-PHD filter ［J］. Machine Vision and Applications，?2018，29（3）：433-451.

［9］ 王碩. 基于軌跡橢圓擬合的CNN精子活力評估模型?［D］. 天津：?天津大學，?2023.

WANG S. CNN sperm vitality assessment model based on trajectory ellipse fitting ［D］. Tianjin：?Tianjin University，?2023.

［10］ QI S，?NIE T，?LI Q.A sperm cell tracking recognition and classification method ［C］// 2019 International Conference on Systems，?Signals and Image Processing. Osijek：?IEEEE，?2019：163-167.

［11］ 錢義飛. 基于計算機視覺的多目標檢測與追蹤?［D］. 合肥：?安徽醫科大學，?2023.

QIAN Y F. Multi-object detection and tracking based on computer vision ［D］. Hefei：?Anhui Medical University，?2023.

［12］ DEWAN K，?DASTIDAR T R，?AHMAD M.Estimation of sperm concentration and total motility from microscopic videos of human semen samples ［C］// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Salt Lake City：?IEEE，?2018：2380-2387.

［13］ LEE R，?WITHERSPOON L，?MA H.Deep learning-based automated sperm identification for non-obstructive azoospermia patients ［J］. Journal of Urology，?2021，206：E672-E673.

［14］ 汪濤. 基于計算機輔助的精子活力分析研究?［D］. 合肥：?安徽醫科大學，?2023.

WANG T. Research on sperm vitality analysis based on computer assistance ［D］. Hefei：?Anhui Medical University，?2023.

［15］ MOHAMMADI M R，?RAHIMZADEH M，?ATTAR A. Sperm detection and tracking in phase-contrast microscopy image sequences usingdeep learning and modified CSR-DCF ［J/OL］. arXiv：2002.04034，?2020 ［2023-12-01］.DOI：10.48550/arXiv.2002.04034.

［16］ GOH V H，?ASARI M A B，?ISMAIL L H B. 3D convolutional neural networks for sperm motility prediction ［C］// 2022 2nd International Conference on Intelligent Cybernetics Technology & Applications. Bandung：?IEEE，?2022：174-179.

［17］ HIDAYATULLAH P，?MENGKO T L E R，?MUNIR R. Bull sperm tracking and machine learning-based motility classification ［J］. IEEE Access，?2021，9：61159-61170.

［18］ HAUGEN T B，?WITCZAK O，?HICKS S A. Sperm motility assessed by deep convolutional neural networks into WHO categories ［J］. Scientific Reports，?2023，13（1）：14777.

（責任編輯：包震宇，郁慧）

DOI：?10.3969/J.ISSN.1000-5137.2024.02.022

收稿日期：?2023-12-25

作者簡介：?朱燕飛（1988—），?男，?副教授，?主要從事集員估計與控制、人機交互、機器人技術、多智能體控制等方面的研究. E-mail：?yfzhu@shnu.edu.cn

* 通信作者：?李傳江（1978—），?男，?教授，?主要從事機器人技術、驅動與控制、人機交互等方面的研究. E-mail：?licj@shnu.edu.cn

引用格式：?朱燕飛，?王勇偉，?李傳江，?等. 基于卡爾曼濾波多目標追蹤的家用精子活力檢測算法研究與驗證?［J］. 上海師范大學學報?（自然科學版中英文），?2024，53（2）：283?290.

Citation format：?ZHU Y F，?WANG Y W，?LI C J，?et al. Research and validation of household sperm motility detection algorithm based on Kalman filter multi-target tracking ［J］. Journal of Shanghai Normal University （Natural Sciences），?2024，53（2）：283?290.