基于YOLOv4的手背靜脈區域檢測

馬彩豐

DOI：10.16660/j.cnki.1674-098x.2103-5640-4258

摘? 要：靜脈穿刺是臨床治療的重要手段之一。為實現人體手背靜脈血管的全自動化穿刺，首先需要實現自動化靜脈穿刺的穿刺點選取模塊;而要實現對穿刺點的選取，則需要能夠自動識別出圖像中手背靜脈區域，從而去除掉非靜脈區域對靜脈分割的干擾。本文對開放式環境下采集的不同大小手背以及不同放置角度下的樣本如何自適應檢測靜脈區域進行研究，提出了基于YOLOv4的手背靜脈區域檢測算法。與以往基于傳統圖形學方法檢測手背靜脈區域相比，本文提出的手背靜脈區域檢測算法對外界環境的抗干擾能力較高，不易受外界光線影響，且對不同放置方式下手背靜脈區域檢測魯棒性較好。

關鍵詞：手背靜脈區域檢測? YOLOv4? 靜脈穿刺? 自適應靜脈區域檢測

中圖分類號：TP391.41? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：1674-098X（2021）05（a）-0158-08

Detection of Dorsal Hand Vein Region Based on YOLOv4

MA Caifeng

（School of Artificial Intelligence and Computer Science， Jiangnan University， Wuxi， Jiangsu Province， 214122? China）

Abstract： Venipuncture is one of the important means of clinical treatment. In order to realize the full automatic puncture of human dorsal hand vein， the puncture point selection module of automatic vein puncture should be realized firstly. In order to select the puncture point， it is necessary to automatically identify the dorsal hand vein area in the image， so as to remove the interference of non-vein area on vein segmentation. This paper studied how to detect the vein area adaptively from samples of different dorsal hand sizes and different placement angles collected in an open environment， and proposed a detection algorithm of the vein area of dorsal hand based on YOLOv4. Compared with the previous detection of dorsal hand vein region based on the traditional graphics method， the proposed detection algorithm of dorsal hand vein region has a higher anti-interference ability to the external environment， is not easy to be affected by the external light， and has a good robustness to the detection of dorsal hand vein region under different placement methods.

Key Words： Dorsal hand vein area detection; YOLOv4; Venipuncture; Adaptive venous area detection

以往靜脈區域檢測的研究往往應用于身份識別認證領域，采集設備為避免外界環境光干擾，通常設計為封閉式結構，對手的放置位置和方式也較為嚴苛。但應用到醫療領域時，考慮真實場景應用中患者移動便捷性，手背靜脈裝置通常置于四周環境無遮擋的自然環境中，且拍攝高度固定。但由于不同患者手的大小不一，放置手背的方式和角度也各不相同，如果仍然采用以往傳統圖形學方法選取手背靜脈區域，則往往使得靜脈呈現不完整，進而導致靜脈提取不完整。對此，本文采用基于YOLOv4的目標檢測網絡框架來訓練手背靜脈區域檢測模型。通過使用手背靜脈區域檢測模型在各種手背樣本圖像中自動識別靜脈區域，來減少外界因素對后續靜脈處理的干擾。

1? 手背圖像采集及處理

1.1 手背圖像采集

為了能夠進行手背靜脈區域的檢測，前提條件是能夠在影像中使得靜脈血管與周圍皮膚能夠有不同的對比。通過查閱了靜脈顯影相關文獻，一些應用研究表明：在波長范圍在700～900nm的“醫學光譜窗”[1]，該范圍內的近紅外光能夠被表皮皮膚反射，而被位于人體淺靜脈內的血紅蛋白吸收，同時對肌肉和骨骼的穿透力比較強，從而使得在影像中人體淺靜脈血管與周圍皮膚有了一定的對比度呈現。自然光源下手背靜脈圖像呈現與紅外光下手背靜脈圖像呈現對比圖如圖1所示，自然光源下普通攝像頭拍攝的人體手背圖像如圖1（a）所示，無法通識別出靜脈血管區域，圖1（b）則是使用近紅外設備拍攝手背圖像，使得圖像中周圍皮膚與淺靜脈血管有了明顯的對比度差異。

以往靜脈區域檢測的研究往往應用于身份識別認證領域，采集圖像設備為避免外界環境光干擾，通常設計為封閉式結構[2-4]，但應用于本文研究應用于實際靜脈穿刺領域，考慮到后續機械穿刺及病患移動活動性等實際操作的便捷性，手背圖像采集與拍攝必須在開放環境下，故采用手背正上方是含有紅外濾波片的工業攝像頭，手掌放置在下方紅外光源上，呈自然握裝置的姿態，來達到拉伸手背皮膚以及手背平面盡量與上方攝像頭平面平行的目的。手背圖像采集樣如圖2所示。

本文手背數據集中手背樣本均為成年男女的手，剔除因拍攝不當導致圖像模糊和沒有靜脈呈現的圖像樣本，共有834張圖像組成本手背數據集，訓練數據集由584張手背圖片組成，測試數據集由250張手背圖片組成。

1.2 手背圖像處理

本課題的研究目標是將手背靜脈區域檢測應用到實際靜脈穿刺領域，結合醫護人員穿刺靜脈選取范圍的專家經驗，大拇指側和手腕附近以及掌指骨節處往往是常規穿刺操作中盡量避開的區域，也是靜脈檢測區域盡量避免的范圍。這3處區域范圍不做常規靜脈穿刺點選取選擇的原因有：大拇指側區域是由于患者疼痛感較強;手腕附近區域穿刺往往影響患者手的活動性，往往會出現跑針鼓包等現象;掌指骨節處靜脈則是不易操作者固定穿刺針頭。因此，本文為實現根據不同人手放置自動檢測靜脈區域，制定手背數據集靜脈區域標注規則為手背圖像掌指骨節以上、手腕以下，二拇指到小拇指范圍作為靜脈區域選取。

本文數據集靜脈區域標注采用LabelImg軟件對手背圖像靜脈區域進行標注，具體操作流程如下：使用LabelImg軟件打開樣本圖片，軟件運行界面如圖3所示：根據靜脈呈現，和手背數據集靜脈區域標注規則創建矩形框，并命名為veinarea，每張圖像生成靜脈區域的xml文件，生成的xml文件如圖4所示，手背靜脈區域標注示例圖如圖5所示。

2? YOLOv4網絡模型結構

對于近紅外手背圖像檢測靜脈區域而言，具有目標單一、靜脈區域居主要位置、背景相對單一的特點，并且考慮到算法后期由于要用于實際產品中，在做靜脈區域檢測模塊時，要求目標檢測精度要高，檢測速度快，網絡模型在一般的硬件設備上即可以運行，且能夠被并行優化。而這些需求，正是YOLOv4模型提出的主要解決方向。而以往傳統圖形學方法[5-7]選取手背靜脈區域，則往往使得靜脈呈現不完整，進而導致靜脈提取不完整。因此本文將YOLOv4模型應用在手背靜脈區域檢測方向。

YOLOv4[8]是2020年AlexeyAB等人在YOLOv3[9]的基礎上提出的目標檢測模型。在并行計算上對神經網絡進行優化，加快模型的運算速度，使得模型可以在常規GPU進行訓練和檢測是YOLOv4模型的設計初衷，與YOLOv3相比，模型的檢測精度大幅度提高了。在YOLOv4的內容中對目標檢測模型的改進方向進行了梳理，分為Bag of freebies（BoF）和Bag of Specials（BoS）。BoS指只增加訓練成本或者改變訓練策略的方法，目標檢測中常用的符合BoF定義的方法有數據增強。BoF則是指通過增加少量網絡的推理成本但能顯著提高算法精度的模塊和后處理方法。目標檢測方法中常用的符合BoS定義的方法有引入注意力機制、擴大感受野（SPP）、增強特征之間的交流（如FPN）等。YOLOv4在BoS方向上使用了Mosaic數據增強、cmBN、和SAT自對抗訓練，在BoF方向上使用了SPP[10]（Spatial pyramid pooling）與PAN[11]（Path Aggregation Network）網絡結構相結合，來進一步增強主干網絡提取的特征。特征提取主干網絡結構上，YOLOv4利用了CSPNet[12]網絡結構的思想在YOLOv3使用的主干網絡DarkNet-53基礎上進行改造，命名網絡結構為CSPDarkNet53。其優勢在于：一方面既增強卷積神經網絡的學習能力，又使得網絡結構在輕量化的同時保持準確性;另一方面降低了計算瓶頸，減少了內存成本的開銷。YOLOv4模型結構框架如如圖6所示。

2.1 主干特征提取網絡

YOLOv4網絡模型主干特征提取網絡使用CSPDarkNet53網絡，網絡框架結構如圖7所示。

即聯合CSPNet[12]處理思想在DarkNet-53網絡結構上做調整，具體做法是沿用DarkNet-53網絡的濾波器尺寸和整體結構，在每組Residual block上加上一個Cross Stage Partial結構，并且取消了Bottleneck的結構，使得網絡參數減少，減少計算量，模型更易訓練。

2.2 損失函數

好的目標回歸函數應該考慮3個重要的幾何因素：重疊面積、中心點距離、長寬比。CIOU_Loss的提出正是為了解決以上3個問題。YOLOv4網絡模型使用CIOU_Loss作為目標框損失函數。如圖8所示，紅色框代表目標真實框區域，綠色框代表預測框區域，紫色區域代表目標預測框與目標真實框的交集，藍色框代表目標框與預測框的并集，則與計算如公式（1），公式（2）所示：

其中，IOU為預測框與真實目標框的交并比，是預測框與目標框中心點之間的歐幾里得距離，是包含預測框與目標框的最小矩形的對角線長度，ν是衡量長寬比一致性的參數，計算公式為：

其中，、是真實目標框的寬與長，、是預測框的寬與長。

2.3 激活函數

激活函數是為了提高網絡的學習能力，提升梯度的傳遞效率。CNN常用的激活函數也在不斷地發展，早期網絡常用的有ReLU、LeakyReLU、softplus等，后來又有了Swish、Mish等。YOLOv4在主干特征提取網絡部分均采用Mish激活函數，Mish激活函數作為一種自正則的非單調神經激活函數，平滑的激活函數允許更好的信息深入神經網絡，從而得到更好的準確性和泛化，函數圖像如圖9所示。Mish激活函數公式為：

2.4 Mosaic數據增強

YOLOv4網絡模型中，提出了Mosaic數據增強。如圖10所示，Mosaic數據增強采用4張圖片，隨機縮放，再隨機分布然后進行拼接成一張圖像，不僅豐富了數據集，而且隨機縮放產生的更多物體角度呈現，更提高了網絡模型的魯棒性。與傳統方法對數據集樣本進行縮放裁剪等數據增強操作相比，Mosaic數據增強訓練時，可以直接在批量標準化過程中計算每一層4個圖像的激活統計，從而減小了對mini-batch大小的要求，也就是一張圖像中計算4張圖片的目標，即同時對幾張樣本圖像做出參數調整值，進行網絡參數的調整。

3? 實驗結果及其分析

3.1 評價指標

3.1.1 Precision & Recall & F1-score

令手背靜脈檢測區域類別名為veinarea。若檢測為veinarea類別與真實類別veinarea相符，則認為是True Positive（TP）;若檢測為veinarea類別但真實類別不為veinarea，則認為是False Positive（FP）;若檢測類別不是veinarea類別但真實類別為veinarea，則認為是False Negative（FN）;若檢測類別不是veinarea類別真實類別也不是veinarea，則認為是True Negative（TN）。

precision（精確率）和recall（召回率）以及F1-score的計算如下：

3.1.2 AP（Average Precision）

由于本文實驗數據集只有手背靜脈區域一個檢測目標，故采用AP（Average Precision）來判斷靜脈檢測區域結果是否正確。設定固定閾值T，當靜脈區域檢測結果的IOU值大于等于閾值T，則判定檢測結果為正確檢測區域;若手背靜脈區域檢測結果的IOU值小于閾值T，則判斷為錯誤檢測。令某張手背采集圖像中，真實手背靜脈區域框選為個，令手背靜脈區域正確檢測的次數為，手背測試集中含有N個樣本，且每張樣本均含有手背靜脈區域，則AP的計算公式為：

3.2 實驗結果及分析

利用1.2節構建的手背靜脈區域檢測數據集，使用YOLOv4網絡模型進行訓練和檢測。設置手背靜脈區域檢測的置信度閾值為0.25，IOU非極大值抑制閾值為0.5。根據實驗室電腦Windows64位操作系統，8GB（CPU），GeForce GTX 1060 4GB（GPU）這些硬件條件，設置圖像長寬為320×320像素，batch size為1，學習率值為0.001，動量momentum值為0.9，訓練次數為3000，權重衰減weight decay為0.0005。利用自行構建的手背靜脈區域數據集和以上相關設置參數值，使用YOLOv4對手背靜脈區域檢測進行訓練。如圖11所示，手背靜脈區域檢測模型訓練過程中的loss值隨著迭代次數不斷下降，并在loss值為1.5～2之間，loss曲線趨于平緩。

我們對訓練得到的手背靜脈區域檢測模型，在測試集上進行測試。如表1所示，我們設置不同IOU_thresh的值，來對比模型的檢測精度。由表可知，當IOU_thresh低于0.7的時候，precision、recall、F1-score、AP的值均在95%以上，在IOU_thresh值為0.75時，precision、recall、F1-score、AP的值均在90%左右。證明了YOLOv4訓練得到的手背靜脈區域檢測模型對不同手背樣本能夠較為準確地自適應檢測手背靜脈區域。

如圖12所示，如圖12（a）、圖12（c）為手背靜脈區域檢測模型框選的靜脈區域圖像中其，紫色框選區域代表檢測出的手背靜脈區域，左上角veinarea表示類別;圖12（b）、圖12（d）為紅色框為人工標注手背靜脈區域圖像。由圖像可知，本文訓練得到的手背靜脈區域檢測模型能夠較高精度地根據不同大小手以及不同擺放角度，自適應檢測出手背靜脈區域。

4? 結語

為實現靜脈穿刺點自動選取任務，如何根據不同人手放置角度和不同手背大小的圖像，自適應進行靜脈區域檢測是其中的一個重要挑戰。本文提出的使用采集標注手背靜脈區域數據集和YOLOv4網絡模型，訓練手背靜脈區域檢測模型，通過模型自適應檢測不同樣本的手背靜脈區域。在本課題組采集的手背數據集上的實驗結果顯示，本文提出的方法能夠有效地檢測手背靜脈區域，從而為下一步穿刺點選取做了重要鋪墊。

參考文獻

[1] Balter Max L，Chen Alvin I，Maguire Timothy J，et al.The System Design and Evaluation of a 7-DOF Image-Guided Venipuncture Robot.[J].IEEE transactions on robotics ： a publication of the IEEE Robotics and Automation Society，2015，31（4）：1044-1045.

[2] 張成浩.基于手背靜脈的身份識別技術研究[D].哈爾濱：哈爾濱理工大學，2017.

[3] 許明.基于手背靜脈血管的身份識別技術研究[D].哈爾濱：哈爾濱工業大學，2008.

[4] 王賀.基于特征融合的手背靜脈識別算法研究[D].長春：吉林大學，2017.

[5] 桂青.多特征點融合的手背靜脈身份識別算法研究[D].杭州：浙江大學，2020.

[6] 呂佩卓，賴聲禮，陳佳陽.一種自適應的手背靜脈區域定位算法[J].微計算機信息，2008，24（21）：209-210.

[7] Lin C L，Fan K C.Biometric verification using thermal images of palm-dorsa vein patterns[J]. IEEE Transactions on Circuits & Systems for Video Technology，2004，14（2）：199-213.

[8] Bochkovskiy A，Wang C Y，Liao H Y M. YOLOv4： Optimal Speed and Accuracy of Object Detection[J].2020：1-8.

[9] Redmon J， Farhadi A.YOLOv3： An Incremental Improvement[J].arXiv e-prints，2018.

[10] He K ， Zhang X ， Ren S ， et al.Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2015.

[11] Yang J ， Fu X ， Hu Y ， et al.PanNet： A Deep Network Architecture for Pan-Sharpening[C]//2017 IEEE International Conference on Computer Vision （ICCV）. IEEE，2017.

[12] Wang C Y， Liao H Y M， Wu Y H， et al. CSPNet： A New Backbone that can Enhance Learning Capability of CNN[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.IEEE，2020.