基于雙目立體視覺的時空域脈搏信號檢測

楊力銘， 張愛華， 林冬梅, 王琦， 劉公才， 朱亮

(1.常州工學院 電氣與光電工程學院，江蘇 常州 213032；2.蘭州理工大學 電氣工程與信息工程學院，甘肅 蘭州 730050；2.蘭州理工大學 材料科學與工程學院，甘肅 蘭州 730050)

基于雙目立體視覺的時空域脈搏信號檢測

楊力銘， 張愛華， 林冬梅, 王琦， 劉公才， 朱亮

(1.常州工學院 電氣與光電工程學院，江蘇 常州 213032；2.蘭州理工大學 電氣工程與信息工程學院，甘肅 蘭州 730050；2.蘭州理工大學 材料科學與工程學院，甘肅 蘭州 730050)

模擬中醫診脈方式采集和量化描述時空域脈搏信號是促進脈診客觀化的重要途徑。本文研制了具有氣囊式仿指柔性探頭的新型脈搏檢測裝置模擬手指診脈。探頭底部柔性接觸膜隨脈搏發生形變，兩部相機同步拍攝接觸膜圖像。接觸膜上印制網格狀結構線，采用脊線擬合相交法檢測網格線交點的圖像坐標，利用雙目立體視覺原理計算交點的三維坐標，通過曲面擬合重構接觸膜形貌，獲得含有時空域信號的三維脈圖序列，從中提取的脈搏振幅0.353±0.032 mm。并且基于時空域脈搏信號提出七種脈象因素量化指標。

脈搏檢測；柔性探頭；雙目立體視覺；三維脈圖；時空域；脈象；信號檢測

脈診是傳統中醫基本診斷方法之一。醫者通過手指感觸病人橈動脈脈搏來辨識脈象，評價其健康狀況。然而，脈診過于依賴醫生的主觀經驗，限制了中醫的傳承與發展。借助現代傳感器與檢測技術提升脈搏檢測的客觀性和準確性成為亟待解決的問題。

常見的脈搏檢測裝置按照檢測原理可分為五類：第一類是直接測量脈搏搏動力變化的壓電傳感器[1-2]；第二類是袖帶式檢測裝置[3-4]，將袖帶緊附在手腕上，檢測袖帶內壓變化獲得脈搏波形；第三類是光電脈搏傳感器[5-6]，根據血管透光率檢測血管容積變化，以此描述脈搏波形；第四類是基于超聲多普勒技術的檢測裝置[7]；第五類是利用聲學原理拾取脈搏引發的微弱振動的所謂傳聲器[8]。壓電傳感器、光電傳感器、袖帶式檢測裝置和傳聲器僅能獲取時域信號。超聲多普勒技術可探測脈管時空域運動，但技術復雜成本較高。Yoo等[9]將6個壓電傳感單元封裝在一起，采集脈寬方向上六路脈搏信號。Chu等[10]模仿三部九侯取脈方式研制了三探頭檢測裝置。Peng等[11]用光刻技術在柔性基板上雕刻5×5個感應電極，制成傳感器陣列。這些傳感器陣列可獲取時空域脈搏信號，但受傳感單元密度限制，其空間分辨率有不高。

本文在前期工作[12]的基礎上研制了一種具有氣囊式柔性探頭、切脈壓力可調節、采用雙目視覺測量的時空域脈搏信號檢測系統。研究了三維脈圖構建方法，并且初步探討了脈象要素的量化指標。

1 檢測系統

1.1 總體結構

檢測系統主要由脈搏圖像采集部分、檢測參數采集與調節部分構成。圖1是檢測系統總體結構框圖。相機選用Basler acA1300-30gm型高速工業黑白相機，配備Computar M0814-MP定焦鏡頭。北京雙諾公司生產的MP425數據采集模塊發出同步信號，觸發兩部相機同時采集接觸膜圖像[13]，圖像數據通過千兆以太網卡進行高速轉存。圖2是檢測裝置實物圖。

圖1 系統總體結構框圖Fig.1 System structure diagram

圖2 檢測裝置Fig.2 Detecting appliance

1.2 氣囊式柔性探頭

氣囊式柔性探頭是檢測裝置的關鍵部件，圖3(a)和(b)分別顯示了探頭及其拆解狀態。探頭由缸體、環形蓋、透光片、密封圈構成。丁腈橡膠制成的接觸膜固定于探頭底部，膜厚0.5 mm。探頭內壓增大促使接觸膜膨脹，其外部觸感和力學性質與手指指腹近似。接觸膜上印有網格狀結構線，見圖3(c)。結構線交點將作為雙目立體視覺三維測量的標識點。

圖3 探頭Fig.3 Probe structure

2 三維脈圖構建方法

三維脈圖是脈搏信號空間量化形式，反映脈搏強度的指面分布狀態。脈搏強度越大接觸膜變形越大，利用接觸膜形變描述脈搏強度是構建三維脈圖的新方式。圖4是利用雙目立體視覺測量接觸膜形貌、構建三維脈圖的流程。采用張正友標定法獲得兩部相機的焦距和空間位置關系[14]。一般將兩部相機分別稱為左相機和右相機。左右相機的位置關系用平移矩陣T和旋轉矩陣R表示，左右相機焦距分別表示為fl和fr。通過圖像處理技術獲得網格交點的圖像坐標，進而根據雙目立體視覺原理得到交點的三維坐標，最終重構生成三維脈圖。

2.1 網格圖像交點檢測

微距拍攝的網格線有寬度，其交點并非具體的點，而是縱橫兩段網格相交區域的中心位置，屬于廣義交點，一般的特征點檢測方法難以奏效。提出一種基于脊線的交點檢測新方法。首先將原灰度圖轉化為二值圖，提取網格圖像骨架線，基于骨架線估計出網格結構參數，根據結構參數將圖像劃分成若干檢測區域，每個區域僅包含一個待檢交點。在每個區域內提取網格線的脊線，對脊線進行擬合，擬合線交點即為網格線的廣義交點。

圖4 三維脈圖構建流程Fig.4 Flowchart of 3D pulse mapping construction

骨架線是一種與原圖像具有相同連通性和拓撲結構的線性幾何體，較常使用的中軸骨架線模型定義為

d8(q,Β)

(1)

式中：d8(·)表示八鄰域棋盤距離，p(x,y)和q(s,t)為像素點，B表示像素點的集合。像素點之間的棋盤距離表示為

d8(p,q)=max(|x-s|,|y-t|)

(2)

像素點與點集之間的棋盤距離表示為

d8(p,B)=inf{d8(p,z)|z∈B}

(3)

式中：inf表示上確界。滿足式(1)的點p的集合構成網格圖像的骨架線。根據上述定義提取的網格圖像股骨架線如圖5所示。

圖5 二值圖及其骨架線Fig.5 Binary image and Skeleton lines

通過下式可提取骨架線交點：

I′=I*k5I

(4)

式中：I表示骨架的二值模式，k為3×3全1掩膜，I′中值大于3的單元組成的聯通區域質心即為骨架交點。

檢測區域中心可由骨架線交點確定，檢測區域大小則要根據網格線寬度、方向和網眼大小確定。利用Canny算子進行邊緣檢測，再用Hough變換檢測邊緣上的直線段，見圖6。計算所有同向直線段之間的距離產生集合D，其中元素dij是第i和第j條直線段之間的距離。將D的所有元素排序后繪制于坐標系中，如圖7所示。分析發現，這些點明顯聚合為若干類，其中第一類點表示的距離為網格線寬度。第二類點表示網眼大小。利用層次聚類法分別取得第一類和第二類點集，求其平均值即為網格線寬度和網眼大小估計值。

圖6 邊緣上直線段Fig.6 Straight segments on the edge

圖7 聚類分析Fig.7 Clustering analysis

將原始灰度圖像劃分成若干檢測區域，每個檢測區域包含兩段“+”形網格線。提取兩段網格線的脊線，脊線交點就是要找的網格線交點。脊線是一種重要的圖形圖像特征，可反映形體走勢。圖8顯示了檢測區域圖像的三維形式，其脊線特征非常明顯。對于灰度圖像，脊線具有如下定義：

(5)

式中：kmax和kmin為曲面的主曲率函數，tmax和tmin為曲面的主方向函數。主曲率函數一階偏導為零規定脊點處曲率存在極值，主曲率函數二階偏導小于零規定曲面在脊點處應是凸的。根據定義提取脊線計算量較大，且結果中含有圖像噪聲引起的干擾脊線。根據網格線寬度方向上灰度近似高斯分布這一特點，提出灰度最值掃描法，設置垂直于網格線的掃描線沿網格線方向行進，提取掃面線覆蓋區域灰度最值作為脊點，連接脊點得到主脊線，并對主脊線擬合進一步降低噪聲影響，最終得到交點，如圖8所示。

圖8 交點檢測Fig.8 Schematic of intersection point detection

需要指出，骨架線交點雖也在檢測區域內，但它基于二值圖像提取，精確度較低。以多人次手工標定均值作為參照，骨架線交點平均偏差4.49 像素，而脊線交點平均偏差2.13 像素，因此脊線交點更為理想。

2.2 對應交點匹配

利用圖像視差小、交點接近陣列分布等特點，將左右圖像當中的交點集放到同一平面坐標系當中，按照歐氏距離最近原則進行匹配，匹配結果如圖9所示。

圖9 左右圖像交點匹配Fig.9 Matching of intersection points

2.3 交點三維坐標計算

圖10是雙目立體視覺三維測量原理圖。圖中，Oxyz為左相機坐標系，也是世界坐標系，Orxryrzr為右相機坐標系，左右圖像坐標系分別為OlXlYl和OrXrYr，空間點P(x,y,z)在左右圖像平面上的投影分別用(Xl,Yl)和(Xr,Yr)表示。

圖10 雙目視覺三維測量模型Fig.10 The three-dimensional binocular vision measurement model

根據小孔成像原理和透視投影模型，可以得出

(6)

(7)

式中：sl和sr為比例常數。設左右相機之間的位置關系為

(8)

則

(9)

由式(6)～(9)可以得出左右圖像坐標系的關系：

聚焦重點開展工作。省公司已下發風紀監督管理辦法，對全省各單位風紀監督工作的開展做出統一部署，明確了“體系到位、宣教先行、監督為本、主攻制度、有效銜接、穩步推進”的工作原則。目前，正在制訂覆蓋全體干部員工的違規行為處理辦法。

(10)

式中：ρr為比例因子，于是空間點三維坐標可以表示為

(11)

利用式(11)可獲得網格線交點三維空間坐標。進一步對這些空間點集進行三次多項式曲面擬合即得到三維脈圖。

3 局部脈搏有限元仿真

為了驗證雙目視覺測量接觸膜形變的結果，建立在探頭作用下局部脈搏的靜力有限元模型，如圖11所示。探頭幾何尺寸與實際相同，接觸膜厚度0.5 mm，血管內直徑1.4 mm，外直徑2.2 mm。探頭為剛體材料，接觸膜采用二階Mooney-Rivlin超彈性材料模型，材料常數根據拉伸實驗獲得，血管和軟組織材料模型采用Holzapfel等[15]的研究成果。仿真過程分為三步完成：1)施加探頭內壓，血管內壁加載舒張壓；2)給探頭施加向下的壓力，使接觸膜與軟組織充分接觸；3)血管內壁壓力提升至收縮壓。

圖11 有限元模型Fig.11 The finite element model

4 實驗及分析

利用時空域脈搏信號檢測系統對健康在校大學生受試者進行檢測。雙相機圖像分辨率設置為

600×600，格式為24位JPEG灰度圖。由于圖像數據存儲量較大，受數據同步存儲速率限制，雙相機每秒各采集15幀圖像。利用上述三維脈圖構建方法對采集的圖像進行三維重構。圖12(a)是雙目視覺測量獲得的一幅典型三維脈圖，圖12(b)為有限元仿真獲得三維脈圖。圖12(a)中曲面的形態與(b)中曲面的局部十分相似，且與文獻[11]的測量結果十分近似，證明本文提出的檢測方法是有效的。圖12(a)顯示雙目視覺測量視場偏離脈搏中心，原因是相機視場較小，受試者身體細微移動導致視場中心偏離相機視場中心。另外，接觸膜覆蓋了橈動脈兩側的橈骨莖突和橈側腕屈肌腱等較硬組織，使接觸膜形態不規則，增加了對準脈搏中心的難度。

圖12 實驗與仿真結果比較Fig.12 Comparison of experimental measurements and simulation results

利用激光位移傳感器實測接觸膜的振動幅度，以此驗證雙目視覺測量結果。激光位移傳感器選擇Keyence IL-S065型，測量范圍20 mm，精度為5 μm。圖13(a)雙目視覺測量的脈搏中心振幅曲線，圖13(b)是激光位移傳感器測得脈搏中心振幅曲線。

圖13 脈圖中心點振幅Fig.13 Amplitude of centre point on pulse mapping

利用三維脈圖可量化描述中醫脈象指標。中醫研究者通常從“位數形勢”四個方面描述脈象，而費兆馥等在此基礎上進一步提出了7種指感因素：1)脈位，指脈位深淺，輕取脈感明顯重取脈搏變弱，是脈位較淺的表現，輕取不明顯重按脈感明顯，則是脈位較深的表現；2)頻率，傳統記法指一呼一吸之間脈搏跳動次數，現在也指每分鐘脈搏跳動的次數；3)形態，指時域脈搏信號曲線的形態；4)大小，手指的有脈感區域在血管徑向上的寬度；5)長短，手指的有脈感區域在血管軸向上的長度；6)強弱，指脈搏搏動力的大小；7)虛實，大而無力謂之虛，大而有力謂之實，虛實實際上是長短、大小和強弱的綜合指標。

三維脈圖中部有丘狀凸起，凸起區域呈橢圓形，見圖14。圖中a和b分別表示橢圓的長軸和短軸。結合三維脈圖，上述7種脈象因素的量化指標如表1所示。

圖14 脈圖上的橢圓區域Fig.14 Elliptic region on pulse mapping

時域空域綜合頻率強弱形態大小長短沉浮虛實fAmpmax*bakAmpmax/b

注：*關于脈搏波形態的已有成果較多，本文不做討論。

表1中f表示從中心點振幅提取的頻率，Ampmax表示中心點振幅的最大值，脈搏波形態可從中心點振動曲線當中提取。根據中醫理論，Ampmax與切脈壓力(即探頭與手腕的接觸壓力)關系曲線反映脈象沉浮，因此曲線斜率k可作為脈象沉浮指標。虛實則用Ampmax/b表示，比值越大脈象越實，比值越小脈象越虛。

5 結論

1) 本文研制了一種具有氣囊式仿指柔性探頭的時空域脈搏信號檢測裝置，采用雙目立體視覺獲取三維脈圖。

2) 與本課題組前期研制的單目裝置相比，提高了三維測量精確度。與常見的壓力傳感器陣列檢測三維脈圖相比，本文方法的空間分辨率更高，且柔性探頭對檢測干擾更小，適合長時檢測。

3) 本文方法獲取的三維脈圖序列當中包含節律、脈長、脈寬、脈形和強度等豐富的脈搏信息。初步提出了七種脈象因素量化指標，為準確采集、量化描述脈搏提供了一條有效途徑。

4) 隨著高速成像設備微型化，在本文成果基礎上研制三探頭檢測系統，可模擬三部九侯取脈方式，為揭示中醫脈診機理奠定基礎。

[1]CIACCIO E J, DRZEWIECKI G M. Tonometric arterial pulse sensor with noise cancellation[J]. IEEE transactions on biomedical engineering, 2008, 55(10): 2388-2396.

[2]TYAN C C, LIU S H, CHEN J Y, et al. A novel noninvasive measurement technique for analyzing the pressure pulse waveform of the radial artery[J]. IEEE transactions on biomedical engineering, 2008, 55(1): 288-297.

[3]TANAKA S, NOGAWA M, YAMAKOSHI T, et al. Accuracy assessment of a noninvasive device for monitoring beat-by-beat blood pressure in the radial artery using the volume-compensation method[J]. IEEE transactions on biomedical engineering, 2007, 54(10): 1892-1895.

[4]王學民, 楊成, 陸小佐, 等. 基于柔性陣列傳感器的脈象檢測系統的設計[J]. 傳感技術學報, 2012, 25(6): 733-737. WANG Xuemin, YANG Cheng, LU Xiaozuo, et al. The design of multi-channel pulse detection system based on flexible array sensor[J]. Chinese journal of sensors and actuators, 2012, 25(6): 733-737.

[5]NAM D H, LEE W B, HONG Y S, et al. Measurement of spatial pulse wave velocity by using a clip-type pulsimeter equipped with a hall sensor and photoplethysmography[J]. Sensors, 2013, 13(4): 4714-4723.

[6]WANG Dimin, ZHANG D, LU Guangming. A novel multichannel wrist pulse system with different sensor arrays[J]. IEEE transactions on instrumentation and measurement, 2015, 64(7): 2020-2034.

[7]VAPPOU J, LUO Jianwen, OKAJIMA K, et al. Pulse wave ultrasound manometry (PWUM): measuring central blood pressure non-invasively[C]//2011 IEEE International Ultrasonics Symposium. Orlando, FL: IEEE, 2011: 2122-2125.

[8]王炳和, 王海燕, 職利琴, 等. 高血壓患者脈博信號的采集與頻譜分析[J]. 聲學技術, 1999, 18(3): 135-138. WANG Binghe, WANG Haiyan, ZHI Liqin, et al. Acquisition and spectral analysis of pulse signals of hypertension patients[J]. Technical acoustics, 1999, 18(3): 135-138.

[9]YOO S K, SHIN K Y, LEE T B, et al. Development of a radial pulse tonometric (RPT) sensor with a temperature compensation mechanism[J]. Sensors, 2013, 13(1): 611-625.

[10]CHU Yuwen, LUO C H, CHUNG Y F, et al. Using an array sensor to determine differences in pulse diagnosis—three positions and nine indicators[J]. European journal of integrative medicine, 2014, 6(5): 516-523.

[11]PENG J Y, LU M S C. A flexible capacitive tactile sensor array with CMOS readout circuits for pulse diagnosis[J]. IEEE sensors journal, 2015, 15(2): 1170-1177.

[12]張愛華, 李金平, 林冬梅. 基于視覺測量的脈搏圖像三維重構[J]. 數據采集與處理, 2012, 27(5): 570-575. ZHANG Aihua, LI Jinping, LIN Dongmei. 3D reconstruction of pulse image based on visual measurement[J]. Journal of data acquisition & processing, 2012, 27(5): 570-575.

[13]林冬梅, 張愛華, 沈蓉, 等. 雙目視覺脈搏測量系統中的相機同步采集方法[J]. 吉林大學學報: 工學版, 2015, 45(6): 1999-2006. LIN Dongmei, ZHANG Aihua, SHEN Rong, et al. Dual-camera synchronous acquisition method for binocular vision pulse measurement system[J]. Journal of Jilin university: engineering and technology edition, 2015, 45(6): 1999-2006.

[14]ZHANG Z. A flexible new technique for camera calibration[J]. IEEE transactions on pattern analysis and machine intelligence, 2000, 22(11): 1330-1334.

[15]HOLZAPFEL G A, OGDEN R W. Biomechanics of soft tissue in cardiovascular systems[M]. Vienna: Springer, 2003.

[16]張愛華, 王平, 丑永新. 基于動態差分閾值的脈搏信號峰值檢測算法[J]. 吉林大學學報: 工學版, 2014, 44(3): 847-853. ZHANG Aihua, WANG Ping, CHOU Yongxin. Peak detection of pulse signal based on dynamic difference threshold[J]. Journal of Jilin university: engineering and technology edition, 2014, 44(3): 847-853.

Temporal-spatial pulse signal detection based on binocular stereo vision

YANG Liming1, ZHANG Aihua2, LIN Dongmei2, WANG Qi2, LIU Gongcai2, ZHU Liang3

(1. School of Electrical and Photoelectronic Engineering, Changzhou Institute of Technology, Changzhou 213032, China; 2. College of Electrical and Information Engineering, Lanzhou University of Technology, Lanzhou 730050, China; 3. College of Materials Science and Engineering, Lanzhou University of Technology, Lanzhou 730050, China)

Capturing and quantitatively describing temporal-spatial pulse signals by simulating the palpation techniques of Traditional Chinese Medicine is an important way to demonstrate the objectivity of pulse diagnosis. In this study, we investigate a novel pulse detection device equipped with a flexible air-bag humanoid finger probe for diagnosing pulse by simulating finger palpation. At the bottom of the probe, the flexible contact membrane deforms following a change of pulse, and two cameras are used to synchronously capture membrane images. We printed grid-pattern structure lines on the contact membrane of the probe to accurately position the intersection points of the grid lines in the images by using the ridge-line fitting intersection method. We calculated the 3D coordinates of these points based on the binocular vision measurement principle and reconstructed the configuration of the contact film by surface fitting in order to attain a 3D pulse image series containing spatial-temporal signals. We extracted the amplitudes of the pulse, which is 0.353±0.032 mm. In addition, based on the temporal-spatial pulse signals, we propose seven objective indicators of pulse conditions.

pulse detection; flexible probe; binocular stereo vision; 3D pulse mapping; time-space domain; pulse condition; signal detection

2016-03-10.

日期：2017-01-11.

國家自然科學基金項目(81360229)；甘肅省基礎研究創新群體項目(1506RJIA031).

楊力銘(1978-)，男，博士研究生； 張愛華(1964-)，女，教授，博士生導師.

張愛華，E-mail: zhangaihua@lut.cn.

10.11990/jheu.201603035

TH773

A

1006-7043(2017)03-0471-07

楊力銘， 張愛華， 林冬梅，等.基于雙目立體視覺的時空域脈搏信號檢測[J]. 哈爾濱工程大學學報, 2017, 38(3):471-477.

YANG Liming, ZHANG Aihua, LIN Dongmei，et al.Temporal-spatial pulse signal detection based on binocular stereo vision[J]. Journal of Harbin Engineering University, 2017, 38(3):471-477.

網絡出版地址：http://www.cnki.net/kcms/detail/23.1390.u.20170111.1509.016.html