基于線結構光和足底掃描的足部參數測量研究

李新華，程濤軍，馬 春，孫 南，王俊青

1.安徽大學 計算智能與信號處理教育部重點實驗室，合肥 230039

2.中國科學院 合肥智能機械研究所 自動化系，合肥 230031

基于線結構光和足底掃描的足部參數測量研究

李新華1，程濤軍1，馬 春1，孫 南1，王俊青2

1.安徽大學 計算智能與信號處理教育部重點實驗室，合肥 230039

2.中國科學院 合肥智能機械研究所 自動化系，合肥 230031

1 引言

利用光學測量技術解決逆向工程（Reverse Engineering，RE）問題是近年來制造工業領域研究的一個熱點，其應用十分廣泛。該技術最早被用于航空工業和汽車工業模具的輪廓測量，20世紀90年代末至今，該技術因具有無接觸測量方式和測量結果精度高等優點，而被應用到人體測量學上。在足部生物力學研究領域，對足部姿勢形態，病理特征的無接觸式測量研究[1-2]（如：足底壓力分布，足弓高等）成為了近來研究的熱點；在健康運動生活上，利用光學測量技術測量個體足部系列參數，并結合足部生物力學研究成果設計制造更加科學、舒適，且能夠滿足個人要求的鞋楦成為了目前制鞋行業發展的趨勢。

自20世紀90年代，大量的數學計算方法被引入到視覺領域后，利用光學測量技術重構物體輪廓的研究方法主要分為三種：（1）激光（線結構光）掃描[3-4]；（2）面結構光投影[5-6]；（3）多視圖重構[7-8]。隨之，該方法被引入到對足部外形輪廓的三維重構研究中，在國內，居琰[9]，賈倩倩[10]等采用線激光掃描實現了足部三維重構；胡勇[11]，Qing He等[12]采用多視圖方法實現了足部三維重構；在國外，Jiahui Wang，Hideo Saito[13]采用多視圖方法實現了足部三維重構，且該系統能夠自動對足部系列參數進行測量。就實驗效果而言，對于這三種重構方法，激光掃描方法有很高的精度和很強的魯棒性，但是激光光源價格昂貴，而且重構所需時間較長；面結構光投影方法由于受到足部外形輪廓不規則的影響，無法被應用于足部三維重構；多視圖方法雖然具有重構速度快的優點，但是該方法容易受到環境噪聲的影響，增加了特征點提取和匹配的難度，降低了重構精度。就足部生物力學研究而言，腳長、腳寬、前腳圍、足弓高等相關足部參數，尤其是足底壓力區域分割的結果對指導設計更加健康、科學的鞋楦具有很大影響，而上述三維重構的方法只是注重足部外形輪廓的三維重構，忽略了足部生物力學研究所關注的參數，缺少了實際生產應用的價值。

為了解決上述問題，本文將足部參數測量分為足面輪廓點云重構和足底輪廓區域參數計算兩部分。通過采用特制的紅外線結構光源替代昂貴的激光光源，降低系統成本，然后采用線結構光掃描方法，重構足面輪廓點云；引入足底掃描技術計算足底輪廓點云，分割足底壓力區域，然后將足面輪廓點云與足底輪廓點云進行融合，計算相關足部系列參數，為設計制造利用運動健康的鞋楦提供更加科學、有效的參數依據。同時系統又將當前足部生物力學關注的熱點參數-足底壓力區域分布數據發回實驗數據庫中心，用于進一步統計分析。通過實驗結果分析表明，該方法具有精度高，魯棒性好等優點，又引入足底掃描技術，僅由一幅足底掃描圖像就能計算出足底區域所含的有用數據，加快了測量時間，同時又將光學測量與足部生物力學研究相結合，使得測量結果更加科學和合理。

2 總體方案設計

2.1 硬件平臺設計

系統平臺由足底掃描部分和線結構光足面三維重構部分組成。足底掃描是以掃描儀為平臺，通過掃描靜態站立于平臺上的足底，可以得到含有足底輪廓和足底壓力信息的圖像；線結構光足面三維重構采用線結構光掃描方法，其中兩個交叉的線光源組成結構光平面，并調節光平面垂直于掃描儀，CCD1和CCD2分別位于掃描儀的兩端且垂直于光平面，這樣有利于減少線結構光成像的盲點區域，系統用滑塊帶動光平面移動完成整個足面輪廓的掃描。

在系統參數計算測量中，對世界坐標系的合理選取能夠減少系統測量時間，降低算法復雜度。該系統選擇將掃描儀長邊和寬邊分別作為世界坐標系Zw，Xw軸，掃描儀左上角作為世界坐標系的原點Ow，將垂直于掃描儀平臺，并過Ow點射線作為世界坐標系Yw軸。系統空間布局如圖1所示，實物框架如圖2所示。

本文利用線結構光對足面進行三維重構的硬件要求是攝像機光心線與線結構光面的垂直。本文實現的方法是：利用一點激光源，發射一條垂直于光平面的直線，并通過攝像機成像，由于攝像機的透鏡具有一定的厚度，當激光線與攝像機光心線不重合時，激光線通過透鏡成像會產生折射，這樣圖像上會看到兩個光點，通過調節攝像機的位置，使得這兩個光點盡量重合，這樣就能到達系統要求的攝像機與結構光面垂直的要求。

圖1 足部測量空間分布圖

圖2 足部三維重構系統平臺

2.2 系統軟件流程

系統軟件實現可分為足底掃描部分與足面輪廓重構部分。對于足底掃描部分，首先對掃描圖像進行濾波，然后進行輪廓提取和壓力區域分割，最后計算足底參數；對于足面重構部分，首先經過濾波，然后對結構光帶圖像初始化分割，接著將初始分割的結構光帶細化，最后還原三維坐標且融合三維數據。系統流程圖如圖3所示。

圖3 系統流程圖

3 圖像坐標與世界坐標映射原理

本文實現足部參數測量的關鍵在于圖像坐標與世界坐標映射建模。由掃描圖像與線結構光成像原理可知，掃描圖像坐標點和兩個CCD拍攝圖像坐標點到規定的世界坐標系XwYwZwOw內的映射完全不同，故本文將足部三維的重構原理分為掃描儀對足底區域坐標映射計算和線結構光對足面輪廓點云重構兩步單獨介紹。

3.1 足底區域坐標映射計算

由于掃描儀成像采用的是一種線性CCD圖像單元感光成像原理，因此，在規定世界坐標系XwYwZwOw內，掃描儀得到的圖像為足底的正投影。而由于足底受到人體壓力，使得足底面與掃描儀緊貼在一起，同時足部生物力學對足底生理特性的研究關注的重點在于足底壓力區域的分布，扁平足、正常足、高弓足等的判別。故本文系統將足底面的高度近視當成0，對于足底掃描圖像上坐標P(xc，yc)與其對應的世界坐標P′(xw，yw，zw)的映射關系為：

3.2 足面輪廓點云重構

由于結構光平面在攝像機上成像滿足正交原理，對于結構光平面中任一點的世界坐標為Pw(xw，yw，zw)，其在攝像機上成像坐標為Pc(xc，yc)，在不考慮攝像機畸變因子的情況下，可以將攝像機模型簡化為理想的小孔成像模型，其坐標投影轉換示意圖如圖4所示。

圖4 光切面坐標與圖像坐標轉換

由圖4可知，世界坐標系XwYwZwOw中的點Pw(xw,yw,zw)經過平移和旋轉（繞Yw180°）變換，可以轉換該點在攝像機坐標系XcYcZcOc下的坐標為變換關系為：

其中xoffset，yoffset，zoffset分別為攝像機坐標系與規定世界坐標系在X軸和Y軸上的偏移量，f為攝像機焦距，du為攝像機到光平面的距離。

公式（5）、（6）為沒有考慮攝像機畸變的理想模式，而現實攝像機模型存在著切向和徑向畸變。用Pc(xc，yc)表示圖像點坐標，表示經過畸變校正后的坐標，則可以用下面公式進行畸變校正：

由公式（4）～（8）可推出世界坐標系XwYwZwOw上的點Pw(xw，yw，zw)與CCD上成像點Pc(xc，yc)的關系為：

已知攝像機相對于世界坐標系Pw(xw，yw，zw)的平移量(xoffset，yoffset，zoffset)，攝像機焦距f以及光平面到攝像機距離du，由公式（9）～（11）可知足面輪廓點世界坐標與像平面坐標的映射關系；已知掃描儀dot/inch參數，由公式（1）～（3）可知足底輪廓點世界坐標與像平面坐標的映射關系。對于足底圖像處理與足面輪廓重構，系統規定了統一世界坐標系XwYwZwOw，故最后只要將計算所得的足面輪廓點云與足底點云疊加融合，就能得到完整的足部外形輪廓點云坐標。

4 實驗結果

由人體測量學定義，足部系列參數基本測量點的分布如圖5所示。它們分別為1-最長趾尖點、2-足后跟點、3-第一跖趾關節點、4-第五跖趾關節點、5-足跟第一跖骨點、6-足跟第五跖骨點。其中坐標點1與坐標點2的連線為腳長，3和4的連線為前腳掌寬，5和6為腳跟寬，而過直線3和4且垂直于腳底面的足部輪廓橫截面的曲線為前腳圍。

圖5 足底參數測量點

4.1 足底掃描圖像處理

本文對足部掃描圖像的處理與這些關鍵點的自動求解步驟如下：

（1）首先對掃描圖像（見圖6（a））進行灰度化和中值濾波處理，接著利用閾值分割提取足底輪廓邊緣線。

（2）利用Opencv中函數求解足底輪廓線的最小外接矩形，并記下兩條長邊的斜率、長度以及端點坐標。

（3）遍歷足底輪廓線坐標，在沿長邊方向1/3到1/2范圍內，分別求解這些坐標到兩條長邊的最短距離的坐標點，并記下這兩個點，根據左右腳的不同，這兩個點分別可以為第一跖趾關節點和第五跖趾關節點或者第五跖趾關節點和第一跖趾關節點，由這兩點可以計算前腳掌寬。

（4）遍歷足底輪廓線坐標，在沿長邊方向4/5到長邊末端范圍內，分別求解這些坐標到兩條長邊的最短距離的坐標點，并記下這兩個點，根據左右腳的不同，這兩個點分別可以為足跟第一跖骨點和足跟第五跖骨點或者足跟第五跖骨點和足跟第一跖骨點，由這兩點可以計算腳跟寬。

（5）在步驟（3）（4）所求4個點中，將左邊的兩個點連成一條直線，右邊的兩個點也連成一條直線，并計算這兩條直線相交后銳角的角平分線，該角平分線與足底輪廓線相交的兩個點即為足后跟點和最長趾尖點，記下這兩點，并計算腳長。

（6）最后對足部區域采用Otsu[14]自動閾值分割得到足底壓力分布結果。

足底掃描圖片處理實驗結果如圖6所示。

圖6 腳底掃描圖片處理

在實驗結果圖6中，圖（a）為掃描原圖，圖（b）為底面輪廓求解圖，圖（c）為由底面輪廓區域還原到規定世界坐標系內的近似輪廓點云，圖（d）為足底面測量點的求解圖，圖（e）為足底壓力分布圖，其中深紅色的區域為人體主要受壓區域。由原圖以及實驗結果圖可以看出，由于人體正常壓力，足底面緊貼掃描儀玻璃平面且產生形變使得足底面輪廓更加平整，同時通過圖像能夠很明顯地看出足底不同的區域的受壓情況，并計算足底受壓區域，因此在應用研究中，將足底輪廓區域近似成一個平面并求解足底受壓區域比求解完全理想的足底面三維輪廓更加具有實際意義。

4.2 線結構光圖像處理與足面三維重構

本文對足面輪廓進行三維重構的步驟如下：

（1）對線結構光圖像（見圖7（a））進行中值濾波，然后采用Otsu[14]算法進行初始分割，得到具有一定寬度的線光帶圖像。

（2）采用重心法對結構光帶進行細化處理，得到線結構光帶中心坐標圖像。

（3）將兩個CCD攝像機光帶坐標分別還原到規定的世界坐標系中，并利用最小二乘法進行曲線擬合消除光帶重合區域和盲點區域。

（4）對所有分層輪廓結構光線進行融合，就能得到足面三維輪廓點云。

足面三維重構實驗結果如圖7所示。

圖7 足面三維點云

在圖7所示的實驗結果圖中，（a）圖為線結構光原圖，（b）圖初始線光帶提取結果，（c）圖為圖像細化后的線結構光帶中心效果圖，（d）、（e）圖分別為腳面兩側線光帶經過處理后的效果圖，（f）圖為（d）、（e）兩圖恢復到世界坐標后融合處理的結果，（g）、（h）、（i）圖分別為足面分層輪廓線相融合后不同視角效果圖。由圖7所示實驗結果可以看出，本文系統設計的線結構光平臺能夠很好地重構足面三維輪廓。

4.3 足部整體輪廓實驗結果與參數計算

將足底輪廓點云與足面輪廓點云相融合，就能得到完整足部外形輪廓信息，實驗效果圖如圖8所示。

圖8 腳型三維點云

在系統對足部參數計算中，本文實現了如圖5所示中的六個測量點坐標的自動提取，并以此計算出了腳長、前腳掌寬、腳跟寬、前腳掌圍等參數。其中前面三個參數的計算方法已經在足底圖像處理中給出了，而前腳掌圍的求解步驟為：

表1 足部參數測量結果分析

（1）求解足底圖像中第一跖趾關節點和第五跖趾關節點，連成直線，并計算這兩點間的長度。

（2）將足面三維輪廓點云投影到足底平面上，找到投影點在步驟（1）所求的直線上的所有點。

（3）對步驟（2）中所求的點進行擬合形成一段光滑的曲線，并計算其長度。

（4）將步驟（1）、（3）中求解的直線長度和曲線長度相加就得到了前腳掌圍度。

本文采用這種方法對足部參數進行實驗，并選擇了三組數據與實際人工測量進行對比，實驗結果如表1所示。

由表1實驗結果可以看出，前腳掌寬和腳跟寬的誤差要比腳長和前腳掌圍的誤差要小很多，而且對于不同的實驗腳長的誤差精度也不相同。那是由于足部在前腳掌寬和腳跟寬的地方相對平整，所以測量精度高。而對于腳長參數測量由于不同人的腳，有扁平足、正常足和高弓足之分，使得足底面凹凸程度不同，因此與手工測量腳長時，高弓足的誤差精度肯定大于正常足、偏平足。而對于前腳掌圍度求解時，由于足面分層輪廓線在實際測量中具有一定的距離，因此在進行擬合求解時會產生一定的誤差。從表1所示的足部參數測量整體結果分析可以看出，系統對足部系列參數測量具有很高的精確度，能夠滿足實際生產需求。

5 結論

本文研究利用線結構光掃描和足底掃描對足部系列參數進行測量，實現了一個足部參數測量系統。在采用線結構光對足面進行重構過程中，將攝像機與光切面垂直，使得攝像機光帶成像為正交投影模型，進而簡化重構計算方法，加快了重構速度，提高了重構的精度。在對足底輪廓計算中，引入足底掃描技術，與傳統激光掃描對足底輪廓點云重構相比，該方法僅需一幅圖像就能計算完整的足底輪廓點云，提高了重構精度，也縮短了重構時間。實驗結果表明，系統能夠快速有效地對足部參數進行測量，同時給出足部外形輪廓點云信息，并且成本低廉，易于推廣。

[1]Yang Yunfeng，Yu Guangrong，Huang Siping.Effect of the plantar fasciotomy on the movement of the foot arch[C]// ICBBE’07 Proc，Wuhan，2007：478-481.

[2]Hwang S J，Choi H S，Kim Y H.Motion analysis based on a multi-segment foot model in normal walking[C]//26th Annual International Conference of the IEEE，IEMBS’04，2004：5104-5106.

[3]Brunsman M A，Daanen H，Robinette K M.Optimal postures and positioning for human body scanning[C]//3DIM’97 Proc，Ottawa，1997：266-273.

[4]Nishida N，Fukushima S，Minoh M.A method of estimating human shape by fitting the standard human model to partial measured data[C]//ACCV’00 Proc，Taipei，2000：276-281.

[5]Siebert J，Marshall S.Human body 3D imaging by speckle texture projection photogrammetry[J].Sensor Review，2000，20（3）：218-226.

[6]Zhang L，Snavely N，Curless B.Spacetime faces：high-resolution capture for modeling and animation[C]//ACMSIG-GRAPH’04，Los Angeles，2004：548-558.

[7]Weik S.A passive full body scanner using shape from silhouettes[C]//Proc ICPR’00，Barcelona，2000：1750-1753.

[8]D’Apuzzo N.Surface measurement and tracking of human body parts from multi-image video sequences[J].Journal of Photogrammetry and Remote Sensing，2002，56（5/6）：360-375.

[9]居琰，汪同慶，王貴新，等.腳型三維輪廓測量技術研究及系統實現[J].光電工程，2002，29（6）：21-24.

[10]賈倩倩，王伯雄，史輝，等.基于光切法的全三維量腳制鞋系統的設計和實現[J].微計算機信息，2010，26（2）：1-3.

[11]胡勇，王從軍，韓明，等.基于計算機視覺的三維激光掃描測量系統[J].華中科技大學學報：自然科學版，2004，32（1）：16-18.

[12]He Qing，Liu Wei，Wei Ning.A method for 3D-point reconstruction in multi-vision based on perpendicular foot[C]//Proceedings of the 8th World Congress on Intelligent Control and Automation，Taipei，2011：147-151.

[13]Wang Jiahui，Saito H.Shape reconstruction of human foot from multi-camera images based on PCA of human shape database[C]//Proceedings of the Fifth International Conference on 3-D Digital Imaging and Modeling，Ottawa，2005.

[14]Otsu N.A threshold selection method from gray-scale histogram[J].IEEE Trans on System Man Cybernetics，1978，8（1）：62-66.

LI Xinhua1,CHENG Taojun1,MA Chun1,SUN Nan1,WANG Junqing2

1.Key Laboratory of Intelligent Computing&Signal Processing,Ministry of Education,Anhui University,Hefei 230039,China
2.Department of Automation,Institute of Intelligence Machines,Chinese Academy of Sciences,Hefei 230031,China

Since the existing methods of human foot outline three-dimensional reconstruction have the problems of low accuracy, poor robustness,high cost,and do not meet the actual requirements of the foot biomechanics research etc,a foot parameter measurement system which uses optical measurement technology and realizes non-contact measurement has been designed.On one hand, the system uses plantar scanning technology to construct the point cloud of plantar,segments plantar pressure area,and calculates the relevant parameters of plantar;on the other hand,the system uses line structured light to scan the foot surface to construct point cloud of foot surface,fuses into a whole foot contour point cloud,and finally,the system measures the series of foot parameters according to the definition of foot biomechanics.By the construction of the corresponding hardware platform,the measurements of multiple groups of foot are made,and the experimental results show that the system can finish foot 3D reconstruction quickly and accurately while has good robustness.

measurement of foot parameters;three-dimensional reconstruction of foot surface;line structured light scanning; plantar scanning

針對現有足部輪廓三維重構方法精度低，魯棒性差，成本昂貴且不符合實際足部生物力學研究要求等問題，設計了一種利用光學測量技術實現無接觸式足部參數測量的系統。該系統一方面通過對足底掃描圖像處理，構建足底輪廓點云，分割足底壓力區域，計算足底相關參數；另一方面利用線結構光技術，重構足面輪廓，將足底輪廓點云與足面輪廓點云在系統規定世界坐標系內融合，形成完整足部輪廓點云，根據定義計算足部圍度等足部系列參數。通過搭建相應硬件平臺對多組人體足部進行測量，實驗結果表明系統能夠快速、精確地完成足部三維重構，具有很好的魯棒性。

足部參數測量；足面三維重構；線結構光掃描；足底掃描

A

TP391

10.3778/j.issn.1002-8331.1112-0548

LI Xinhua,CHENG Taojun,MA Chun,et al.Research of foot parameters measurement based on line structured light and plantar scanning.Computer Engineering and Applications,2013,49（18）：260-264.

國家自然科學基金（No.61172127）。

李新華（1968—），男，副教授，碩士生導師，研究方向為計算機視覺、數字圖像處理；程濤軍（1986—），男，碩士研究生，研究方向為計算機視覺、三維重構；王俊青（1987—），男，碩士研究生，研究方向為計算機視覺、運動與健康。E-mail:chengtaojun88@163.com

2011-12-28

2012-05-08

1002-8331（2013）18-0260-05