基于邊緣約束的快速運(yùn)動(dòng)物體三維重建算法

王歡，葉璽臣

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州 239000)

?

基于邊緣約束的快速運(yùn)動(dòng)物體三維重建算法

王歡，葉璽臣

(滁州學(xué)院 電子與電氣工程學(xué)院，安徽 滁州 239000)

在手術(shù)環(huán)境中，醫(yī)生的頭、手等部位遮擋燈光產(chǎn)生陰影，會(huì)在一定程度上影響手術(shù)質(zhì)量。為了保證手術(shù)質(zhì)量，就必須檢測(cè)出這些運(yùn)動(dòng)物體，并根據(jù)其三維信息進(jìn)行調(diào)光以減弱產(chǎn)生的陰影。本文提出一種快速三維重建方法。該方法采用QT開(kāi)發(fā)環(huán)境并結(jié)合OpenCV開(kāi)發(fā)，提高了開(kāi)發(fā)效率，可移植性強(qiáng)；運(yùn)用基于邊緣約束的方法，提高了三維重建的速度和精度。實(shí)驗(yàn)證明，本文提出的快速三維重建算法動(dòng)態(tài)響應(yīng)速度快，準(zhǔn)確性高，達(dá)到設(shè)計(jì)要求。

運(yùn)動(dòng)物體；三維重建；OpenCV

0 引言

三維重建是計(jì)算機(jī)視覺(jué)研究領(lǐng)域的重要課題，其相關(guān)技術(shù)已在工業(yè)、醫(yī)療等領(lǐng)域得到廣泛應(yīng)用。三維重建過(guò)程一般包括：攝像頭標(biāo)定、圖像采集、圖像匹配、圖像重建等步驟[1]。其中，是否能準(zhǔn)確對(duì)攝像機(jī)內(nèi)外部參數(shù)標(biāo)定以及立體匹配是三位重建中的難點(diǎn)。

OpenCV是Open Source Computer Vision Library的簡(jiǎn)稱，是一種開(kāi)源、可跨平臺(tái)使用的計(jì)算機(jī)視覺(jué)庫(kù)，已廣泛應(yīng)用于各種嵌入式系統(tǒng)應(yīng)用中。

在手術(shù)環(huán)境中，醫(yī)生的頭，手[2]等部位遮擋燈光產(chǎn)生陰影，會(huì)在一定程度上影響手術(shù)質(zhì)量，為了保證手術(shù)質(zhì)量，就必須檢測(cè)出這些運(yùn)動(dòng)物體，并根據(jù)運(yùn)動(dòng)物體的模型對(duì)無(wú)影燈進(jìn)行調(diào)光。傳統(tǒng)的三維重建多針對(duì)于靜態(tài)物體，實(shí)時(shí)性相對(duì)較差，本文提出一種基于邊緣約束的快速三維重建方法，提高了開(kāi)發(fā)效率，具有執(zhí)行速度快、實(shí)時(shí)性好、可移植性強(qiáng)的特點(diǎn)，便于后期應(yīng)用于嵌入式系統(tǒng)中。

1 基于邊緣約束的快速運(yùn)動(dòng)物體三維重建

1.1 攝像機(jī)參數(shù)標(biāo)定

本文采用張氏標(biāo)定法基礎(chǔ)上再利用Brown算法進(jìn)行標(biāo)定[3]。標(biāo)定板采用11×10黑白格矩陣形式排列，方格尺寸為20mm×20mm，共選取18對(duì)圖像進(jìn)行標(biāo)定。圖1為標(biāo)定中對(duì)標(biāo)定板的焦點(diǎn)提取圖。

圖2 重投影示意圖

1.2 立體校正

立體校正使得兩攝像頭所采集圖像進(jìn)行重投影之后所獲得的圖像的每一像素行精確對(duì)準(zhǔn)，從而提高立體匹配的可靠性[5]，重投影示意圖如圖2。

本文使用Bouguet提出極線校正算法對(duì)所采集的圖像進(jìn)行校正，結(jié)果如圖3中所示。

圖3 校正結(jié)果

圖3為左攝像頭圖像校正結(jié)果，可以看出距離圖像中心點(diǎn)越遠(yuǎn)的區(qū)域，圖像發(fā)生的畸變也越嚴(yán)重，校正后產(chǎn)生的邊緣缺損，像素點(diǎn)全部置0。

1.3 運(yùn)動(dòng)物體提取

為了對(duì)運(yùn)動(dòng)物體進(jìn)行三維重建，必須先提取出場(chǎng)景中的運(yùn)動(dòng)物體，目前對(duì)于運(yùn)動(dòng)物體的檢測(cè)方法可以分為三類：光流法[6]、背景差分法[7]和相鄰幀差法[8]。本文采用高斯混合模型的方法提取運(yùn)動(dòng)物體，運(yùn)動(dòng)物體提取結(jié)果如圖4所示。

圖4 運(yùn)動(dòng)物體提取結(jié)果

圖4為左攝像頭中運(yùn)動(dòng)物體檢測(cè)結(jié)果，其中圖(a)為背景，圖(b)為當(dāng)前圖像，圖(c)為提取出的運(yùn)動(dòng)物體(藍(lán)色小人)，因左右攝像頭提取結(jié)果類似，這里僅以左攝像頭實(shí)驗(yàn)結(jié)果為例，可以看到提取出的結(jié)果與運(yùn)動(dòng)物體所在區(qū)域基本吻合，符合系統(tǒng)要求。

1.4 立體匹配

得到運(yùn)動(dòng)物體區(qū)域后，即可進(jìn)行立體匹配?？s減搜索空間從而提高立體匹配速度，并保證匹配點(diǎn)的準(zhǔn)確性，是本算法要解決的核心問(wèn)題[9]。本文算法在完成提取遮擋物區(qū)域后，采用邊緣約束法縮減匹配區(qū)域，再利用視差約束排除誤匹配點(diǎn)，最后采用平滑約束對(duì)結(jié)果數(shù)據(jù)進(jìn)行平滑，減少空洞和噪聲，得到最終立體匹配結(jié)果。算法流程圖如圖5。

圖5 快速匹配算法流程圖

(1)匹配區(qū)域縮減

Scharstein[10]的研究提出在某些應(yīng)用情況下，為了更高的提升立體匹配速度，可不必對(duì)目標(biāo)物體進(jìn)行稠密匹配，只需對(duì)其邊緣部分進(jìn)行匹配即可達(dá)到應(yīng)用目的。因此，本文在檢測(cè)到運(yùn)動(dòng)物體后，采用邊緣提取算法，僅保留運(yùn)動(dòng)物體的邊沿部分，再結(jié)合形態(tài)學(xué)的方法對(duì)所得區(qū)域進(jìn)行擴(kuò)充，避免因待匹配區(qū)域面積過(guò)小影響匹配結(jié)果，最后利用邊緣約束排除待匹配區(qū)域之外像素點(diǎn)，即得到最終待匹配區(qū)域。

圖6 深度計(jì)算三角原理圖

(2)立體匹配

待匹配區(qū)域已進(jìn)行縮減，匹配中只需對(duì)圖像中的非0像素點(diǎn)進(jìn)行匹配即可。同時(shí)，為了進(jìn)一步提高匹配速度，縮減匹配計(jì)算量，應(yīng)盡量選擇較小的匹配窗口。本文在匹配時(shí)，沿極線的方向，采用用3x3的窗口進(jìn)行匹配，計(jì)算出圖像對(duì)應(yīng)的視差圖。

(3)深度約束

獲得視差數(shù)據(jù)后，根據(jù)標(biāo)定所得攝像頭參數(shù)集合三角原理計(jì)算出運(yùn)動(dòng)物體外輪廓像素點(diǎn)三維數(shù)據(jù)。計(jì)算原理圖如圖6所示。

根據(jù)pl、pr的坐標(biāo)(以左攝像頭為原點(diǎn))分別為(xl，yl)、(xr，yr)，可計(jì)算出點(diǎn)P(X，Y，Z)的坐標(biāo)：

(3)

(4)

(5)

其中，d為左、右圖像中同一像素點(diǎn)所對(duì)應(yīng)視差，攝像頭中心距b和焦距f已知且不變，由式(3)可得，某一像素點(diǎn)的深度與其視差成反比例關(guān)系，故深度約束可近似為視差約束。因此，目標(biāo)運(yùn)動(dòng)遮擋物應(yīng)滿足的深度范圍(Ymin，Ymax)(距離攝像頭正常距離)可對(duì)應(yīng)視差范圍(dmin，dmax)，掃描視差數(shù)據(jù)，若某點(diǎn)視差數(shù)據(jù)不在(dmin，dmax)范圍之內(nèi)，則排除此點(diǎn)，同時(shí)計(jì)數(shù)值加1。掃描完畢后，若排除的點(diǎn)個(gè)數(shù)大于總匹配點(diǎn)個(gè)數(shù)的5%，則去除不合要求點(diǎn)后，再次匹配。否則，將不合要求的點(diǎn)視差數(shù)據(jù)置為0，進(jìn)入下一步。

(4)平滑約束

對(duì)匹配區(qū)域內(nèi)已經(jīng)置0的像素點(diǎn)的所對(duì)應(yīng)的視差數(shù)據(jù)點(diǎn)作為種子點(diǎn)，對(duì)其周圍區(qū)域的點(diǎn)進(jìn)行平滑濾波后，得到最終的視差數(shù)據(jù)。

1.4 三維重建及顯示

計(jì)算出視差數(shù)據(jù)后，根據(jù)式(3)、(4)和(5)計(jì)算運(yùn)動(dòng)遮擋物輪廓的三維信息，并進(jìn)行三維重建。

2 實(shí)驗(yàn)與比較

本文在Windows系統(tǒng)下，結(jié)合OpenCV、OpenGL庫(kù)，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的提取及三維重建，實(shí)驗(yàn)結(jié)果如圖8。

圖7 三維重建實(shí)驗(yàn)結(jié)果

圖7(a) 、7(b)為背景圖，圖7(c) 、7(d)為當(dāng)前圖像。圖7(e)、圖7(f)分別為采用局部匹配和傳統(tǒng)半全局匹配方法匹配得到的視差圖，圖中存在空洞，部分區(qū)域無(wú)法匹配，且未能排除不滿足要求的運(yùn)動(dòng)物體。圖7(g)為采用本文算法計(jì)算得到的視差圖，可見(jiàn)，得到的視差圖平滑、清晰，且排除了不滿足要求的運(yùn)動(dòng)物體。圖7(h)、7(i)和7(j)為重建結(jié)果，重建結(jié)果基本與原運(yùn)動(dòng)物體相符，符合實(shí)驗(yàn)預(yù)期。

本文也對(duì)各算法匹配時(shí)間進(jìn)行了比較，各算法運(yùn)算時(shí)間如表1所示。

表1 不同算法匹配用時(shí)

如表1所示，本文提出的算法，只針對(duì)目標(biāo)運(yùn)動(dòng)物體特征點(diǎn)較密集的邊緣區(qū)域進(jìn)行立體匹配及重建，相對(duì)于傳統(tǒng)半全局匹配算法既減少了匹配時(shí)間，同時(shí)滿足了應(yīng)用要求，達(dá)到算法設(shè)計(jì)預(yù)期。

3 結(jié)語(yǔ)

本文采用設(shè)計(jì)的快速運(yùn)動(dòng)物體重建算法對(duì)運(yùn)動(dòng)物體的進(jìn)行三維重建。實(shí)驗(yàn)結(jié)果證明本算法可以快速、有效地完成對(duì)運(yùn)動(dòng)物體的三維重建，重建效果符合預(yù)期要求，有一定的實(shí)用價(jià)值和工程應(yīng)用意義。

[1] 劉釗．基于計(jì)算智能的計(jì)算機(jī)視覺(jué)及其應(yīng)用研究[D]．武漢：武漢科技大學(xué)，2011.

[2] 邢麗冬，錢志余，等．基于圖像跟蹤的LED無(wú)影燈自動(dòng)調(diào)光方法的研究[J]．中國(guó)機(jī)械工程，2012，23(8)：923-927.

[3] Zhang．A Flexible New Teehnique for Camera Calibration[J]．IEEE Transactions On Pattern Analysis and Machine Intelligenee,2000,22(11) :1330-1334.

[4] 蔣文娟．基于雙目立體視覺(jué)的三維重建[D].南京：南京航空航天大學(xué)．2008．

[5] 王煒強(qiáng)，徐進(jìn)．基于寬基線立體視覺(jué)的遠(yuǎn)距離三維重建 [J]．浙江大學(xué)學(xué)報(bào)(工學(xué)版)，2010(6)：1073-1078．

[6] 朱克忠.基于光流法對(duì)移動(dòng)目標(biāo)的視頻檢測(cè)與應(yīng)用研究[D].合肥：合肥工業(yè)大學(xué)，2007.

[7] Zheng J, David D, Zhang Y, et al. An Algorithm for Video Monitoring under a Slow Moving Background[J].IEEE Proceedings of First International Conference on Machine Learning and Cybernetics，2003(3):1626-1629.

[8] Du Y，Zhou A，Yuan F.Moving Object Detection for Video Monitoring Systems[C].∥Proceedings of The 8thInternational Conference on Electronic Measurement and Instruments. 2007(2): 814-817.

[9] 王玲玲．基于雙目立體視覺(jué)的水下三維重建[D]．杭州：浙江大學(xué)，2011．

[10] D.Scharstein, Stereo Vision for View Synthesis[J]． Computer Vision and Pattern Recognition, 1996(6):852～858.

責(zé)任編輯：程艷艷

Algorithm of 3D Reconstruction for Fast Moving Targets Based on Edge Restriction

WANG Huan，YE Xichen

(College of Electronic and Electrical Engineering，Chuzhou University，Chuzhou 239000，China)

In surgical environment，the shadow caused by the motions of doctor’s head, hands and other parts will have influences on the quality of surgery to some extent. In order to solve this problem, the effective detection on these moving targets is necessary, and light-adjusting should be made according to their 3D information to reduce the shadow. This paper gives a fast 3D-reconstruction method, in which QT environment is combined with OpenCV to improve the efficiency of development, having strong transplantable capability; at the same time, a method based on edge restriction is applied to improve the speed and precision of 3D reconstruction. The experimental result shows that the algorithm of fast 3D reconstruction has fast dynamic response speed and high accuracy，meeting the design requirements.

moving target; 3D reconstruction; OpenCV

2016-08-26

安徽省科技廳自然科學(xué)研究重點(diǎn)項(xiàng)目(KJ2016A528)

王歡(1986-)，男，安徽滁州人， 助教，碩士，主要從事電子信息方面研究。

TP391

A

1009-3907(2016)10-0027-06