單幅圖像三維目標定位及重建

裴婭男

(山西大學商務學院， 山西 太原 030031)

單幅圖像三維目標定位及重建

裴婭男

(山西大學商務學院， 山西 太原 030031)

首先對圖像進行拉普拉斯濾波處理，進而利用Canny算子對圖像進行邊緣檢測，通過Hough變換檢測目標圖像，采用CAD輔助提取邊界直線，基于滅點理論標定數碼相機，之后采用透視投影模型中基于圖像相對深度方法對圖像三維信息進行恢復。最后計算出了目標物體的特征點三維坐標，實現目標定位。通過CAD實現模型的重建與顯示。

目標定位; 三維重建; 邊緣檢測; 滅點

0 引 言

計算機視覺就是利用計算機來實現人類視覺功能，通過二維圖像來感知三維場景的一種能力。基于單幅圖像的建模在計算機視覺領域是一個重要的分支。這一建模過程是對單幅圖像提取重要的信息，通過圖像中的坐標系定位到空間中的三維坐標系中，從而實現目標定位。三維重建是將已三維目標定位的物體通過計算機建造出具有圖像真實感的虛擬立體結構[1-2]。

與基于多幅圖像的建模方法相比，基于單幅圖像的建模避免了多幅圖像的計算機視覺匹配問題。同時,基于單幅圖像的建模也存在其缺點，單幅圖像包含的三維信息少，如果事先無法知曉目標物體的邊緣、平行垂直關系以及共面等問題，三維目標定位與重建過程極其困難。但對于房屋、建筑、公路等結構化的場景圖像，采用單幅圖像三維重建技術能夠較好地還原真實的場景，對于城市規劃設計，基于圖像測量等領域有著十分重要的意義。

近年來，眾多學者利用單幅圖像中已知的幾何信息對目標物體實現三維重建。在國外，Caprile和Torre[3]首先提出了利用滅點進行攝像機標定的思想。在給出并證明了滅點屬性的基礎上，根據滅點與攝像機內參數的關系通過單幅圖像確定攝像機的內參數，再由根據特定模板計算攝像機的外參數。還有一些學者提出了一種利用滅點實現單幅圖像中三維物體重建的方法，但是其方法較為復雜，不適合推廣[4-5]。國內學者張祖勛[6]等通過分析滅點幾何建立了影像直線段與方位元素的直接聯系，根據最小二乘平差的有關理論，給出了迭代計算影像的內、外方位元素的方法，并在三維重建的實踐中進行了驗證。

1 算例與三維重建流程

面包機的圖像如圖1所示。

圖1 面包機原始圖像

面包機旁邊有一個長方體參照物，其尺寸為6.4 cm×6.4 cm×3.8 cm。文中將通過三維目標定位及重建技術確定面包機在空間中的位置，并實現其三維重構。

要想實現基于單幅圖片中目標物體的三維目標定位以及重建過程，需要經過以下步驟：對圖像預處理、圖像邊緣檢測、Hough變換求解直線目標、求取主滅點坐標并建立平面坐標系與世界坐標系的映射關系、求解相機的內外參數,最后實現三維物體的目標定位并實現三維重建。三維構建的流程如圖2所示。

圖2 三維構建的流程圖

通過對圖1進行該流程圖的操作，即可以實現圖中面包機的目標定位以及三維重建過程。

2 圖像預處理

2.1圖像灰度化

圖1給出的圖像是彩色圖像，而后續的特征提取、匹配等處理的是灰度圖像，所以需要將彩色圖像轉化為灰度圖像。文中分別采用灰度化處理的最大值法、平均值法和加權平均值法進行轉化，并對結果進行對比分析。

不同方法下圖像的灰度化處理結果如圖3所示。

(a) 原圖 (b) 加權平均值法

(c) 平均值法 (d) 最大值法

2.1.1 加權平均值法

根據重要性給R,G,B分量賦予不同的值，并對3個值進行加權平均。

(1)

式中:WR,WG,WB----分別是R,G,B分量的權值，其取值不同時將得到不同的灰度圖像。

結合人眼特性，一般當R=G=B=0.30R+0.59G+0.11B時，能得到最合理的灰度圖像。圖1的加權平均值灰度化結果見圖3(b)。

2.1.2 平均值法

使R,G,B分量的值等于3個值中的平均值。

(2)

圖1的平均值法灰度化結果見圖3(c)。

2.1.3 最大值法

使R,G,B分量的值等于3個值的最大值。

(3)

圖1的最大值法灰度化結果見圖3(d)。圖3中，最大值法會形成亮度很高的灰度圖像，平均值會形成較柔和的灰度圖像，而加權平均值法形成的是最合理的灰度圖像。故后文的處理全都基于圖3(b)。

2.2圖像增強

2.2.1 灰度修正

灰度化后的圖像的亮度范圍不足和非線性使圖像的對比度不理想，這將會對圖像的后續處理帶來困難，同時對比度小也將增加產生錯誤匹配的可能性，故采用灰度修正擴大圖像的灰度范圍，增強圖像的對比度。

設原始圖像f(x,y)的灰度范圍是[m,M]，處理后的圖像為g(x,y)，變換增強可描述為：

(4)

2.2.2 直方圖修正

為了改善圖像的質量，采用直方圖均衡化處理對灰度分布進行變換改變。直方圖均衡化處理是以累積分布函數變換法為基礎的直方圖修正法[7]。

對比灰度調整前后的圖像及其直方圖如圖4所示。

(a) 修正前的圖像

(b) 直方圖修正后的圖像

從直方圖可以看出，變換前的圖像的灰度范圍主要集中在75～160，變換后填滿整個灰度范圍。很明顯，變換后的圖像比變換前的圖像具有更好的視覺效果，且對于特征檢測以及圖像匹配采用變換后的灰度精度大大提高。

2.2.3 空域濾波增強

經過分析，原圖像受到了噪聲的干擾,圖像質量較差。為了抑制噪聲、改善圖像質量,要對圖像進行空域濾波處理----平滑(低通)濾波和銳化(高通)濾波。

首先采用中值濾波對圖像進行處理，中值濾波對于濾除圖像的顆粒噪聲十分有效，圖像上的噪聲幾乎全部被清除。隨后，采用Unsharp算子進行圖像銳化處理，圖像的邊緣及灰度改變部分得到了增強。經銳化處理后的圖像的邊緣提取效果更好，可以提取到微細的邊緣，提取到的邊緣特征更多。經過濾波處理的圖像如圖5所示。

圖5 經過濾波處理的圖像

3 邊緣檢測

3.1邊緣檢測法

邊緣檢測就是以原圖像為基礎，考察圖像各個像素的某個領域內灰度階躍變換，利用邊緣鄰近一階或二階方向導數變換規律的檢測邊緣。文中使用了Robert算子、Prewitt算子、Sobel算子、Canny算子。經過對比，優選Canny算子，因為其具有良好的信噪比和檢測精度。

3.2 Canny算子

利用Canny將邊緣檢測問題轉化為檢測單位函數極大值的問題，為一個邊緣檢測算子定義了目標集，并用優化的方法實現邊緣的檢測。

步驟1:將圖像進行高斯卷積以消除噪聲。

步驟2:利用導數算子找到圖像灰度沿著兩個方向的導數Gx,Gy，并求出梯度大小|G|與梯度方向θ：

(5)

步驟3:求出邊緣的方向后，把邊緣的梯度方向大致分為4種(垂直、水平、45°方向和135°方向)，并找到這個像素梯度方向的鄰接像素。遍歷圖像，若某個像素的灰度值與其梯度方向上前后兩個像素的灰度值相比不是最大的，那么將這個像素值置為0，即不是邊緣。累計直方圖計算兩個閥值，大于高閥值的一定是邊緣；反之則不是邊緣。若值在兩個閥值之間，則判斷鄰接像素中是否有超過高閥值的邊緣像素，若存在，則為邊緣，否則不是。利用Canny算子對圖5進行邊緣檢測，得到的結果如圖6所示。

圖6 Canny算子檢測邊緣后結果

由圖6可以看出，經過邊緣檢測后，得到的圖像效果非常理想。

4 Hough變換提取直線

對圖像進行邊緣檢測以后，需要將邊界直線和解析曲線有效地定位。國內外采用一種經典的方法為Hough變換方法，利用圖像全局特性而直接檢測目標輪廓。Hough變換是把二值圖像變換到Hough參數空間，在參數空間用極值點的檢測來完成目標的檢測。對直角坐標系中的直線，它的方程在極坐標可以寫成：

(6)

式中：ρ----原點到直線的距離；

θ----該直線的法線與軸的夾角；

A----振幅。

要檢測圖像中的直線，可建立二維累加數組,對于二維圖像的每個目標點，讓θ依次變化并計算ρ的值。對A進行累加，累加數組中最大的點即為對應直線的參數。Hough變換把直線檢測問題轉換到參數空間里對點的檢測問題，通過在參數空間里進行簡單變換的累加統計完成檢測任務。Hough變換直線檢測后所得的結果如圖7和圖8所示。

圖7 Hough變換后的ρθ坐標系

圖8 Hough變換后檢測出的直線

由圖8結果顯示，Hough變換所獲取的直線信息量不足，這與運算的精度和算法的框架存在一定的關系；由圖7同樣反映出坐標系中的特征點數目較少，沒有提取出足夠多的直線段。下文將通過CAD輔助提取直線。

5 CAD提取直線與滅點的求解

5.1 CAD輔助提取直線

由于Hough變換提取直線信息不足，文中將采用CAD輔助提取直線的方法來獲取圖1中面包機的邊界信息。

CAD中可以很容易地獲取到圖像中點的坐標信息，因此可以獲取到視圖中所有直線的點斜式方程。通過在CAD中對面包機邊界點的連線，就可以獲得各個邊界的直線方程。CAD輔助提取直線的方法如圖9所示。

圖9 CAD輔助提取直線

5.2滅點的求解

滅點位于圖像平面的有限遠位置，可能位于圖像平面內，也可能位于圖像平面外。當空間的平行線與圖像平面平行時，它們的透視投影成像在圖像的無限遠處。滅點的屬性決定了可以由此得到攝像機的內外參數。

理想狀態下滅點是平行線透視投影匯聚于一點形成的，故對于每個方向的滅點需要至少兩條平行線的方程，根據數學公式便可求出直線交點坐標。但實際中由于圖像變形、圖像檢測直線時存在誤差，交點可能會交與不同的點上。文獻[8]中給出了一種解決方法，即選取3個點到待標定物體主視點最近的一個點選取為該方向上的滅點。

通過在CAD中對圖1中面包機的9個可見邊界進行連接，可以獲取到9條直線的點斜式方程。將這9條直線的方程改寫為一般式，用Lingo求解其交點，最后獲得3個滅點的坐標見表1。

表1 滅點的坐標

6 基于滅點的相機內外參數求解

由文獻[8]對點式攝像機的模型介紹，滅點得到以后，需要確定世界坐標系與攝像機坐標系間的轉換關系。攝像機內、外參數采用透視投影模型進行研究，確定目標點之間相對深度關系，恢復三維信息，實現目標定位。

6.1相機內參數的求解

設內參數K,fx和fy分別為攝像機在u軸和v軸上的尺度因子。由于相機的縱橫比為1∶1，即fx=fy=1，故

(7)

式中：K----攝像機內參數;

f----攝像機焦距;

O(u0,v0)----主點圖像坐標。

設3個主滅點坐標為X(xx∞,yx∞),Y(xy∞,yy∞),Z(xz∞,yz∞)，由滅點屬性得

(8)

求解方程組(8)可以解得u0=1 322，v0=-658.675，f=2 153。故可得到相機的內參數矩陣

(9)

6.2相機外參數的求解

從計算機視覺角度來說，攝影測量中的外方位元素包括6個參數，其中3個是角元素，用于描述圖像的空間姿態，對應于計算機視覺中的旋轉矩陣R；另外3個是用于描述攝影中心的空間坐標值，對應于平移向量t。

6.2.1 旋轉矩陣R

首先需要確定外方位角元素，3個外方位角元素的正切值計算方法如式(10)～式(12)。

(10)

(11)

(12)

求解方程可計算出外方位角元素的值見表2。

表2 外方位角元素的值

旋轉矩陣是由3個方位角元素來計算，旋轉矩陣可分解為3個相互正交方向旋轉的組合。

(13)

(14)

(15)

(16)

求得旋轉矩陣的值為

6.2.2 平移向量t

根據文獻[8-9]，攝像機坐標系與世界坐標系之間的變換關系為

(17)

式中：Pw----空間點P在世界坐標系中的非齊次坐標；

Pc----點P在攝像機坐標系下的非齊次坐標。

由于攝像機原點對應的Pc為0，可以根據攝像機坐標原點在世界坐標系中的非齊次坐標C，得到平移矢量t=-RC。

(18)

式(18)中，λ為相對深度，其求解方法將在后文介紹。

7 目標定位

7.1透視投影模型的非齊次坐標關系

當攝影測量坐標系與像空間坐標系對應坐標軸不平行時

(19)

式中：(X, Y, Z)----空間某點P在世界坐標系中的非齊次坐標；

(Xc,Yc,Zc)----攝像機中心在世界坐標系中的非齊次坐標C；

(x,y)----點P在圖像中的投影；

(x,y,-f)----點P在像空間輔助坐標系下的非齊次坐標；

λ----相對深度。

在計算機視覺中，文中采用的是三參數模型[10]，于是有

(20)

寫成向量形式有

(21)

式中：K----攝像機內參數矩陣;

X----空間點世界坐標系中的齊次坐標;

x----其對應圖像投影的齊次坐標;

7.2相對深度求解

在單幅圖像建模中,相對深度是一個很重要的參數。根據文獻[7],空間任意一個矩形的4個頂點為P1,P2,P3,P4，矩形在圖像平面的透視投影為四邊形p1p2p3p4。

對應的相對深度為λ1,λ2,λ3,λ4。由公式

(22)

那么設定λ1，便可以求出相應的λ2,λ3,λ4。

空間矩形在圖像平面的透視投影如圖10所示。

圖10 空間矩形在圖像平面的透視投影圖

在圖1中，已經獲取到小長方體的邊長，因此可以通過小長方體用來計算相對深度。

通過對圖1中小物塊選取P1，P2，…，P6，6個點的選取如圖11所示。

圖11 小物塊頂點的選取

將點的坐標代入式(21)和式(22)計算即可得到λ值，見表3。

表3 相對深度取值

由表3可以觀察到第4個相對深度值有兩個值，可以取平均值賦給λ4。

7.3三維信息恢復

由7.2可知，重復使用式(21)和式(22)就可以得到長方體各頂點間的相對深度，進而確定長方體的長、寬、高的比例信息，恢復三維信息，實現目標定位。

空間某長方體的立體信息及在圖像中的透視投影如圖12所示。

圖12 空間長方體的透視投影圖

假設長方體的長、寬、高分別為a,b,c，以其頂點P1為原點，以P1P2,P1P3,P1P4為坐標軸建立世界坐標系，則長方體各個頂點可表示為:P1=(0,0,0)T,P2=(a,0,0)T,P3=(0,b,0)T,P4=(0,0,c)T,P5=(a,0,c)T,P6=(0,b,c)T,P7=(a,b,0)T,P8=(a,b,c)T。

各點對應的圖像投影為p1～p8，對應圖像坐標為(ui,vi)(i=1,2,…,8)，相對深度為λ1～λ8。

先在面P1P2P5P4和面P1P3P6P4中計算頂點相對深度，將各頂點代入式(21)，可求解出λ1～λ6。

假設

(23)

即

K-1Vi=RPi

若再有

(24)

考慮到R是單位正交矩陣知RTR=RRT=I，將式(23)代入式(24)得

(25)

(26)

a,b,c分別表示待標定物體的長、寬、高，通過式(23)～式(25)，由此可以計算出長方體的各邊之間的比例信息，重建出圖片中長方體類的目標物體的模型。最后計算出小物塊外參數矩陣

因此小物塊的長、寬、高的平方之比為

a2∶b2∶c2=0.284 5∶0.265 3∶0.091 3

故小物塊的長、寬、高之比為

a∶b∶c= 0.515 1∶0.533 4∶0.302 2=

1.704 6∶1.765 2∶1.000 0

圖1中已經給出了小物塊的實際長、寬、高，其比值為

1.684 2∶1.684 2∶1.000 0

由結果比較可知，計算出的結果能夠近似地等效小物塊在實際中的長、寬、高之比。

在世界坐標系中實際物體相互平行的邊界的比例關系在圖像坐標系中保持不變。運用這一性質于圖1，可以獲得面包機與小物塊的比例關系，將同樣的方法運用于面包機，可以計算出面包機的大致尺寸見表4。

表4 面包機的實際尺寸 mm

7.4實現目標定位的主要流程

至此，已經完成了對于一個物體實現目標定位的所有步驟，現將其總結如下:

1)獲取世界坐標系的3個主方向上空間平行線束的投影線段及其端點坐標；對由投影直線方程系數構成的對稱矩陣求特征值及特征向量，從而獲取3個主滅點坐標。

2)根據滅點與攝像機內外參數的關系，計算攝像機內參數矩陣K及旋轉矩陣R。

3)設定世界坐標系和坐標原點對應的相對深度λ1。

4)由式(18)求取攝像機中心在世界坐標系的三維非齊次坐標C。

5)由式(22)獲取在長方體各頂點的初步相對深度，同時由式(26)計算出在相差一個全局因子的情況下立方體三參數初步的比例信息。

6)計算出立方體各個頂點修正的相對深度值及長、寬、高的相對值。

7)將立方體的各個面劃分為多個小塊，計算各小塊的邊長信息，獲取對應各頂點的三維坐標。

8 三維重建

三維重建過程包括虛擬模型重建和紋理映射兩個過程。虛擬模型重建是指運用虛擬現實技術在計算機中產生一個三維虛擬環境，通過人的視覺作用于人，使人產生身臨其境的感覺。常采用的軟件有OpenGL和VRML語言。紋理映射是指將實際物體的紋理粘貼到虛擬模型上，這樣可以增強立體真實感，但由于單幅圖像缺少必要的立體信息，因此完整的粘貼會造成扭曲變形。文獻[8]中提到了一種分塊貼圖的方法，能夠一定程度上提高紋理映射的質量。

最后，文中利用CAD結合表4中的基本尺寸對模型進行了重建，效果如圖13所示。

圖13 CAD三維重建后的面包機

9 結 語

通過對一個實例進行分析，探究了基于單幅圖像的三維目標定位和三維重建技術。

首先，采用不同的方法對原始圖像進行灰度化和濾波處理，最后選取了加權平均值灰度化及空域濾波增強技術，起到了理想的效果；隨后又比較了多種邊緣檢測的算法，并擇優選取了Canny算子提取圖像，為Hough變換選取直線提供了較準確的結果。

由于計算機硬件限制不能進行大量數據的計算，只能將圖像像素降低進行Hough變換，同時也降低了變換檢測直線的精確度，因此在Hough變換提取直線過程中并未達到理想的效果。最后采用了CAD輔助提取直線的方法獲得了物體的邊界方程。

隨后采用了經典的目標定位法作為滅點的求解、相機的內外參數求解、目標定位等一系列求解過程，最后得到了較為理想的目標尺寸標定結果。

通過CAD結合已求解的參數進行三維重建，在重建過程中忽略了紋理映射這一過程，最后的虛擬模型能夠在一定程度上反映并還原圖像中的物體。

[1] 陳勝勇，劉盛.基于OpenCV的計算機視覺技術實現[M].北京：科學出版社，2008.

[2] 馬頌德，張正友.計算機視覺：計算機理論與算法基礎[M].北京：科學出版社，1997.

[3] CaPrile, Torre. Using vanishing poinis for camera calibration[J]. International Journal of Computer Vision,1990,4(2):127-140.

[4] 鄧剛，張志強，孫濟洲.用未標定相機構造三維模型[J].系統仿真學報，2001，13(S1):42-44.

[5] 齊全.基于單幅圖像的交互式建模技術研究[D]：[碩士學位論文].青島:青島大學，2008.

[6] 張祖勛，吳軍，張劍清.建筑場景三維重建中影像方位元素的獲取方法[J]．武漢大學學報，2003，625(3):265-270.

[7] 張弘.數字圖像處理與分析[M].北京：機械出版社,2007.

[8] 于艷.基于單幅圖像目標定位及三維重建的研究[D]：[碩士學位論文].南京：南京理工大學，2009.

[9] 王光輝.基于圖像的測量及三維重建研究[D]：[博士學位論文].北京：中國科學院自動化研究所，2004.

[10] 余松煌，周源華，張瑞.數字圖像處理[M].上海：上海交通大學出版社,2007.

Single image 3D object location and reconstruction

PEI Ya-nan

(Business College of Shanxi University, Taiyuan 030031， China)

A single image is filtered with Laplace Filter, edge-detected with Canny algorithm and then Hough transforms is used to detect the target image. Boundary lines are extracted by using CAD, and camera is calibrated based on vanishing point theory. With the image relative depth method in perspective projection model, we recover the 3D information. We calculate out the 3D coordinates of the target and reconstruct and display the model with CAD.

object location; 3D reconstruction; edges detection; vanishing point.

2014-05-25

裴婭男(1985-)，女，漢族，山西太原人，山西大學商務學院助教，碩士，主要從事圖像處理方向研究,E-mail:janypei@163.com.

TP 231.5; TP 735

A

1674-1374(2014)06-0660-08