一種為三維物體表面添加紋理的精確方法
2008-01-01 00:00:00丁雅斌彭翔
計算機應用研究 2008年1期
摘要：針對真實物體進行三維數字化重建的工程中，物體的空間位置及色彩等特征的數據采集始終是一項困難的，同時卻又是十分重要的工作，設計的三維光學數字成像系統可以同時采集物體在同一個方向的深度圖像和與它精確對應的紋理圖像，在深度圖像合成的同時進行紋理圖像的融合。在進行多視角的紋理圖像融合時，對權函數的設定提出了新的準則，使融合后的紋理圖像更加逼真，可以產生高真實感的物體三維數字化模型。
關鍵詞：紋理圖像； 深度圖像； 曲面重建； 紋理獲取
中圖分類號：TP391文獻標志碼：A
文章編號：1001－3695(2008)01－0300－03
近年來，三維數字成像及造型技術已經應用到越來越多的領域，如虛擬現實、生物醫學等。它致力于逼真的還原現實物體，因此，在重建物體的幾何模型后，如果在模型表面疊加對應于物體的表面紋理，使得物體的外觀看起來與現實世界中的物體相似，那么就增加了所重建物體的真實感。構造紋理通常可考慮紋理的提取與紋理的融合。紋理的提取是為了尋找點的三維坐標與紋理坐標的對應關系，為將紋理圖像映射到深度圖像上做準備；而紋理融合，就是要將多個坐標系下的紋理圖像融合成一幅。
重建物體的帶紋理模型時，由于觀察方向和物體本身形狀的限制，通常不可能一次得到描述物體的所有深度數據，而需要從不同方向得到深度圖像，然后把這些深度圖像合成在一起。這一問題已經進行了大量研究[1~3]。而利用激光點掃描或線掃描得到物體一個方向的深度信息時，很難同時得到對應于此深度信息的紋理圖像。很多研究者在處理此情況時，將深度圖像的合成與紋理圖像的融合分為兩步進行，即先用掃描真實物體所得的深度圖像生成幾何模型，然后用數碼相機單獨對真實物體進行多視點的拍照，再通過尋找照片與幾何模型的對應關系，進行紋理融合和紋理映射，如DeMenthon等人[4]和Rocchini等人[5]，但是，由于不是同時獲得深度圖像和紋理圖像，它們之間的對應關系存在著一定的偏差。另外，在進行紋理融合時，權函數的設置，直接關系到最終融合的紋理圖效果。Rocchini等人[5]利用點是否在紋理圖中可見作為權函數進行分片紋理融合，并且將融合后的紋理片打亂順序填充成矩形紋理圖。但是該方法生成的紋理圖不夠直觀，不利于實時編輯；Debevec等人[6]為建筑物繪制紋理圖像，描述了一種與視角無關的紋理生成方法，設置權函數時只考慮了點是否在紋理圖中可見；Pighin等人[7]依靠觀察方向與曲面在某點的法線夾角建立權函數，在虛擬的柱坐標系進行紋理融合。但是由于進行柱坐標系的變換，帶來了一些誤差。
本文針對紋理的提取，即深度圖像與紋理圖像的對應，以及紋理融合的權函數的設置分別討論，提出了新的改進方法。對于紋理的提取，利用三維光學數字化系統3DODS[8]，得到同一個觀察方向的深度圖像和真彩色紋理圖像，通過設置采樣點的六個自由度信息，建立深度圖像與紋理圖像之間的對應關系，在多視角深度圖像合成的同時，進行多視角的紋理圖像的融合。減少由于深度圖像與紋理圖像分開采集，再尋找對應關系所帶來的誤差；而對于紋理融合，建立了一個新穎的權函數，加入了視點依賴性的概念，更加真實地反映不同觀察方向所得紋理圖對最終紋理圖的貢獻，同時減少了坐標變換所帶來的誤差。
1紋理的提取
紋理的提取可以定義為：獲取一個紋理圖像的集合，以及對應于每一張紋理圖像的變換參數（包括相機的內、外參數，拍攝的觀察角度），計算出重建好的幾何模型上的每一個點p對應于紋理圖像上的顏色值T(p)， 即建立物體三維空間坐標(x， y， z)與紋理空間坐標(u， v)之間的對應關系。
三維光學數字成像系統（3DODS）如圖1所示，它由非相干光投影單元和特別設計的正弦光柵及光學成像單元組成。它可以同時得到一個方向的深度圖像和紋理圖像。
一個方向的深度圖像和紋理圖像均是攝像機一次采集下的面陣圖像。為深度圖像上每一個采樣點所處的行和列編號，就可以精確知道此點在紋理圖像中所對應的像素，進而可以知道深度圖像網格表示中每個三角形區域所對應的紋理區域，達到紋理圖像與深度圖像精確的對應。
利用3DODS系統得到物體離散的采樣點信息包括六個自由度(x， y， z， u， v， c)。其中：(x， y， z)表示點的三維空間坐標；(u，v)表示點的紋理坐標；c表示點的顏色值，它又包括 (R，G，B)三個分量。這樣做的優點是將點的信息從三維空間上升到紋理空間，那么在對多個視角的深度圖像的(x， y， z)分量進行匹配時，所得到的坐標變換矩陣可以同時應用到(u，v)分量，即點的三維坐標與紋理坐標同時進行坐標系的變換，并且應用同一個變換矩陣，保持了采樣點六個自由度內部聯系不變，從而保證了紋理映射的精確性。
2重合區域紋理融合的權值設定
由于拍攝角度的限制以及由此造成的光線不均和陰影等問題，一張紋理圖像不可能包括物體的全部顏色信息，需要進行多視角的拍攝。那么幾何模型上的點p可能在一張或幾張紋理圖像上可見，必須判斷點p在每張紋理圖像上的對應點，并且由于觀察角度的關系，這些對應點的顏色值不可能完全一樣，還要找到它們之間的權值關系，以此為依據將點p的多個視角的對應點的顏色值融合到一起，使點p有惟一的顏色值T(p)。將該概念推廣到幾何模型上的所有點，為每一個點找到惟一的顏色值，也就是將不同坐標系拍攝的所有紋理圖像變換到同一個坐標系，得到重合區域并進行對應點的顏色融合，形成一張紋理圖像。點p的顏色值為
其中：Ik是圖像函數，表示點p在第k幅紋理圖像中的顏色；(u，v)表示點p在第k幅紋理圖像中的紋理坐標；Wk(p)是權函數，表示點p在第k幅紋理圖像中的顏色對融合后的紋理圖的貢獻。
可以看出，紋理融合的一個關鍵就是權函數的設置。很多研究者[4~7]對權函數的設置提出了不同的方法，但總體上說，權函數的設置可以歸納為兩個準則：
d×dk表示世界坐標系的觀察方向與當前紋理圖像的觀察方向的夾角的余弦值；
dk-1×dk+1表示當前紋理圖像的左右相鄰的兩個紋理圖的觀察方向的夾角余弦值的和。
如果當前紋理圖像的左右相鄰兩個紋理圖像的觀察方向夾角越大，則它們的點積就越小。這說明當前紋理圖像與相鄰的兩個紋理圖像的局部聯系弱一些，則它對最終的紋理圖像的貢獻就多一些，此紋理圖像中的對應點的顏色值占的權重就大，并且在當前視點的紋理圖像內，如果點離邊界越遠，說明該點在圖像的中間，則它的權值就越大。
只是單純依靠曲面法線和觀察方向夾角為權值建立的紋理圖，它在重合區域的顏色細節會有一些失真，而視點依賴性正是強調了相鄰局部坐標系間的相互關系，減輕了由于坐標變換所帶來的誤差，使最終的紋理圖更加逼真；同時，它還保證了不同觀察方向上得到的紋理圖像的光滑連接。
因此，本文把視點依賴性作為建立權函數的第三個準則。利用可見性、位置性、視點依賴性三個準則，建立本文的權函數為
3實驗結果
首先在合成深度圖像時，對采樣點的行和列重新編號，這些點的編號對應于紋理圖像中像素的位置；其次在合成紋理圖像時，紋理圖像中對應每個采樣點的像素所在的位置應該與深度圖像中對應此采樣點的行和列的編號一致，同時保證所得到的紋理圖像的長度和寬度是2的整數次冪。
合成的紋理圖由兩部分組成，即各個局部視圖的紋理圖像中非重合區域的紋理和重合區域的融合紋理。以合成兩個相鄰觀察方向的紋理圖像為例。假設合成的兩個深度圖像分別是R1和R2，其對應的紋理圖像記為T1和T2，合成后的深度圖像和紋理圖像分別是RM和TM。假設R2 位于R1的右邊，R2 相對于R1僅有繞y軸的旋轉或相對于x軸的平移。這樣，紋理圖像也僅在寬度方向上有變化，從而在合成的深度圖像中，不必考慮采樣點行編號的變化。如圖3所示。灰色部分A表示T1中的非重合區域紋理；陰影部分B表示T2中的非重合區域紋理，空白部分C 表示兩視圖重合區域的融合紋理。
對于兩視圖非重合區域的紋理，其紋理顏色不發生變化。首先將T1中的非重合區域的紋理裝入TM中，其內的采樣點的行編號和列編號均不發生變化；然后將T2中的非重合區域的紋理裝入TM中，其內的采樣點的行編號不發生變化，而列編號要相應地增加一段位移。該段位移表示為同處一行的T1中非重合區域的寬度。
對于兩視圖重合區域的紋理，先進行對應點的顏色的加權融合，得到重合區域的三角形網格頂點的顏色信息。在處理三角形內部顏色時，采用雙線性插值的方法，對三角形所包含的像素逐一賦值。而對于判斷三角形內部點的紋理坐標，采用依靠重心坐標插值的方法。首先已知三角形的三個頂點的三維空間坐標p1，p2，p3和紋理坐標
4結束語
在合成的深度圖像的基礎上提出了一種精確合成對應的紋理圖像的方法，實現了在深度圖像上疊加紋理圖像的實時顯示。一方面，在紋理圖像的獲取上從兩點表現了精確性。a)物體的深度圖像和紋理圖像同時獲取，設置采樣點的六個自由度信息(x， y， z， u， v， c)，使點的三維空間坐標和紋理坐標一一對應；b)合成深度圖像所用的坐標變換矩陣同時應用于融合紋理圖像，保證了點的六個自由度的內部聯系不變。另一方面，在紋理圖像的融合時，為權函數加入了視點依賴性的條件，彌補了由于坐標變換所帶來的誤差，得到了實體自由表面紋理的逼真效果。
(a) 深度圖像網格(b) 紋理圖像（正面）(c) 紋理圖像（偏轉）
參考文獻：
[1]ZHANG Zong hua， PENG Xiang， SHI Wei qiang， et al. A new method for multi view range image fusion [C]//Proc of SPIE the Int Society for Optics and Optoelectronic Inspection and Control.Bellingham:[s.n.]，2000:115 119.
[2]LIU Z， DING Y， PENG X. Generalized isosurface equation and its application to multi view range images integration [J]. OPTIK， 2004，115(2):71－76.
[3]CURLESS B， LEVOY M. A volumetric method for building complex models from range surfaces [C]//Proc of SIGGRAPH’96. New Orleans:[s.n.]，1996:303－312.
[4]DeMENTHON D， DAVID P， SAMET H. SoftPOSIT: an algorithm for registration of 3D models to noisy perspective images combining softassign and POSIT，Technical Report CAR TR－969，CS TR－4257[R].Maryland:Center for Automation Research，University of Mary￣land， 2001.
[5]ROCCHINI C， CIGNONI P， MONTANI C. Multiple textures stitching and blending on 3D objects[C]//Proc of the 10th Euro graphics Workshop on Rendering.Granada:Springer Verlag，1999:173 180.
[6]DEBEVEC P， TAYLOR J， MALIK J. Modeling and rendering architecture from photographs: a hybrid geometry and image based approach [C]//Proc of SIGGRAPH’96.New Orleans:[s.n.]，1996:11－20.
[7]PIGHIN F， HECKER J， LISCHINSKI D， et al. Synthesizing realistic facial expressions from photographs [C]//Proc of Computer Gra￣phics， Annual Conference Series， Siggraph. 1998:75－84.
[8]彭翔，張宗華，朱紹明，等. 基于白光數字莫爾的三維光學數字成像系統 [J]. 光學學報，1999，19(10)：1401 1405.
[9]SZELISKI R. Image mosaicing for tele reality applications [C]//Proc of IEEE Workshop on Applications of Computer Vision. Saratoga， Florida:[s.n.]， 1994:44－53.
“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”
