一種基于梯度和與一致性組合策略的無縫紋理映射方法研究

王 一,胡 莘,周 瑜,陳巍然

(1.長安大學，陜西 西安 710054;2.航天星圖科技(北京)有限公司，北京 100083;3.西安測繪研究所，陜西 西安 710054;4.西安航天天繪數據技術有限公司，陜西 西安 710061)

一種基于梯度和與一致性組合策略的無縫紋理映射方法研究

王 一1，2,胡 莘3,周 瑜3,陳巍然4

(1.長安大學，陜西 西安 710054;2.航天星圖科技(北京)有限公司，北京 100083;3.西安測繪研究所，陜西 西安 710054;4.西安航天天繪數據技術有限公司，陜西 西安 710061)

針對三維紋理映射中存在接縫、顏色差異大等問題，采用基于梯度值之和的選片算法，結合一致性檢查、全局顏色校正和局部顏色校正等策略，消除影像的模糊、重影與色差，實現無縫紋理映射，同時避免影像失焦和障礙物的影響，試驗結果表明，該方法紋理映射效果較好。

梯度值之和;一致性檢查;全局顏色校正;局部顏色校正;無縫紋理映射

目前，隨著“互聯網+”趨勢不斷深化，三維重建技術已廣泛應用于無人機測繪、街景地圖、無人駕駛等領域中。紋理映射作為三維重建的重要部分，主要是利用相機參數等相關信息，將二維紋理圖像映射到三維模型的表面[1]，從而生成三維實景模型。由于紋理圖像來自不同的影像，存在視角、亮度、相機參數和幾何變形等差異，會造成重建的紋理不連續、色差大，這是目前紋理映射研究的主要問題。針對以上問題，Bernardini等采用加權融合多個紋理影像塊的方法，獲得連續的紋理[2-5]。但這種方法容易造成影像模糊和重影，并且無法解決參考影像分辨率不一致[6]。Velho和Sossai提出只選擇一幅“最佳”紋理影像，并在紋理區域間進行平滑的方法[7]，可以一定程度上解決上述問題。Lempitsky和Ivanovt提出了基于法向量夾角的選片方法和全局顏色校正方法[6]，進一步提升了紋理映射效果，但無法避免影像失焦影響，同時存在明顯的影像色差。Gal等和Waechter等都基于該方法進行了改進，Gal提出了梯度值之和代替法向量夾角作為選片的基本測度，同時在顏色校正方面使用了局部Poisson混合算法[8]。Waechter提出了一致性檢查的選片策略，并同時結合全局校正和局部校正優化映射效果[11-16]。本文主要基于Lempitsky和Ivanovt的方法，結合Gal和Waechter的研究成果，從選片和顏色校正兩方面進行改進，實現無縫紋理映射。

1 算法原理

目前，三維紋理映射主要實現兩個目標：第一是為每一個三角面元選擇合適的紋理貼圖；第二是進行顏色校正消除三角面元間的色差和接縫，使這個紋理模型過度自然、真實和美觀。

1.1 參考影像選擇

選擇參考影像應同時考慮兩方面的問題：①單個三角面元的紋理影像塊具備高分辨率、高對比度、低各向異性等特點，得到最佳紋理效果；②各相鄰三角面元的紋理影像塊應保證顏色相同或相近，盡量減少色差。

針對以上兩個問題，構建能量方程[6]，用來量化計算選片對整體紋理映射效果的影響：

(1)

式中：EQ(M)為單個三角面元選取參考影像的能量值，ES(M)為相鄰面元的能量值，二者相加的總能量值E(M)越小，則表示紋理映射效果越好。

EQ(M)由下式計算得到

(2)

ES(M)由下式計算得到

(3)

E(M)的最小化問題實際上就是一個馬爾科夫隨機場問題，本文采用Graph Cuts[6,8-10]方法來優化模型，得到最優化的選片結果。

1.2 顏色校正

選片將參考影像相同且相互連通的三角面元組成一個區域，不同區域的紋理存在顏色差異，需要進行全局顏色校正與局部顏色校正獲得更好的紋理效果。Lempitsky和Ivanov構造了leveling函數[6]g進行全局校正。對于三維模型而言，leveling函數g表示各頂點的顏色改正值。Leveling函數應滿足以下兩個約束條件：

1)同一區域內的頂點改正值應相同，

(4)

2)同一個頂點在各相鄰區域中經改正后，顏色值應相同，

(5)

根據這兩個條件可得到下式：

(6)

利用最小二乘法迭代求解，即可得到每個頂點的顏色改正值g。再利用g進行內插，就可以對整個紋理影像塊進行顏色校正。

全局校正后，區域間的顏色差異會得到顯著的減弱，但是無法完全消除區域相鄰邊的接縫，因此需要進一步進行局部校正。本文采用Poisson編輯[8,11]的方法進行局部校正，取得很好結果。

1.3 本文紋理映射方法

依據上述算法原理，本文采用的紋理映射方法流程如圖1所示。

圖1 紋理映射流程

算法具體說明如下：

1)檢查影像可視性。通過三維模型和原始影像的變換關系，確定每個三角面元在哪幾幅影像上可視。

2)參考影像選擇。利用三維紋理選片方法，使得單個三角面元的紋理映射效果和相鄰三角面元的紋理差異同時達到最優。但是該方法在實際應用中還存在以下問題：①不能排除失焦影像的影響。該方法采用法向量夾角最小的策略，在實際應用可能會選取失焦模糊的影像作為參考影像，影響紋理映射效果。②易受未被建模物體(行人或者障礙物)的影響。

Gal的方法并沒有解決第二個問題，相反，由于采用的梯度值和的策略，會加劇這個問題(有行人或障礙物的影像梯度會更大)。因此本文在選片前采用Waechter提出的一致性檢查方法剔除這些影像，影像一致性檢查的步驟如下：計算三角面元在對應的每個參考影像投影區域上的顏色均值ci；計算所有ci的均值μ和協方差矩陣∑；對每幅參考影像計算高斯函數值：

(7)

剔除高斯函數值大于一定閾值的參考影像；重復2～4步直至滿足一定閾值即可。

通過一致性檢查，可以剔除顏色顯著不同的參考影像，因此避免了以上問題的影像。

3)三角面元合并。利用區域生長的方法，將參考影像相同且相互連通的三角面元合并，生成若干區域。

5)進行紋理映射生成三維紋理模型。

2 試驗與分析

為了驗證上述算法的有效性，對lionHanau和derass兩組數據進行紋理映射試驗。兩組數據概況見表1。

表1 試驗數據概況

兩組數據的三角網格模型如圖2所示。

圖2 lionHanau數據和derass數據格網模型

經過本文方法處理后，得到的三維紋理模型如圖3所示。

本文在選擇參考影像時，使用了基于投影區域梯度值之和的策略，為了證明該策略可以有效地剔除失焦模糊影像的影像，將derass數據的一幅影像進行模糊處理，如圖4所示。

在處理過程中如果選取了上圖作為參考影像，會嚴重影響最終結果。圖5左為使用Lempitsky和Ivanov方法進行紋理映射后的結果，可以看出圖中黑圈內的區域選取了模糊紋理。右為使用梯度值之和作為選片策略的結果，可以看出該方法并沒有受到模糊影像的影響。

圖3 lionHanau數據和derass數據紋理映射結果

圖4 影像模糊處理

圖5 兩種選片策略對比

本文還采用了一致性檢查的策略，用以消除原始影像中未建模物體的影響，對lionHanau數據中的一幅影像做如下處理(見圖6)，模擬這種情況。

圖6 圖像上設置障礙

對該數據進行紋理映射試驗，得到結果如圖7所示，左側是未進行一致性檢查的結果，右側是進行了一致性檢查的結果。由圖7可見，一致性檢查可以有效的剔除存在未建模物體的影像，從而消除了這種情況的影像。

下面驗證顏色校正部分，如圖8所示，從左到右依次是未進行顏色校正、全局校正、全局校正+局部校正的結果。可以看出，未進行顏色校正兩相鄰區域有明顯的色差，全局校正后顏色大致相同，但是區域相接處還存在明顯的接縫(如黑框內所示)，局部校正后接縫已經全部消除，并且整體無色差。

圖7 一致性檢查對比結果

3 結 論

針對三維網格模型，采用結合梯度值之和、一致性檢查、全局顏色校正和局部顏色校正等策略的紋理映射方法，實現三維模型的真實紋理映射。并進行試驗驗證，該方法可解決紋理映射中存在接縫、顏色差異大、受失焦影像和障礙物影響的問題，提高了紋理映射效果和實用性。

下一步將對如何加快運算速度進行研究，使其適用于大數據量無人機影像的處理。

[1] 萬燕，王慧潔，魯俊.基于三角網格模型的紋理映射研究[J]. 計算機應用與軟件, 2016， 33(4)：160-163.

[2] BERNARDINI F，MARTIN I，RUSHMEIER H.High Quality Texture Reconstruction from Multiple Scans[C].IEEE Transactions on Visualization and Computer Graphics，2001，7(4).

[3] DEBEVEC P，TAYLOR C，MALIK J.Modeling and rendering architecture from photographs: A hybrid geometry and image-based approach[C].SIGGRAPH，1996.

[4] OFEK E，SHILAT E，WERMAN M.Multiresolution Textures from Image Sequences[J].Computer Graphics & Applications，1997，17(2)：18-29.

[5] PIGHIN F，HECKER J，LISCHINSKI D，et al.Synthesizing realistic facial expressions from photographs[C].Proc.of the 25th annual conference on Computer Graphics，1998.

[6] LEMPITSKY V, IVANOV D. Seamless mosaicking of image-based texture maps[J] .Computer Vision and PatternRecognition. 2007：1-6.

[7] VELHO L，SOSSAI Jr J. Projective texture atlas construction for 3D photography[J] . The Visual Computer，2007.

[8] GAL R，WEXLER Y，OFEK E，et al. Seamless montage for texturing models[J]. Computer Graphics Forum，2010，29(2).

[9] KOLMOGOROV V，ZABIH R，ENERGY W.Functions Can Be Minimized via Graph Cuts?[C].IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(2)：147-159.

[10] BOYKOV Y，VEKSLER O，ZABIH R.Efficient Approximate Energy Minimization via Graph Cuts[C]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，20(12)：1222-1239.

[11] PEREZ P，GANGNET M，BLAKE A.Poisson image editing[C]. ACM Transactions on Graphics，2003，22(3):313-318.

[12] 馬利莊.紋理生成與紋理映射[J]. 浙江大學學報(自然科學版),1989(5)：202-207.

[13] 王卿.多角度傾斜攝影技術在自動紋理映射上的應用[J].測繪與空間地理信息,2016,39(10):198-200.

[14] 劉軍，許志華，劉小陽，等. 基于無人機遙感影像拓撲分析的三維重建[J].測繪工程,2014，23(8):32-36.

[15] 張萬強，趙俊三，唐敏. 無人機影像構建三維地形研究[J].測繪工程,2014，23(3)：43-46.

[16] 吳靜,靳奉祥,王健. 基于三維激光掃描數據的建筑物三維建模 [J]. 測繪工程,2007，16(5)：38-44.

[責任編輯：李銘娜]

Seamless texture mapping method based on gradient value summation combined with consistency strategy

WANG Yi1，2，HU Xin3，ZHOU Yu3，CHEN Weiran4

(1.Chang’an University, Xi’an 710054, China;2.Xi’an Aerospace Data Technology(Beijing) Co., Ltd., Beijing 710054, China;3.Xi’an Institute of Surveying and Mapping, Xi’an 710054, China;4.Xi’an Space Mapping Date Technology Co.,Ltd,Xi’an 710061,China)

Aiming at the joint and big difference color in the three-dimensional texture mapping, this paper adopts an image selection algorithm based on gradient value summation. Combined with the consistency check, such as global color correction and local color correction strategy, eliminate the image blur, ghosting and color difference, realize the seamless texture mapping, and avoid the influence of image out-of-focus and obstacles at the same time. The result shows that the method of texture mapping effect is better.

gradient value summation; consistency check; global color correction; local color correction; seamless texture mapping

著錄：王一,胡莘,周瑜，等.一種基于梯度和與一致性組合策略的無縫紋理映射方法研究[J].測繪工程，2017，26(11)：6-11.

10.19349/j.cnki.issn1006-7949.2017.11.002

2016-09-27

國家自然科學基金資助項目(4157012140)

王 一(1987-)，男，工程師，博士研究生.

P231

A

1006-7949(2017)11-0006-06