一種基于顏色差異的全局紋理優(yōu)化方法

馬東嶺，王曉坤，曾行行，石 壯

(山東建筑大學(xué) 測繪地理信息學(xué)院，山東 濟(jì)南 250101)

隨著城市的快速發(fā)展和城市地物地貌的快速更新[1]，傳統(tǒng)的二維平面測繪數(shù)據(jù)已經(jīng)不能完全滿足城市經(jīng)濟(jì)建設(shè)的需要。同時(shí)，由于無人機(jī)技術(shù)和計(jì)算機(jī)技術(shù)的快速發(fā)展[2]，三維原始數(shù)據(jù)的獲取和運(yùn)用已經(jīng)不是限制三維立體測繪的阻礙。在這種情況下，基于無人機(jī)獲取的傾斜影像的三維重建技術(shù)將成為一種有廣泛應(yīng)用前景的城市三維重建技術(shù)。相比于傳統(tǒng)的基于二維平面數(shù)據(jù)手工生成城市三維模型的方法[3-5]和基于激光點(diǎn)云的城市三維重建技術(shù)[6]，該方法具有建模成本低、速度快、數(shù)據(jù)獲取方便、數(shù)據(jù)處理自動化程度高、受地形因素影響小等優(yōu)勢。然而，現(xiàn)階段基于無人機(jī)傾斜影像的三維重建技術(shù)仍存在相應(yīng)的問題需要解決，例如：直接將無人機(jī)獲取的影像作為紋理貼到三維模型表面，會導(dǎo)致紋理間存在色差、三維模型在視覺上存在割裂，甚至?xí)绊懭S模型的判讀。為解決這個(gè)問題，需要在三維重建過程中進(jìn)行紋理優(yōu)化[7]。紋理優(yōu)化是對依附在模型表面的彩色紋理進(jìn)行處理，以使得三維模型與實(shí)際地形地物更加相似的過程。

針對紋理優(yōu)化問題，目前已有眾多學(xué)者進(jìn)行研究。閆利、程君提出了基于視角法的傾斜影像數(shù)據(jù)三維重建自動紋理映射的方法[8]；師建輝、康志忠、翟旭等人提出了一種基于紋理面積、傾斜角度、樹木遮擋方法和蟻群算法的建筑物立面紋理優(yōu)化方法，實(shí)現(xiàn)多條帶多張紋理貼片的自動拼接[9]；張春森、張衛(wèi)龍、郭丙軒等在三維表面模型的基礎(chǔ)上，利用獲得的建筑物的三維信息與紋理信息，通過最優(yōu)算法選擇出地物面的理想紋理來實(shí)現(xiàn)城市建筑物紋理的自動提取[10]；胡麗華、徐利梅、李輝等人提出利用紋理映射技術(shù)簡化模型的方法來完成三維模型紋理重建[11]；孫春生、吳軍、陳丹清等提出了基于輪廓線配準(zhǔn)的建筑墻面紋理重建策略的手段，實(shí)現(xiàn)了建筑墻面紋理快速重建的目標(biāo)[12]；范沖、王學(xué)提出了基于三維紋理映射原理的三維建筑模型紋理映射方法來實(shí)現(xiàn)三維建筑紋理重建[13]；姜翰青、王博勝、章國鋒等人提出了一種基于馬爾可夫隨機(jī)場的多視圖紋理映射方法來給三維模型貼對應(yīng)的紋理貼圖[14]；郭玲、王建宇、黃炎焱提出了一種基于紋理的模型重構(gòu)和紋理光照連續(xù)性重建算法來對三維模型映射對應(yīng)的紋理[15]。以上算法雖然在一定程度上解決了紋理的優(yōu)化問題，但是大都處理簡單，紋理真實(shí)感不強(qiáng)，對于顏色、光照處理不理想，細(xì)節(jié)處理不細(xì)致。因此，尋找一種更為理想的全局紋理優(yōu)化方法迫在眉睫。本文依據(jù)紋理邊界間的顏色差異和紋理內(nèi)部的顏色變化關(guān)系，提出了基于紋理貼片顏色差異的全局紋理優(yōu)化方法。該方法處理的城市三維模型紋理具有紋理真實(shí)、色彩一致、紋理處理一次性完成、細(xì)節(jié)明顯等優(yōu)勢。

1 全局紋理優(yōu)化方法

1.1 頂點(diǎn)顏色校正

紋理優(yōu)化是指利用影像和模型三角網(wǎng)之間的關(guān)系去處理貼到模型上的紋理貼片，通過這個(gè)過程使附上紋理的模型看起來更加真實(shí)。盡管影像紋理之間會存在較大的顏色強(qiáng)度差異，例如其亮度、明度、對比度等信息差異量大，但是這些顏色的變化趨勢和影像的輪廓特征是一致的，因此可以根據(jù)顏色信息將紋理之間的邊界消除，使紋理之間的顏色過渡平滑。基于以上原理，本文提出了基于顏色變化差異的全局紋理優(yōu)化方案，利用邊界顏色差異部分的均值作為基準(zhǔn)值來改變顏色，以消除紋理之間顏色的明顯邊界；同時(shí)依據(jù)紋理顏色變化趨勢和影像輪廓特征一致的特性，來確定紋理的顏色變化趨勢。

由于邊界上的紋理的顏色變化趨勢、圖像特征輪廓等是一致的，因此需要保證顏色改正函數(shù)g的顏色變化是極小的，可表示為：

(▽h)2dX.

(1)

式中：g為改正三維模型網(wǎng)格M生成的顏色改正函數(shù)；S為改正三維模型網(wǎng)格M上由于紋理拼接而形成的不連續(xù)的邊界線；h為縫隙兩側(cè)的顏色變化差異。

優(yōu)化后的紋理間顏色不應(yīng)存在明顯的顏色變化，因此要求顏色改正函數(shù)g在每個(gè)不連續(xù)點(diǎn)處的正變換必須等于改正三維模型網(wǎng)格M上的顏色描述函數(shù)f的負(fù)變換，即：

s.t.[g]|X=-[f]|X,?X∈S.

(2)

其中，顏色描述函數(shù)f和顏色改正函數(shù)g均是連續(xù)分段函數(shù)，并且具有相同的不連續(xù)性。

將式(1)、式(2)疊加，保留初始函數(shù)的較高頻率，又保證沒有明顯的銜接縫隙，使紋理邊界得到優(yōu)化。根據(jù)上述全局紋理優(yōu)化原理，本文首先從不同的紋理上獲取多組色彩值，然后依據(jù)上述公式來建立紋理優(yōu)化公式，最后利用公式處理每一個(gè)像素點(diǎn)以完成紋理的全局優(yōu)化。全局紋理優(yōu)化過程如圖1所示。

圖1 紋理優(yōu)化原理

由于不同紋理貼片映射到三維模型中后，紋理貼片邊界的色彩值是不相同的，因此在一條邊界上會出現(xiàn)兩個(gè)色彩值。色斑就是因?yàn)檫@兩個(gè)色彩值的差異造成的，因此使兩邊界的色彩值一致是全局紋理優(yōu)化的第一部分。此外，由于同一紋理貼片上的點(diǎn)來自同一張影像，有相同的拍攝條件，所以同一張影像上的點(diǎn)具有相似的顏色調(diào)整值。因此，第二部分是使同一紋理上的顏色調(diào)整值一致。由于直接將所有像素點(diǎn)參與計(jì)算會使得運(yùn)算十分繁瑣，數(shù)據(jù)量太大，使得數(shù)據(jù)處理難以完成，因此本文首先利用三角網(wǎng)頂點(diǎn)調(diào)整三角網(wǎng)的顏色值，并列算式為：

(3)

式中：V是頂點(diǎn)的集合；vright和vleft是頂點(diǎn)在左右紋理上的投影點(diǎn);vi和vj是同一個(gè)紋理貼片上的相鄰頂點(diǎn);fvright是頂點(diǎn)投影到右紋理貼片上的投影點(diǎn)獲取的顏色值;fvleft是頂點(diǎn)投影到左紋理貼片上的投影點(diǎn)獲取的顏色值;gvright是頂點(diǎn)投影到右紋理貼片上的投影點(diǎn)獲取的顏色值的改正值;gvleft是頂點(diǎn)投影到左紋理貼片上的投影點(diǎn)獲取的顏色值的改正值;gvi、gvj是在同一紋理貼片相鄰點(diǎn)上的顏色值的改正值;λ是顏色一致性調(diào)整量和邊界色彩值調(diào)整量的比例。

將式(3)寫成矩陣形式為：

(4)

式中：A為不同紋理貼片邊界色彩值調(diào)整量的矩陣，是同一紋理貼片上相鄰頂點(diǎn)顏色一致性調(diào)整量矩陣；g是三角網(wǎng)頂點(diǎn)的調(diào)整量矩陣；f為不同紋理貼片邊界色彩值矩陣。其中A和Γ的取值代表原方程的λ，是用來表示顏色一致性調(diào)整量和邊界色彩值調(diào)整量的比例。根據(jù)上述公式可以快速簡捷的獲取紋理優(yōu)化后的頂點(diǎn)顏色值。為處理全部紋理貼圖中每個(gè)像素點(diǎn)的顏色值，本文利用顏色插值的手段將頂點(diǎn)顏色值歸化到每一個(gè)像素點(diǎn)中去。

1.2 紋理貼圖校正

經(jīng)過上述過程，三維網(wǎng)格對應(yīng)的紋理貼片的頂點(diǎn)都有了相應(yīng)的顏色調(diào)整值。然而，通過頂點(diǎn)的顏色調(diào)整并不能直接對紋理貼圖起作用。因此，需要利用頂點(diǎn)的顏色改正值來生成紋理貼圖上每一個(gè)像素的顏色改正值。為解決上述問題，需要利用三角形的3個(gè)頂點(diǎn)對紋理貼圖上的每一個(gè)像素進(jìn)行顏色求解。由于像素值是均勻變化的，所以根據(jù)兩點(diǎn)間距離的大小可以計(jì)算兩點(diǎn)之間顏色的影響，因此本文提出利用像素點(diǎn)與3個(gè)頂點(diǎn)距離的函數(shù)作為權(quán)值來求取三角形每個(gè)像素點(diǎn)的顏色值改正值的方法，原理如圖2所示。

圖2 顏色插值原理

不僅3個(gè)頂點(diǎn)V1，V2，V3的顏色改正值是不同的，而且3個(gè)頂點(diǎn)顏色改正值對像素點(diǎn)P的影響也不一樣。在圖2中，像素點(diǎn)P與頂點(diǎn)V1，V2，V3構(gòu)成了3個(gè)小三角形，分別是S1，S2，S3。由于S2面積越大，像素點(diǎn)P離頂點(diǎn)V2的距離越短。進(jìn)而，S2的面積越大，像素點(diǎn)P受頂點(diǎn)V2點(diǎn)的影響也就越大。因此，P點(diǎn)受頂點(diǎn)V1，V2，V3的影響可以用S1，S2，S3的面積和大三角形的面積比表示。因此列方程為：

(5)

(6)

(7)

(8)

(9)

其中：Lvi,vj為邊V1，V2的長度;Lv1,v3為邊V1，V3的長度;Lv2,v3為邊V2，V3的長度;Lv1,p為邊P，V1的長度;Lp,v2為邊P，V2的長度;Lp,v3為邊P，V3的長度。C,CS1,CS2,CS3為三角形△V1V2V3、三角形△V1PV3、三角形△V1PV2、三角形△V2PV3的周長。S,SS1,SS2,SS3為三角形△V1V2V3、三角形△V1PV3、三角形△V1PV2、三角形△V2PV3的面積。Colorp，Colorv1，Colorv2，Colorv3為點(diǎn)P，V1，V2，V3的顏色值。

根據(jù)上述公式，將頂點(diǎn)顏色改正值通過三維模型網(wǎng)格傳遞到紋理貼圖的每一個(gè)像素中，并通過疊加像素改正值的方式完成紋理貼圖的全局優(yōu)化，消除紋理差異，較好地解決了現(xiàn)行紋理優(yōu)化方法中存在明顯縫隙的問題。

2 實(shí)驗(yàn)與結(jié)果分析

實(shí)驗(yàn)數(shù)據(jù)采用城市地區(qū)的無人機(jī)傾斜影像數(shù)據(jù)。計(jì)算機(jī)環(huán)境為Inter Core i3 CPU 2.4 Hz，軟件環(huán)境為MVS和godWork軟件。實(shí)驗(yàn)首先利用godWork軟件對實(shí)驗(yàn)地區(qū)的無人機(jī)傾斜影像數(shù)據(jù)進(jìn)行空中三角測量，以確定每張相片的位置和姿態(tài)；然后，利用MVS對無人機(jī)傾斜影像和空三結(jié)果進(jìn)行三維重建，建立目標(biāo)區(qū)域的三維表面模型，并附上初始紋理；最后，利用本文提出的基于紋理貼片顏色差異的全局紋理優(yōu)化方法來優(yōu)化目標(biāo)三維表面模型的初始紋理，獲取較真實(shí)的三維模型。利用本文提出的基于紋理貼片顏色差異的全局紋理優(yōu)化方法優(yōu)化目標(biāo)三維表面模型的初始紋理的流程如圖3所示。

圖3 數(shù)據(jù)處理流程

2.1 獲取紋理邊界的顏色值

對紋理邊界的顏色值，本文首先將三角網(wǎng)投影到影像中，獲取三角網(wǎng)中每個(gè)三角形對應(yīng)的紋理三角形，然后將一張影像的相鄰紋理三角形影像合并成為紋理影像塊，最后標(biāo)記紋理影像塊的邊界點(diǎn)作為三角網(wǎng)紋理邊界點(diǎn)在紋理影像塊上的投影點(diǎn)。對應(yīng)同一三角網(wǎng)紋理邊界點(diǎn)的投影點(diǎn)具有不同的顏色值。

2.2 三角網(wǎng)頂點(diǎn)顏色校正

本文方法是通過消除三角網(wǎng)紋理邊界投影點(diǎn)的顏色值差異，使同一點(diǎn)上的顏色值一致，以達(dá)到消除邊界的目的，進(jìn)而解決全三角網(wǎng)存在大范圍顏色差異的問題，并且根據(jù)自然形態(tài)下顏色是漸進(jìn)的、平和的變化規(guī)律，將三角網(wǎng)頂點(diǎn)的顏色值處理成漸進(jìn)的、傳遞的變化趨勢,以使三角網(wǎng)的顏色值看起來自然。

2.3 改正三角形中每一個(gè)像素的顏色值

通過2.2節(jié)獲取的每一個(gè)頂點(diǎn)的顏色改變值并不能直接用于改變紋理貼片的顏色值。因此，需要對三角網(wǎng)投影到影像上的三角形柵格化，并確定出每個(gè)像素點(diǎn)的坐標(biāo)。利用每個(gè)像素點(diǎn)的坐標(biāo)和三角形頂點(diǎn)的距離作為權(quán)值來求取三角形每個(gè)像素點(diǎn)的顏色值改正值。其中，與頂點(diǎn)相對的邊和像素點(diǎn)構(gòu)成的三角形越大，該頂點(diǎn)離像素點(diǎn)越近。根據(jù)像素點(diǎn)與頂點(diǎn)構(gòu)成的三角形的大小比例就可以作為評價(jià)像素點(diǎn)到對應(yīng)三角形頂點(diǎn)的距離函數(shù)。

通過上述紋理優(yōu)化方法優(yōu)化后的結(jié)果如圖4所示。

圖4 紋理優(yōu)化前后的結(jié)果對比

從圖4可以看出，在紋理優(yōu)化前的圖4(a)圖中，房屋頂棚紋理影像存在著明顯的色差，使得頂棚紋理看起來一塊一塊的，顏色分布不均勻。本來一體化的房屋屋頂看起來變的割裂，缺乏真實(shí)感。而通過本文紋理優(yōu)化后的圖4(b)圖可以看出，房屋頂棚的顏色更加一致，沒有明顯的顏色差，雖然房屋頂棚的顏色不是完全一致的，但是顏色接近，并且均勻變化，沒有一塊一塊的色斑的情況，顏色分布均勻，符合現(xiàn)實(shí)世界的樣子。對于在影像中有顏色變化的區(qū)域，該方法并沒有因?yàn)轭伾交沟眠@些區(qū)域變的顏色模糊。通過本文提出的全局紋理優(yōu)化方法得到的整體重建效果如圖5所示。

圖5 整體重建效果圖

從圖5可以看出，本文提出的基于紋理貼片顏色差異的全局紋理優(yōu)化方法，其優(yōu)化模型紋理的效果理想，能夠有效解決三維表面模型存在色斑、紋理割裂的情況，進(jìn)而使得建筑物紋理面的顏色一致，建筑看起來整體性更好，建筑界限更清晰，真實(shí)感更強(qiáng)。通過該方法優(yōu)化后的模型紋理沒有突兀的色差，使得模型光照渲染更加統(tǒng)一，能夠表達(dá)清楚細(xì)節(jié)，并且保持了原始紋理絕大部分的顏色特征，沒有使得原始紋理出現(xiàn)顏色混亂的情況。利用該方法克服了城市三維表面模型重建中存在的顏色不一致、建模效果不真實(shí)等難題，證明該方法可行性高、紋理優(yōu)化效果較好，大大提高了無人機(jī)傾斜影像在城市三維模型重建中的可視性和真實(shí)性，使得模型可以更真實(shí)的模擬現(xiàn)實(shí)。

3 結(jié) 論

本文根據(jù)紋理貼片邊界間兩端的不同影像的顏色差異和紋理貼片內(nèi)部頂點(diǎn)的顏色變化關(guān)系，提出了基于紋理貼片顏色差異的全局紋理優(yōu)化方法。該方法首先獲取頂點(diǎn)在不同紋理貼片上的顏色值，然后對頂點(diǎn)顏色值使用基于紋理貼片顏色差異的全局紋理優(yōu)化方程對城市三維模型進(jìn)行紋理優(yōu)化。利用該方法對城市復(fù)雜區(qū)域的場景模型數(shù)據(jù)進(jìn)行實(shí)驗(yàn)，精確地校正了紋理顏色差異的問題。實(shí)驗(yàn)結(jié)果表明，本文提出的方法具有紋理優(yōu)化效果好、光照一致性理想、模型紋理真實(shí)的優(yōu)勢。尤其在細(xì)節(jié)識別部分，通過紋理優(yōu)化獲得的紋理界限更加清晰。由于該方法校正紋理需要給三維模型頂點(diǎn)賦色值，而合理的選取紋理顏色值可以使紋理優(yōu)化更為理想，因此，如何更科學(xué)合理的給頂點(diǎn)賦色值將是下一步研究的內(nèi)容。