組合式建筑立面全景圖像的漸暈校正

蒼雁飛，寇俊敏

(內蒙古農業大學，內蒙古 呼和浩特 010018)

1 引言

工業建筑的最優結構，就是保障建筑資源消耗最小，且質量可靠。組合式建筑一般由多個規則幾何體構成[1]，伴隨科學技術水平的不斷提升，組合式建筑以其獨有優勢，成為完善建筑綜合資源節約發展的先驅動力。

全景圖像是一種提供超過人眼正常有效視角的超大型預覽實景圖像，全景圖像與傳統圖形繪制技術相比，具備數據獲取簡便、建模速率快、真實感強等諸多優勢[2]，為深入研究組合式建筑外部構造等問題提供可靠依據。

為了提高組合式建筑立面全景圖像成像質量，就需要防止圖像漸暈現象發生。由此，本文提出一種基于曲面擬合的漸暈校正方法。首先構建組合式建筑三維交互模型，將長方體作為幾何約束關聯，獲取圖像內部建筑物三維數據，分析相對角點在圖像坐標系和世界坐標系之間的對照關聯，建立相機成像模型，采用IAC表示法求解相機內部參數，使組合式建筑立面視覺成像效果更優，維護全景圖像拼接的正確性；其次采用全景圖像拼接方法，使用ORB匹配方式提取鄰近圖像匹配點，按照匹配點推算單應性矩陣，對相機抖動實行波修正處理，預防圖像產生形變，實現建筑立面圖像全景拼接；最后運用曲面擬合漸暈校正方法，將最速下降法與二維曲面擬合結合，得到圖像灰度全局改變走向，完成全景圖像漸暈現象校正。仿真結果證實，本文方法具備良好的適用性，可廣泛應用于真實場景中。

2 組合式建筑三維交互建模

在組合式建筑的三維模型構建過程中，待構建的建筑物目標一般是通過規則的長方體部件建造而成的。因此，本文將長方體集合基元當作組合式建筑模型構建的基礎因素[3]。利用長方體本身的幾何收斂性，可得到輸入圖像內建筑物目標的三維數據，并標記出原始部件長方體目標投影在二維圖像內的頂點，將其運用在三維幾何體對照關系的幾何基元內。由于建筑物目標面積較大，投影于二維圖像中經常會產生失真的狀況，所以需要標記的角點必須能覆蓋至長方體的六個面。

針對標記的六個角點和區域，相機標定的目標是令長方體部件模型及無區域的二維圖像輪廓p0p1p2p3p4p5相互匹配，經過推算角點，分析圖像坐標系及世界坐標系之間的對照關聯，得到相機的內外參數，以此構建相機成像的組合式建筑三維交互模型[4]。首先將相機成像矩陣描述為

M=K[R|t]

(1)

式中

(2)

式中，K表示投影轉換矩陣；R、t∈R3依次表示相機旋轉矩陣及平移矩陣。相機的方位和姿勢取決于這兩個矩陣的參數大小。由于建筑進行拍攝時不會發生畸變行為，所以畸變參數s等于零，世界坐標系是一個勻稱坐標系，則fx=fy=f，表示焦距。將主點坐標設置成(u0，v0)，根據齊次坐標可知，相機投影矩陣照射到各個長方體頂點Pi和建筑物圖像內的二維點qi是相互對照關系，則

pi=Mqi

(3)

分析三維長方體部件表面平行六面體的幾何收斂與相機內部參數之間的對偶關聯，并對其進行計算。τ=fx/fy表示相機的橫縱比，因為fx=fy=f，所以τ=1。使用IAC表示法進行相機內參求解，將其定義為

(4)

將場景中的世界坐標系作為長方體底面中心[5]，那么長方體部件在圖像內投影要通過相機的方位進行實現。將長方體對應頂點記作

(5)

(6)

構建的建筑物目標三維模型，能夠讓組合式建筑立面更加清晰直觀，進一步保證全景圖像拼接的精準度。

3 建筑立面圖像全景拼接

為了將一組連續拍攝的建筑圖像拼接變成建筑立面全景圖像，首先要把重合區域圖像進行特征匹配，這里采用ORB特征匹配方法，并利用二進制比特串對關鍵點進行分析。

ORB描述符的基本原理是利用圖像塊特性的少數灰度比對，來實現特征精準匹配[6]，以特征點為中心，將S×S圖像塊p的準則描述為

(7)

式中，p(x)是圖像塊p通過平滑在x=(u，v)T位置的像素灰度值。在圖像塊p內任意選擇o個(x，y)方位的二進制特征量，則ORB特征函數解析式為

(8)

考慮速率及精度等多方面因素，o的取值設定為256。

測量的關鍵點利用上述過程可獲得一個256位的二進制比特串，每個位的值是0或1。若D1、D2是兩個關鍵點的二進制比特串，則

D1=x0x1x2…x256

(9)

D2=y0y1y2…y256

(10)

平面單應性表示一個平面至另一個平面的投影映射，關鍵包括三部分：相機內部參數的投影轉換矩陣K與平面之間的旋轉矩陣R、平移矩陣t。

M=(x，y，z)T和M′=(x′，y′，z′)T依次表示三維空間點在不同視點坐標系中的空間坐標，m=(x，y，1)T和m′=(x′，y′，1′)T依次表示兩張圖像的相對匹配點，則

m?KM，m′?KM

(11)

將平面π的規范矢量標記為n，那么全部的空間點是M∈π，因為nTM=1，所以可得到

M′=RM+t=(R+tnT)Mfo(p)

(12)

K-1m′=(R+tnT)K-1Mfo(p)

(13)

m′=K(R+tnT)K-1mfo(p)

(14)

在視野空曠的環境內，旋轉相機進行圖像拍攝時，可認定相機在做純旋轉活動[7]，繼而從一組重合的圖像內對相機實施標定。首先算出全部重合圖像之間的單應性矩陣Hij，按照平面單應性矩陣的相關原理，假設相機進行純旋轉活動，可得到如下公式

(15)

通過旋轉矩陣R10的正交性準則，得到

(16)

(17)

式中，h表示圖像高度。由于圖像之間單應性轉換推導的圖像旋轉矩陣是一個對應矩陣，所以拼接圖像會產生波浪狀。為了讓最終拼接完成的圖像是豎直的[8]，就要構建整體旋轉坐標系。

將三維空間點xi反射至二維圖像內點xik上，由于在拍攝圖像過程中，相機會產生不規則運動，但通常情況下會維持相機水平邊緣平行于地面。想要構建整體旋轉坐標系，就要設立矩陣rg，讓其右乘rk后，確保整體y軸垂直于x軸。將全部圖像的收斂條件組成一個集合，并轉換為最小二乘問題

(18)

本文使用柱面坐標投影方式，將圖像映射在圓柱面內。柱面內的點是通過角度θ及高度h參變量決定的，其相對關聯為

(sinθ，h，cosθ)∞(x，y，f)

(19)

因為柱面是一個能夠展開的曲面[9]，圖像在柱面坐標中移動旋轉可維持形態不變，則對建筑立面圖像進行全景拼接，其表達式為

(20)

通過上述過程，能夠有效解決設備視角不足的問題，獲得寬視野全景圖像，充分展現出組合式建筑立面的真實景象。

4 基于曲面擬合的漸暈校正實現

在相機拍攝圖像的實際場景中，因為反射鏡的遮蓋，某些光束不能在拼接相交處成像，致使交界處光照度降低，此種現象就是相機反射鏡拼接形成的漸暈現象。由于反射鏡反射邊緣和光軸呈45°夾角，反射點與接收屏幕之間的距離是不斷改變的[10]，因此像面內的漸暈分布也伴隨反射鏡和接收屏幕的間距改變，產生相應的變化。另外，直邊衍射也是相機反射鏡漸暈的原因之一。

傳統漸暈校正方法有查表法、逐行掃描法和函數逼近法。查表法要預先使用標準圖像得到漸暈系數對應表，所以每拍攝時都一定要符合的相同收斂，不適合用于組合式建筑立面的全景拍攝；逐行掃描法采用真實獲得的圖像數據實現逐行融合，融合出全幅圖像的灰度改變走向再進行修復，若處于真實圖像鄰近兩行灰度改變較多的情況下[11]，該方法會生成線性條紋，無法保證最終漸暈校正結果的可靠性；函數逼近法是運用多次定標，將每個照度下單個像元的補償元素實施標定，再把每個像元的補償元素進行融合，得到像元的漸暈修復解析式，但該方法的操作過程較為復雜。

本文提出一種基于二維曲面擬合圖像灰度校正方法，可以有效改善傳統方法存在的諸多不足，具體將其描述為

f(x，y)=tanh(rx(x-x0)+ry(y-y0))+c

(21)

式中，x′=1，2，…，m，y′=1，2，…，n，rx與ry分別代表沿圖像x、y軸的衰減率，(x0，y0)是參照圖像的亮度中心點，也是歸一化處理后的像素坐標；c為常數偏移值。只要獲得適當的x、y軸衰減率，就可以明確其亮度改變走向，同時也能校正漸暈閾值之內的像素點灰度值。

本文采用最速下降法對曲面參數進行計算，得到Hesse矩陣的有關系數，利用Hesse矩陣逐步采取迭代收斂，最終得到曲面的有關參數值[12]。以此計算出較為精確的參數估計值，迎合了真實場景中全景圖像漸暈校正的需求。

按照真實漸暈圖像的退化狀況，使用式(21)的二維曲面將退化圖像進行擬合。將漸暈各向相同特征作為校正基礎，圖像亮度衰減會伴隨每個像素點到圖像亮度中心的間距變化而發生改變，但在實際操作中，已知的參照圖像亮度中心并不是圖像中心，所以在求解參數時，要將式(21)轉變成Column函數，具體定義為

(22)

式中，fxy表示真實圖像的像素值。

因為直接讓F的梯度等于零，方程組x0、y0、rx、ry、c的求解過程會很困難，所以使用最速下降法進行F極小值求解，滿足εF0=F(X0)，g0=g(X0)=?F(X0)k=0，那么將目標函數F(x0，y0，rx，ry，c)位于點x的梯度描述為

=(g1，g2，g3，g4，g5)T

(23)

因為反正切函數內包含Row函數，也就是ex項，運用泰勒級數進行計算，那么將Row函數記作式(24)。考慮到方法的冗雜度，所以只選取前三項來表示Row函數。

(24)

以上為所提方法漸暈校正原理分析，下面將其運用在實際校正過程進行漸暈校正模擬，計算過程如下：

(25)

然后，計算出下列四個公式對應的數值

(26)

Xk+1=Xk-tkg(Xk)

(27)

Fk+1=F(Xk+1)

(28)

gk+1=g(Xk+1)

(29)

若對應的數值滿足收斂條件，那么結束計算過程，最后完成全景圖像漸暈校正，有效去除圖像的漸暈現象，進一步增強圖像質量，其收斂條件為

(30)

5 仿真研究

為驗證本文所提組合式建筑立面全景圖像的漸暈校正方法的有效性，進行一次仿真。實驗環境為Window 10操作系統計算機，雙核英特爾第二代酷睿處理器OPTIPLEX3010為主頻，系統是Win7旗艦版32位，并采用Matlab R2014a編程實現。本文以航空拍攝的建筑立面全景圖像為實驗對象，測試圖像采取實地拍攝采集圖像數據，實驗所用相機的環境參數為索尼A6000，像素為2430萬，顯示屏尺寸為3英寸，像素為92萬，共拍攝4張照片。建筑立面全景圖像如圖1所示。

圖1 實驗對象

根據圖1可知，由于受到相機漸暈的影響，導致實際相機采集的數據中間區域亮度有明顯差異，圖像漸暈現象較為嚴重，其灰度變化情況如圖2所示。

圖2 原始漸暈圖像的灰度分布圖

采用本文提出的基于曲面擬合的漸暈校正方法對原始漸暈圖像進行處理，利用最速下降法對曲面參數進行計算，按照真實漸暈圖像的退化狀況，擬合漸暈曲面，擬合結果如圖3所示。

圖3 漸暈曲面擬合結果

采用曲面擬合方法對組合式建筑立面全景圖像漸暈曲面進行校正，校正結果如圖4所示。

圖4 曲面校正后的灰度分布

從圖4中可以看出，圖像漸暈校正后的整體分布基本均勻，漸暈現象消失，組合式建筑立面全景圖像漸暈校正效果如圖5所示．

圖5 校正后的建筑立面圖像

根據圖5可知，利用本文所提方法，能夠有效去除實際組合式建筑立面全景圖像的漸暈現象，校正后的圖像灰度分布均勻，效果理想。由此可知，本文方法的校正精度較高，且曲線走向較為平穩，可以滿足實際全景圖像的高標準成像。是因為本文方法進行漸暈校正時，考慮了全景圖像拼接準確率的問題，適用性較好。

為了進一步驗證本文方法的有效性，采用曲面擬合的漸暈校正方法和普通漸暈校正方法，進行組合式建筑立面全景圖像漸暈校正，對比兩種方法的校正時間，對比結果如圖6所示。

圖6 建筑立面全景圖像漸暈校正時間對比

根據圖6可知，采用曲面擬合的漸暈校正方法的組合式建筑立面全景圖像漸暈校正時間比普通漸暈校正方法的組合式建筑立面全景圖像漸暈校正時間短。

6 結論

為了有效增強組合式建筑立面全景圖像的成像質量，提出一種基于曲面擬合的漸暈校正方法，對組合式建筑立面全景圖像漸暈進行校正。通過建立三維交互模型，直觀了解組合式建筑立面形態，保障全景圖像拼接的準確性；運用全景圖像拼接方法，改善設備視角不足的問題，得到寬視野全景圖像；采用曲面擬合手段解決圖像漸暈現象的產生，縮短了圖像漸暈校正時間，實現組合式建筑立面全景圖像的高質量成像。