基于立體像對與SFS相結合的三維重建研究

楊鳴新，陳 喆，陳 鎮

（1.武漢市房產測繪中心，湖北 武漢430015；2.長江科學院 空間信息技術研究所，湖北 武漢 430010）

立體視覺進行三維重建的核心內容是同名點提取和匹配，同名像點匹配后可估計影像的左右視差和上下視差，進而計算得到影像上每一點的三維坐標。傳統立體視覺理論基于特征點匹配算法，對于非特征點區域無法進行處理；同時，立體視覺是基于高度重疊的影像，要求特征點同時存在于兩幅圖像上，對于非重疊區域該方法失效。在影像透視收縮嚴重時，完全基于影像灰度和紋理結構的匹配方法匹配精度降低。

單幅圖像恢復表面形狀（Shape from shading，簡稱SFS）理論[1-3]基于假設的光照模型和物體表面反射模型建立圖像的反射圖方程，僅靠單張數字影像就可以恢復物體表面的形狀信息。許多研究人員將立體視覺與SFS結合起來解決三維重建問題，用立體視覺恢復高頻部分、SFS方法恢復低頻部分信息。Frankot和Cheelappa[4]首先根據立體視覺原理找到稀疏同名像點并配準，計算該點的高度值，這些特征點的高度值作為SFS算法的初始值；然后用迭代的SFS方法恢復格網點高度。Samaras等人[5]在立體視覺匹配算法中采用最小決策長度（Minimum Description Length，簡稱MDL）作為相似性測度，在非邊緣點區域匹配誤差較大。Jin等人[6,7]提出基于變分法，同時估算朗伯體表面的形狀、反射率、光源方向，該方法需要穩定的收斂算法來保證解的正確性。Haines和Wilson[8]采用馬爾科夫隨機場將SFS與立體視覺結合起來；Chow和Yuen[9]提出基于朗伯體表面，將SFS和立體視覺結合起來，用較少的特征點進行匹配并計算深度信息。本文在文獻[10]基礎上，采用更為穩定的ASIFT算法提取影像特征點，以該點為中心的局部區域進行SFS重建，基于重建的高度值計算相似性測度，并進行全局搜索匹配。將影像上的特征點區域和非特征點區域分開，進行分區處理，采用不同的方式進行三維重建：特征點區域采用立體視覺方式，而非特征點則采用FSM-SFS方法。

1 算法流程

算法流程如圖1所示。

圖1 立體視覺與SFS結合的三維重建算法流程

假設：①光源為傾斜光源；②物體表面遵循朗伯體表面模型；③基于透視投影假設。令輸入圖像為Il(u,v)和Ir(u,v)，其中(u,v)表示圖像二維坐標。對于任意光源影像，需要進行幾何變換預處理，使其滿足垂直平行光源條件。變換后影像為I'l(u',v')和I'r(u',v')；SFIT算子作為經典的檢測與描述圖像局部特征的方法，具有良好的平移旋轉不變性，但當影像有較大傾斜角度時，該方法同名點提取數量不足。ASFIT（Affine-SIFT）算法是SIFT算法的改進，解決了傾斜影像中特征點匹配只能提取很少量特征的問題。為適應不同的影像拍攝角度，本文采用ASIFT算法提取左右影像的特征點集{Pi}和{Qj}作為候選點，并通過透視投影下的Lax-Friedrichs FSM-SFS方法重建特征點鄰域三維表面。以特征點集{Pi}和{Qj}為中心的表面區域深度作為相似性測度，進行全局搜索匹配，具有最大相似性形狀和深度測度的點被認為是同名像點。確定了同名像點后，根據核線幾何計算該點深度值，再運用Lax-Friedrichs FSM-SFS方法獲取左右圖像的深度圖Z'l(u',v')和Z'r(u',v')，對左右深度圖進行幾何逆變換，并融合得到重建結果Z(u,v)。

1.1 幾何變換

令Cc表示相機坐標系，其位置為U，方向為R，則：

式中，Pw和Pc分別為Cw和Cc上的點的三維坐標。令相機焦距為常量f，朗伯體表面的SFS亮度方程可寫為：

式中，L表示統一光源方向。設光源坐標系為ls，圖像在旋轉之后Z軸與光源照射方向重合，則：

將坐標點投影到光源坐標系下，其坐標為：

點(u,v)和(u',v')一一對應，由于I(u,v)＝I'(u',v')，可得到在平行投影下的新影像，影像上物體深度Z的方向與光源方向一致。

1.2 FSM-SFS

為保證SFS解的穩定性，基于傳播方法重建出來的三維表面將作為最小化算法的初始值，對表面進行二次重建。將平行光源投影下朗伯體表面的亮度方程寫為Eikonal方程形式，則：

式中，令Zx＝p，Zv＝q，影像邊界點初設為0，對該方程進行離散化表示。本文采用Lax-Friedrichs函數進行離散化，得到數值解迭代公式：

式中，h表示圖像的空間分辨率；σu和σv是粘性因子，滿足條件：

1.3 利用深度信息的相似性測度

將同名核線附近的特征點作為候選點，以特征點為中心獲取匹配窗口，在核線距離閾值范圍內進行全局搜索。利用SFS算法恢復的特征點附近的局部三維作為相似性測度，以規避左右影像中的透視收縮問題。

對于待匹配點P和Q，首先利用Lax-Friedrichs FSM-SFS進行三維重建，生成兩個三維表面HP和HQ，HP和HQ的邊界可通過尋找凸表面集合來確定。兩個表面的深度的平均差異，即所有點的深度值差的平均值作為匹配過程中相似性測度進行全局搜索，平均差異最小的區域中心特征點即為匹配點。

2 實驗分析

采用嫦娥1號（CE-1）拍攝的月球三線陣全色影像作為實驗影像。嫦娥一號衛星從面陣CCD上讀取第11、512和1 013行陣列以形成三線陣推掃影像。CCD每列線陣像元為512列，相鄰線陣之間的視角差為16.7°。實驗區域的三線陣影像如圖2所示，其中a、b、c分別表示前視、中視、后視影像。

圖2 CE-1三線陣截取影像

采用ASIFT提取特征結果如圖3。

對每個特征點的鄰域區域進行FSM-SFS三維重建，采用深度測度算子進行特征點搜索匹配。匹配結果如圖4所示。

圖3 ASIFT提取的左右片特征點

圖4 ASIFT函數特征匹配結果

由圖4可看出，提取出的配準點集中在月坑邊緣線上，平滑區域如左圖的左上角、右圖的右下角區域，基本無配準點。由于三線陣影像隸屬于同一面陣CCD，可以認為不同影像上的同名點基本無橫向視差，主要存在縱向視差。根據每一對配準點的平面坐標得到計算其視差以及該點的深度信息。

圖5 特征點恢復的高度值

對特征點以外的像素點進行單幅影像三維重建恢復表面，最終得到中視影像的三維表面圖（圖5），并與傳統最小化SFS方法的重建結果對比，如圖6所示，其中a、c為本文方法和最小化SFS恢復的深度圖，b、d為其三維顯示。

兩種方法精度見表1。

表1 不同方法恢復表面三維精度

圖6 用本文方法和最小化SFS恢復的圖像深度圖。

從精度表可以看出，本文算法重建的三維模型高度標準差要優于傳統的最小化SFS方法，其最大高度和最小高度差均小于最小化方法，且高度誤差在一個較小的范圍內變動，說明其重建表面更為穩定平滑，不存在劇烈跳變噪聲。本文提出的方法對全幅影像進行三維表面重建，結果相較于傳統方法精度更高。

3 結 語

在非特征邊緣及缺乏紋理區域，特征點提取的數量較少，立體匹配會存在較大誤差。而SFS利用單幅影像上亮度變化與表面形狀變化之間的關系來反演表面形狀，可基于單張影像直接進行三維重建。SFS理論需要添加一系列邊界條件或控制點信息來保證其解的穩定性。將兩種方法結合起來，可以很好地發揮SFS方法和立體視覺各自的優勢，并互相補充不足，即使在光滑和紋理缺乏的區域也能得到較好的重建結果，得到更為穩定和精確的重建表面。本文的方法基于朗伯體表面假設，而如何建立更為精確的物理模型，準確描述地表法向量、地表不同反射率以及光源方向之間的關系，是影響該方法重建精度的一個重要問題，值得深入探討和研究。