融合Spearman 相關性系數與多尺度框架的立體匹配算法

于修成，宋 燕，胡澮冕

（上海理工大學 光電信息與計算機工程學院，上海 200093）

立體匹配是機器視覺領域的研究熱點之一。通過查找從不同視角獲取的同一場景的兩張或多張圖像之間的匹配像素點，得到匹配像素點之間的位移差（即視差）[1]，然后通過三角化可得到其3D 深度，進而估算出場景的3D 模型。立體匹配已經廣泛應用于視覺導航、物體定位和三維重建等領域[2]。

立體匹配自誕生以來取得了長足的進步。Scharstein 等[3]總結立體匹配的發展，建立了一套完整的立體匹配評價體系，并提供了相應的測試數據集，同時指出立體匹配過程可分為4 個階段：代價計算、代價聚合、視差選擇與優化和視差強化。在代價計算階段，通過在視差范圍內計算像素間的匹配代價來得到空間代價圖。在空間代價圖中，由于匹配代價計算得到的匹配代價圖包含較大噪聲，因此，在代價聚合階段需要通過以像素點為中心的支持窗口內的其他匹配代價來修正當前像素點的匹配代價，因此，隱含假設了代價聚合具有平滑特性[3]。根據視差計算和優化策略的不同，立體匹配可以分為局部立體匹配和全局立體匹配。在局部立體匹配中，使用WTA（winner takes all）算法，從視差空間圖中取每個像素點的最小匹配代價對應的視差作為當前像素點視差。全局立體匹配算法通常在視差空間圖中定義一個能量函數，包含數據項和平滑項[4]。其中，數據項就是視差空間圖中的匹配代價，平滑項用來表征相鄰像素之間的視差約束程度，然后通過最小化能量函數可以得到最終的視差圖。在視差強化階段，通常采用相關的算法，如左右一致性檢驗、空洞填充以及中值濾波[5]等對獲得的視差圖進行修正，以得到誤匹配率更少、場景中物體輪廓信息保持更好的視差圖。在以上的步驟中，代價計算和代價聚合對獲取有效的視差圖的作用很大，因此，本文著重研究這2 個步驟。

在代價計算中，通過匹配基元的不同，可以將代價計算方法分為兩類：基于像素和基于窗口的方法。在匹配成本計算時，前者基于像素與像素間的匹配相似度，而后者計算支持窗口之間的相似度[6]。雖然基于像素的方法效率很高，但它們的匹配精度較低。隨著研究進一步的深入，一些基于窗口的成本計算解決方案被引入到代價計算中。典型的算法包括絕對平方差，這些方法能夠大大降低誤匹配率[7]。然而，由于此類算法的特殊性，在某些特殊領域有很大的局限性，例如，低紋理以及重復紋理等。因此，隨著研究的深入，一些基于非參數變化的方法，如rank 變換和census變換被引入到匹配代價計算中[8]。

在代價聚合中，大部分代價聚合算法都隱含假設了代價聚合具有平滑性，可以看成是在空間視差圖上進行濾波[9]。最簡單的代價聚合方法是使用固定窗口，如盒子濾波或者高斯濾波器。由于隱含的施加平滑度，此類算法易造成深度邊緣模糊的問題[10]。隨著研究的深入，一些邊緣保留濾波器被引入代價聚合中，其中，比較經典的是雙邊濾波[11]和導向濾波[12]。雙邊濾波器的計算量與其采用的核窗口的大小有關，核窗口越大，則濾波器計算量也越大，要取得好的濾波效果往往需要采用大的核窗口。導向濾波器的計算量與核窗口的大小無關，計算量相比雙邊濾波器小。然而，以上聚合算法都是基于支持窗口內的聚合，從而忽略了窗口外的像素信息，通過此類算法得到的視差圖還有待進一步完善。近年來基于圖論的思想，Yang[13]將核窗口擴展到整張圖像，提出了一種非局部成本聚合方法，即在最小生成樹上對代價進行聚合，使得匹配精度和匹配效率進一步提高。在Yang 等的基礎上，Yao 等[14]提出通過分段樹來聚合代價的方法。這些基于整幅圖像聚合代價的方法能比局部的濾波器取得更好的視差圖。以上立體匹配代價聚合方法推動了立體匹配的發展，使得立體匹配的精度進一步提高，但目前存在一個問題：多數是在圖像的最大分辨率下進行處理的，而人類視覺系統是在多尺度空間中進行辨識物體，受此啟發，Zhang 等[15]在文獻中首次將高斯金字塔變換多尺度分解方法用于立體匹配代價聚合階段的處理，搭建了一個跨尺度的代價聚合框架，有效地提高了采用局部算法得到的匹配率。

基于以上分析，本文提出一種基于Spearman相關性系數的多尺度代價聚合算法。在代價計算階段，通過簡化Spearman 相關性系數得到兩種衡量匹配代價的模型。在代價聚合階段，從傳統的原始單分辨率匹配擴展多尺度上的匹配，從而實現Spearman 相關性系數與多尺度框架的融合。該方法相比其他算法，匹配精度得到了進一步的提高。

1 研究方法

1.1 匹配代價計算

在本文中，假定視差圖是由經過校正后的立體圖像對經過匹配獲得。匹配代價是用來衡量不同視覺拍攝的兩幅或者多幅同一場景不同圖像在視差范圍內對應像素點間的相似性。代價計算可看成是一種函數映射：f:RW×H×3×RW×H×3→RW×H×L，其中，W，H分別表示圖像的高和寬，3 代表圖像顏色通道，L為最大視差。則對于立體圖像對I，I′使用式（1）得到匹配代價圖。

對于原圖的一個像素點p(x,y)，其中，x，y表示像素坐標，在視差為l時的匹配代價記為標量C(p,l)。現有匹配代價方法一般通過兩種基元來計算C(p,l)，分別為單像素基元和窗口基元。IG（intensity+gradient）算法是基于單像素基元，計算公式為

式中：I（p）表示圖像I中像素點p的像素值；?x表示x方向的像素梯度；τ1和τ2分別為像素和梯度的截斷閾值參數；pl是右圖中與p相差視差為l的圖像坐標；α為調和參數。

常見的基于窗口基元的匹配代價計算方法包括rank 變換和Census 變換，這些都是基本的變換方法，在此不作闡述。

1.2 所提算法描述

Spearman 相關性系數用來衡量2 個相同大小序列的相關性。對于大小為n的序列X=(x1,x2,···,xn)，Y=(y1,y2,···,yn)，它們之間的Spearman 相關性系數可以用一個單調函數ρ(X,Y)表示。

在立體匹配中，通常使用匹配代價來衡量匹配的程度，即匹配代價越小，則匹配的程度越高。因此，用最大值1 減去系數即可得到匹配代價。將以p和pl為中心的2 個支持窗口內像素集看作是2 個序列，則匹配代價可表示為

當進行代價匹配時，支持窗口大小一定，則n為常數，因此，對式（4）進一步等價可以得到最終的兩種形式的匹配代價，即式（5）和式（6）。

將式（5）和式（6）看作是基于Spearman 的代價匹配算法，即簡化Spearman 的代價計算方法。由于該算法采用相關性作為匹配代價計算的基石，因此，其對光照干擾有較強的穩健性。但是，在低紋理和弱紋理等區域，其匹配代價還有待提高。在立體匹配中，大部分的局部算法都是在原始分辨率圖像上進行匹配，這些方法能夠取得較好的匹配效果，然而其在低紋理等區域的誤匹配率高。考慮到人眼觀察事物過程是一種由模糊到清晰的過程，因此，將Spearman 算法與多尺度框架進行融合，稱此算法為Spearman 融合算法（SSpear），現介紹具體過程。

輸入：立體彩色圖像對I，I′。

a.建立高斯金字塔或者拉普拉斯金字塔Is，I′s，其中，s是金字塔的層數，s∈{0,1,···,S}；

b.在每一層中，通過式（5）或式（6）得到初始匹配代價圖Cs；

d.通過以下公式得到最終的匹配代價

式中：A為(S+1)×(S+1)的系數矩陣；為第0 層的聚合后的匹配代價。

輸出：基于原始尺寸圖像的匹配代價。

最終通過WTA（winner takes all）算法得到最終的視差圖。

2 實驗結果與分析

使用Middlebury 立體匹配評估平臺[16]對所提算法以及相關算法進行評估。Middlebury 數據集有2 個版本，分別為Middlebury 2.0 和Middlebury 3.0。2.0 版本共有31 個立體聲對，記為M31。與2.0 版本相比，3.0 包含更復雜的場景。它提供了30 個立體圖像對，分別為測試集和訓練集，每個圖像集有15 個圖像對。在實驗中僅使用訓練集，表示為M15。使用誤匹配像素的百分率（即絕對視差誤差大于閾值的像素）作為評估標準。考慮到2 個數據集的分辨率，在M31 使用1 作為閾值，在M15使用2 作為閾值。實驗主要由兩部分組成：一種是在沒有成本聚合的情況下，比較由各種匹配成本計算的視差圖，包括Spearman 算法和融合方法S-Spear；另一種是比較相同成本聚合下匹配成本方法的匹配效果。

2.1 無代價聚合下匹配代價計算實驗

選擇基于梯度變換（GRD）、Census 變換、基于Spearman 算法（Spear）以及多尺度Spearman 算法（S-Spear）作為實驗測試對象，在沒有代價聚合方法的作用下，比較各種算法的性能。選擇Middlebury 數據集中的M31 和M15 作為測試數據，以圖像中非遮擋區域的匹配率（Non-occ）和全部圖像的匹配率（all）作為測試算法性能的指標。數據集M31 和M15 所得測試數據如表1 和表2 所示。數據集M31 中立體圖像對Venus 所得的實驗結果如圖1 所示。

表1 和表2 的結果表明，在數據集M31 所得數據中，所提Spear 算法和S-Spear 算法未經視差強化時在非遮擋區域的平均誤匹配率（Avg-non）為13.76%和11.29%，所有區域的平均誤匹配率（Avg-all）為26.43%和24.34%。在數據集M15 中，誤匹配率分別為25.55%，23.32%，33.85%和30.96%。相比其他代價算法，所提Spearman 算法和多尺度Spearman 算法的誤匹配率進一步降低。

表1 在數據集M31 上各代價計算方法所得測試結果Tab.1 Results of the cost computation methods on M31%

表2 在數據集M15 上各代價計算方法所得測試結果Tab.2 Results of the cost computation methods on M15%

圖1 不同匹配代價算法所得的Venus 圖像對的視差圖Fig.1 Disparity maps of the Venus image pair for all cost computaion methods（without disparity refinement processing）

幾種代價方法與所提Spear 算法和S-Spear 算法的視差圖對比如圖1 所示，可以看出，所提Spear 算法與S-Spear 算法的視差圖中紅色標記點（誤匹配點）明顯少于其他算法，在低紋理區域尤為明顯。圖1（e）中誤匹配點明顯少于圖1（c），說明基于Spearman 算法的性能要優于GRD 算法，原因是基于Spearman 算法是基于窗口的匹配算法，在匹配精度上要優于GRD 算法。圖1（e）中誤匹配點明顯少于圖1（d），在低紋理區域尤為明顯，說明基于Spearman 算法性能優于Census 算法，原因是基于Spearman 算法的是衡量窗口之間的相關性，而Census 算法則是簡單地通過非參數變換得到最終的匹配代價。圖1（f）中誤匹配點要少于圖1（e），由于增加了尺度因子，其在各個尺度進行了代價聚合，因此，多尺度的Spearman 算法要優于Spearman 算法。因此，所提算法在沒有代價聚合時均表現出較好的匹配性能。

2.2 有代價聚合下匹配代價計算實驗

在相同的代價聚合算法下，比較不同代價計算方法的性能。表3～5 分別為采用盒子濾波、導向濾波和最小生成樹進行代價聚合得到的實驗數據。圖2 和圖3 顯示了融合最小生成樹進行代價聚合時，數據集M15 中的Motorcycle 和Teddy 圖像對所得的視差圖結果。

表3～5 的中結果表明，無論是在盒子濾波、導向濾波還是在最小生成樹濾波下，所提算法的誤匹配率都要比其他代價計算方法低。如在最小生成樹聚合的作用下，所提Spearman 算法和多尺度Spearman 算法在數據集M31 中非遮擋區域的平均誤匹配率為8.26%和7.98%，所有區域的平均誤匹配率為19.37%和18.26%，匹配效果進一步增強。圖3 展示了M15數據集中Motorcycle 圖像對所得的視差圖，3（e）和3（f）是基于所提Spearman相關性系數和融合多尺度框架得到的視差結果圖，其視差效果要明顯好于GRD 和Census 算法得到的視差圖（圖3（c）和3（f）），從圖中可以明顯看出所提算法得到的視差圖更接近真實視差圖。

表3 盒子濾波作用下各匹配代價所得測試結果Tab.3 Results of the cost computation methods with box filter aggregation%

表4 導向濾波作用下各匹配代價所得測試結果Tab.4 Results of the cost computation methods with guide filter aggregation%

表5 最小生成樹作用下各匹配代價所得測試結果Tab.5 Results of the cost computation methods with the minimum spanning tree aggregation%

圖2 不同匹配代價算法所得的Motorcycle 圖像對的視差圖Fig.2 Disparity maps of the Motorcycle image pair for all cost computaion methods（without disparity refinement processing）

圖3 不同匹配代價算法所得的Teddy 圖像對的視差圖Fig.3 Disparity maps of the Teddy image pair for all cost computaion methods（without disparity refinement processing）

3 結束語

提出了一種融合Spearman 算法的多尺度立體匹配算法。在代價計算階段，通過Spearman 算法的演變得到兩種代價計算模型。在代價聚合階段，通過融合多尺度框架，使得匹配精度進一步提高，匹配的抗干擾能力進一步增強。實驗結果表明，所提算法在Middlebury 測試平臺上勝過其他代價計算方法。但是，從誤差標記的視差圖可以看出，所提算法在細節區域中精度還有待提高，今后的研究將針對細節作進一步的研究。