引入視覺注意機制的區域立體匹配方法*

杜棋東

（廣州鐵路職業技術學院教育技術中心，廣州510430）

1 引 言

立體匹配是虛擬現實、機器人視覺等領域的一項重要研究內容，能夠通過多視點圖像計算出物體的深度信息，對視覺導航、障礙物檢測等實際應用有著重要的作用[1-2]。根據不同匹配的基元，立體匹配分為特征點匹配和區域立體匹配[3]。其中，區域立體匹配是以一個區域為匹配基元，通過匹配其他圖像中最優匹配區域獲取最終視差圖的過程。常見的方法包括歸一化灰度互相關NCC 算法（Normalized Cross Correlation）、絕對誤差和SAD 算法（Sum of Absolute Differences）、誤差平方和SSD 算法（Sum of Squared Differences）。此類常見立體匹配方法往往只關注圖像表面上的像素數據[4]，缺乏人眼的感知關注，所以往往會影響算法效率甚至發生視差圖錯配。

故此提出一種基于視覺注意機制的方法。此方法能夠模擬人眼快速感知外界抽象物體，快速計算其顯著性目標區域，減少搜索空間，并降低識別的計算復雜度，在文獻[5－7]研究工作的基礎上，引入視覺注意計算模型（Itti 模型），提取圖像亮度、顏色、方向等非空間特征，然后將彩色圖像分割若干區域，建立圖像間立體匹配關系，接著計算兩幅圖的視差值，通過視差值提取并優化視差圖，獲取最終的視差圖。

2 設計方法

視覺注意機制是基于生物學的心理調節機制，能夠有選擇性地指向環境中的某一個焦點而忽略其他事物的認知過程，其感知具備選擇能力。引入視覺注意機制的Itti 模型，首先基于雙目視覺，通過中央-周邊（Center-Sound）算子計算輸入圖像的顏色特征、亮度特征、方向特征，獲得多特征、多尺度的量度結果并合成左右兩幅顯著圖，反差大的區域代表視覺注意力高的區域，根據不同顯著圖的值計算顯著區范圍，然后采用顏色分割方法將圖像劃分為若干區域。在計算各區域顏色和灰度相似性的基礎上，建立圖像間的匹配關系，根據左右兩幅圖匹配計算，得出各個像素點的視差值，再由視差值生成視差圖，最后采用平面相似性估計方法[8]合并場內的近似屬于同一視差的平面，得到新的視差圖，即為深度特征圖。引入視覺注意機制的區域立體匹配方法流程如圖1 所示。

3 具體計算

3.1 非空間特征計算

非空間特征提取反映了由視覺感知到初級視覺特征信息的處理過程，通過對亮度、顏色和方向等非空間特征的提取，得到各類特征在不同尺度下的多特征圖。

關于亮度特征提取，首先根據下式將彩色圖轉化為灰度I：

再計算灰度I 在s 尺度下的亮度特征圖。若輸入圖像是灰度圖，則直接獲取亮度信息即可。

關于顏色特征提取，根據下式計算RG 和BY 的色差：

然后再計算各個領域的色差均值，其中Y=(r+g)/2+(r-g)/2-b, R=r-(g+b)/2,G=g-(r+b)/2,B=b-(r+g)/2，最后得到s 尺度下的顏色特征圖RG、BY。

關于方向特征提取，Gabor 在這方面具有良好的方向選擇和尺度選擇特性，因此采用Gabor 濾波器方法，根據下式對s 尺度下的灰度圖像I 進行濾波：

其中，x′=xcosθ+ysinθ，y′=-xsinθ+ycosθ，θ 為主頻方向，μ 為頻率，θ∈{0°, 45°, 90°, 135°}，進而可得到方向特征圖O(θ)。

3.2 深度信息計算

深度信息計算對視覺加工處理至關重要，是進行物體識別的重要步驟，下面通過彩色圖像區域分割、立體匹配、視差圖提取以及視差平面優化等步驟，計算深度信息。

3.2.1 圖像分割和SAD 立體匹配

彩色圖像區域分割的實質就是從復雜的背景粗化提取整體信息，把具有相似性質的像素連通成特定區域。各種場景的物體姿態特征提取，其立體視差變化主要體現在顏色區域的輪廓邊界上，這種情況下采用均值偏移（Mean shift）算法[9]，此算法的實質是核密度估計，算法核心是對特征空間中的樣本點進行聚類，得到密度梯度為零的模式點。彩色圖像分割首先借助Mean shift 算法將圖像中的像素進行聚類，找到不同色彩的聚類點，然后進行二值化處理，使圖像中的灰度級較處理前有所減少。

在上述區域分割的基礎上，計算最小的SAD 差異區域，即匹配區域。SAD 的基本思想是差的絕對值之和，即通過各個像素值之差的絕對值求和，以此來評估區域的相似度。

SAD 計算如下式：

其中：M 為n×n 大小的窗口，類似于卷積核；d為視差范圍；KmgL(i,j)表示以(i,j)為中心的基準圖待匹配像素的所有灰度值的均值，KmgR(i,j)表示以(i,j)為中心的配準圖的匹配點的所有灰度值均值。

對M 窗口中的全部代價函數進行加權聚合，通過以下聚合函數式可計算匹配點與候選點之間的聚合值：

對視差值d 的計算如下式：

其中D 表示視差范圍。

3.2.2 視差圖優化

關于視差層提取，所采用的是平面相似性估計方法[10]，即下式：

其中，S 為分割區域，P 為視差平面，C 為匹配代價函數，通過C 來判斷S 是否屬于P，并將同樣視差值的平面劃分為一類，合并相似區域，合并之后的視差圖即為最終視差圖。此處，其中、均是P 的參數。

為解決視差圖錯誤匹配產生噪聲的問題，利用顯著性檢測法對視差圖進行優化。首先對初步視差圖利用基于頻域的HFFT 方法[11]檢測顯著圖，再對其進行非空間特征計算；接著判斷顯著圖的顯著度值是否比設定的閾值大，如果小于閾值，則判斷為圖像正常邊緣，如果大于閾值，采用多點均值濾波進行處理，即對窗口范圍內的所有顯著點進行處理。其中，中心點值用去除最小值點與最大值點后的均值代替；最后重復1~3 次流程進行視差圖優化。其具體流程如圖2 所示。

圖2 優化視差圖流程

4 實驗分析

實驗使用的計算機配置為：Intel Core i3 8100 3.6GHz，Windows 64 位操作系統；程序在MATLAB 2013b 中實現，實驗圖采用Teddy 標準雙目視圖；標準數據實驗采用NCC 算法、SSD 算法、SAD 算法和提出的算法進行實驗比較。為了方便實驗，只使用Teddy 的右圖像。實驗效果如圖3 所示。其中圖3(a)~(d) 分別表示NCC、SSD、SAD 與提出方法的匹配代價計算結果。圖3(e)與圖3(f)用于表示標準視差與原始圖匹配效果的好壞對比。

圖3 各算法實驗效果對比

從圖3(d)和圖3(a)可知，新方法雖然在展示畫布的紋理信息上不夠細致，但對物體邊緣的處理還是優于NCC 算法的。從圖3(d)和圖3(b)可知，新方法能較好地處理區域物體深度信息。從圖3(d)和圖3(c)對比可看出，新方法相對于SAD 算法，不僅能較好解決遮擋區域的視差問題，而且視差精度較高，示例圖像中的布偶和玩具房輪廓邊緣效果明顯，可信度高。與其他3 種算法的誤差率對比如表1 所示，運算時間上的對比則如表2。

表1 其他算法與新方法誤差率對比 單位：%

表2 其他算法與新方法運算時間對比 單位：s

在表2 中可以看出，NCC 算法的運算速度最快，與新方法對比快了20%左右，但其匹配誤差率也高于新算法2 倍多。SAD 算法與SSD 對比，在誤差率相差不大的情況下，運算時間較快，故而SAD算法優于SSD 算法。新方法與SAD 對比，誤差率低于SAD 算法，運算速度也略高于SAD 算法，能夠滿足圖像立體匹配場景下的應用要求。

5 結束語

針對算法效率的提升與降低出錯率，提出了一種引入視覺注意機制的區域立體匹配算法。在保證圖像一定精度的情況下提高匹配速度和效率，保證匹配的準確性。實驗表明，所述方法相比于精度較高、速度較快的SAD 算法，能夠提高15%速度，同時精度提高3%，為立體匹配技術在視覺導航、障礙物檢測等方面的應用奠定了良好基礎。