多平面分區投影的大視差圖像拼接算法和綜合實驗案例設計

陳立偉， 宋濤羽

（哈爾濱工程大學信息與通信工程學院，哈爾濱 150001）

0 引 言

信號處理綜合實驗中，圖像拼接是其中一個實驗項目。圖像拼接是一種能夠將空間上有重疊的兩幅或多幅圖像拼接為一幅具有高分辨率、寬視角圖像的技術，目前，廣泛應用在遙感圖像處理［1］、醫學圖像合成［2］、虛擬現實［3］和無人駕駛［4］等領域。

滿足單點透視假設的圖像拼接相對簡單，技術較為成熟［5］，但是大視差場景下的圖像拼接依然是一個有挑戰性的任務［6］。這是由于大視差圖像之間往往存在多個對應平面，很難同時將所有平面對齊，導致拼接結果出現重影。為解決這一問題，Gao 等［7］提出將場景劃分成兩個主導平面，一個前景平面，另一個背景平面，然后在這兩個平面上分別計算單應性矩陣并對其進行配準。這種方法對于圖像中只有兩個平面的場景，拼接效果明顯比單個全局單應矩陣得到的拼接效果好。Zaragoza等［8］提出的APAP 算法引入了網格劃分的思想，將圖像劃分為很多的小網格并在每個網格中都估計出一個單應性矩陣，一定程度上提高了圖像配準精度，但是僅適用于視差較小的情況，并且要求待拼接圖像有較高的重疊度。Lin 等［9］提出的AANAP算法是在APAP的基礎上，將局部投影變換和全局投影變換線性結合，得到的拼接結果有非常自然的視覺效果。Li等［10］提出了一種基于魯棒彈性翹曲的視差容忍圖像拼接方法，能夠同時實現精確對準和高效處理。

以上這些算法為了提高配準精度，要求圖像有較高的重疊度，忽略了小重疊面積圖像拼接時出現的變形問題。另外在視差較大的情況下，圖像之間存在的多個對應平面無法同時對齊，拼接結果會出現重影的問題。為此，本文提出了一種多平面分區投影的大視差圖像拼接算法。首先將循環RANSAC 算法與最佳縫合線算法結合使用來確定最優單應性矩陣，以消除拼接結果中重疊區域的重影，然后把圖像劃分為3 個區域并利用最優單應性矩陣得到分區投影函數，對圖像進行分區投影變換，以避免非重疊區域變形。從而實現小重疊面積、大視差圖像的自然無縫拼接。

1 相關理論基礎

1.1 RANSAC算法

RANSAC算法是一種穩定的模型擬合算法［11］，對于存在誤匹配的特征點對集合，它依然可以求得最優的單應性變換模型，同時可以去除圖像中的外點（誤匹配點）并保留所有內點（正確匹配點）。算法的具體步驟如下：

輸入匹配特征點對集合M。

輸出最優單應性矩陣H、對應內點集合M＾。

（1）令i ＝1，在M 中隨機取出4 對匹配特征點，求解對應的單應性矩陣Hi。

（2）使用Hi計算其余匹配點的投影誤差，若誤差小于預設閾值T，則為內點并存入內點集合，記所有內點個數ni，i ＝i ＋1。

（3）重復（1）、（2），直到i 大于預設循環次數，停止循環。

（4）選擇ni最大時對應的Hi和內點集合，并令

根據算法可以得到待拼接圖像之間的最優單應性矩陣H和對應的內點集合。

1.2 最佳縫合線算法

最佳縫合線算法對于消除圖像配準誤差造成的重影有很好的效果，它在計算時考慮了圖像的顏色和結構差異信息，加強了縫合線的局部相似性。以縫合線為基準對兩幅圖像進行拼接，從本質上消除了配準不準確區域出現的重影現象。對于一條令人滿意的最佳縫合線來說，以下兩個要求需要被同時滿足：①兩幅圖像縫合線處像素點的顏色差異最小；②兩幅圖像在縫合線處的結構差異也應該最小。

由Duplaquet 等提出的最佳縫合線計算準則［12］如下：

式中：Ecolor（x，y）、Egeometry（x，y）分別為圖像重疊區域像素點的顏色差異強度值和結構差異強度值，

Sx和Sy分別代表x 和y 方向的大小為3 × 3 的Sobel算子。在圖像的重疊部分，利用準則公式計算每個像素點準則值，生成一幅以準則值為像素值的圖像，即能量矩陣E。然后利用動態規劃算法［13］在能量矩陣上搜索能量值最小的縫合線作為最佳縫合線，原理如圖1 所示。

圖1 縫合線搜索原理示意圖

具體步驟為：

（1）重疊區域第1 行每一列的初始值為能量矩陣第1 行的準則值。

（2）將縫合線當前點與其左右兩個點的準則值及下一行緊鄰的3 個點的準則值進行比較，把準則值最小的點作為縫合線的延伸方向，如果準則值最小的點已經在縫合線上，則選擇次最小的點作為延伸方向。循環操作步驟（2），當縫合線延伸到最后一行時，停止循環。

（3）選擇能量值總和最小的縫合線作為最佳縫合線。

2 多平面分區投影大視差圖像拼接算法

由于大視差圖像之間往往存在多個對應平面，進行圖像拼接時無法將所有平面同時對齊［14］。因此在局部對齊的圖像上搜索一條縫合線對圖像進行拼接，成為解決這一問題的有效方法。拼接過程中，利用RANSAC算法只能產生一個主平面對齊的圖像，而在其他平面對齊的圖像上極有可能搜索到一條合適的縫合線，得到更加自然的拼接結果。因此需要計算多個對應平面上的單應性矩陣，選出效果最好的來拼接圖像。另外，對于本文小重疊面積的圖像，如果僅采用單應性矩陣變換圖像，在非重疊區域會出現嚴重的變形問題。為此，本文將圖像劃分區域，不同區域采用不同類型的變換模型，保持非重疊區域形狀不變。

2.1 多平面候選單應性生成與最優單應性選擇

將兩幅待拼接圖像I0和I1的初始匹配點記為M0，通過在M0上循環使用RANSAC 算法即可得到所有對應平面上的單應性變換矩陣，通過最佳縫合線算法在每一個局部對齊的圖像上搜索縫合線，并記錄縫合線能量，選擇能量最小縫合線對應的單應性矩陣作為最優單應性矩陣，具體流程如圖2 所示。

圖2 多平面候選單應性生成與最優單應性選擇流程圖

2.2 構建分區投影函數

假設得到的最優單應性矩陣為H，將圖像從（x，y）坐標系下變換到（u，v）坐標系下，變換關系式為

式中：θ ＝a tan2（－ h8，－ h7），a 為線性參數，h7和h8為單應性矩陣H中的第7 和第8 個參數。

利用u ＝u1和u ＝u2兩條直線將待配準圖像劃分為3 個區域，分別為重疊區域RH＝｛（u，v）｜u≤u1｝、過渡區域RT＝｛（u，v）｜u1＜u ＜u2｝和非重疊區域RS＝｛（u，v）｜u2≤u｝。定義分區投影函數

式中：H（u，v）為H在（u，v）坐標系下的表示；T（u，v）表示單應性變換向相似變換轉換的函數；S（u，v）表示相似變換，它們可以根據文獻［15］中的方法進行求解。

確定u1、u2時，主要是依據變換函數形狀保持的特性，使變換函數盡可能地接近相似變換。為此，定義每一幅圖像Ii的代價函數Ci，衡量其變換函數wi與最近相似變換的偏差：

式中：Ωi是圖像Ii中的一塊矩形區域；Ji（x，y；u1，u2）為wi在（x，y）處的雅可比矩陣。當拼接兩幅圖像時，總偏差

其中，w1＝w ?H－1，w2＝w。

3 實驗結果與分析

為驗證本文所提算法的效果，將AANAP、ELA 算法與本文算法進行對比。實驗中使用的圖像均為手機拍攝，尺寸為1 280 × 720 像素，實驗硬件平臺為Intel（R）Core（TM）i5-8300H，2.3 GHz CPU，內存8 GB。軟件平臺為Visual Studio 2017 和OpenCV 3.4.1。

本次實驗中，采用兩組測試圖像對算法性能進行測試。為便于對比，拼接結果中存在重影的區域用紅色方框標出，并放大排列在拼接結果的下方，存在拼接線的區域用藍色方框標出。為了更直觀地對比非重疊區域的變形情況，在圖像中插入了6 個5 × 5 的黃顏色網格作為形變探針。形變探針編號為，左邊一列自上向下1，2，3；右邊一列自上向下4，5，6。

第1 組為城市交通場景下采集的圖像，源圖像如圖3 所示，圖像的重疊度為32.6%。

圖3 城市交通場景源圖像

圖4 展示了不同算法的拼接結果及局部放大圖。其中圖4（a）為利用AANAP 算法得到的拼接結果，可以看到越野車的車頭、路燈桿和大樹的位置均出現較為明顯的重影，1 ～6 號形變探針都出現不同程度的變形，相較于1，2，3 號，4，5，6 號的變形更為嚴重。圖4（b）為ELA算法得到的拼接結果，在越野車、路燈桿和大樹的位置同樣出現較為嚴重的重影，并且在重疊區域的邊界處還出現了拼接線，但6 個形變探針的形變量相較于AANAP 算法有所減輕。相比之下，本文算法得到結果中沒有出現重影，6 個形變探針也沒有變形，得到的結果更加自然。

圖4 城市交通場景不同算法拼接結果對比

第2 組為校園交通場景下采集的圖像，源圖像如圖5 所示，圖像的重疊度為45.3%。

圖5 校園交通場景源圖像

圖6 所示為校園交通場景下不同算法拼接結果對比圖，其中圖6（a）和圖6（b）分別為AANAP、ELA 算法的拼接結果，在窗戶、汽車和行人位置均出現了明顯的重影。此外ELA 算法的拼接結果在重疊區域邊界處同樣存在明顯的拼接線，本文算法得到的結果有效避免了重影的出現，6 個形變探針的變形情況也明顯優于對比算法。

4 結 語

本文提出了一種多平面分區投影的大視差圖像拼接算法，算法有以下特點：

（1）通過循環使用RANSAC 算法獲得圖像多個對應平面上的單應性矩陣，利用最佳縫合線算法選擇效果最好的一個對重疊區域進行對齊，有效提高了重疊區域的拼接質量。

（2）將圖像劃分區域，不同區域采用不同的投影變換，有效防止非重疊區域形狀失真。相較于對比算法，本文算法有較強的重影消除能力和形狀保持能力，實現了小重疊面積、大視差圖像的自然拼接。

本文算法也有一定的局限性，還有需要完善的地方，比如，在確定最佳單應性矩陣時，需要在多個局部對齊的圖像上搜索縫合線，比較耗時，因此拼接的效率還有待提高。未來將對拼接的效率做進一步探索，研究效率更高的算法。

學生在實驗中，通過數據采集、算法設計、算法仿真和實驗分析等環節，提高了學生的學習興趣，培養了學生的創新精神和創新意識。