基于全局相似性約束的多視點圖像拼接

劉雨翰，常 敏，韓 帥，陳 果

（上海理工大學 光電信息與計算機工程學院，上海 200093）

引 言

圖像拼接技術是將多張圖像合成更大視野的全景圖的過程[1]。在相機純旋轉的單一視點下，經過多年的大量研究后，已有較為成熟的模型與算法，并被廣泛應用在實際生活中[2-3]。然而，隨著智能設備的興起，手持式鏡頭在近距離拍攝的情況下會產生大的視差，因此研究多視點圖像的拼接方法具有很高的實用價值。

在多視點的條件下，如果拍攝對象僅存在一個平面，則待拼接圖像間的幾何變換仍可由一個全局單應矩陣來完成。典型的拼接算法有Brown等[4]提出的AutoStitch，該方法使用全局單應性對齊圖像，魯棒性較強。但是，拍攝環境通常情況比較復雜，一個全局單應不能很好地滿足該環境。對此，科研人員提出了用多個局部投影變換矩陣來對圖像中的不同部分進行分別處理。Lin等[5]提出的平滑仿射變換（smoothly varying affine，SVA）模型，通過在圖像重疊區域的網格變形拼接圖像，類似于整體的全局變換。Zaragoza等[6]提出的盡可能投影變換（as projective as possible，APAP）模型，通過在圖像重疊區域的局部投影變換結合Moving-DLT方法進行圖像拼接。這些方法都假設存在一個全局的透視變換或仿射變換，局部模型僅在全局模型基礎上進行一些輕微改動，其本質仍然是單視點，易對大視差圖像產生誤差和累積形變，使得拼接后圖像產生嚴重的畸變。

由于單視點的圖像拼接不可避免地會帶來嚴重的形狀和尺寸失真，2014年，Chang等[7]提出了單應性變換和相似性變換相結合的多視點圖像拼接方法（shape preserving half projective, SPHP）。SPHP方法將重疊區域的單應性變換平滑過渡到非重疊區域的相似性變換，重疊區域的單應性變換能夠保證較好的圖像對齊，而非重疊區域采用相似性變換，可以減少投影失真，保持圖像的觀感。但SPHP模型包含了對兩幅圖像之間的單應性關系分析，因而繼承了單應性的局限性。2018年，梁楠等[8]提出了使用局部加權融合并在特征點垂直方向增加約束的拼接算法，增強了相對復雜的（如醫療手術）圖像的拼接效果。羅永濤等[9]提出基于最佳縫合線與灰度均值插改正比結合的算法，對拼接縫的消除效果更好，圖像過渡更為自然。2020年，王紅軍等[10]提出了一種改進SPHP模型的遙感圖像拼接算法，在大圖像背景下使拼接速度更快。

綜上，現有的各類圖像拼接方法雖可以允許相機有較輕微的移動，但對實際復雜環境下拍攝的那些具有較大視差的圖像，仍存在著一定的問題。針對以上算法不足，本文提出了一種基于全局相似性約束的多視點圖像拼接方法。本方法在傳統網格模型的基礎上進行優化，添加了一個先驗的全局相似性約束項，該約束項通過改進AutoStitch中的光束法平差[2]來估算每幅圖像的縮放尺度和旋轉角度，從而獲得一個最佳的相似變換度，使拼接效果更為自然。

1 全局相似約束圖像拼接

1.1 最佳縮放尺度的確定

圖像拼接包括特征提取、特征匹配、計算投影變換矩陣和圖像融合四個主要過程，其中變換矩陣的計算是圖像拼接的核心。本文引入了一個全局相似性約束，以確保每一幅變形的圖像都通過對應的全局相似變換矩陣進行相似變換。如果缺少此約束，將可能導致如SPHP模型一樣的扭曲或失真。本文提出的拼接方法為：首先，為每幅圖像()確定一個最佳縮放尺度()和旋轉角度()，通過自適應的確定縮放尺度與旋轉角度，可使多圖拼接性能和觀感自然度大幅提升；然后，在此基礎上計算出對應的全局相似變換矩陣；最后，使用求得的全局相似變換投影矩陣對待拼接圖像進行配準并完成拼接。

將傳統圖像網格模型中每一個單元格都視為一幅獨立的圖像，可得一組圖像（N為單元格總數），將作為參考圖像。由于根據兩幅圖像之間的單應性可以估算出兩幅圖像的焦距[11]，且通過APAP算法可以獲得圖像網格中單元格之間的單應性關系，所以每個單元格圖像都可以得到一個相對應的初始焦距（由于局部和全局均采用相似變換，所以變換矩陣求解方法大致相同，主要差別在于第一步初始焦距的確定，全局相似變換的初始焦距取圖像網格中所有單元格圖像的初始焦距中間值），進一步生成每個單元格圖像的初始內參數矩陣Ki，即

1.2 最佳旋轉角度的確定

首先通過分解式（2）得到的三維旋轉矩陣Ri得到相對軸的旋轉角，則相鄰圖像和之間的相對旋轉可以定義為。

圖1 求解最佳旋轉角度流程圖Fig. 1 Optimal rotation angle flow chart

1.3 全局相似變換矩陣的確定

在已經求得縮放尺度和旋轉角度的基礎上，全局相似性變換可以定義為

2 實驗結果與分析

2.1 實驗平臺搭建

本文的圖像處理平臺：CPU為Intel（R）Core（TM）i5-6400，2.7 GHz，內存為16.00 GB，操作系統為Windows 10，仿真平臺為MATLAB 2018a。對多組待拼接圖像數據分別采用APAP、SPHP以及本文方法進行拼接，對比拼接效果。本文選取不同特征的三組圖像進行分析，三組圖像分別為：視角不同（建筑）、亮度不同（花園）、復雜場景（鐵軌），三幅圖像的大小分別為852×1 135，1 531×1 022，2 000×1 500，如圖 2 所示。

圖2 待拼接圖像Fig. 2 Images to be spliced

2.2 圖像拼接質量評價方法

拼接后的圖像質量很大程度上取決于人在看到圖像時的主觀感受，因而大部分圖像拼接質量評估都是以主觀評價為主。通常采用國際無線電咨詢委員會制定的CCIR500-1的主觀評價標準。但是由于圖像拼接結果注重拼接部位的錯位以及邊界是否平滑過渡等，主觀評價對圖像的細微變化不能很好地區分，所以也需要對拼接圖像進行客觀評價。為了更好地對本文提出方法的拼接質量做出評價，本文借鑒文獻[15]所提出的圖像拼接質量評價方法，采用結構相似度（structural similarity index Measurement，SSIM）和邊緣差分譜（different of edge map，DoEM）兩種方法進行客觀評價。SSIM評價方法是由亮度相似度、對比相似度和結構相似度三個元素組成。DoEM評價方法主要分為三個步驟，分別為圖像邊緣檢測、圖像邊緣差分譜構建以及差分譜信息統計并計算得分，從而得到評價結果。

2.3 圖像拼接結果分析

圖3、4、5分別為對三組圖像采用不同方法得到的拼接結果。

從拼接結果可以清晰地發現，APAP方法的拼接不能有效解決視差問題，在重疊區域存在大量重影與模糊；SPHP方法相對APAP方法有了一定的改善，但仍未完全解決視差問題，且該算法在整體上使圖像產生了非均勻變形，在部分重疊區域仍然存在重影，圖像感觀不夠自然。相比之下，本文提出的基于全局相似性約束的圖像拼接方法有效地改善了重影和扭曲變形的問題，重疊區域沒有明顯的重影，且圖像保持了拼接前原始視角，沒有產生扭曲變形，拼接效果更為自然。

為了進一步評價拼接效果，本文采用SSIM和DoEM方法分別對APAP、SPHP和本文方法的拼接結果進行評價，所得結果如表1所示。

從表1的結果可以看出，本文提出的方法拼接得到的SSIM和DoEM評價分數相比其他兩種拼接方法提高了10%以上。

圖3 建筑拼接圖像Fig. 3 Building splicing results

圖4 花園拼接結果圖Fig. 4 Garden splicing results

圖5 鐵軌拼接結果圖Fig. 5 Rail-tracks splicing results

表1 拼接質量客觀評價Tab. 1 Comparison of stitching results

3 結 論

本文提出一種針對大視差環境的多視點圖像拼接方法。該方法在傳統細分網格模型的基礎上，引入了一個全局相似約束項，針對每幅圖像的縮放尺度與旋轉角度做出良好的選擇，可以保持在良好對齊的同時減少失真，最終在整體視角上獲得一個更好的縫合圖像。實驗結果表明：該方法可有效降低大視差圖像拼接時易出現的鬼影、重影、畸變等問題，且在整體上圖像仍保持一個良好的視角，不會扭曲失真，圖像拼接質量評估分數比相關文獻報道的提高了10%以上。本文提出的方法適合大視差場景下的圖像拼接，可為大視差圖像處理提供參考。