全景圖像拼接技術研究綜述

張竟雄 趙宜友

摘要：普通全景設備拍攝的圖像往往失真嚴重，運用全景圖像拼接的技術，把兩幅或多幅具有一定重疊區域的圖像進行合成可以有效解決這個問題。本文介紹了全景圖像拼接技術的一般流程，對柱面和球面圖像的拼接進行了介紹，對圖像拼接的兩個關鍵階段：配準和融合中的一些算法進行了介紹，分別總結了它們比較適用的場景和自身存在的不足，最后對全景圖像拼接技術未來的發展進行了展望。

關鍵詞：圖像拼接;圖像配準;圖像融合;全景圖像

中圖分類號：TP3? ? ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）27-0107-02

普通的全景設備所得圖像往往失真嚴重，全景圖像拼接的技術正是為解決這一問題而產生。全景圖像拼接包括配準和融合兩個關鍵階段。首先，通過一定算法從不同傳感器所拍攝的彼此間有一定重疊的多幅圖像中提取出特征集合，然后選擇合適的搜索策略對不同圖像中所提取的特征進行相似性度量，找出對應點，計算兩幅圖像之間的最佳變換模型，使得不同圖像中的對應點在空間位置上對齊，再以一定策略消除拼接后由于不同的成像角度、光照條件及攝像頭自身因素造成的模糊、鬼影、縫隙等現象，可獲得清晰的大視角圖像。目前，全景圖像拼接在諸如醫學診斷、視頻監控等計算機視覺的很多領域發揮著重要作用。

全景圖像拼接的研究由來已久。2004年，Szeliski[1]對圖像拼接中的各種關鍵技術進行了比較全面的介紹。2007年，Brown等[2]通過檢測圖像中具有尺度不變性的特征，可于多張無序的圖像中自動尋找對應關系拼接輸出全景圖，取得了很好的效果。

1 全景圖像拼接的種類

全景圖像拼接既包括普通的二維圖像的拼接，又包括環形全景拼接和球形全景拼接。環形全景拼接是指將圖像拼接到一個圓柱形的表面;球形全景拼接是指將圖像拼接到一個半球的表面。不同于普通二維圖像的拼接，環形或球形全景圖的拼接首先需要將平面圖像通過一定的數學關系投影到一個以固定視點為中心的相應曲面上。

彭紅星等給出了原始二維圖像與柱面投影的平面展開圖對應像素點的坐標對應關系，假設平面圖像和一個半徑等于相機焦距的投影圓柱體的表面相切，視點為圓柱中心，可以得到平面點再圓柱面上的投影點坐標。

同柱面全景圖像相比，球面全景圖像可以覆蓋更大的空間范圍，可全方位感知周圍環境。原始圖像向球面投影需要知道原始每幅圖像所對應的拍攝方向（相機繞光軸的轉角）和二維平面圖到球面的投影模型。由拍攝方向可知該圖對應的相機坐標系位置，然后用一個球面投影的模型來找到對應的三維相機坐標系中點在球面上的位置。可用一個旋轉矩陣R來表示拍攝方向的參數模型，R有很多種表示方式，常見的用于球面拼接的旋轉矩陣表示方法有坐標軸夾角法、四元組法、方向角法等[3]。知道了拍攝方向，通過球面投影公式可得平面像素點對應的球面坐標，所有二維像素點的球面坐標組合在一起即可獲得球面投影的圖像。李曉輝等給出了一種平面圖像到球面的投影模型，其中球面坐標用（r，θ，φ）來表示，分別代表球的半徑、球面點與豎直方向的夾角以及水平方向的轉角。

投影過程中，像素坐標映射后的結果可能不是整數值，這時需要用到插值的技術，插值的方法有最近鄰插值（尋找投影點距離最近的點）、雙線性插值（投影點周圍的四個點進行線性加權）和高階多項式插值法等不同種類。

2圖像配準

2.1 基于區域的圖像配準

基于區域的圖像配準方法比較兩幅圖像不同區域的統計信息實現配準，有互相關和互信息兩種比較經典的算法，另外還有歸一化互相關、歸一化互信息、交叉熵等各種方法。實現簡單，不需要提取額外特征，只用到了兩幅圖像的一定區域的統計信息，但是計算量比較大，魯棒性較差，適用場景較少。

2.2 基于變換域的圖像配準

基于變換域的圖像配準通過在頻域中配準并將計算結果映射回空間域。相位相關法、快速傅里葉變換等方法利用傅里葉變換的平移不變性，通過檢測頻率域中相位的平移來檢測空間域中對應的像素移動，可以實現具有平移關系的圖像配準，但是對具有旋轉、縮放關系的圖像配準并不適用，因此應用場景較為有限。Reddy等對相關法進行改進，用對數極坐標變換結合相位相關的方式將旋轉和縮放關系都轉換為平移關系，但仍要求兩幅圖像間有較大的重疊度。

2.3基于特征的圖像配準

Harris算法通過計算像素像素鄰域梯度判斷角點，具有光照、旋轉和平移的不變性，不具有尺度不變性。FAST、SUSAN等算法比較當前點與附近的一個圓形鄰域點的灰度差異判定特征點，操作相對簡單，實時性較好，但是對尺度和旋轉等變化的自適應性不是特別理想，在檢測閾值的設定方面比較煩瑣，易受噪聲影響。SIFT算法由Lowe提出并進行了完善，不受光照、旋轉以及尺度變換影響，在圖像高斯差分金字塔的不同層進行比較提取特征并最終將特征描述為128維向量，計算量較大但精度高于其他特征提取算法。出現了很多在SIFT基礎上的改進版本，如ASIFT、GSIFT、CSIFT、PCA-SIFT等。Bay等提出了SURF算法，對SIFT算法的主要改進為通過Haar小波響應以及積分圖來計算特征矢量，提升了計算速度但精度有所下降。Rublee等提出了ORB算法，使用優化后的FAST特征檢測算法和BRIEF描述符，計算速度也有了大幅提升。2020年，一種新的特征描述符：BEBLID被提出，其匹配精度優于ORB算法，同時運算更快。

2.4基于深度學習的圖像配準

近年來，隨著深度學習技術的發展，深度學習也被應用在圖像配準領域。運用深度學習的方法可進行特征點檢測、特征描述符的學習或者計算兩幅圖像間的單應性變換矩陣等，尋找最優變換參數等。很多時候會優于傳統方法，但缺點是需要大量數據支持。