無人機全景攝像機的圖像拼接技術研究

葛思遠

（沈陽航空航天大學電子信息工程學院，沈陽 110136）

0 引言

為了能夠獲得一個清晰且超寬全景視角、高分辨率的全景圖像，通常對選擇的全景視頻中序列幀進行拼接融合處理。傳統拍攝方式主要是直接通過采用較貴的攝像器材等來進行圖像拍攝,采集這些特殊圖像并對其本身進行圖像處理。通過適當的圖像序列處理采集技術和拼接方法，逐步提高各種圖像采集質量，最終可以達到對各種圖像采集序列的自動化處理拼接，這樣就可以獲得一個具有各種超寬成像視角、大成像距離和廣視野、高分辨率的立體圖像。

但是，在實現特殊場景（如高空中）中的全景實時視頻拍攝時，仍存在著很多問題，比如拍攝環境的約束、相機性能差異性、景深導致的視差問題、圖像實時配準拼接的精度問題。針對以上問題，本文提出了基于相機標定的柱面圖像拼接技術。

1 基于相機標定的柱面圖像拼接

針對固定裝置的相機，在拍攝過程中不可避免會出現抖動，導致采集的圖像需要進行相機標定來校正，以便實現多角度拍攝的序列圖像拼接。矯正成像中產生的徑向畸變，再用柱面模型重投影獲取待拼接的序列圖像，最后用基于塊匹配的圖像配準方法，結合線性加權融合得到最后的拼接圖。

1.1 相機標定

相機標定作為序列圖像拼接的關鍵步驟之一,標定精度直接影響了拼接質量。在三維攝影相機的整體成像處理過程中，三維空間的映射點被直接映射為一個位于三維相機內部整體三維成像處理平面上的一個三維圖形映射點，這個圖形映射的空間關系參數是用三維相機的各種三維幾何圖像在形成為影像時的模型參數來進行確定的。幾何光學模型的其他各種重要參數通常是由位于相機的其他參數類型決定的，其中通常包括位于相機外部參數和內部的其他參數［1］。

如圖1 所示的坐標關系圖，它們之間有著準確的數學變化關系，即小孔成像模型。相機標定采用的是簡單有效的張正有標定法，其主要原理是先利用Harris 角點檢測算法提取黑白棋盤標定板上內角點的圖像坐標，再根據其世界坐標得到它們之間的映射關系，即單位矩陣H，再由單應矩陣推算出內參矩陣M和外參矩陣N，完成對鏡頭的校正。

圖1 坐標關系圖

世界坐標點與理想像素點的齊次變換如下公式：

式中，［xw yw zw］是三維數學世界物體坐標系中每一個三維物體所在節點的三維世界坐標，［u v］則是每一個物體成像中的物體所在點對應的三維物體像素世界坐標，R是一個3×3 的旋轉矩陣，T是一個3×1 的平移矩陣，ρ是尺寸因子，dx和dy分別為成像器件元在x和y方向上的物理尺寸，［u0v0］表示的是像素坐標系中的主點坐標，s為傾斜因子，一般可以忽略計算。

廣角鏡頭的標定操作主要包括內、外兩個參數矩陣的初始化，以及非線性的優化三個環節，采用Levenberg-Marquardt 算法進行迭代計算最終獲得優化后的內、外參數矩陣，實現相機的標定校正。

1.2 畸變矯正

根據標定后的圖像坐標與實際坐標之間的關系構造攝像機的非線性模型，由于實驗中采用的是廣角鏡頭，其畸變矯正一般只需考慮徑向畸變（如圖2 所示），其徑向畸變的表現形式為桶形失真，所以使用了偶次多項式模型獲得畸變系數［2］。實驗中發現，畸變中心的精確度對圖像失真校正有直接影響，可以用拍攝多張圖像計算均值的方法來修正畸變中心的坐標。

圖2 桶形畸變

根據標定后的圖像未畸變點坐標和其實際畸變點坐標之間的關系可以構造出一個相對于攝像機的非線性仿真模型，本系統中使用的廣角魚眼鏡頭畸變矯正一般僅考慮徑向畸變，如下公式所示，其徑向畸變的表現形式為桶形失真，所以使用了偶次多項式模型獲得2階畸變系數。

式中，［xc yc］表示畸變中心坐標，k1、k2為畸變函數。

1.3 柱面投影

采用柱面投影可以使全景拼接圖更符合人眼的觀察習慣。柱面投影被廣泛應用于水平方向的全景拼接，能夠一定程度地減小視差，且不會產生透視變換帶來的梯形失真。如圖3 所示，柱面投影的建模過程是將一幅平面圖像沿著柱面進行重投影的過程。柱面投影模型主要包含兩個核心參數，一個是柱面映射的投影中心（即畸變中心），另一個是攝像頭的焦距。

圖3 柱面投影模型

根據柱面體的立體結構特征，構造圖像坐標點變換方程，最后計算得到原圖像點（x，y）柱面重投影后的點（u，v）的坐標換算式如下:

式中，w和H為圖像的寬和高，f為相機的聚焦。

1.4 基于塊匹配的圖像配準

將圖像拼接的配準進行技術處理作為圖像拼接的圖像拼接的一個關鍵步驟，其處理結果直接影響最終圖像拼接的圖像質量［3］。圖像配準就是根據不同場景圖像的信息相似性，精確計算圖像間的變換性等參數，使成像校準裝置同樣能夠在不同的成像時間、不同的成像視角下獲取的多幅圖像，可以直接轉化，或轉換至同一個圖像坐標系下，并且同樣能夠得到最優化相匹配的一種圖像技術校準過程。根據計算圖像的灰度相似性可以作為圖像處理計算的依據和計算的對象，圖像匹配的處理計算方法大致分為四種基本類型：基于灰度的匹配、基于模板的匹配、基于變換域的匹配和基于特征的匹配［4］。

基于塊匹配的圖像配準算法，其主要思想就是通過在圖像已知的重疊區域中選擇一塊矩形區域作為模板，應用于圖中對隨機掃描被圖片匹配的兩塊圖像中相同矩形尺寸和相似重疊大小區域之間的圖像差異結果進行比對，計算它們之間的圖像相似性和誤差度量，確定最佳的塊匹配圖像點的地理位置［5］。本文采用基于塊匹配的圖像配準算法如圖4 所示，首先載入兩幅圖像矩陣，在設置完成圖像塊掃描窗口、閾值等參數后，開始掃描，計算出圖像區域間的絕對差值，差值結果和閾值進行比較，最后通過遍歷循環兩幅圖像的區域特征（灰度差值）來得到匹配曲線結果［6］。對于已知重疊區域的待配準圖像，塊匹配的圖像配準方法可以對圖像進項全面掃描，確保圖像匹配精度，減少視覺導致配準誤差，對環境適應性強。

圖4 圖像塊匹配過程

1.5 圖像融合

圖像融合的方法有很多，為便于實現，本實驗采用最簡單、效果又明顯的漸入漸出的加權融合方法［7］。該算法避免了直接平均法對圖像灰度的直接疊加，首先將重疊區域的像素點分別在圖像I1,I2中的對應像素值進行加權，然后利用加權系數的漸變實現逐漸過渡，從而得到融合圖像，原理圖如圖5所示。

圖5 線性加權融合

設I（x，y）為融合后的圖像，I1（x，y），I2（x，y）分別表示待拼接圖像的原始圖像，則有：

式中的w1，w2分別是圖像I1（x，y）和I2（x，y）重疊區域對應像素的權值，其中w1+w2=1，0

圖像拼接采用簡單高效的線性加權融合方法，在確保拼接圖像質量的同時，大大降低了計算量，可以提升實時性［8］。

2 實驗分析

此次實驗使用廣角相機多角度推攝，首先進行相機標定，保存好該廣角攝影相機的內外參數和畸變系數；然后用該相機進行多角度旋轉拍攝，獲取原始序列圖像，通過畸變矯正和柱面投影，得到如圖6 所示的待拼接序列圖，用基于塊匹配的圖像配準方法定位出最佳匹配位置；最后使用加權平均的圖像融合方法，得到質量較好的拼接圖像，如圖7所示。

圖6 待拼接柱面圖像序列

圖7 柱面圖像拼接

3 結語

本文從實際應用出發，為解決的不同場景下的多視角圖像拼接問題，通過相機標定實現廣角圖像畸變矯正，得到柱面圖像序列，再利用塊匹配算法進行圖像配準，最后加權融合完成圖像的拼接。本文設計的圖像拼接算法較好地解決了視差圖像的畸變以及圖像在空間中的位移關系等因素對于配準精度的影響，減小了視差帶來的拼接誤差，具有良好的配準精度，可以在復雜環境中得到質量不錯的拼接圖。對高空飛行中實時全景拍攝系統的研發，該技術具有十分重要的參考意義。