應用經緯映射的魚眼圖像校正設計方法

楊 玲， 成 運

（1. 南京信息工程大學濱江學院，江蘇 南京 210044；2. 湖南人文科技學院通信與控制工程系，湖南 婁底 417000）

應用經緯映射的魚眼圖像校正設計方法

楊 玲1， 成 運2

（1. 南京信息工程大學濱江學院，江蘇 南京 210044；2. 湖南人文科技學院通信與控制工程系，湖南 婁底 417000）

為了消除魚眼鏡頭帶來的形變，該文提出了一種應用經緯映射的魚眼圖像校正設計方法，推導了消除變形的數學依據，總結出一種不需要任何標定數據，快速的糾正等角魚眼變形的算法。使用經緯映射圖像的校正方法，可以把扭曲的半球魚眼圖像投射為普通照片的四方形狀，也即通過投射降低圖像的扭曲程度，在視覺上基本達到實用要求。

計算機圖形學；經緯映射圖；魚眼圖像；魚眼圖像校正

為了消除魚眼鏡頭圖片的變形，一種方法是使用高次多項式模擬近似的變形方程，通過計算標定多項式系數來得到從源圖（有變形）到目標圖的點到點的映射關系。另一種方法是用非線性的幾何投影模型，例如等角魚眼模型[1]、球狀鏡頭模型[2]，來描述圖像的變形機制，但是這些方法只適用與彎曲程度不太大的情況，對于circular fisheye是不適用的[3]。

大多數的方法都需要準確的標定設備，針對特定的一個鏡頭，獲得變形的糾正公式，而且使用迭代優化方法，計算量大。如果在對精度要求不高的商業系統中應用，可能遇到的問題是：不同的照片來自不同的魚眼鏡頭；不具備對照相機參數進行標定的條件；需要較短的時間計算時間。所以本文將進一步推導更加簡單快速的魚眼鏡頭變形糾正方法。

1 恢復算法描述

經緯映射圖像(latitude-longitude projection image)方法雖然在繪圖學很少應用，但是在計算機圖形學中卻得到了廣泛的使用，因為在計算機上存儲單位球是很困難的，把球面分成小片非常復雜[4-5]。球面的經緯映射圖像就是把單位球面上的點按經緯度映射到一個矩形紋理圖像上的點，經度映射成矩形的水平坐標，緯度映射成垂直坐標，矩形的長寬比為2：1，經度從0到2π，緯度從 0到π。當然，經緯映射圖的矩形大小是由源圖（魚眼照片）來定的，例如，當是整個單位球面映射的時候，經緯映射圖長寬比為 2：1，經度從0到2π，緯度從0到π，而本文中的源圖是半球面圖，所以選擇經緯映射圖的長寬比為 1：1，經度從0到π，緯度從0到π，其原理都是一樣的。球面極坐標可以直接使用矩形紋理圖像的水平垂直坐標。單位球魚眼圖像中扭曲的場景可以用圖1(a)中的經緯度定位圖來表示，即每一條經度上的不同像素在扭曲校正過的經緯映射圖像中具有相同的列坐標值，如圖中h和p點在無扭曲的場景中具有相同的X坐標。經度越大的經線，其扭曲程度越大。對于圖片垂直方向上任意一點像素坐標yi，從球面的左邊界到右邊界的角度差都是相等的，且與之對應的線段 d 在 X軸方向上均勻分割經度，使得在同一經度不同的yi上，X方向上的距離相等。同樣，對照圖1(b)紋理圖像比較可知，最明顯的變形就是水平方向的拉伸變形，在赤道上幾乎沒有拉伸變形，越接近南北極點，變形就越厲害，幾乎拉伸到圖像的整個寬度。圖1給出魚眼圖像的單位球面上的P點和在經緯映射平面上的對應點的關系。

利用上面所講的等角魚眼投影[6]和經緯映射圖像原理，可以得到簡單的恢復算法。算法目標是推導目標圖（恢復后的經緯映射圖）和源圖（魚眼照片）像素之間的映射關系。如果從變形的魚眼圖像出發，計算每一點經過變換后到目標圖的坐標，將該點的像素信息賦值給目標圖上的點，這是最直觀的方法。

圖1 魚眼圖的單位球經緯度定位圖和經緯映射平面圖

2 魚眼圖像圓心和半徑的尋找方法

首先需要先求出魚眼圖片的中心和半徑，可以采用這種方法來求得。

根據魚眼圖像的特征, 對圖像進行二值化（即只有黑色和白色）（如圖2所示），二值化以后的魚眼圖像，其有效區域輪廓外形呈圓形，圓形輪廓以外全部呈現黑色，而輪廓以內的部分通常亮度較高。

根據這一特點，對得到的二值圖像做輪廓跟蹤，即分別對該魚眼圖像的二值圖像從水平和垂直方向（即從上下左右）開始逐步掃描，檢測每行或每列上各點的亮度值變化情況。亮度情況可以分為3類（見圖3）：

（1） 不穿過圓形輪廓的直線，由于其全部位于圓外的黑色部分，通常同一直線上的各點亮度均為0，因此該直線上的點的亮度變化次數為零，該直線予以舍棄；

（2） 圓形的割線，由于其穿入輪廓和穿出輪廓各一次，因此該直線上的點的亮度變化次數至少為2次，如果考慮到圓輪廓以內的有效圖像的亮度變化，則該直線上的點的亮度變化次數更多，該直線予以舍棄；

（3） 圓形的切線，直線上的點的亮度變化次數剛好為一次，則記錄下該直線。

圖2 二值圖

圖3 輪廓跟蹤亮度情況

由于存在一定的干擾和計算的不精確，通過上述方法求出的一組單一的數值可能存在的誤差較大，通過求得多組切線，然后對它們取算術平均，具體算法如下：對魚眼圖像的二值圖像順時針轉動一個固定的角度，設這個角度大小為θ ，每轉動一次求出一組關于半徑Ri和圓心坐標(xi, yi)的數值，設總共轉動了M次，最后對這M組數值進行算術平均

這時得到的數值就是所要求的該魚眼圖像的半徑R和圓心坐標(x, y)。

3 經緯映射圖像校正魚眼圖像的具體算法

在對魚眼圖像求取中心點和進行形狀校正之后，使用經緯映射圖像的方法，把扭曲的半球魚眼圖像投射為普通照片的四方形狀，也即通過投射降低圖像的扭曲程度。從圖1中可看出，若源魚眼圖像是單位球時，恢復后的經緯映射圖比魚眼照片的尺寸要大不少，用一一映射的方法，會在目標圖上留下許多空隙點。所以采用從目標圖像出發，反向計算源圖像上對應點的坐標，使用多對一的映射關系取樣像素。流程圖如圖4所示。

圖4 經緯映射校正算法流程圖

創建魚眼投影需要知道照相機到實景中（球面上）每一點的向量，再由經緯映射圖像上的點對球面上相應點進行紋理貼圖。這就需要推導魚眼投影平面到經緯映射圖之間的關系。

假設魚眼圖像平面像素坐標(i, j)已經轉換為范圍在-1到1之間的規格化坐標(u, v)（圖5(a)）。從角魚眼投影示意圖可以看出，球面好像以一層一層同心圓的方式投影在魚眼圖像平面上。最后得到的在投影平面上的圖像是圓形。設投影平面上任一點P(u, v)，計算P到原點的距離r和P與U軸的夾角φ（圖5(b)）。

圖5 兩種坐標平面

在180°以上角魚眼投影時，只有r≤1的點是有效的。計算r和φ的公式如下

r可以映射成球坐標系的, θ φ直接用于從照相機到實景方向向量的球坐標的ф，圖6(a)中顯示了魚眼映射時的球坐標。θ角就是r乘以魚眼視角 α（本文中選用的魚眼圖默認視角為π）的一半。即

假設球面半徑為 1，從照相機(球原點)到實景中點的方向向量(x, y, z)為

由照相機到實景方向向量(x, y, z)，就可以推導出在經緯映射圖中對應的θ′Φ′坐標。由于在球面到經緯映射圖時的球坐標和魚眼映射時的極坐標不一樣，因此，要進行重新選。

取球坐標系，采用圖的球坐標系(θ′, Φ′)，θ′是照相機到實景方向向量與y軸的夾角，Φ′是方向向量在XOZ平面上的投影與X負軸的夾角。圖6 (b)描述球坐標系重新的選取。

圖6 坐標系的重新選取

在新選取的球坐標系上，坐標(θ′,Φ′)公式如下

這樣對于目標圖像上每一點(i, j)，通過一系列變換，可以映射到源圖上的點(θ′, Φ′)，經過目標圖上每一點到源圖的取樣，這樣魚眼圖像地校正算法就完成了。

4 實驗結果及結論

角度模型是最基本的魚眼投影模型；結合經緯映射圖得到最簡單的恢復算法。實驗結果如下所示，圖7、圖8、圖9展示了circular fisheye照片源圖和校正后的對照。本算法不采用任何標定設備，使用方便，運算時間在十幾秒之內。經緯映射圖的特性決定，在南北兩極的圖像被嚴重拉伸。從實驗結果看，由于沒有精確的計算魚眼鏡頭的視角大小，最終糾正的效果不是很令人滿意，有些彎曲的地方未能調整為直線。

[1]Ying X, Hu Z, Zha H. Fisheye lenses calibration using straight-line spherical perspective projection constraint [C]//ACCV, 2006, Proc. of 7th Asian Conf.on Computer Vision. India：Hyderabad, ACCV, 2006：591-600.

[2]Mundhenk T N, Rivett M J, Liao X A. Techniques for fisheye lens calibration using a minimal number of measurements [C]//SPIE, 2000, Proc. of Intelligent Robotics and Computer Vision Conference. Boston：SPIE, 2000：181-190.

[3]容觀澳. 計算機圖像處理[M]. 北京：清華大學出版社, 2002：206-207.

[4]英向華, 胡占義. 一種基于球面投影約束的魚眼鏡頭校正方法[J]. 計算機學報, 2003, 26(12)：1702-1708.

[5]唐 俊, 趙為明, 谷 峰. 基于魚眼圖像的全景漫游模型[J]. 微機發展, 2003, 13(2)：69-70.

[6]黃有度, 蘇化明. 一種魚眼圖像到透視投影圖像的變換模型[J]. 系統仿真學報, 2005, 17(1)：29-32.

The Designing Methods of Fish-eye Distortion Correction Using Latitude-longitude Projection

YANG Ling1, CHENG Yun2
( 1. Binjiang College, Nanjing University of Information Science and Technology, Nanjing Jiangsu 210044, China;2. Department of Communication and Engineering, Hunan University of Humanities and Science and Technology, Loudi Hunan 417000, China )

For correcting the distortion caused by fish-eye lens, this paper proposes fish-eye distortion correction methods using Latitude-longitude projection image. The paper deduces the mathematic basis of eliminating distortion, summarizes and proposes a efficient fish-eye image distortion correction algorithm without any marking data. The use of Latitude-longitude image correction method can reduce the distortion of image in the way of projecting the distorted hemispheric fish-eye images into square shape as general photos, which greatly satisfies the practical requests.

computer graphics; latitude-longitude projection image; fish-eye image; fish-eye distortion correction

TP 391

A

1003-0158(2010)06-0019-04

2009-03-13

湖南省自然科學基金資助項目（07JJ6116）；湖南省重點建設學科資助項目

楊 玲（1981-），女，湖南婁底人，講師，碩士，主要研究方向為圖形圖像，信號處理。