魚眼圖像提取與校正的研究與實現

王政川

（四川大學計算機學院，成都 610000）

魚眼圖像提取與校正的研究與實現

王政川

（四川大學計算機學院，成都 610000）

魚眼圖像提取與校正是多通道投影顯示系統的關鍵技術之一。對魚眼校正常用球面成像模型進行實驗驗證，并分析模型在使用中的誤差分布。對魚眼圖有效區域提取與展開進行實驗與分析。最后還對相關算法進行優缺點比較，復雜度分析，并結合實驗結果，提出算法的改進方法。

圖像提取；圖像校正；魚眼

1 球面魚眼成像模型驗證試驗與結果分析

魚眼球面透視投影成像模型是魚眼校正中的經典模型，然而大家在使用之前往往忽略了對模型本身的驗證，因為該模型僅僅是一個理論模型，如果不進行驗證，就無法確認其正確性與準確度。在實際使用中，外界因素會產生哪些影響，會造成多大誤差，這都是需要事先知道的實驗條件，尤其是當我們需要進行精確的魚眼操作的時候。本節將對該模型進行一個數學驗證實驗。

圖1 實驗用魚眼圖原圖

驗證工作如下：測量圖1中每個點到相機的實際距離并算出任意兩個點到相機連線的夾角，在魚眼圖上找到點的對應位置并通過球面坐標求出兩點與球心連線的夾角。理論上，通過計算得到的結果和實際測量的結果應當相同。

實驗用魚眼圖（圖1）有效區域半徑R=14.5圓心O（13.9，9.3），C表示相機，D表示距離，圖中各點用“P+標號”代替，θ表示測量得到的角，γ表示計算得到的角，δ表示相對誤差，實驗數據如下：

圖2 箱型圖示意圖

計算10組數據的四分位數Q1=2.02，Median=3.78，Q3=5.09，Avg=3.8783，四分位距 IQR=Q3-Q1=3.07，min=Q1-1.5*IQR=-2.585，max=Q3+1.5*IQR=9.695。可見第一組數據落在了箱型圖的最大值范圍之外，故舍棄。

重新計算四分位數。Q1=2.02，Median=3.74，Q3= 4.21，Avg=3.2137，四分位距 IQR=2.19，min=-1.265，max=7.495。修正后的數據，全部9組數據皆落在箱型圖最小值和最大值之間。

圖3 原始數據箱型圖

圖4 修正后數據箱型圖

通過這個實驗，證明了球面魚眼成像模型的正確性，能夠用來模擬真實的魚眼成像規律。從實驗數據還可以看出，數據誤差分布穩健，百分之三點幾的平均誤差在接受范圍內。因此得出結論，球面投影模型符合我們的使用需求。

2 魚眼圖像有效區域提取

2.1 面積統計算法與分析

面積統計法基于有效區域內灰度值小的像素點較少的觀點，如果有大量灰度值較小的像素點出現在有效區域內，進行邊界識別就可能出現嚴重誤差，從而影響提取的有效區域形狀，導致圖象信息丟失，并最終影響到魚眼圖校準結果。定義一個閾值T，將像素灰度值大于T的總和sum求出來，同時計算像素的灰度值大于T的一次矩Σx，Σy。因此，很容易得出以下結論：

其中r是有效區域半徑，（xc，yc）是有效區域中心點坐標。

事實上，在某些特殊情況下，有效區域內有可能存在很多像素點灰度值較小，例如，夜間拍攝或拍攝深色背景場景，甚至在夜間拍攝深色背景場景，場景中灰度值較小像素點很多，如果按照上述公式計算，誤差將非常大。因此反過來想，有效區域外像素點顯然是黑色的，灰度值極小甚至是零灰度值。我們可以統計有效區域外像素點灰度值小于T的總數計算像素灰度值小于T的一次矩那么：

面積統計法思想非常簡單，就是把魚眼圖中所有像素的灰度平均值作為閾值（當然，這個閾值可以自己設置），并和每個像素逐一比較，然后確定某個像素是否在有效區域內。因此，當有大量黑色像素點或者灰度值極小像素點在有效區域內時，以這種方式來提取有效區域會產生一個較大的誤差。因此，該方法的適用性不強。

2.2 掃描線逼近算法與分析

掃描線逼近法基于有效區域內像素灰度差比有效區域外像素灰度差大很多的觀點，來確定有效區域的外接矩形，從而確定有效區域的邊界。該算法對于有效區域內部的深色像素不是很敏感，因此可以有效克服面積統計算法的缺陷。

圖5 掃描線逼近法

有效區域包含魚眼圖的場景信息，該區域內像素的灰度值普遍比有效區域外像素的灰度值要大得多，因此有效區域內的極限灰度差比有效區域外的極限灰度差也要大的多。根據這個特性，掃描線逼近法原理如下：以魚眼圖的行列來創建掃描線，從魚眼圖邊界開始從上往下，從左至右的向有效區域的中心點掃描，當掃描線進入有效區域，如圖5中掃描線從left1位置掃到left2位置，由于在有效區域包含彩色像素，所以掃描線上的像素的極限灰度差會突然增大，所以我們可以先設定一個閾值T，當掃描線上的像素點的極限灰度差大于所設閾值T時，我們可以認為掃描線已經達到有效區域的左邊緣。計算掃描線上的像素點的最大灰度Imax和最小灰度Imin，從而獲得該掃描線的像素的極限灰度差Isub：

當Isub〉T時，就表示掃描線已經掃描到有效區域的邊緣位置。按照這個步驟就能夠求出有效區域的四個邊界（top，bottom，left，right），從而提取出魚眼圖的有效區域的中心坐標和半徑：

對這個算法的時間復雜度做個簡單分析。假設一個魚眼圖的大小是W*H，有效區域的半徑為R，將迭代過程中對單個像素點的操作或者運算記為一次基本操作，時間復雜度記為O（1），那么面積統計算法對圖象中所有像素灰度進行了比較，時間復雜度是O（W*H）；而改進后的面積統計法只掃描了有效區域外的點，時間復雜度是O（W*H-π*R^2）；掃描線逼近法只對有效區域外接矩形外的像素進行了一次或兩次基本操作（圖象的四個角落均被重復掃描了一次，如圖7中的區域1，3，5，7），時間復雜度是：O（2*W*H-2*W*R-2*H*R）。很難說明這兩種算法誰的效率更好。為了消除掃描線逼近法操作過程中的重復計算，提高算法效率，我們提出一種改進方法。

圖6 改進后的掃描線逼近法示意圖

圖6可以看出，按照通常的掃描線逼近法，圖象左上、右上、左下、右下四部分（即圖中 1，3，5，7四個區域）都被重復掃描，若像素較多，則會嚴重影響掃描效率。所以只要掃描過一個點，就將其刪除，以避免重復掃描。一種典型的掃描順序是，先從上往下掃描1，2，3三個區域并且刪除像素，然后從下往上掃描7，6，5三個區域并刪除像素，最后掃描8和4兩個區域。由此可見，改進后的掃描方法，時間復雜度僅為O（W*H-4*R^2），相比改進后面積統計法O（W*H-π*R^2）有所提高，效率占優。

2.3 實驗結果與分析

分析一下實驗結果。第一，由于計算中的誤差，有效區域中心向左偏移了一定距離。第二，由于中心偏移，有效區域右邊界包含了一部分無效圖像信息，而有效區域左邊界則損失了部分有效信息。第三，實驗組3的結果向我們展示了所設定的搜索閾值T對有效區域提取的具體影響，由于第三組圖像采集時環境光線暗淡，所以影響了程序對邊界的判斷，這說明良好的實驗環境是多么重要。

圖7 有效區域提取實驗圖1

圖8 有效區域提取實驗圖2

圖9 有效區域提取實驗圖3

3 魚眼圖像校正

3.1 經度校正算法與分析

直接投影球面坐標進行校正并不明智，通過球面坐標推導出經緯度再展開魚眼圖得到校正圖像，就是經緯映射校正算法。然而這種算法只是在算法層面的理論計算，理論上效果會非常不錯。但在實際使用中會由于浮點精度出現嚴重誤差，導致結果不理想。故我們可以用其他方法來替代經緯度映射，也就是基于經度的校正算法。

圖10 經緯展開示意圖

圖11 經度展開示意圖

這種方法是從經緯映射簡化而來，只考慮像素的經度或緯度的一種，忽略掉另一個方向。首先找到有效區域的中心點和半徑，并盡量將有效區域轉換成標準圓。按照這個方法，相同經度的不同像素在展開后具有相同的列坐標值，如H和K兩點具有相同的x坐標值。在緯度方向上的像素，從左側到右側邊緣具有相同角度差，并且與之對應的線段dx在水平方向上均勻切割經度，使得相鄰經線在水平方向間距相同。由此可以得到校正公式：

基于經度的校正方法非常容易用代碼實現，然而垂直方向上下兩端出的失真校正效果非常不理想，越靠近端部，校正效果越差。

3.2 分割圓算法與分析

分割圓的校正方法首先分割魚眼圖成為一系列的同心圓，然后使用變換函數把同心圓映射成同心矩形，這樣就將失真的魚眼圖恢復成符合視覺習慣的透視投影圖像。這種校正只是讓像素點進行徑向上的移動，很容易推出轉換公式。

圖12 同心圓分割坐標系示意圖

圖13 圓分割算法示意圖

魚眼圖中像素坐標（x，y）滿足如下條件：

其中width和height分別表示魚眼圖的寬度與高度，像素到圖像中心的距離為：魚眼圖同心分割是通過改變R的值來執行的：

魚眼圖同校正圖像素坐標間的對應函數關系如下：

這個算法相比于基于經度的校正更加簡單，只需要嚴格按照一一映射的變換函數，將同心圓上的像素點校正到該同心圓的外切正方形上對應的位置。算法同等對待魚眼圖中每個像素，有效避免了在上一節提到的算法中，上端和下端像素校正效果不理想的情況。此外，分割圓算法還適用于非標準橢圓形魚眼圖。

3.3 實驗結果與分析

圖14 經度校正

圖14是經度校正的結果，圖片垂直方向上的像素點坐標校正效果非常好，在水平方向上，除了靠近畫面中線部分的校正效果比較可觀之外，畫面上下兩端出現了嚴重的拱形失真的情況。這也是經度或緯度校正方法的缺陷。關于展開圖還有一個有趣的現象，就是校正后圖像所包含信息變少了。這是因為將圓形魚眼圖展開之后，畫幅會有一定程度增大，而實驗在創建校正圖片的時候是按照原圖的尺寸創建，故原圖中有效區域邊緣的像素在校正后會超出圖片尺寸范圍導致邊緣信息丟失。

圖15 圓分割校正

圖15為分割圓的校正展開結果。這是一種比較死板的算法，因其有嚴格的一一映射的變換函數，實際上是將魚眼圖中像素分成上下左右四個三角區域分別校正，校正結果非常特殊。圖像水平方向和垂直方向兩端的校正效果相比基于經度的校正方法更加理想，然而反倒是畫面中間的矯正效果不夠好。這是因為從同心圓到同心正方形的坐標變換上，并沒有針對畫面中心與邊緣的差異進行距離微調，直接忽略了畫面不同部分之間形變量的差異。而且在圖像對角線上的校正出現了矯枉過正的情況，導致圖像四角出現了新的畸變。

基于上述兩種方法獲得的靈感，提出了種簡單的改進方法，也是對經緯映射展開的一種近似。圖16是實驗結果。可以看出校正效果比較優秀。分割圓的校正方法將魚眼圖的扭曲看成同心圓線對圓線上的像素進行校正，卻沒有考慮畫面不同部位的扭曲程度差異。如果把基于經度的校正思想加入到分割圓中，垂直方向校正和水平方向校正結合起來，同時考慮扭曲程度的差異。根據徑向畸變和切向畸變的相對獨立，我們先將一個像素點矯正到緯度坐標展開后的位置，然后再對新的像素坐標進行經度坐標展開。最后用校正后的像素點周圍點對其進行插值。由于坐標的對稱性，經緯展開的先后順序可調換。

圖16 一種簡單改進的魚眼校正

從圖中可以看到，經過校正后，水平方向和垂直方向的扭曲基本不存在。然而這種方法會使得展開后的圖象信息損失更加嚴重，而且在靠近對角線邊緣的地方矯正效果依舊不太理想。更為嚴重的是，畫面相比單純的經度展開立體感更不明顯。這也是經緯映射展開算法最大的問題。

4 結語

通過實驗，發現選用球面模型來模擬魚眼鏡頭成像比較實用，模型簡易，便于計算和理解，比較適合于魚眼圖的失真校正。2D魚眼校正算法因為不需涉及空間信息，可以直接確定原圖與校正圖對應點的坐標變換，理論簡單。但是2D魚眼校正也正因為不涉及空間點信息，忽略了像素點深度，導致校正后圖像空間感立體感缺失，讓觀察者覺得圖像中景物都處于同一平面上。經度校正法作為典型的2D校正方法，計算量較小，是比較實用的校正方法之一。

[1]王大宇，崔漢國，陳軍.魚眼圖像輪廓提取及校正研究[J].計算機設計，2007，28（6）:2878-2879.

[2]崔漢國，陳軍，王大宇.基于魚眼圖像的虛擬漫游研究[J].系統仿真學報，2007，9（5）:1504-1506.

[3]Castleman K R.Digital Image Processing[M].北京:清華大學出版社，2003.

[4]陳兵旗，孫明.Visual C++實用圖像處理[M].北京:清華大學出版社，2004.

[5]Clifford A.Shaffer.數據結構與算法分析（C++版）（第二版）[M].北京：電子工業出版社，2012.

[6]英向華，胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報，2003，26（12）:1702-1708.

[7]王俊杰，徐小剛，胡運發等.魚眼投影在虛擬實景中的應用研究[J].小型微型計算機系統，2004，25（2）:287-290.

作者簡介：

王政川（1992-），男，四川綿陽人，碩士研究生，研究方向為圖像處理與合成

Research and Implementation of Fisheye Image Extraction and Correction

WANG Zheng-chuan
（Computer College Science，Sichuan University，Chengdu 610000）

Fisheye extraction and correction is one of the key technologies of multi-channel projection display system.The spherical imaging model for fisheye correction is tested and verified in detail,and analyzes the error distribution in the actual use of this model.Analyzes and implements Fisheye effective region extraction and expansion are by coding.Finally compares the advantages and disadvantages of the algorithms mentioned,analyzes the complexity,and proposes a method to improve the algorithms according to the results.

Image Extraction;Image Correction;Fisheye

1007-1423（2017）09-0078-07

10.3969/j.issn.1007-1423.2017.09.019

2017-03-16

2017-03-20