針對魚眼圖像邊緣校正缺失的快速校正算法

李江華，李恩德

(江西理工大學 信息工程學院，江西 贛州 341000)

1 引 言

近年來，各個領域對于計算機視覺技術的應用日愈廣泛.尤其在機器人視覺及視頻監測領域，更寬的視野是基本需求，機器人視覺需要對盡可能大的視野內的目標做出實時而準確的判斷來獲取導航信息.除了在機器人視覺領域，在大單位視頻監控及虛擬實景等領域中，魚眼鏡頭因其特有的大視角所形成的寬視場的優勢，基于魚眼的成像系統受到越來越多的關注[1].然而由于魚眼相機引入了徑向畸變，魚眼圖像除中心小部分區域外都存在失真，這不同于正常人類視覺習慣.為從魚眼鏡頭攝像機獲得一幅普通的矩形圖像，恢復實際場景問題則需要對魚眼圖像進行校正，準確的魚眼扭曲校正至關重要.魚眼圖像的校正方法一般分為基于標定的校正法和基于投影變換模型.其中基于投影變換模型的校正法是尋找一種能夠將球面圖像映射到平面圖像的方法.基于標定的校正方法需要建立對于鏡頭的復雜數學模型，同時需要對設備進行標定，甚至需要相機的內部參數，校正成本高且對于人眼視覺觀察并無顯著提升.

為簡化傳統校正算法復雜度，提高校正后的視覺效果及提升校正算法的可行性和有效性，使魚眼圖像更符合人類視覺習慣同時盡可能全面的獲取魚眼圖像內完備客觀的物景信息，國內外相關領域研究人員提出了一系列有價值的算法.

Stenfan Hensel[2]等人通過結合對校正參數的估計，對魚眼圖像的徑向畸變進行校正，實驗結果驗證了此算法在針對特定畸變問題方面的可行性.Zhang[3]等人在建立橢圓函數模型的基礎上初步校正魚眼圖像，其次將橢圓函數模型中的參數進行調整從而對圖像進行修正以獲得更好的校正效果.Zhang[4]等人通過分步校正方法.第一步將經緯度校正以自適應的形式進行展開，進而利用霍夫變換檢測直線，其次，以統一性優化直線方向檢查直線從而以獲得校正圖像，實驗結果表明，此算法在主要視野內物體完整且線條自然方面取得較好校正效果.上述方法在魚眼圖像的邊緣效果、算法適應性以及效率方面都存在著局限性，對于魚眼圖像的完整性保持方面也不夠理想.如橢圓函數模型在校正過程中造成魚眼圖像中心畫面的缺失.魚眼圖像映射到橢球面，再將半球面的像素點根據特定的映射關系映射到平面上.而在此過程中，邊緣部分的損失較大，對于邊緣物景的缺失必定影響信息的獲取.

Tien-Ying Kuo[5]等人利用加權聯合殘差細化獲得更好的畸變參數并產生更準確的魚眼失真圖像，經過驗證表明該方法可以充分校正徑向變形和拉伸邊界的魚眼圖像，但是此算法在設計中存在算法復雜度過高，時間復雜度較大，實現較為繁瑣.Ma[6]在通過改進傳統經度坐標校正，提出了一種通過位置不同求取不同圓心坐標與半徑的算法，有效校正了桶形畸變.Si[7]針對畸變問題，在經線模型的基礎上提出改進算法.該算法在經線模型基礎上以校正算法和修正算法兩部分進行，改進算法校正后通過半圓模型修正校正圖以達到理想效果.此算法摒除繁瑣過程，以整體模型實驗以取得理想結果.Zhao[8]等針對不同區域畸變率不同，劃分魚眼圖像有效區域，該算法改善圖像橫縱畸變問題，同時存在邊緣模糊，邊緣區域信息缺失的問題.Wei[9]針對魚眼圖像桶形畸變大的問題，通過地球儀經緯線的思想加以改進以得到雙經度球面，經過相應的映射公式將圖像轉換，再建立與圖像對應的異向經度坐標體系，在此基礎上展開映射圖以得到完整校正圖，然而此算法通過引入極點來映射時會對極點附近的邊緣部分拉伸嚴重.

故本文在上述前提下，在球面透視投影和經緯映射的基礎上，對模擬鏡頭球面進行了改進，同時為應對魚眼圖像邊緣部分校正后仍存在一定量失真的問題，提出了相對應的邊緣部分校正算法與之結合，針對邊緣部分進行修正，解決了魚眼圖像畸變問題.

2 相關研究

2.1 魚眼圖像成像系統

在魚眼相機成像的過程中普通相機與魚眼相機存在較大差別，其中在于相機視角達到往常相機不能達到的視野時，圖像趨于無窮大，于是魚眼相機為滿足相應要求從而產生一定量的畸變，且主要為徑向畸變[10].魚眼圖像點與空間點成像關系可以總結如圖1所示.

圖1 魚眼鏡頭成像模型Fig.1 Fisheye lens imaging model

其中x點與xoy平面的點m的映射過程即為魚眼圖像的成像過程.成像后的平面上m與成像中心o的距離稱之為像高.像高的多少取決于投影成像模型函數[11].魚眼成像過程中投影函數以及其表達式如下所示：

等距模型：r=fθ

(1)

等立體角投影模型：r=fsin(θ/2)

(2)

正交投影模型：r=fsinθ

(3)

體視投影模型：r=ftan(θ/2)

(4)

其中：θ是鏡頭光軸與入射光線的夾角，r是成像點到圖像主點的距離亦即像高，f為焦距.本文中，利用等距模型作為魚眼圖像成像投影模型.

由于上述魚眼圖像的成像原理，魚眼圖像在成像的過程中在垂直和水平方向都發生了一定量的畸變，邊緣部分的畸變尤其明顯.

2.2 傳統單位球面的確定

傳統的球面透視投影模型由英向華，胡占義[12]提出，其基本原理為建立空間直線與畸變魚眼圖像上相對應曲線的映射關系，且該映射為球面大圓.如圖1所示，q是球面點，其坐標為q(θ，φ)，與畸變圖像點的關系如下：

(5)

以畸變中心建立極坐標以表示畸變點的r與θ1.選取合適的點進行擬合，進而得到畸變圖像點到單位球面的映射關系，即求出公式(5)中的參數最優值.在獲得魚眼圖像映射的單位球面后，下一步為建立球面的外切正方體，將球面點映射到正方體的各個表面.

3 魚眼圖像校正過程

3.1 魚眼有效區域提取

在魚眼圖像的校正過程中，所有工作的前提是將畸變魚眼圖像的有效區域提取出來，并同時計算出魚眼圖像有效區域的半徑和畸變中心用于下一步的圖像校正.魚眼圖像的有效區域的傳統提取算法有面積統計法，最小二乘擬合法，區域增長法和掃描線逼近法[13-15]文在已有提取算法的前提下，利用掃描線逼近法的思想加入中垂線的作用，以縮短提取時間，增加提取效率為目的，對提取過程進行改進.提取算法示意圖如圖2所示.

圖2 提取算法示意圖Fig.2 Extraction algorithm diagram

在提取過程中，第一步先將設置一個合適的閾值[16]將魚眼圖片二值化處理，在此基礎上設置第二個掃描閾值，以逐行逐列掃描法從圖片左方開始進行掃描，確定魚眼圖片左切點后過此切點做魚眼圖像的左邊界的垂線，在此垂線上做像素點的遍歷，通過掃描閾值確定右切點.在確定左右切點之后，做此條線段的中垂線，以相同方式確定上下切點.以n·m的魚眼圖片為例，此種魚眼圖像提取方法計算量為：

n·(m-2R)/2+(n-2R)-(m-2R)/2

(6)

3.2 獲取校正關系

3.2.1 中心區域映射關系

本文通過改進提取算法提取到魚眼圖像有效區域以及其半徑和畸變中心后，提出改進的雙垂面魚眼圖像校正方法，具體流程如下：

第1步找到魚眼圖像的畸變點(x，y)，將其轉化為極坐標形式(r，α).假設魚眼鏡頭的半視角為θm，入射角為θ.

θ=r·θm/R

(7)

假設球面半徑為Rλ，球面上各點的坐標(θ，α)，如圖所示，其直角坐標為(x，y，z)，將球面上各個點的坐標轉換成經緯度坐標(θ′，φ′).

第2步將球面圖像映射到平面圖像上，在以往算法理論中往往需要在球面周圍建立外切正方體，以映射到各個正方體的表面上，不同角度范圍的點映射到不同的正方體表面上，最后再進行拼接.本文中，為避免繁瑣的計算過程以及圖像拼接的過程，首先采用主視圖基于三角計算的雙垂面映射法.如圖3所示.

圖3 雙垂面示意圖Fig.3 Double vertical plane圖4 映射圖Fig.4 Map

首先本文以互相垂直的兩個映射面中一個面進行算法解釋，如圖4所示.

有任一點位于球面，在已確定的球體中心o周圍存在圓面與平面ABCD，平面ABCD為映射平面，連接圓面上點與球中心可得ok′相交于點k，k是球面點k′在平面上的投影點.根據如上映射關系，可找到球面圖像到平面圖像之間的映射關系.假設k在平面上的點坐標為(x，y)，圖中線段EF的中點為M，N是線段HI的中點，EF//HI，KQ//MN.平面圖像長度為h1，寬為w1，球面圖像長度為h2，寬為w2，ΔMOK和ΔMOE為直角三角形，圓心角∠KOE=∠MOE-∠MOK.由圖中可知，MN=y-h1/2，NO=lNO根據勾股定理可得MO的長度：

(8)

由三角幾何關系可得：

(9)

故KE對應的弧長為：

(10)

同理，在縱軸方向上QN=w1/2-x，NO=lNO，同樣根據三角幾何關系可得：

(11)

故KQ對應的弧長為：

(12)

以上通過建立校正關系逐個將經緯坐標點映射至平面圖像，同樣地，另外一個與此映射面互相垂直的映射面以相同的方法映射相對應的球面圖像部分.

3.2.2 調整參數

在傳統校正算法中，球面半徑一般等于魚眼圖像半徑或者是以單位一作為半徑進行計算，但是本文考慮到現實中存在的誤差，為了更好的進行球面映射，使得到的球面映射圖更客觀，校正效果更好，本文采用可調整參數來設置球面半徑.

本文得到球面的方法為選取原始圖像上的一條弧線，在其上選取若干點進行直線擬合，在本文中，利用最小二乘法進行直線擬合.為獲取更合適的球面半徑，文中引入相關系數rΔ作為評價指標.

(13)

3.2.3 邊緣校正

本文在校正完魚眼圖像的主視圖區域后，針對邊緣部分的校正采用邊緣部分動態視野經緯校正法對邊緣畸變部分進行校正，以滿足更好的整體校正效果.

魚眼畸變圖像邊緣部分如圖5所示.

圖5 邊緣示意圖Fig.5 Edge diagram

相對于傳統校正法中將映射面進行固定而言，本文將映射面進行動態可調整化處理改進.引入angle變量對主視圖以及邊緣部分進行控制，建立映射面與angle的關系，同時對邊緣部分進行區域整合.已知映射面的寬度為w1，建立起與angle的關系：

w1=lNO·(2·tan(angle·π/360))

(14)

在此基礎之上，尋找各個參數之間最合適的關系，建立對于邊緣部分與主視圖部分最優的校正效果.

對于橫軸上面的畸變，可將其看作在緯線上的畸變，將不同的緯線看作在同一條軸上的同心圓Oi，設畸變點所在緯線的圓心z坐標為zi，則此圓的圓心坐標為Oi(x0，y0，zi)，此圓半徑為：

(15)

在此緯線圓上，假設畸變點坐標為(a，b)，校正點為(u，v)，圓心點在zi面上為(x0，y0)，根據幾何關系可得：

(16)

整理可得：

(17)

以上畸變點的校正均在z=zi平面上，故z坐標均為zi.

對于在縱軸上面的畸變，可將其看作經線上的畸變，將不同經線所圍成的同心圓上的畸變點進行校正，同樣地，與緯線圓上的校正相比，在幾何關系上相同，然而圓的大小不變，圓心與半徑始終保持相同，畸變點與校正點的關系可表示為：

(18)

本文通過以上邊緣畸變部分的經緯校正法對主視圖以外的邊緣部分進行了校正，與上文中主視圖的校正相輔相成，達到對畸變圖像的整體校正.

3.3 灰度插值

本文在校正過程中，考慮到后向映射的特點相對于其相反過程的映射在像素賦值時更加有效且存在問題更少，故在文中采用從結果到問題的后向映射[17].通過建立校正關系得到校正前后坐標點轉換后因為映射的原因，校正后坐標出現非整值點的問題，故需要經過插值算法填充相應點[18].在圖像校正過程中常見的插值方法主要有最鄰近插值、雙線性插值、三次卷積插值，其中雙線性插值[19]相對其他兩種在時間復雜度和計算復雜度方面都有一定優勢，故本文采用雙線性插值來對坐標變換后的圖像進行插值運算.

圖6 雙線性插值Fig.6 Bilinear interpolation

雙線性插值方法以不同方向分別插值為其基礎，過程示意圖如圖6所示.

N點為待插值點，Maa、Mab、Mbb、Mba為與N相鄰的4個點，在橫坐標軸方向上第一次插值運算，過程為：

(19)

在此結果上在豎直方向進行以上述相同的過程：

他直起身子，身旁是橫七豎八睡著的兵士。宿晚勾起嘴角，笑容苦澀。是啊，夢中的一切是多么溫暖，溫暖得不真實。

(20)

根據上述兩個方向的相同過程，可得：

(21)

經過插值運算填充匹配，最終完成校正圖像的描繪.

4 實驗結果及分析

文中實驗在Matlab2019a與QT平臺進行實驗操作，選取尺寸在標準測試魚眼圖像作為實驗圖像.在本部分對文獻[6]、文獻[8]以及文獻[12]中的算法與文中算法進行了性能比較.

文中實驗首先對實驗圖片的有效區域進行個提取，利用本文第三節中改進的魚眼有效區域提取算法將原始魚眼圖像的有效區域進行提取.本文在保證提取效率的同時，因考慮到提取精度對于整體實驗而言至關重要，為驗證本文提取算法的提取精度，首先利用文中改進的提取算法與傳統的掃面線逼近法對同一副魚眼輪廓圖像有效區域進行提取以進行對比實驗，同時對有效區域半徑與圓心進行測量.如圖7所示，對于同一個圓的提取，本文提取算法用時0.37s，傳統提取算法用時1.27s，同時在提取精度方面占據優勢.

圖7 魚眼圖像輪廓提取圖Fig.7 Bilinear interpolation

然后對圖像的主視圖進行校正，同時在大視角的魚眼圖像中，邊緣校正更顯重要，第一步操作后，利用角點檢測得到魚眼圖像上一定個數的樣點，以相關系數為參考標準求得最合適的Rλ和angle值.為驗證算法有效性，使用兩幅不同的魚眼圖片在不同angle下對算法進行驗證，如圖8所示.

在求得最合適的半球面半徑以及angle后，對魚眼圖像進行校正，圖9(b)為提取后的魚眼圖像有效區域，分別利用

圖8 不同angle校正示意圖Fig.8 Diagram of different angle correction

圖9 校正結果示意圖Fig.9 Calibration result diagram

由圖9可以看出，與已有算法相比，本文算法在校正效果上更優，對于水平方向的畸變校正效果明顯，同時對于邊緣物體的捕捉更加全面，減少了圖片中有效信息的損失，更好的改善了視覺效果.

以圖9作為評價標準，分別從畸變角度與結構相似度以及算法運行時間放面進行算法比較，通過數據分析本文算法的有效性和可行性，如表1所示.

其中結構相似度是以數值表示的方式反映兩幅圖像在結構方面的異同，圖像中物體的結構細節以及輪廓的相似程度可由其量化表示，這個量化的數值趨于1表征兩幅圖像在相似性方面愈接近，在本文中，通過比較未畸變源圖像與校正圖像的結構相似性對比來進行校正算法的評定，結構相似性計算公式為：

表1 算法性能比較Table 1 Algorithm performance comparison

SSIM(f，g)=l(f，g)·c(f，g)·s(f，g)

(22)

式中f、g分別表示未畸變源圖像，和校正后的圖像，l表示亮度變化，c表示差異變化，s表示結構變化.

從表1可以看出，本文算法相對于文獻[6]與文獻[8]以及文獻[12]中的算法，平均畸變角度更小，在對圖片中景物的校正更加理想，更加符合現實，對于魚眼圖片信息的恢復要優勝于其他對照組算法.

為驗證邊緣校正效果，是否囊括必要的邊緣信息，從而實現更準確客觀的校正圖像，以及經過改進的球面半徑參數對于校正圖片質量的改良，本文引入圖像邊緣熵指標[20]與近似信噪比概念來對改進算法的性能進行評價.其中圖像邊緣熵標書了圖像邊緣的信息平均持有量，是一種表征邊緣部分信息量的統計形式，圖像邊緣熵越大，說明邊緣校正效果越好，圖像熵的公式為：

s=-∑f(i，j)lgf(i，j)

(23)

f(i，j)為在(i，j)點這個灰度的概率值.近似信噪比則根據信噪比在圖像中的意義，以一種近似的方式，對校正后的圖像質量進行衡量，其公式可表達為：

s/n=10 lg(ps/pn)

(24)

將pn近似為圖像的標準差與均值的差值，ps為圖像的均值.實驗結果如表2所示：

表2 算法性能試驗結果Table 2 Algorithm performance test results

在與自身未畸變源圖像的比較中，本文利用結構相似度公式進行比較，從表1中可看出，經過本文校正算法校正得出的圖片在結構方面更加貼合源圖像，從而說明校正效果更好.同時為保證校正算法的可行性，本文在驗證時通過算法的運行時間來進行比較，本文算法經過改進的提取魚眼圖像有效區域的算法，在校正時間上大大提高，相對于文獻[6]中2.72s的校正時間和文獻[8]中1.71s的校正時間以及文獻[12]中2.86s的校正時間，本文算法在增加算法復雜度的同時，卻沒有顯著增加時間復雜度，本文校正算法效率更高.如表2所示，文中改進算法在增加提取與校正效率，實現實時快速校正的前提下，并沒有損失過多的圖片質量，同時對魚眼圖像邊緣部分的校正更加準確有效，涵蓋了更多地細節，同時更符合人眼觀察習慣，對于人們于魚眼圖像中攝取有效客觀信息的目的有更大幫助.通過各個方面性能的比較，可以看出本文改進算法在魚眼圖像校正方面更具有可行性和有效性.

5 結束語

針對現階段魚眼圖像校正算法的需求以及現階段算法中存在的問題，提出一種快速的魚眼圖像有效區域提取技術以及改進的映射校正方法.快速提取算法通過遍歷垂直平分線的思想，進一步縮短了提取有效區域的時間復雜度；改進的校正方法針對邊緣部分校正的不足，通過對邊緣部分范圍進行參數控制，進一步對邊緣部分進行了較好的校正，更大程度上保留了原圖片內容信息；算法通過融合三角計算以及參數變換，在保證魚眼圖像主視圖校正效果更好的前提下，使映射面與魚眼圖像匹配，同時使用雙線性插值對校正后的圖像進行填充，實現魚眼圖像的快速提取以及校正.實驗結果表明，文中算法在邊緣部分的校正上有顯著提高，并且校正效果更好，更符合人類視覺習慣，畸變角度明顯減小，與未畸變源圖像相比，結構相似性高，邊緣信息保留程度高，校正圖片質量高，同時算法運行時間縮短近50%，具有較好的可行性和有效性.