煤礦魚眼畸變圖像校正

王永，　趙凱，　程德強，　寇旗旗

(1.華晉焦煤有限責任公司， 山西 呂梁　033000；2.中國礦業大學 信息與電氣工程學院， 江蘇 徐州　221116)

?

煤礦魚眼畸變圖像校正

王永1，趙凱2，程德強2，寇旗旗2

(1.華晉焦煤有限責任公司， 山西 呂梁033000；2.中國礦業大學 信息與電氣工程學院， 江蘇 徐州221116)

摘要：針對煤礦井下視頻監控系統中魚眼圖像的畸變問題，根據理想球面透視投影模型的保線性約束條件，提出一種面向內容的校正參數自動獲取方法，即通過對魚眼畸變圖像進行數學形態學和隨機霍夫變換預處理得到所需的圖像邊緣特征直線，然后統計水平和垂直線段在總線段中的比例，分析統計結果，獲取最佳校正參數。為了減少圖像信息過多對校正參數獲取過程的影響，對理想球面透視投影模型進行了改進，提出一種改進的魚眼畸變圖像校正方法，實現了對圖像中心的轉移和部分區域的放大。實驗驗證了該方法對魚眼畸變圖像的校正效果較好。

關鍵詞：煤礦監控圖像； 魚眼圖像； 畸變圖像校正； 球面透視投影模型； 校正參數自動獲取

網絡出版地址：http://www.cnki.net/kcms/detail/32.1627.TP.20160705.1501.013.html

0引言

隨著礦井工業以太網和電子、信息處理技術的發展，數字視頻遠程可視化實時監控技術在井下得到了大量應用。目前綜采工作面監控系統采用的固定攝像機視場范圍有限，無法覆蓋整個區域，從而無法在遠端調度室監測整個工作面的實時工況，不利于生產監控和現場故障發生后的遠程輔助決策。與普通攝像機鏡頭相比，魚眼鏡頭視角接近甚至超過180°，廣泛用于全景安全監控、地鐵走廊監控等長距離、大場地空間監控領域。但是魚眼鏡頭拍攝的圖像存在非常嚴重的幾何畸變，影響了遠程視頻呈現質量。

在魚眼畸變圖像矯正研究方面，馮為嘉等[1]使用魚眼鏡頭標定平臺對魚眼鏡頭內外參數進行標定，利用標定得到的魚眼鏡頭參數，采用等距投影與支持向量機訓練方法進行魚眼畸變圖像校正，得到較理想的校正圖像，但該方法對魚眼鏡頭標定的過程操作復雜，且需要特定平臺;英向華等[2]基于球面透視投影約束的魚眼鏡頭校正方法，實現了較好的魚眼畸變圖像校正，但需要人為選取若干空間物體直線投影在魚眼畸變圖像中的曲線來估計校正參數;R Carroll等[3]提出了一種基于內容的映射方法，通過優化算法保證用戶自定義曲線在線性約束條件下的失真最小化，使得校正后的廣角畸變圖像更加自然，但校正參數的獲取也需要人為參與。

本文根據理想球面透視投影模型的保線性約束條件，提出一種面向內容的魚眼畸變圖像校正參數自動獲取方法。該方法可在魚眼鏡頭內外參數均未知的情況下，根據拍攝圖像中的物體邊緣直線特征來獲取最佳校正參數，使得校正后的圖像更加自然。為了減少圖像信息過多對校正參數獲取過程的影響，對理想球面透視投影模型進行了修正，提出了一種改進的魚眼畸變圖像校正方法，實現了圖像中心的轉移和部分區域的放大。仿真結果表明，采用面向內容的校正參數自動獲取方法和改進的魚眼畸變圖像校正方法，能夠得到較滿意的校正圖像，且整個參數提取與圖像校正的實現過程迅速，滿足現場實時監控需求。

1基于球面透視投影模型的魚眼畸變圖像校正

1.1理想球面透視投影模型

理想球面透視投影模型如圖1所示。空間中一點P與投影中心O的連線OP交球面于點m,球面點m非線性映射到XOY成像平面得到m′(X,Y)，即為魚眼畸變圖像點。球面點m與魚眼畸變圖像點m′保持一一映射關系，可由m′=T(m)表示，反之可通過m=T-1(m′)得到球面點m。依據球面透視投影模型理論和球面投影約束條件，空間中的一條直線在球面上表現為一個大圓，再轉化到平面投影圖像后依然是一條直線[4]。因此，在得到所有魚眼畸變圖像點對應的球面點后，由于球面點對應唯一一條過投影中心的射線[5]，所以將所有球面點映射為過投影中心的射線，然后將這些過投影中心的射線透視投影到一個平面上，得到一個平面投影圖像，即為魚眼校正圖像。

圖1　理想球面透視投影模型

圖1中假設投影平面為過半球球面頂點O′與平面XOY平行的平面UO′V，射線OP與投影平面相交于點c(U,V),即為校正圖像點。理想情況下，球面點到魚眼畸變圖像點的投影方式為向平面XOY垂直投影，則校正圖像點c與魚眼畸變圖像點m′的對應關系為

(1)

1.2魚眼畸變圖像校正算法

總之，漢魏六朝時期的死亡觀受到莊子哲學、自然氣化論和命定說的交叉影響，體現在遺令文中時常也是混雜在一起的。而且，遺令文中的死亡觀也存在著一個故作達觀和真正達觀的問題，存在著抗俗與順俗的問題(詳下文)，需要結合作者的具體情況和為文背景來仔細分辨和探索發現。故作達觀者有時是為了排解死亡的恐懼，有時是為了矯時抗俗。真正達觀者坦然面對死亡的來臨，按照自己的本愿交代后事，但也有人兼顧時俗和兒孫，在本愿和俗情間求一調和，這在后事喪葬安排上十分明顯的表現出來。

實際應用中，魚眼畸變圖像的校正算法如下[6-7]。

(1) 為了防止校正后的圖像出現無對應映射像素的區域，需要從平面投影圖像映射回魚眼畸變圖像[8]。首先將平面投影圖像的原點線性映射到圖像中心，實現將X0Y0Z坐標系下圖像中心O0平移到XYZ坐標系的Z軸上，實現魚眼畸變圖像與校正模型的匹配。校正模型坐標轉換如圖2所示[9]。

圖2　圖像校正模型坐標轉換

校正模型坐標轉換公式為

(2)

式中：W，H分別為展開圖像的寬度和高度，可由用戶自定義[9]。

(2) 通過球面透視投影模型將空間點P非線性映射到投影平面。對式(1)進行調整，因為每一個魚眼畸變圖像點唯一地對應一個球面點，則每一個球面點也將唯一地對應于投影點，投影變換公式為

(3)

式中：C1，C2分別為垂直方向形變系數和水平方向形變系數。

(3) 得到魚眼校正圖像坐標后，將其線性映射到圖像的左上角，與步驟(1)相對應，向圖2相反的方向變換，實現圖像中心的逆轉移，坐標變換公式為

(4)

(4) 展開圖像點與魚眼畸變圖像點一一映射，將魚眼畸變圖像點的RGB顏色值映射為展開圖像的RGB顏色值。經過球面透視投影模型校正后的坐標點不一定為整數值，須采用插值算法根據鄰近像素點信息計算得到該非整數點坐標。綜合考慮計算復雜度、實時性要求等，選擇效率最佳的雙線性插值算法[10]。最后輸出展開圖像，即魚眼校正圖像。

2改進的魚眼畸變圖像校正

2.1面向內容的校正參數自動獲取方法

傳統的魚眼畸變圖像校正中需要獲取校正參數C1，C2。對圖像校正效果進行評價，通過迭代得到一對使圖像校正效果最好的校正參數組合C1，C2。

在圖像獲取中，基于人眼視覺的特點，圖像中垂直于地平線的物體保持豎直狀態，即拍攝的豎直物體的豎直線條與照片的縱向邊緣平行。如果圖像中出現樓房、桌椅等含有大量橫縱線條的物體，根據球面透視投影模型的保線性約束條件[10]，在魚眼校正圖像中大量的直線線段會出現在橫縱方向。本文對圖像內容進行分析，選取圖像中橫縱方向的線段占所有線段的比例最大時的校正參數C1，C2為最佳校正參數。

采用隨機霍夫變換對魚眼校正圖像中的線段進行檢測，分別用角度θ=(0°±5°)，θ=(90°±5°)表示線段橫縱方向，統計當前魚眼校正圖像中檢測到的角度θ=(90°±5°)和θ=(0°±5°)在所有線段中的比例：

(5)

式中：∑[θ=(90°±5°)]為θ=(90°±5°)的線段總數；∑[θ=(0°±5°)]為θ=(0°±5°)的線段總數；∑θ為所有線段總數。

通過尋找P最大值確定最佳校正參數。隨機霍夫變換檢測到的線段角度θ可通過式(6)求得：

(6)

式中：(sX,sY)和(eX,eY)為隨機霍夫變換檢測到的線段的2個端點坐標。

校正參數自動獲取流程如圖3所示。當第i(i=1，2，…，40)次C1取值C1(i)固定時，循環對C2取值，記為C2(j)，j=1,2,…，40，統計由當前C1(i)，C2(j)得到的魚眼校正圖像的P值P(i,j)。將本次C2(j)循環中的P最大值賦值給P(i)，并記錄對應的C1(i)，C2(j)。重復以上步驟，直到C1(i)循環結束。將循環得到的P(i)最大值賦值給P最大值并記錄對應的C1(i)，C2(j)值，此時的C1(i)，C2(j)即為最佳校正參數。

圖3　校正參數自動獲取流程

通過大量測試，C1、C2最佳值為0.85～1.20，本文取0.8～1.2，步進為0.02，分別迭代計算，使得校正后圖像P最大，進而得到最佳校正參數。

2.2改進的魚眼畸變圖像校正方法

因理想球面透視投影模型的投影特點，會出現魚眼畸變圖像邊緣存在大量模糊及嚴重拉伸的現象，因此對理想球面透視投影模型進行優化。

為了能夠對魚眼畸變圖像失真最嚴重的邊緣信息進行校正，對式(2)進行優化，得

(7)

圖4　點O轉換到新坐標系下O′點示意

中心點轉移后，校正只對中心點附近半徑為r1的小圓區域實現校正。由于C1，C2只對半徑r=r1的圖像有校正效果，當半徑r>r1時就會出現校正失真，且隨著r增大，失真程度更加嚴重。為了提高圖像校正效果，并最大化地利用魚眼鏡頭大廣角特性進行無死角監控，對式(3)進行優化，得

(8)

增加局部放大系數M，可實現對目標區域的放大，M為經驗值，本文取M=330。

3實驗結果

首先對面向內容的校正參數自動獲取方法進行仿真實驗，選取校正參數C1，C2最佳值。實驗設置C1從初始值0.8開始取值，步進為0.08。實驗結果如圖5所示。

圖5　C1循環下的部分P(i)值變化曲線

從圖5可看出，6條曲線都存在一個最高值點，所有的P(i)最大值點對應的C1和C2能夠實現最佳校正效果。部分圖像校正效果如圖6所示，可見P值越高，校正效果越好，C1=1.12，C2=0.92時，P值最高，對應圖像校正效果最好。

(a) C1=1.04,C2=0.84

(b) C1=1.04,C2=0.92

(c) C1=1.04,C2=1.00

(d) C1=1.12,C2=0.84

(e) C1=1.12,C2=0.92

(f) C1=1.12,C2=1.00

(g) C1=1.20,C2=0.84

(h) C1=1.20,C2=0.92

(i) C1=1.20,C2=1.00

圖7為魚眼畸變圖像校正效果。其中圖7(a)為采用理想球面透視投影模型得到的校正圖像，由于沒有進行中心點轉移與放大，整幅校正圖像的邊緣出現大量模糊及嚴重拉伸現象；圖7(b)中3幅圖為采用改進的魚眼畸變圖像校正方法得到的校正圖像，可看到不同中心點所在區域附近都得到了放大，校正效果較好。

(a)采用理想投影透視模型(b)采用改進的魚眼畸變圖像校正方法

圖7魚眼畸變圖像校正效果

4結語

針對煤礦監控系統中的魚眼畸變圖像，基于球面透視投影模型理論，通過分析小目標區域下的三維空間物體自有特征，提出了一種魚眼畸變圖像校正參數自動獲取方法，并對經典球面透視投影模型進行優化，提出一種改進的魚眼畸變圖像校正方法，實現了目標區域的放大和校正中心的轉移。但校正參數自動獲取方法不適用于沒有明顯橫縱方向線條的魚眼畸變圖像，如山體圖像等，這將是下一步的研究重點。

參考文獻：

[1]馮為嘉,張寶峰,曹作良.基于魚眼鏡頭的全方位視覺參數標定與畸變矯正[J].天津大學學報(自然科學與工程技術版),2011,44(5):417-424.

[2]英向華,胡占義.一種基于球面透視投影約束的魚眼鏡頭校正方法[J].計算機學報,2003,26(12):1702-1708.

[3]CARROLL R, AQRAWAL M, AGARWALA A. Optimizing content-preserving projections for wide-angle images[J]. Acm Transactions on Graphics, 2009, 28(3):341-352.

[4]CAPPUCCIO F P, STRAZZULLO P, MANCINI M. Straight lines have to be straight: automatic calibration and removal of distortion from scenes of structured environments[J]. Machine Vision and Applications, 2001, 13(1):14-24.

[5]MAYBANK S. Theory of reconstruction from image motion[M]. New York:Springer,1993.

[6]DALOUKAS K, ANTONOPOULOS C D, BELLAS N, et al. Fisheye lens distortion correction on multicore and hardware accelerator platforms[C]// IEEE International Symposium on Parallel and Distributed Processing, Atlanta, 2010:1-10.

[7]韓廣良,宋建中.一種基于畸變等效曲面的圖像畸變校正[J].光學技術,2005,31(1):122-124.

[8]BELLAS N, CHAI S M, DWYER M, et al. Real-time fisheye lens distortion correction using automatically generated streaming accelerators[C]//IEEE Symposium on Field Programmable Custom Computing Machines, Napa, 2009: 149-156.

[9]LIU Y G, PPENG P, FANG M, et al. A generic camera model and calibration method for conventional, wide-angle, and fish-eye lenses[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(8):1335-40.

[10]ZHANG G X, CHENG M M, HU S M, et al. A shape-preserving approach to image resizing[J]. Computer Graphics Forum, 2009, 28(7):1897-1906.

Adjustment of fisheye distortion images of coal mine

WANG Yong1,ZHAO Kai2,CHENG Deqiang2,KOU Qiqi2

(1.Huajin Coking Coal Co., Ltd., Lyuliang 033000, China; 2.School of Information and Electrical Engineering, China University of Mining and Technology, Xuzhou 221116, China)

Abstract:For distortion problem of fisheye images collected by video monitoring system of coal mine, an automatic obtaining method of adjustment parameters was put forward based on image content according to line constrain of ideal spherical perspective projection model. The method detects image edge characteristic lines by preprocessing the fisheye distortion image using math morphologic and random Hough transform, then gets the optimal adjustment parameters through the statistic of horizontal and vertical lines proportion. In order to decrease effect of large image information on adjustment parameter obtaining, the ideal spherical perspective projection model was improved and an improved adjustment method of fisheye distortion images was proposed, which realized center transfer of the fisheye distortion image and magnifying of part regions. The experimental results show the method can get a better adjustment effect of fisheye distortion image.

Key words:monitoring image of coal mine; fisheye image; distortion image adjustment; spherical perspective projection model; automatic obtaining of adjustment parameter

文章編號：1671-251X(2016)07-0054-05

DOI:10.13272/j.issn.1671-251x.2016.07.013

收稿日期：2016-03-15；修回日期：2016-05-30；責任編輯：李明。

基金項目：國家自然科學基金資助項目(U1261105)；徐州市科技計劃項目(KC14SM099)。

作者簡介：王永(1962-)，男，山西大同人,高級工程師，碩士,主要從事煤礦機電技術研發和管理工作,E-mail:375219535@qq.com。

中圖分類號：TD67

文獻標志碼：A網絡出版時間：2016-07-05 15:01

王永，趙凱，程德強，等.煤礦魚眼畸變圖像校正[J].工礦自動化，2016,42(7)：54-58.