基于消隱點的攝像機標定關鍵技術研究現狀及發展*

劉 艷, 張 偉, 厲健暉

(1.浙江大學 城市學院 自動化系, 浙江 杭州 310015;2.浙江工商大學 杭州商學院 計算機系, 浙江 桐廬 311500)

0 引 言

攝像機標定技術是計算機視覺領域的一個重要研究方向[1,2],在工業機器人、無人駕駛、醫療診斷、工業檢測、及消費電子、可穿戴式裝置、汽車先進駕駛輔助系統、智能化監控等多個領域中有著廣泛的應用。隨著科技業新技術迭出，攝像機標定技術的應用窗口將被進一步打開，未來這一應用技術將擴展至更貼近大眾生活的領域以及當前各炙手可熱的新興行業。

攝像機標定是獲取描述攝像機光學和幾何特性以及描述攝像機相對世界坐標系位姿參數的過程[3]。大量研究者對攝像機標定技術進行了研究[4]，在所提出的標定方法中有一類基于消隱點這一幾何元素的方法，已成為攝像機標定的一個分支，為攝像機標定的研究開辟了一條新途徑。

本文針對現有的研究成果進行出了詳細分析，并探討了未來的研究方向及發展趨勢。介紹了目前基于消隱點標定方法中用到的產生消隱點的靶標；介紹了幾種典型的基于消隱點的攝像機標定方法及該類方法所涉及的關鍵技術；提出了該標定方法的未來發展趨勢，并對尚待解決的問題進行了總結。

1 消隱點產生靶標

消隱點是空間一組平行直線在攝像機成像平面上的成像點[5]。在基于消隱點的攝像機標定方法中，需要用特定靶標或者場景實物所蘊含的幾何元素產生消隱點，在已有的標定方法中，用來產生消隱點的靶標有：立方體、平面圓及過圓心直線、平面兩非平行矩形、正方形、圓柱體等。

2 基于消隱點的攝像機標定方法

基于消隱點的攝像機標定方法較多，以攝像機內參數求解原理可將其分為4類：以消隱點為中間值的標定方法、直接以消隱點建立攝像機內參數約束方程的方法、利用消隱點性質的標定方法以及基于消隱點與絕對二次曲線像兩者之間關系的標定方法。另外還有基于消隱點的多攝像機標定方法、基于兩消隱點或三消隱點的攝像機標定方法。

2.1 以消隱點為中間值方法

方法以消隱點為中間值求出圓環點的像坐標，進而由圓環點對攝像機內參數的約束方程標定攝像機內參數。此類方法的關鍵在于尋找能夠提供消隱點與圓環點像的約束關系靶標。2002年，孟曉橋等人[6]通過設計具有一個圓和過圓心的若干直線的平面靶標，利用射影幾何知識獲取過圓心的直線上的消隱點，擬合出最小二乘意義下的消隱線方程，聯立圓的像方程解得2個圓環點的像坐標，代入絕對二次曲線的像方程，實現了攝像機標定。2003年，吳福朝等人[7]以平面上兩非平行矩形為靶標，利用2組對邊成像求出消隱點，利用調和共軛理論求出圓環點坐標，實現了攝像機內參數標定。2007年，趙錄剛等人[8]以具有若干過直徑端點的切線圓為靶標，利用兩切線平行的性質確定消隱點，求出了圓環點像坐標以實現攝像機標定。該方法與文獻[6]的不同之處為求消隱點的靶標及原理不同。同年，胡培成等人[9]利用調和共軛理論求出過圓心的正交直線上的消隱點，結合拉蓋爾定理推論求出圓環點像坐標以完成攝像機標定。

2.2 以消隱點直接求解方法

方法直接利用消隱點建立攝像機內參數非線性約束方程，通過求解該方程進行攝像機標定。1989年，魏國慶等人[10]將消隱點引入攝像機標定。以立方體為靶標，利用靶標成像產生的3個消隱點在攝像機坐標系下的正交性建立攝像機內參數約束方程，實現了對攝像機內參數的標定。1996年，馬頌德[11]提出了基于主動視覺的攝像機標定方法，通過控制攝像機在三維空間內做3組兩正交平移運動來實現攝像機內參數線性求解的方法。1998年，楊長江等人[12]在文獻[11]的基礎上，提出了控制攝像機在普通平臺上進行2組正交平移運動實現攝像機內參數線性求解的方法。2010年，霍炬[13]利用2組正交平行直線產生的消隱點的幾何特性建立關于攝像機內參數的約束方程，并給出了內參數的線性解法。這類標定方法主要利用了靶標或主動視覺中產生的消隱點的正交性建立攝像機內參數約束方程實現內參數的標定。

2.3 基于消隱點性質方法

1990年，文獻[14]以立方體成像形成的消隱點組成的三角形的重心為主點等性質標定攝像機內外參數。1999年和2000年，Cipolla R[15]和Guillou E[16]假設攝像機尺度因子為1，傾斜因子為0，分別利用3個和2個消隱點的性質實現了攝像機內外參數的標定。2007,2008年，余燁[17]和He B W等人[18]以文獻[14]給出的消隱點性質為基礎實現對攝像機的標定。2012年，Orghidan R[19]對文獻[17,18]的方法進行了比較。

2.4 基于消隱點與絕對二次曲線像間關系的方法

以消隱點位于絕對二次曲線的像上為原理進行攝像機標定。2004年，Liu Y等人[20]結合單應矩陣，利用棋盤格靶標成像產生的消隱點位于絕對二次曲線的像上進行攝像機標定。2005年，Ying X H等人[21]提出的以球體為靶標的標定方法。利用球成像產生的圓與絕對二次曲線線的交點進行攝像機標定。2007年，Grammatikopoulos L等人[22]結合單應矩陣與攝像機內參數的關系，利用3個正交方向成像形成的三正交消隱點進行攝像機標定。2008年，Sun J[23]結合單應矩陣，利用矩形兩鄰邊產生的消隱點實現了攝像機標定。2012年,陳愛華等人[24]以黑白相間的方形格子組成的平面圖形為標定模板，利用該靶標圖像中2對正交消隱點實現對攝像機內參數的標定。2014年，盧津等人[25]以間距為6 mm的12×13正方格為靶標，利用靶標成像中正交消隱點對的性質求解內部參數，并對TSAI方法進行了改進。

2.5 基于消隱點的其他標定方法

2009年，樊慶文等人[26]提出了基于多滅點標定數碼相機內外參數的方法，以包含至少4組平行線和2個定標點的平面為靶標，獲取靶標的一副圖像，將消隱點坐標及已知的各組平行線的方向向量代入隱參數矩陣，解出隱參數矩陣并分解即可得到內參數矩陣及旋轉矩陣，然后利用2個定標點計算出位移向量。同年，吳剛等人提出了B雙空間幾何中基于消隱點的攝像機標定方法。2011年，韓超[27]提出了基于滅點徑向一致性對Tsai方法進行了改進。

2014年，文獻[28]利用一組平行線在不同姿態攝像機圖像平面中對應消隱點間的無窮單應關系和攝像機相對姿態信息，提出了一種攝像機焦距的高精度實時標定方法。僅通過攝像機在任意2個位置下拍攝同一組空間平行線，基于消隱點對之間的無窮單應關系構建約束，求解焦距參數；將對應光心與消隱點連線的平行程度作為優化指標，利用Nelder-mead非線性單純型法實現焦距參數的優化。

針對多攝像機一維標定算法精度低、抗噪性和穩定性差等問題,2016年，張超等人[29]提出了基于消失點之間互相約束的多攝像機標定方法。通過靶標特征點約束結合攝像機的射影不變性排除雜點的干擾，再利用空間消失點之間夾角一致性，以及靶標特征點所構成的直線和消失點的反向射線平行性求解攝像機的參數。

3 基于消隱點標定的關鍵技術

基于消隱點的攝像機標定方法關鍵技術之一是消隱點的準確提取。如圖1所示靶標，無論是利用平行線成像交點來求解消隱點還是利用調和共軛原理來計算消隱點，均不準確。孟曉橋[6]的方法存在圓心不準確、調和共軛求出的消隱點受到三點準確性的影響等問題。趙錄剛[8]的方法能夠避免圓心的不準確問題， 但是其模板中的兩條平行切線求解消隱點也會受到噪聲影響。此外，吳福朝[7]、霍炬等人[13]提出的方法所采用的靶標利用平行線成像交點來求解消隱點，方法會受到成像質量和直線提取準確性的干擾。而基于主動視覺的標定方法會受到主動運動平臺是否精確的影響。

圖1 實際標定中所用的加強型靶標

另外，如何設計合適的靶標或選擇場景物體，并建立起消隱點與攝像機內參數之間數學關系式也是基于消隱點的攝像機標定領域的關鍵技術。

3.1 消隱點準確提取

以一個正方形、一個直徑或兩條平行線的投影來計算消隱點坐標時，由于空間直線投影到圖像平面和直線提取過程總存在一定的誤差，所以獲取消隱點坐標具有一定的偏差，導致標定結果對噪聲敏感、穩定性差，標定精度也難以保證。所以如何準確獲取消隱點坐標是此類標定方法的關鍵技術之一。

為了解決此類問題，提出了用加強型靶標來進行攝像機標定，如圖1所示的黑白相間的方格子組成的標定靶標[14,24,25]。采用多條相互平行直線在圖像平面上所成的像相交于一個消音點的性質來提高標定的穩定性和精度。

另外一種精確獲取消隱點的方法為研究消隱點檢測算法。目前已有的消隱點檢測算法可以分為幾類：1)利用空間變換技術，將圖像空間信息變換至有限空間，例如高斯球變換[30]，其主要思想是將圖像平面映射到高斯球上，在高斯球上建立直線特征直方圖，然后通過極值點檢測確定消隱點。方法需要攝像機參數已知，不能用于攝像機標定。2)應用連續幾個Hough變換。通過某種濾波器檢測落在同一條正弦曲線上的局部峰值來檢測消隱點，并在不同層級進行遍歷[31]。方法無需知道攝像機內參數，對于攝像機標定是比較有優勢的算法，但是目前仍未設計出較有效的濾波器；3)直接利用直線成像信息進行消隱點檢測[32～35]，方法需要對所有可能的直線交叉點進行計算，算法效率較低；4)利用統計估計方法，根據圖像上邊緣特征點估計直線參數，根據參數估計消隱點[36]或者利用消隱點和邊緣特征點構造代價函數[37]，同時估計直線和消隱點。另外有基于預檢驗的隨機抽樣一致性算法[38]。Kogecka J等人[39,40]提出了基于最大期望算法直線聚類的消失點檢測算法以及改進的最大期望算法；Li B等人[41]提出了基于一維級聯Hough變換的消隱點檢測方法。此外，王永忠等人[42]提出了基于Haar紋理的非結構化道路消隱點檢測算法，羅小松[43]提出了基于韋伯局部特征的道路消隱點檢測算法以及丁偉利等人[44]提出了基于垂直包絡和平行線對的城市道路圖像消失點檢測算法對于無人車中攝像機標定具有實際應用價值。

3.2 消隱點與參數關系的建立

基于消隱點的攝像機標定技術關鍵還在于建立靶標或場景中消隱點與攝像機參數之間的數學關系，然后利用相關算法實現攝像機標定。

目前有以消隱點為中間值間接建立標定約束方程的標定方法(2.1和2.4)、用消隱點直接建立約束關系的標定方法(2.2)，還有利用消隱點性質的標定方法(2.3)。約束關系建立的關鍵是選擇合適的標定靶標，并巧妙地獲得特征規則靶標中消隱點，進而推導出其與攝像機內參數的約束關系。

4 結束語

消隱點蘊含了直線的方向信息，通過對消隱點的分析可以獲取三維結構和方向信息，在攝像機標定領域得到了廣泛應用。綜上所述，基于消隱點的攝像機標定技術主要通過建立標定靶標或主動運動產生的消隱點與攝像機內參數之間的約束關系來實現。基于消隱點的標定方法有很多，盡管有些方法在理論上較為成熟，但在實際應用中還會存在一些缺陷和局限性，如靶標圖像數、圖像處理技術好壞等均影響標定結果的穩定性。另外，現有標定方法均以小孔成像攝像機為研究對象，并且是針對固定參數的非自標定方法，所以在將來仍然有很多問題需要進一步研究。

1)針對已有的理論上已經解決的問題，目前研究重點是如何提高算法的魯棒性以及如何很好的利用這些理論來解決實際視覺問題。為了提高魯棒性，建議將分層逐步標定方法應用到基于消隱點的標定技術中。

2)選擇合適的標定靶標，高精度的標定靶標也是實現精確標定必要物體。另外如何巧妙地獲得特征規則物體的三維信息也是標定研究需要關注的方向，如Tsai、張正友均如此，才有了兩代經典的標定方法。

3)在標定對象方面能否擺脫小孔成像的限制，對一些魚眼相機、廣角相機、折反射相機的標定進行研究。這要求考慮鏡頭畸變，目前很多標定方法均未涉及。針對一些新興視覺系統，如360°全景影像系統、超廣角攝像機的標定技術也值得進行研究。還有以無人車等移動設備為平臺的攝像機標定技術也需要結合消隱點的產生以及特性不斷的更新和發展。

4)基于消隱點的攝像機標定方法中，均以消隱點為橋梁建立其與攝像機參數的關系，繞過了消隱點來探討攝像機參數的精度，然而消隱點本身的誤差對攝像機標定精度影響的研究并不多見。對消隱點本身來說，對其誤差及其對應誤差空間分布研究也較少。因此，這兩部分內容也是值得研究的一個方向。

[1] Dong S,Shao X X,Kang X,et al.Extrinsic calibration of a non-overlappong camera network based on close-range photogramme-try[J].Applied Optics,2016,55(23):6362-6370.

[2] Xu G,Zhang X Y,Li X T,et al.Global calibration method of a camera using the constraint of line features and 3D world point-s[J].Measurement Science Review,2016,16(4):190-196.

[3] Tsai R Y.A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses[J].IEEE Journal of Robotics and Automation,1987,RA—3(4):323-344.

[4] 劉 艷.機器人結構光視覺系統標定研究[D].北京：北京理工大學，2015.

[5] Hartley R.Multiple view geometry in computer vision[M].Canberra:Cambridge University,2003.

[6] Meng X Q,Hu Z Y.A new easy camera calibration technique based on circular points[J].Pattern Recognition,2003,36:1155-1164.

[7] 吳福朝，王光輝，胡占義.由矩形確定攝像機內參數與位置的線性方法[J].軟件學報,2003,14(3):703-712.

[8] 趙錄剛，吳成柯.一種基于圓環點的相機定標方法[J].西安電子科技大學學報:自然科學版，2007,34(3):363-367.

[9] 胡培成，黎 寧，周建工.一種改進的基于圓環點的攝像機自標定方法[J].光電工程，2007,34(12):54-60.

[10] Wei G Q,Ma S D.Camera calibration by vanishing point and cross ratio[C]∥International Conference on Acoustics,Speech,and Signal Processing,1989:1630-1633.

[11] Ma S D.A self-calibration technique for active vsion systems[J].IEEE Transactions on Robotics and Automation,1996,17(1):114-120.

[12] 楊長江，汪 威，胡占義.一種基于主動視覺的攝像機內參數自標定方法[J].計算機學報,1998,21(5):428-435.

[13] 霍 炬，楊 衛，楊 明.基于消隱點幾何特性的攝像機自標定方法[J].光學學報，2010,30(2):465-472.

[14] Cprile B,Torre V.Using vanishing points for camera calibra-tion[J].International Journal of Computer Vision,1990,4(2):127-140.

[15] Cipolla R,Drummond T,Robertson D.Camera calibration from vanishing points in images of architectural scenes[C]∥Procee-dings of the British Machine Vision Conference,1999:382-391.

[16] Guillou E,Meneveaux D,Maisel E,et al.Using vanishing points for camera calibration and coarse 3D reconstruction from a single image[J].The Visual Computer,2000,16(7):396-410.

[17] 余 燁，羅月童，徐 偉，等.一種基于滅點的相機標定方法[C]∥2007全國第18屆計算機技術與應用(CACIS)學術會議論文集，北京，2007：66-70.

[18] He B W,Li Y F.Camera calibration from vanishing points in a visionsystem[J].Optics & Laser Technology,2008,40:555-561.

[19] Orghidan R,Salvi J,Gordan M,et al.Camera calibration using two or three vanishing points[C]∥Proceedings of the Federated Conference on Computer Science and Information Systems,2012:123-130.

[20] Liu Y,Wu Y X,Wu M P,et al.Planar vanishing points based camera calibration[C]∥Proceedings of the 3rd International Conference on Image and Graphics,2004:460-463.

[21] Ying X H,Zha H B.Linear approach to camera calibration from sphere images or active intrinsic calibration using vanishing points[C]∥Proceedings of the 10th International Conference on Computer Vision,2005:596-603.

[22] Grammatikopoulos L,Karras G,Petsa E.An automatic approach for camera calibration from vanishing points[J].ISPRS Journal of Photogrammetry & Remote Sensing,2007,62:64-76.

[23] Sun J,Gu H,Qin X L,et al.A new camera calibration based on vanishing point[C]∥Proceedings of the 7th World Congress on Intelligent Control and Automation,2008:2371-2376.

[24] 陳愛華，高誠輝，何炳蔚.基于正交消隱點對的攝像機標定方法[J].儀器儀表學報，2012,33(1):161-166.

[25] 盧 津，孫惠斌，常智勇.新型正交消隱點的攝像機標定方法[J].中國激光，2014,41(2):1-9.

[26] 王德麾，樊慶文，袁中凡.一種基于多滅點標定數碼相機內外參數的方法[J].四川大學學報，2009,41(5):193-196.

[27] 吳 剛，唐振民.B雙空間幾何中基于消隱點的攝像機標定[J].計算機工程與應用，2009,45(24)：4-10.

[28] 韓 超.基于滅點徑向一致性約束的相機標定研究[D].南京：南京郵電大學，2011.

[29] 蔡 鳴，孫秀霞，劉樹光，等.基于消隱點無窮單應的攝像機焦距精確自標定方法[J].光學學報,2014,34(5):1-6.

[30] 張 超，楊華民，韓 城，等.基于消失點約束的多相機標定方法[J].光子學報，2016,45(5):1-7.

[31] Barnard S T.Interpreting perspective images[J].Artificial Intelligence,1983,21(4):435-462.

[32] Tuytelaars J,Dangool L,Proesmans M,et al.The cascaded Hough transform as an aid in aerial image interpretation[C]∥The 6th International Conference on Computer Vision,1998:67-72.

[33] Schaffalitzky F,Zisserman A.Planar grouping for automatic detection of vanishing lines and points[J].Image and Vision Computing,2000,18(9):647-658.

[34] Rother C.A new approach for vanishing point detection in architectural environments[C]∥British Machine Vision Conference,Bristol,UK,2000:382-391.

[35] Rother C.Multi-view reconstruction and camera recovery using a real or virtual reference plane[D].Stockholm:Royal Institute of Technology,2003.

[36] Mclean C F,Koyyuri D.Vanishing point detection by line clustering[J].IEEE Trans on PAMI,1995,17(11):1090-1095.

[37] Minagawa A,Tagawa N.Vanishing point and vanishing line estimation with line clustering[J].IEICE Trans Info & Syst,2000,E83—D(7):1574-1582.

[38] 陳付幸,王潤生.一種新的消失點檢測算法[J].電子與信息學報,2006,28(8):1458-1462.

[39] Kogecka J,Wei Zhang.Efficient computation of vanishing point-s[C]∥IEEE International Conference on Robotics and Automation,2002:223-228.

[40] Kogecka J,Wei Zhang.Video compass[M].Berlin Heidelberg:Springer,2002:476-490.

[41] Li B，Peng K，Ying X，et al.Vanishing point detection using cascaded ID Hough transform from single images[J].Pattern Recognition Letters,2012,33(1):1-8.

[42] 王永重，文成林.基于Haar紋理的非結構化道路消失點檢測[J].中國圖象圖形學報,2013,18(4):382-391.

[43] 丁偉利,李 勇,王文鋒,等.基于垂線包絡和平行線對的城市道路圖消失點檢測算法[J].光學學報,2014,34(10):1-7.

[44] 羅小松.基于韋伯局部特征的道路消失點檢測[D].重慶：重慶大學，2014.