單視圖多約束相機內參統一計算方法

王美珍，劉學軍，劉 丹

（南京師范大學虛擬地理環境教育部重點實驗室，江蘇南京 210046）

一、引 言

攝像機標定源于20世紀早期的攝影測量學，其后分別經歷了傳統攝像機標定、主動式攝像機標定和攝像機自標定3個階段，是機器視覺、攝影測量學、計算機視覺等領域的重要命題。傳統攝像機標定依賴精密的標定物和三維特征點信息獲取設備，精度高，但過程復雜，計算量大；主動式標定無需標定物，通過控制攝像機作特定運動，由多幅像片獲取多約束方程，從而解算出內參，方便快捷，但仍對拍攝過程有限制，不具通適性；攝像機自標定則是完全利用像片自身約束進行標定，對攝像機的位置、運動及場景都沒有要求，缺點則是魯棒性差，精度不高［1-3］。

攝像機自標定方法一般是利用多視圖間的幾何約束，在多視圖之間同名點匹配的基礎上，非線性求解攝像機內參數，如基于Kruppa方程方法、基于絕對二次曲線和絕對對偶二次曲面的方法等。Kruppa方程對噪聲異常敏感，不具有魯棒性，若要進行非線性優化，則難以獲取穩定且唯一的解，有時甚至無解。因此需要發展一種方法，無需圖像之間的匹配，僅僅依靠單幅圖像中提供的幾何信息獲取約束方程，通過單獨解算或聯立多個方程求解內參。針對這一目標，本文總結了不同的變量對相機內參的約束，并通過對不同的幾何特征、不同的計算方法進行統一的表達和計算，提出了統一的單視圖圖像相機標定的方法。

二、不同變量對相機內參的約束

1.攝像機的標定矩陣

2.滅點對相機內參的約束

根據拉蓋爾定理:相機的主點是3個互相垂直消影所構成三角形的垂心；相機的焦距可由垂心和消影點計算而得。假設相機的畸變因子為0，縱橫比為1，可得相機的三參數內參矩陣。當圖像中只能獲得兩個互相垂直方向的滅點時，通常假設相機主點位于圖像中心，此時相機為一參數模型［4-9］。此類方法僅僅需要一幅圖像即可標定相機內參，通常焦距的標定能獲取較好效果，但主點對滅點誤差的敏感度非常高，適用于對相機進行弱標定。

兩條正交直線的消影點為v1、v2，它們與絕對二次曲線的像ω的關系如下

因此，兩個互相垂直的滅點能夠提供一組對絕對二次曲線的約束［3］，即當有1組互相垂直的滅點時，可完成一參數相機模型的標定。若有3組相互獨立的垂直滅點，則可計算三參數模型；有5組相互獨立的垂直滅點，則可以計算五參數模型。因此針對不同的相機模型，給定足夠數目的約束，ω就可以計算出來。

3.虛圓點對相機內參的約束

假設Im、Jm是兩個虛圓點I、J的像，由于I、J是ω上的點，故Im、Jm應落在ω的像上，因此可得兩個約束

在射影變換下，Im、Jm仍然為一對共軛點，故式（2）提供的約束實際上是等同的，但可以使實部虛部分別為零，得到關于ω的兩個約束

式中，RE（*）、IM（*）分別表示計算結果的實部和虛部。因此，如果圖像中能夠計算出虛圓點信息，則在一幅圖像中就可提供對絕對二次曲線的兩個約束條件［10-13］。因此若能夠提供3張以上的圖像，則至少可提供6個約束，完成對五參數相機內參的標定；若僅能獲取一幅圖像，則僅能提供兩個約束，完成一參數相機焦距的標定。

三、多約束相機內參統一計算方法

由上文可知，各個不變量都可通過絕對二次曲線的像對相機內參進行約束，但每一不變量對絕對二次曲線的約束形式卻存在差異。因此，筆者首先將不同的約束表達為統一的形式，然后通過多約束優化計算相機內參。

1.多約束信息統一表達

不同的幾何特征對相機內參提供不同的約束:①N組不相關的相互垂直的滅點，提供對相機內參N個約束；②虛圓點提供對相機內參兩個約束。在利用這些信息進行標定時，需要將系統進行統一化表達，以便進行統一處理。

由上文可知，3個互相垂直方向上的滅點可以使用拉蓋爾定理求解三參數相機模型的內參，而按照基于二次曲線的相機標定方法，可以用式（1）來表示，3組互相垂直的滅點提供3組約束。本節將其他不變量約束轉化為相互垂直的滅點，對絕對二次曲線進行約束。

目前可用于計算虛圓點的幾何特征主要包括:①圓形和滅線，可通過計算無數組兩條互相垂直的直徑來確定兩個互相垂直的滅點［17］，由于它們之間具有相關性，可選擇其中兩組參與內參的計算；②兩個不互相平行的矩形/正方形，其本身可確定兩組互相垂直的滅點；③某一平面和圖像平面之間對應的點/線坐標，可通過計算單應矩陣來獲得兩組互相垂直的滅點。

2.多約束下絕對二次曲線優化計算

當圖像中包含多個約束條件時，可將其統一表達為如下形式

因此，至少需要5組非相關的互相垂直滅點才可確定五參數相機模型的內參矩陣；當包含4組非相關的互相垂直滅點時，可解算定四參數相機模型；以此類推，N個非相關約束，可解算N參數相機模型的參數。當存在相關的互相垂直的滅點時，則只能獲得小于N的相機參數模型。從代數角度表現為矩陣A的秩，矩陣的秩即為可解算對應的相機參數模型。

3.內參矩陣統一計算

一旦絕對二次曲線ω確定，則可通過Cholesky分解求得對應的相機參數，也可通過絕對二次曲線與內參之間的關系，求解對象的相機參數，公式如下

當互相垂直的滅點確定之后，將其形成如式（5）中A的形式，求解A的秩，根據秩確定對應的絕對二次曲線特定形式，在此基礎上，即可計算相機內參的值。當矩陣的秩等于矩陣的行數時，有唯一解；當矩陣的秩大于矩陣的行數時，可求解其優化解。

四、試驗與分析

1.試驗數據與試驗結果

（1）試驗數據

分別選用兩幅室內外圖像對本文方法進行測試，如圖1所示，其中（a）為室內圖像，（b）為室外圖像，圖片的相關信息見表1。

圖1 測試圖片

（2）標定結果

為了說明本文方法可用于任意相機參數模型，即可自適應根據幾何特征的數量求解相應的相機參數，本文分別假定某一幾何特征不存在，根據求解不同的相機模型，針對室內外場景進行測試。

為了能夠標定更多的相機參數，并提高標定的精度，應該盡可能多地應用圖像中的幾何特征，又由于圖像中每個平面最多能夠提供對絕對二次曲線的兩個約束，因此在圖像標定過程中，既要注重多約束條件的應用又要注意多約束條件之間的相關性。

表1 真實場景試驗數據

針對室內圖像，首先求解每一組平行線確定的滅點，然后求解3個橢圓（圓形的像）確定的優化滅線，結合滅線及其相對位于圖像中心橢圓，確定平面上兩組互相垂直方向的滅點，結合垂直于此平面的滅點，一共形成4組互相垂直的滅點。不同的幾何特征組合標定的結果見表2。

表2 室內圖像測試結果

針對室外圖像，首先求解每一組平行線確定的滅點，進而計算橢圓所在平面的滅線，然后結合滅線及其橢圓，確定平面上兩組互相垂直方向的滅點，結合垂直于此平面的滅點，一共形成4組互相垂直的滅點。不同的幾何特征組合標定的結果見表3。

2.試驗結果分析

單幅圖像相機自標定僅僅依賴圖像中包含的約束信息，通常運用圖像中的平行、垂直、圓形、矩形等幾何特征，這些特征是一般場景中常見的對象所呈現的結構。如包含建筑物的場景，通常包含3個互相垂直方向的平行線組，即可獲得3個相互垂直方向的滅點；室內場景，通常包括多個互相平行的平面，平面上存在各種類型的物體，可提供豐富的標定信息；道路場景，通常包含交通標志線、窨井蓋、交通標志牌，其形狀、尺寸亦可為相機標定提供約束。這些特征為單幅圖像提供了豐富的約束，使得單幅圖像標定成為可能。

表3 室外圖像測試結果

測試結果表明，圖像中包含的多種幾何特征都能為相機內參的標定提供約束。理論上非相關的幾何特征越多，所能標定的內參數量越多、精度越高，兩幅圖像的測試結果初步證實了這一點。

由于本文方法無需圖像之間的匹配，圖像之間獨立對相機內參進行約束，因此本文方法也適用于同一相機在不改變內參的情況下，拍攝多幅包含一定數量幾何約束的圖像（圖像刻畫的場景之間無需相關）的相機標定。

五、結束語

本文提出的基于場景的相機自標定方法無需圖像之間的匹配，只需要圖像刻畫場景中對象的約束信息，在約束信息充分的情況下可僅利用單幅圖像進行相機標定，尤其適合室內外場景；方法無需傳統標定方法中的標定模板，而選用場景中存在的對象，因此方法具有普適性，尤其適合結構化的室內外場景；方法無需相機作嚴格運動，只需要多幅圖像在拍攝過程中相機內參不發生變化，減少了對拍攝過程的限制，因此方法具有方便性。更為重要的是，本文方法將所有的幾何特征約束從形式上都轉化為相互垂直的滅點，在幾何過程中將不同參數模型采用同種方式求解，使得方法具有統一性。

單幅圖像的自標定一直是攝像機標定的難題之一，目前的標定方法主要利用幾何關系來約束相機參數，而由圖像中對象的幾何尺寸所提供的約束，由于需要較為相應的先驗知識，目前應用較少。

通常對場景中可用的標定對象的尺寸、大小沒有限制，場景中的正交信息、平行信息，或是多邊形、多面體等都可通過人機交互來識別。而上述方法中有些涉及比例、角度等的先驗信息，則須事先建立先驗知識庫，如足球場、籃球場的長寬比為固定的，在進行標定時，可作為已知值帶入約束方程。目前已有相關方面的標定方法的研究［18］，隨著對場景先驗知識庫的構建和完善，將有更多約束條件用于相機標定方法。

［1］ 孟曉橋，胡占義.攝像機自標定方法的研究與進展［J］.自動化學報，2003，29（1）:110-124.

［2］ 邱茂林，馬頌德，李毅.計算機視覺中攝像機定標綜述［J］.自動化學報，2000，26（1）:43-55.

［3］ HARTLY R，ZISSERMAN A.Multiple View Geometry in Computer Vision［M］.Cambridge:Cambridge University Press，2002.

［4］ 謝文寒，張祖勛，張劍清.一種新的基于滅點的相機標定方法［J］.哈爾濱工業大學學報，2003，35（11）:1384-1387.

［5］ 李立冬，劉教民.單目視圖下相機標定和平面測距研究［J］.河北科技大學學報，2005，26（1）:47-50.

［6］ 邱衛國，昂海松.基于單張平行六面體照片的攝像機標定方法［J］.傳感器技術，2005，24（6）:85-88

［7］ 魏鋒，王小林.采用單幅圓柱體圖像的攝像機標定［J］.工程圖學學報，2009，30（1）:109-113.

［8］ 楊敏，沈春林.未標定單幅結構場景圖像的三維重構［J］.中國圖象圖形學報，2004，9（4）:456-459.

［9］ CRIMINISI A，REID I，ZISSERMAN A.Single View Metrology［C］ ∥ Proceedings ofthe 7th IEEE International Conference on Computer Vision.Kerkyra:［s.n.］，1999:434-441.

［10］ KIM J S，GURDJOS P，KWEON I S.Geometric and Algebraic Constraints of Projected Concentric Circles and Their Applications to Camera Calibration［J］.IEEE Transaction on Pattern Analysis and Machine Intelligence，2005，27（4）:637-642.

［11］ ZHONG H，MAI F，HUNG Y S.Camera Calibration Using Circle and Right Angles［C］∥18th International Conference on Pattern Recognition.Hong Kong:［s.n.］.2006:646-649.

［12］ 孟曉橋，胡占義.一種新的基于虛圓點的攝像機自標定方法［J］.軟件學報，2002，13（5）:957-965.

［13］ 吳福朝，王光輝，胡占義.基于矩形的確定攝像機內參數與位置的線性方法［J］.軟件學報，2003，14（3）:703-711.

［14］ 祝海江，陳西，馬昕.基于射影不變性的單幅圖像的測量及相機標定［J］.北京化工大學學報:自然科學版，2008（5）:330-334.

［15］ 祝海江，吳福朝，胡占義.基于兩條平行線段的攝像機標定［J］.自動化學報，2005，31（6）:853-864.

［16］ 段福慶，吳福朝，胡占義.基于平行性約束的攝像機標定與 3D重構［J］.軟件學報，2007，18（6）:1350-1360.

［17］ CHEN Y S，IP H，HUANG Z J，et al.Full Camera Calibration from a Single View of Planar Scene［C］∥Advances in Visual Computing:4th International Symposium.Las Vegas:［s.n.］，2008.

［18］ MIYAGAWA I，ARAI H，KOIKE H.Simple Camera Calibration from a Single Image Using Five Points on Two Orthogonal 1-D Objects［J］.IEEE Transactions on Image Processing，2010，19（6）:1528-1538.