用于自動駕駛系統的相機成像模型的構建

沈曉斌，孟 然，夏艷秋，李 蕊

(1 天津工業職業學院，天津300400；2 北京中科慧眼科技有限公司，北京100085；3 北京金風科創風電設備有限公司，北京100176)

0 引言

自動駕駛技術在很多個人交通以外的采礦、建筑、農業等領域已經得到了廣泛應用。 通常來講，相機的成像系統由鏡頭、圖像傳感器組成。由于成像過程是非常復雜的， 真實的物理空間與數字圖像空間之間，存在很多畸變。例如：橫縱比畸變(由圖像傳感器采樣間隔不一致導致)、平面透視投影畸變(由成像角度導致)、光學畸變(由鏡頭畸變導致)等[1]。對于一般的相機成像系統， 其畸變都是由線性畸變與非線性畸變疊加而成， 而這些畸變構成了相機的成像模型。相機的標定過程就是要根據相機的成像模型，計算其中的未知參數。 只有相機的成像模型才能準確描述數字圖像空間(即：數字圖像坐標系)到真實物理空間(即：世界坐標系)的轉換關系[2]。

上式中，World(X，Y，Z)代表世界坐標系某空間點的三維坐標（X，Y，Z）；Image（x，y）代表數字圖像坐標系某像素的二維坐標（x，y）；P（a，b，c….）中的P 代表相機的成像模型，a、b、c…等代表成像模型中的若干參數， 相機的標定就是在確定相機成像模型P 后，求解a、b、c…等參數的過程。 世界坐標系中某空間點的三維坐標通過與相機成像模型進行計算，可以得到該點對應的數字圖像坐標。

不同的成像系統(如：魚眼相機、水下相機、寬視角相機、窄視角相機)可以使用不同的模型進行更準確的描述，模型建立后，再通過標定過程計算出這些模型中的參數(被稱作相機內參與相機外參)， 最終可以得到對成像系統進行描述的相機內參與相機外參[3]。 模型建立的好壞，直接關系到標定計算后得到的內、外參數對相機成像系統描述的準確性。

1 相機成像工作過程

相機的成像工作過程如下：從物體所發出的光線，經過鏡頭成像在像平面上，圖像傳感器(比如CCD 傳感器)將光強信號轉化為電信號，再經過信號放大和調理，最后進行采樣、量化轉換成數字圖像，并通過數據輸出單元進行數據輸出[4]。

圖1 為相機模型基本幾何描述， 其中(Xw，Yw，Zw)為物體上點在世界坐標系中的三維坐標Pw。(Xc，Yc，Zc)為點P 在相機坐標系中的三維坐標Pc，該坐標系的原點在光學中心點Oc，Zc軸和光軸重合。(xu，yu)為(Xc，Yc，Zc)的理想透射投影像點在投射平面坐標系上的二維坐標Pu，(xd，yd) 為實際透射投影像點在投射平面坐標系上的二維坐標Pd， 相對于(xu，yu)它考慮了鏡頭光學畸變的影響。

圖1 相機幾何模型（包含透射投影和鏡頭徑向畸變）

不考慮鏡頭光學畸變，從物體上一個空間點的世界坐標變換為該點的數字圖像坐標，包含四個變換過程：世界坐標(Xw，Yw，Zw)到相機坐標(Xc，Yc，Zc)、相機坐標到歸一化圖像坐標(xu，yu)、歸一化圖像坐標到圖像坐標(x，y)、圖像坐標到數字圖像坐標(u，v)。

2 世界坐標到數字圖像坐標的變換

實際情況中，還要考慮鏡頭的光學畸變、圖像傳感器的切向畸變對成像造成的影響[5]，所以，從物體上一個空間點的世界坐標變換為該點的數字圖像坐標， 這個過程可以通過以下五個變換來實現，如圖2 所示。

圖2 世界坐標到數字圖像坐標的變換過程

2.1 世界坐標到相機坐標變換

變換數學描述為

其中(Xw，Yw，Zw) 為空間某點P 的世界坐標；(Xc，Yc，Zc)為該點對應的相機坐標；R=為旋轉矩陣；t=為平移向量。 該變換描述了相機在世界坐標系中的位置和方向，旋轉矩陣R 和平移向量t 被統稱為相機的外參。

圖3 世界坐標系與相機坐標系之間的幾何關系示意圖

如圖3 所示，旋轉矩陣R 表征從世界坐標系OwXwYwZw到相機坐標系OcXcYcZc之間的旋轉關系，t表征兩個坐標系原點之間的平移量。 將坐標系OwXwYwZw分別繞其X 軸、Y 軸和Z 軸旋轉，然后將其坐標原點平移到Oc， 即可得到相機坐標系OcXcYcZc。 假定坐標系OwXwYwZw繞X 軸、Y 軸和Z 軸的旋轉角分別為φx、φy和φz， 則這三個旋轉過程的數學表示為：

其中sφ 表示φ 的正弦值，cφ 表示φ 的余弦值。 旋轉矩陣R 可以表示如下：

R=Rot(Z，φz)·Rot(Y，φy)·Rot(X，φx)

2.2 相機坐標到歸一化圖像坐標的變換

定義4：從容量為N的總體中抽取容量為n的樣本，可將總體分成均衡的若干部分，然后按照預先制定的規則，從每一部分抽取一個個體，得到所需要的樣本，這種抽樣的方法叫做系統抽樣．

其中(xu，yu)為某空間點P 理想的歸一化圖像坐標，(Xc，Yc，Zc)為該點對應的相機坐標。 歸一化圖像平面實際上是垂直于光軸、距離透鏡中心單位距離的像平面，歸一化圖像平面上的點坐標實際上是點P 在三維相機坐標系下的齊次坐標。 歸一化圖像坐標系的原點為光軸與歸一化圖像平面的交點。

2.3 歸一化圖像坐標到畸變歸一化圖像坐標的變換

如圖4 所示為鏡頭光學畸變的示意圖，圖中藍色網格交點為理想的圖像坐標點，紅色點為相對應的畸變后的圖像坐標點。

圖4 鏡頭光學畸變示意圖

光學畸變主要表現在透視投影變換的過程中，是一個非線性的變換過程，其數學描述為

其中(xd，yd)為某空間點P 的畸變歸一化圖像坐標，(xu，yu) 為該點理想歸一化圖像坐標，k1、k2、k3為鏡頭徑向畸變系數。

如圖5 所示，當k1、k2、k3=0 時，表征無非線性光學畸變；當k1、k2、k3＞0 時，也稱作枕形畸變；當k1、k2、k3＜0 時，也稱作桶形畸變。

圖5 光學畸變示意圖

2.4 畸變歸一化圖像坐標到圖像坐標的變換

變換數學描述為

其中(x，y)為某空間點P 的圖像坐標，(xd，yd)為該點的畸變歸一化圖像坐標。 圖像平面實際上是垂直于光軸、距離透鏡中心為像距v(v≈f，f 為透鏡焦距)的像平面，圖像平面坐標系的原點為光軸與圖像平面的交點。 用相機焦距f 來近似成像點的像距v，是因為在實際成像系統中工作距離(物距)遠大于相機焦距f，所以能夠用焦距f 來近似成像點的像距[6]。

2.5 圖像坐標到數字圖像坐標的變換

圖像坐標到數字圖像坐標的轉換實際上是對圖像進行空間采樣，然后調整原點坐標到圖像坐標的過程，其數學描述為

圖6 圖像數字化示意圖

實際上，由于相機制造工藝的原因，圖像傳感器所在的平面無法與理想圖像平面完全重合，這會導致兩個坐標系之間存在切變，如圖6 所示。 假設橫縱軸的采樣間隔分別dx 為和dy， 考慮切變影響的圖像數字化的過程可以表示為：

還可以寫為矩陣形式：

其中φ 為圖像坐標系到數字圖像坐標系之間的切變角度，取逆時針為正。

3 結論

綜合考慮上述成像步驟，相機的成像模型可以表示為：

其中，s 為比例因子，其取值為1/Zc，公式1 描述了從世界坐標到歸一化圖像坐標的轉換；公式2 則描述了從歸一化圖像坐標到畸變歸一化圖像坐標的非線性轉換，k1、k2、k3為鏡頭徑向畸變系數；公式3 則描述了從畸變歸一化圖像坐標到數字圖像坐標的轉換，矩陣A 被稱為相機的內部參數，包括2 個縮放、1 個旋轉和2 個平移總共5 個自由度。

本研究成果已申請發明專利。