基于分道線的道路云臺攝像機參數自動標定

吳建平，陳 珂，劉 業

(蘇州市職業大學 計算機工程學院，江蘇 蘇州 215104)

0 引 言

相機標定的目的是對相機包括焦距、旋轉、平移等自由度在內的各內外部參數進行精確檢測。相機標定在三維重建[1]、虛擬現實[2]、視頻測速[3]等多方面具有廣泛的應用，因此相機標定也成為一個十分重要的研究領域。

與通過光學測量方式實現的傳統相機標定[4]相比，相機的自標定方法[3,5-7]不涉及任何測量儀器，僅需對圖像中已知尺寸的參照物以及某些平行線在圖像中形成的消失點等信息進行標定，因此具有快捷和方便的特點。其中，劉青松等[5]利用圖像中的棋盤角點檢測；王琳霞與陳廣鋒[6]利用混沌粒子群優化的方法；宋非凡等[7]則結合消失點檢測和基于標志線的試探焦距法。

鑒于目前已有道路攝像機的標定方法存在復雜度高和可靠性難以保障等問題，針對目前道路視頻監控普遍采用的云臺攝像機，本文提出一種利用道路分道線及車道寬度服從國家標準的事實，通過自動檢測分道線及其消失點，以精準標定云臺攝像機的所有參數的方法。該方法為道路車輛速度的可靠自動檢測帶來了極大的便利。

本文的組織如下，首先確立基于云臺攝像機的圖像坐標系到道路路面坐標系之間的映射關系函數，然后基于此函數提出一種適用于云臺攝像機視頻的道路車輛速度自動檢測方法，最后本文通過程序實現算法，并對拍攝的視頻檢測的車輛速度與真實值進行比較，以分析本方法的可靠性和有效性。

1 從云臺攝像機圖像坐標系到道路平面坐標系的映射關系確立

由于視頻處理獲得的是道路車輛在圖像平面內的坐標信息，而車輛速度檢測需要跟蹤和定位車輛在公路路面移動過程中一段時間內的實際位置變化，因此實現基于視頻處理的道路車輛速度檢測方法的關鍵是確立運動車輛從圖像平面坐標系到道路平面坐標系之間的精確映射關系。本文的主要貢獻，就是利用單應矩陣變換，借助于分道線長度和車道寬度的標準化信息，對這一特殊映射問題給出了簡潔而精確的解析映射函數，且該函數所涉及的參數均可以通過圖像處理精確獲得。

如圖1所示，假設路面在x-z平面內且其前進方向(即分道線延展方向)與z軸平行，而云臺攝像機安裝于道路上方的龍門架或道路一側的燈柱上，剛開始時其光軸zcam與z軸平行，其成像平面 (u,v) 也與 (x,y,0) 重合。

圖1 云臺攝像機配置

然后其光軸先繞垂直軸v旋轉ψ,再繞水平軸u旋轉θ，從而形成了最終的位置和姿態，此時攝像機光心和攝像機光軸與路面之間的交點的距離為d。本文來計算道路平面內一點 (x,0,z)T在云臺攝像機坐標系中的坐標 (xcam,ycam,zcam)T。

在計算這一變換關系時，本文借助另一種途徑來復原云臺攝像機坐標系相對于世界坐標系 (x,y,z)T的變換過程。剛開始時，攝像機光心位于世界坐標系的原點 (0，0，0)T， 且攝像機的光軸沿z方向，攝像機的v軸(即其垂直方向)與y軸重合。隨后攝像機先繞垂直軸旋轉ψ，再繞水平軸旋轉θ，最后再沿光軸zcam方向平移d

(1)

其中，旋轉變換為

(2)

把式(2)代入式(1)得到

(3)

假設攝像機的光心與圖像平面中的原點重合，由于攝像機光軸與zcam重合，從攝像機坐標系 (xcam,ycam,zcam)T到圖像平面內坐標 (u,v) 映射關系的表達式為

(4)

其中，f為攝像機的焦距(以像素為單位)， (u,v) 為道路平面內一點 (x,0,z)T在圖像平面內成像位置。

把式(3)代入式(4)可得從路面坐標系 (x,0,z)T到圖像平面坐標系的映射關系表達式

(5)

通過對式(5)進行變換并求解二元一次方程組，可以從圖像平面內成像位置 (u,v) 逆推道路平面內一點 (x,0,z)T的原始坐標

(6)

如果云臺攝像機的內部參數(焦距f)和外部參數(俯仰角θ，轉動角ψ,和沿光軸平移量d)已知，則本文可以十分方便地從路面一點在圖像中的坐標 (u,v) 逆推其在路面中的坐標 (x,z) (這也是目前大多數車載車道保持攝像機所利用的原理)。遺憾的是，大部分用于路面監控的云臺攝像機的內外部參數通常情況下是未知的，安裝環境中往往還需要頻繁地變更其內外部參數以達到最佳的監控效果或隨時調整參數以滿足客戶的個性化監控需求，如對場景進行縮放(改變焦距)或水平平移(改變轉角)、上下平移(改變俯仰角)操作，因此在多數情況下，這些內外部參數往往處于可變狀態。本文通過理論推導驗證，對于幾乎所有的用于道路監控的云臺攝像機，可以借助于圖像中包括消失點位置信息，并結合分道線長度和車道寬度服從國家標準的事實來獲得從圖像平面坐標 (u,v) 逆推路面坐標 (x,z) 的映射關系參數的解析解。

圖2是云臺攝像機拍攝的道路路面圖，那些在世界坐標系中原本平行的分道線在圖像平面中匯聚到一點，本文稱之為消失點 (u∞,v∞)。 由于圖像域中平行分道線的消失點相當于分道線沿其延展方向的無窮遠點，因此分道線消失點的坐標可以在式(5)的基礎上通過令z→∞求其極限值推得

圖2 云臺攝像機視頻中的分道線及其消失點

(7)

式(7)表明，分道線消失點的縱坐標v∞=tan(θ)f僅與攝像機的焦距f和俯仰角θ相關，而與繞垂直軸的轉角ψ和攝像機沿光軸方向到路面的距離d無關。實踐中，圖像域中以v=tan(θ)f定義的水平線通常被稱作地平線，地平線上每一點代表了一組與地面平行且相互平行的直線在世界坐標系中的無窮遠點。利用式(7)可對式(6)進行進一步簡化，得到

(8)

本文設

(9)

則把式(9)代入式(8)得到

(10)

注意到云臺攝像機包含4個相互獨立的內外部參數(焦距f、俯仰角θ、旋轉角ψ以及平移距離d)，而式(10) 包含了5個參數 (u∞、v∞、c1、c2和c3)， 可見這5個參數并非完全獨立。利用式(7)和式(9)，發現c1、c2和c3存在下述關系

(11)

利用式(11)對式(10)做進一步簡化，得到

(12)

式(12)給出了云臺攝像機從路面上一點圖像坐標 (u,v) 逆推該點在實際路面坐標中位置 (x,z) 的關系式。該關系式僅依賴于分道線消失點的坐標 (u∞,v∞) (可以利用消失點自動檢測方法精確獲得)以及可通過標準化的車道寬度和分道線長度信息進行標定的參數c1和c2。

在得到c1和c2后，本文結合式(7)和式(9)對攝像機的焦距f、俯仰角θ、旋轉角ψ以及平移距離d進行一一標定。首先以式(9)的第二式除以第一式，得到

(13)

式(13)除以式(7)中的第二式，得到

(14)

經過簡單的推導，可以進一步得到攝像機所有內外部參數關于u∞、v∞、c1、c2的直接或間接函數表達式如下

(15)

(16)

式(16)表明，在旋轉角ψ較小時，從圖像坐標系到路面坐標系的關系變得直觀和簡單。

最后，在多數情況下，測量值d(即沿光軸方向從攝像機到路面的距離)通常并不直觀。比較而言，相機離路面的高度h是一個更為簡易的直接參數。h與d之間存在下述關系

(17)

2 云臺攝像機參數自動標定的實現步驟

本文的道路云臺攝像機的自動標定的過程主要包括4個步驟，如圖3所示。

圖3 道路云臺攝像機參數標定流程

2.1 分道線消失點的自動檢測和精確定位

為了更充分地利用視頻提供的比單幅圖像更為豐富和全面的道路信息，本文首先利用目前流行的背景差分法即高斯混合模型(具體方法可參考文獻[8,9])提取道路場景的靜態背景。因為與包含各種前景運動車輛的動態場景相比，靜態背景圖像中的分道線不易受前景物體的遮擋，因此更為完整、穩定和可靠。

在檢測消失點時，首先需要檢測圖像中包含的所有直線段。檢測直線段的方法很多(見文獻[10]),其中文獻[11] 給出的邊緣直線段檢測方法雖然速度較慢，但具有直線段檢測精度高(達到亞像素級別)和漏檢和誤檢率低等優點，因此本文利用該方法從靜態背景圖像中提取所有的邊緣直線段。然后借助于文獻[12]給出的方法對分道線形成的消失點進行檢測和定位，結果如圖4所示。

圖4 消失點(頂部白點)及其局內邊緣線段(黑色)

為了提高檢測速度，本文僅對發生于視頻圖像上部且與水平軸夾角介于45°和135°之間的消失點檢測，且為確保實時檢測性能，本文僅檢測滿足上述條件的包含了最多支持線段(即消失點的局內線段)的一個消失點。

2.2 分道線檢測

在提取消失點后，本文基于分道線與消失點之間的一致性關系以及高等級公路所遵守的分道虛線及其間隔實際長度的恒定性來檢測分道虛線(我國三級以上公路的分道虛線長度標準為6 m整，而間隔為9 m整)。

此后，利用分道線和消失點之間存在一致性關系(即消失點位于分道線的延長線上)提取分道線與路面的分界線。在方法實現中，考慮到圖像中離散化噪聲和圖像微小畸變的存在，只有當邊緣線段的方向與通過邊緣線段中點和消失點的直線之間夾角小于5°時，才認為該邊緣線段屬于分道線和路面背景之間的分界線。

在得到分道線與道路的邊緣后，本文根據每條分道線具有左右兩條邊緣的特點來精確定位分道線的位置，然后根據兩條邊緣的中間線作為分道線的中分線，來取得各個分道線。圖5為根據本文算法得到的分道線，其中長的分道線為實線分道線，而短的分道線為分道虛線。利用本文方法，即使較短的分道虛線也能比較精確地檢測出來。

圖5 消失點(頂部白點)及分道線(黑色)檢測結果

2.3 基于消失點和分道線的參數標定

本文通過自動檢測分道線的消失點 (u∞,v∞) 并利用分道線長度國家標準和車道國家標準的信息來標定參數c1和c2， 從而確立車輛從圖像坐標系到場景坐標系之間的完整的映射關系。首先根據國家規定，我國的高速公路和三級以上公路的車道分界線的標準為長度6 m間隔9 m。此外，根據國家規定，三級以上多車道公路每條機動車道寬度為3.5 m～3.75 m，而高速公路的車道寬度統一為3.75 m。如圖2所示，假設檢測道路為單向兩車道路面，其中中間為虛線，兩側為分道實線，本文假設車道寬度為固定值W(根據國家規定，W=3.75nm， 其中n表示左右分道線之間所包含的車道數量),分道線形成的消失點坐標為 (u∞,v∞)， 左右分道實線與圖像平面水平坐標軸的交點分別為 (uL,0) 和 (uR,0)， 則本文通過式(12)的第一式首先標定c1

(18)

然后，通過沿中間分道線所在直線上間距已知的兩點 (u1,v1) 和 (u2,v2) 之間的距離D(如圖6所示，兩點間包含兩條分道虛線和一個間隔，國家標準規定每條虛線長度為6 m，間隔為9 m，因此兩點間距為D=2×6+9=21 m)， 得到

圖6 視頻圖像中的分道線和消失點

(19)

其中

(20)

其中，由于 (v1-v∞)<0， (v2-v∞)<0以及D>0, 因此b>0。

3 實驗分析

本文通過Visual C++和OpenCV編程實現了消失點自動檢測、攝像機參數(俯仰角、旋轉角、焦距、相機沿光軸方向到路面的距離)的自動標定以及運動車輛跟蹤與車速自動檢測等算法。實驗在硬件配置為Intel i7 3.2 GHZ CPU和2 G內存并安裝了Win10操作系統的個人電腦上進行。為便于測試，本文攝像機使用Canon EOS6 d相機(感光區域大小35.9mm×24mm,可變焦距24 mm-105 mm)，實驗中用到的視頻分辨率均為640×480像素，用到了感光區域中的32mm×24mm區域(寬度)，焦距固定在30 mm，相當于600像素。

本實驗的測試軟件系統實際上由兩個模塊組成，其中一個用于相機標定，另一個負責檢測視頻中各運動車輛的速度。在640×480像素的視頻圖像中，相機自動標定的處理效率大約能達到4幀/s，與視頻的實際幀率(30幀/s)有較大的差距，但是好在道路攝像機參數的變更頻率極小(遠小于1 HZ)，因此相機參數標定模塊對實時性不作要求；另一方面，為避免因漏幀引起的運動車輛速度檢測誤差，運動車輛速度檢測的處理過程要求有很強的實時性。針對相機標定和視頻測速模塊的不同實時性要求，測試軟件采用多核多線程編程原理，創建運行于不同CPU內核的兩個線程，其中一個用于相機標定，而另一個負責實時性的視頻車輛測速。當采用類似于文獻[8]的混合高斯模型的情況下，視頻測速線程的處理效率可達到68.4幀/s的穩態幀率，完全滿足實時處理的要求；另外，為避免頻繁更新相機參數帶來的不必要的額外運算開銷，實驗中令相機標定線程每隔300幀(相當于10 s)做一次相機標定處理。

3.1 從圖像坐標系到路面坐標系的逆透視變換

本文從定性角度，即通過對道路圖像作逆透視變換(inverse perspective mapping，IPM)來分析所述相機標定方法的準確性。

逆透視變換效果如圖7所示，顯示所用方法展示了非常精確的映射變換，主要體現在下述3點：①逆透視變換圖中的主干道所有分道線變為平行；②逆透視圖中分道虛線的長度與車道寬度的比值接近于16∶10，非常接近于原始分道線長度(6 m)和車道寬度(3.75 m)的精確比例；③原圖中較遠的車輛比近處的車輛在表觀上更小，而在逆透視圖中，所有車輛的表觀大小差別很小，表明逆透視圖中的物體呈現出極佳的俯視效果。

圖7 對視頻圖像逆透視變換效果

上述3點基本確立了所述方法對云臺相機進行從圖像域到道路坐標系變換的正確性。

表面看來，圖7中逆透視圖中的車輛給人一種長度方向過度拉伸而導致車輛比例失調的錯覺。實際上，由于道路攝像機安裝位置(在路面上方)和方向(一定的俯仰角和旋轉角)，在車體近端不變的情況下，車體的較高部分比車體底部在遠端投得更遠，使得車輛在長度方向形成了較為顯著拉伸效果，而寬度方向拉伸幅度微小，從而導致車輛長度方向與寬度方向的投影比例失調。這一問題可以通過對視頻中車輛進行三維重建的方式予以解決，如視頻中與黑車相鄰的白色車輛的輪廓，如果把頂部投影輪廓移除，擇其長度會顯著縮短，其長寬比例即可恢復正常。

3.2 相機參數自動標定精度的定量分析

本文通過固定焦距f和攝像機離地高度h，而改變云臺攝像機俯仰角θ和旋轉角ψ觀測云臺攝像機各項參數的標定精度。

需要注意的是，相機焦距有兩種表示方法，這是由相機成像區域(也稱為感光區域)的兩種量度(一種為以毫米為單位的實際尺寸，另一種為以像素為單位的邏輯尺寸)所決定的，它們之間可以通過感光區域范圍和圖像分辨率之間的簡單關系相互轉換。如本文所用CCD陣列中32mm×24mm的感光區域形成分辨率為640×480像素的圖像，則每mm包含20像素，本文把焦距固定為30 mm，則以像素為單位的邏輯焦距為600像素。

為實驗驗證本文所提出的道路云臺攝像機標定方法的可靠性，本文把焦距f固定為600像素(相當于實際焦距為30 mm)，把攝像機架設在道路的立交橋上，經激光測距儀測定其離開高度為10.2 m，改變旋轉角ψ(取值10°和30°)和俯仰角θ(取值30°、45°、60°)，分析標定誤差情況。

對道路云臺攝像機內外部參數自動標定的結果見表1。可以歸納為下列幾點：

表1 不同俯仰角θ和旋轉角ψ情況下道路云臺攝像機的參數標定誤差

首先，相機內部參數焦距f的標定誤差大體不高于3%，但呈現出一種誤差定向性的趨勢，表現在自動標定的值總是小于實際焦距。這種負向誤差的主要原因可能是相機的光心與圖像的中心并不完全重合，而是有一定的向上偏移，從而導致檢測到的消失點縱坐標值小于實際值，而消失點的檢測誤差傳導至檢測的焦距值，即產生了穩定的負向誤差。此外，實驗結果表明，俯仰角θ的改變對焦距的標定誤差影響不大，但當旋轉角從10°增加至30°時，焦距的標定誤差則發生顯著增大，表明焦距標定的精度隨旋轉角增大而下降。分析認為，旋轉角的增加導致道路分道線形成的消失點在圖像中的橫坐標顯著增加，其與圖像中心的距離也更大，從而帶來了更大的不確定性。

俯仰角θ的標定誤差基本控制在2%以內，且誤差大小并不隨旋轉角ψ的改變而變化，說明它們相互之間呈現了較強的獨立性；另外與焦距標定所體現的負向誤差(即標定值總是略小于實際值)不同，俯仰角θ的誤差體現了較高的隨機性。

旋轉角ψ標定的相對誤差(超過5%)要顯著大于焦距和俯仰角的相對誤差，而且其絕對誤差隨著ψ的增加而基本上成比例增大。因此為確保其標定誤差在可控范圍內，旋轉角ψ不宜過大。

最后來看對相機離地高度的標定誤差，發現它比上述3個參數的標定相對誤差更高，而且它隨著旋轉角ψ的增加有顯著增加，表明在對相機的離地高度進行標定時，不宜使用太大的旋轉角；另外，高度標定在俯仰角為45°時誤差最小，表明在利用相機進行道路車輛的速度檢測時，應盡量使相機光軸與路面之間的夾角保持在45°左右。

在實際應用中，當俯仰角和旋轉角接近90°時，分道線在圖像中接近于相互平行，消失點與圖像中心的距離遠大于圖像尺寸，此時由于分道線像素位置誤差導致的消失點定位誤差會被急劇放大，由此造成的消失點定位相對誤差(即檢測到的消失點位置與實際的消失點位置的距離除以消失點與圖像中心距離的比值)的放大，會顯著增加本文方法用于相機參數標定時的誤差風險。因此實際應用中，云臺攝像機俯仰角θ的取值范圍應控制在20°≤θ≤70°， 而其旋轉角ψ則不宜大于30°。最后，由于過大的焦距導致消失點遠離圖像中心，從而會加大參數標定誤差，建議攝像機的焦距不應超過圖像尺寸(取長度和寬度只最小值)的4倍，對于感光區域大小35.9mm×24mm的標準相機而言，其焦距應盡量不超過100 mm。

3.3 運動車輛測速誤差分析

本文利用上述獲得的標定參數對視頻中的運動車輛進行了測速。運動車輛的前景通過參考文獻[8]提供的算法獲得，然后對前景物體利用輪廓檢測的方式進行提取并分析輪廓內車輛的形狀和色彩分布。本文利用視頻中每幀圖像的序列號除以視頻幀率得到每幀圖像以秒為單位的時間戳，然后根據運動車輛在不同時間戳的圖像之間的位移除以兩幀圖像時間戳相減得到的時間差得到其速度。其測速效果如圖8所示。

圖8 運動車輛測速效果

為便于對自動測速結果與實際車速進行比較，本文在拍攝視頻的同時，采用Bushnell(測速精度±2 km/h)手持雷達測速儀對中間車道通過的車輛逐輛進行測速和拍照記錄。

實驗過程中，為確保數據的準確性，本文僅當運動車輛距離攝像機較近(小于30 m)時才統計其檢測速度，這也是考慮到運動車輛距離攝像機較遠時單位時間內有效的像素位移量較小，導致測速精度相對較低。當然，本文實驗中發現，視頻檢測的速度檢測的速度值在車輛迎向攝像機運動過程中相當穩定，波動幅度不到2 km/h。圖9是本文對一段錄像(時長2 min 34 s)中中間車道通過的20輛車的視頻測速值與雷達測速值的比較圖。

圖9 視頻測速與雷達測速結果比較

圖9顯示，上述20輛車雷達測速與本文視頻測速的結果非常接近，最大誤差為3 km，最小誤差為0，平均誤差為-1.3 km/h(即視頻測速值平均比雷達測速結果小1.3 km/h),平均誤差的標準差為1.66 km/h，總體上體現了本文的視頻測速與雷達測速結果之間很好的一致性。

總體而言，利用本文算法實現的基于視頻處理的運動車輛測速與雷達測速之間的絕對平均誤差為1.3 km/h,其相應的平均相對誤差為2.1%；相比之下，武非凡等[7]利用YOLO檢測算法和光流跟蹤算法對視頻中的車輛進行測速的平均相對誤差高達6%，該誤差值接近于本文方法的3倍。本文方法在車輛測速精度上顯著優于文獻[7]的主要原因有兩個，第一是本文所用分道線作為測量基準的檢測精度優于文獻[7]，第二是本文利用卡爾曼濾波器[13]對運動車輛的位置和速度進行了平滑處理，從而有效避免了文獻[7]中因場景中軌跡跳動和不同幀之間測量值的瞬時誤差引起的平均速度誤差放大現象。

從檢測效果來看，視頻測速是一種相當精確的測速方法，完全可以作為雷達測速的替代工具。

4 結束語

本文提出了一種簡潔而魯棒的道路云臺攝像機參數標定方法僅利用包含道路分道線的單張圖片即可對道路云臺攝像機的焦距、俯仰角、旋轉角和離地高度等參數進行精確標定，這一方法的實現為基于道路視頻處理的道路車輛速度檢測等智能交通系統應用奠定了堅實基礎。

在道路云臺攝像機的標定過程中，本文充分利用了我國道路分道虛線及其間距，以及車道寬度所服從的國家標準，結合道路分道線在圖像平面中的消失點位置，來精確標定攝像機的4個內外部參數，算法可以普遍適用于國內單向二車道或以上的標準公路上方的道路監控攝像機。

本文所述方法存在下列局限性：

它不能處理俯仰角為90°(即相機光軸方向垂直于路面)的極端情況，因為此時道路的消失點的縱坐標位于無窮遠；

另外它也不能處理旋轉角為90°的情況(此時分道線垂直與光軸)此時分道線消失點的橫坐標位于無窮遠點；

最后，在固定俯仰角和旋轉角的前提下，云臺攝像機所拍攝路面圖像中消失點距離圖像中心的距離與焦距成正比。本文所述方法對利用長焦鏡頭拍攝的路面視頻進行相機參數標定時誤差風險較大。