毫米波雷達與攝像頭單應性變換標定方法誤差因素分析

李 洋，韓 萌，王紫欣，李靜雯，曹舒文，曹 月，楊彬彬

（北方工業大學 信息學院，北京 100144）

0 引 言

根據世界衛生組織（World Health Organization, WHO）報告數據，每年有大約135萬人死于道路交通事故，平均每24 s就有1人在道路上失去生命；道路交通傷害是5～29歲兒童和年輕人的主要死因，全球道路交通安全形勢嚴峻。交通事故的頻發給人們的生活健康和經濟產生了巨大影響，所以優良的交通監測技術對人們的生活有著重大意義。目前在交通監測領域，較為普遍的是使用單一光學攝像頭對車輛進行識別跟蹤或者使用雷達對車輛進行測速測距。但是這些傳統的監控方式都存在一定的局限性，光學攝像頭可以獲得較為豐富的目標及場景的紋理特征，但其測速測距能力較弱，且光學傳感器容易受到天氣、光照等因素的影響。而毫米波雷達在測速測距以及抗天氣干擾等方面具有天然的優勢，但卻無法獲得目標的紋理信息等特征。將光學攝像頭與毫米波雷達傳感器進行融合可以做到優勢互補。因此，光學攝像頭與毫米波雷達信息的融合已成為智能交通系統的研究熱點。

在進行傳感器數據融合之前，首先要通過傳感器標定來解決毫米波雷達與光學攝像頭間的空間轉換問題。目前已經有學者研究出了一些較為有效的毫米波雷達與光學攝像頭標定方法。日本豐巴技術中心研究人員研發出了基于毫米波雷達和攝像頭的障礙物檢測分類系統，首先利用攝像頭獲取圖像，使用毫米波雷達選出并建立感興趣區域，然后利用神經網絡進行待測車輛識別，但這種方法識別效果的精確性較差。Nabati，Ramin & Qi等提出了一種中心融合的深度學習網絡，實現了雷達與攝像頭的融合，該方法為車輛檢測建立了立體的視錐而不再是檢測框，從而提高了自動駕駛過程中2個傳感器標定及融合的準確性。張富有提出一種通過標定攝像頭內參數以及毫米波雷達與光學攝像頭三軸旋轉自由度的方法來解算空間轉換關系，從而實現傳感器間的標定。但這種方式需要標定的參數過多，增加了實驗難度，并且攝像頭標定誤差也會受多種因素影響。已有文章提出一種基于單應性變換的毫米波雷達與攝像頭標定方法，該方法通過在毫米波雷達與攝像頭共同采集區域中設置定標物，然后提取定標物在雷達數據以及攝像頭像素數據中的坐標形成特征點對，通過多個特征點對可以標定出兩者的空間轉換關系。但基于單應性變換的毫米波雷達與攝像頭標定方法缺少對影響標定誤差的因素的分析。

基于單應性變換的毫米波雷達與攝像頭標定方法缺少對影響誤差因素的分析，本文將通過實驗從特征點空間分布以及數量對單應性標定誤差的影響進行分析。

1 單應性標定原理及誤差建模

1.1 毫米波雷達與攝像頭單應性標定原理介紹

單應性變換原理常被應用于圖像領域，比如相機成像可以把現實世界中的三維目標表示在二維的像素平面中。由此單應性變換可以用來表示三維目標點與二維目標點之間的映射關系。毫米波雷達采集的目標數據為二維坐標(,)，而攝像機采集的目標像素點坐標為(,)，假設雷達檢測到的目標以及攝像機檢測到的目標全部在雷達采集平面與像素平面上，如圖1所示。

圖1 雷達采集平面與像素平面示意圖

圖1所示為一個在毫米波雷達與攝像頭公共視場內的目標，假設其在毫米波雷達坐標下的位置為(,)，在攝像機像素坐標系中的位置為(,)。由單應性變換原理可知，標定雷達采集的目標點與攝像機像素坐標之間的空間轉換關系就是標定雷達采集平面與像素平面之間的映射關系，根據單應性原理可得雷達采集平面與圖像像素平面關系：

式中，為雷達平面與像素平面之間的單應性矩陣，其表示兩個采集面之間的轉換關系，是一個3×3的矩陣，為常數。雷達采集平面和像素平面之間的關系可以通過估計單應性矩陣得到，此過程不需要對攝像機內外參數等進行單獨標定，也不需要對各坐標軸旋轉角度進行標定。根據式（1）將單應性矩陣展開可得：

將式（2）展開可以得到：

在雷達平面與像素平面取個對應的目標點對，帶入式（3）化為矩陣則有：

式（4）左矩陣為2×9階的矩陣，右部分矩陣為9×1階的矩陣，記為單應性矩陣。最小需要4個不共線的特征點對可以求解出單應性矩陣，并且對于超定方程組，可以通過最小二乘法求解，但為了減少數據中噪聲對單應性矩陣標定的影響，采用最小中值估計的方法來增加的準確性和魯棒性。定義每個標定出的單應性矩陣的標定誤差為：

最小中值優化估計實現步驟如下：

（1）對于包含對特征點的集合，每次隨機抽取4個特征點對組成一個集合；

（2）對于每一個樣本集，使用最小二乘法估計得到一個單應性矩陣h；

（3）對于每一個h，可以求出整個數據集所有點對的標定誤差e，再找出e的中值；

（4）求解出使最小的h。

通過上述方法可以求解出毫米波雷達與攝像頭之間的單應性矩陣，只需采集一定數量的定標物特征點對就可以完成毫米波雷達與攝像頭之間的標定，實現毫米波雷達坐標與像素坐標之間的轉換。

1.2 誤差因素建模

根據式（2）可知，單應性標定法中如果獲得一定數量的特征點對，即成對的(,)與(,)就可以求解出單應性矩陣，并且由于單應性矩陣實際是一種超定方程組，因此求解至少需要4對特征點對。但是特征點對的數量選擇多少以及特征點對選取的位置對標定精度產生的影響需要進一步實驗探究。針對單應性變換標定方法將其標定誤差與其影響因素定義如式（6）所示：

式中：表示標定的總誤差；為雷達自身采集誤差；為特征點空間分布的位置；為特征點數量。公式說明標定總誤差為3個誤差因素共同作用下產生的結果。在這3個誤差因素中，雷達采集誤差受雷達硬件自身測距精度與測角精度的影響，因設備差異的不同會導致不同測距測角精度誤差。

2 實驗分析

2.1 實驗設備介紹

本文采用的實驗設備為77G大陸ARS408毫米波雷達以及海康威視光學監控攝像頭，設備如圖2所示，雷達采集界面示意圖如圖3所示，雷達采集數據示意圖如圖4所示。

圖2 采集設備

圖3 雷達采集界面示意圖

圖4 雷達采集數據示意圖

毫米波雷達參數見表1所列，攝像頭參數見表2所列。

表1 毫米波雷達參數

表2 攝像頭參數

2.2 誤差實驗分析

在本節將對提出的標定模型中各因素進行實驗分析，研究特征點對空間位置分布以及特征點對數量對標定精度的影響。設計實驗在操場上利用攝像頭與毫米波雷達對不同位置的角反射器進行采集。雷達采集數據包含縱向距離，橫向距離，縱向速度v，橫向速度v以及RCS等信息。攝像頭采集的數據中，角反射器的位置為像素坐標(u,v)。本次實驗將在毫米波雷達與攝像頭的公共采集視場中放置角反射器，每一個角反射器都可以從雷達數據中提取出其坐標位置(,)以及其在攝像頭數據中的像素坐標(u,v)，由此形成一組特征點對，通過不斷改變角反射器的位置從而獲得不同的特征點對。

2.2.1 雷達設備采集誤差

由于毫米波雷達設備硬件本身在測速和測角方面存在一定的誤差，這也會給單應性變換標定帶來一定的誤差。根據表1所列的毫米波雷達參數，可以制作圖5所示的毫米波雷達設備采集誤差模型。

圖5 毫米波雷達設備誤差示意圖

圖5中，紅色區域代表雷達遠距離掃描模式，藍色區域代表近距離掃描模式，白色圓圈代表此處目標的位置測量誤差，圓圈的半徑越大代表誤差越大。根據此圖可知，目標距離雷達越遠相對角度越大，位置測量精度會增大，故綠色區域為較為合適的采集區域。實驗根據雷達誤差模型選擇雷達縱向50 m以內，橫向±10 m內的范圍作為實驗區域，以降低雷達設備誤差對標定精度的影響。

2.2.2 特征點空間位置構型實驗

標定誤差模型=(,,)受雷達設備誤差、特征點空間分布，以及特征點數量的綜合影響，由于求解單應性變換矩陣最少需要4組點對并且不能共線，所以采用控制變量的方式研究特征點數為4對情況下，不同空間構型對標定誤差的影響。定義兩種主要的空間構型如圖6、圖7所示。

圖6 空間構型一

圖7 空間構型二

由于4點不共線主要考慮空間構型一與空間構型二這兩種位置分布，其他位置分布可以通過整體旋轉、平移與這兩種空間構型進行等效。實驗采集一定組數的空間構型一與空間構型二的定標物雷達坐標數據(,)，通對標定誤差進行計算，將數據記錄在表3與表4。

表3 構型一實驗數據

表4 構型二實驗數據

兩種構型標定誤差如圖8所示。

圖8 兩種構型標定誤差

由圖中的構型數據與誤差的關系可知，空間構型二的特征點位置分布比構型一所示的空間分布標定誤差更小。并且對表4中構型二數據進行分析可知，對于空間構型二的位置分布，當4個點空間差異越大即4個點在橫向和縱向距離增大時標定誤差會下降。

2.2.3 特征點數量實驗分析

通過實驗分析了空間構型對單應性變換標定誤差的影響，證明了空間構型二比空間構型一的標定誤差小，本節選擇空間構型二作為特征點分布，保持構型不變的情況下研究特征點數量對單應性標定誤差的影響。特征點位置實驗數據(,)為（11.2，2.5），（14，2.5），（18.2，-4.7），（24，-4.7）（17，2.5），（30，-4.7），（20，2.5），（36，-4.7），表 5 為不同特征點數量的標定誤差數據。

表5 特征點數量與標定誤差

通過表中的數據可以看出，在同一種空間構型下，隨著特征點數量單應性標定誤差逐漸下降，當點數增加到6個點時，標定誤差已經基本不發生變化。所以在標定時選擇6個點較為合適。

3 結 語

本文研究了毫米波雷達與攝像頭單應性變換標定方法中誤差因素對單應性變換標定精度的影響。建立了誤差模型并分別對毫米波雷達設備誤差、特征點空間位置構型、特征點數量這三個因素對標定精度的影響進行了實驗分析。結果表明，文中的空間構型二特征點位置分布的標定誤差較小，并且在空間構型二下，特征點數量選擇6點標定誤差可達到最小并且基本不再變化。本文的結果為后續毫米波雷達與攝像頭標定實驗方案的設計提供了基礎，具有一定的研究意義。