智能汽車激光雷達和相機數據融合系統標定

許小徐，黃影平，胡 興

（上海理工大學 光電信息與計算機工程學院，上海 200093）

引 言

智能汽車采用相機和激光雷達實現對環境的感知。通過這些傳感器的數據融合，可以發揮各個傳感器的特點提高環境識別的可靠性[1]。數據融合的前提是傳感器的聯合標定，標定就是要找到傳感器坐標系之間的位置關系，據此可以將不同傳感器的數據在空間上準確地對應起來。

現有的激光雷達和相機聯合標定方法可以分為兩類：特征點匹配法和棋盤格標定法。特征點匹配法采用特殊圖形的標定板提取激光雷達采集到的三維點和對應的相機得到的二維圖像點，建立約束方程，優化計算相機位姿，其本質是相機位姿估計的 PNP（perspective-n-point）問題[2-3]。該方法無需求解相機的內參數，標定精度主要取決于特征點對的提取精度[4-7]。劉大學[6]針對單線激光雷達，設計了一種帶刻度的平面標定模板，利用激光雷達點擬合直線求交點，獲得特征點坐標，再根據標定板上的刻度，手動標注出特征點位置，以便在圖像中找出對應的圖像坐標。該方法適用于單線激光雷達的標定，且需要手動標注特征點，易引入操作誤差，且標定板制作過程復雜。Park等[7]針對32線激光雷達設計了一種三角形平面標定板，利用激光雷達掃描在標定板上的邊緣點擬合直線方程，再利用直線的交點求出三角形的頂點作為特征點，對應圖像中特征點采用圖像角點檢測的方法求出。該方法僅適用于32線或者掃描層數較多的激光雷達，對于四線激光雷達，可供擬合的邊緣點數量少，所以擬合出的直線誤差會很大；并且由于提取的是邊緣點，對激光雷達的掃描角度分辨率要求較高。基于棋盤格的標定方法最早由華盛頓大學機器人研究室Zhang等[8]提出，通過相機和雷達多角度觀測棋盤格平面，利用棋盤格平面在兩個坐標系的一致性，根據約束條件用線性方法求解外部參數，再用非線性方法[9-10]進一步優化。Osgood等[11-12]詳細介紹了Nelder-Mead優化方法在激光雷達和相機標定問題上的應用。項志宇等[13]基于Zhang等[8]的方法做出改進，采用平面擬合增加了方法的魯棒性。該類方法只能標定外部參數，相機的內參數要采用張正友法[14]求解。

2018年三季度，根據中怡康推總數據，洗衣機總體零售量規模為797萬臺，環比下降8.3%；零售額達到153億元，同比上漲2.6%，環比下降10.5%。在家電行業整體低迷的環境下，洗衣機是三季度唯一實現增長的大家電品類，實屬珍貴；在零售量8.3%的降幅下能夠實現零售額2.6%的增長，也展示出洗衣機行業結構升級的成果已經顯現。

本文對特征點匹配法以及棋盤格標定方法都進行了研究。針對Park等[7]的方法對激光雷達的層數和掃描角分辨率要求較高的不足，設計了一種新的標定模板，利用平面擬合的方式求取特征點，獲取的特征點更加可靠。棋盤格法借鑒了Zhang等[8]和項等[13]的方法，針對他們沒有通過實驗驗證標定精度的不足，本文設計了對標定結果的標靶驗證實驗，采用靶標在圖像上實際的對準效果來驗證標定結果的準確性。

1 融合系統標定原理

圖1為激光雷達坐標系OC-XCYCZC、相機坐標系OL-XLYLZL和圖像坐標系O-XY之間的關系。θx，θy，θz為激光雷達坐標系相對于相機坐標系在x, y, z方向的旋轉角度，（cx，cy，cz）為平移向量，（u0，v0）為圖像中心的像素坐標，f為相機的焦距。

設空間中一點P在激光雷達坐標系坐標為（XL，YL，ZL），在相機坐標系坐標為（XC，YC，ZC），則有

由圖3可知，NL與NC的長度差應當等于平移向量T在NL上投影的長度，即

圖1 各坐標系關系圖Fig. 1 Diagram of related coordinate systems

設P對應的圖像坐標為（u,v），則有

式中：dx和dy表示圖像中1個像素在x和y軸方向的物理尺寸；，是相機的內參數矩陣。

將式（1）代入式（2）可得

就這樣，他們和我見了面。見面之后，他們覺得我不僅有知識有學問，還具備良好的修養，更難能可貴的是我才剛剛24歲，而且家境貧寒急需用錢。他們認為我會是一個稱職的“代孕媽媽”。而我得知了陳清夫婦的坎坷遭遇，看著這對經歷了太多磨難的夫妻飽含希冀的眼神，不禁欣然同意為他們孕育孩子。

（5）以式（18）為代價函數，采用LM優化方法，優化初始解。

2 基于特征點的標定方法

2.1 特征點標定方法原理

為了提高平面的擬合精度，應有足夠多的激光雷達點，因此在制作標定板的過程中，應盡量使得標定板的尺寸足夠大，從而使每個平面上有足夠多的激光掃描點，本文中標定板大小為1.2 m×2.4 m。且在取擬合的散點時應盡量避免取靠近兩個平面結合處的點，以保證所取的點位于同一個平面。

根據構架及輪對垂向受力可列出靜力學平衡方程，結合4個軸箱變形協調條件可求得轉向架4個輪輪重大小FWi(i=1,2,3,4)，如式(2)所示。

將式（6）代入式（4）和式（5）得到兩個方程

也就是說一對特征點可以建立兩個方程。設有n組特征點，則可建立2n個方程：

式中A12*1= [n11，n12，n13，n14，n21，n22，n23，n24，n31，n32，n33，n34]T，一組特征點對應兩個方程，求解12個未知數，至少需6組特征點。通常會多取幾組特征點，形成過約束方程組，用線性最小二乘法求解[15]。

2.2 特征點標定方法步驟

特征點選取的關鍵是能夠可靠地找到激光掃描點和與之對應的圖像點。為了做到這一點，本文設計了一種標定板，如圖2所示。標定板上存在圖中1，2，3，4四個平面，其中平面2，3向后折疊，分別與平面1，4形成一定夾角。圖中橫向的粗實線，細實線，點劃線，虛線為模擬的四層激光雷達的掃描線，P1，P2，P3三個頂點為待求取的三個特征點。

在班級群里，通過每日“家長作業”的展示和主題交流，家校溝通不再是教師喋喋不休的講解、勸導，而是與家長一起陪伴孩子成長進步。人人會說話，人人有話說，人人想說話，這就是微信群的聊天姿勢。我們要在班級智慧的群聊中加深情感、交流信息、增強信任、共同提高，真正實現家校合作，共同助力孩子的幸福成長。

圖2 特征點法標定板實物圖Fig. 2 Calibration template of feature-point method

具體步驟如下：

（3）對每個位置激光掃到棋盤格上的點進行平面擬合，按照式（15）求出每個位置的NL。

設空間平面方程為Ax+By+Cz+D=0，利用各個平面的激光雷達點，采用線性最小二乘法擬合出4個平面方程Aix+Biy+Ciz+Di=0，其中i表示第i個平面。顯然P1點為4個平面的交點，即P1坐標滿足如下方程組：

采用線性最小二乘法可求解P1的坐標。

根據各個平面的方程可知，其對應的法向量 Vi為（Ai，Bi，Ci），其中 i表示第 i個平面。根據向量叉乘的定義可知，向量應與V1×V2共線，再結合向量的模，即可求出該向量。

（2）提取特征點圖像坐標

設點 P1，P2，P3的坐標分別為 p1，p2，p3，則有

一眼看下去，很明顯，南邊的十幾歲那個團隊的少年們，一個個都凝神靜氣、呼吸自然。同時一個個都做到了‘深、平、穩’。很顯然在‘蘊氣式’上都有了一些成就。

同理可知，

在圖像中采用角點檢測的方法，獲得標定板的三個頂點在圖像坐標系中的坐標。從而獲得三組對應的特征點。

（3）移動標定板的位置，再次求出三組特征點，用六組特征點，按照式（9）建立方程組，用最小二乘法[15]求解矩陣A12*1。

通過提取若干對激光雷達與圖像特征點，建立約束方程組，求解矩陣A中的12個元素。式（3）展開可得

3 基于棋盤格的標定方法

3.1 棋盤格法標定原理

如圖3所示，NC與NL分別代表從相機坐標系原點和激光雷達坐標系原點到棋盤格平面的三維垂直向量，NC的模|等于從棋盤格到相機原點的距離，NL的模|等于從棋盤格到激光雷達原點的距離。

1) 間歇采樣重復轉發干擾只要獲得脈壓雷達的最小脈寬就可實施有效干擾，因此不需要進行過多的電子戰偵察工作，效率更高；

通過張正友標定法[14]求得世界坐標系（棋盤格左上角為原點）到相機坐標系的旋轉矩陣R′，以及平移向量T ′，則有

式中 R′3表示 R′ 第三列。

NL通過激光雷達點云擬合平面獲得：采用最小二乘法[15]對激光掃到棋盤格平面上的點擬合平面，設擬合出的平面方程為Ax +By +Cz +D=0，則（A，B，C）為平面法向量，且（A，B，C）為單位向量，則

式中nL是NL的單位向量,一組給定的NL與NC提供一組求解T的約束條件，改變棋盤格平面位置，提供多組NL與NC，用線性最小二乘法[15]求解T。

陸游的地域書寫，比其他作家受時空轉換的影響更明顯。錢鐘書云：“至放翁詩中，居梁益則憶山陰，歸山陰又戀梁益，此乃當前不御，過后方思，遷地為良，安居不樂；人之常情，與議論矛盾殊科。”在時間的流逝與空間的轉變中，陸游關于梁益的地域書寫在內容和情緒等方面都發生了不小的變化，而有些變化因記憶模糊或創作心態改變甚至會前后矛盾，雖非“議論矛盾”，卻是許多細節或情緒上的矛盾。

圖3 棋盤格法標定原理示意圖Fig. 3 Principle diagram of planar checkerboard method

根據坐標系的變換原理可知，nL在相機坐標系下可以表示為RnL，設NC的單位向量nC,

由RnL與nC平行關系可知，向量RnL與nC的內積為1，即

實證研究結果顯示：同樣是每提高1個單位，成長性創業質量比生存性創業對農民工價值觀念、身份認同、經濟適應和生活方式因子得分的促進作用分別高出3.952分、3.028分、4.742分和2.096分。雖然大多數農民工返鄉創業的投資規模較小，大多數選擇在離家較近的小城鎮創業，以達到重新整合配置返鄉農民工人力資源，扭轉以往返鄉陷入水平流動或向下流動的困境，并進一步通過返鄉創業實現積極的向上流動，但總體來說，現階段農民工返鄉創業的質量普遍偏低，大都處于創業后的發展階段，有些甚至處于停滯或倒退階段，其創業所獲得的利潤往往不足以維持其在城市體面的生活，因而生存性創業質量對其就地市民化的影響程度相對較小。

式中：Ncr為液化判別標準貫入錘擊數臨界值；N0為液化判別標準貫入錘擊數基準值，可按表4.3.4采用；ds為飽和土標準貫入點深度，m；dw為飽和土標準貫入點深度，m； ρc為粘粒含量百分率，當小于3時或為砂土時，應采用3； β為調整系數，設計地震第一組取0.8，第二組取0.95，第三組取1.05。

一組給定的nL與nC提供一組求解R的約束條件，改變棋盤格平面位置，提供多組nL與nC，用線性最小二乘法[15]求解R。

將以上得到的R,T作為初始解，建立式（18）所示目標函數，使用Levenberg-Marquard（LM）優化方法[8]對初始解進行優化。

式中：n表示放置的棋盤格位置數；m表示第i個位置棋盤格上的激光掃描點數。NC,i代表第i個棋盤格位置時相機原點到棋盤格平面的垂直三維向量。Pi,j表示第i個位置的棋盤格上的第j個激光掃描點。

將旋轉矩陣轉化為旋轉角，公式為

式中rij表示R第i行第j個元素。

3.2 棋盤格法標定步驟

（1）將棋盤格放置在相機和激光雷達共同視場的20個不同位置。

（2）用張正友法求取每個位置棋盤格相對于相機的旋轉和平移矩陣，可采用MATLAB標定工具[16]實現，根據式（14）求出每個位置的NC。

（1）提取特征點在激光雷達坐標系的坐標

（4）按照式（16）和式（17）建立約束方程組，用線性最小二乘法[15]求出R,T初始解。

因此將激光雷達測量點（XL，YL，ZL）對應到圖像點（u,v）的問題，轉化為求取10個參數（cx，cy，cz，θx，θy，θz，u0，v0，fx，fy），或者求解矩陣A的過程。下述基于特征點的標定方法是求解A, 基于棋盤格的標定方法是直接求解10個參數。

（6）用張正友標定方法求取相機的內參數u0、v0、fx、fy。

4 實驗結果

激光雷達和相機的安裝位置如圖4所示。激光雷達為四線激光雷達，水平視野為120°，掃描垂直視野為3.2°，角度分辨率為0.25°。標稱的相機內參數為：圖像分辨率640 ×480 ，焦距800 像素（6 mm），像素物理尺寸大小 7.5 μm。棋盤格標定板采用9×7格，每格大小為171 mm×171 mm。

④ manus dara-a sara-yin arbad-iyar yabuy-ageju bui(我們下月十來號就要走)

4.1 特征點法

按照2.2節描述的方法提取至少6組激光雷達和對應圖像特征點坐標，計算得到的矩陣A如表1所示。

再次，每學年進行全區統一檢測，為進一步研究提供數據。各校以“閱讀實驗校”評選為契機，以閱讀為突破口，積極開發閱讀課程，鼓勵各學科根據學科特色開展相應的閱讀研究活動，形成“大閱讀”的理念，促進各學科均衡發展，形成“大教育觀”，著力培養學生的綜合素質，提升學校的綜合實力，讓學校成為真正的“書香圣園”。

幼兒園階段的行為規范要求總體較自由和生活化，剛性要求較少。如入園和離園的時間不硬性固定，上課可以在不影響秩序的情況下去喝水或上廁所。隨著一入小學，規范要求一下從寬松到嚴格，不遲到不早退，上課不能隨便說話、上廁所，這些變化必然給孩子造成一定的心理壓力。

圖4 相機與激光雷達安裝位置圖Fig. 4 Installation diagram of the lidar-camera system

4.2 棋盤格法

按照3.2節所述方法，將棋盤格放置在20個不同位置，記錄每個位置掃在棋盤格上的激光點Pi,j，求取每個位置的NL與NC,部分數據記錄如表2所示。如3.2節所述，先用最小二乘法[15]求出R，[cx，cy，cz] 的初始解，在初始解的基礎上進一步用LM方法[8]優化初始解，得到優化解，結果如表3所示。R與旋轉角θx，θy，θz的轉換按照式（19）求得。

教師應樹立“大語文”的觀點，讓學生從傳統那種“學海無涯苦作舟”的苦讀走向開放型的自主學習。從課堂走向課外，從校園走向校外，使語文成為一泓活水，在豐富多彩的社會生活中學語文，長才干，學做人。因此，教師要引導學生深入生活，也可開展課外閱讀活動，設立圖書角，推薦好書讓學生閱讀，教給閱讀方法，開展讀書競賽，興趣小組等。在實踐中出真知，讓學生多觀察，多思考，充分發揮學生的主觀能動性。

4.3 校準結果驗證

如圖5所示，采用9個如圖中標號1～9所示的細小白色泡沫靶，用可上下移動的細桿支撐，放置在相機和激光雷達共同視場。移動標靶使得激光雷達能夠掃描到靶子上，記錄各個標靶的雷達點坐標，同時在圖像中取標靶圖像的中心位置代表靶標位置，讀取圖像坐標，如表4所示。

表1 實驗提取的特征點對與計算結果Tab. 1 Extracted feature points and calculated parameters

表2 棋盤格平面在部分位置的NL，NC及相應位置的部分Pl點坐標示例Tab. 2 NL, NC of the checkerboard planes at different positions and Pl at corresponding positions

表3 參數求解結果Tab. 3 Results of the parameters

圖5 驗證實驗示意圖Fig. 5 Diagram of validation experiment

分別采用特征點法和棋盤格法得到的結果，將激光雷達坐標投影到圖像上得到投影的圖像坐標，按照式（20）計算投影對準誤差，記錄如表4所示。

表4 特征點法與棋盤格法投影激光雷達點到圖像坐標的結果Tab. 4 Results of the projection of the two methods

式中[ua,i，va,i] 表示第i個標靶實際讀取的圖像坐標；[uc,i，vc,i]為采用標定結果通過坐標轉換得到的圖像坐標。計算出特征點法的平均誤差3.03 像素，棋盤格法的平均誤差為2.33 像素。

將激光雷達點云數據分別依據兩種方法的實驗結果，投影到圖像中，如圖6所示，可見兩種方法的激光點云都能很好地與圖像匹配。

圖6 投影激光雷達點到圖像Fig. 6 Projection of lidar points to image

5 結 論

特征點標定法可以直接求出標定結果，其結果是一個包含了坐標系外參數和相機內參數的矩陣，利用該矩陣可以將激光雷達坐標轉換為圖像坐標，但是矩陣內各個參數的物理意義不明顯。該方法的核心是準確提取特征點，本文設計的特征點選取方法相對于文獻[6],省去了人為標注的過程，特征點選取也更為可靠、簡單。相對于文獻[7]擬合直線求取特征點的方法，本文采用平面擬合的方法求取特征點，可供采用的激光點數量顯著增加，而且可以均衡激光雷達本身的測量誤差引起的標定誤差，提高了標定的精度。棋盤格法的標定過程需要分兩步進行,即分別求取坐標系外參數和相機的內參數，其中相機內參數通過張正友標定法獲得，坐標系外參數可以直接獲取旋轉角度和平移參數。棋盤格法無需人工標注特征點，避免引入手動誤差。但是操作過程比較繁瑣，需要將棋盤格標定板放置到多個不同位置，處理的數據也比較多。總之，兩種方法各有優缺點，實驗中棋盤格法的精度略高于特征點法。