基于LM優(yōu)化的車載全景影像絕對測量方法

曹君 葉辰萌 劉正華

摘 要：【目的】為解決車載全景影像在智慧城市、智慧城管、智慧交通等領域中應用不足的問題，提出了一種基于LM優(yōu)化的車載序列全景影像絕對測量的方法。【方法】首先，對待測目標點在全景影像上的成像過程進行分析，詳細推導了目標點絕對坐標測量的理論模型。其次，為解決該理論模型的優(yōu)化求解問題，引入了對初值不敏感且收斂速度較快的LM算法，并對LM算法中的初值獲取、函數(shù)構建、參數(shù)設置等問題進行了設計。最后，結合實際車載全景影像和目標點位實測數(shù)據(jù)，對所提的方法進行驗證。【結果】該方法獲得的目標點絕對坐標平面中誤差和高程中誤差分別為0.123 m和0.118 m，符合《城市測量規(guī)范》（CJJ/T 8—2011）中的相關要求。【結論】該方法能夠有效獲取全景影像范圍內待測目標點的絕對坐標，從而為全景影像在城市部件普查、交通基礎設施測量等領域的應用提供了可能。

關鍵詞：LM優(yōu)化；車載；全景影像；絕對測量

中圖分類號：TP3? ? ?文獻標志碼：A? ? ? 文章編號：1003-5168（2024）07-0005-05

DOI：10.19968/j.cnki.hnkj.1003-5168.2024.07.001

Absolute Measurement Method Of Vehicle Panoramic Image Based On LM Optimization

CAO Jun1 YE Chenmeng1 LIU Zhenghua2

（1. Wuhan City Polytechnic， Wuhan 430064， China;

2. Institute of Seismology， China Earthquake Administration， Wuhan 430071， China）

Abstract： [Purposes] Aiming at the problem of insufficient application of vehicle panoramic images in the fields of smart city， smart city management， smart transportation， etc.， a method of absolute measurement of vehicle sequence panoramic images based on LM optimization is proposed. [Methods] Firstly，by analyzing the imaging process of the target point to be measured on the panoramic image， the theoretical model of the absolute coordinate measurement of the target point was deduced in detail. Secondly， in order to solve the optimization problem of the theoretical model， the LM algorithm， which is insensitive to the initial value and has a fast convergence speed， is introduced， and the initial value acquisition， function construction and parameter setting in the LM algorithm are designed. Finally， the proposed method is verified by combining the actual vehicle panoramic image and the measured data of the target point. [Findings] The results show that the mean square errors of the plane and elevation coordinates of the target points obtained by this method are 0.123 m and 0.118 m， respectively， which meet the relevant requirements in the'Urban Surveying Specification （CJJ/T 8—2011）'. [Conclusions] This method can effectively obtain the absolute coordinates of the target points to be measured in the range of panoramic images， thus providing the possibility for the application of panoramic images in the fields of urban component survey and transportation infrastructure measurement.

Keywords： LM optimization; vehicle; panoramic images; absolute measurement

0 引言

隨著計算機技術、通信技術、傳感器技術、互聯(lián)網技術的發(fā)展，利用多視點組合式相機獲取后再經過圖像拼接處理而形成的序列360°全景影像，以其全方位、沉浸式、高分辨率、場景真實等優(yōu)點，被廣泛應用于街景地圖、公安應急、城市管理等領域［1-7］。

盡管現(xiàn)在擁有360°全方位景觀表現(xiàn)能力，但是目前的全景影像卻往往只有漫游、查詢功能，不具備測量分析能力，極大地限制了其在城管部件普查、交通基礎設施測量等領域的應用。近年來，基于全景影像的三維重建、位置獲取、幾何量測等問題研究逐漸興起［8-17］。這些研究的原理大多數(shù)是共線條件方程、核線約束、光束法平差等傳統(tǒng)攝影測量方法的推導與沿用，主要用于在局部坐標系下進行距離、面積、體積、變形監(jiān)測等的相對測量，無法滿足智慧城市、智慧城管、智慧交通等領域中獲取目標絕對位置的需要。

因此本研究提出一種基于LM優(yōu)化的車載序列全景影像絕對測量方法。該方法首先估計目標初始位置，并計算其在多張序列全景影像上的坐標；其次以計算坐標和實際坐標的差值構建目標函數(shù)；最后利用LM算法迭代優(yōu)化，求解目標的最優(yōu)點位。通過實驗分析，證明了基于LM優(yōu)化的全景影像絕對測量方法可以獲取目標點在大地坐標系下的絕對坐標，滿足城市測量的精度要求。

1 全景影像絕對測量模型

為快速獲取連續(xù)序列全景影像數(shù)據(jù)，在數(shù)據(jù)采集過程中，通常需要將全景采集設備、定位定姿系統(tǒng)（Position and Orientation System，POS）、同步器等傳感器集成安裝在車輛等移動載體上，組成車載全景采集系統(tǒng)。在車輛行駛過程中，該系統(tǒng)連續(xù)采集全景影像數(shù)據(jù)，并同步記錄各全景影像采集時車體的位置和姿態(tài)信息。

對上述序列全景影像成像范圍內的目標點[A]，設其在大地坐標系下的絕對坐標為[（XMA，YMA，ZMA）]。為計算其在第[i]張序列全景影像上對應的像素坐標[a（uci，vci）]，需要經過一系列坐標轉換：大地坐標系（M系）[→]à載體坐標系（B系）[→]à全景球體坐標系（S系）[→]à全景像素坐標系（P系），如圖1所示。

目標點[A（XMA，YMA，ZMA）]在第[i]張序列全景影像對應像素坐標的計算過程，以如下兩步完成。

1.1 計算全景球在大地坐標系M中的坐標和姿態(tài)

1.1.1 計算全景球體中心S在大地坐標系M中的位置，見式（1）。

[XMSYMSZMS=XMgYMgZMg+RMBXBSYBSZBS]? ? ?（1）

式中：[[XMgYMgZMg]] 為車載POS系統(tǒng)記錄的成像瞬間車體在大地坐標系中的坐標值；[RMB]為載體坐標系B到大地坐標系M的旋轉矩陣（可通過車載POS系統(tǒng)記錄的成像瞬間車體姿態(tài)角獲得）；[[XBSYBSZBS]]為全景球成像中心S在載體坐標系B中的坐標（可通過事先高精度檢校獲得）。

1.1.2? 計算大地坐標系M到全景球體坐標系S的旋轉矩陣，見式（2）。

[RSM=RBM×RSB]? （2）

式中：[RBM]為大地坐標系M到載體坐標系B的旋轉矩陣（可通過車載POS記錄的成像瞬間車體姿態(tài)角獲得）；[RSB]為載體坐標系B到全景球體坐標系S的旋轉矩陣（可通過事先高精度檢校獲得）。

1.2 計算點A在全景影像上的對應點a的像素坐標

1.2.1 計算點A在全景球體坐標系S中的坐標。對大地坐標系下的目標點[A（XMA，YMA，ZMA）]，其在全景球體坐標系中的位置及成像關系，如圖2所示。

目標點[A（XMA，YMA，ZMA）]在以全景成像中心S為原點的空間直角坐標系中的坐標，見式（3）。

[XSAYSAZSA=RSM×（XMAYMAZMA-XMSYMSZMS）]? （3）

式中：[[XMAYMAZMA]]為點A在大地坐標系下的坐標值；[[XMSYMSZMS]]為全景球中心S在大地坐標系M中的位置；[RSM]為大地坐標系M到全景球體坐標系S的旋轉矩陣。

獲得點A在全景空間直角坐標系中的坐標后，需將點A投影至單位全景球面上，其對應的投影點A'的位置可以通過與X軸的夾角[φ]、與XSY平面的夾角[θ]來表示，見式（4）。

[φ=arccosXSA（XSA）2+（YSA）2θ=arcsinZSA（XSA）2+（YSA）2+（ZSA）2]? （4）

式中：[[XSAYSAZSA]]為目標點A在以全景成像中心S為原點的空間直角坐標系中的坐標。

1.2.2 計算點A在全景像素坐標系P中的坐標。由于全景球為一個三維球面，無法以圖片的形式直接存儲在計算機中，在實際存儲過程中，需要對其進行降維處理，轉化成便于存儲的二維圖片［18-19］，如圖3所示。

全景球上的任一點A'，其在全景圖像中對應的像素坐標，見式（5）。

[uc=imgW2+φ×imgW2πvc=imgH2-θ×imgHπ] （5）

式中：[imgW]、[imgH]分別表示全景影像寬度、高度；[φ]、[θ]表示A'在全景球體坐標系S中的位置。

2 目標絕對位置優(yōu)化求解

2.1 目標初始位置估計

車輛行駛過程中連續(xù)采集的全景影像，通常各相鄰影像間具有較大重疊度，即對于某觀測目標點A，可在多張連續(xù)序列全景影像上被觀測到。設點A在N張序列全景影像上可清晰成像，通過POS系統(tǒng)記錄的各全景影像拍攝瞬間車體位置分別為[（X1 Y1 Z1）、（X2 Y2 Z2）…（XN YN ZN）]，則點A在大地坐標系中的初始位置[A（XMA，YMA，ZMA）]可通過將各個成像瞬間的車體位置取平均值的方式粗略估計，見式（6）。

[XMAYMAZMA=（X1+X2+…+XN）/N（Y1+Y2+…+YN）/N（Z1+Z2+…+ZN）/N] （6）

2.2 LM優(yōu)化算法

由POS系統(tǒng)記錄的車體位置按照公式（6）求出目標絕對位置的初值后，再利用公式（5）計算其分別在N張序列全景影像上的像素坐標，以在N張影像上計算得到的像素坐標與實際像素坐標之間差值的平方和最小來構建目標函數(shù)，見式（7）。

[F（X）=f（XMA，YMA，ZMA）=i=1N（uci-ui）2+（vci-vi）2] （7）

式中：[（uci，vci）]為第[i]張影像上目標點A的計算像素坐標，可通過公式（5）表達為關于點A在大地坐標系下的坐標值[（XMA，YMA，ZMA）]的函數(shù)；[（ui，vi）]分別為第[i]張影像上目標點A的實際像素坐標。

針對這一非線性目標函數(shù)的尋優(yōu)問題，采用對初值不敏感且收斂速度較快的非線性優(yōu)化算法（Levenberg-Marquardt，LM）。該算法集成了高斯牛頓法和梯度下降法兩種算法的優(yōu)點，通過控制改變阻尼因子變量的值，調節(jié)每次算法迭代的步長，從而有效提升迭代優(yōu)化效率，實現(xiàn)對目標函數(shù)最小二乘法的優(yōu)化。設[Xk]為第[k]次迭代求得的點A坐標，則對式（7）LM算法的步長，見式（8）。

[dk=-[J（Xk）TJ（Xk）+λkI]-1J（Xk）TF（Xk）]? （8）

式中：[J（Xk）]為目標函數(shù)的雅可比矩陣；[F（Xk）]為目標函數(shù)的值；[I]為單位矩陣；[λk]為阻尼因子。

將式（6）獲得的點A粗略坐標作為初值，利用LM算法進行迭代計算，算法步驟［20］如下。

①輸入初值[X0]，初始阻尼因子[λk=0.01]，初始迭代次數(shù)[k=0]，終止誤差[ε=1×10-8]；

②計算[F（Xk）]、[J（Xk）]；

③計算步長[dk]，求解[Xk+1=Xk+dk]、[F（Xk+1）]、[J（Xk+1）]；

④若[F（Xk+1）≥F（Xk）]，則令[k=k+1]，[λk=10λk]，轉入步驟③；

⑤若[F（Xk+1）

⑥若[F（Xk+1）

3 實驗分析

為驗證上述方法的有效性，本研究以一臺經過系統(tǒng)檢校的車載全景測量采集系統(tǒng)為數(shù)據(jù)獲取平臺，采集了一組外業(yè)全景影像數(shù)據(jù)及各影像采集瞬間的車體位置、姿態(tài)數(shù)據(jù)。在整個行車路線范圍內選取了5組序列影像，每組4張連續(xù)全景影像，相鄰影像間采集間隔約10 m。

在每組序列影像拍攝范圍內分別選取一個目標點，按本研究的方法，依次進行初值獲取、坐標轉換和迭代優(yōu)化，獲取其大地坐標計算結果，并將計算結果與目標點的GNSS實地量測結果進行對比，結果見表1、表2。

4 結論

從上述結果可知，基于車載序列全景影像獲取目標的絕對位置，其結果與GNSS實測結果相比，平面平均點位誤差（絕對值）為0.111 m，平面中誤差為0.123 m，高程平均誤差（絕對值）為0.116 m，高程中誤差為0.118 m，符合《城市測量規(guī)范》（CJJ/T 8—2011）中的相關要求。上述結果證實了本研究提出的方法能夠有效獲得全景影像范圍內待測目標點的絕對坐標，從而為全景影像在城市部件普查、基礎交通設施測量等領域的應用提供了可能。

參考文獻：

［1］曹君，劉正華，洪勇，等.車載魚眼圖像的全景圖拼接誤差分析［J］.測繪科學，2016，41（7）：202-204，172.

［2］LI L，YAO J，XIE R P，et al.A unified framework for street-view panorama stitching［J］.Sensors，2016，17（1）：1-1.

［3］王志豪，侯輝嬌子，田震.實景測量在智慧城管三維可視化中的應用［J］.測繪通報，2020（S1）：268-270.

［4］成功.IP-S2車載移動測量系統(tǒng)在數(shù)字城管信息系統(tǒng)中的應用［J］.測繪與空間地理信息，2017，40（9）：109-113.

［5］張偉朋，姚佩超，李文博.車載移動測量系統(tǒng)在城市街道整治中的應用［J］.測繪通報，2021（S2）：264-266.

［6］LIU Y Z，CHEN M X，WANG M H，et al.An interpretable machine learning framework for measuring urban perceptions from panoramic street view images［J］.iScience，2023，26（3）：106132-106132.

［7］周長江，杜洪濤，李欣，等.車載移動測量系統(tǒng)在智慧城市建設中的應用研究［J］.城市勘測，2023（2）：80-84.

［8］施并招，呂威.智慧城市街區(qū)虛擬全景影像三維快速重建研究［J］.計算機仿真，2021，38（7）：350-354.

［9］葛朋祥，王歡慶，朱奕磊，等.基于平面鏡成像的單相機數(shù)字圖像相關三維全景測量［J］.中國激光，2022，49（9）：92-100.

［10］凌家曜，鐘平，吳靖，等.全景相機與PTZ相機聯(lián)動監(jiān)控系統(tǒng)及位置關聯(lián)模型［J］.計算機應用與軟件，2021，38（3）：202-209.

［11］劉昱謙.基于雙目魚眼鏡頭的全景成像及三維測量算法研究［D］.成都：電子科技大學，2021.

［12］郭偉青.基于鏡面成像技術的單目全景立體感知三維重構技術研究［D］.杭州：浙江工業(yè)大學，2019.

［13］王啟超，張維光，任永平.基于全景相機的3D坐標測量方法［J］.電子測量技術，2017，40（12）：203-208.

［14］梅文勝，胡帥朋，李謀思，等.基于普通數(shù)碼相機的旋轉全景攝影測量方法［J］.武漢大學學報（信息科學版），2017，42（2）：243-249.

［15］LI Y R，ZHAO D，MA X Y，et al.Panoramic digital image correlation for 360-deg full-field displacement measurement［J］.Applied Sciences，2023，13（3）：2019-2019.

［16］ZHU K Y，PAN B.Panoramic/dual-surface digital image correlation measurement using a single camera［J］.Sensors，2022，22（9）：3266-3266.

［17］JIANG S，WANG Y J，ZHANG J，et al.Full-field deformation measurement of structural nodes based on panoramic camera and deep learning-based tracking method［J］.Computers in Industry，2023，146.

［18］曹君，洪勇.車載魚眼相機的間接法全景影像拼接［J］.地理空間信息，2016，14（10）：73-74，77，5.

［19］何林飛，朱煜，林家駿，等.基于球面空間匹配的雙目魚眼全景圖像生成［J］.計算機應用與軟件，2020，37（2）：166-170，239.

［20］李國民，宿夢瑤，朱代先.光束平差法中的一種改進LM算法［J］.西安科技大學學報，2022，42（1）：152-159.

收稿日期：2023-09-14

基金項目：湖北省教育廳科學研究計劃項目（B2020425）；武漢市知識創(chuàng)新專項曙光計劃項目（2023020201020480）。

作者簡介：曹君（1987—），女，碩士，講師，研究方向：地理信息分析與應用。