基于連續全景影像航向與俯仰角速度的計算與應用

向澤君，羅再謙，李 波

(重慶市勘測院，重慶400020)

基于連續全景影像航向與俯仰角速度的計算與應用

向澤君，羅再謙，李 波

(重慶市勘測院，重慶400020)

連續全景影像采集平臺常常要集成陀螺儀或慣性導航單元等昂貴設備，造成硬件成本高、集成復雜等弊病。提出一種基于連續全景影像的航向和俯仰角速度的軟件計算方法，不需要陀螺儀或慣性導航單元等硬件就可以計算航向和俯仰角速度，并成功應用在連續全景影像的坐標校正與圖像防抖中。該方法避免了使用硬件設備，簡化了全景采集平臺的設計，降低了成本，取得了理想的效果。

連續全景影像;SoftIMU;航向角速度;俯仰角速度

一、引 言

全景影像，即360°無死角的圖片。連續全景影像是由采集時間間隔相等的多張全景影像按時間順序排序的視頻全景。連續全景影像采集平臺由全景采集鏡頭、云臺支架、運載車輛、附屬設備構成。運載車輛在全景采集過程中的航向角速度與俯仰角速度對全景數據的應用至關重要［1］。

目前，眾所周知的連續全景影像采集平臺大都使用陀螺儀或者慣性導航單元(inertial measurement unit，IMU)及輔助電子設備來獲取航向與俯仰角速度數據。大多數連續全景影像采集平臺都集成了全景攝像機、陀螺儀或IMU、GPS、車速傳感器，以及連接這些傳感器的電子設備。它在采集過程中，把GPS獲得的經緯度坐標，陀螺儀或IMU獲得的角速度，以及汽車速度通過一定算法，求解出采集平臺的運行軌跡。這種技術方案價格昂貴，并且設計復雜［2］。

本文通過跟蹤連續全景影像中的特征點坐標，利用連續同名點的水平及垂直位移與全景圖片的幾何關系，把像素位移轉換為角度的旋轉，最終計算出全景采集平臺的航向與俯仰角速度。

二、問題與思路

連續全景影像的采集系統一般由視頻采集設備、GPS接收器、移動工作站及配套設備組成。車輛頂部架設全景視頻采集設備和GPS接收器，在車輛行駛過程中采集道路周邊360°的全景視頻和坐標。采集中，一個場景由多張圖片和一個坐標組成，經圖像拼接與融合后得到球面投影的全景幀(如圖1所示)。連續采集的全景幀經過視頻處理后，就得到連續全景影像數據，其中每一幀都對應一個坐標。

圖1 球面投影的全景影像

在實踐中，因受城市樓宇與樹木的遮擋，GPS設備采集的坐標并不準確，而視頻設備的采集頻率要比GPS采集頻率高很多。因此，不可能針對每一幀都獲得一個高精度的坐標。一般是通過加裝IMU等硬件設備來獲得每一幀的坐標或者姿態。但IMU設備及其輔助電子設備會增加整個采集系統的硬件成本［3］。

連續全景影像采集過程中，因采集車輛正前方或正后方的物體距離攝像機較遠，汽車的直線運動不會引起這些景物在連續兩個全景幀中同名像素的坐標變化，而其轉向或顛簸運動會引起俯仰角變化，從而引起同名像素的坐標變化。根據這一現象，可以通過跟蹤連續全景影像正前方或正后方同名像素的坐標變化來解算連續影像的航向與俯仰角度變化［4］。

三、算法與分析

1.算法步驟

根據以上原理，本文提出跟蹤連續全景影像中的同名像素點坐標的變化來解算運載平臺的航向與俯仰角速度，算法由以下步驟組成。

1)如圖2所示，車載全景影像采集平臺間隔地采集全景影像，構成全景影像圖片。其中，采集的間隔時間為Δt，且設定相鄰幀第i幀、第i+1幀采集到全景影像圖片分別為Fi、Fi+1，所述全景影像圖片的寬度為w像素，高度為h像素。當選用球面投影模型時，高度h為寬度w的二分之一，即h=。

圖2 全景采集示意圖

2)如圖3所示，采用三維紋理映射技術將所述全景影像圖片中的全景影像紋理映射至投影模型上。

3)利用三維技術，在投影模型的中心點設置攝像機，該攝像機與運載車輛行駛的正前方或者正后方在一條直線上，獲得水平和垂直視野范圍β°內的區域影像。設定所述區域影像的坐標變化與所述運載車輛的直線運動關系無關，利用三維中的渲染到紋理技術將所述投影模型上的區域影像渲染到區域影像圖片上(如圖3所示)。其中，設定相鄰幀第i幀和第i+1幀采集到的區域影像圖片分別為Pi、Pi+1，所述區域影像圖片的寬度為wp像素，高度為hp像素。寬度wp等于高度hp，即wp=hp=，視野范圍 β的取值范圍為10°～30°。

4)以所述區域影像圖片的中心點為原點建立坐標系統，如圖4所示。圖4中水平向右為X軸正向，垂直向上為Y軸正向，且計算第i幀所述區域影像圖片在原點附近的任意像素點(u，v)的特征向量。

5)計算第i+1幀所述區域影像圖片的小區域U={(x，y)|－c≤x－u≤c，－c≤y－v≤c}中所有像素點的特征向量集合(x，y)∈U}，其中，x、y均為整數。

圖3 區域影像的獲取

圖4 區域影像圖片的坐標系

7)根據投影模型單位寬度對應的角度，計算所述車載全景影像采集平臺第i+1幀相對于第i幀的航向偏轉角度和俯仰偏轉角度。航向偏轉角度的計算公式為dx=×(a－u);俯仰偏轉角度的i+1計算公式為dy=×(b－v)。i+1

8)航向偏轉角度/Δt、俯仰偏轉角度/Δt，即獲得第i+1幀相對于第i幀的航向角速度和俯仰角速度。其中，Δt為相鄰幀的間隔時間。

2.關鍵技術

(1)紋理映射與渲染到紋理

在計算全景正前方圖片Pi時，使用了計算機三維技術中的兩個關鍵技術。首先，把球面投影的全景幀還原為全景，關鍵是在三維場景中建立經緯三角形網，并指定每一個頂點在全景幀中的紋理坐標;然后把三維中的虛擬攝像機設置在全景球的中心，指定攝像機方向指向正前方，并設置攝像機的水平與垂直視角;最后使用渲染到紋理技術，把虛擬攝像機拍攝的圖片保存到Pi中。

(2)特征向量

特征向量是用來抽取像素點的特征，有多種技術方法。實際操作中，汽車正前方的圖像變化會非常多，使用傳統的圖片塊匹配算法準確性不高。在計算航向角速度時，本文使用如下方法來計算特征向量= (v0，v1，…，v2n)， 其中，vj=，0≤j≤2n為Pi中(u+j－n， v－k)像素的灰度值。本特征值定義實質上是以(u，v)為下底邊的中心，把一個矩形區域的像素按列累加求和，并把該矩形從左到右每一列對應的和組成一個向量。

使用以上兩種特征向量定義，其特征向量中蘊含了該點相當大區域內的特征信息，即使在圖像變化比較大的情況下，算法依然非常穩定。

(3)提高特征點匹配的準確性

上述算法中，只計算了相鄰兩幀之間的匹配特征點，但是無法保證該匹配點每次都精確匹配。筆者使用以下兩種方法來提高算法的穩定性。

1)連續兩幀之間計算多組匹配點，然后求平均值作為這兩幀之間的航向與俯仰變化角度。

2)在計算dxi，i－1(第i幀相對于i－1幀的航向偏移像素)時，考慮 dxi－1，i－2和 dxi，i－2，即 dxi= (dxi，i－1+dxi，i－2－dxi－1，i－2)/2。

3.誤差分析

當通過車載全景影像采集平臺前進方向區域影像圖片時，車載全景影像采集平臺向右轉向時，航向角速度為正，反之為負;車載全景影像采集平臺上坡時，俯仰角速度為正，反之為負。航向角速度和俯仰角速度的采樣率與連續全景影像幀率相同;最小分辨率受全景幀分辨率限制，當w=4096，β=22.5°時，使用球面投影時，最小分辨率為0.088°。

本算法有一個假設就是正前方景物距離攝像機足夠遠。只考慮航向時，平臺前進運動可以分解為直線前進、水平位移和轉向3個分解運動。直線前進運動不會造成正前方景物的水平像素位移［6］，如果攝像機采樣率為16幀/s，平臺以30 km/h(約每幀0.52 m)的速度前進，平臺最大轉向速度為30°/s(約每幀1.9°)，全景幀分辨率為4096像素× 2048像素，則每幀水平偏移最大0.52×sin(1.9°)= 0.017 m。對于距離攝像機 L≈0.017/sin(360/ 4096)≈12 m外的景物，當每幀水平位移0.017 m時，不會產生像素的偏移，顯然L＞12 m這個條件在絕大多數情況下都是滿足的，也就是在絕大多數情況下，只有平臺轉向造成了特征點像素的水平位移［7］。

四、算法應用

本課題開發的DPM-π軟件如圖6所示。使用計算出來的航向數據來對采集的GPS坐標進行校準，其基本方法是：

1)首先計算航向角速度數據。

圖6 算法應用

2)通過GPS插值計算每一幀的速度，并對速度濾波。

3)使用每一個GPS信號的HDOP過濾較高精度的GPS坐標，作為控制點。

4)通過控制點、航向角速度、速度恢復采集線路。

另外，在數據采集過程中，常常遇到路面顛簸的情況，造成采集的影像上下晃動嚴重。可以使用該算法中計算的俯仰角速度來解決這個問題，方法如下：

1)首先計算俯仰角速度，并且使用高通濾波器對俯仰角速度濾波，保留抖動嚴重的部分。

2)在播放連續實景影像時，把俯仰角速度積分，并把該積分角度增加到三維球的X軸上，從而抵消俯方向上的抖動。

五、結束語

為了降低車載全景影像采集平臺的硬件成本。本文提出使用軟件的方法來計算該平臺的航向與俯仰角速度。本方法的原理是在車載全景影像采集平臺的采集過程中，沿著運載車輛行駛方向的較小視野范圍內像素點的坐標變化與運載車輛直線運動關系很小，而與運載車輛轉向運動關系很大。本文給出了算法的具體步驟與關鍵技術，并定量分析了精度與誤差，最后列舉了坐標校正與圖像防抖兩個方面的算法應用。

［1］ 北京市測繪設計研究院.CJJ 8—1999城市測量規范［S］.北京：中國建筑工業出版社，1999.

［2］ 中華人民共和國國家質量監督檢驗檢疫總局.GB/T 18314—2009全球定位系統(GPS)測量規范［S］.北京：中國標準出版社，2009.

［3］ 國家技術監督局.GB/T 7929—1995可量測的實景影像［S］.北京：中國標準出版社，1995.

［4］ 中華人民共和國國家質量監督檢驗檢疫總局.GB/T 12979—2008近景攝影測量規范［S］.北京：中國標準出版社，2008.

［5］ 劉佳音，王忠立，賈云得.一種雙目立體視覺系統的誤差分析方法［J］.光學技術，2003(5)：29.

［6］ 于洪川，吳福朝.基于主動視覺的攝像機自標定方法［J］.機器人，1999(21)：1-7.

［7］ 顧峰華，高井祥，仇春平.近景攝影測量監測小變形體的誤差分析與精度評定［J］.礦山測量，2005(6)：2.

Continuous Panoramic Image Based Course and Pitch Rate Calculation and Application

XIANG Zejun，LUO Zaiqian，LI Bo

0494-0911(2012)09-0048-03

P237

B

2012-03-21

向澤君(1965—)，男，重慶萬州人，教授級高級工程師，主要研究方向為3S技術的研究和管理。