車載激光點云和光學影像的配準方法研究

宋恒嘉

(浙江省第二測繪院，浙江杭州310012)

一、引 言

隨著三維城市建模向精細化、多尺度方向的發展，人們對街道立面的三維空間數據的需求也越來越大，現有的近景攝影測量系統由于自身的局限性，已經越來越無法滿足當前三維數字城市的發展需求。而集成激光和相機的車載移動測量系統，為三維城市建模提供了一種新的解決方案。在實際測量中，激光掃描儀可以快速、準確地獲取目標表面密集的三維空間坐標，而光學影像則包含了豐富的語義信息，激光點云和光學影像對目標的描述有諸多的互補性。因此，融合車載激光點云和光學影像對于城市建模、目標識別、虛擬現實等領域的應用大有裨益，而配準是車載激光點云與光學影像融合需要解決的一個基本問題。

目前，國內外已有一些學者對激光點云和影像的配準進行了研究。2000年，M.LEVOY等在大型雕塑三維重建中，將相機和激光掃描儀固定在一起，對激光點云和影像的配準進行了研究，但是在光線不好或者存在死角時需要重新拍照［1］。2005年，A.HABIB等基于直線特征對激光點云和光學影像的配準進行了研究，但配準過程中直線特征的提取、相關特征的定義是通過手動完成的，自動化程度不高［2］。2011年，LIU Lingyun等針對城市環境對激光點云和影像的配準進行了研究［3］。由于城市中的建筑物存在大量的線性特征，他們提出了一種基于二維和三維線性信息的配準算法，但是在配準之前需要將點云旋轉一定的角度以和光學影像大致相似。國內研究相對來說起步較晚一些，但也已經取得了一些令人欣慰的成果:2007年，鄧非等提出了一種結合激光掃描儀和數碼相機的古建筑三維重建方案，但該方法計算量大，并且需要大量的人工干預［4］;2008年，張愛武等研究了基于激光和光學影像的室外場景三維重建，但是在試驗中，通過硬標定的方式，將相機固定在掃描儀的正上方，限制了使用的靈活性［5］。

雖然激光點云和光學影像配準的研究已經取得了一定的進展，但其主要集中在地面固定站和航空機載領域，其方法在車載激光點云和影像的配準領域并不完全適用。

二、基于直接線性變換的車載激光點云和影像配準

車載移動測量系統采集數據之后，即可以獲取一系列影像數據，這些影像是沒有經過糾正的序列影像，因此在試驗前需要通過雙線性插值進行影像重采樣。

直接線性變換解法是建立像點坐標儀坐標和相應物點物方空間坐標之間直接線性關系的一種算法［6］。它是從共線方程演繹出來的，通過對共線方程進行等價變換，可得到下面的表達式

對式(1)分子分母同時乘以l9X+l10Y+l11Z+1，得

式(2)是關于未知數的線性關系式，有11個未知數，通過人機交互的方式選擇至少6對控制點，并列出至少11個方程進行最小二乘平差求解，求得各參數li，方程如下

求得各未知數后，將其代入直接線性變換的基本公式中，確定三維激光點云與光學圖像之間的映射關系，并生成對應的三維彩色激光點云。

三、車載激光點云和序列影像的配準

1.基于SIFT算子的圖像角點提取

SIFT算子是一種基于尺度空間的，對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子［7-8］。對每個關鍵點使用16個種子點來描述，最終可以形成128維的SIFT特征向量。當影像的SIFT特征向量生成后，采用關鍵點特征向量的歐氏距離作為影像中關鍵點相似性判定的度量方法。

2.基于RANSAC的粗差點剔除

RANSAC是一種根據一組包含異常數據的樣本數據集，計算出數據的數學模型參數并得到有效樣本數據的算法［9］。基于RANSAC算法，可以得到經過粗差剔除后的同名點。遍歷所有剩余的影像，尋找對應的同名點，并將其結果作為車載序列影像光束法平差的初值。

3.車載序列影像光束法平差

在車載序列影像光束法平差中，首先采用基于逐點消元、法化的方法建立法方程，然后采用共軛梯度法計算大型稀疏矩陣。以POS提供的外方位元素和相片經SIFT算子提取的同名點作為光束法平差的初值，經光束法平差求出影像之間的相對模型。由于GPS提供了攝影瞬間攝影中心的大地坐標，可以求出不同相片對應的攝影中心準確的相對位置，因此可以求出一個比例因子，從而消除影像之間相對模型的尺度影響。

4.生成密集點云

本文基于Y.FURUKAWA等提出的PMVS算法將序列影像生成密集點云［10］。其基本思路是:首先在所有影像上提取Harris和DOG特征點;然后利用特征匹配進行重建，得到種子點;最后利用種子點向周圍擴散得到稠密的空間有向點云或面片。PMVS算法主要分為3步:特征點匹配、擴散、過濾，其中擴散是其核心。以光束法平差得到的相片外方位元素作為PMVS算法的初值，經過特征點匹配、擴散和過濾，生成整個場景的密集點云。由于外方位元素消除了尺度因素，因此得到的密集點云也消除了尺度因素的影響，密集點云和激光點云之間只存在旋轉和平移的轉換關系。

5.密集點云和激光點云的匹配

密集點云和激光點云匹配采用了經典的ICP算法［11］。首先通過人機交互的方式獲得一定的初值，然后借助于最鄰近迭代算法，將密集點云和激光點云進行精確配準，并求出平移和旋轉參數。

6.生成三維彩色點云

通過將密集點云和激光點云進行ICP配準，可以得到兩份點云之間的平移和旋轉參數，并由此可以得到每張相片精確的外方位元素。

因為一張影像不可能對應所有的激光點云數據，因此需要對激光點云進行分塊處理。分塊原則是根據點云距離相片攝影中心的遠近程度。求得每塊點云和影像之間的對應關系，依據共線方程將影像上的顏色信息賦給點云，并生成一系列分段的彩色點云，最后對點云進行合成，即可生成對應的彩色點云。

四、配準方法實現

本文試驗是在Windows 7操作系統上開發的，選用 Microsoft VC++6.0作為開發平臺，以OpenCV和OpenGL作為開發工具。采用的試驗數據由Optech公司提供，數據采集地區為意大利的一個小鎮，如圖1、圖2所示。

圖1 原始序列影像數據

圖2 附有強度信息的原始激光點云數據

程序包括了“文件”、“基于單張影像的DLT配準”、“基于序列影像的配準”、“圖像操作”、“點云操作”、“查看”、“幫助”7個菜單。

交互式選擇點云和影像中對應的同名點，建立直線線性變換方程，解算出11個參數，并得到對應的三維彩色點云，如圖3、圖4所示。

圖3 交互式選擇同名點

圖4 生成彩色點云

為了檢驗直接線性變換算法的有效性，從點云中人工提取部分特征，將附有強度信息的激光點云投影到光學影像上。從點云投影后的疊加顯示結果可以看出直接線性變換方法的有效性和可取性，如圖5所示。

圖5 附有強度信息的激光點云投影到光學影像上

對影像序列進行SIFT角點提取、影像匹配、光束法平差、密集點云生成、密集點云和激光點云配準等一系列試驗操作，最終得到了試驗區域的彩色點云。從圖6可以看出該算法的有效性。

圖6 試驗場景地區生成的彩色點云

五、結束語

本文針對車載激光點云和影像配準的問題提出了解決方法，基于單張影像設計了利用直接線性變換的算法，基于序列影像設計了利用SIFT角點提取、影像匹配、光束法平差、密集點云生成、ICP配準的算法;以VC++6.0、OpenGL庫函數、OpenCV 庫函數為工具，實現了基于單張影像和序列影像的點云和影像配準算法;利用Optech公司提供的車載激光點云和車載序列影像數據進行了試驗，驗證了算法的有效性。

［1］LEVOY M，PULLI K，CURLESS B，et al.The Digital Michelangelo Project:3D Scanning of Large Statues［C］∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques.New York:ACM，2000:131-144.

［2］HABIB A，GHANMA M，MORGAN M，et al.Photogrammetric and LiDAR Data Registration Using Linear Features［J］.Photogrammetric Engineer and Remote Sensing，2005，71(6):699-707.

［3］LIU Lingyun，STAMOSL.A Systematic Approach for 2D-image to 3D-range Registration in Urban Environments［J］.Computer Vision and Image Understanding，2012，116(1):25-37.

［4］鄧非，張祖勛，張劍清.利用激光掃描和數碼相機進行古建筑三維重建［J］.測繪科學，2007，32(2):29-30.

［5］劉江濤，張愛武，臧克.三維數字化技術在考古中的應用［J］.中國圖象圖形學報，2008，13(4):654-657.

［6］馮文灝.近景攝影測量——物體外形與運動狀態的攝影法測定［M］.武漢:武漢大學出版社，2002:124-125.

［7］LOWE D G.Object Recognition from Local Scale-invariant Features［C］∥Proceedings of the ICCV'qq.Washington DC:IEEE，1999:1150-1157.

［8］LOWE D G.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60(2):91-110.

［9］FISCHLER M A，BOLLESR C.Random Sample Consensus:a Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography［J］.Communications of the ACM，1981，24(6):381-395.

［10］FURUKAWA Y，PONCE J.Accurate，Dense，and Robust Multi-View Stereopsis［C］∥Proceedings of CVPR'07.Minneapolis:［s.n.］，2007.

［11］BESL PJ，MCKAY N D.A Method for Registration of 3-D Shapes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(2):239-256.