淺談SLAM同步定位構(gòu)圖及多普勒3D掃描技術(shù)與視覺智能產(chǎn)品的有效結(jié)合

文|浙江舜宇智能光學(xué)技術(shù)有限公司 嚴(yán)建偉

現(xiàn)代智能化產(chǎn)品不斷涌現(xiàn)，SALM同步定位構(gòu)圖、DOPPLER多普勒3D掃描技術(shù)廣泛應(yīng)用于視覺產(chǎn)品的結(jié)合， 成為新一代人工智能產(chǎn)品，本文著重介紹了相關(guān)原理，以及實(shí)際產(chǎn)品的發(fā)展、研發(fā)和生產(chǎn)過程，并展望了該技術(shù)未來的發(fā)展情況。

一、概述

1、SLAM（Simultaneous localization and mapping）同步定位構(gòu)圖技術(shù)起源

該技術(shù)來源于美軍的潛水艇的深水定位測試技術(shù)，在目前產(chǎn)品應(yīng)用中，是同步定位按裝在智能機(jī)器人上視覺相機(jī)系統(tǒng)，實(shí)時記錄視覺相機(jī)系統(tǒng)的行走軌跡及周邊場景，構(gòu)建相應(yīng)場景地圖。SFM（Structure from motion）三維重建，是一種三維重建的方法，用于從motion中實(shí)現(xiàn)3D重建。也就是從時間系列的2D圖像中推算3D信息，從運(yùn)動中恢復(fù)結(jié)構(gòu)如圖1所示。

圖1 三維重建圖

2、多普勒3D掃描系統(tǒng)簡述

該系統(tǒng)是采用多臺（通常為3臺）獨(dú)立高精度激光干涉儀，在目標(biāo)掃描過程中，三路激光同時照射同一目標(biāo)位置，通過終端計(jì)算機(jī)的軟件控制，整合多區(qū)域掃描三維數(shù)據(jù)，輸出三維圖形。

3、原理簡介

（1）多普勒激光干涉儀

多普勒激光干涉儀，光路原理如圖2所示。

圖2 多普勒激光干涉儀光路原理

高精密激光干涉儀內(nèi)的激光器發(fā)出的偏振光(設(shè)初始頻率為f0），經(jīng)分光鏡后分成兩路，一路為測量光，一路為參考光。參考光通過布拉格聲光調(diào)制器具頻移為（f），測量光聚焦到被測物體表面，物體運(yùn)動引起測量光多普勒頻移（f '=2v/λ）。光路系統(tǒng)收集反射光并與參考光匯聚在傳感器上，兩束光同向，有固定頻差的光在傳感器表面產(chǎn)生了干涉，干涉信號的頻率為f0+f+f '，攜帶了被測物體的運(yùn)動信息，系統(tǒng)里的信號處理器將頻率信號轉(zhuǎn)換為物體運(yùn)動的速度和位移信號。

（2）多普勒效應(yīng)簡述

多普勒效應(yīng)波在傳播過程中，其頻率隨波源、觀察者位置之間的相對運(yùn)動而發(fā)生變化。即當(dāng)光照射到運(yùn)動物體表面時，由于物體運(yùn)動，使得從物體表面散射的光的頻率發(fā)生變化。該頻率變化值與物體運(yùn)動的速度、方向、波長以及入射光的方向有關(guān)，按固定的數(shù)學(xué)關(guān)系存在，如圖3所示。

圖3 多普勒效應(yīng)數(shù)學(xué)關(guān)系

（3）光外差干涉原理

光外差干涉即當(dāng)不同頻率的兩束相干光同時投射到光電探測器光敏面上時產(chǎn)生干涉，通過光電轉(zhuǎn)換的平方律效應(yīng)，得到兩束相干光之間的頻差，即多普勒頻移，其余光波頻率信息被濾掉，如圖4所示。

圖4 光外差干涉原理

二、SLAM 同步定位構(gòu)圖技術(shù)與視覺產(chǎn)品的有效組合

1、SLAM 同步定位構(gòu)圖技術(shù)與視覺產(chǎn)品的組合

當(dāng)某種移動設(shè)備（如機(jī)器人/無人機(jī)、汽車、移動終端產(chǎn)品等）在運(yùn)動過程中通過相關(guān)傳感器（如激光雷達(dá)、攝像頭等），觀測自身在三維空間中的定位位置和姿態(tài)。根據(jù)自身位置進(jìn)行增量式的三維地圖構(gòu)建，達(dá)到同時定位和地圖構(gòu)建的目的，這就是SLAM同步定位構(gòu)圖的過程。目前以激光雷達(dá)、雙目相機(jī)和結(jié)構(gòu)光/TOF相機(jī)為代表的三維傳感器硬件不斷更新迭代，迅猛發(fā)展。國內(nèi)外已經(jīng)形成了該產(chǎn)業(yè)完整的上下游產(chǎn)業(yè)鏈，三維視覺傳感器也逐漸走入大眾生活。

2、視覺產(chǎn)品分類

常用SLAM 視覺傳感器如圖5～10所示。

圖5 單目相機(jī)

圖6 雙目相機(jī)

圖 7 RGB-D 相機(jī)

圖 8 全景相機(jī)

圖9 D-TOF 激光雷達(dá)

圖10 激光雷達(dá)

3、視覺產(chǎn)品視差校正、深度重建

常用SLAM 視覺傳感器采用雙目結(jié)或結(jié)構(gòu)光相機(jī)，由于存在視差，所以涉及深度重建，雙目深度重建利用三角測距法，計(jì)算被測物體到相機(jī)的距離。也就是從兩個相機(jī)同時觀察同一物體，被觀測物體在兩個相機(jī)中拍攝到的圖像中的位置會有一定位置差。如左、右眼看放在鼻尖前的手指位置會有一個錯位的效果，這個位置差即稱為視差。被攝物離相機(jī)越近，視差就越大，距離越遠(yuǎn)，視差就越小。在已知兩個相機(jī)間距等相對位置關(guān)系的情況下，即可通過相似三角形的原理計(jì)算出被攝物到相機(jī)的距離，如圖11所示。

圖11 三角測距法

采用歸一化8點(diǎn)算法，基本矩陣由下述方程定義按下列公式（1）、（2）運(yùn)算完成，其中x?x '是兩幅圖像的任意一對匹配點(diǎn)，配準(zhǔn)重建。

4. 三維重建

當(dāng)一束激光照射到物體表面，反射激光里含有方位、距離等信息。若將激光束按所設(shè)定的軌跡掃描， 可收集到反射的激光點(diǎn)信息， 細(xì)密掃描，將得到大量的激光點(diǎn)，形成激光點(diǎn)云如圖12所示。

圖12 激光點(diǎn)云圖

在逆向工程中常通過測量儀器得到的產(chǎn)品外觀表面的點(diǎn)數(shù)據(jù)集合也稱之為點(diǎn)云，通常使用三維坐標(biāo)測量機(jī)所得到的點(diǎn)數(shù)量比較少，點(diǎn)與點(diǎn)的間距也比較大，叫稀疏點(diǎn)云。而使用三維激光掃描儀或照相式掃描儀得到的點(diǎn)云，點(diǎn)數(shù)量比較大并且比較密集，稱為密集點(diǎn)云。點(diǎn)云是在和目標(biāo)表面特性的海量點(diǎn)集合，為完善三維圖像的處理，目前采用ICP算法完成重建。即分別在相匹配的目標(biāo)點(diǎn)云P和源點(diǎn)云中，根據(jù)規(guī)定的約束條件，找出最鄰近的點(diǎn)（pi,qi）,計(jì)算出相應(yīng)的R、t參數(shù)值，使誤差值最小，誤差函數(shù)如公式（3）。

pi與對應(yīng)點(diǎn)集qi的平均距離，如公式（4）所示。

圖 13 配準(zhǔn)前

圖 14 配準(zhǔn)后

如d小于給定的域值或大于設(shè)定的迭代次數(shù)，即完善重建。其中n為最鄰近點(diǎn)的個數(shù)，pi為目標(biāo)點(diǎn)云P中一點(diǎn)，qi為源點(diǎn)云Q中與pi相應(yīng)最近的一點(diǎn)，R為旋轉(zhuǎn)矩陣，t為平移向量，點(diǎn)云校準(zhǔn)效果如圖13～16所示。

圖15 配準(zhǔn)前

圖16 配準(zhǔn)后

圖17 地形測繪

5、點(diǎn)云圖的實(shí)際應(yīng)用

完善的原始點(diǎn)云生成效果，已應(yīng)用于地形測繪,如圖17所示，電力巡查，如圖18所示。應(yīng)用于容量計(jì)量領(lǐng)域如圖19所示，逆向設(shè)計(jì)領(lǐng)域如圖20所示。

圖18 電力巡查

圖19 容量計(jì)量

圖20 逆向設(shè)計(jì)領(lǐng)域

6、三維重建的相關(guān)示意圖

圖21所示示意圖，能充分表達(dá)三維場景與二維圖像，三維重建的相五關(guān)系。

圖21 三維重建相五關(guān)系

三、多普勒3D掃描技術(shù)與視覺智能產(chǎn)品組合

3D掃描技術(shù)又稱為實(shí)景復(fù)制技術(shù)，是在不接觸物體的情況下，通過高速激光掃描測量的方法，大面積高分辨率地快速獲取被測對象表面的三維坐標(biāo)數(shù)據(jù)，是一種全新的快速建立物體三維影像模型的技術(shù)手段。當(dāng)三維激光多普勒技術(shù)與視覺多點(diǎn)三維技術(shù)有效結(jié)合后，實(shí)現(xiàn)了跨尺度非接觸測量，在實(shí)際測量中，當(dāng)不同角度發(fā)出的三束激光同時聚焦于被測物體的同一個點(diǎn)。由于物體振動產(chǎn)生了激光的多普勒效應(yīng)，三束反射光頻率會發(fā)生相應(yīng)變化，當(dāng)被各自光學(xué)頭所接收，傳回系統(tǒng)內(nèi)部后。將其轉(zhuǎn)換成多普勒頻移信號，系統(tǒng)信號處理器將三分量的多普勒頻移信號轉(zhuǎn)換為對應(yīng)的三分量物體振動速度和位移信息，通過三維振動分析算法還原為被測點(diǎn)的高精度三維振動信息。在整機(jī)系統(tǒng)配備的視覺攝像系統(tǒng)，軟件分析系統(tǒng)支持下，能有效實(shí)現(xiàn)人機(jī)互動，實(shí)現(xiàn)二維、三維動畫顯示及數(shù)據(jù)分析等功能，目前3D掃描技術(shù)與視覺智能產(chǎn)品組合在機(jī)械制造領(lǐng)域已有著廣闊的應(yīng)用前景。如在飛機(jī)船舶零部件逆向設(shè)計(jì)中，根據(jù)掃描數(shù)據(jù)，能有效開展進(jìn)行二次開發(fā)，設(shè)計(jì)改良、降低產(chǎn)品成本。也逐步應(yīng)用于機(jī)械、模具制造、航天航空、數(shù)字城市、軌道交通、容量計(jì)量、無人機(jī)、風(fēng)電水電、汽車制造、建筑文物考古、影視、虛擬現(xiàn)實(shí)、家裝、服務(wù)和工業(yè)品等眾多領(lǐng)域。

四、SLAM及多普勒3D掃描技術(shù)與視覺智能產(chǎn)品組合發(fā)展的未來

從目前國內(nèi)外智能化產(chǎn)品發(fā)展的趨勢看，多源融合是SLAM及多普勒3D掃描技術(shù)與視覺智能產(chǎn)品組合發(fā)展的未來，多源融合技術(shù)基本分為二大層面。第一個層面是多傳感器的融合，即與各類視覺化產(chǎn)品的功能化有效組合。第二個層面是多特征基元的融合，通過對特征點(diǎn)、線段及灰度信息等特征進(jìn)行提取，得到多個特征基元。當(dāng)融合視覺產(chǎn)品，同時使用激光掃描技術(shù)得到三維點(diǎn)云的線特征、面特征以及正態(tài)分布特征后，將得到有效的圖像和點(diǎn)云信息。進(jìn)一步將匯集的圖像和點(diǎn)云信息直接輸入到神經(jīng)網(wǎng)絡(luò)，就能夠把幾何和語義融合起來，這將是SLAM同步定位構(gòu)圖及多普勒3D掃描技術(shù)與視覺智能產(chǎn)品相結(jié)合最有前景的模式之一。