基于激光雷達及特征匹配的室內場景設計重建

谷曉龍,張文松

(1.石家莊職業技術學院,河北 石家莊 050081；2.石家莊鐵道大學,河北 石家莊 050081)

1 引 言

室內場景重建是采用虛擬現實技術結合采集到的建筑物信息,對室內場景建模的過程。室內場景重建主要由圖像獲取、攝像機標定、特征提取、立體匹配以及三維重建等五方面組成[1-3]。室內場景重建不僅可以設計出滿足人們需求的室內環境,還可讓用戶直觀地了解到設計師對室內場景的設計布局[4-5],幫助用戶提出建議,協助設計師去完善室內場景。激光雷達掃描技術通過向目標發射探測信號(激光束),經過適當處理獲得目標的相關信息,從而實現目標的探測及識別。由于室內場景中存在布局復雜及光照變化較大的問題,會導致圖像采集的準確性較差,影響室內場景重建的效果[6]。

相關領域學者對室內場景重建方法已經有了一定的研究,文獻[7]設計了基于雙視系統的室內三維場景重建方法,通過雙目立體匹配算法SGBM和RGB-D深度圖像實現點云三維重建,并利用ORB對采集到的信息實現快速特征點提取,結合迭代最近點實現室內場景的全景三維重建。但室內圖像重建后的覆蓋率較差,影響室內三維場景重建的效率。文獻[8]設計了基于RealSense的室內3D場景重建方法,采用RealSense攝像頭獲取數據信息,通過OpenVINO構建硬件平臺,增強了數據運算速度,結合ICP算法,縮小數據的運算量,優化了室內3D場景重建方法。但沒有對采集的圖片進行降噪處理,會導致采集到的圖像模糊不清,影響室內三維場景重建的精準性。

針對上述問題,設計了基于激光雷達掃描及關鍵點特征匹配的室內場景設計重建,通過Deleta-2B型激光雷達傳感器全方位測量并獲取室內圖像的三維點坐標信息,通過點云配準整合重合的數據集得到三維點云數據,利用主成分分析法對形狀特征進行投影,完成關鍵點特征匹配,提升采集場景的分辨率,保證場景采集的完整性；將尺度因子引入ICP算法,精確配準點云,通過配準的點云數據建立德洛內三角網,得出三維網格模型,重建室內場景,通過wallis濾波器變換目標某部位的平均灰度值以及方差,提升室內場景的視覺效果,實現室內場景的重建。

2 基于激光雷達掃描及關鍵點特征匹配的室內場景設計重建

采用Deleta-2B型二維激光雷達傳感器采集室內場景圖像,為提升采集圖像的分辨率,通過最小二乘擬合的濾波算法對圖像進行去噪,基于關鍵點特征匹配算法進行室內場景圖像關鍵點特征匹配,引入尺度因子精確配準多尺度的點云,實現室內場景圖像高效配準；

通過德洛內三角化算法處理室內場景圖像的點云數據,可以將混沌室內場景圖像的點云數據以網格的形式進行網格連接,實現室內場景圖像的高精度重構。通過wallis濾波器實現目標部位的平均灰度值以及方差變換,提升室內場景的光線分布規整性,提升室內場景重建的視覺效果。

2.1 基于激光雷達掃描的室內場景圖像配準

激光雷達單次投射僅可獲取待檢測對象某側的點云數據,重建室內場景圖像應構建三維室內模型,需要通過多角度掃描目標物體,將所有外部數據整合,確保待檢測對象的完整性。點云配準是將存在重合的數據集進行比對整合,調整不同視場所得三維信息至相同坐標系,獲取具有豐富完整信息的目標三維點云數據,得出點云之間的歐拉變換關系。

通過激光雷達掃描技術直接采集自然光條件下室內場景圖像的三維點坐標信息,利用反饋激光強度信號的差異識別出光束在所有層之間穿梭時其內部具有的關系。采用二維激光雷達傳感器采集室內場景圖像點云信息,選用Deleta-2B型激光雷達傳感器,其激光波長為780 nm,半徑范圍在0.2～8 m之間,能夠實現360°全方位測量。由于激光雷達采集到的室內場景圖像存在缺損、模糊等問題,需要對其展開處理,以便實現室內場景圖像噪聲的消除、空缺信息的補充[9]。根據激光雷達掃描室內場景圖像的類別以及所獲取的點特征,利用數字圖像的表示方法提取灰度室內場景圖像的灰度值,通過基于最小二乘擬合的濾波算法曲線擬合灰度值,實現室內場景圖像去噪,得到的直線方程為:

yi=axi+b

(1)

式中,i=1,2,…,m,m為測量點個數;a,b都表示待計算數值;a0,b0表示其估計值,測點坐標描述為(xi,yi)。

當室內各點反射率差異較大時,需要對采集數據分層處理,設a=a0+δa,b=b0+δb,δa、δb均為參數,自、因變量分別通過x、y描述,獲取分層后的誤差公式為:

(2)

數據分層后,根據最小二乘準則可得出:

(3)

則單位權重誤差為:

(4)

得到擬合時的直線公式:

xi=k1yi+k2(i=1,2,…,m)

(5)

通過基于最小二乘擬合的濾波算法可有效消除基于激光雷達掃描技術的室內場景圖像所存在的光照等方面的差異以及室內場景圖像的噪聲[10],并補充室內場景圖像的空缺信息。

通過激光雷達掃描室內N次得出N個視場點云數據,任意選取同一目標在不同視角下的兩組相鄰點云數據,設兩組點云中各采樣點為h,并以該點坐標為球心,以全部點云信息為球體內半徑r,利用局部表面矩陣對其進行描述[11-12],得到:

Lj=[xj,yj,zj]T(j=1,2,…,m)

(6)

在局部表面通過霍特林變換建立局部坐標系,將各局部表面矩陣變換至局部坐標系中并令其與所得兩個主軸方向對齊,曲線擬合變換后的局部表面矩陣所含數據,將所得擬合曲面進行n×n采樣并提取室內場景圖像的特征向量[13],基于其自身性質將其作為特征輸入,兩組形狀特征分別為Np、Nq。由于形狀特征的向量維數較高,導致內存占用量與時間耗費量大,所以需要通過主成分分析法降維兩組形狀特征,并在主成分分析子空間中對其進行投影,完成室內場景圖像的關鍵點特征匹配。形狀特征Np與Nq之間的誤差公式為:

er=arccos(Np(Nq)T)

(7)

其中,誤差分布區間為0～π/2,0與π/2分別代表兩組形狀特征向量完全相同與完全不同[14],在er的取值為最小的情況下其匹配情況為最佳。

為精確配準多尺度的點云,將尺度因子引入ICP算法,令目標、參考的點云相減,以其誤差之和輸入為目標函數,同時使目標函數值最小,求取兩組點云的各項最優參數。目標函數的公式為:

(8)

其中,xk與yk分別表示目標點云以及參考點云中對應目標點云的點,目標點云數量描述為f。

利用所獲得目標特征比對的相同點計算兩組點云的各項最優參數,在初始值確定之后通過多次迭代完成精確配準點云,迭代過程如下:

步驟一:初步調整目標點云的各項參數,得出完成調整的目標點云。

步驟二:尋找調整參考點云中與目標點云最接近的點,分別計算兩組點云的各項參數,降低目標函數誤差至最低,其公式為:

(9)

步驟三:描述兩次迭代之間的參數變化關系得到:

(10)

設Si+1、Ri+1、Ti+1為初始值,返回并重復步驟一、二,在尺度因子、旋轉矩陣以及平移向量的變化量(分別表示為ΔS=Si+1-Si、ΔR=Ri+1-Ri以及ΔT=Ti+1-Ti)都比設定閾值小的情況下,結束迭代并輸出最優參數項。

步驟四:通過均方根誤差對配準的精度進行分析評價,均方根誤差的計算公式表示為:

(11)

2.2 三維網格模型構造及可視化紋理映射

通過點云數據構建三維網格模型完成室內場景重建,其實質上是建立與真實室內模型表面層相貼近的空間網格模型[15]。通過德洛內三角化算法處理室內場景圖像的點云數據,能夠將雜亂無序的室內場景圖像點云數據以網格的形式串聯起來[16],實現室內場景圖像的高精度重建。通過德洛內算法構造三維網格模型的主要步驟如下:

第一步,規劃一個包括了該面上全部離散點的外殼；

第二步,在外殼與其最靠近的部位構成一個三角網,以此為第一內圈,然后在該圈的基礎上,不斷與其他點構建新型三角網,重復操作,直至所有點均完成生成[17]。

通過實現配準的點云數據建立德洛內三角網,得出三維網格模型完成室內場景圖像重建,如圖1所示。

圖1 按照點云形成三角網絡

激光雷達的點云數據僅具有數據點的空間坐標及回波反射強度值[18-20],為提升三維模型完成室內場景重建后的可辨識度以及視覺效果,通過wallis濾波器變換目標某部位的平均灰度值以及方差[21],令室內場景的光線均勻,其公式表示為:

(1-d)mg

(12)

其中,g(x,y)與f(x,y)分別描述室內場景的原灰度值以及濾波器變換后的灰度值;mg與mf分別表示室內場景的原局部灰度均值以及結果局部灰度均值的目標值[22]；sg與sf分別描述室內場景的原始目標某部位的標準灰度偏差以及最終目標某部位的標準灰度偏差指定值,c∈[0,1]與d∈[0,1]分別表示室內場景的拓展與亮度系數,前者跟隨處理窗口的增大而增加,后者在d→1的情況下室內場景的目標某部位的平均灰度值被強制到最終目標某部位平均灰度值的指定值,在d→0的情況下被強制到原始目標某部位平均灰度值。

3 實驗分析

為檢驗基于激光雷達掃描及關鍵點特征匹配的室內場景設計重建的性能,在MATLAB仿真平臺中進行實驗。實驗對象選取某建筑的室內場景,本實驗激光雷達掃描的每秒點數為655360,分析本文方法使用前后的室內場景圖像匹配結果,見圖2。

圖2中,圖像正確匹配點對以及錯誤匹配點對分別用不同顏色線條描述。對比分析圖2(a)和(b)能夠直觀得出,未使用本文方法的圖像匹配結果中存在較多的錯誤匹配點,而使用本文方法的圖像匹配結果中都是正確匹配點。上述結果表明本文方法具有較高的室內場景重建效果,可辨識度較高。

(a)未使用本文方法的圖像匹配結果

采用文獻[7]方法(基于雙視系統的室內三維場景重建方法)與文獻[8]方法(基于RealSense的室內3D場景重建方法)作為實驗對比方法,對比三種方法重建室內場景圖像的信噪比,圖像信噪比可以直觀展示圖像中的噪聲大小,其與圖像內的噪聲大小成反比,噪聲隨著信噪比的增大而減小,與之相對的圖像的質量越高；噪聲隨著信噪比的減小而增大,與之相對的圖像的質量越低。結果如圖3所示。

圖3 三種方法輸出圖像信噪比對比

采用三種方法對客廳、主臥室、次臥室、浴室以及廚房的圖像進行信噪比測定,通過圖3可知,使用本文方法輸出圖像信噪比范圍在28.4～49.8 dB之間。使用文獻[7]方法輸出圖像信噪比范圍在21.1～41.7 dB之間。使用文獻[8]方法輸出圖像信噪比范圍在19.7～37.9 dB之間。并且本文方法重建的室內圖像信噪比均高于其他兩種對比方法,因為本文方法通過最小二乘擬合的濾波算法減小場景所存在的光照等方面的差異以及室內圖像的噪聲,證明應用本文方法重建的室內圖像質量最好,具有較高的圖像清晰度與較強的視覺表達力。

測試三種應用方法下的室內場景重建覆蓋率,結果如圖4所示。

圖4 三種重建方法的室內場景圖像覆蓋率對比

通過圖4可知,應用本文方法重建的室內場景圖像覆蓋率最高,平均都在90 %以上；應用文獻[7]方法重建的室內場景圖像的覆蓋率最低,最高僅為85.02 %；應用文獻[8]方法重建的室內場景圖像覆蓋率取值范圍為85 %～90 %之間。應用本文方法重建的室內場景圖像覆蓋率最高,因為本文采用多角度掃描目標物體,并將所有外部數據整合,確保待檢測對象完整,從而提高了室內場景圖像覆蓋率。

對比三種方法重建室內場景后的結構相似度,結果如表1所示。

通過測試場景結構的類似程度來評價場景重建的效果,該值越接近1,說明重建的場景結構極為接近實際,重建的場景效果的結果更好,分析表1可知,應用本文方法重建的室內場景結構相似度整體均優于文獻[7]方法與文獻[8]方法,本文方法重建的室內圖像邊緣保持得較好,邊緣銳度較其他兩種方法存在明顯改善,整體圖像更加清晰,因此場景重建精度較為準確。

表1 三種方法重建場景的結構相似度對比

場景重建時間可有效體現出重建方法的效率,對比三種方法室內場景重建時間,結果如圖5所示。

圖5 三種方法的場景重建時間對比

分析圖5可得,采用三種方法分別對客廳、主臥室、次臥室、浴室以及出廚房的場景時間進行對比,本文方法、文獻[7]方法、文獻[8]方法的場景重建時間最長是次臥室,重構時間分別為59.2 h、68.4 h、62.5 h。且本文方法的場景重建時間均小于實驗對比方法,因為本文方法采用德洛內三角化算法將室內場景的點云數據以網格的形式串聯起來,證明了本文方法的重建效率與實時性。

4 結 論

本文提出基于激光雷達掃描及關鍵點特征匹配的室內場景設計重建,從激光三維重建技術入手,獲取室內場景圖像的點云、對其進行匹配、實現三角網構建等操作。實驗結果表明,該方法的重建室內圖像信噪比最高可達到49.8/dB,室內場景圖像覆蓋率均在90%以上,重建場景的結構相似度接近1,場景重建時間最短為59.2 h。上述實驗結果證明了該方法具有較好的重建效果,對室內場景的重建完整度很高。該方法在一定程度上為三維目標的點云數據配準與重建等工作提供了理論指導,具有較好的實際應用效果,但未來還可以從影響圖像品質參數的角度出發,進一步提升室內場景重建的精度。