虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理

中圖分類(lèi)號(hào)：G642 文獻(xiàn)標(biāo)志碼：A

0 引言

在虛擬現(xiàn)實(shí)應(yīng)用中，三維場(chǎng)景構(gòu)建依賴(lài)多視角散亂點(diǎn)云圖像高精度拼接，如工業(yè)產(chǎn)品虛擬裝配需毫米級(jí)精度，古建筑數(shù)字化保護(hù)要保留完整細(xì)節(jié)。但激光雷達(dá)和深度相機(jī)等設(shè)備獲取到的原始點(diǎn)云圖像存在分布散亂、空間錯(cuò)位等問(wèn)題，導(dǎo)致拼接后幾何畸變、細(xì)節(jié)丟失[1]。因此，研究虛擬現(xiàn)實(shí)背景下散亂點(diǎn)云圖像智能化拼接處理方法具有重要的現(xiàn)實(shí)意義。針對(duì)圖像拼接處理，研究者提出了一些方法。其中，陶磊等[2提出利用相位相關(guān)法獲取待拼接圖像的重疊區(qū)域，進(jìn)一步利用Harris角點(diǎn)響應(yīng)函數(shù)結(jié)合預(yù)設(shè)閾值劃分出圖像的強(qiáng)紋理區(qū)與弱紋理區(qū)，在強(qiáng)紋理區(qū)通過(guò)SIFT算法進(jìn)行特征匹配，從而實(shí)現(xiàn)圖像拼接。李朝清等[3提出首先對(duì)圖像局部拼接進(jìn)行降采樣處理，進(jìn)一步采用LoFTR算法對(duì)圖像進(jìn)行粗細(xì)粒度匹配，同時(shí)結(jié)合聚類(lèi)算法優(yōu)化匹配對(duì)，對(duì)優(yōu)化后的匹配對(duì)使用單應(yīng)性矩陣變換以及加權(quán)融合，從而完成圖像無(wú)縫拼接。然而，這些方法在處理虛擬現(xiàn)實(shí)環(huán)境下的三維散亂點(diǎn)云數(shù)據(jù)時(shí)，無(wú)法準(zhǔn)確捕捉點(diǎn)云局部幾何特征，從而導(dǎo)致拼接精度不足。

基于上述背景，文章研究虛擬現(xiàn)實(shí)中散亂點(diǎn)云圖像智能拼接處理，用主成分分析法與曲率加權(quán)迭代最近點(diǎn)算法實(shí)現(xiàn)粗、精配準(zhǔn)，再經(jīng)高斯渲染優(yōu)化，有效解決幾何特征捕捉難與拼接精度不足問(wèn)題。

1虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理方法設(shè)計(jì)

1.1捕捉散亂點(diǎn)云圖像點(diǎn)云特征

在虛擬現(xiàn)實(shí)場(chǎng)景中，原始點(diǎn)云數(shù)據(jù)包含噪聲等冗余信息，在特征捕捉前進(jìn)行預(yù)處理。首先采用雙邊濾波法進(jìn)行去噪，以目標(biāo)點(diǎn) p_o 為中心，構(gòu)建半徑為 r_s 的球形鄰域，計(jì)算鄰域內(nèi)點(diǎn) p_j 與目標(biāo)點(diǎn) p_o 的歐氏距離權(quán)重并基于點(diǎn)云的反射強(qiáng)度信息，構(gòu)建強(qiáng)度差異權(quán)重[4]。利用上述2種權(quán)重通過(guò)加權(quán)平均更新目標(biāo)點(diǎn)的坐標(biāo)，從而在抑制噪聲點(diǎn)的同時(shí)保留了點(diǎn)云圖像邊緣特征。為了降低點(diǎn)云數(shù)據(jù)的規(guī)模，同時(shí)維持幾何結(jié)構(gòu)完整性，本方法進(jìn)行下采樣。將點(diǎn)云包圍盒劃分為邊長(zhǎng)為 σ_v 的立方體體素，每個(gè)體素內(nèi)點(diǎn)集記為 v_k 。對(duì)于非空體素，計(jì)算其質(zhì)心作為代表點(diǎn)，從而保留體素內(nèi)強(qiáng)度均值和點(diǎn)云密度等特征信息。為了獲取點(diǎn)云的局部幾何信息，本方法采用基于 K 近鄰的法線估計(jì)方法。對(duì)于點(diǎn)云中的每一個(gè)點(diǎn) p_i ，在其鄰域內(nèi)搜索距離最近的 k 個(gè)點(diǎn)，構(gòu)成點(diǎn) p_i 的 K 近鄰集合 N_κ（p_i） 。基于此，計(jì)算其加權(quán)協(xié)方差矩陣，其鄰域內(nèi)任意點(diǎn) p_j 的權(quán)重計(jì)算公式如下：

式中， w_j 為點(diǎn) p_j 在鄰域半徑 r 內(nèi)搜索到的點(diǎn)云數(shù)，即為該點(diǎn)的權(quán)重。下一步，基于點(diǎn)云的局部幾何特征捕捉散亂點(diǎn)云圖像的點(diǎn)云特征，通過(guò)曲率張量計(jì)算每個(gè)點(diǎn)的曲率以及曲率在不同方向上的變化。考慮曲率變化率與法線方向之間的關(guān)系，利用ISS評(píng)分衡量點(diǎn)云的幾何特征顯著程度。給定一個(gè)點(diǎn)，計(jì)算搜索半徑內(nèi)的所有點(diǎn)的加權(quán)協(xié)方差矩陣 c_iss ，該矩陣描述了2個(gè)隨機(jī)變量之間的關(guān)系。接下來(lái)對(duì) c_?iss 進(jìn)行特征值分解，該矩陣的特征值越大則表示數(shù)據(jù)在對(duì)應(yīng)的特征向量方向上的變異程度越大，反之則數(shù)據(jù)在相應(yīng)方向上的變化較小[5]。如果分解出的特征值滿足以下關(guān)系，則該點(diǎn)為一個(gè)特征點(diǎn)。

式中， τ₁ 和 τ₂ 分別表示設(shè)定的閾值。通過(guò)上述步驟，完成散亂點(diǎn)云圖像點(diǎn)云特征的捕捉。

1.2利用粗配準(zhǔn)進(jìn)行點(diǎn)云全局對(duì)齊

完成散亂圖像點(diǎn)云特征捕捉后，本方法采用主成分分析法進(jìn)行點(diǎn)云粗配準(zhǔn)，從而使不同視角下獲取的散亂點(diǎn)云圖像在空間位置上大致對(duì)齊。首先對(duì)于待配準(zhǔn)的2片點(diǎn)云 P 和 Q ，分別計(jì)算其質(zhì)心，計(jì)算公式如下：

式中， ∣P∣ 和 1Q1 分別為點(diǎn)云 P 和 Q 中點(diǎn)的數(shù)量； P_i 和 Q_i 分別為點(diǎn)云 P 和 Q 中的點(diǎn)。為了得到中心化后的點(diǎn)云數(shù)據(jù) P^′ 和 Q^′ ，將2片點(diǎn)云中的每個(gè)點(diǎn)分別減去其對(duì)應(yīng)的質(zhì)心。下一步，分別計(jì)算中心化后的2片點(diǎn)云的協(xié)方差矩陣 C_P 和 C_Q ，并對(duì)上述矩陣進(jìn)行特征值分析，得到了點(diǎn)云 P 和 Q 的3個(gè)主成分方向[6]

通過(guò)上述步驟，完成散亂點(diǎn)云圖像在空間位置上的全局粗略拼接對(duì)齊。

1.3通過(guò)精配準(zhǔn)進(jìn)行局部?jī)?yōu)化

完成散亂點(diǎn)云圖像的全局對(duì)齊后，為了提高圖像拼接精度，本方法通過(guò)精配準(zhǔn)進(jìn)行局部?jī)?yōu)化。首先將經(jīng)過(guò)粗配準(zhǔn)后的點(diǎn)云作為目標(biāo)點(diǎn)云，而原始參考點(diǎn)云Q 保持不變。設(shè)定初始的旋轉(zhuǎn)矩陣 R₀ 為單位矩陣，平移向量 t₀ 為零向量。基于KD-tree數(shù)據(jù)結(jié)構(gòu)，對(duì)于目標(biāo)點(diǎn)云中的每一個(gè)點(diǎn) p_i^k ，在參考點(diǎn)云 Q 中搜索其最近的對(duì)應(yīng)點(diǎn) p_j^q ，構(gòu)成最近鄰點(diǎn)對(duì) （p_i^k，p_j^q） 。下一步，計(jì)算對(duì)應(yīng)點(diǎn)對(duì)的法線夾角，為了保證匹配點(diǎn)對(duì)位于相似幾何表面，提升拼接可靠性，僅保留法線夾角小于閾值 θ_th 的點(diǎn)對(duì)。接下來(lái)，引入點(diǎn)云曲率信息構(gòu)建加權(quán)誤差函數(shù)，對(duì)于不同曲率區(qū)域的點(diǎn)對(duì)賦予差異化權(quán)重，從而避免平坦區(qū)域主導(dǎo)優(yōu)化過(guò)程[7]。基于上述步驟中獲得的法線估計(jì)結(jié)果，通過(guò)局部鄰域二次曲面擬合計(jì)算出高斯曲率和平均曲率，然后定義曲率權(quán)重 w_i ，對(duì)于曲率較大的邊緣和角點(diǎn)賦予更高的權(quán)重，計(jì)算公式如下[8]：

式中，為 C^′ 表示有效對(duì)應(yīng)點(diǎn)對(duì)集合。

1.4進(jìn)行實(shí)時(shí)渲染優(yōu)化增強(qiáng)拼接效果

在虛擬現(xiàn)實(shí)環(huán)境下，為了實(shí)現(xiàn)更為流暢逼真的視覺(jué)體驗(yàn)，本方法對(duì)拼接后的點(diǎn)云圖像進(jìn)行實(shí)時(shí)渲染優(yōu)化，從而進(jìn)一步增強(qiáng)拼接效果。利用高斯渲染優(yōu)化，將精配準(zhǔn)后的點(diǎn)云轉(zhuǎn)換為帶有概率密度的高斯渲染基本單元，每個(gè)點(diǎn)表示為三維高斯分布，利用光學(xué)渲染模型進(jìn)行優(yōu)化，表達(dá)式如下：

式中， I（x） 為渲染后的像素值； 為三維高斯核函數(shù)，其描述了點(diǎn)云在空間中的概率分布 σ_;μi 和 Σ 分別表示點(diǎn) i 的均值和協(xié)方差矩陣； w_i 表示權(quán)重，用于確定邊緣和角點(diǎn)等特征區(qū)域的渲染優(yōu)先級(jí)。通過(guò)高斯渲染將離散點(diǎn)云轉(zhuǎn)化為連續(xù)概率密度場(chǎng)，使拼接過(guò)渡更加自然[9]。為了提升渲染的自適應(yīng)性和圖像細(xì)節(jié)保持能力，設(shè)計(jì)基于 K 近鄰的帶寬調(diào)節(jié)函數(shù)，計(jì)算公式如下：

式中， n_i 為點(diǎn) p_i 的 K 近鄰點(diǎn)數(shù)； σ 為尺度因子，根據(jù)點(diǎn)云平均間距動(dòng)態(tài)調(diào)整； Π_I 為單位矩陣； s 為微小常數(shù)，用于避免除零。利用調(diào)節(jié)函數(shù)處理后，高密度區(qū)域帶寬減小以保留更多圖像細(xì)節(jié)，低密度區(qū)域帶寬增大填充孔洞，使拼接更平滑。結(jié)合法線估計(jì)結(jié)果，完成虛擬現(xiàn)實(shí)下散亂點(diǎn)云圖像智能拼接方法設(shè)計(jì)。

2 實(shí)驗(yàn)分析

2.1實(shí)驗(yàn)環(huán)境

為了驗(yàn)證文章提出的虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理方法的實(shí)際性能，實(shí)驗(yàn)搭建高性能計(jì)算集群環(huán)境。其中，硬件平臺(tái)由雙路IntelXeonPlatinum8380處理器和NVIDIAA100GPU構(gòu)成。為了確保大規(guī)模點(diǎn)云數(shù)據(jù)的快速加載與并行計(jì)算能力，采用高速NVMeSSD存儲(chǔ)陣列。軟件方面，基于Ubuntu22.04LTS操作系統(tǒng)，使用 C++ 結(jié)合CUDA實(shí)現(xiàn)算法核心邏輯。

2.2實(shí)驗(yàn)參數(shù)

文章提出的虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理方法涉及的參數(shù)將對(duì)各個(gè)處理階段的執(zhí)行效率以及最終拼接結(jié)果的質(zhì)量產(chǎn)生一定的影響，因此針對(duì)不同處理階段的特點(diǎn)和散亂點(diǎn)云數(shù)據(jù)的固有特性，對(duì)相關(guān)參數(shù)進(jìn)行詳細(xì)設(shè)定，如表1所示。

在實(shí)驗(yàn)環(huán)境中，基于上述實(shí)驗(yàn)參數(shù)設(shè)置開(kāi)展虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理方法的性能測(cè)試。

2.3拼接結(jié)果分析

實(shí)驗(yàn)選取StanfordBunny數(shù)據(jù)集作為實(shí)驗(yàn)?zāi)Ｐ停谠撃Ｐ椭羞x取了2片相鄰角度獲得的點(diǎn)云，使用文章所提方法對(duì)其進(jìn)行拼接處理，具體拼接處理結(jié)果如圖1所示。

表1實(shí)驗(yàn)參數(shù)設(shè)置

a D T（a）原始散亂點(diǎn)云 （b）散亂點(diǎn)云拼接配準(zhǔn) （c）拼接配準(zhǔn)結(jié)果

圖（a）為原始的散亂點(diǎn)云圖像，其中的2片未配準(zhǔn)點(diǎn)云存在明顯的空間錯(cuò)位，圖（b）展示散亂點(diǎn)云圖像的拼接配準(zhǔn)過(guò)程，2片點(diǎn)云之間的連線表示對(duì)應(yīng)點(diǎn)對(duì)的匹配關(guān)系。圖（c）為應(yīng)用文章拼接處理方法獲得的散亂點(diǎn)云圖像拼接結(jié)果，從整體視覺(jué)效果來(lái)看，拼接后的兔子模型完整且平滑，還原兔子模型的幾何形態(tài)。為了進(jìn)一步量化評(píng)估拼接結(jié)果的精度，文章利用均方根誤差這一指標(biāo)衡量拼接后2片點(diǎn)云對(duì)應(yīng)點(diǎn)之間的平均距離誤差，該指標(biāo)越小，表明拼接精度越高。經(jīng)過(guò)計(jì)算，拼接結(jié)果的均方根誤差為 0.0042m ，說(shuō)明本方法具有高精度的散亂點(diǎn)云圖像拼接處理性能。

2.4不同方法的拼接重疊度對(duì)比

為了進(jìn)一步評(píng)估本方法的拼接能力，選取2種圖像拼接方法進(jìn)行對(duì)比實(shí)驗(yàn)。2種方法分別為方法A（基于相位相關(guān)和Harris紋理分類(lèi)的圖像拼接方法）、方法B（基于改進(jìn)LoFTR算法的圖像拼接方法）。對(duì)比實(shí)驗(yàn)選取了包含工業(yè)零件、建筑場(chǎng)景以及人體掃描的綜合數(shù)據(jù)集進(jìn)行測(cè)試，其中每類(lèi)數(shù)據(jù)均包含不同視角的點(diǎn)云圖像。利用上述數(shù)據(jù)集，分別應(yīng)用文章方法和2種對(duì)比方法進(jìn)行圖像拼接處理，拼接完成后計(jì)算拼接后點(diǎn)云與真實(shí)重疊區(qū)域的重合比例，得到拼接重疊度。為了保證對(duì)比結(jié)果的可靠性，每組數(shù)據(jù)重復(fù)進(jìn)行3次拼接實(shí)驗(yàn)，取平均值作為最終結(jié)果。3種方法的拼接重疊度對(duì)比結(jié)果如表2所示。

表2不同方法的拼接重疊度結(jié)果

拼接重疊度高意味著拼接方法能精準(zhǔn)識(shí)別散亂點(diǎn)云對(duì)應(yīng)關(guān)系，實(shí)現(xiàn)精準(zhǔn)圖像拼接。表2數(shù)據(jù)顯示，在3類(lèi)數(shù)據(jù)集中，文章方法拼接重疊度均高于方法A和B。這得益于該方法先用主成分分析法使散亂點(diǎn)云全局對(duì)齊、減少初始誤差，再引入法線夾角篩選與曲率加權(quán)誤差函數(shù)精配準(zhǔn)，提高可靠性。綜上所述，文章提出的虛擬現(xiàn)實(shí)環(huán)境下散亂點(diǎn)云圖像智能化拼接處理方法在不同場(chǎng)景下均能實(shí)現(xiàn)高精度的點(diǎn)云圖像拼接。

3結(jié)語(yǔ)

文章針對(duì)虛擬現(xiàn)實(shí)場(chǎng)景下散亂點(diǎn)云圖像拼接難題，提出一種智能化拼接處理方法，通過(guò)點(diǎn)云特征捕捉、粗配準(zhǔn)與精配準(zhǔn)以及渲染優(yōu)化，解決現(xiàn)有方法三維幾何特征利用不足、拼接精度低的問(wèn)題。實(shí)驗(yàn)結(jié)果進(jìn)一步驗(yàn)證文章方法的拼接性能。未來(lái)研究將結(jié)合深度學(xué)習(xí)增強(qiáng)復(fù)雜場(chǎng)景下的特征匹配能力，為虛擬現(xiàn)實(shí)技術(shù)發(fā)展提供更堅(jiān)實(shí)的技術(shù)支撐。

參考文獻(xiàn)

[1]楊琦，徐子卿.虛擬現(xiàn)實(shí)場(chǎng)景中散亂點(diǎn)云圖像拼接仿真[J].計(jì)算機(jī)仿真，2025（2）：366-370.

[2]陶磊，郝曉麗，王松濤，等.基于相位相關(guān)和Harris紋理分類(lèi)的SIFT圖像拼接算法[J].計(jì)算技術(shù)與自動(dòng)化，2025（1） ：12-18.

[3]李朝清，譚興強(qiáng)，李吉，等.基于改進(jìn)LoFTR算法的草畜平衡監(jiān)測(cè)圖像拼接方法[J].農(nóng)業(yè)與技術(shù)，2025（6） ：65-70.

[4]馬然.基于特征點(diǎn)提取和PCA的改進(jìn)ICP點(diǎn)云配準(zhǔn)方法[J].電子技術(shù)應(yīng)用，2025（4）：110-114.

[5]鄭麒麟，羅印升，宋偉.基于組合特征點(diǎn)提取與匹配的點(diǎn)云配準(zhǔn)研究[J].無(wú)線互聯(lián)科技，2025（6）：91-95，104.

[6]但遠(yuǎn)宏，惠郁雯.局部特征的高精度點(diǎn)云配準(zhǔn)算法研究［J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)），2025（3）：110-117.

[7]單馨平，蘇建強(qiáng)，劉利強(qiáng)，等.基于雙約束特征提取的三維激光雷達(dá)點(diǎn)云ICP配準(zhǔn)算法[J].應(yīng)用激光，2025（1） ：143-152.

[8]周健，羅玉恒.基于SFM與高斯渲染優(yōu)化的建筑物三維重建方法[J].科技創(chuàng)新與應(yīng)用，2025（11）：152-155.

[9]季桉寧.虛擬仿真平臺(tái)中的智能算法優(yōu)化與場(chǎng)景渲染技術(shù)分析[J].電子技術(shù)，2025（1）：398-400.

（編輯戴啟潤(rùn)）

Intelligent mosaic processing of scattered point cloud images in virtual reality environment

YANG Zehui， YUE Yang （Guangzhou College of Technology and Business，F(xiàn)oshan 528oOo，China）

Abstract：Existing image stitching methods face the issue of insuficientutilization of three-dimensional geometric features when processing scattred point cloud images in virtual reality environments，leading tolow stitching accuracy andfailing to meet the high-precisionrequirementsof virtual realityscenes.Basedonthis background，an intelligent method for stitching scattered point cloud images in virtual reality environments is studied.Thismethod preproceses theoriginal point cloud imageusing bilateral filtering andvoxel downsampling，then capturespoint cloud features through normal estimation based on K -nearest neighbors and the ISS scoring mechanism. Principal component analysis is used toachieveglobalcoarseregistrationofthepointcloud.Next，ICPalgorithmcombinedwith normal angle selectionand curvature-weighted errorfunction isemployed for fineregistration，optimizing localstitching accuracy. Also，Gaussian rendering optimization and bandwidth adjustment functions based on K -nearest neighbors enhance the stitching efect.Experimental resultsshow that compared to2 contrasting methods，this method improves the stitching accuracy of scattered point clouds.

Key words：virtual reality；scattered point cloud image；intelligent splicing processing;local splicing optimization; real-time rendering optimization