基于增強(qiáng)現(xiàn)實(shí)技術(shù)的數(shù)字三維虛擬全景新聞類影像方法應(yīng)用分析

摘要：在數(shù)字化時代背景下，科技水平得到飛躍式提升，增強(qiáng)現(xiàn)實(shí)（Augmented Reality， AR）技術(shù)在各行業(yè)領(lǐng)域被廣泛應(yīng)用。通過大量地搜集相關(guān)資料，整理數(shù)字三維虛擬全景技術(shù)在新聞類影像中的具體應(yīng)用實(shí)踐，對基于AR技術(shù)的數(shù)字化三維虛擬全景新聞影像展開探索。引入SIFT方法對影像初始特征點(diǎn)提取后，利用動態(tài)規(guī)劃算法計算影像最優(yōu)縫合線，通過融合，可獲得數(shù)字化虛擬三維影像。在三維注冊算法標(biāo)識下，對全景三維影像進(jìn)行疊加，最終獲得虛擬全景三維增強(qiáng)顯示。實(shí)踐證明，利用此技術(shù)，可以減少提取特征點(diǎn)所用耗時、增加提取影像特征點(diǎn)的數(shù)量，且保證特征點(diǎn)匹配的準(zhǔn)確率，因此，此技術(shù)用于數(shù)字三維虛擬全景新聞影像實(shí)踐有著良好前景。

關(guān)鍵詞：增強(qiáng)現(xiàn)實(shí)技術(shù) 三維虛擬全景 新聞影像 實(shí)踐應(yīng)用

Application Analysis of Digital 3D Virtual Panoramic News Image Method Based on Augmented Reality Technology

LIU Jiawen

School of communication， Qufu Normal University， Rizhao， Shandong Province， 276826 China

Abstract： Under the background of the digital era， the level of science and technology h has made a leap forward， and Augmented Reality （AR） technology is widely used in various industries. By collecting a large number of relevant materials， sorting out the specific application practice of digital 3D virtual panorama technology in news images， it explores the digital 3D virtual panorama news images based on AR technology. After the SIFT method is introduced to extract the initial feature points of the image， the optimal suture line of the image is calculated by the dynamic programming algorithm， and the digital virtual 3D image can be obtained through fusion. Under the identification of 3D registration algorithm， the panoramic 3D image is superimposed， and finally the virtual panoramic 3D enhanced display is obtained. Practice has proved that using this technology can reduce the time spent in extracting feature points， increase the number of feature points extracted， and ensure the accuracy of feature points matching. Therefore， this technology has a good prospect for the practical use in digital 3D virtual panoramic news image.

Key Words： Augmented reality; Three-dimensional virtual panorama; News image; Practical application

數(shù)字三維虛擬全景新聞影像是利用融合處理技術(shù)將所有靜態(tài)序列圖片最終生成360°無縫影像。這類影像可以為受眾打造一種身在現(xiàn)實(shí)場景中的真實(shí)感，目前已在新聞領(lǐng)域得到應(yīng)用[1]。為了最大化地發(fā)揮增強(qiáng)現(xiàn)實(shí)（Augmented Reality， AR）技術(shù)在數(shù)字三維虛擬全景新聞影像中的實(shí)踐應(yīng)用效果，關(guān)鍵在于生成高精度數(shù)字三維虛擬全景新聞影像，這就需要提高全景影像特征點(diǎn)的匹配融合度[2]。對此，學(xué)術(shù)界現(xiàn)有研究提出，利用加速穩(wěn)健特征（Speeded-Up Robust Features，SURF）算法提取靜態(tài)影像特征點(diǎn)，在特征點(diǎn)鄰域選擇點(diǎn)對實(shí)施編碼，匹配特征點(diǎn)即可提高整體效率，但是，這種方法的全景影像特征點(diǎn)可匹配數(shù)目較小[3]；有文獻(xiàn)提出利用Forstner提取全景影像特征點(diǎn)，根據(jù)特征點(diǎn)生成坐標(biāo)系，對特征點(diǎn)鄰域進(jìn)行分割處理后匹配，即可提高影像特征點(diǎn)提取數(shù)量，但是，整個提取過程效率不高[4]。在以往研究成果基礎(chǔ)上，本文提出一種利用尺度不變特征轉(zhuǎn)換（Scale-Invariant Feature Transform，SIFT）算法提取匹配全景新聞影像特征點(diǎn)的方法，引入動態(tài)規(guī)劃算法，在圖片縫合最優(yōu)值基礎(chǔ)上，與原始三維AR影像、三維注冊各項(xiàng)算法結(jié)合，最后增強(qiáng)標(biāo)記虛擬物體，即可為廣大新聞受眾打造仿真交互體驗(yàn)。

1 數(shù)字三維虛擬全景新聞影像的生成

隨著科技水平的不斷創(chuàng)新發(fā)展，AR技術(shù)在新聞傳播領(lǐng)域逐漸滲透，可以利用計算機(jī)技術(shù)為新聞受眾打造仿真虛擬的視聽環(huán)境，增加新聞對受眾的吸引力，將生活實(shí)景與虛擬音頻圖像與文字信息相結(jié)合，實(shí)現(xiàn)用戶與新聞環(huán)境的自然交互。將AR技術(shù)用于數(shù)字三維虛擬全景新聞影像展示的應(yīng)用實(shí)踐主要包括兩個階段：第一階段為影像生成，第二階段為增強(qiáng)現(xiàn)實(shí)展示[5]。在第一階段，重點(diǎn)在于影像匹配與拼接融合，即新聞靜態(tài)影像需要配準(zhǔn)和拼接才可生成全景影像。

1.1 匹配影像的特征點(diǎn)

影像配準(zhǔn)對于生成全景影像而言至關(guān)重要，通過找出鄰近兩組數(shù)字三維虛擬新聞影像重疊之處的特征點(diǎn)，基于SIFT算法，在同坐標(biāo)系內(nèi)注冊顯示兩組影像存在的透視關(guān)聯(lián)特征，完成三維虛擬影像注冊。SIFT算法能夠?qū)崿F(xiàn)不同視角下的物體精準(zhǔn)匹配，減小全過程的運(yùn)算量，提升整體計算效率。

1.1.1 提取特征點(diǎn)

將高斯函數(shù)視為卷積核，首先需要建立數(shù)字三維全景新聞影像的尺度空間函數(shù)，假設(shè)表示輸入數(shù)字三維虛擬影像，其尺度空間函數(shù)表達(dá)公式如下[6]：

式（1）中：表示高斯函數(shù)，其計算公式如下：

為了提高影像平穩(wěn)特征點(diǎn)的提取效率，用表示高斯差分函數(shù)引入提取過程，表示公式如下[7]：

式（3）中：k表示常量。

1.1.2 特征點(diǎn)的描述

根據(jù)每組全景新聞影像的梯度方向，生成影像重疊特征點(diǎn)與周圍區(qū)域的360°全景圖，可以全方位地視圖，且函數(shù)的高斯權(quán)重圓窗口的具體梯度高低情況可以將各樣本加入直方圖，在兩組影像特征點(diǎn)主方向，根據(jù)最高峰值，建立小于85%的同向特征點(diǎn)，將特征點(diǎn)的具體方位、尺度等確定后，建立4×4柱狀方向矩陣，對每一個特征點(diǎn)進(jìn)行精準(zhǔn)地描述。

1.1.3 特征點(diǎn)的匹配

完成上述之后，需要進(jìn)行影像特征點(diǎn)匹配，這就需要應(yīng)用最佳箱優(yōu)先算法（Best Bin First，BBF）和隨機(jī)樣本一致（Random Sample Consensus，RANSAC）算法。應(yīng)用前者進(jìn)行粗匹配，找出最近和次近特征點(diǎn)；之后，使用后者完成特征點(diǎn)集的提純處理，進(jìn)行精匹配。

1.2 影像融合

在數(shù)字三維全景新聞影像進(jìn)行上述特征點(diǎn)提取、描述和匹配之后，便進(jìn)入不同組影像拼接階段，通過融合不同組虛擬影像，最終獲得完整的三維虛擬全景影像。需要尋求最優(yōu)縫合線，在縫合線雙側(cè)取一幀影像內(nèi)容，避免出現(xiàn)重影或裂縫，優(yōu)化影像拼接的最終全景視覺效果。

這個過程使用動態(tài)規(guī)劃算法完成，搜尋最優(yōu)縫合線。首先，假設(shè)AB為最優(yōu)路線，同路線還存在另一點(diǎn)Q，此時，QB同屬最優(yōu)路線。在運(yùn)算過程中，總體階段為n，第i階段的初始點(diǎn)和最終點(diǎn)分別是Ui、Oi，用表示i階段的決策數(shù)量指標(biāo)，求解公式如下[8]：

式（4）中：最大值max與最小值min均使用opt表示；具體的運(yùn)算符號為*，計算最短路徑時，*表示“+”，opt表示最小值min，即每階段的計算總和最小化。

依據(jù)動態(tài)規(guī)劃原理選取最優(yōu)縫合線，在初始化處理之后，根據(jù)分割線強(qiáng)度，對首行和末行之間完成擴(kuò)展運(yùn)算（見圖1），得出全部最低強(qiáng)度縫合線，即最優(yōu)縫合線。

2 數(shù)字三維虛擬全景新聞影像的增強(qiáng)展示

AR技術(shù)成功地將現(xiàn)實(shí)與虛擬相融合，將生成的所獲虛擬信息融入現(xiàn)實(shí)，達(dá)到增強(qiáng)現(xiàn)實(shí)效果。所以，當(dāng)數(shù)字三維虛擬全景新聞影像使用AR展示時，需要將全景影像視為現(xiàn)實(shí)空間，運(yùn)用AR技術(shù)不斷疊加虛擬物體，從而達(dá)到影像增強(qiáng)展示的目的。這一過程的關(guān)鍵技術(shù)在于對現(xiàn)實(shí)空間標(biāo)識無縫累計疊加的虛擬物體，應(yīng)當(dāng)明確現(xiàn)實(shí)空間標(biāo)識和虛擬物體二者之間的位置對應(yīng)關(guān)系，據(jù)此可以應(yīng)用三維注冊算法計算得出。

三維注冊算法的計算過程對于全景影像的增強(qiáng)顯示至關(guān)重要，利用精準(zhǔn)無縫拼接虛擬物體和數(shù)字三維虛擬全景影像，完成數(shù)字三維全景影像的增強(qiáng)展示效果提升（見圖2）。通過框取標(biāo)識融入坐標(biāo)系內(nèi)，解決AR技術(shù)的三維注冊問題。

如圖2所示：用表示現(xiàn)實(shí)屏幕坐標(biāo)系，用表示理想屏幕坐標(biāo)系，用表示攝像機(jī)坐標(biāo)系，用T表示三維向量，確定參照物為表示坐標(biāo)系的原點(diǎn)，對于坐標(biāo)系內(nèi)的3個平移分量，原點(diǎn)為攝像機(jī)光心，用表示標(biāo)識坐標(biāo)系。

3 實(shí)驗(yàn)分析

以某個數(shù)字三維全景新聞影像數(shù)據(jù)庫為實(shí)驗(yàn)材料，從中選擇共計5組全景新聞影像展開實(shí)驗(yàn)，檢驗(yàn)本文提出的上述影像生成與增強(qiáng)展示的實(shí)踐應(yīng)用效果。

3.1 影像生成效果

把以往文獻(xiàn)給出的距離融合圖像特征點(diǎn)匹配方法、相關(guān)研究的一致性規(guī)則配方法與本文提出方法相比較，將這3種方法用于兩組數(shù)字三維全景新聞影像特征點(diǎn)匹配，最終結(jié)果（見表1）。由表1可知，同樣影像應(yīng)用本文提出方法，可以獲得最高的特征點(diǎn)數(shù)量，并且在特征點(diǎn)提取效率對比上同樣最優(yōu)，通過綜合對比，本文方法最為理想。在此基礎(chǔ)上，通過將B組全景影像拼接融合后，可見融合效果符合預(yù)期，未見拼接裂縫影像的精度極高。

3.2 增強(qiáng)展示效果

運(yùn)用本文所提方法完成對上述所獲B組全景影像的三維注冊處理，在全景影像中疊加虛擬物體，通過利用AR技術(shù)獲得最終效果，可見虛擬物體融入三維全景影像合適位置的增強(qiáng)展示效果十分理想，證明了本文所用方法的可行性。

4 結(jié)語

綜上所述，本文通過對數(shù)字三維全景新聞影像應(yīng)用AR技術(shù)的構(gòu)思展開探索，提出應(yīng)用SIFT方法提取全景影像特征點(diǎn)，獲得最優(yōu)縫合線，與數(shù)字三維虛擬影像相融，并完成三維注冊處理，成功獲得符合預(yù)期的增強(qiáng)現(xiàn)實(shí)效果。未來，隨著科技水平的不斷創(chuàng)新，AR技術(shù)也將進(jìn)一步為新聞領(lǐng)域創(chuàng)造更多可能性，需要不斷地深入對AR技術(shù)的創(chuàng)新研究，不斷地為新聞受眾創(chuàng)造生動、高效且優(yōu)質(zhì)的新聞報道。

參考文獻(xiàn)

[1] 畢軍濤.基于增強(qiáng)現(xiàn)實(shí)技術(shù)的快速三維圖像重建方法[J].長江信息通信，2023，36（3）：142-144.

[2] KADAV P，PATWARI W，KALME A，et al.VR based remote campus tour[J].International Journal for Research in Applied Science and Engineering Technology， 2023，6（1）：1081.

[3] 韓卓璇.元宇宙視域下媒體對虛擬技術(shù)的融合與應(yīng)用方法研究[J].藝術(shù)科技，2024，37（7）：162-164.

[4] 張慧.虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)在產(chǎn)品設(shè)計中的影像應(yīng)用[J].大眾文藝，2024，6（1）：68-70.

[5] WANG D，LI Z S，ZHENG Y W，et al.High-quality holographic 3D display system based on virtual splicing of spatial light modulator[J].ACS Photonics，2023，10（7）：2297-2307.

[6] 安冬.基于全景電影的發(fā)展及商業(yè)化前景探究全景攝像機(jī)和VR技術(shù)[D].大連：遼寧師范大學(xué)，2015.

[7] 王珺，麥逸楠，陳燁.增強(qiáng)現(xiàn)實(shí)技術(shù)在清東陵數(shù)字化導(dǎo)覽中的應(yīng)用研究[J].電視技術(shù)，2024，48（1）：226-228.

[8] 辛穎.三維影像處理技術(shù)應(yīng)用下的影視后期制作方法[J].信息與電腦，2023，35（9）：19-21.