基于雙邊濾波算法的非遺文創產品包裝設計三維虛擬視點合成

摘要：三維虛擬視點合成能夠讓設計師在計算機上創建出非遺文創產品包裝設計的立體效果，提供更真實、更全面的視覺體驗，為此提出基于雙邊濾波算法的非遺文創產品包裝設計三維虛擬視點合成。首先，采用基于相對高度深度的深度圖提取方法，從非遺文創產品包裝設計圖像中獲取其深度信息；針對深度圖像提取過程中產生的缺陷如噪聲、孔洞等，引入改進的自適應聯合雙邊濾波方法，實施圖像修復，從而獲取更加完整、清晰的非遺文創產品包裝設計深度圖像；最后，引入基于深度圖像的渲染（DIBR）技術，推出缺失深度的修復值，并通過DIBR的針孔相機模型和三維圖像轉換方程，將修復后的深度圖像轉換為三維虛擬視點圖像，并實現其三維虛擬視點合成。實驗結果表明，所提方法應用后，能夠精確地修復填補非遺文創產品包裝RGB圖像空缺，整體完整度較高；完整且精確地展現出非遺文創產品包裝設計的三維虛擬視點效果，色彩飽滿，瑕疵較少；PSNR值和SSIM值均得到提高。三維虛擬視點合成方法能夠有效修復缺陷圖像，提升了三維虛擬點合成后的質量，滿足實際非遺文創產品包裝設計需求。

關鍵詞：深度圖提取；雙邊濾波；DIBR；三維圖像轉換；虛擬視點合成

中圖分類號：TP472；TP3文獻標志碼：A文章編號：2095－414X（2024）06－0038－06

0引言

非遺文創產品[1]作為一種獨特的文化遺產，其包裝設計是其重要做成部分，將非遺文化元素應用于包裝設計中，是一種有效的保護和傳承非遺文化的途徑，為了有效傳承下去，需要借助先進的技術手段，將其融入到現代生活中，而三維虛擬點合成技術則可以將其轉化為三維的虛擬場景，為非遺文創產品包裝設計帶來前所未有的創意空間，推動非遺文化的創新發展，滿足現代消費者的審美需求，故需要對其展開深入研究。

蔡李美[2]等人首先對非遺文創產品包裝設計圖像實施三維變換后，采用形態學操作對變換后圖像中的空洞實施膨脹處理，以去除偽影瑕疵；其次根據左右虛擬視點對圖形前景、后景實施背景分割；最后引入分層融合機制實現圖像的三維虛擬視點合成。該方法選用的形態學操作是針對紋理較為簡單的圖像的，面對復雜紋理的非遺文創產品包裝設計圖像，這種方法可能無法完全準確地處理所有的空洞和偽影瑕疵。

Kim G[3]等人根據計算復雜性和非遺文創產品包裝設計圖像質量，確定三維虛擬視點合成的最佳圖像數量；通過校正和匹配特征點對其展開深度圖三維信息提取；在此基礎上基于圖像之間的幾何關系，利用紋理映射實現圖像的三維虛擬點合成。該方法在確定最佳圖像數量時需要反復試驗和調整，增加了計算的復雜性。邢毓華[4]等人通過電動平移臺和視點攝像機采集為非遺文創商品包裝設計的稀疏視角圖片;采用分層聚類與二維虛擬視點組合方式實現圖像的虛擬視角組合；最后利用像素映射技術獲得其微單元圖像陣列，再通過該陣列完成實現二維虛擬視點的三維重建過程，以此實現圖像的三維虛擬視點合成。該方法在生成微單元圖像陣列過程中易受到外界因素干擾，導致陣列不準確，使合成后的三維虛擬視點圖像失真。Wang Z[5]等人將目標圖像分解為多個子圖像，并對每個子圖像與響應的部分球面相位之間作乘積運算以達到互補視點收斂；在此基礎上將每個子圖像的視點信息投影到目標三維區域以拼接成完整的三維虛擬點效果。該方法在拼接過程中需要消耗大量的時間，降低了運行效率。

綜上所述，通過專業的軟件工具快速構建和修改三維模型，實現包裝的虛擬展示和交互設計，往往需要進行多次的物理打樣和修改，不僅耗費大量時間和成本，而且修改過程繁瑣。而三維虛擬設計可以在計算機上直接進行模擬和修改，快速生成多種設計方案，且三維虛擬包裝設計能夠創造出更立體、更逼真的視覺效果。非遺文創產品的包裝設計需要兼具藝術性和技術性。通過整理以往研究成果的優勢與劣勢，本文從實際應用的角度出發，設計了基于雙邊濾波算法的非遺文創產品包裝設計三維虛擬視點合成方法。通過引入三維虛擬視點合成技術，可以使得產品包裝在展示時具有更加豐富的視覺效果，吸引消費者的注意力。而雙邊濾波算法的應用，則能夠在保證圖像清晰度的同時，有效去除噪聲，提升包裝設計的整體質感。

1非遺文創產品包裝設計深度圖生成及處理

1.1基于相對高度深度的深度圖提取

為了便于三維虛擬視點合成，首先通過基于相對高度深度的非遺文創產品包裝設計深度圖提取方法，獲取其二維深度圖像，這個深度圖像中包含了非遺文創產品包裝設計表面及三維深度信息。方法的主要流程如下：

1.1.1灰度轉換

一般采集到的非遺文創產品包裝設計圖是一種彩色的RGB圖像，而三維虛擬視點合成所需要的是只有一種顏色分量的深度圖，為此需要首先實施灰度轉換[6]，提取圖像的灰度信息以提高計算效率，轉換公式為：

GRAY=R=G=B=0.299R（i，j） +0.587G（i，j） +0.114B（i，j）（1）

式中：（i，j） 代表的是非遺文創產品包裝設計圖的像素點坐標。由式（1）轉換后的像素灰度值范圍變為0～255，屬于單通道，灰度對比度較好。

1.1.2邊緣檢測

該步驟的目的是檢測出非遺文創產品包裝設計圖像中非遺文創產品包裝的輪廓并標記出來。由于其邊界往往與相鄰像素之間具有較大的差異，為此采用So?bel算子[7]來展開檢測，其結構簡圖如圖1。

圖1中Hx和Hy是Sobel算子水平和垂直方向上的檢測模板，將這兩個檢測模板實施卷積運算得到求和結果H，將H與閾值H0作比較，若Hgt;H0，則表明該像素點為邊緣位置并賦值為255；反之則定義為非邊緣位置，賦值為0。

1.1.3線軌跡追蹤

通過邊緣檢測獲取非遺文創產品包裝的邊緣后，采用線性軌跡追蹤[8]從邊緣圖像中得到相應的深度信息，選取其圖中首列像素中等間距選擇n個像素點并將第一列劃分為n+1各部分，在給定n=20的約束條件下對這些像素逐個展開追蹤直至最后一行結束，追蹤順序按照從左至右，確定下一個匹配像素點的條件公式為：

T=arg minT{a1R1（i，j） +a2 R2（i，j） +a3R3（i，j）} （2）

式中：R1（i，j），R2（i，j），R3（i，j） 分別表示的是邊緣追蹤約束、平滑約束以及彈性約束；a1，a2，a3為權重因子三種約束條件的計算公式為：

式中：edge（i，j） 代表非遺文創產品包裝邊緣圖像中位于（i，j） 的邊緣值；a為整幅邊緣圖像的平均值；ds（i，j） 為當前位置點與下一匹配點的距離；b為控制參數；de（i，j） 為當前追蹤像素點與追蹤線的垂直距離.。

1.1.4深度賦值

采用相對高度深度賦值法對完成追蹤的n條軌跡線展開賦值，得到最終的非遺文創產品包裝設計深度圖像，用Ddepth表示相鄰的不同軌跡線的賦值梯度，該梯度值由邊緣圖的n+1列劃分得到，計算公式為：

通過上述四個步驟，即可完成提取非遺文創產品包裝設計圖像深度信息的過程，提供產品的三維表面信息，有助于更好地理解產品的形態和結構。

1.2基于雙邊濾波的圖像修復

非遺文創產品包裝設計圖像紋理較為復雜，其深度信息提取過程中可能會受到噪聲、陰影、表面復雜度等因素的影響，導致深度圖存在一些缺陷和不連續的空洞及雜點，需要對其實施一定處理。

由于原始的雙邊濾波方法[9-10]權值的不穩定性可能導致非遺文創產品包裝設計圖像邊緣附近出現結果翻轉的現象，為此所提方法提出聯合雙邊濾波方法，該方法利用導向圖（一種彩色圖像）作為計算值域權重的依據，從而在傳統雙邊濾波的基礎上，實現了自動確定目標圖像中每個空洞像素點的濾波相關參數，進一步提升修復的準確性和穩定性。計算公式為：

式中：Fx，Jy表示原始圖像深度值和濾波后的像素深度值；ec（x，y） 和er（x，y） 分別代表顏色相似權重以及空間距離項權重；?c，?r為ec（x，y） ，er（x，y） 的參數；Ox，Oy為原始圖像中待填充點位置x以及鄰域內位置y的像素值。

在非遺文創產品包裝設計的深度圖像修復中，手動確定濾波參數會增加時間成本且難以達到最佳修復效果。為此，引入改進的自適應聯合雙邊濾波方法，該方法能自動確定每個空洞像素點的濾波參數，以適應不同深度值的修補需求，從而簡化了參數調整并提升修復效果。自適應確定最優參數步驟如下：

（1）空洞像素點濾波鄰域范圍Ω確定。求出各空洞像素點m×m和鄰域內非零像素點之間的比例T，設定一個占比閾值Q，若Tgt;Q則設濾波鄰域為m×m，反之為m=m+2，m是濾波鄰域邊長，并以此判斷T，Q的關系。

（2）求解空間距離權重項參數?r。式（6）表明，空間距離權重項參數?r與空間距離項權重er成正比，以此為依據通過步驟（1）的m值可以確定?r值，m越大，?r越小，公式為?r=m0/m??r（max） ，其中?r（max） 表示參數?r允許的最大值。

（3）求解顏色相似權重項參數?c。引入結構相似度（SSIM）[11-12]評價指標。該指標包含亮度、對比度和結構三個方面，用于評估非遺文創產品包裝設計彩色圖像和深度圖像在同一區域的相似度。以像素均值ux，uy、像素標準差?x，?y以及協方差?xy來描述?c，更全面地衡量圖像修復的質量和效果，計算公式為：

íì?SSSIM（x，y） =（2uxuy?2?xy）/（ux（2）+uy（2））?（?x（2）+?y（2））

式中：SSSIM（r，g，b） 為彩色圖像RGB 3個通道各自的SSIM值，且SSIM值范圍為（0，1] ；?c（max） 表示?c允許的最大值。

求得空洞像素點的參數和權重后，將結果輸入到式（5）中推出缺失深度的修復值，進而獲取更完整的含三維信息的非遺文創產品包裝設計深度圖像。

2非遺文創產品包裝設計三維虛擬視點合成

非遺文創產品包裝設計三維虛擬視點合成[13]是一種將傳統非遺工藝與現代技術相結合的設計方式。通過三維虛擬視點合成技術，設計師可以在計算機上創建出產品的立體效果，提供更真實、更全面的視覺體驗。

獲取非遺文創產品包裝設計的完整深度圖像后，采用數字圖像重建技術（DIBR）來實現其三維虛擬點的合成。這一過程主要分為兩個關鍵步驟：

（1）根據圖像的深度信息，將二維平面的像素點映射到三維空間中的對應位置，為后續的三維處理和操作提供基礎。

（2）利用三維圖像轉換方程，將三維空間中的點映射到目標視點上，實現從不同視角的三維虛擬視點合成，從而能夠從各種角度查看和處理虛擬三維模型。

2.1針孔相機模型

步驟（1）主要采用針孔相機模型[14]，該模型定義了三維世界中某一點到目標二維非遺文創產品包裝設計深度圖像上的投影關系，轉換示意圖見圖2（a）。

假設相機光心C的光軸與Z軸共線位于坐標系原點處，根據三角形性質即可獲取三維世界點A=（x，y，z）T與其在非遺文創產品包裝設計深度圖像平面上的投影點a=（u，v）T之間的集合關系，如圖2（b）所示，用投影矩陣描述：

在該矩陣的基礎上，用非遺文創產品包裝設計深度圖像坐標系的原點描述圖像中每個像素的位置；用圖像的主點作為原點描述圖像中非遺文創產品包裝的實際位置和大小，并將該矩陣轉換到圖像像素坐標系下：

式中：fu=f?du，fv=f?dv，du，dv為U軸和V軸方向上物理坐標系與像素坐標系的尺度；[xc，yc，zc]T代表三維世界點在相機坐標系下的位置；（pu，pv） 代表主點P在圖像像素坐標系中的位置；矩陣K為相機的內部參數，描述相機內部的坐標變換。

完成相機坐標系到圖像像素坐標系的轉換后，將世界坐標系轉換到相機坐標系下，變換公式為：

式中：R代表3*3旋轉矩陣；t表示3*1平移向量；矩陣[R| t] 為相機外部參數。將上式代入到式（10）中即可得到世界坐標系到圖像像素坐標系的轉換關系：

將其進一步簡化得到：

式中：A為三維世界點在世界坐標系中的齊次坐標；a為三維世界點在圖像平面上的的投影點齊次坐標；P表示相機投影矩陣；z表示三維世界點到相機焦平面的距離（深度）。

2.2三維圖像變換

步驟（2）作用是利用三維圖像變換方程，將參考圖像在三維空間中的視點投影到目標視點上。這一步通過深度值的不斷調整，模擬從不同視角觀察非遺文創產品包裝設計三維場景的效果，從而實現三維虛擬視點合成。

將非遺文創產品包裝設計深度圖中的8位灰度值使用真實場景中的最遠和最近深度值實施尺度變換：

式中：d代表深度圖的像素值；znear，zfar代表真實場景中的最近深度值和最遠深度值；設三維世界中的一個點A的齊次坐標為[x，y，z，1]T，其在參考圖像和目標圖像上的投影分別為aref=[uref，vref，1]T和ades=[udes，vdes，1]T，兩者的投影關系為：

式中：zref，zdes表示參考和目標視點相機焦平面到三維世界點A的距離；Pref，Pdes表示參考和目標相機視點相機的投影矩陣[15]。

根據上式即可獲取目標圖像的虛擬視點與參考圖像中的點的對應關系：

最后通過針孔相機的視差多角度偏移得到多個視點的非遺文創產品包裝設計深度圖像，對這些圖像實施上述三維變換并合成后，得到最終的非遺文創產品包裝設計三維虛擬視點效果。

3實驗與分析

為了驗證基于雙邊濾波算法的非遺文創產品包裝設計三維虛擬視點合成的整體有效性，需要對其展開測試。

首先建立非遺文創產品包裝設計三維虛擬視點合成的實驗環境，準備一臺配備高性能處理器和足夠內存的計算機，實驗過程中使用到Blender三維建模軟件、Substance Painter紋理映射軟件、V-Ray光照渲染引擎以及Nuke合成軟件，測試頁面見圖3。

實驗參數設定：①視點數量：10；②視點角度：-180～180°;③紋理分辨率：2048x2048像素；④主光源角度：45°。；強度100%；環境光亮度30%；⑤渲染分辨率：4000x4000像素；⑥采樣率：24；⑦抗鋸齒：8x MSAA。

基于上述測試環境，首先驗證所提方法采用的改進聯合雙邊濾波算法對非遺文創產品包裝設計深度圖像中各類空洞缺陷的修復效果，修復后圖像整體的完整度越高，對提高后續圖像三維虛擬視點合成合成精度的優勢越大。選擇測試圖像中非遺文創產品的外殼包裝為測試對象，得到如圖4所示的修復結果。

在深度信息提取后，原始的非遺文創產品包裝RGB圖像經深度信息提取后出現了較多的空洞缺陷，導致圖像不完整。通過所提方法采用雙邊濾波對圖像實施修復后，這些空缺都被精確地修復填補，這表明所提方法能夠有效地提高圖像的整體完整度，從而使其更加符合實際應用的需求。

與上述實驗的測試對象為主，運用所提方法和文獻[2]方法、文獻[3]方法對這個非遺文創產品包裝深度圖像展開三維虛擬視點合成，并用V-Ray光照渲染引擎對其實施彩色渲染，三種方法的合成結果見圖5。

根據圖5，可以清楚地看到，在三種合成方法中，只有所提方法能夠完整且精確地展現出非遺文創產品包裝設計的三維虛擬視點效果，這種方法得到的結果色彩飽滿，為設計師提供了更真實的效果；相比之下，文獻[2]方法得到的三維虛擬視點效果較差，出現了偽影和空洞現象；雖然文獻[3]的方法沒有出現空洞現象，但仍然存在較多偽影。這兩種傳統方法均存在瑕疵，由此可以說明所提方法的性能更好。

最后從客觀方面（PSNR值和SSIM值）對所提方法、文獻[2]方法以及文獻[3]方法展開對比。PSNR是一種基于峰值信噪比的客觀評價指標，用于衡量原始圖像和合成視點之間的像素級差異。PSNR值越高，說明兩者越接近，方法性能越好；SSIM是一種結構相似性指標，用于衡量兩者之間的結構相似程度，SSIM值越接近于1，說明兩者結構越相似，性能越好。

在給定一組非遺文創產品包裝設計圖像的不同虛擬視點個數下，采用上述三種方法展開三維虛擬點合成測試，獲取的PSNR值和SSIM值對比結果由表1描述。

分析表1的數據可以知道，文獻[2]方法獲得的非遺文創產品包裝設計三維虛擬視點合成結果的PSNR、SSIM值均比較低；文獻[3]方法雖然比文獻[3]方法的PSNR值要高，但SSIM值與所提方法相比，還是要低一些，且值不夠穩定；相比之下，所提方法下無論是PSNR值還是SSIM值均高于其他兩種傳統方法，說明所提方法能夠更顯著地提高非遺文創產品包裝設計三維虛擬點合成后的質量。

4結語

為了實現非遺文創產品包裝設計的三維虛擬視點合成，使用深度提取方法，獲取其深度圖像，重點在于采用自適應聯合雙邊濾波方法，修復圖像缺陷，創新之處在于結合DIBR技術，將深度圖像轉換為三維虛擬視點圖像。這一過程結合了傳統非遺工藝與現代技術，三維虛擬視點合成合成精度具有優勢，各類空洞缺陷的修復質量較高，且彩色渲染結果沒有出現空洞現象，瑕疵較少，PSNR值和SSIM值均得到提高，呈現出更真實更全面的非遺文創產品包裝設計效果，不僅能夠提升產品包裝的視覺效果和質感，滿足消費者的多樣化需求，同時也能夠推動傳統文化的傳承和創新發展，具有顯著的必要性。

參考文獻：

[1]柏清，任宇翔.基于非遺文化的文創產品設計探究[J].包裝工程，2023，44（18）：351-353、384.

[2]蔡李美，李新福，田學東.基于分層圖像融合的虛擬視點繪制算法[J].計算機工程，2021，47（4）：204-210.

[3]Kim G，Lee D.Adaptive View Sampling for Efficient Syn?thesis of 3D View Using Calibrated Array Cameras[J].Elec?tronics，2021，10（1）：82.

[4]邢毓華，胡曉龍，楊琛.基于分層聚類二維視點合成的集成成像系統[J].量子電子學報，2021，38（1）：2-9.

[5]Wang Z，Tu K，Lv G，et al.Cross Talk-free Retinal Projec?tion Display Based on a Holographic Complementary View?point Array[J].Optics Letters，2023，48（9）：2437-2440.

[6]婁聯堂，何慧玲.基于圖像灰度變換的OTSU閾值優化算法[J].中南民族大學學報（自然科學版），2021，40（3）：325-330.

[7]潘少偉，王蒙歌，王亞玲，等.改進Sobel算子對巖心圖像的邊緣檢測研究[J].數學的實踐與認識，2021，51（17）：119-129.

[8]張博，劉紅平.基于多目標視頻圖像邊緣特征的核相關濾波跟蹤算法[J].激光與光電子學進展，2021，58（6）：132-139.

[9]陳亞超，樊彥國，禹定峰，等.考慮法向離群的自適應雙邊濾波點云平滑及IMLS評價方法[J].圖學學報，2023，44（1）：131-138.

[10]唐偉，賈方秀，王曉鳴.基于雙邊濾波的可見光與紅外圖像自適應融合[J].兵工學報，2022，43（11）：2836-2845.

[11]俞利新，崔祺，車軍等.結合結構重參數化方法與空間注意力機制的圖像融合模型[J].計算機應用研究，2022，39（5）：1573-1578、1600.

[12]高傳斌，朱莉，張華，等.基于向量相似度的LPG-PCA圖像去噪算法[J].微波學報，2023，39（4）：83-88.

[13]張博文，周洋，殷海兵.面向三維視頻的虛擬視點合成技術研究進展[J].計算機工程與應用，2021，57（2）：12-17.

[14]何澤，黃寧，王鵬，等.針孔相機全場X射線熒光成像的模擬研究[J].強激光與粒子束，2021，33（11）：184-192.

[15]趙祖陽，崔海華，杜坤鵬，等.基于單應性矩陣的三維激光投影標定方法[J].光子學報，2022，51（11）：312-321.

Three Dimensional Virtual Viewpoint Synthesis for Packaging Design of Non Heritage Cultural and Creative Products Based on Bilateral Filtering Algorithm

SI Lili

（1.College of Arts and Media，Chuzhou City Vocational College，Chuzhou Anhui，239000，China;2.Graduate School，Chinese National Academiny，Beijing 100029，China）

Abstract：3D virtual viewpoint synthesis enables designers to create three-dimensional effects for packaging design of non heritage cultural and creative products on computers，providing a more realistic and comprehensive visual experience.Therefore，a 3D virtual viewpoint syn-thesis for packaging design of non heritage cultural and creative products based on bilateral filtering algorithm is proposed.Firstly，a depth map extraction method based on relative height depth is adopted to obtain depth information from packaging design images of non heritage cultural and creative products;Aiming at the defects such as noise and holes generated during the process of depth image extraction，an im-proved adaptive joint bilateral filtering method is introduced to implement image restoration，thereby to obtain more complete and clear depth images of packaging design for non heritage cultural and creative products;Finally，depth image-based rendering（DIBR）technology is introduced to derive the repair value for missing depth，and through DIBR pinhole camera model and 3D image conversion equation，the repaired depth image is converted into a 3D virtual viewpoint image，and its 3D virtual viewpoint synthesis is achieved.The experimental re-sults show that the proposed method can accurately repair and fill the RGB image gaps in the packaging of non heritage cultural and creative products，with a high overall integrity;Fully and accurately display the three-dimensional virtual viewpoint effect of packaging design for non heritage cultural and creative products，with full colors and fewer defects;Both PSNR and SSIM values have been improved.The 3D virtual viewpoint synthesis method can effectively repair defective images，improve the quality of 3D virtual point synthesis，and meet the packaging design requirements of actual non heritage cultural and creative products.

Keywords：depth map extraction;bilateral filtering;DIBR;3D image conversion;virtual view synthesis

（責任編輯：李強）