基于深度學習的陰影智能去除方法研究

馬曉晴 常 樂

北京電影學院中國電影高新技術研究院，北京 100088

1 背景與現狀

電影的視效制作是電影生產中的重要環節。材質貼圖（Texture Map）作為后期視效制作中的重要資產，直接決定了模型的質感與逼真程度，在實現高度真實感的虛擬場景方面起到了關鍵作用[1]。

材質貼圖數據主要指高分辨率的紋理圖像，一般通過三維繪制軟件制作，例如Mari 和Substance 3D Designer，或者直接從現有素材庫中挑選。材質重建也是獲取紋理貼圖的方式之一，通常采用架設多角度的掃描或拍攝設備對材質進行捕捉，而后數字化重建，也可直接使用深度神經網絡進行材質推斷獲取貼圖數據。材質重建內容主要可分為幾何形狀和表面紋理兩方面，前者對應于法線貼圖等幾何結構的推斷，后者主要涉及漫反射貼圖中表面基本色彩與紋理等信息的恢復。為了獲得逼真的材質外觀，以確保精確模擬不同環境光下的表面特性，需要對獲取圖像進行預處理并去除陰影。

材質表面與環境光相互作用，形成陰影等效應，在帶來真實感的同時，也會給圖像帶來相關任務如模糊表面細節等負面影響，從而導致圖像應用無法正確判斷紋理及顏色等信息。因此，陰影去除效果的好壞直接決定拓展應用的準確度與效率[2]。陰影是數字圖像處理領域中常見的挑戰之一，它被定義為光遮擋的直接效應，受到光源類型和強度、距離、遮擋物本身形狀等多方面因素影響。根據產生原因不同，陰影可分為投射陰影與自陰影；根據投射強度不同，其又可分為硬陰影與軟陰影。

目前，已有軟件針對材質或模型表面的陰影問題進行處理，但由于操作門檻較高且處理效果因人而異，因此開發具有簡易性的陰影智能去除工具顯得十分必要。近年來，深度學習（Deep Learning）技術取得了非凡的進步，在圖像處理方面取得顯著成就，其卓越的特征學習（Feature Learning）和模型預測（Model Prediction）能力在圖像分割（Segmentation）、去噪（Denoising）、增強（Enhancement）等領域發揮了重要作用。然而，如何在保證輸出質量的前提下提升效率依然是該領域面臨的核心與熱點問題之一。數據驅動的深度學習方法開辟了一種新的研究思路，將針對圖像的高真實感繪制方法映射為機器學習問題，從而大大降低計算成本[3]。在此背景下，本文專注于深度學習技術在圖像陰影去除領域的應用研究，旨在找到一種去除普遍存在陰影的方法，特別關注材質紋理陰影處理的現狀。同時，篩選重制出具備表面和場景多樣性的圖像數據集，通過模型訓練和結果分析，為材質紋理陰影去除提供一定經驗。

2 陰影去除方法

2.1 一般陰影去除方法

2.1.1 基于偏振片的陰影去除方法

此方法利用偏振濾光片抑制反射光，能在采集階段消除部分高光和反射陰影。偏振片僅過濾反射形成的線偏振光，而無法影響非偏振散射光。因此，該方法必須與額外技術配合，才能達到有效的去除結果。

2.1.2 基于手動光照采集的陰影去除方法

此方法常見于攝影建模的照片拍攝過程中，同時利用金屬球與灰度球進行三維場景光照的采集，前者反射顯示光源位置與高動態范圍（High Dy‐namic Range，HDR）信息，后者顯示光強與色溫，為后期處理中實現照明還原與匹配提供重要信息。

該方法需為每個場景專門采集光照數據，過程復雜冗長，且對采集設備與虛擬場景重建的質量要求極高，否則無法準確匹配實際光照效果。

2.1.3 基于后期軟件工具的陰影去除方法

（1）Adobe Lightroom 等圖像處理軟件大多都可實現去除陰影功能。通過手動調整顏色、亮度或對比度等屬性，改變明暗關系，填補相應像素，實現用戶所需視覺效果。該方法操作要求高，其效果優劣取決于使用者的經驗，不適用于大批量數據處理與去除細節陰影的情況。

（2）Unity De‐lighting Tool 應用于二維材質貼圖。它針對環境光與全局光照信息的去除，主要原理是采集環境光照色彩查找表（Lookup Table，LUT），通過多次采樣，使整體顏色和亮度都更接近平均值。由于算法設定，該工具對于投射陰影無法處理，并且在復雜材質組合的場景中需用戶交互操作，例如多次使用遮罩手動分離不同材質區域、不同光照區域等。

（3）Agisoft 是數字攝影測量領域的先驅，其去除陰影相關工具為Agisoft Metashape 與Agisoft Texture De‐Lighter，兩者處理對象均為三維模型。

①Agisoft Metashape

Agisoft Metashape 軟件中與去除陰影相關的功能為“Remove Lighting”，它依靠計算生成環境光遮蔽（Ambient Occlusion，AO）貼圖，自動去除環境光照，使三維模型亮度更加合理。

②Agisoft Texture De‐Lighter

該工具主要去除投射陰影與環境光遮蔽。AO去除與Agisoft Metashape 中“Remove Lighting”原理基本相同。投射陰影的去除基于顏色，需要用戶標記陰影與照明區域。算法假設陰影邊緣不與不同材料邊緣重合，因此當情況不滿足假設時會產生顏色溢出。

綜上所述，現有工具特點如表1 所示。不難發現，軟件去除陰影基本都需要較為繁瑣的操作，且最終效果取決于用戶經驗。若想實現針對圖像陰影的智能化去除，仍需開展相關研究工作。

表1 各類去除陰影軟件對比

2.2 智能陰影去除方法

深度學習圖像處理一直是計算機視覺（Com‐puter Vision）領域的重要研究任務，陰影去除主要利用的深度學習基準模型有卷積神經網絡（Convolu‐tion Neural Network，CNN）、生成式對抗網絡（Genera‐tive Adversarial Network，GAN）及基于注意力機制的Transformer 等。

2.2.1 基于CNN 的圖像陰影去除

CNN 主要由卷積層、池化層和全連接層組成。在陰影去除任務中，深層CNN 結構首先學習局部簡單特征，例如邊緣和紋理等；隨著網絡層數的加深，進而學習更高級的語義特征，以識別不同對象；同時捕捉全局內容和風格特征，實現陰影區域的色彩與細節重建。

2014 年，Khan[4]等人首次將CNN 引入陰影區域與邊界特征的自動學習中，結果明顯優于之前最好方法。后續相關研究不斷發展，大部分方法均通過端對端的訓練，學習成對的陰影和無陰影圖像之間的映射。

DeshadowNet方法[5]利用多種上下文信息，預測陰影遮罩以消除陰影；Hu[6]等人以方向感知的角度分析圖像信息，實現陰影檢測與去除；Le[7]等人使用不同網絡分別預測陰影參數和遮罩，同時，他們還對該任務通用數據集ISTD（Dataset with Image Shadow Triplets）進行數據增強與地面色調調整，提出ISTD+數據集。

2.2.2 基于GAN 的圖像陰影去除

2014 年，GAN 由Goodfellow[8]等人首次提出。作為在卷積神經網絡基礎上拓展的一種深度學習模型，GAN 通過生成器和判別器兩個基礎模型，實現正向傳播和反向判別的相互博弈，輸出最接近于真實的運算結果。

2017 年，Wang[9]等人首次使用基于GAN 的方法檢測并去除陰影。為全面評估框架性能，研究者同時構建了第一個大規模陰影去除基準，其中包含ISTD 數據庫。后續Mask‐ShadowGAN[10]，DC‐Shad‐owNet[11]等研究均利用GAN 從圖像生成的角度進行陰影去除。

2.2.3 基于Transformer 的圖像陰影去除

Transformer 是一種基于自注意力機制的神經網絡，最初為自然語言處理（NLP）任務而提出。由于它能夠很好整合遠距離上下文信息，近來已被擴展并應用于多個圖像和視頻任務。2022 年，Zhang[12]等人提出SpA‐Former，首次將Transformer 引入圖像陰影處理任務中。2023 年，Guo[13]等人提出ShadowFormer方法，聚焦于陰影邊界偽影以及陰影區域內外照明不一致問題，實驗結果表明該方法有效增強了陰影區域內外相關性。

總得來說，現有模型側重于去除圖像中顯著的投射陰影特征，很好地完成了初級任務中硬陰影去除與基本信息保留，為處理材質紋理陰影問題奠定了基礎。后續應結合材質外觀特有屬性，重點關注軟陰影去除與紋理色彩等細節的恢復重建，以及處理高分辨率輸入的相關問題。

3 材質紋理陰影的去除

3.1 任務難點

一般來說，后期視效流程中的材質分辨率越高，最終渲染效果就越細致真實，提供的視覺體驗更出色。高度真實感的畫面呈現對于影視、游戲等領域尤為重要。然而，即使使用大量計算資源，神經網絡的容量也很難直接處理高分辨率的輸入，它的處理算力應集中在陰影去除和細節恢復方面。為此，針對高分辨率輸入，考慮使用可擴展的數值方法，例如圖像分塊（Image Patching）或下采樣（Down Sampling）等。此外還需驗證預處理方法對最終結果的影響。在模型訓練的實際過程中，需要在分辨率、預處理方式、網絡參數和硬件條件等諸多方面進行權衡，尋找平衡點。通過不斷的實驗探索，在確保輸出質量的同時，實現高效計算與訓練。

在寶寶的日常護理中，紙尿褲的選擇一直至關重要。為了滿足寶寶紙尿褲卓越品質的不斷升級，國內紙尿褲行業巨頭—MamaMia紙尿褲于2017年10月29日在蘇州的獨墅湖世尊酒店舉辦新品發布會。以輕薄柔軟著稱的MamaMia紙尿褲，此次推出新品天使版系列，其僅有0.2cm的極致輕薄和超強鎖水芯體再次獲得母嬰群體的稱贊與青睞。

相關數據集的制作同樣為該研究面臨的挑戰之一。首先，可采用真實拍攝的方式，獲取同一材質表面的兩張照片，一張使用特定光照設置以產生陰影，另一張使用散射光以避免陰影，并使用偏振濾鏡以避免任何鏡面高光反射，但后續仍需處理來自不規則表面中遮擋區域的自陰影，且理論上無法獲得真正無陰影的圖像。此外，為獲取具有代表性的數據集，需要捕獲足夠的材質類型和光照條件變化，這將耗費大量時間。因此，真實拍攝的方式并不適合構建數據集。其次，可以考慮從現有一般數據集中進行篩選，例如ISTD。然而其圖像內容單一，光源和物體之間交互有限，并不符合目標中對于陰影種類多樣的要求。目前，使用合成數據訓練神經網絡已被證明是高效且可靠的[14][15]，因而本研究考慮創建虛擬材質圖像數據庫，使用軟件模擬并合成材質，設計不同光照環境下多樣化陰影類型表現，以漫反射貼圖為真實無陰影圖像，進行學習訓練。

除了前述觀點，還需關注最終還原材質表面的微觀結構和顏色特征的準確性。如何在去除局部陰影的同時，保持紋理的連續性和一致性，不產生模糊或偽影，整合局部與全局信息，是網絡設計與訓練中的關鍵挑戰。

3.2 現有研究

一般使用神經網絡實現材質重建的研究中，通常忽略對于捕獲圖像的預處理，使得最終輸出貼圖仍殘余明顯陰影[15][16]，這將對貼圖資產的后續使用造成極大影響。在特別處理紋理陰影或漫反射貼圖恢復的研究中[17]，通常采用CNN 中U‐Net[18]作為基本范式。U‐Net 網絡架構形似字母“U”，包括編解碼塊以及之間的跳躍連接，能夠有效融合淺層與深層信息，更好地恢復原始圖像中的細節信息，且該網絡已被證明廣泛適用于大多數的圖像轉換任務[19]。另外，相關研究劃分了不同類型材質種類，進行分類學習與訓練。最終結果成功保留了大部分紋理細節，有效去除投射陰影和高光，但對于較為細微的軟陰影處理仍需進一步探索。

4 使用混合數據集的基于U?Net 去除陰影實驗

在使用深度學習模型處理一般圖像陰影取得較好效果之后，結合特定數據集進行自監督學習（Self‐Supervised Learning）與模型微調（Fine Tuning），被認為是提高模型在特定領域泛化能力的一種有效策略。因此，本文采用該研究策略，使用材質處理中常見的U‐Net 模型，摒棄常見的均為投射硬陰影的圖像數據庫，依照分辨率與陰影多樣性要求，進行大量調研，最終選擇WSRD 數據集[20]作為數據來源。以表面多樣性與紋理豐富性為指標，篩選并構建出包含大量場景和陰影表征的特定訓練數據集，完成模型訓練和結果分析，嘗試為后續研究材質紋理陰影問題提供有價值的參考。

WSRD 數據集捕捉場景豐富，具備充足的顏色和紋理表征。最終構建600 對分辨率為1920×1440的陰影與無陰影圖像，其中400 對用于訓練，100 對用于驗證，100對用作測試（圖1）。其中，驗證集與測試集均有70%的圖像未出現在訓練集當中。

圖1 部分數據集圖像對

4.1 網絡結構

該網絡是基于U‐Net 的深度卷積網絡，能夠預測每個像素的陰影映射關系。本研究采用下采樣的方式，對輸入進行了預處理。由于輸入的高分辨率，因此在其特征空間進行下采樣具有一定優勢。

模型的編解碼塊各5 層，各層之間通過跳躍連接（Skip Connection）相連。每個編碼塊（Encoder Block）中，利用多個卷積層提取圖像特征，使用跨步卷積（Strided Convolution）進行下采樣操作，同時使用歸一化（Normalization）處理和激活函數（ReLU），防止因逐層累積而造成梯度消失，并加快網絡收斂速度。每個解碼塊（Decoder Block）中，對從編碼塊傳輸的特征圖進行轉置卷積（Transposed Convolution）運算，同時將跳躍連接捕獲的低級特征傳輸到解碼器高層，從而減少低層特征丟失，盡量保留圖像內容，最后通過輸出模塊得到結果。

圖2 網絡結構

本文使用像素損失、遮罩損失與感知損失的組合計算預測與基準真實值的差距，前兩種損失計算對應圖像之間的均方誤差，而感知損失比較的是圖像之間的高級語義差異。

4.2 實驗結果與分析

本實驗硬件采用NVIDIA A100 顯卡，軟件環境采用64 位Ubuntu 系統，應用Python 3.10、CUDA 11.0、PyTorch 2.1.0 等相關工具包。選擇Adam 優化器，采用按需調整學習率，一共迭代訓練300次。

4.2.1 結果對比

輸入圖像表示原始陰影圖像，輸出圖像為模型預測輸出的結果，真實遮罩由原始圖與無陰影圖計算得到，輸出遮罩由原始圖與預測圖計算得到。圖3和圖4 展示了一些模型訓練時的輸出樣本和計算得到的陰影遮罩，結果表明，該網絡成功去除了均勻強度的強陰影與自陰影，同時完整保留了原始圖像內容（圖3第一、三行）。當陰影與復雜紋理或背景交織時，去除效果受到影響。如果背景紋理中色彩差異明顯，且與陰影顏色差距大，模型可實現良好的去除效果，且較為完整地保留原始紋理信息（圖3 第二行）。但是當背景紋理細節豐富，顏色飽和度高，尤其是與陰影顏色不易區分時，輸出中常會伴有一定的邊界偽影，且丟失部分紋理信息（圖3 第一、四行，圖4第一行）。針對此類陰影與背景色度差異較小的情況，可將模型在對應特定數據領域進行微調，與主要功能的實現進行結合。

圖3 模型訓練部分結果

4.2.2 定量評估

本文使用三種誤差指標，量化并比較模型在測試集上的陰影去除效果。均方根誤差（Root Mean Squared Error，RMSE）計算預測值與真值誤差平方的算術平方根，其值越小表示預測越準確。峰值信噪比（Peak Signal‐to‐Noise Ratio，PSNR）衡量對應圖像之間的相似度，其值越高表明圖像噪聲占比越小。結構相似性（Structural Similarity,SSIM）指數考慮人眼對圖像的感知特性，通過亮度比較、對比度比較與結構比較三方面來評估圖像相似度，取值范圍是[-1,1]，數值越高表明圖像差異越小。觀察表2可知，使用模型處理前后，誤差指標均發生顯著改變。相較于原始陰影圖像，本文方法得到的輸出圖像實現了陰影的有效去除，輸出結果與真實無陰影照片相似度顯著增加。

表2 測試集平均誤差數據表

5 總結與展望

本文分別針對一般圖像陰影去除任務和材質紋理陰影去除問題展開了深入探究。對于前者，研究基于WSRD 數據集篩選并構建了具備豐富表征性的特定訓練數據集，完成模型訓練與結果評估。實驗表明模型在多種場景下均取得了令人滿意的效果，在較好地去除投射陰影、自陰影與軟陰影的同時，完整恢復了原始圖像中的顏色紋理等細節。然而，在某些復雜場景下，該模型效果仍需進一步優化完善。復雜場景主要包含以下三種情況：陰影邊緣模糊且形狀較小、背景顏色與陰影相似、陰影完全遮擋主體部分。針對以上情況，可分別制定對應數據集，例如收集并制作軟陰影數據集或深色背景陰影數據集等，將模型在指定數據領域上進行微調，與主體模型相結合，構成框架應用。該方式相較于訓練出能夠推廣至每個領域的大型網絡來說，更為節省算力且具備較高擴展性。

針對材質紋理的陰影去除問題，本文分析其面臨的挑戰，總結了現有模型和處理水平。未來研究將著重制作特定數據集，特別關注紋理中難以處理的軟陰影或自陰影部分，以全新數據庫喂養模型，通過參數優化，實現參考算法的遷移學習（Transfer Learning），并嘗試提高紋理恢復的準確性。同時進行高分辨率輸入的預處理實驗，以實現在固定類型下材質陰影的智能去除，同時滿足后期制作中對于材質貼圖的規格要求。