基于互反射先驗的端到端沉浸式投影補償

胡宗禹 程鵬 劉建 劉洪 陳虎 張意 楊紅雨

沉浸式投影系統中的互反射現象會導致投影質量下降，投影補償任務通過對輸入圖像的修改補償，減少互反射造成的影響從而得到更好的成像效果.投影補償任務是研究輸入原圖與最終成像之間的關系，通過對輸入圖像的修改補償，減少互反射造成的影響從而得到更好的成像效果.本文提出互反射先驗，互反射先驗是指發生互反射的區域的臨近區域通道像素值十分接近最大值256，因此通過圖像的區域通道像素值可以獲得互反射信息.本文提出的互反射補償網絡（IRCN），通過互反射先驗生成互反射掩膜，消除沉浸式投影環境中的多余互反射.為了驗證IRCN模型，使用了超過5000對投影圖像數據集和曲面投影系統以及折面投影系統來完成實驗.本文將IRCN對比多種現有投影補償方法，實驗結果表明IRCN在PSNR，RMSE，SSIM，均值標準差分析等客觀評價指標中具有明顯優勢，說明本文提出的IRCN能夠有效利用互反射先驗信息，對沉浸式投影環境中的互反射現象進行補償，在均衡訓練時間的基礎上增強了投影效果.

投影補償； 神經網絡； 互反射； 沉浸式投影

TP389.1 A 2024.012001

End-to-end projection compensation in immersive ?projection systems based on the inter-reflection prior

HU Zong-Yu ?1 ， ?CHENG Peng ?2 ?， LIU Jian ?3 ， LIU Hong ?1，4 ， ?CHEN Hu ?1 ， ZHANG Yi ?5 ， YANG Hong-Yu ?1，4

（1.College of Computer Science， Sichuan University， Chengdu 610065， China;

2. School of Aeronautics and Astronautics， Sichuan University， Chengdu 610065， China;

3.Airspace Management Center， Air Traffic Management Bureau， Beijing 100000， China;

4.State Key Laboratory of Fundamental Science on Synthetic Vision， Sichuan University， Chengdu 610065， China;

5. School of Cyber Science and Engineering， Sichuan University， Chengdu 610065， China）

The inter-reflection phenomenon in immersion projection systems seriously affects the effect of projection， the projection compensation task can reduce the influence caused by the inter-reflection by modifying and compensating the input image so as to obtain a better imaging effect. In this paper，an inter-reflection prior is proposed， which means that the color effect of the region where inter-reflection occurs is very close to the maximum 256 due to the light superposition effect. Therefore， inter-reflection information can be obtained through the regional channel pixel of the image. The Inter-Reflection Compensation Network （IRCN） proposed in this paper generates an inter-reflection mask value through the inter-reflection prior， so that the IRCN can eliminates the excess interreflection in immersive projection environments. To verifly the IRCN model， the erperiment were ?performed on more than 5000 pairs of projected image datasets and curved projection system， and fold projection system.Compared with the existing projection compensation methods， the experiment results show that IRCN has obvious advantages in objective evaluation indicators such as PSNR， RMSE， SSIM， mean and standard deviation analysis， The proposed IRCN can effectively utilize the inter-reflection prior information to compensate for the inter-reflection phenomenon in the immersive projection environment， and enhance the projection effect based on balancing the training time.

Projection compensation; Neural network; Inter-reflection; Immersive projection

1 引 言

近年來，沉浸式投影系統發展迅速，特別是各種包圍式投影系統飛速興起.塔臺模擬系統、飛行模擬系統等對投影質量有一定要求的大型投影系統在國內外廣泛應用，使得投影質量重建工作尤為重要，因此投影補償成為一個重要的課題 ?［1-3］ .

投影互反射是指入射光在幾個反射面間多次反射的現象，在沉浸式投影系統，特別是上文提到的大型包圍式投影環境中互反射現象普遍存在并成為影響投影成像質量的主要因素之一.投影補償是指建模整個投影系統，從輸入圖片到最終成像的整體改變中得到一定的規律，進而補償投影儀的輸入圖片，達到增強投影圖像質量的過程.

最近卷積神經網絡在投影圖像質量增強方面的應用展現了巨大的潛力.Huang等提出的CompenNet ?［4］ 第一次使用神經網絡解決投影質量重建問題，這種方法假設投影面是不平整且有紋理的，使用一張合適的投影面背光圖片作為輸入，通過相同的下采樣設計，在對輸入圖下采樣的同時補償投影面的紋理和背景. Li等人 ?［5］ 提出的SRCN首次在投影補償任務中考慮人眼感知，SRCN在輸入端進行伽馬矯正，并且在CompenNet的基礎上增加了超分層和感知損失函數嘗試提升圖像生成效果. Lei等人 ?［6］ 提出的基于注意力機制的卷積神經網絡PairNet首次提出使用先驗信息對神經網絡進行優化設計，類似于通道注意力機制，該方法先驗信息的計算區域為1×1區域，采用這樣的先驗信息的注意力機制對互反射現象達到抑制效果.

受到上述工作的啟發，綜合考慮多種方法的優劣勢，本文提出一種全新的互反射先驗，并且基于互反射先驗提出一個投影補償卷積神經網絡.該網絡通過互反射先驗信息，對受到互反射污染的圖片區域精確補償互反射影響，并且通過一個幾何矯正網絡的設計，實現端到端的投影圖像質量重建.

綜上所述，本文有以下貢獻：（1） 在多種沉浸式投影環境中分析研究了互反射問題，提出互反射先驗用于從投影圖像中直接獲取互反射信息;（2） 構建了全新的端到端IRCN模型，通過融合幾何矯正網絡實現真正端到端訓練網絡，降低數據處理工作量;（3） 提出的IRCN模型生成的補償圖像重投影質量優于主流基線，能夠利用互反射先驗信息有效消除互反射現象.

2 相關工作

2.1 傳統方法

傳統投影補償方法假設投影儀輸入圖像和相機捕獲圖像之間的像素存在一一對應關系，然后建立對應的光傳輸矩陣 ?［7，8］ .Ren等人 ?［9］ 根據這一假設提出求解光傳輸矩陣的逆矩陣從而實現投影質量重建的方法.然而投影儀，攝像機各自的雙邊反射以及光線在投影面上的反射導致像素對應的假設存在一定問題，并且光傳輸矩陣過于復雜，幾乎難以求得精確解.為了解決這些問題，不依賴構建光傳輸矩陣的方法被提出，Bimber等人 ?［10］ 提出一種建立真實反射模型方法，通過計算互反射，將原圖像素對應減去計算所得互反射，直接補償相應的互反射.Li等人 ?［11］ 提出的方法采用投影儀攝像機系統進行非數值計算的物理矩陣向量乘法模擬，同時該方法采用一種移位克雷洛夫子空間方法來消除物理乘法模擬和非負裁剪過程中產生的累積噪聲，從而提升投影質量.但是這些方法很難直接估計互反射情況，模擬計算的補償量并不精確，在實際環境中容易導致過度補償等問題.

大規模的矩陣面臨計算時間成本過高，補償效果不佳等問題，因此一些依賴額外設備的方法被提出，Takeda等人 ?［12］ 提出了基于投影相機對的空間反射模型，該模型用一種光致變色化合物繪制屏幕，當紫外線照射時，這種化合物會改變顏色.紫外線照射可以通過屏幕后面的紫外線LED陣列來控制，通過借助這些信息達到補償的效果.這些方法往往不僅需求包括結構光探測器，紫外線陣列板等昂貴的額外設備，而且需要精確的幾何和光度校準.

2.2 深度學習方法

隨著神經網絡的發展，深度學習方法在圖像處理方面的應用愈發成熟，一些基于深度學習的圖像處理方法，如圖像風格遷移算法pix2pix ?［13］ ，cyclegan ?［14］ 等以及圖像增強算法 ?［15，16］ ，圖像超分算法 ?［17-19］ 和基于注意力機制的神經網絡算法 ?［20，21］ 都展示了神經網絡在投影補償任務中的的潛力和可能性.

在投影補償方面，Huang等人 ?［4］ 第一次提出了CompenNet使用深度學習方法解決投影質量增強問題.這種方法采用了類似U-net ?［22］ 的跳躍連接，采用卷積神經網絡分別采樣投影面背光圖像和攝像機捕獲投影圖像，通過一系列卷積操作，以投影儀輸入圖像作為監督，端到端地完成了投影補償任務.這種方法設計了背光投影表面圖像采樣網絡，但是對于同一種投影表面，使用不同亮度，色彩的環境光照射會導致結果的巨大差別，很難找到合適的配置.Li等人 ?［5］ 提出的SRCN在CompenNet的基礎上增加了超分層和感知損失函數嘗試提升圖像生成效果，并且在輸入端進行伽馬矯正使補償效果更貼合人眼感知，但是這樣的網絡結構和CompenNet區別并不明顯，在客觀評價指標上的提升也有限.Lei等人 ?［6］ 提出的PairNet采用先驗信息，并設計兩個光度補償子網分別對前景和背景光針對性補償，并融合兩個子網的輸出與先驗信息的乘積作為輸出.該方法使用的先驗信息僅僅考慮單點像素，而且通過先驗信息獲得的掩膜直接與生成圖像乘積的做法有待商榷，并且有著網絡較大，訓練時間較長以及數據處理較復雜等問題.這些深度學習方法往往沒有針對考慮區域性的互反射問題，并且普遍面臨需要裁剪數據集，數據整理工作復雜的問題.

3 互反射補償網絡設計

3.1 互反射先驗

互反射是沉浸式投影環境中普遍存在的現象，本文提出的互反射先驗受到暗通道先驗 ?［23］ 和互反射通道先驗 ?［6］ 的啟發，基于沉浸式投影系統中投影圖像由于單點的像素受到復雜光反射影響可能受該點附近區域高亮度像素點影響，導致最終投影圖像比原始圖像亮度普遍較高的事實.對于攝像機捕獲的與原始圖像像素對齊的投影圖片 I ??cam ， x 點的互反射先驗由以下公式計算而來：

Mask （x）= ∑ 3 ?i=1 ?f ??y∈Ζ（x） （i， ?max ????c∈{r，g，b} （I ?c ??cam ?（y））） 3 ???（1）

其中， c 是 y 點的rbg像素值; Ζ（x） 是圍繞 x 的3×3 ??區域; ??max ???c∈{r，g，b} （I c ??cam ?（y）） 是 y 點rbg像素通道中對應最大值的通道，本文稱這個值為互反射像素， f ?y∈ Ζ （x） （i，c） 是求在 ?Ζ （x） 區域內一共3×3=9個點的互反射像素值從大到小排列后第 i 大的那一個.不同于兩種通道先驗方法只計算單點像素，考慮到在投影任務中存在原本自身的通道像素值較高的情況，因此本文設計了區域性先驗.這樣的互反射先驗計算所得的互反射掩膜能夠綜合考慮到圖像本身高像素區域成像效果以及互反射對成像的影響，從而進一步增強互反射抑制效果.

在存在互反射現象的投影圖像中，部分局部的高亮度可能會影響周圍大部分區域的投影質量，互反射先驗能夠獲取這些區域信息.本文分析了超過4000張投影圖片的互反射先驗值的累積分布，從圖1可以看到有大量區域的互反射先驗單點像素趨近256最大值，這些區域的成像質量受到極大影響.

3.2 投影系統的數學模型

本文的投影質量補償系統是由一個投影儀-攝像機對和一個與投影儀距離方向固定的沉浸式投影屏幕構成，如圖2和圖3所示.為了在多維度驗證本方法的可行性，本文采用了曲面屏和90°折面屏兩種投影面構建了兩套投影系統.

本文的投影系統均可以描述為

y=G（f c（f s（f p（x，p），g，r），c）） ?（2）

其中， y 是與輸入圖像 x 像素對齊的攝像機捕獲圖像； x 是投影儀的輸入圖像； f p 是投影儀的幾何光度畸變函數； p 是幾何光度畸變的參數； f s 是 投影面表面雙向反射率分布函數； g 是全局環境光照參數； r 是互反射參數； f c 是相機的復合捕獲函數； c 是對應的參數； G 是從攝像機原始捕獲圖片到與輸入圖片像素對齊的幾何畸變函數.需要注意在投影補償流程中輸入圖片為原始圖片，不存在幾何畸變，因此在補償流程里輸入圖片不需要幾何校正.由于沉浸式投影環境一般要求在無全局光的情況下部署，本文的投影系統控制全局環境光照參數 ?g=0 ?，同時將各個函數的參數融合進函數中，保留互反射參數，將 f c，f s，f p 融合成一個函數 F ：從投影儀輸入圖片到攝像機捕獲圖片的光度偏移函數，能得到式（3）.

y=G（F（x，r）） ?（3）

考慮互反射先驗信息，用 mask 表示與輸入圖像x像素對齊的互反射掩膜，可以將式（3）寫為式（4）：

y=G（F（x）+mask） ?（4）

即相機捕獲的與輸入圖像像素對齊的圖像是由輸入圖像的正常光度變化與互反射額外污染共同作用形成.

投影圖像補償的目的是找到一張補償圖像 x * ，使得最終成像效果能達到投影儀輸入圖像 y * 的水平即：

y *=G（F（x *）+mask） ?（5）

由于投影儀輸入圖像已知，因此在補償流程中補償圖像 x * 可以表示為：

x *=F ?-1 （G ?-1 （y *）-mask） ?（6）

3.3 基于深度學習的公式

由于前文提到，互反射信息可以從攝像機捕獲圖像中計算得到，將從該圖像到對應的互反射掩膜的轉換函數寫為 M ，神經網絡訓練過程可以從式（6）表示為：

x ?^ =F ?-1 （G ?-1 （y）-λ×M（G ?-1 （y））） ?（7）

其中， x ?^ ?為訓練中網絡整體輸出； y 為攝像機捕獲圖像，即 λ 控制互反射先驗信息對最終圖像的影響程度，并產生對應的互反射掩膜，作為先驗信息加入網絡訓練中.將 F ?-1 ?， G ?-1 ?， M 建模為巻積神經網絡 π θ ：

x ?^ =π θ（y） ?（8）

其中， θ={θ F，θ G，θ M} 包含三個網絡的訓練參數，投影的正過程為從原圖像到攝像機捕獲圖像，而 π θ 為從攝像機捕獲圖像 y 到輸入投影儀的原圖像 y * 的過程，因此 π θ 可以直觀理解為投影逆過程， x ?^ ?是對應整體網絡輸入 y 的補償圖像.因此本文的神經網絡由原圖像，攝像機捕獲圖像對 （y *，y） 作為輸入進行訓練，將訓練集分為 N 組原圖像，攝像機捕獲圖像對，則有訓練集 ?{（y * i，y i）} ?N ?i=1 ?，整體損失函數如下.

L ??total ?=L 1+L 2+L ?SSIM ?+ λ ?s ×L ??mask ??2 ?（9）

式（9）中， L 1 ， L 2 ， L ?SSIM ?分別為整體網絡的 L ??1 損失函數， L ??2 損失函數和SSIM損失函數，具體表示如下.

L 1= 1 N ∑ N ?i=1 ??x ?^ ??i-y ?i ??（10）

L 2= 1 N ?∑ N ?i=1 ??x ?^ ??i-y ?i ??2 ?（11）

L ??SSIM = 1 N ∑ N ?i=1 ?（1-SSIM（x ?^ ??i，y ?i）） ?（12）

SSIM（x，y）= 2μ xμ y+C 1 μ x ??2+μ y ??2+C 1 × 2σ ?xy +C 2 σ x ??2+σ y ??2+C 2 ???（13）

其中， y 是輸入投影儀的原圖像； x ?^ ?為網絡整體輸出圖像； μ x 為圖像 x 的均值； μ y 為圖像 y 的均值； σ x 為圖像 x 的方差； σ y 為圖像 y 的方差； σ ?xy ?為 x 與 y 的協方差； C 1 ， C 2 是為了保持穩定避免分母為0的兩個常數.式（9）中的 L ??mask ??2 為控制互反射生成網絡輸出的損失函數； ?λ ?s為對應的參數； L ??mask ??2 表示 ?如下.

L ?mask ?2= 1 N ?∑ N ?i=1 ?（Mask（y ?i）-m * ?i） ?2 ?（14）

其中， Mask（y ???i） 為通過網絡輸入圖像 y 幾何校正后計算所得的互反射先驗，具體計算方式見式（1）； m * 為互反射掩膜生成網絡的輸出.

3.4 卷積神經網絡設計

IRCN由三部分：一個幾何矯正網絡，一個光度矯正網絡和一個互反射掩膜生成網絡組成.在訓練中，攝像機捕獲圖像首先輸入幾何矯正網絡，生成與投影儀輸入圖像像素對齊的攝像機圖像.然后這個圖像會輸入互反射掩膜生成網絡，而互反射掩膜生成網絡的輸出又與這個圖像共同產生光度矯正網絡的輸入.具體的網絡結構見圖4.

由于沉浸式投影環境中，輸入圖像最終成像形狀會產生畸變，攝像機捕獲圖像同時包含輸入圖像以外的屏幕背景信息，所以需要使用幾何矯正網絡將攝像機捕獲的圖像轉變為與投影儀輸入圖像像素對齊的圖像.IRCN的幾何矯正網絡首先包含薄板樣條參數 ?［24］ 和仿射變換參數這兩個可學習模塊，受其他幾何矯正網絡的啟發 ?［5，25，26］ ，如圖4a所示，IRCN設計仿射變換參數aff，薄板樣條參數tps兩個可學習參數分別通過網格生成器生成對應的采樣網格，然后通過網格采樣將兩個網格結合后輸入一個網格細化網絡，以調整整體矯正效果.最終輸出的采樣網格通過雙線性插值將攝像機捕獲圖像幾何矯正為與輸入圖像對應的圖像.

如圖4c所示，互反射掩膜生成網絡是一個輕量級網絡，由于投影系統中的真實互反射很難直接獲取，受到一些注意力機制方法 ?［27，28］ 的啟發，本文設計互反射掩膜生成網絡，如圖5所示.采用攝像機捕獲圖像信息通過前文提到的互反射先驗計算得到互反射先驗圖作為監督，使用一個帶參數 λ ?s=0.2調節其影響程度的 L 2 損失函數控制互反射掩膜生成網絡的輸出.

如圖4b，按照前文的公式推導，IRCN的光度矯正網絡將前兩個網絡輸出做差結合，通過互反射先驗信息，將補償了互反射影響的攝像機捕獲圖像輸入，在使用卷積和反卷積的下采樣，上采樣之間采用跳躍連接結構，具體結構參考圖4，采用三個殘差塊的卷積神經網絡能夠學習到對應的光 度變化信息.在訓練中，式（7）和圖5里控制互反射先驗信息的參數 λ 被設計為一個可學習參數，將其范圍控制在［0.1，init_value］，初始值init_value被設計為0.3.

綜上所述，IRCN訓練中以攝像機捕獲圖像為輸入，投影儀輸出圖像為監督.在投影補償流程中，將投影儀輸入圖像作為訓練好的IRCN的輸入，如圖5所示.由于補償流程中輸入圖像并不需要幾何校正，因此忽略訓練好的幾何校正網絡，直接輸入網絡其余部分，IRCN生成相應的補償圖像，將該補償圖像輸入投影儀以增強投影效果，整體的互反射補償流程如圖5所示.

4 實驗過程和分析

4.1 評價指標和對比方法

本文對照一種傳統方法（Bimber的方法 ?［10］ ）和三種深度學習方法（CompenNet ?［4］ ，SRCN ?［5］ ， PairNet ?［6］ ），采用常用于投影重建任務中的像素級別圖像質量評價指標，PSNR，SSIM，RMSE以及像素均值標準差分析.所有方法都在曲面投影系統和折面投影系統中測試，投影補償測試流程如圖5所示.測試集經過再投影，攝像機拍攝后采用已訓練好的幾何校正網絡對采集圖片進行校正，與原圖對齊后比較各個客觀評價指標.

4.2 數據集

由于投影補償任務缺乏公開數據集，CompenNet提出的數據集在特殊紋理投影面上采集，并不適用于本文實驗要求，因此本文構建了自己的數據集.本文實驗均控制環境光照，在黑暗環境下進行數據采集，為了確保方法的適用性，分別在90°折面屏和曲面屏投影面上，使用超過4000張512×512的多種類RGB圖像進行訓練，并且額外采集超過500張圖像進行測試和結果分析.

本文的投影儀和攝像機分別是JMGO G7投影儀和NIKON DX VR相機.本文的沉浸式投影系統中，為了達到較好的投影效果和相機捕獲效果，攝像機和投影儀的距離控制在60 cm，投影面的中心與攝像機投影儀的垂直距離控制在90 cm.相機具體設置為：自動白平衡，1/45快門速度，ISO為400，對焦 f =5.6.投影儀采用自動對焦，投影模式為默認.為了端到端訓練，攝像機圖像在直接輸入網絡之前自動剪裁為512×512作為輸入.

4.3 實現細節

對于傳統方法，本文直接采用原文方法進行測試.而對于深度學習方法，首先由于CompenNet，SRCN，PairNet三種方法都是光度矯正算法，需要對采集圖像幾何校正才能進行訓練.因此本文單獨采用本文方法中的幾何校正網絡對訓練集和測試集幾何矯正，形成新的數據集進行訓練.由于CompenNet是針對投影面有紋理和顏色的投影環境的方法，因此需要一張背光投影表面圖像作為額外輸入，實際上不同的表面圖像會對最終的補償效果產生巨大的影響，因此本文測試多種灰度，色彩的表面圖像，選擇效果最佳的進行對比.所有方法的數據采集和投影補償效果測試流程可見圖5.

本文所有深度學習方法都在Pytorch框架下，訓練20個epoch，batch-size為8，采用D Kingma等提出的Adam函數進行優化，使學習率從1e-3下降到1e-4.所有深度學習方法都按照以上的設置在兩張RTX2080ti上完成.

4.4 現有方法對比

本文在客觀評價指標的基準上，將本文提出的IRCN與四種目前主流的投影補償方法進行了比較.對比的方法分別是Bimber提出的方法 ?［10］ ，CompenNet ?［4］ ，SRCN ?［5］ ，Lei提出的方法 ?［6］ .所有方法均通過投影補償流程，采集測試集500張測試圖像并矯正為512×512尺寸進行對比.圖6展示這些方法在不同色調的投影圖像上的視覺效果.

Bimber的方法將投影面分為多個子區域直接計算區域間互反射.但是正如所有不依賴光傳輸矩陣的傳統方法的弊病，該方法需要包括攝像機鏡頭畸變，投影面雙邊反射，投影補償系統的相對坐標信息等額外細節.但是在實際場景中，這些信息很難準確獲取，并且可能改變，同時計算所得互反射精確度也不能保證因此該方法在實際的沉浸式投影系統中的效果并不佳.如表1所示，在客觀評價指標方面，本文的方法明顯優于該方法.

本文通過對比三種深度學習方法，說明IRCN在投影質量增強和互反射補償方面的優勢.所有的深度學習方法都在統一數據集上訓練.正如前文所說，CompenNet和SRCN需要背景光信息，而采用不同背景光信息會導致實驗結果的巨大差別，因此這兩種方法不能兼顧多種不同色調的補償效果，雖然SRCN通過感知損失函數和伽馬矯正在最終成像上有一定改善，但是整體的區別并不明顯，如圖6b，由于背景信息的加入需要光照后采集，兩種方法的低亮度區域被抑制，導致整體顏色偏暗，特別是低飽和度區域色調上表現較差，與原圖的灰度相似性大幅下降，在客觀評價指標上也劣于IRCN.Lei提出的方法由于采用1×1區域的最大像素值作為先驗信息，沒有考慮到局部區域互反射和原本高亮度區域，對局部互反射抑制并沒有達到很好的效果.雙子網的輸出直接融合的網絡設計導致針對前景與背景的補償難以平衡，見圖6.在各種色調下的生成圖像亮度較原圖更高，并且雙子網設計讓訓練時間大幅度增加.而IRCN在輸入端學習到互反射信息，只使用一個光度補償子網的設計有效補償了相應的互反射.從圖7可以看出，在像素總體分布上也更接近原圖分布，并且兼顧了訓練時間，在整體評價指標上領先于其他方法.

4.5 消融實驗

本文設計了兩個消融實驗證明IRCN的合理性.第一個是直接采取計算所得互反射先驗作為互反射掩膜代替掩膜生成網絡，在后文稱為直接先驗網絡.另一個是將互反射先驗的監督計算從3×3的區域修改為1×1的區域，在后文稱為1×1網絡.

由于互反射先驗能夠得到高亮度區域的互反射信息，但是在沉浸式投影環境中仍然有一些受互反射影響較小，像素過渡比較平滑的區域.從圖8可以看到，直接先驗網絡采用計算得到的互反射先驗作為掩膜可能會導致這些受互反射影響較小的區域的補償量過大，整體顏色偏暗，從表2和圖8也可以看出，直接先驗網絡的評價指標表現也較差.在圖8中可以看到1×1網絡沒有考慮局部高亮度對附近區域的影響，導致局部區域的像素補償效果較差，并且丟失原圖部分細節，存在互反射區域最終成像飽和度降低的現象.

從表2，圖8和圖9可以看出，本文的互反射先驗能夠有效獲取投影互反射信息，通過3×3區域互反射先驗對互反射掩膜生成網絡的監督，能夠兼顧局部和整體的互反射抑制效果.同時本文方法在最終成像質量上以及細節保留上有更好的表現.

5 結 論

本文提出了一個全新的基于互反射先驗的沉浸式投影補償網絡IRCN，以解決沉浸式投影系統中的互反射問題.采用提出的3×3區域互反射先驗，獲取相應的沉浸式投影導致的互反射的信息，同時本文提出的IRCN能夠端到端訓練網絡，融合幾何矯正網絡的整體結構使得數據處理難度降低，并且使網絡結果重投影的幾何結構復原效果更良好.本文在訓練超過4000對圖像的基礎上，分析對比500張測試圖像.與目前存在的投影補償方法對比，本文提出的IRCN能夠有效抑制互反射的產生，使得投影質量大幅提升，色彩亮度更接近原圖，綜合訓練時間的客觀評價指標表現也優于其他方法.

但是本文的工作仍然存在一定局限性，首先，本文的方法依然存在卷積神經網絡圖像生成局部模糊問題，這個問題在大面積高分辨率投影中可能會比較明顯.其次，包含幾何矯正網絡的整體網絡在沒有預訓練的情況下收斂速度較慢.上述問題都是后續研究的重點.

參考文獻：

［1］ ??Fujimoto ?Y， Sawabe T， Kanbara M， ?et al . Structured light of flickering patterns having different frequencies for a projector-event-camera system ［C］//Proceedings of the Conference on Virtual Reality and 3D User Interfaces. Christchurch： IEEE， 2022： 582.

［2］ ?Park ?J， Jung D， Moon B. Projector compensation framework using differentiable rendering ［J］. IEEE Access， 2022， 10： 44461.

［3］ ?Narita G， Watanabe Y， Ishikawa M. Dynamic projection mapping onto deforming non-rigid surface using deformable dot cluster marker ［J］. IEEE T Vis Comput Gr， 2017， 23： 1235.

［4］ ?Huang B， Ling H. End-to-end projector photometric compensation［C］//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach： IEEE， 2019： 6810.

［5］ ?Li X F， Hu Z H， Gu H Y， ?et al . Multiprojector interreflection compensation using a deep convolution network［J］. Sci Programming-Neth， 2022， 2022： 1.

［6］ ?Lei Q H， Yang T， Cheng P. An attention mechanism based inter-reflection compensation network for immersive projection system ［J］.J Imag Grap， 2022， 27： 1238.［雷清樺， 楊婷， 程鵬. 注意力機制的曲面沉浸式投影系統補償. 中國圖象圖形學報， 2022， 27： 1238.］

［7］ ?Grundhofer A， Iwai D. Robust， error-tolerant photometric projector compensation ［J］. IEEET Image Process， 2015， 24： 5086.

［8］ ?Sajadi B， Lazarov M， Majumder A. ADICT： accurate direct and inverse color transformation［C］//Proceedings of the 11th European Conference on Computer Vision. Heraklion： Springer， 2010（6314）： 72.

［9］ ?Ren N， Ramamoorthi R， Hanrahan P. All-frequency shadows using non-linear wavelet lighting approximation ［J］. ACM T Graphic， 2003， 22： 376.

［10］ ?Bimber O， Grundhofer A， Zeidler T， ?et al . Compensating indirect scattering for immersive and semi-immersive projection displays ［C］//Proceedings of the IEEE Virtual Reality Conference （VR 2006）. Alexandria： IEEE， 2006： 151.

［11］ Li Y， Yuan Q， Lu D. Perceptual radiometric compensation for inter-reflection in immersive projection environment ［C］//Acm Symposium on Virtual Reality Software & Technology. Singapore： ACM， 2013： 201.

［12］ Takeda S， Iwai D， Sato K. Inter-reflection compensation of immersive projection display by spatio-temporal screen reflectance modulation ［J］.IEEE T Vis Comput Gr， 2016， 22： 1424.

［13］ Isola P， Zhu J Y， Zhou T， ?et al . Image-to-image translation with conditional adversarial networks［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： ??5967.

［14］ Zhu J Y， Park T， Isola P， ?et al . Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice： IEEE， 2017： 2242.

［15］ He L， Long W， Li Y Y， ?et al. ?A low-light image enhancement model based on gray level mapping and fusion technology ［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 022001.［何磊， 龍偉， 李炎炎， 等. 一種基于灰度映射與融合技術的微光圖像增強模型［J］. 四川大學學報（自然科學版）， 2022， 59： ??022001.］

［16］ Liu S X， Long W， Li Y Y， ?et al. ?Non-linear low-light image enhancement based on fusion color model spade ［J］. J ?Sichuan Univ（Nat Sci Ed）， 2021， 58： 012003.［劉壽鑫， 龍偉， 李炎炎， 等. 融合彩色模型空間的非線性低照度圖像增強［J］. 四川大學學報（自然科學版）， 2021， 58： 012003.］

［17］ Kim J， Lee J K， Lee K M. Accurate image super-resolution using very deep convolutional networks［C］//Proceedings of the 2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 1646.

［18］ Wang X，Yu K， Dong C， ?et al . Recovering realistic texture in image super-resolution by deep spatial feature transform［C］//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City： IEEE， 2018： 606.

［19］ Zhang D， Shao J， Hu G， ?et al . Sharp and real image super-resolution using generative adversarial network ［C］//Proceedings of the International Conference on Neural Information Processing. Guangzhou： Springer， 2017， 3： 217.

［20］ Zhang Y， Kan Z W， Shao Z W， ?et al . Remote sensing image denoising based on attention mechanism and perceptual loss ［J］.J Sichuan Univ（Nat Sci Ed）， 2021， 58： 042001.［張意， 闞子文， 邵志敏， 等. 基于注意力機制和感知損失的遙感圖像去噪［J］. 四川大學學報（自然科學版）， 2021， 58： ??042001.］

［21］ Jin R L， Qing L B， Wen H Q. Emotion recognition of the natural scenes based on attention mechanism and multi-scale network ［J］. J Sichuan Univ（Nat Sci Ed）， 2022， 59： 012003.［晉儒龍， 卿粼波， 文虹茜. 基于注意力機制多尺度網絡的自然場景情緒識別［J］. 四川大學學報（自然科學版）， 2022， 59： 012003.］

［22］ Ronneberger O， Fischer P， Brox T. U-net： Convolutional networks for biomedical image segmentation［C］//Proceedings of the International Conference on Medical Image Computing and Computer-assisted Intervention. Munich： Springer， 2015： 234.

［23］ He K， Sun J， Tang X. Single image haze removal using dark channel prior ［J］.IEEE T Pattern Anal， 2011， 33： 2341.

［24］ Donato ?G， Belongie S. Approximate thin plate spline mappings ［C］//Proceedings of the 7th European Conference on Computer Vision. Berlin， Heidelberg： Springer， 2002： 21.

［25］ Feng H， Zhou W， Deng J，et al . Geometric representation learning for document image rectification ［C］//Proceedings of the 17th European Conference on Computer Vision. Cham， Switzerland： Springer， 2022.

［26］ Rocco ?I， Arandjelovic R， Sivic J. Convolutional neural network architecture for geometric matching［J］. IEEE T Pattern Anal， 2019， 41： 2553.

［27］ Cheng Q， Li H， Wu Q， et al. ?Learn to pay attention via switchable attention for image recognition ［C］//Proceedings of the 2020 IEEE Conference on Multimedia Information Processing and Retrieval （MIPR 2020）. Shenzhen： IEEE， 2020： 291.

［28］ Fei W， Jiang M， Chen Q， ?et al. ?Residual attention network for image classification ［C］//Proceedings of the 2017 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Honolulu： IEEE， 2017： 3156.

收稿日期： ?2022-10-06

基金項目： ?國家自然科學基金民航聯合研究基金（U1833128）; 成都市重點研發支撐計劃項目（2021YF0501788SN）

作者簡介： ??胡宗禹（1998-）， 男， 四川宜賓人， 碩士研究生， 研究方向為圖像處理與神經網絡. E-mail： 2020223040012@stu.scu.edu.cn

通訊作者： ?陳虎. E-mail： huchen@scu.edu.cn