基于相機反饋的交互式多投影校正系統

金嘉斌，鮑城洲，姜忠鼎

基于相機反饋的交互式多投影校正系統

金嘉斌，鮑城洲，姜忠鼎

隨著相關技術和行業的發展，多投影顯示系統以其良好的顯示效果在展覽展示、娛樂教育等領域得到了日益廣泛的應用。大型多投影顯示系統整體像素數量非常大，進行畫面輸出的顯示節點常采用生成整體圖像的一部分，即切分紋理的方式提高系統伸縮性，這需要投影拼接校正結果的支持。針對常見的柱面多投影顯示環境，設計并實現了一套基于相機反饋和交互式編輯的多投影校正系統，支持切分紋理的使用。實際多投影顯示環境中的實驗驗證了系統的可用性和準確性。

多投影校正系統；交互式編輯；切分紋理映射

0 引言

多投影顯示系統具有覆蓋視域廣、分辨率高、沉浸感強等特點，在展覽展示、娛樂教育、科學研究等領域得到了越來越多的應用。相關的多投影拼接校正技術也在不斷發展[1]。

基于相機反饋的校正方法是近年來的研究熱點，相比于機械和人工的方法更加靈活和方便[2]。文獻[3]和文獻[4]給出了適合多種屏幕類型的基于相機反饋的校正技術，但此類完全基于相機的校正技術在實際項目中會有一些局限性[5]。Watchout[6]和Scalable Display[7]是商用領域比較成熟的多投影校正軟件，兩者都支持基于網格編輯的方法對校正結果進行編輯，但其編輯功能較為簡單，對切分紋理的支持也非常有限。

針對常見的柱面幕的多投影校正工作，本文設計并實現了一套基于相機反饋和交互式編輯的多投影校正系統。系統首先對相機參數進行定標，然后采用基于相機反饋的方法進行投影校正計算，并通過多種交互式編輯的方法對校正過程和結果中的誤差進行修正。最后系統采用以整體圖像或實際屏幕上的輸出畫面作為參考，對貝塞爾曲面表示的切分紋理進行交互式編輯的方法，得到投影相對于切分紋理的映射結果，以支持大型多投影顯示系統中切分圖像、切分視頻等的應用。

1 系統設計

系統采用單個控制節點和多個顯示節點的分布式架構，通過顯示節點控制各投影的畫面輸出，以支持投影特征圖像的顯示和交互式編輯過程中結果的實時輸出；主控節點能夠連接和控制相機設備，在方便用戶操作的同時也避免了手動拍照過程中可能造成的相機抖動，影響檢測結果。

系統的校正環節包括基于相機反饋的校正計算和基于交互式編輯的結果修正兩大模塊。

基于相機反饋的校正計算模塊通過對拍攝到的包含投影特征圖像的照片進行識別，在相機平面建立投影空間與屏幕空間之間的映射關系，以此計算校正結果。

基于交互式編輯的結果修正模塊對實際項目中各類限制因素導致的校正結果誤差進行修正，包括通過網格編輯調整幾何校正結果以及通過調節投影Gamma曲線、顏色衰減率調整顏色校正結果。同時，通過交互式編輯貝塞爾曲面表示的切分紋理，建立切分紋理與整體圖像之間的映射關系，能夠得到投影各自的切分紋理坐標，從而支持切分紋理的使用。

校正完成后，校正結果能以靈活、可配的格式進行輸出，并上傳到顯示節點，方便其他系統使用。

2 基于相機反饋的校正計算

2.1 整體計算過程

在幾何校正方面，系統先通過基于相機反饋的方法[2]建立投影畫面空間P(r,c)與屏幕表面空間S(s,t)的對應關系Fps，再結合屏幕表面空間S(s,t)與輸入圖像空間Q(u,v)的對應關系Fsq來確定投影的輸出圖像與輸入圖像之間的映射關系如式（1）：

當輸入圖像為對應整個屏幕空間的整體圖像時，屏幕與圖像的映射關系Fsq由屏幕類型決定。對于柱面幕，屏幕表面空間可以均勻、完整地映射到矩形的圖像空間。當輸入圖像對應屏幕空間的一部分，即采用切分紋理時，系統通過交互式編輯的方式建立切分紋理與屏幕空間的映射關系Fqs: Q(u,v)→S(s,t)，然后基于逆向查找和插值的方法得到其逆映射Fsq。

系統采用參數化的方法表示屏幕，并以網格的形式對屏幕空間和投影空間進行離散化描述。基于相機的位置等信息，可以將參數化表示的屏幕網格由屏幕空間映射到相機平面空間Fsc: S(s,t)→C(x,y)。保持相機參數不變的情況下，拍攝并對得到的包含投影網格信息的投影特征圖像照片進行識別，能得到投影空間到相機平面空間的映射關系Fpc: P(r,c)→C(x,y)。結合兩者可以得到投影空間到屏幕空間的轉化關系Fps如式（2）：

其中Fsc的逆過程可以通過對Fsc映射結果進行逆向查找和插值的方法近似得到。

在得到投影網格各點的紋理坐標后，投影畫面空間中其他像素的紋理坐標可以通過插值得到。設像素點P對應的網格三角形為△ABC，對應的重心坐標為w，則有式（3）和式（4）：

其中S△為對應三角形的面積，f(X)為X點對應的紋理坐標。該過程可以在圖形流水線的光柵化階段自動進行。

在顏色校正方面，系統基于相機平面的投影區域，采用常用的邊緣融合方法[2]對投影重疊區域的亮度偏高現象進行修正。

2.2 相機定位

系統根據屏幕和相機的相關參數在模擬場景中構建屏幕和相機對象，從而可以模擬相機在各種位置下屏幕的成像結果。通過將該圖像與實際拍攝的圖像進行疊加對比，可以反映虛擬相機與實際相機位置、朝向的差別。參照實時的結果反饋，不斷地調整虛擬相機位置和朝向，使其與真實值之間的誤差逐步減小，最終可以得到真實值的有效估計。

2.3 投影特征圖像檢測

系統采用的投影特征圖像如圖1所示：

圖1 投影特征圖像

兩張圖像分別包含完整的投影網格信息和特定行列的網格點信息。各投影需要分別投射這兩張圖像并由相機進行拍攝。拍攝結果會與不含特征圖像的背景圖像做差以去除環境光的影響，然后經過包含亮度閾值調節、有效區域調整、特定區域排除等內容的預處理如圖2所示：

圖2 特征圖像預處理界面

過程后，進行特征點檢測；并基于參考特征點的行列值將特征點與網格點對應起來、補全缺失的特征點，以此得到投影網格在相機平面的位置信息。

相比Scalable Display[7]等系統，本系統支持對特征點大小等進行靈活的調整，并通過豐富的預處理功能提升檢測準確度。

2.4 網格邊界裁剪

當投影網格部分落在屏幕區域外時，需要對投影網格進行裁剪，以保證屏幕邊緣處圖像的連續、平滑。系統首先將相機平面空間進行剖分，然后參照掃描線算法對位于屏幕內、外和邊界上的剖分區塊分別進行標記。對于包圍核涵蓋屏幕邊界區塊的投影網格三角形，按照屏幕邊界對應的多邊形進行裁剪并進行重新三角化，最后再將裁剪后的投影網格映射回投影空間如圖3所示：

圖3 裁剪前后輸出圖像的邊界

從圖3所示裁剪前后的輸出圖像可以看出，通過裁剪能消除輸出圖像邊界處的鋸齒現象和超出屏幕范圍的圖像顯示。

3 基于交互式編輯的結果修正

由于實際項目中可能存在障礙物遮擋影響照片拍攝、輸入參數存在誤差等各類限制條件[5]，以及在基于相機反饋的校正計算過程中，多次插值過程的誤差累計，導致校正結果存在誤差。對此，系統提供了多種基于交互式編輯的方法進行修正。

3.1 幾何校正結果編輯

系統采用貝塞爾曲面對投影網格和屏幕網格進行描述，從而支持基于貝塞爾曲面的網格編輯方法對幾何校正結果進行修正。貝塞爾曲面由完整的網格信息生成，包含一系列貝塞爾曲線和貝塞爾面片，通過將不同采樣率下得到的采樣點作為編輯操作的控制點，能支持以不同的細節層次對網格進行編輯。

對控制點進行平移、旋轉、拉伸等操作，或修改貝塞爾曲面的采樣率后，需要更新網格頂點的位置。設網格點在對應貝塞爾面片中的參數化坐標為(u,v)，則對應的網格空間坐標為式（5）：

針對不同的誤差來源和應用情景，系統提供了3種基于貝塞爾曲面的網格編輯方式對幾何校正結果進行編輯：

（1）相機平面投影網格編輯

針對特征圖像檢測結果的誤差，系統提供了直接在相機平面空間對投影網格進行編輯的功能。該過程以拍攝到的完整特征點圖像作為背景和參照，能直觀地顯示投影網格點位置與實際位置之間的誤差。用戶需要通過編輯操作使各網格點與圖像中對應的點重合，以修正檢測結果偏差導致的投影輸出圖像紋理映射錯誤和基于投影區域計算的邊緣融合結果的錯誤。

（2）相機平面屏幕網格編輯

針對參數化描述的屏幕與實際屏幕之間的偏差，以及相機內外參數定標結果的誤差導致的屏幕網格在相機平面映射結果的誤差，系統提供了直接在相機平面空間對屏幕網格進行編輯的功能。由于屏幕網格的變動會一致性地影響所有投影的輸出圖像，該編輯模式可以作為一種整體性的圖像變形方法，滿足實際項目中對整體圖像進行調整的需求。

如圖4所示：

圖4 不同細節層次下對屏幕網格進行編輯操作

編輯界面采用相機拍攝的帶有實際屏幕圖像的背景照片或相機的實時取景圖像作為背景參照，用戶可以設置屏幕網格的貼圖和透明度等選項，以達到良好的觀察效果。編輯狀態會實時傳輸到所有顯示節點，通過投影儀將與編輯狀態對應的投影圖像輸出到實際屏幕上，作為編輯操作的反饋。

（3）投影平面投影網格編輯

針對以上兩種編輯操作后仍然存在的圖像缺陷，比如以線性插值對非線性變化做近似處理導致的圖像細微扭曲等問題，系統提供了在投影平面對投影網格進行編輯的功能，通過直接調整各投影儀的輸出圖像能有效地消除圖像錯誤。編輯過程中，各投影的輸出圖像也會進行實時更新作為結果反饋。

以上3種編輯方式分別適用于不同的情景，綜合使用能方便、有效地消除大部分幾何校正結果誤差。與Scalable Display[7]等系統相比，本系統提供了更豐富和靈活的編輯支持。

3.2 顏色校正結果編輯

針對投影儀之間亮度、顏色的差別[2]，系統提供了交互式編輯投影Gamma曲線、RGB顏色分量衰減率的功能進行修正。

Gamma曲線用于將邊緣融合方法得到的基礎亮度值映射為最終的亮度衰減值γ。Gamma曲線可以由f(I)=I-g形式確定，也可以進行自由編輯。

RGB顏色分量衰減率包含3個分量，分別對投影輸出顏色的R、G、B分量做線性變換。對于投影輸出畫面中一點，設其通過采樣得到的顏色值為(cr,cg,cb)，基礎亮度值為α，投影的RGB顏色分量衰減率為(dr,dg,db)，則最終的輸出顏色值為式（7）所示：

其中γ=G(α)是對α進行Gamma變換的結果。

用戶參照實際屏幕上實時結果反饋，通過不斷的編輯操作逐步修正相關參數，能夠逐漸逼近理想值，使得屏幕上整體輸出圖像的顏色具有較好的一致性。

3.3 切分紋理映射編輯

系統利用切分紋理圖像與整體圖像之間的對應關系，通過交互式編輯的方法確定切分紋理與屏幕空間的映射關系Fqs。方法首先采用貝塞爾曲面形式對切分紋理進行描述，然后以整體圖像作為背景，在平面上對切分紋理的網格進行編輯，使其與整體圖像中對應的區域重合，以此得到切分紋理與整體圖像之間的映射關系，再結合整體圖像與屏幕空間的映射關系得到切分紋理相對于屏幕空間的映射關系Fqs。

切分紋理映射編輯界面中如圖5所示：

圖5 切分紋理映射編輯界面

通過調整觀察視角、切分紋理和投影區域的透明度等能清晰地顯示切分紋理和整體圖像之間的重合情況。對于切分紋理對應整體圖像中矩形區域的簡單情形，可以通過四點對齊的方法快速得到結果；對于其他復雜映射情況，可以采用先粗粒度地定位圖像大致區域，再逐漸增加控制點細節層次進行精確調整的方法獲得結果。

無法獲得整體圖像，但大致了解切分圖像對應的屏幕區域時，可以參照實際屏幕上的實時輸出畫面進行編輯，并利用相鄰投影儀畫面之間的相關性，通過多次迭代的方式逐步優化。

4 實驗結果及分析

4.1 實驗環境

為驗證系統的正確性和可用性，本文在實際的柱面多投影環境中進行了實驗。柱面幕高約2.4米，半徑約4.3米，張角約120度，由3臺Vivitek投影儀覆蓋。實驗使用的相機為佳能EOS 6D，鏡頭為SIGMA8mm F3.5，實驗前已對內參進行了定標。

4.2 實驗流程及結果

實驗包含兩方面內容，一是完整校正過程的測試，以驗證系統整體功能的完備性以及結果的準確性；二是復雜情形下切分紋理映射編輯功能的測試，以驗證該功能的可用性。

（1）完整校正過程實驗

在依次完成參數設置、相機定位、投影特征圖像的拍攝和檢測后，通過相機反饋的方法得到的幾何校正結果如圖6所示：

圖6 編輯操作前后的校正結果

如圖6（a）所示，該結果存在以下幾點缺陷：一是由于相機參數等誤差，校正結果中圖像與屏幕的邊界沒有嚴格對齊，且屏幕兩側的圖像有一定的歪斜；二是投影重疊區域還有細微的像素偏差；三是右側投影區域的亮度較另外兩個明顯偏亮。

對此，首先通過編輯屏幕網格進行整體性的調整，對齊屏幕邊界，消除兩側的歪斜現象。其次，通過分別編輯各投影的網格，修正重疊區域的細微像素錯位問題。最后，通過調整投影的顏色衰減率來降低右側投影區域的亮度。調整后包含顏色校正結果的最終結果如圖6（b）所示。

參照各投影對應的區域，本文從整體的網格圖像中分別切取了一部分圖像，作為各投影的切分紋理，如圖7所示：

圖7 使用切分紋理時各投影的切分紋理和整體效果

如圖7（a）所示，完成各投影切分紋理映射的編輯后，各投影分別采用各自切分紋理時的整體輸出圖像如圖7（b）所示。該結果與采用整體圖像時的結果基本一致，兩者都具有較好的準確性和較高的質量。

（2）切分紋理映射編輯實驗

在前面的實驗中，編輯切分紋理映射時有整體圖像作參照，操作較為簡單，無法充分驗證編輯功能的可用性和靈活性。為此，本文模擬了實際項目中的復雜情景，進行了更深入的測試：首先，編輯過程中沒有整體圖像作為參照，需要以實際屏幕上的輸出圖像作為參考；其次，編輯切分紋理映射前對屏幕整體網格做了適度的打亂，以模擬整體校正結果存在缺陷的情景。

編輯過程中采用先粗粒度調整圖像大致區域，然后逐漸增加編輯操作的細節層次，迭代地對結果進行修正和優化的方式。最終在30×30個控制點時編輯的結果如圖8所示：

圖8 30×30個控制點時編輯的結果

該結果具有較好的質量，表明切分紋理映射編輯功能具有良好的可用性。

5 總結

本文針對柱面環境多投影顯示系統的拼接校正工作，以及切分紋理的使用需求，設計并實現了一套基于相機反饋和交互式編輯的校正系統。系統結合了相機反饋方法的方便性與交互式編輯方法的靈活性，并支持切分紋理的應用。實驗結果表明系統具有良好的可用性和準確性。未來將進一步支持基于多個相機視圖的校正方法，并對交互式編輯功能做優化。

[1] Majumder A, Sajadi B. Large area displays: The changing face of visualization[J]. Computer, 2013 (5): 26-33.

[2] Brown M, Majumder A, Yang R. Camera-based calibration techniques for seamless multiprojector displays[J]. Visualization and Computer Graphics, IEEE Transactions on, 2005, 11(2): 193-206.

[3] Majumder A, Lai D Q, Tehrani M A. A multi-projector display system of arbitrary shape, size and resolution[C]// ACM SIGGRAPH 2015 Emerging Technologies. ACM, 2015: 2.

[4] Zhu B, Xie L, Wang Q, et al. An intelligent projection system adapted to arbitrary surfaces[C]//Instrumentation, Measurement, Computer, Communication and Control, 2011 First International Conference on. ieee, 2011: 293-298.

[5] Sun F, Meng W. An interactive warping method for Multi-channel VR projection display systems with quadric surface screens[C]//Virtual Reality and Visualization (ICVRV), 2013 International Conference on. IEEE, 2013: 1-8.

[6] Watchout—Multi display software[EB/OL]. 2016-04-15. http://www. dataton.com/watchout.

[7] ScalableDesktop TM | Scalable Display Technologies[EB/ OL]. 2016-04-15.http://www.scalabledisplay.com/.

Camera-based Interactive Multi-Projector Calibration System

Jin Jiabin, Bao Chengzhou, Jiang Zhongding
(Software School, Fudan University, Shanghai 201203, China)

With the development of related technologies and industries, multi-projector display systems have been increasingly used in many fields suchas exhibition and education. The resolution of a large multi-projector display system can be very high, and it requires the use of split texture mapping. To support the use of split texture mapping in cylinder screens, it presents a camera-based interactive multi-projector calibration system. Experimental results show the system can effectively carry out the calibration and produce accurate results.

Multi-projector calibration system; Interactive editing; Split texture mapping

TP311

A

1007-757X(2016)010-0001-04

2016.04.01）

國家自然科學基金項目（60803064）

金嘉斌（1990-），男，復旦大學，軟件學院，碩士研究生，研究方向：計算機圖形學，上海 201203鮑城洲（1990-），男，復旦大學，軟件學院，碩士研究生，研究方向：計算機圖形學，上海 201203姜忠鼎（1976-），男，復旦大學，軟件學院，副教授，研究方向：計算機圖形學，上海 201203