多投影顯示墻畫面校正技術綜述
2008-12-31 00:00:00王修暉陸慧娟林海
計算機應用研究 2008年7期
摘 要：由投影儀陣列組成的多投影顯示墻是目前實現高性能、低成本大型繪制平臺的首選解決方案。為了保證多投影顯示墻畫面的完整性，需要通過一定的方法來預補償由于投影儀特性差異造成的畫面幾何扭曲與色彩不均衡。結合實際研究工作，從多投影顯示墻存在的問題、幾何變換矩陣求取、顏色模型估計和全局顏色校正等幾個方面對多投影顯示墻畫面校正的研究情況進行綜述， 討論了存在的問題和進一步的發展方向。
關鍵詞：多投影顯示墻；畫面校正；幾何校正；顏色校正
中圖分類號：TP393 文獻標志碼：A
文章編號：1001-3695(2008)07-1944-04
Survey on screen calibration for multiprojector tiled display wall
WANG Xiuhui1，LU Huijuan1，LIN Hai2
(1.Institute of Information Technology， China Jiliang University， Hangzhou 310018， China；2.State Key Lab of CADCG， Zhejiang University， Hangzhou 310058， China)
Abstract:Multiprojector tiled display walls made of a set of projectors are the best choice for high performance and low cost large rendering system. In order to create perfect projection screen，it must make efforts to precompensate the output images’ geometry distortion and color nonuniformity by the different characters of projectors. Based on their studies， the paper gave an overview of the research work done in the field of multiprojector tiled display wall，including existing problems， computation of geometry transform matrix， color model estimation and global color calibration. Finally，discussed existing problems， which need the further study and the further development of multiprojector tiled display wall.
Key words:tiled display wall;screen calibration;geometry calibration;color calibration
0 引言
隨著商業、虛擬現實和科學計算可視化對超大屏幕高分辨率顯示需求的不斷增加，單臺投影儀在分辨率和亮度上的局限性日益明顯， 考慮成本和可行性等多方面因素，多投影顯示墻技術成為一個備受關注的研究熱點。多投影顯示墻是由多臺投影儀通過疊合拼接而成的大規模顯示平臺，單純依靠手工進行輸出畫面的匹配與對齊需要消耗大量的時間和人力，因此如何實現多投影顯示墻輸出畫面的自動校正是一個非常有意義的研究課題。多投影顯示墻的畫面校正（又稱為大屏幕拼接）本質上是一個針對非線性投影系統的帶反饋預測控制問題（圖1）。從原理和實現上講，多投影顯示墻的畫面校正與一般圖像拼接問題都有著本質的區別[1]。一般圖像拼接是對兩幅內容已經確定的圖像進行匹配和融合等處理以實現拼接后不同圖像子塊之間幾何對齊和顏色平滑過渡。多投影顯示墻的畫面校正則需要先建立由投影儀、投影屏幕等設備組成的顯示墻系統的幾何與顏色變換模型；然后根據數碼相機或攝像頭捕獲的幾何和顏色反饋信號生成預測補償信息；最后通過幾何與顏色兩方面的預補償來實現輸出畫面的規則性和信息完整性。
多投影顯示墻的畫面校正包括幾何校正和顏色校正兩個步驟[2，3]。其中幾何校正通過識別每臺投影儀顯示畫面之間的位置關系進行特征匹配與幾何對齊。顏色校正的目標是消除投影儀內部和投影儀之間的顏色和亮度差異，實現相鄰投影儀顯示畫面之間的光滑過渡。
圖2(a)和(b)分別給出了2×2多投影顯示墻畫面校正前的畫面和期望的顯示圖像。國內外有關幾何和顏色校正的研究都取得了較大的進展，并有相當多的成果見諸文獻[1，2]。
文獻[4]給出了一種多投影顯示墻投影畫面的幾何校正與重疊區域亮度融合方案，該方案從原理上解決了多投影顯示墻畫面校正所面臨的基本問題。但是，該方案有兩個假設條件：組成多投影顯示墻的每臺投影儀在屏幕上產生的投影子區域亮度均勻，即單臺投影儀內部不存在亮度差異；每個投影儀的亮度響應函數（intensity transfer function，ITF）是已知的或近似線性。大多數實際應用中投影儀內部和投影儀之間的亮度差異無法避免，而且投影儀的ITF通常是嚴重非線性并且難以直接測量，所以這種校正方案在實際應用中存在很大困難。另一方面，該校正方案采用了六百萬像素的高分辨率廣角(WFOV)攝像機作為特征圖像采集設備，而普通的廣角攝像機的畫面分辨率一般不超過720×576，客觀上進一步縮小了該方案的應用范圍。文獻[5]采用點陣作為特征圖案，并借助于幾何標定后的數碼相機來捕獲每臺投影儀的投影圖像；然后基于樣本圖像中的特征點來計算大屏幕和每個投影儀對應的子投影區域之間的位置關系，從而得到一系列的二維Homography矩陣；最后根據這些Homography矩陣來對投影儀buffer中的圖像進行預扭曲，使得投影結果幾何對齊。這種方法的不足之處是幾何校正精度在很大程度上依賴于所用樣本圖像的分辨率，而且這種依賴性在超高分辨率的多投影顯示墻環境下將會顯著削弱顯示畫面的視覺完整性。文獻[6]使用縱橫線校正圖案來捕獲組成多投影顯示墻的不同投影儀之間的位置關系，并通過建立與維護一個Homography樹來縫合從不同位置拍攝的低分辨率樣本圖像，間接地求取每個投影子區域與大屏幕的位置關系，從而僅僅使用普通分辨率的數碼相機進行采樣，就可以完成超高分辨率多投影顯示墻的幾何對齊。
文獻[7]分析了造成多投影顯示墻顏色不均勻的主要原因，并提出了一種通過逐個顏色通道進行映射來實現亮度一致化的顏色校正方法。該方法借助于分光輻射度計（spectroradiometer）來準確測量每個投影區域的亮度響應曲線，即ITF，并由對應ITF建立所有投影儀的CAR；然后生成亮度查找表來映射不同投影儀的亮度到上述CAR。該校正方法過于依賴于昂貴的專業光學設備，而且由于使用了嚴格一致的CAR來進行顏色映射，使得校正結果亮度和畫面質量嚴重受損，在實際應用中受到較多限制。文獻[8]描述了另一種依賴于專業光學設備的校正方法。該方法使用測光儀測量每臺投影儀的顏色域；然后借助于非參數模型來確定從每臺投影儀到公共顏色域的顏色映射。不足之處是，這種方法依然采用嚴格的亮度一致化方法來實現整體顏色均勻，無法克服投影墻畫面質量下降和亮度偏暗的缺點。文獻[9]描述的方法通過整合HDR 技術和參數估計算法，無須依賴于昂貴的專業光學設備，就可以準確、方便地估算出投影儀的ITF ，而且需要的樣本數僅為單純HDR方法的1/20 左右。
1 問題描述
1．1 基本概念
定義1 校正圖案。在進行幾何校正時，需要根據投影墻的特點，預先使每個投影儀投射一種易于識別和定位的特定模式圖形，這種圖形稱為校正圖案。校正圖案的好壞直接影響幾何校正的健壯性和精確度。典型的校正圖案有黑白格、網格線和亮度條等。
定義2 BTW矩陣。從每個投影儀buffer空間ΩB到顯示墻空間ΩG的Homography矩陣，定義為該投影儀的BTW矩陣，記做MBTW。對應每個投影儀，可以有一個或者分別對應不同投影子區域的一組BTW矩陣，后者通過對投影儀區域的細分可以更好地補償投影儀幾何扭曲的非線性分量。
定義3 投影儀ITF。ITF是投影儀的亮度傳輸函數。描述了當投影儀輸入在0~255變化時，輸出亮度的變化情況。通常情況下投影儀ITF曲線是非線性的。
定義4 廣義顏色模型。除了投影儀本身固有的特性之外，還考慮投影儀與投影屏幕之間的距離、投影角度以及屏幕的光學特性等因素建立的投影儀顏色模型，定義為投影儀的廣義顏色模型(generalized color model，GCM)。
定義5 公共亮度響應區間。以全部投影儀都能達到的最小亮度為下限，全部投影儀都能達到的最大亮度為上限的區間，定義為多投影顯示墻的公共亮度響應區間(common achievable response，CAR)。
1．2 多投影顯示墻畫面校正中存在的問題
多投影顯示墻的畫面校正主要包括六個步驟，如圖3所示。其中虛線框內的部分用來實現顏色校正，有關投影儀ITF的估算和全局顏色校正是當前國內外相關研究的重點。
由于投影儀鏡頭扭曲的非線性、投影儀擺放位置難以準確測量，以及投影儀之間亮度響應特性存在差異等因素的影響，多投影顯示墻的畫面校正中主要存在以下幾個方面的問題：
a)如何測量和描述投影儀鏡頭的非線性扭曲和投影儀之間的位置關系，并實時地進行補償和修正。通常的做法是，通過幾何標定的方法來近似測量投影儀鏡頭的非線性扭曲，然后通過投射特定校正圖案，采集并處理該圖案投影照片來測量投影儀位置之間的幾何變換關系。
b)如何綜合考慮影響投影效果的各種因素，建立投影儀的GCM。投影儀的GCM模型可以使用不同的函數模型來逼近，文獻[9]分別介紹了使用S型曲線和有理分式來逼近投影儀GCM的算法。
c)如何求取組成多投影顯示墻的投影儀陣列的CAR，并根據GCM將所有投影儀的輸出實時地映射到該區間。CAR的求取方法將決定最終顯示畫面的亮度和畫面質量，典型的有嚴格一致CAR[7，8]和視覺無縫CAR[9]兩種。
d)如何消除或降低投影畫面各向異性對多投影顯示墻顯示畫面完整性的影響。投影畫面的各向異性主要受投影幕光學特性、投影角度、投影模式和投影距離等因素影響。圖4分別給出了單個投影儀背投模式下，不同視角時看到的屏幕畫面。
2 關鍵技術
2．1 幾何變換矩陣求取
幾何變換矩陣的求取包括樣本采集與處理、BTW矩陣計算、預扭曲矩陣計算三個步驟。在進行幾何校正時，需要根據投影墻的特點預先使每個投影儀投射一種易于識別和定位的特定模式圖形，這種圖形稱為校正圖案。校正圖案的好壞直接影響幾何校正的健壯性和精確度。典型的校正圖案有黑白格、網格線和亮度條等。
1)樣本采集與處理
依次讓組成多投影顯示墻的每臺投影儀投射特定校正圖案，并用數碼相機進行樣本采集；然后根據具體的校正圖案特點，選用適當的識別算法獲取樣本圖像與原始buffer中圖像的對應點集合。校正圖案的選擇和識別方案設計是影響對應點識別誤差的關鍵因素，而高精度的對應點識別是保證幾何校正質量的基礎。文獻[3]中描述了使用點集和水平/豎直線校正圖案的樣本采集和處理方法；文獻[9]提出了一種魯棒且容易精確識別的條形亮帶校正方案和相應識別算法。不同的樣本采集方法主要區別點在于所使用校正圖案的易識別性和識別方法的精度和魯棒性。
2)BTW矩陣計算
從每個投影儀buffer空間ΩB到顯示墻空間ΩW的Homography矩陣定義為該投影儀的BTW矩陣，記做MBTW。對應每個投影儀，可以有一個或者分別對應不同投影子區域的一組BTW矩陣。后者通過對投影儀區域的細分可以更好地補償投影儀幾何扭曲的非線性分量。對于平面幕多投影顯示墻，可以根據上一步中所得對應點集合，使用最小二乘法求取對應每個投影儀的BTW矩陣。對于環幕多投影顯示墻，每個投影儀的幾何變換關系無法用單個BTW矩陣進行擬合，通常的做法是對屏幕曲面進行分割和逼近，并在分割后的子屏幕上應用平面幕的幾何校正方法。
3)預補償矩陣計算
預補償矩陣是可以直接插入到繪制流水線終端來補償投影儀的幾何扭曲，實現幾何校正的矩陣，記做MG，通常由用于實現幾何對齊的矩陣與BTW矩陣組合生成。
為了實現多投影顯示墻幾何對齊，通常在照片空間對每個投影儀的有效投影區域進行了矩形化處理和位置調整，用修正矩陣MPD來消除投影儀子區域之間的平移和旋轉偏差。此外，為了在繪制流水線中實時應用預扭曲矩陣MPD，需要將MPD變換到投影之前，轉換為對buffer的直接作用。假設buffer中任意點的齊次坐標
其中:〈MBTW〉表示投影儀本身的等價幾何變換矩陣，在數值上等于MBTW；MG為幾何校正綜合矩陣。在進行三維場景繪制時，在每個繪制端對視域錐進行有重疊的分割，如圖5(a)白色區域所示，然后利用二次繪制技術[2]，根據MG對buffer中的原始圖像進行預扭曲變換，即可補償投影儀帶來的圖像扭曲，并實現大屏幕投影區域的矩形化修正。
2．2 顏色模型估計
大屏幕的亮度決定于投影儀輸出的總光通量、屏幕的反射率、投影畫面的尺寸等多方面因素，而且ITF本身是非線性的，這給ITF模型的建立帶來了一定的困難。然而，要完成多投影顯示墻的全局顏色校正和重疊區域精確融合，必須先估算出每臺投影儀的ITF。
文獻[7，8]通過逐點測試投影的亮度相應特性，并使用顏色查找表來描述投影儀的亮度相應特性。文獻[9]考慮了投影儀輸出的總光通量、屏幕的反射率、投影畫面的大小等多方面因素以及ITF的非線性，提出了如下的ITF簡化模型，并用非線性參數估計的方法進行了模型參數預測。
fi(xi)=ki arctan(ri×xi+bi)+vi
除了投影儀本身固有特性之外，屏幕畫面的顏色還取決于投影距離、投影角度和屏幕的光學特性等因素，提出了一種投影儀廣義顏色模型來對ITF進行近似建模，然后設計了一種最佳有理逼近算法來定義廣義顏色模型的參數。
并稱R0，R1，…，Rp+q為插值節點；Cp，q(R)為插值函數；f(R)為期望廣義顏色模型。
不同的投影儀顏色建模方法，雖然采樣值獲取手段不同、表示方法也大相徑庭，獲取的ITF卻非常相似，只是精度不同。圖6給出了不同方法獲取的ITF關系圖，其中的新算法（廣義模型逼近法）分別采用了不同的樣本采集值。
2．3 全局顏色校正
多投影顯示墻顏色校正的目標是實現顯示畫面的顏色和亮度均勻，因此需要根據投影儀的顏色模型和采樣數據，求取顯示墻的公共亮度響應(CAR)，并進行逐個像素的色彩調整。在樣本圖像的生成與采集過程中，由于受到投影儀顏色失真、系統噪聲以及數碼相機曝光不足或過量等因素影響，往往使樣本圖像出現一些離散的色彩畸變點。另一方面，考慮人眼的視覺特性，當上述孤立的畸變點在顯示墻上分布足夠分散時，它們對畫面的視覺效果影響極小。因此，如何在計算多投影顯示墻的CAR區間之前，識別并預先剔除這些畸變點，從而有效地擴展顯示墻畫面的灰度級范圍，提高畫面顯示質量，成為國內外研究者關注的熱點。
實現全局顏色校正的關鍵問題就是獲取多投影顯示墻的公共亮度響應區間(CAR)。一種比較直接的做法是分別采集所有投影儀RGB輸入分別為[0，0，0]和[255，255，255]得到多投影顯示墻的黑屏和白屏樣本圖像；然后取黑屏樣本圖像中的極亮點顏色和白屏樣本圖像中的極暗點顏色來構造CAR。但是這樣會嚴重降低校正后圖像的亮度和畫面質量。文獻[9]提出了一種基于統計思想的新算法，該算法通過自適應地剔除顯示墻上的畸變點（孤立的嚴重偏暗點或嚴重偏亮點），來獲得視覺允許的公共亮度響應區間。由于計算視覺允許的公共亮度響應時，忽略了投影區域中肉眼難以察覺的孤立畸變點，使得公共亮度響應區間得以合理擴展，從而在一定程度上提高了多投影顯示墻的畫面質量和亮度。文獻[9]提出了一種融合了優勝劣汰和模擬退火的視覺無縫（visualbased seamless，VSL）算法。為了搜索并剔除對視覺效果影響足夠小的畸變點，VSL算法綜合了模擬退火算法和遺傳算法的優勢，將模擬退火操作穿插在遺傳算法的變異操作之后，雖然增加了每一代群體進化的開銷，但使局部搜索得到優化，避免了搜索過程陷入局部最優解。通過種群中個體的反復遺傳求精操作，逐漸淘汰孤立度較小的像素點。最后得到顏色差異和分散程度都較大的畸變點集合，在從樣本集中剔除這些畸變點之后，再計算多投影顯示墻的CAR區間，并生成逐個像素的調整因子集CAFS。圖7分別給出了三臺投影儀組成的多投影顯示墻環境下，使用嚴格CAR算法、統計算法和VSL算法的畫面校正結果比較。容易看出，統計算法能夠獲得較好的亮度，但VSL算法在提高亮度的同時，有效提高了多投影顯示墻的畫面質量。
3 結束語
本文結合筆者的實際研究工作，探討了多投影顯示墻畫面校正中存在的主要問題，并著重從幾何變換矩陣求取、顏色模型估計和全局顏色校正等幾個方面對多投影顯示墻畫面校正的研究情況進行了分析和綜述。雖然目前國內外研究者對多投影顯示墻的畫面校正進行了多方面的深入研究，但本領域還有很多工作值得做：與應用無關的畫面校正技術，即完成畫面校正后，無須更改現有應用程序，即可在多投影顯示墻上實現完整的畫面拼接顯示；任意曲面幕的畫面校正技術，對于平面幕，可以通過一個或一組3×3 Homography矩陣來逼近投影儀的幾何變換模型，但是對應任意曲面幕，為了擬合出屏幕曲面，可能需要利用多個攝像機進行三維重建，并進行逐點的幾何變換關系描述。
參考文獻：
［1］ HERELD M，JUDSON I R，STEVENS R L.Introduction to building projectionbased tiled display systems[J].IEEE Trans on Computer Graphics and Applications，2000，20(4): 22-28.
[2]MAJUMDER A，STEVENS R.Color nonuniformity in projectionbased displays:analysis and solutions[J].IEEE Trans on Visualization and Computer Graphics，2004，10(2):177188.
[3]YANG Ruigang，MAJUMDER A，BROWN M S.Camera based calibration techniques for seamless flexible multiprojector displays[J].IEEE Trans on Visualization and Computer Graphics，2005，11(2):193-206.[4]RASKAR R，WELCH G，FUCHS H.Seamless projection overlaps using image warping and intensity blending[C]//Proc of the 4th International Conference on Virtual Systems and Multimedia.Gifu:[s.n.]，1998:10891093.
[5]SURATI R J.Scalable selfcalibrating display technology for seamless largescale displays[D]//[S.l.]:Massachusetts Institute of Technology，1999.
[6]CHEN H，SUKTHANKAR R，WALLACE G，et al.Calibrating scalable multiprojector displays using camera homography trees[J].Computer Vision and Pattern Recognition，2002，15(4):108113.
[7]MAJUMDER A，HE Z，TOWLES H，et al.Achieving color uniformity across multiprojector displays[C]//Proc of IEEE Visualization.Salt Lake City:[s.n.]，2000:10591063.
[8]WALLACE G，CHEN H，LI K.Color gamut matching for tiled display walls[C]//Proc of International Immersive Projection Technologies Workshop Eurographics Workshop on Virtual Environments.New York:[s.n.]，2003:2010-2015.
[9]王修暉，華煒，鮑虎軍.多投影顯示墻的全局顏色校正[J].計算機輔助設計與圖形學學報，2007，19(1)：96101.
注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文?！?/p>
