離軸柱幕投影圖像幾何校正技術研究

王愛華，韓 成，崔亞芬

0 引言

隨著計算機圖像處理軟硬件技術和虛擬現實應用的快速發展，需要計算的數據規模越來越大，也正是因為數據規模的成倍增長，使得單臺PC機的處理能力遠遠不能夠達到實際應用中所期望的性能，不能夠滿足交互式虛擬現實系統、商業產品演示系統、科學可視化系統等領域對繪制實時性、大場景、真實感等方面的實際需求[1-2]。因此，多通道顯示系統在數據可視化方面的應用越來越普遍[3-5]。

目前，多通道柱面投影系統成為科技展示，教學、影院等眾多領域中廣泛使用的多投影顯示系統。當投影機將圖像投影到柱面屏幕上后，圖像會發生形變，嚴重影響圖像質量。對于多通道柱面投影系統來說，由于使用多臺投影機，因此，所有投影機的位置一定不都處于柱幕系統的中心軸上。在這種情況下，解決圖像非線性失真是個首要問題，需要通過非線性幾何校正技術使投影圖像匹配柱面投影幕。目前主要通過昂貴的額外校正設備或采用基于投影面曲率或幾何形態的校正方法[6-8]，但校正設備昂貴且不夠靈活，校正方法復雜，因此，不適合當前的發展趨勢。

在投影機的位置不受嚴格的限制和不增加任何額外設備的情況下，為了對投影到柱幕上的圖像進行畸變校正，本文研究了一種離軸柱幕投影圖像幾何校正方法，使得柱幕多投影系統的應用更加的靈活，廣泛。

1 基于網格的非線性幾何校正原理

為了使校正過程不受投影機位置的限制，必須考慮投影機處于離軸位置時的情況。在這種情況下，如果采用固定的公式進行計算會非常復雜[9-10]，因此，本文提出了一種基于網格的非線性幾何校正方法。該方法首先生成一幅與投影圖像一樣大小的網格圖像，如圖1所示：

圖1 原始網格圖像

然后將網格圖像投影到柱幕上，保證圖像能夠覆蓋全部柱幕，這時會有部分網格圖像出現在柱幕的外面；再根據柱幕形狀，通過手動調整網格圖像的控制特征點，使網格圖像恰好能夠完全貼和于柱幕，此時的網格圖像發生形變。由此可以得到原始網格圖像與變形網格圖像中對應點的關系，如圖2所示：

圖2 變形的網格圖像

根據原始網格圖像與變形的網格圖像中對應點的變換關系，四邊形區域的變換原理[11]，就可以得到離軸柱幕非線性幾何校正矩陣，如圖3所示：

圖3 四邊形區域變換

對每一個四邊形區域進行二維變換如公式（1）所示。其中，(x , y)為A、B、C、D中的一個點；(x ', y')為 A '、 B '、C'、 D '中的一個點； c1、 c2、 c3、 c4、 c5、 c6、 c7、c8為計算得到的變換矩陣中的參數值。

2 基于網格的非線性幾何校正軟件

基于網格的非線性幾何校正軟件的總體流程，如圖4所示：

圖4 校正軟件的總體流程圖

首先從文件中讀取網格圖像控制點坐標，對柱幕上特征點坐標賦值，計算所有柱幕網格點坐標值，為計算柱幕與圖像對應關系所需的對應矩陣賦值，計算對應關系矩陣并通過所計算對應關系矩陣計算對應點坐標值。手動調整相應點的位置并改變特征點坐標值，得到新的對應關系。循環等待鍵盤響應，當有鍵盤響應時則讀取鍵盤響應值再次進行坐標變換。完成坐標變換后，得到新的投影矩陣，使用對應的矩陣關系對其他網格點進行變換，得到所有點的對應關系值。

2.1 讀取圖像控制點坐標

從文件中讀取圖像控制點坐標，文件中的控制點坐標為已經計算完成的點坐標，各點為網格的平分點，循環所有的控制點，并初始化圖像的控制點。

2.2 計算柱幕網格點坐標

定義柱幕控制特征點指針 CvPoint3D32f *control WorldPts，對所定義的8個控制特征點一一循環，以柱幕中心為原點，計算控制特征點的坐標值，并對其賦值，初始化控制特征點的坐標值。

定義柱幕網格點指針、網格的寬、高，以柱幕中心點為原點計算所有柱幕網格點的坐標值，其中縱坐標通過網格點平分得到，橫坐標通過角度平分的每點角度與柱幕半徑的乘積得到。

找到柱幕網格點坐標后，循環所有的網格點，對相鄰的網格點進行連線，從而畫出網格圖像。

2.3 求解變換矩陣

調整柱幕投影中的控制特征點，將調整前后的控制特征點的坐標數據寫入兩個矩陣中，得到變換所需的左乘和右乘矩陣，再利用cvSlove函數得到計算后的所需變換矩陣。

2.4 計算圖像網格點坐標

通過使用計算得到的變換矩陣和當前網格點的坐標，計算圖像新的網格點坐標，得到校正后的圖像并將所得的值存入文件中，以待加載其他圖像使用。

2.4 鍵盤響應

坐標點的移動是通過鍵盤響應來實現的，鍵盤的響應通過循環等待獲取的值變進行響應，e或 E為結束響應，1-8為所需調整點的編號，（從左到右、從上到下依次編號），G，g，B，b，M，m，S，s為每次按鍵調整幅度分別為 100，50，10和1，L，l，R，r，T，t，D，d分別為調整的方向，左右上下，Q，q，W，w，O，o，P，p分別為窗口的上下左右移動。將變換后的操作值傳回到特征點中，改變特征點的特征值，得到新的特征點值，進行新的變換。

3 實驗與結果分析

3.1實驗步驟

為了驗證本文提出的基于網格的非線性幾何校正方法的有效性，在長春理工大學仿真實驗室，利用現有的柱幕投影系統進行了實驗，實驗使用的投影機為三菱MD-550X，使用計算機為聯系X61。實驗的步驟如下所述：

（1）任意選擇一個位置固定投影儀；

（2）運行程序，觀察得到的網格圖像，將網格圖像進行投影。

（3）通過控制特征點的手動調整使網格圖像完全貼合柱幕，得到對應關系。

（4）通過所得對應關系投影其他圖像，觀察處理結果。

3.2 實驗效果

從生成的網格圖像可以看到8個控制特征點由圓圈標記，每個控制特征點都可以單獨進行調整，其他的特征點都為使用投影關系矩陣達到連動的效果。將網格圖像投影到柱幕上，并通過控制特征點的手動調整可以改變網格形狀，并觀察其是否能完全鑲嵌在柱幕上，直到得到正確的圖像，記錄下所得的特征點的位置坐標，寫入文件后，得到特征點位置的坐標文件，如圖5所示：

圖5 網格圖像變形實驗結果圖

再將計算得到的變換矩陣加載到的普通圖像上進行校正，如圖6所示：

圖6 校正前的圖像

圖像經過變換矩陣進行變換后得到了變形圖像，如圖7所示：

圖7 投影校正后效果圖

此圖像雖然在顯示器上顯示為扭曲圖像，但加載到柱幕上后則為正確的圖像。

3.3 實驗結果分析

從實驗過程來看，實驗的效果受到外界環境的影響，比如光照、陰影、拍攝明暗度、物體顏色等，這樣會給實驗帶來很多限制，需要增加一些人為控制及選擇因素才能完成實驗。

通過對實驗結果的分析可知，本方法適用于離軸柱面圖像投影的校正中，并且擁有良好的校正效果，可以達到預期的結果。如果投影機的位置固定不動，通過變換矩陣，可以完成所有圖像的校正，為視頻的實時校正提供了堅實的基礎。

4 結論

本文提出的基于網格圖像的非線性幾何校正方法只需簡單的改變控制特征點的位置，就可以適用與離軸柱幕投影圖像的幾何校正，具有速度快、使用靈活方便、校正效果好等優點。該方法僅僅實現了單通道柱幕投影圖像的幾何校正，對于多通道柱幕投影系統，還需進行圖像拼接和融合等。此外，為了得到更加理想視覺效果，作為后續工作，需要研究圖像顏色的適當補償算法。

[1]項天遠. 可擴展的實時多投影增強現實平臺[D]. 上海:上海交通大學,碩士論文, 2010.

[2]Tyler Johnson, Greg Welch, Henry Fuchs, Eric Laforce,and Herman Towles. A Distributed Cooperative Framework for Continuous Multi-Projector Pose Estimation[C],proceedings of IEEE Virtual Reality 2009, Mar 14–18,2009.

[3]Michael Brown, Aditi Majumder, Ruigang Yang. Camera-Based Calibration Techniques for Seamless Multiprojector Displays[C]//IEEE Transitions on Visualization and Computer Graphics, 2005.

[4]謝逸群, 王慧雅, 許華虎. 基于視頻實時處理的多投影曲面拼接系統的研究[J]. 中國圖象圖形學報,2009,14(2):286-291.

[5]Nacenta, M. A., Sallam, S., Champoux, B., Subramanian,S. and Gutwin, C. Perspective cursor: perspective-based interaction for multi-display environments.[C]In CHI'06,ACM, 2006, pp. 289-298.

[6]習雅思，魏正佳，張佑生 一種離線的柱幕投影圖像校正方案及其實現[J]. 計算機技術與應用進展, 2007,946-949

[7]張號，賈慶軒，孫漢旭，高欣，阮瑞卿 一種多通道曲面系統的幾何校正方法[J]. 系統仿真學報,2006,18(suppl.2)493-496.

[8]張楊林,楊紅雨,唐榮,鄧昌勝.分布式曲面投影系統幾何校正算法的研究[J]. 微計算機信息, 2009,25(12-3):174-176.

[9]周海林, 王立琦. 光學圖像幾何畸變的快速校正算法[J]. 中國圖像圖形學報, 2003, 8A(10): 1131-1135.

[10]王曉燕，戴青等.360度柱面全景圖像的生成[J].微計算機信息.2006,6-1:227-229.

[11]Majumder A, Gopi M. Modeling color properties of tiled displays[J]. Computer Graphics Forum, 2005, 24(2):149-163.