基于貝塞爾曲面的投影圖像幾何優化方法

宋 濤，祁繼輝，侯培國,*，李 坤，趙明宇

(1.燕山大學 電氣工程學院，河北 秦皇島 066004；2.秦皇島視聽機械研究所，河北 秦皇島 066004；3.河北省數字影像裝備與數字顯示技術重點實驗室，河北 秦皇島 066004)

0 引言

隨著科技的發展，人們把虛擬現實技術應用到娛樂與教育中，目前，佩戴VR頭盔或者VR眼鏡應用最為廣泛，但是，佩戴輔助設備影響虛擬體驗的真實感，存在很大的局限性，因此，用戶對多通道投影系統產生極大需求，無須佩戴任何輔助設備，通過多個投影儀把各自的虛擬畫面投影至周圍的墻壁上，便可享受更有真實感的虛擬體驗[1]。如今，大屏幕投影墻技術發展較為完善，大屏幕投影墻包括平面多投影系統與曲面多投影系統。其中，平面多投影系統的投影畫面都在同一個平面內，每個投影畫面在屏幕空間內理想區域的幾何形狀與原圖像一致，因此，實現投影畫面彼此完好銜接的線性幾何校正便可輕易完成。對于曲面多投影系統，通過曲面屏幕內投影畫面理想區域的像素分布與原圖像的對應關系便可對投影圖像進行非線性幾何預扭曲，從而解決投影畫面在曲面屏幕產生幾何畸變的問題。然而，大屏幕投影墻只是一個視覺方向的投影畫面，屬于半沉浸式虛擬現實體驗，多通道投影洞穴狀自動虛擬(Cave Automatic Virtual Environment，CAVE)系統提供三至五個方向的投影平面，實現完全沉浸式的虛擬現實體驗。為了實現多通道投影畫面的無縫拼接，必然存在投影畫面彼此的重疊區域，因此，多通道投影CAVE系統的同一投影畫面分布在二至三個投影平面，相對于大屏幕投影墻而言，多通道投影CAVE系統的幾何校正難度較大。

文獻[2]以投影對象的攝影圖像為橋梁，結合最小二乘法、遺傳算法等數學方法，計算出投影圖像與顯示圖像間的傳遞矩陣，從而達到快速幾何校準的目的，但此類方法在復雜投影環境中的局限性很強并且幾何校正精度不高。文獻[3]與文獻[4]先后通過特征點自動擬合對投影畫面的幾何形狀進行自適應函數校正，再通過紋理貼圖來解決復雜的投影環境導致投影畫面產生幾何畸變的問題，但沒有針對多通道投影圖像的拼接問題有過多研究。文獻[5]把特征點大小降低至像素級別，即投影儀的每個像素都作為特征點，達到特征點密度最大化，設計合理的像素編碼算法，使投影儀中每個像素點都能在照片中對應到相應的位置，進而準確刻畫出投影儀位置和形變信息，這種方法的幾何校正精度較高，但是操作過于復雜，計算量過大，從而導致擬合時間過長。文獻[6]提出了基于魚眼相機的幾何校正方法，使穹頂處相鄰的投影區域間基本沒有撕裂和跳動。文獻[7]提出了一種魚眼鏡頭攝像機與標準鏡頭攝像機相結合的幾何校正方法，并通過簡單的程序實現了對整個室內空間的多重投影，通過使用相同的模式圖像并使用兩個攝像機進行拍攝，可以計算出兩個攝像機之間的對應關系。文獻[8]求解畸變關系方程并確定圖像像素在基準點的坐標，利用該像素點周圍的像素灰度值，求出該像素的灰度值，從而對圖像進行幾何對其校正。但此三類方法并不適用于多通道投影CAVE系統的異面投影。文獻[9]創建光柵化貝塞爾曲面的細分網格，得到的圖像記錄了從輸入圖像到投影曲面的映射關系以此進行幾何校正，但是，人眼觀測便可發現，即便多通道投影畫面經過貝塞爾曲面校正，投影畫面重疊區域中各自的光柵化網格彼此并沒有發生良好的重疊。文獻[10]提出了一種基于多視角采樣校正的大尺度多投影光場三維顯示系統，文獻[11]在此基礎上設計并實現了面向柱面的主動立體多投影顯示系統，文獻[12]基于雙目視覺原理，對投影幕進行三維重建，以此構建三維貝塞爾曲面模型保證投影區域彼此銜接完好。文獻[13]設計了激光陣列儀，基于激光標注點計算各個投影儀投影矩陣，從而獲得幾何校正的初值，并進一步細調網格得到最終理想的幾何校正結果。文獻[14]采用二次準均勻B樣條構建投影幕曲面，通過調節控制點實現曲面幾何粗校正，解決幾何形變問題，然后通過調節形狀參數解決重合區域拼接問題。由此可見，如今很多研究著重于解決幾何校正精度不高的問題，以此實現投影畫面重疊區域的完美銜接，但是，由于重疊區域存在重影，該區域幾何校正的誤差才顯而易見，通過對投影畫面像素點的整體測量，便可發現非重疊區域也存在像素偏移。

本文通過透視變換對投影圖像進行整體幾何校正，在攝像空間內計算投影畫面的平均絕對誤差，通過貝塞爾曲面進行幾何優化直到平均絕對誤差低于標準值為止。

1 基于透視變換的幾何校正

1.1 透視變換

透視變換的數學模型為

因此，x與y的表達式分別為

其中，u與v分別為像素點變換前的橫縱坐標值，x與y分別為像素點變換后的橫縱坐標值。

由于一組點對應兩個線性關系式，4組點的8個線性關系式便可求得轉換矩陣的8個未知參數。

本文在投影畫面幾何校正過程中，通過攝像機對屏幕空間進行采集從而轉換至攝像空間。在進行幾何校正之前，需要通過張正友標定算法求取攝像機的內部參數以及畸變系數以此對攝像機進行去畸變處理，從而保證攝像坐標空間與世界坐標空間的線性對應關系，實現攝像機采集信息的真實性。

在攝像機采集屏幕空間時，攝像機需要正對屏幕中央，在攝像機采集屏幕空間后，在攝像空間內獲取屏幕四個頂點的橫縱坐標以此判斷照片內的屏幕是否為標準矩形，如果不是，定義攝像空間內屏幕的4個頂點理想坐標值，求得透視校正矩陣，以此對照片進行透視校正來保證攝像空間內屏幕空間像素坐標的真實性。

對照片進行去畸變處理以及透視校正后，在攝像空間內獲取投影畫面的4個特征點坐標值，計算對應理想坐標值以此求得透視變換矩陣，通過透視變換矩陣對投影圖像進行幾何預扭曲。

1.2 投影圖像的矩陣分塊

本文的實驗系統為四通道投影CAVE系統，搭建的實物如圖1所示。

圖1 四通道投影CAVE系統的實物模型Fig.1 Physical model of four channel projection CAVE system

圖1為四通道投影CAVE系統的理想幾何投影畫面，環幕的3個投影畫面由同一臺主機控制，地面的投影畫面由另一臺主機控制。因此，環幕的3個投影畫面彼此存在重疊區域，即環幕的3個投影圖像投影到2～3個投影平面，而地面的投影圖像剛好投影在地面區域，與環幕的3個投影畫面并沒有重疊區域。

根據環幕投影圖像像素的投影平面分布，對投影圖像進行矩陣分塊，環幕三通道原圖像的矩陣分塊如圖2所示。

圖2中的區域1為該通道主要投影平面內對應的像素區域，區域2與3為該通道相鄰投影平面內對應的像素區域。

幾何校正前，每個通道原圖像對應投影實際區域的矩陣分塊如圖3所示。

圖2 環幕投影圖像的矩陣分塊Fig.2 Matrix partition of projection image of circular screen

圖3 每個投影圖像區域的投影矩陣分塊Fig.3 Projection matrix partition of each projection image area

圖3中虛線區域內的像素能夠完全投影至對應投影平面，虛線以外的區域難免投影至對應投影平面以外的區域。

由于環幕投影畫面存在異面投影，需要根據每個投影畫面對應投影平面的像素分布進行分段透視變換，因此圖2所分塊的每個區域都對應一個幾何校正的透視變換對應關系，在求取透視轉換矩陣時，需要獲取圖3中虛線區域內4個特征點在攝像空間內的坐標值。

為了實現圖2中每個分塊區域透視變換矩陣的準確計算，要保證每個分塊區域在攝像空間內的真實性，因此，需要對投影畫面對應的每個投影平面進行單獨拍攝，即采用單投影-多拍攝的方式采集屏幕信息。

2 基于貝塞爾曲面的幾何優化

2.1 貝塞爾曲面

一個貝塞爾曲面由(N+1)×(M+1)個控制點pij(i=0,1,…,N;j=0,1,…,M)來定義，此類貝塞爾曲面便為N×M次貝塞爾曲面，其定義為

(1)

式(1)中pij為第(i+1)×(j+1)個控制點；u與v分別為點的橫縱坐標并且均作歸一化處理，因此，u∈[0,1]且v∈[0,1]；P(u,v)為貝塞爾曲面變換后的坐標。

通過(R+1)×(S+1)組特征點坐標值便可求得控制點，構建的矩陣關系式為

其中，Cr.s.u與Cr,s.v分別為第(r+1)×(s+1)個點的橫縱坐標值；U與V分別為該坐標空間的橫縱坐標最大值；pi,j,x與pi,j,y分別為橫縱坐標第(i+1)×(j+1)個控制點；Pr,s.x與Pr,s.y分別為第(r+1)×(s+1)個點經坐標空間變換后的橫縱坐標值；X與Y分別為變換后坐標空間的橫縱坐標最大值。

2.2 平均絕對誤差

本文以平均絕對誤差(Mean Absolute Error，MAE)作為幾何校正的評估指標，表達式為

其中，投影畫面共有(R+1)×(S+1)個特征點，F(r,s)為第(r+1)×(s+1)個特征點的實際坐標值，R(r,s)為第(r+1)×(s+1)個特征點的理想坐標值,L為特征點坐標值的MAE。

對投影圖像進行分塊幾何預扭曲后進行投影，投影圖像為矩形黑白棋盤格，共有(R+1)×(S+1)個棋盤角點，其中包括棋盤格頂點與邊上的角點，依舊以多拍攝-單投影的方式采集來保證攝像空間內每個投影平面信息獲取的真實性。對于理想點坐標的求取，可在攝像空間內根據投影幕的4個頂點通過透視變換來保證屏幕空間為矩形形狀，再使棋盤格跟攝像空間內矩形屏幕空間的坐標一一對應以此準確計算每個角點的理想坐標值，從而準確計算每個角點實際坐標值的絕對誤差以此求得MAE。

根據實驗系統的操作環境，給予MAE一個標準值，如果MAE大于標準值，用貝塞爾曲面對投影圖像進行幾何優化。根據實驗環境、攝像空間的大小以及攝像空間內屏幕空間所占比重，設本實驗橫坐標MAE的標準值為2.0，縱坐標MAE的標準值為1.5。

對于貝塞爾曲面，控制點數量越多，幾何優化精度越高，但是計算難度越大。本文先采用雙三次貝塞爾曲面進行幾何優化，即4×4個控制點。以攝像空間內投影平面中棋盤格投影畫面的角點為特征點，棋盤格角點在照片內實際坐標值與理想坐標值分別作為貝塞爾曲面變換前后的坐標值，以此求取控制點，其中，以照片內投影平面區域作為單位圖像對坐標值進行歸一化，而且依舊根據圖2對投影圖像進行區域分塊幾何優化。

經貝塞爾曲面幾何優化后，再次計算MAE，如果橫坐標或縱坐標的MAE依舊大于標準值，便在該方向增加一個控制點數量，再次進行幾何優化，直到MAE低于標準值為止。

對于每個環幕投影圖像，像素集合表達式為

其中，I為該通道投影內圖像的全部像素集合，Ij為該通道投影第j區域內的全部像素集合，該通道投影共有J個區域，J=2或3。

環幕投影圖像的幾何校正數學表達式為

其中，G(I)為I的幾何預扭曲，Bj(Ij)為Ij的貝塞爾曲面幾何預扭曲，Pj()為Ij的透視變換函數。

對于地面的投影畫面，提取地面上的角點，經透視變換固定投影畫面的輪廓，使其剛好投影至地面區域即可，再用貝塞爾曲面進行幾何優化。

3 實驗結果與分析

環幕三通道投影圖像經區域分塊透視變換后的投影畫面如圖4所示。

圖4 環幕三投影透視變換幾何校正效果圖Fig.4 Geometric correction effect drawing of three projection perspective transformation of annular screen

由圖4可知，根據投影畫面在不同投影平面的像素理想分布對投影圖像進行區域分塊透視變換幾何校正能夠實現同一投影圖像的異面投影。

環幕三通道投影圖像經區域分塊貝塞爾曲面變換后的投影畫面如圖5所示。

圖5 環幕三投影貝塞爾曲面幾何優化效果圖Fig.5 Geometric optimization effect drawing of Bezier surface with three projections of annular screen

由圖5可以看出，經分塊區域貝塞爾曲面幾何優化后，投影畫面內的棋盤格角點均勻分布，而且重疊區域銜接完好，并沒有發生像素撕裂、跳動以及重影現象。

四通道投影圖像經幾何校正后的投影畫面如圖6所示。

圖6 四通道投影CAVE系統的幾何優化效果圖Fig.6 Geometric optimization effect drawing of four channel projection CAVE system

由圖6可以看出，地面的投影畫面與環幕的投影畫面準確連接。

分別采用分段透視變換、全局貝塞爾曲面以及本文所提出的非均勻分段貝塞爾曲面優化對投影圖像進行幾何校正，攝像空間內棋盤格角點像素坐標值MAE的比較結果如表1所示。

表1 幾何校正平均絕對誤差計算結果Tab.1 Calculation results of geometric correction mean absolute error

由此可見，本文設計的非均勻分段貝塞爾曲面幾何優化使校正后攝像空間內的角點橫縱坐標平均絕對誤差相對分段透視變換分別降低了1.13像素和0.93像素，相對全局貝塞爾曲面分別降低了0.68像素和0.52像素。

在應用到實時畫面的顯示上，需要多通道視頻采集模塊和集群顯示模塊，多通道視頻采集模塊包括對畫面進行采集、壓縮以及傳輸，集群顯示模塊包括對畫面進行接受、解碼以及顯示。

4 結論

本文針對多通道投影CAVE系統的異面投影設計了非均勻分段貝塞爾曲面幾何校正方法，本文所設計的幾何校正方案只需少量控制點便可對異面投影進行準確校正且MAE相對降低。因此，本文所設計的幾何校正技術更適用于多通道投影CAVE系統。由于環幕投影畫面的投影儀與地面投影畫面的投影儀由不同的主機控制，因此視頻投影畫面難以得到理想的同步性，后期打算以通信技術對整體同步的實時性給予提升。