基于非規則表面分割的紋理貼附式幾何校正算法

王 盛 王魏平 張 真

(上海航空電器有限公司 上海 201101)

0 引 言

隨著投影顯示技術在多領域內的快速發展，以光學投影顯示系統為核心的影像畫面顯示手段，已逐漸深入各類顯示環境與應用領域。非規則投影表面對空間投影的顯示特性將極大豐富人們的視覺感受，在虛擬現實、藝術表演、科技普及、創新創意等領域都具有廣闊的普適前景[1-2]。

常規應用環境中，人們將投影畫面投射到平面幕布上，為投影顯示系統提供了良好的顯示介質，無形中增加了投影顯示系統的使用成本，限定了投影顯示系統的使用場合，降低了投影顯示系統的使用便捷性[3-4]。然而現實生活中的各種接收表面本身均可以作為投影顯示介質來使用，只不過這種非標準化的接收表面形態各異，使得投影顯示畫面會受到調制而發生不可預期的形變，致使投影顯示系統的視覺效果無法滿足人們正常觀看。

Bandyopadhyay等[5]提出并實現了針對簡單投影表面的動態投影顯示系統Dynamic Shader Lamps，通過投影表面建模、投影區域跟蹤等復雜過程，實現了無紋理可移動投影表面的交互式繪制及渲染顯示的目的。Steimle等[6]提出并實現了基于可形變曲面擬合的柔性投影表面顯示系統Flexpad，通過可形變曲面的關鍵控制點對投影表面進行空間曲面擬合，得到投影表面的可參數化描述的三維空間曲面方程，從而達到柔性投影表面的紋理貼合顯示目的。

Jones等[7]提出并實現了室內環境下具有沉浸式增強現實體驗的智能化投影顯示系統RoomAlive，利用Kinect深度傳感器對室內環境表面進行三維空間信息的自主構建，通過對投影表面進行三維重建以及顯示內容的映射，實現了室內環境中投影顯示內容與室內環境表面的無縫增強現實效果。除此之外，Siegl等[8]構建了無標記映射的面部增強投影顯示系統FaceForge，根據人臉面部結構的三維空間深度信息，對預期投影于人臉表面的紋理影像進行動態分析與調整，從而使真實人臉面部能夠表現出各類惟妙惟肖的面部增強投影效果。

投影顯示系統最為核心的作用便是呈現出人們可以正常進行視覺感受的觀看畫面，而畫面顯示一旦發生幾何形變將嚴重影響人類的常規視覺體驗[9-12]。從光線傳播的角度來看，可以將投影顯示系統看作是逆向的物理成像系統，這使得投影顯示系統自動化、定性、定量的自主幾何校正成為可能[13]，致使投影幾何校正技術成為投影顯示技術領域的熱點研究問題。由于投影顯示系統極易受到非規則投影表面調制，且此類調制將導致投影顯示畫面出現無法正確表達影像內容等感知問題，因此使投影顯示畫面能夠適應于非規則投影表面的三維幾何形態變化變得至關重要[14-16]。圖1所示為非規則投影表面的貼附式幾何校正系統構成圖。

圖1 非規則投影表面的貼附式幾何校正系統構成圖

非規則投影表面的貼附式幾何校正系統主要由計算機、數字相機、投影機、非規則投影表面構成。基于非規則表面分割的紋理貼附式幾何校正算法將被分解為兩階段進行解算，即：非規則投影表面幾何分割、紋理貼附式投影顯示校正。

1 非規則投影表面幾何分割

非規則投影表面幾何分割處理的核心之處在于：對非規則投影表面進行特征標記的預期設定，使得非規則投影表面的幾何分割方式能夠滿足投影顯示系統對區域映射的匹配需求，從而實現有效投影顯示區域中預投影影像的紋理貼附式顯示效果。也就是使預投影影像能夠作為非規則投影表面的“自身”紋理，形成非規則投影表面與預投影影像的無縫貼附融合。

1.1 數字索引式特征標記紋理貼圖

現有關于預設特征的編碼圖像構建方式很多，諸如不同圖元的排列、基本圖元的組合等，但以往的這些特征編碼方式并沒有能夠完全克服識別失效等問題，而且它們被使用的過程會受到投影表面尺度、特征編碼數量、特征排他性等眾多局限，僅普遍地適用于小尺度投影顯示區域。利用數字索引的方式對特征標記進行標識序號編排，將有效地增強非規則表面投影顯示系統的擴展性，且特征編碼的標記數量將不受編碼圖像的限制。圖2所示為數字索引式特征標記紋理圖。

圖2 數字索引式特征標記紋理圖

圖2中，每個黑色實心圓右側的數字索引表示該黑色實心圓的行、列索引，且上方數字索引為該黑色實心圓所在行索引，下方數字索引為該黑色實心圓所在列索引。

如果非規則投影表面的待投影區域尺度較大，且單幅特征標記紋理圖無法覆蓋所需非規則投影表面時，則可以使用多幅特征標記紋理圖并按特征編碼的標記序號編排進行拼接，以使特征標記紋理圖能夠覆蓋需要投影顯示的全部非規則投影表面區域。

1.2 特征編碼坐標定位

通過數字相機對非規則投影表面貼附的特征標記紋理圖進行采集，然后利用閾值進行采集圖像的灰度化、二值化處理，再利用Canny算子對特征標記紋理采集圖像進行邊緣提取，從而得到特征標記紋理采集圖像中所有邊緣的二維離散點集。由于特征標記紋理圖的每個特征編碼均使用實心圓表示，因此需要對二維離散點集進行連通邊緣區域的檢測與分離，最后得到特征標記紋理采集圖像的所有連通邊緣區域集合，以便進行有效特征編碼的二維圖像坐標定位。

根據各組連通邊緣區域離散點集，以橢圓方程表達為圖元擬合模型，對連通邊緣區域離散點集進行橢圓曲線擬合。利用最小二乘法對式(1)表示的橢圓曲線擬合規則進行解算，從而得到各組連通邊緣區域所表示的橢圓方程參數A、B、C、D、E。

(1)

各組連通邊緣區域的橢圓中心點橫軸坐標值可通過式(2)計算得到，橢圓中心點縱軸坐標值可通過式(3)計算得到，橢圓長軸長度值可通過式(4)計算得到，橢圓短軸長度值可通過式(5)計算得到。

(2)

(3)

(4)

(5)

通過對邊緣連通區域的橢圓曲線擬合，即可計算得到特征標記紋理采集圖像中每個特征編碼的二維圖像坐標位置以及長軸與短軸的長度值。

1.3 特征編碼標記識別

由于受到數字相機拍攝角度、非規則投影表面幾何形態等因素的影響，特征標記紋理采集圖像中特征編碼的排布會發生調制現象，并且每個特征編碼的右側都采用數字索引進行標識序號編排。所以為了能夠正確地識別出特征編碼的數字索引，需要對每個特征編碼右側的數字索引區域進行旋轉處理，使其能夠被OCR光學字符識別過程準確地識別。

根據特征標記紋理圖中所有特征編碼的排布特性，可以得知：每個數字索引都處于特征編碼黑色實心圓的右側，并且數字索引所占寬度小于相鄰兩個特征編碼距離的三分之二。以特征標記紋理圖中特征編碼的排布特性為依據，且以數字索引區域的旋轉角度不超過正、負60度為限制條件，對特征標記紋理采集圖像的每個特征編碼進行數字索引區域檢測。然后根據該數字索引區域左右兩側特征編碼的連線所成角度，對該數字索引區域進行反向的旋轉變化處理，使其中包含的數字索引處于水平放置狀態。

利用現有已經成熟的OCR光學字符識別技術，對每個數字索引區域進行“0”“1”“2”“3”“4”“5”“6”“7”“8”“9”十個數字的光學字符識別，并得到每個光學字符識別的匹配度，然后根據光學字符的識別匹配度判斷其檢測結果的可用性，最后即可識別得到特征標記紋理采集圖像中所有特征編碼右側的數字索引序號。

2 紋理貼附式投影顯示校正

投影顯示校正的目的是通過對待投影圖像進行逆向預扭曲變換，以消除原始待投影圖像直接投射而引起的非預期形變，使投影顯示畫面能夠表現出與預期相一致的投影顯示效果。紋理貼附式投影顯示校正過程將由“投影特征映射定位”和“待投影圖像預校正”兩個處理階段構成。

2.1 投影特征映射定位

任意兩個相鄰的格雷碼編碼值僅有1位二進制數不同，其具有錯誤最小化的編碼特性，圖3所示為格雷碼序列的像素化表示。由于非規則投影表面的數字索引式特征編碼標記無法被投影機感知，故需要利用格雷碼編碼圖像序列對非規則投影表面進行特征編碼標記的投影映射定位。

圖3 格雷碼序列的像素化表示

根據格雷碼編碼序列的二進制數排列形式可知，格雷碼編碼圖像序列所包含的編碼圖像數量將由投影分辨率、編碼條紋寬度共同決定。如果投影分辨率保持不變，編碼條紋寬度越大則所需編碼圖像數量越少，編碼條紋寬度越小則所需編碼圖像數量越多，也就是說：投影分辨率不變的前提下，編碼條紋寬度與編碼圖像數量成反比。根據式(6)即可計算得到格雷碼編碼圖像序列所含圖像數目。

(6)

式中：n表示格雷碼編碼圖像序列所包含的編碼圖像數量；Sp表示投影機投射分辨率；Sn表示編碼條紋所占像素寬度值。

根據格雷碼編碼序列的二進制數排列形式，生成t幅格雷碼編碼圖像序列GCPs={GCPs1,GCPs2,…,GCPst}。將非規則投影表面貼附的特征標記紋理圖進行移除處理，使非規則投影表面恢復成無特征標記的狀態，可以更好地接收格雷碼編碼圖像序列GCPs，以便準確地解析出特征標記紋理采集圖像中各特征標記與格雷碼編碼圖像序列GCPs中格雷碼編碼坐標位置的對應匹配關系。

通過投影機依次將格雷碼編碼圖像序列GCPs的每幅編碼圖像投射于非規則投影表面，而后使用數字相機依次采集投射于非規則投影表面的每幅編碼圖像，得到數字相機采集的t幅格雷碼編碼圖像序列CGCPs={CGCPs1,CGCPs2,…,CGCPst}。

通過對格雷碼編碼圖像序列的采集圖像序列CGCPs進行解碼處理，可得到數字相機采集圖像中各投影像素點的格雷碼編碼值，根據特征標記紋理采集圖像中特征標記的二維圖像坐標，即可得到各特征標記中心對應于格雷碼投影圖像的屏幕坐標位置集SAPs，進而進行后續的待投影圖像預矯正。

2.2 待投影圖像預校正

非規則投影表面環境的投影幾何校正過程，需要對非規則投影表面的每個分塊進行單獨校正，且投影幾何校正過程需使用單應性變換矩陣實現，因此可通過式(7)計算得到各分塊自身的單應性變換矩陣，然后利用各單應性變換矩陣對待投影圖像進行預校正。

(7)

式中：(Dx,Dy)表示投影幾何校正后的預期圖像坐標位置;H11、H12、H13、H21、H22、H23、H31、H32、1表示投影幾何校正過程的單應性變換矩陣中的元素；(Sx,Sy)表示投影幾何校正前的原始圖像坐標位置。

根據特征標記紋理圖所包含特征標記的行數、列數，對投影機分辨率進行均勻網格劃分，得到所有劃分網格的頂點坐標位置序列SMPs。根據屏幕坐標位置集SAPs和頂點坐標位置序列SMPs的對應點對取值，計算得到非規則投影表面中所有面片網格的單應性變換矩陣集HTS={HTS1,HTS2,…}。

根據單應性變換矩陣集HTS，通過使用式(7)對待投影圖像中每個網格分塊的面片圖像進行預校正形變處理，得到待投影圖像中每個網格分塊的目標面片圖像。將所有網格分塊的目標面片圖像合并在一起，便可得到原始待投影圖像所對應的整幅預校正投影圖像。然后便可通過投影機將預校正投影圖像投射到非規則投影表面。

3 幾何校正算法驗證

通過對非規則投影表面幾何分割和紋理貼附式投影顯示校正處理，即可實現非規則投影表面的特征標記設置、檢測與識別，各面片網格單應性變換矩陣的求解，待投影圖像的幾何校正等操作，從而達到非規則投影表面的紋理貼附顯示目的。

為了檢驗本文算法的可行性及有效性，采用了C++編程語言實現整體處理過程的具體操作，硬件環境包括：數字相機，投影機，非規則投影表面，計算工作站。由于平面投影表面或規則投影表面可被看作非規則投影表面的特例，而且本文算法強調了對非規則投影表面的適應性，故將以更具普適性的非規則投影表面為驗證環境。

將特征標記紋理圖“貼合”至非規則投影表面，而后使用數字相機采集當前非規則投影表面，得到非規則投影表面的特征標記紋理采集圖像。通過對特征標記紋理采集圖像進行特征編碼坐標的定位，然后提取數字索引的有效區域并對其進行水平化旋轉處理，最后利用OCR光學字符識別獲取各特征標記的數字索引值。圖4所示為特征編碼標記的識別過程樣例。可以看出，本文算法能夠準確地檢測出特征標記坐標位置，并正確完成特征標記的數字索引識別。

(a) 算法驗證硬件環境 (b) 特征標記紋理采集圖像

(c) 特征標記中心定位及數字索引識別圖4 特征編碼標記識別樣例

對于特征標記紋理采集圖像，為了實現各特征標記在投影機圖像坐標系的映射定位，將格雷碼編碼圖像序列投射于非規則投影表面。圖5所示為投射了格雷碼編碼圖像的非規則投影表面。

(a) 縱向格雷碼編碼圖像 (b) 橫向格雷碼編碼圖像

(c) 縱向編碼采集圖像 (d) 橫向編碼采集圖像圖5 第7幅投射格雷碼圖像的非規則投影表面

利用投影特征映射定位階段的處理過程，即可計算得到非規則投影表面所有分塊面片的單應性變換矩陣。通過對待投影圖像每個圖像分塊進行幾何變換處理，就得到了待投影圖像的幾何預校正圖像，再將預校正圖像投射于非規則投影表面。圖6所示為預校正圖像投射于非規則表面的紋理貼附式顯示效果。

(a) 第8幀未校正投影圖像 (b) 第8幀預校正圖像 (c) 第8幀已校正投影圖像

(d) 第116幀未校正投影圖像 (e) 第116幀預校正圖像 (f) 第116幀已校正投影圖像

(g) 視角1的第116幀顯示 (h) 視角2的第116幀顯示 (i) 視角3的第116幀顯示圖6 非規則投影表面的紋理貼附式顯示效果

4 結 語

針對非規則投影表面測量難度大、人工操作復雜度高等問題，本文提出基于非規則投影表面分割的紋理貼附式幾何校正算法。通過將特征標記圖像作為紋理介質貼附于非規則投影表面的方式，對非規則投影表面進行非重建式的均勻面片網格劃分。將特征編碼序號作為特征標記的碼值使用，一定程度上提高了特征標記圖像對非規則投影表面的適應性和擴展性。實驗結果表明，本文幾何校正算法能夠實現非規則投影表面的貼附式紋理增強顯示效果。

本文幾何校正算法能夠根據特征標記的數字化序號編排，準確地檢測和識別出特征標記的坐標位置，提高了非規則投影表面顯示系統的擴展性、易用性、魯棒性等，但其目前并不適用于動態變化的非規則投影表面，還需進一步研究。