基于非周期性提取像素的全景圖像三維重構

汪永吉

(廣西民族大學相思湖學院，廣西 南寧 530008)

1 引言

應用廣泛的圖像顯示系統是基于三維圖像的，只能從一定角度表示真實空間場景的精細投影。現階段計算機視覺技術快速發展，各研究領域對全景圖像的質量要求也隨之越來越高，人們已不再滿足于傳統的文本傳輸方式，因此出現了眾多圖像聲音系統以及媒體平臺，同時圖像信息作為傳輸信息的主要方式之一，也已成為該研究領域中較為重點研究的課題之一[1]。

目前在商業競爭日益激烈的大環境背景下，部分視覺圖像已經在三維成像技術領域中有了較為顯著性的突破，部分新的圖像應用也為三維成像技術奠定了堅實的基礎。由于三維圖像可以給觀看者帶來更為顯著的自然感和真實性，并且該技術在視覺領域中也將發揮越來越重要的作用，因此，開發三維圖像系統也將是科學界和娛樂界的長期目標。

現階段傳統三維全景圖像重構技術已經不能滿足社會基本需求，基于此本文提出非周期性提取像素下全景圖像三維重構方法。首先采用非周期性像素提取的方法解決全景圖像中重疊像素的部分，然后采用差值算法對三維全景圖像進行重建處理。經仿真結果驗證，所提出方法在計算過程中具有較高的像素匹配度，并且具有較高的有效性以及適用性。

2 非周期性提取像素法

在全景成像技術中，記錄圖像的設備是一個較小的微透鏡相機，而在相機記錄圖像的過程中，不同的相機都會有一個不同的圖像記錄區域，基于此在相機運行的背后便是物體空間的單元素圖像。因為在微透鏡記錄下，每個元素圖像的顯示區域都會受到區域限制，所以在對像素重疊處理時，即可根據兩條同時通過微透鏡的光線交叉點來讓相鄰元素圖像具有同一個相交點。但在實際應用中這種方法會導致圖像重構失誤率大幅度增高，由于對圖像重疊像素進行周期性提取，會進一步導致對應像素觀測點出現失誤的情況，因此該方法并不能有效緩解因圖像像素重疊造成圖像失真的情況。

在此基礎上設計出一種非周期像素提取方法，在一般情況下根據計算機提取獲得出元素圖像中像素點都是由眾多觀察點形成的，即可根據光路圖的反射點，運用非周期像素提取[2]。

此處假設記錄元素圖像的微透鏡陣列表示為M×M，而EIP和LIP描述為元素圖像的平面以及重建圖像的平面，那么EIP和M×M之間的實際距離就表述為g，而M×M和LIP之間為h。

若透鏡焦距為f，根據透鏡原理上述參數滿足成像公式則有

(1)

根據上式計算結果即可得知，記錄圖像的位置點與不同微透鏡相機的反射光線以及光軸角度都是不同的，因此便針對多個不同的微透鏡相機進行假設，假設在相同觀察點的圖像中進行提取像素點處理，那么就會導致圖像像素數據錯誤的情況，從而造成大量圖像出現失真的結果，在F點根據第k個微透鏡所構成的角度為θk，那么根據上述已知條件也就可以將其寫為

(2)

如果從F觀察點到第k個體元素圖像交點到體元素圖像中心的距離為xk，則

(3)

即

(4)

式中，k表示從1一直到M的自然整數，將微透鏡相機的聚焦寬度設置為p，并在此基礎上令所有圖像的像素寬度為n，這樣便可以通過計算獲取出元素圖像中xk/n的取值，然后根據該結果找到提取圖像像素的最佳位置，從而實現重新構建出沒有重疊像素且不失真的圖像。

3 獨立立體視覺系統

目前為止，在該研究領域中最常見的3D成像技術大多仍基于立體視覺[3]。Wheatstone三維圖像系統作為最早的立體視覺系統之一，在記錄三維圖像時，首先需要針對同一物體記錄兩個相同的圖像，其中一個拍攝角度與第一幅圖像不同，并將兩個圖像與顯示在左眼中的不同記錄角度區分開來，但系統只能同時觀察一個人，因此本文使用激光全息構建一種獨立的立體視覺系統，全息技術最早是為改進電子顯微鏡而發展起來的，該技術主要通過相干光源波前干涉來獲取目標圖像，視覺系統示意圖如圖1所示。

圖1 視覺系統示意圖

圖1能夠較好地再現目標的三維特性，使重建后的圖像波保留了原始目標波的所有振幅和相位信息。

4 三維全景圖像重構

三維全景圖像(Integral Imaging)是一種采用微透鏡陣列進行記錄和顯示的三維圖像技術，該技術既不需要觀察者佩戴特殊的裝置，也不需要特殊的記錄環境，被認為是最有希望應用于三維圖像顯示技術之一，目前正引起眾多關注。

目前，限制全景圖像技術發展的主要因素是再現場景有限的景象深度信息和視角范圍等問題上。因此導致研究的主要問題在于分析思路受到傳統的二維圖像分析方法的限制，假設全景圖像呈現最佳視覺效果的前提是每一幅元素圖像都有最佳效果，而實際觀察者看到的是經過微透鏡陣列后重新匯合的三維光學模型，并不是一個個分立的元素圖像，基于此本文先對全景圖像中的深度信息進行提取然后采用差值算法對三維全景圖像進行重構處理。

4.1 基于全景圖像深度提取

在全景圖像中提取深度信息[4]，是視覺圖像處理領域中一個較為重點的問題，傳統提取深度信息過程中，確定攝像機的相對幾何位置和相關參數是提取過程中重點關注的取值參數。

在經典圖像處理領域，圖像的深信息是可以根據多個設備在同一場景下所拍攝到的圖像信息差中進行提取。與傳統的圖像處理方法不同的是，視圖在一定方向上取場景的平行投影，而不是通過透射的方式進行投影，這樣便有

(5)

式中，Δt=ds1-ds2表示兩個分別不相同視圖之間的采樣距離，ψ和F分別表示記錄圖像設備的實際孔徑以及焦距。

根據上式，即可進一步得知深度信息是可以通過視差取值而得出的，所以根據這一情況，便可令圖像深度信息提取問題轉變成為圖像之間的視差計算問題。

本文針對全景圖像深度提取將運用SSD計分準則的塊匹配算法[5]，該算法的基本理論是在相同的兩幅圖像中，在第二幅圖像中的候選區域中提取出與第一幅圖像中相對應的像素點(x，y)，然后將獲取出最匹配的區域(x+d，y)，d∈[-R，R]。

其中計分評價判定標準為

(6)

(7)

式中把I1和I2分別表述為兩幅視圖，將(x，y)描述為被分析的點坐標，而I1(x，y)代表相對應點(x，y)的強度，w和R則表述為圖像像素之間匹配的窗口和匹配的大概范圍。由于本文在匹配過程中兩幅圖像之間只存在部分水平視差的問題，所以在實際匹配像素的過程中匹配的大致范圍將被定義在水平方向。

基于此本文將采用鄰域限制與放松方法(NCR)針對全景圖像進行深度提取，該方法是在SSD的基礎上嚴謹地考慮到空間限制因素提出的，因為該因素是直接決定圖像匹配位置的復雜標準-多候選預屏從而提升圖像的整體匹配效率[6]。

NCR算法是在空間連續分布前提下提出的，就是指經過該算法計算深度信息在對應的空間中是呈連續分段狀態的，因此假設在計算過程中考慮到鄰域內眾多圖像中的視差問題，那么經該算法計算后接口具有較高的健壯性，為了能夠更有效地確定某個匹配位置，以便需要對鄰域塊進行多方面考慮，如圖2所示。

圖2 塊Bij的鄰域B

根據上圖所示，如果考慮到鄰域限制那么即可利用下式寫出評價匹配判定標準

(8)

式中，Bi，j表示像素(i，j)的窗口，該窗口同樣也是需要進一步確定視差元素，N(Bi，j)表示Bi，j的鄰域集合，W(Bk，j，Bi，j)表示每個相互不同鄰域塊的權重因子。

鄰域方式則主要體現在鄰域塊的視差方面，因為每個鄰域塊的視差都會有不相同的視差局部變化，所以導致與中心塊完全不同，即可給鄰域塊中的部分視差變量加一個變量，即可得出

(9)

根據上式即可得知鄰域限制與放松的完整判定標準，其中鄰域限制是由窗口的SSD得知，而鄰域放松則由相關變量來決定。

當經過計算進一步得出函數最小取值時，便可得出目前計算所期望的視差取值。多候選預屏方法則是利用SSD評分標準求解出全部可能存有在是差點中的剩余取值，然后在眾多取值中尋找出其中一個代表閾值Rth，該取值通常是最小值的η倍，即可得出

Rth=η*min_residue，(η>1)

(10)

根據上式計算，最后將所有小于Rth的值作為最終匹配結構，在計算過程中如果殘余閾值多大，那么就會存在更多的候選結果，如圖3所示。

圖3 候選示意圖

4.2 基于插值算法的全景圖像三維重建

在全景成像技術的眾多問題中，針對圖像重建的深度精度進行對比是重建過程中必不可少的一個步驟，將其進行對比能夠有效地實現對空間分辨率以及數據分析處理的目的[7]。三維圖像的深度信息是根據二維視圖與視差之間的關系計算得出的，由于圖像的視差信息是通過針對兩幅圖像之間的匹配程度進行計算得出，也就是說在實際計算過程中給定一個匹配窗口[8]，那么在尋找第二幅圖像中搜索范圍內運用積分函數獲取出最小的位置[9]。

根據上述深度信息提取算法即可得知，在實際計算過程中圖像像素點的眾多候選視差取值是處于離散分布狀態的[10-11]，所以經過計算求解之后的視差取值是沒有達到最精準的最小值，其中結果圖如圖4所示。

圖4 差值算法示意圖

從上述得知眾多的候選視差值都是處于離散分布狀態的，所以在計算求解視差值的過程中便會出現與實際結果不符的情況，進而導致深度信息沒有達到完全精確的結果，因此為了能夠從根本上解決該問題，本文將在立體匹配算法的基礎上采用差值算法，根本目的是計算score函數值中最小的候選視差值[12]。

5 仿真研究

為了能夠進一步驗證所提算法有效性，進行仿真驗證，在實際計算過程中，首先根據傳統算法中選取出對應的最小視差值以及鄰近的兩個差值，然后分別計算出函數取值并且利用三種結果形成拋物線，其中具體流程如圖5所示。

圖5 差值算法流程圖

其中本文所選取的三維全景圖像尺寸為2000*1500，原始圖像圖6所示。

圖6 原始圖像

根據圖6原始圖像，運用傳統技術以及三維重建技術對圖像特征輪廓進行進行采集，其中采集結果如圖7所示。

圖7 圖像特征輪廓信息采集

由圖7可知，利用本文算法對圖像進行三維重建，其結果更加清晰，可以得出圖像像素不失真且深度信息精準的三維全景圖像，在此基礎上便根據圖7針對圖像像素點匹配程度進行進一步分析，得到圖像自動生成結果精準度對比結果，如圖8所示。

圖8 圖像自動生成結果精準度對比圖

根據圖8可知，本文的方法比兩種傳統方法在圖像生成精準度方面具有較高的優勢。

6 結論

當前，在商業競爭日益激烈的大環境背景下，三維成像技術領域已有較為顯著的突破，一些新的圖像應用領域也為三維成像技術的發展打下了堅實的基礎。因為全景圖像能給觀賞者帶來更多的自然和真實感受，而且這一技術在視覺領域將會發揮越來越大的作用，所以發展3D圖像系統也將成為科學界和娛樂界的長期目標。

為了解決圖像失真模糊的情況，本文提出一種基于非周期性提取像素的全景圖像三維重構方法。由于在生成圖像過程中會有部分像素重疊，而導致成像后出現圖像失真的情況，所以本文將采用非周期性像素提取的方法進行像素提取，獲取出不失真的圖像，然后采用差值算法實現三維全景圖像重建的目的。仿真結果表明，本文方法與傳統方法相比具有較高的優勢，并且具有成像精準度高、計算過程不復雜等優點。