基于多維鏡頭的全景采集設(shè)備與技術(shù)實(shí)現(xiàn)

畢東月

（安世亞太科技股份有限公司 北京 100025）

0 引言

對沉浸式混合現(xiàn)實(shí)的興趣激增導(dǎo)致商業(yè)和消費(fèi)者360°全景采集系統(tǒng)的廣泛使用[1]。消費(fèi)級全景采集系統(tǒng)包括理光Theta和三星Gear 360，而高端全景采集系統(tǒng)包括諾基亞Ozo和Jaunt One。沉浸式全景圖用于Facebook Spaces等社交應(yīng)用，消費(fèi)者現(xiàn)在可以通過上傳全景圖為Google街景做出貢獻(xiàn)，這些發(fā)展突顯了全景內(nèi)容創(chuàng)建的重要性。由于缺乏立體視差，全景或360°圖像和視頻只能提供有限的沉浸式體驗(yàn)[2]。

1 三維全景數(shù)據(jù)采集器

數(shù)據(jù)采集的質(zhì)量將直接影響數(shù)據(jù)的進(jìn)一步處理，因此在數(shù)據(jù)采集過程中獲取高質(zhì)量的全景圖像數(shù)據(jù)、坐標(biāo)位置數(shù)據(jù)、位置信息和時(shí)間尤為重要。全景三維數(shù)據(jù)采集器由14個運(yùn)動相機(jī)組成，橫向10個運(yùn)動相機(jī)均勻分布，覆蓋角度120°，頂部2個相機(jī)，底部2個相機(jī)，具體分布見圖1。通過開模，采用鋁合金支架固定相機(jī)，確保橫向角度均勻分布，同時(shí)頂部和底部的相機(jī)可以同時(shí)采集全景圖片。一次拍攝就可獲取360°×180°環(huán)境的圖像數(shù)據(jù)，每個攝像頭可獲取達(dá)到4 k的圖像，并能以每秒60幀的速度連續(xù)即時(shí)拍攝。

2 三維數(shù)據(jù)采集技術(shù)

圖像拼接是將具有重疊視野的多張攝影圖像組合起來，以產(chǎn)生分段全景或高分辨率圖像的過程。通常通過使用計(jì)算機(jī)軟件來執(zhí)行，大多數(shù)圖像拼接方法需要圖像和相同曝光之間幾乎完全重疊才能產(chǎn)生無縫結(jié)果，盡管一些拼接算法實(shí)際上通過執(zhí)行高動態(tài)而受益于不同曝光的圖像重疊區(qū)域的范圍成像。為了估計(jì)圖像對齊，需要算法來確定將一幅圖像中的像素坐標(biāo)與另一幅圖像中的像素坐標(biāo)相關(guān)聯(lián)的適當(dāng)數(shù)學(xué)模型。可以使用將直接像素到像素比較與梯度下降（和其他優(yōu)化技術(shù)）相結(jié)合的算法來估計(jì)這些參數(shù)[3]。

2.1 圖像特征點(diǎn)

Harris Corners檢測器是一種角點(diǎn)檢測算子，用于提取角點(diǎn)并推斷圖像的特征，是由Chris Harris和Mike Stephens 1988年在改進(jìn)Moravec的角點(diǎn)檢測器后首次提出的[4]。通過與之前的算法進(jìn)行對比，在充分考慮了角點(diǎn)分?jǐn)?shù)的差異下，Harris的角點(diǎn)檢測器直接檢測參考方向，而不是進(jìn)行每45度角的移動補(bǔ)丁式檢測。此算法已被證明在圖像的區(qū)分邊緣和角點(diǎn)方面更精準(zhǔn)。通過圖像中虛擬局部傳感窗口，檢查窗口在不同角度輕微移動時(shí)的平均能量變化。當(dāng)其檢測值超過閾值時(shí)，將窗口的中心像素提取為角點(diǎn)。假設(shè)使用灰度二維圖像由給出，考慮取一個圖像塊之間的平方差（SSD）的總和為f，則：

逐步計(jì)算圖像中的水平和垂直像素，并對圖像進(jìn)行Gossian濾波，得到兩個乘積M的4個元素的值。計(jì)算Harris響應(yīng)值R，得到新的M。選擇每個像素和局部極值。Harris的方法的特點(diǎn)是像素對應(yīng)于該區(qū)域中最有趣的值。定義限制并選擇多個角點(diǎn)[5]。

2.2 圖像特征匹配

圖像匹配是根據(jù)獲取圖像的特定特征，并在圖像數(shù)據(jù)庫中查找鏈接圖像的結(jié)構(gòu)過程。然而，在圖像采集過程中，由于傳感器噪度和亮度區(qū)別的不同，導(dǎo)致采集的圖像存在較大的色彩差異，圖像匹配技術(shù)可以在每幅圖像中找到特征相似點(diǎn)。由于目前的圖像匹配算法在上述情況下是無法保證圖像匹配效率和準(zhǔn)確性的質(zhì)量，需要研究一種即使在光照和輻射不同情況下也能有效提取圖像特征的算法。配對和識別雖然是兩個不同的概念，但卻緊密相連。在技術(shù)上有很多相似之處，在其他方面也有很多相似之處。圖像識別是圖像學(xué)中的重要科研領(lǐng)域。由于圖像的拍攝條件存在一定的差異性，圖像在各個層面體現(xiàn)出較為顯著的不同，主要包括空間位置、光學(xué)等層面。同時(shí)，考慮到噪聲和干擾等因素的不同程度，圖像的差異性就會越發(fā)明顯。因此，必須采用圖像處理的方法抵消環(huán)境差異的影響。在圖像關(guān)聯(lián)后，可以根據(jù)這些規(guī)則匹配目標(biāo)圖像。圖像匹配的重要前提是圖像特征空間必須包含圖像的各種特征值。特征空間數(shù)據(jù)類型差異大，例如表面或圖像旋轉(zhuǎn)不變量、邊緣強(qiáng)度、瞬時(shí)質(zhì)心和其他統(tǒng)計(jì)信息。圖像匹配的核心是特征空間的選擇，特征空間選擇的正確性不僅僅可以減少搜索中使用的空間，而且可以大幅度提高正確率。圖像匹配算法性能和效率取決于特征空間選擇。圖像匹配需要過濾特征空間中過濾出最有價(jià)值、最便捷的圖像特征子集。在這個過程中，可以應(yīng)用局部特征，也可以使用全局圖像特征組合來執(zhí)行配準(zhǔn)任務(wù)。

使用圖像特征匹配方法分析非線性圖像變化時(shí)，目標(biāo)圖像的圖像噪聲、圖形變形等因素都嚴(yán)重影響了圖像的灰度信息。這將導(dǎo)致圖像匹配算法的計(jì)算量大，從而影響圖像匹配的效率。此外，基于局部圖像的區(qū)域映射方法對灰度轉(zhuǎn)換更敏感，并優(yōu)化了圖像計(jì)算匹配結(jié)果。需要整幅圖像的信息，增加了計(jì)算量，匹配時(shí)間也會顯著增加[6]。

目標(biāo)圖像的每個屬性信息都代表一個唯一的特征屬性，該屬性信息使的程序能夠區(qū)分圖像。特征提取是以參數(shù)化和成對形式表達(dá)處顯式特征信息的計(jì)算過程。在圖像處理過程中，選擇的特征應(yīng)該易于提取，并確保提取算法的高效率，從而確保圖像匹配算法的可靠、穩(wěn)定和準(zhǔn)確。圖像特征匹配涉及直接對齊方法，以找到一組圖像的對齊方式，以減少匹配或重疊像素之間的總差異之和，使用直接對齊方法時(shí)，可以先校準(zhǔn)圖像以獲得最佳效果。Brute Force Matcher是標(biāo)識符匹配器，它比較兩組關(guān)鍵點(diǎn)標(biāo)識符并創(chuàng)建匹配列表。標(biāo)識符匹配器將第1組中的每個關(guān)鍵點(diǎn)標(biāo)識符與第2組中的每個關(guān)鍵點(diǎn)標(biāo)識符進(jìn)行比較。每次比較都會生成一個距離值，并且可以根據(jù)最小距離選擇最佳匹配[7]。圖像配準(zhǔn)的質(zhì)量取決于算法確定的最佳匹配關(guān)系的4個要素：（1）從圖像中提取特征空間進(jìn)行圖像匹配；（2）計(jì)算原始圖像的特征和注冊圖像之間的相似度度量；（3）搜索所有可能的圖像變換參數(shù)的空間；（4）搜索在搜索域Strategy（搜索策略）中尋找平移、旋轉(zhuǎn)等最佳估計(jì)轉(zhuǎn)換參數(shù)。

圖像處理中匹配兩幅圖像時(shí)，如果兩幅圖像的基本特征信息相似，在圖像特征提取、參考圖像、目標(biāo)圖像屬性提取后，圖像特征將具有相同的屬性信息。采用參數(shù)化的方式，將目標(biāo)圖像表示為標(biāo)識符。通過特殊的匹配方法建立圖像特征信息之間的關(guān)聯(lián)模式，從而匹配圖像特征。根據(jù)參考圖像和目標(biāo)圖像之間的幾何變換，建立標(biāo)準(zhǔn)的圖像匹配映射模式。映射模式是兩者關(guān)系的數(shù)學(xué)表達(dá)，是由圖像匹配結(jié)果決定的唯一關(guān)系，從而實(shí)現(xiàn)基于內(nèi)置的圖像映射模型的兩幅圖像的數(shù)字轉(zhuǎn)換。

2.3 全景圖像拼接

全景圖像拼接是將多幅采集圖像連續(xù)拼接的一個過程。對于兩幅圖像互補(bǔ)拼接，會在邊緣和重疊處會出現(xiàn)顯著的噪點(diǎn)、重疊處不透明、邊緣裂開等情況。因此，需要在拼接前對圖像進(jìn)行融合。圖像融合可以是拼接圖像保真、重疊自然，并采用算法消除重疊圖像的間隙、填充邊緣裂紋，降低圖像噪度。圖像融合處理算法主要包括兩類，即空間域算法和變換域算法。例如，基于空間域的圖像融合處理算法、加權(quán)聚合、主成分分析（PCA）等。基于變換域的圖像融合處理算法包括金字塔變換和小波變換。圖像全景合成技術(shù)可以將多幅圖像組合成一幅高分辨率、寬視野的全景圖像。執(zhí)行圖像融合需要圖像預(yù)處理、記錄和融合過程。圖像預(yù)處理的主要任務(wù)是對圖像進(jìn)行初始定位，尋找重疊區(qū)域的近似范圍，縮小匹配搜索范圍，提高相似區(qū)域的匹配速度和精度，降低配準(zhǔn)難度。圖像數(shù)據(jù)的預(yù)處理主要經(jīng)過平滑操作、邊緣銳化操作、去噪操作和圖像校正操作。作為合成工作的主要內(nèi)容，圖像配準(zhǔn)的準(zhǔn)確性直接影響圖像拼接的質(zhì)量。圖像配準(zhǔn)被定義為根據(jù)一定的相似度確定圖像之間相關(guān)性的過程[8]。圖像配準(zhǔn)算法的類型大致包括以下兩種：（1）基于區(qū)域的算法，識別圖像的同一部分并通過灰度關(guān)系映射，具體算法包括基于空間的像素配準(zhǔn)算法和基于頻域的算法。（2）基于特征的算法利用圖像中的顯著特征來計(jì)算圖像之間的轉(zhuǎn)換，而不是利用圖像的灰度信息，具體算法包括基于輪廓特征的算法、角點(diǎn)檢測算法和SIFT-scale不變特征變換算法。圖像記錄完成后，進(jìn)一步組合以進(jìn)行拼接。圖像合并是將原始圖像和記錄的圖像轉(zhuǎn)換到同一坐標(biāo)系，然后將它們合成為圖像的過程。外部環(huán)境對圖像拼接影響較大，可通過提高圖像匹配算法的可靠性，解決圖形目標(biāo)跟蹤丟失問題，進(jìn)行匹配目標(biāo)圖像。從圖像合成角度，提升圖像匹配算法穩(wěn)定性。為了保證圖像匹配方法達(dá)到預(yù)期效果和實(shí)效性，確保算法的可靠性、魯棒性、匹配精度等諸多因素。圖像拼接的前提是對序列圖像的獲取，決定圖像能否拼接成功的更重要的一步。雖然在獲取序列圖像的方式較多，獲取序列圖像有3種通用方法，選擇合適的圖像獲取方式就顯得尤為重要。第1種是將相機(jī)固定在一個點(diǎn)上，相機(jī)在平面上沿一條垂直線旋轉(zhuǎn)拍攝。第2種是將相機(jī)放置于可平行移動的平臺上，平臺用于在不移動相機(jī)的情況下進(jìn)行連續(xù)拍攝。第3種是將相機(jī)位置不固定，移動相機(jī)以任意角度旋轉(zhuǎn)。圖像合成是圖像拼接的最后階段，直接影響最終渲染合成的圖像的效果。圖像融合是將生成的圖像序列組合成包含與原始圖像序列一樣多的數(shù)字圖像信息的完整圖像的過程。圖像合成最常用的有6種：直接均值融合法、中值濾波融合法、加權(quán)平均融合法、加權(quán)中值濾波融合法、最近鄰信息融合法、多分辨率融合法。

3 功能測試

兩個相鄰圖像之間存在相似的區(qū)域。根據(jù)圖像中的像素特征、形狀和紋理特征，將這些區(qū)域中像素的邊緣、頂點(diǎn)和區(qū)域作為特征點(diǎn)進(jìn)行搜索。根據(jù)每組相鄰圖像的特征點(diǎn)，計(jì)算出相應(yīng)的特征變換矩陣，見圖2。

圖像區(qū)域在相鄰圖像之間部分重疊。數(shù)據(jù)采集器根據(jù)重疊圖像的這個區(qū)域計(jì)算相鄰圖像之間的不等式，并根據(jù)這個不等式合并相鄰圖像，見圖3。

4 結(jié)語

本文實(shí)現(xiàn)了基于多維鏡頭的全景三維采集設(shè)備，采用Harris Corners算法提取圖像特征關(guān)鍵點(diǎn)，基于Brute Force Matcher 算法進(jìn)行特征匹配實(shí)現(xiàn)了數(shù)字全景快速三維采集，實(shí)驗(yàn)結(jié)果驗(yàn)證了數(shù)字全景三維采集技術(shù)與設(shè)備的可行性，可用于現(xiàn)實(shí)場景的快速虛擬三維構(gòu)建，解決了向單個360°全景圖自動添加深度的問題。這樣做的好處是能夠合成立體視圖，從而允許用戶使用VR頭盔體驗(yàn)場景的3D沉浸式可視化。