基于高清圖像處理的全景拼接技術(shù)研究

姚潔

摘要：選用合適的硬件系統(tǒng)，結(jié)合對(duì)應(yīng)的軟件算法，可以實(shí)現(xiàn)高清的全景圖像拼接。在未來的發(fā)展中，硬件的系統(tǒng)拓?fù)浜蛙浖惴ㄈ匀粫?huì)不斷進(jìn)步，讓全景拼接更加的清晰化和智能化。

關(guān)鍵詞：高清圖像處理;全景拼接;技術(shù)

中圖分類號(hào)：TP391.41?文獻(xiàn)標(biāo)識(shí)碼：A?文章編號(hào)：1672-9129（2020）08-0038-01

1?全景拼接的硬件系統(tǒng)方案

全景拼接的硬件系統(tǒng)主流的有兩種方案，一種是基于FPGA的圖像拼接，另一種是基于DSP的圖像拼接，下面分別進(jìn)行介紹。

1.1基于FPGA的圖像拼接。采用這種方案的硬件系統(tǒng)，通常DSP都不具備圖像拼接的功能，因此只能通過FPGA的算力來完成。在這種方案下，多目圖像傳感器通過MIPI或者LVDS接口連接到FPGA上，F(xiàn)PGA通過視頻接口連接到DSP，圖像的數(shù)據(jù)采集和拼接工作都是在FPGA內(nèi)完成。拼接好的圖像再傳輸給DSP進(jìn)行其他方面的處理。這種方案的成本較高，系統(tǒng)實(shí)現(xiàn)也較為復(fù)雜，對(duì)于硬件的設(shè)計(jì)要求也比較嚴(yán)格，比較適用于對(duì)拼接要求較高而DSP主芯片能力相對(duì)較弱的場(chǎng)景。

1.2 基于DSP的圖像拼接。現(xiàn)階段已經(jīng)有不少的DSP芯片內(nèi)部集成了AVSP模塊（Any View Stitching Processor，全景拼接處理器），而且可以支持多目圖像傳感器的連接。這種方案的系統(tǒng)架構(gòu)相對(duì)簡(jiǎn)單，多目圖像傳感器通常通過2對(duì)或4對(duì)MIPI或者LVDS與DSP直接連接。為了保證多目傳感器之間的同步性，推薦其工作在Slave模式（從模式），通過控制不同圖像傳感器之間的同步信號(hào)，使得它們的曝光時(shí)間保持一致，實(shí)現(xiàn)相鄰圖像傳感器重疊區(qū)域一致的效果，同時(shí)也避免了時(shí)差造成的拼接錯(cuò)位現(xiàn)象。這個(gè)方案的優(yōu)點(diǎn)是架構(gòu)簡(jiǎn)單，軟件開發(fā)量相對(duì)較小，缺點(diǎn)是圖像幀率和圖像質(zhì)量會(huì)比FPGA稍差一些。但是，隨著DSP芯片的不斷升級(jí)換代，DSP性能提升很大，DSP主芯片作為圖像拼接的載體已經(jīng)慢慢成為主流的選擇。

2?全景拼接的算法實(shí)現(xiàn)步驟

全景的圖像拼接，是將場(chǎng)景中采集到的多個(gè)重疊圖像拼成一張全景圖像的方法。從數(shù)學(xué)的角度看，全景拼接輸出的是多個(gè)圖像的并集。全景拼接一般按照如下步驟進(jìn)行：

（1）特征點(diǎn)提取：對(duì)多個(gè)圖像傳感器采集到的圖像中的特征點(diǎn)進(jìn)行圖像的配準(zhǔn)操作，圖像之間建立一個(gè)幾何的對(duì)應(yīng)關(guān)系，那么在同一個(gè)參考系中，可以快速對(duì)他們進(jìn)行變換、比較和分析等操作。可以從不同的角度來提取特征點(diǎn)，包含以下幾種：直接使用原圖像的像素值、對(duì)圖像數(shù)據(jù)進(jìn)行頻域處理、提取邊角信息、提取高級(jí)特征（通常是處理重疊部分）。（2）圖像的變形：將采集到的圖像進(jìn)行重新投影，放到一個(gè)新的畫布上進(jìn)行放大、縮小、旋轉(zhuǎn)等變形操作。根據(jù)不同的算法，圖像的投影與變形的處理方式和結(jié)果會(huì)有差異，但是基本原理和目的都是一樣的。（3）特征點(diǎn)匹配與篩選：對(duì)上述步驟提取的特征點(diǎn)進(jìn)行匹配，找出兩幅圖像中相同的特征點(diǎn)，繼而可以判斷出重疊的區(qū)域，作為圖像融合的參考依據(jù)。而實(shí)際在特征點(diǎn)提取的時(shí)候，并不是百分百正確的，有些特征點(diǎn)并不能匹配，屬于無效的特征點(diǎn)，那么就需要剔除掉這部分而只保留匹配成功的特征點(diǎn)。

3?全景拼接的關(guān)鍵算法介紹

上述已經(jīng)對(duì)全景拼接的硬件系統(tǒng)和軟件實(shí)現(xiàn)流程做了一個(gè)介紹，這一小節(jié)將重點(diǎn)介紹全清拼接中使用到的幾種關(guān)鍵的算法。

3.1 特征點(diǎn)提取算法-SIFT。SIFT，全稱尺度不變特征轉(zhuǎn)換（Scale-invariant feature transform），屬于電腦視覺的算法，可以用來偵測(cè)并描述圖像中的局部特征。SIFT的關(guān)鍵特征是不受旋轉(zhuǎn)和圖像大小的影響，這個(gè)也是它作為主流特征點(diǎn)提取算法的標(biāo)簽。SIFT算法主要具備以下特點(diǎn)：

（1）SIFT提取的是圖像的局部特征，可以保持對(duì)圖像的旋轉(zhuǎn)、尺寸變化、亮度變化下特征信息不變，在視角發(fā)生變化或者噪聲干擾時(shí)也有比較強(qiáng)的穩(wěn)定性。（2）特性信息豐富，而且具有很好的區(qū)分性，便于在海量的特征數(shù)據(jù)中完成快速精準(zhǔn)的匹配。（3）多量性，不管是復(fù)雜還是簡(jiǎn)單的畫面，都可以提取出大量的SIFT的特征量。（4）高速性，可以進(jìn)行實(shí)時(shí)的SIFT的匹配。（5）便于擴(kuò)展，可以與其他形式的特征量進(jìn)行聯(lián)合等算法操作。

3.2 特征點(diǎn)提取算法-SURF。

SURF算法還具備如下特點(diǎn)：

（1）使用了積分圖像，用來完成圖像卷積及相關(guān)的操作。（2）使用了Hessian矩陣用來檢測(cè)特征值。（3）使用了基于分布的描述符，用以描述局部信息。

SURF算法在特征點(diǎn)的提取和識(shí)別上均有很大的改進(jìn)，主要步驟如下：

（1）構(gòu)建Hessian矩陣：構(gòu)建Hessian矩陣的目的是為了生成圖像穩(wěn)定的邊緣點(diǎn)（突變點(diǎn)），跟Canny、拉普拉斯邊緣檢測(cè)的作用類似，為特征提取做準(zhǔn)備。構(gòu)建Hessian矩陣的過程對(duì)應(yīng)著SIFT算法中的DoG過程。（2）構(gòu)建尺度空間：SURF算法中，不同組間的圖像尺寸是保持一致的，不同組間使用的濾波器模板尺寸會(huì)有差異，模糊系數(shù)也會(huì)有所不同。（3）精確定位特征點(diǎn)：SURF算法的特征點(diǎn)定位過程和SIFT是類似的，把Hessian矩陣處理過的像素點(diǎn)和二維圖像空間以及尺度空間鄰域中的點(diǎn)位進(jìn)行比較，再經(jīng)過剔除能量較弱的關(guān)鍵點(diǎn)和定位錯(cuò)誤的關(guān)鍵點(diǎn)，篩選得到最終穩(wěn)定的特征點(diǎn)。（4）主方向確定：SURF算法中，采用了統(tǒng)計(jì)特征點(diǎn)圓形鄰域內(nèi)的HARR小波特征的方法。在特征點(diǎn)的圓形鄰域內(nèi)，對(duì)60°扇形內(nèi)所有點(diǎn)的垂直和水平HARR小波特征總和進(jìn)行統(tǒng)計(jì)，將扇形進(jìn)行旋轉(zhuǎn)后再次重復(fù)統(tǒng)計(jì)操作，最后將值最大的扇形方向作為該特征點(diǎn)的主方向。

參考文獻(xiàn)：

[1]王菲.一種改進(jìn)的紅外圖像配準(zhǔn)拼接算法研究[D].蘭州：蘭州大學(xué)，2015.

[2]陸園，張明.基于SIFT算法的紅外圖像拼接方法改進(jìn)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用，2015，24（8）：165-170.