融合圖像語義的動(dòng)態(tài)視頻拼接方法

楊 毅,王冬生,宋文杰,付夢(mèng)印

(北京理工大學(xué)自動(dòng)化學(xué)院,北京 100081)

0 引 言

隨著機(jī)器人技術(shù)的進(jìn)步與發(fā)展,機(jī)器人對(duì)于視覺信息的需求越來越高,普通攝像頭受限于視場(chǎng)角,全方位相機(jī)又存在分辨率過低且拍攝死角較大等問題,而圖像拼接技術(shù)能夠?qū)⒍鄠€(gè)的圖像拼接成一幅大視場(chǎng)圖像,可以更準(zhǔn)確地檢測(cè)和追蹤圖像中的目標(biāo)[1]。視頻拼接是圖像拼接的技術(shù)延伸,其對(duì)拼接的實(shí)時(shí)性、連續(xù)性、魯棒性有更高的要求,在視頻監(jiān)控和無人駕駛系統(tǒng)中有重要的應(yīng)有價(jià)值。

圖像拼接作為視頻拼接技術(shù)的基礎(chǔ),按照拼接模式可以分為兩類。第一類是以文獻(xiàn)[2]為代表的通過估計(jì)全局2D投影變形來對(duì)齊輸入圖像的拼接模式[2],該模式主要利用一個(gè)全局3×3單應(yīng)矩陣將多張圖像對(duì)齊到同一坐標(biāo)平面[3],并使用多頻帶融合算法獲取大場(chǎng)景拼接圖像,但這類方法是基于拍攝內(nèi)容近似處于同一個(gè)平面的假設(shè)實(shí)現(xiàn),對(duì)于不滿足假設(shè)的情況,由于全局投影模型不一致,會(huì)導(dǎo)致拼接圖像出現(xiàn)重影或模糊等問題。第二類是利用多個(gè)局部單應(yīng)矩陣對(duì)齊圖像的模式[4-9],代表方法是文獻(xiàn)[7]在2015年國際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議上提出自適應(yīng)圖像拼接方法(adaptive as-natural-as-possible,AANAP)[7],該方法將圖像劃分為密集網(wǎng)格,每個(gè)網(wǎng)格都計(jì)算出一個(gè)單應(yīng)矩陣。并將局部單應(yīng)性與全局相似性變換組合,根據(jù)圖像目標(biāo)自動(dòng)估計(jì)出所有參數(shù)。這類方法可以允許一定程度的局部視差,但由于引入網(wǎng)格的形變估計(jì),極大增加了計(jì)算成本,拼接一張圖需要十幾秒甚至幾分鐘,不能直接應(yīng)用到視頻拼接算法中。為了降低拼接的計(jì)算成本,本文從當(dāng)前圖像拼接技術(shù)出發(fā),將圖像分為上下兩個(gè)半平面,用兩個(gè)局部單應(yīng)矩陣擬合,在局部視差允許的情況下,加快算法的處理速度。

目前視頻拼接按相機(jī)設(shè)置和應(yīng)用場(chǎng)景可以分為3大類,第1類是靜態(tài)場(chǎng)景下攝像機(jī)間幾何關(guān)系固定的拼接方法[10-11],該類方法由于應(yīng)用環(huán)境比較單一,只需預(yù)先標(biāo)定校準(zhǔn)一次攝像機(jī)間的位置,然后輔助過渡區(qū)域局部融合算法,就能夠?qū)崿F(xiàn)實(shí)時(shí)的圖像拼接。第2類是運(yùn)動(dòng)環(huán)境下攝像機(jī)間幾何關(guān)系固定的拼接方法[12-14],該類方法同第1類相似,也需要預(yù)先標(biāo)定好攝像機(jī)之間的幾何關(guān)系,但由于應(yīng)用于運(yùn)動(dòng)環(huán)境,環(huán)境所屬平面變化時(shí)都會(huì)不可避免地產(chǎn)生局部視差。第3類是靜態(tài)和運(yùn)動(dòng)環(huán)境下攝像機(jī)間相互獨(dú)立的拼接方法[15-17],該類方法主要應(yīng)用于非剛性固連的攝像機(jī)組,例如手持?jǐn)z像設(shè)備,懸掛式拖車環(huán)視設(shè)備等,由于輸入設(shè)備之間的位置關(guān)系不確定性,場(chǎng)景投影平面時(shí)變性,需要實(shí)時(shí)校準(zhǔn)標(biāo)定參數(shù)。對(duì)于手持設(shè)備拍攝的離線視頻,為了實(shí)現(xiàn)更好的拼接效果,視頻需作平滑運(yùn)動(dòng)軌跡的穩(wěn)定處理[16]。對(duì)于在線拼接方法,由于無法預(yù)知相機(jī)運(yùn)動(dòng)軌跡,很難獲取滿意的拼接圖像,本文采用基于拼接質(zhì)量反饋的方法優(yōu)化拼接結(jié)果。

圖像語義分割技術(shù)是指使用一定的分類方法對(duì)圖像進(jìn)行像素分類。在深度學(xué)習(xí)應(yīng)用到計(jì)算機(jī)視覺領(lǐng)域之前,人們使用紋理基元森林(texton forest,TF)和隨機(jī)森林(random forest,RF)分類器進(jìn)行語義分割,隨后提出的卷積神經(jīng)網(wǎng)絡(luò)極大地促進(jìn)了語義分割領(lǐng)域的發(fā)展。文獻(xiàn)[18]提出了用于語義分割的全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN),FCN主要使用了卷積化、上采樣、跳躍結(jié)構(gòu)等技術(shù),改善了語義分割的結(jié)果,將端對(duì)端的卷積網(wǎng)絡(luò)應(yīng)用到語義分割領(lǐng)域,這使得卷積神經(jīng)網(wǎng)絡(luò)無需全連接層即可進(jìn)行密集的像素分類,使用這種方法可生成任意大小的分割圖,在這之后,語義分割領(lǐng)域幾乎所有先進(jìn)方法都采用了該模型。2015年文獻(xiàn)[19]提出一種用于圖像分割的深度卷積編碼器-解碼器架構(gòu)(A deep convolutional encoder-decoder architecture for image segmentation,SegNet),包含一個(gè)編碼網(wǎng)絡(luò)和對(duì)應(yīng)的解碼網(wǎng)絡(luò),并跟隨一個(gè)像素級(jí)別的分類層。編碼層由13個(gè)卷積層構(gòu)成,其作用是提取圖像特征,解碼器網(wǎng)絡(luò)將低分辨率的特征圖譜還原到輸入圖像的分辨率,可以處理任意大小的輸入圖像并輸出相同大小的分割圖。在FCN中,盡管使用了解卷積層和一些跳躍連接,但輸出的分割圖仍然比較粗糙,SegNet沒有復(fù)制FCN 中的編碼器特征,而是復(fù)制了最大池化索引,只存儲(chǔ)特征映射的最大匯集指數(shù),這使得SegNet比 FCN更節(jié)省內(nèi)存,效率更高,其在城區(qū)場(chǎng)景理解方面效果表現(xiàn)明顯,因此本文采用文獻(xiàn)[19]提供的SegNet 語義模型對(duì)城市環(huán)境進(jìn)行語義分割,圖1為語義分割效果圖。

圖1 語義分割效果圖Fig.1 Effect of the Semantic segmentation

綜上所述,圖像語義分割結(jié)果可以提供圖像的高階語義信息,對(duì)環(huán)境有更高的解析,但該技術(shù)還未曾應(yīng)用到視頻拼接領(lǐng)域。為了提高現(xiàn)有視頻拼接技術(shù)的準(zhǔn)確性與魯棒性,本文提出一種融合圖像語義信息的在線動(dòng)態(tài)視頻拼接方案。

1 系統(tǒng)框架

為了加快拼接速度,本文采用多線程方式分時(shí)并行處理拼接過程,拼接系統(tǒng)由主線程、特征配準(zhǔn)線程、特征評(píng)價(jià)線程3部分組成,系統(tǒng)框架如圖2所示。主線程的主要步驟包括:圖像預(yù)處理、圖像降采樣、圖像語義分割、單應(yīng)矩陣預(yù)測(cè)模型更新、拼接質(zhì)量?jī)?yōu)化、圖像融合等。其中圖像預(yù)處理是指利用改進(jìn)的張正友棋盤格標(biāo)定算法[20]校正原始圖像的圖像畸變;圖像語義分割前需要先將原圖降采樣到360×480大小,然后利用語義模型(本文采用文獻(xiàn)[19]提供的SegNet城區(qū)語義模型)對(duì)圖像進(jìn)行語義分割,可將街道圖像像素點(diǎn)分為11類,最后得到與原始圖像相同尺寸的語義圖,結(jié)果如圖1所示。在第1次圖像畸變矯正后初始化特征配準(zhǔn)線程,該線程主要作用是求解拼接所需的單應(yīng)性投影模型。

圖2 本文視頻拼接算法流程圖Fig.2 Video stitching algorithm flowchart in this paper

在拼接評(píng)價(jià)線程中,本文通過投影變換將待配準(zhǔn)圖投影到參考圖平面上,并對(duì)兩圖重疊區(qū)域處的語義、紋理、色彩等信息進(jìn)行相似度分析,獲得拼接結(jié)果的定量評(píng)估。主線程能夠?qū)崟r(shí)檢測(cè)拼接評(píng)價(jià)線程的量化評(píng)價(jià)結(jié)果,判斷是否需要優(yōu)化拼接,當(dāng)拼接質(zhì)量評(píng)價(jià)結(jié)果大于設(shè)定的評(píng)價(jià)閾值Th時(shí)融合對(duì)齊的圖像,最終輸出拼接圖;否則,利用單應(yīng)矩陣預(yù)測(cè)模型預(yù)測(cè)當(dāng)前單應(yīng)矩陣,達(dá)到優(yōu)化拼接結(jié)果得目的。當(dāng)拼接評(píng)價(jià)線程接收到來自主線程的優(yōu)化拼接請(qǐng)求時(shí),會(huì)利用優(yōu)化的單應(yīng)矩陣重新對(duì)齊圖像。在n次優(yōu)化嘗試后,輸出評(píng)價(jià)質(zhì)量最高的一組對(duì)齊結(jié)果。假設(shè)單應(yīng)矩陣在一段時(shí)間內(nèi)是線性變化的,該模型可以表示為

(1)

式中,H(t)表示當(dāng)前時(shí)刻計(jì)算出的單應(yīng)矩陣;HC(t)表示利用模型預(yù)測(cè)出的當(dāng)前單應(yīng)矩陣;score表示拼接評(píng)價(jià)評(píng)估結(jié)果;T(l)指第l-1次到第l次單應(yīng)矩陣計(jì)算的時(shí)間間隔,本文僅利用最近十次的數(shù)據(jù)進(jìn)行預(yù)測(cè)。

本小節(jié)介紹了融合圖像語義的自適應(yīng)動(dòng)態(tài)視頻拼接方法系統(tǒng)框架和主線程的主要步驟,提出了利用拼接評(píng)價(jià)結(jié)果實(shí)現(xiàn)基于歷史拼接信息的拼接參數(shù)預(yù)測(cè)。

2 特征匹配

圖像特征匹配,是指利用一定方法將多幅圖像的相似特征進(jìn)行匹配,是圖像對(duì)齊的前提,匹配的準(zhǔn)確度直接影響到圖像拼接的質(zhì)量。

為了解決全局投影模型不一致的問題,本文將圖像場(chǎng)景劃分為上下兩個(gè)半平面,分別提取兩個(gè)半平面(見圖3(a))內(nèi)的特征點(diǎn),并對(duì)特征點(diǎn)進(jìn)行配準(zhǔn)(見圖3(b)),計(jì)算出相應(yīng)的兩個(gè)單應(yīng)矩陣。

圖3 場(chǎng)景局部匹配圖Fig.3 Scene partial area matching map

本文匹配流程如圖2特征配準(zhǔn)線程所示,以圖4為例說明。首先使用David Lowe提出的具有尺度不變性的加速穩(wěn)健特征(speeded-up robust features,SURF)算法提取特征點(diǎn)如圖4(a)所示。該算法利用Harr特征以及積分圖像加速特征提取過程,能實(shí)時(shí)提取特征點(diǎn)并為特征點(diǎn)計(jì)算位置和尺度信息,最終生成一個(gè)64維的SURF特征描述符,包括采用Henssian矩陣獲取圖像局部最值和利用Harr小波特征求取的特征點(diǎn)的主方向。然后使用快速最近鄰搜索包(fast library for approximate nearest neighbors,FLANN)匹配方法直接對(duì)原始圖SURF特征進(jìn)行匹配,再使用k-最近鄰算法(k-nearest neighbor,KNN)篩選匹配點(diǎn)后的匹配結(jié)果,結(jié)果顯示存在大量誤匹配,如圖4(b)所示,主要集中在鄰域信息相近但語義不同的像素點(diǎn)對(duì)之間。

傳統(tǒng)方法僅使用特征向量歐式距離的相似度進(jìn)行匹配,由于沒有考慮到點(diǎn)自身的高階語義屬性,不可避免地會(huì)產(chǎn)生一些錯(cuò)誤匹配,因此本文提出一種融合圖像高階語義的匹配算法,旨在增加匹配正確率。給定紅綠藍(lán)通道(red，green，blue,RGB)圖像,X={x1,x2,…,xN}對(duì)應(yīng)于所有圖像像素的集合,N為圖像像素點(diǎn)數(shù)量,待配準(zhǔn)圖與參考圖像素集合分別用XM,XR表示。圖像語義分割后對(duì)原圖每個(gè)像素指定預(yù)定義的類,如圖4(c)所示,分割提取的高階語義信息基本與實(shí)際物體所屬類別一致,以不同顏色標(biāo)記不同類像素,標(biāo)簽集合L={l1,l2,…Ij…,lC},j∈{1,2,…,C},C表示對(duì)象類標(biāo)簽的個(gè)數(shù),由于語義分割的結(jié)果存在分類誤差,本文用PLj表示像素分割為語義標(biāo)簽j的準(zhǔn)確度,表1說明了語義標(biāo)簽的準(zhǔn)確度。

圖4(d)部分是本文提出的融合圖像高階語義信息圖像特征匹配方法在場(chǎng)景I下的效果圖,可以看出,本文的方法能夠剔除圖像中大量的誤匹配,提高匹配正確率的同時(shí)優(yōu)化匹配點(diǎn)數(shù)量。在分析過程中為了增加實(shí)驗(yàn)的可信度本文對(duì)包含場(chǎng)景I的5個(gè)不同場(chǎng)景進(jìn)行分析測(cè)試。

圖4 本文匹配方法效果圖Fig.4 Matching method in this paper

表1 文獻(xiàn)[19]模型語義標(biāo)注正確率Table 1 Semantic annotation accuracy of model in[19]

本文使用語義分割產(chǎn)生的像素級(jí)語義標(biāo)簽對(duì)傳統(tǒng)基于特征向量歐氏距離的匹配方法進(jìn)行擴(kuò)展,將語義分割結(jié)果與圖像特征匹配對(duì)集合M={m1,m2}相關(guān)聯(lián),其中m1表示正確匹配對(duì)集合,m2表示錯(cuò)誤匹配對(duì)集合。特征匹配過程表示為

P(mij∈m1)=ω1φij+ω2φ(xi,xj)

(2)

式中,1≤i,j≤N,xi∈XM,xj∈XR;mij為點(diǎn)xi與點(diǎn)xj組成的特征匹配對(duì);當(dāng)概率P(mij∈m1)大于匹配閾值Mth時(shí)認(rèn)為該匹配是正確的;ω表示各項(xiàng)權(quán)值,ω1+ω2=1;φ(xi,xj)表示匹配點(diǎn)對(duì)應(yīng)特征向量歐式距離相似概率;φ表示匹配對(duì)屬于同一語義分類的概率,表示為

(3)

式中,seg(xj)表示對(duì)像素xj進(jìn)行語義分割后的分類結(jié)果,由于匹配點(diǎn)對(duì)的語義分割結(jié)果同時(shí)錯(cuò)誤的概率很小,本文僅考慮圖像單個(gè)像素語義分類誤差。匹配點(diǎn)對(duì)特征向量歐式距離的相似度可以用匹配點(diǎn)間歐式距離與匹配集合中相關(guān)匹配歐式距離集合中次最小值的關(guān)系來確定，即

φij(xi,xj)=

(4)

式中,Min2表示取集合中次最小值的函數(shù);Disij為點(diǎn)xi與點(diǎn)xj所組成匹配對(duì)的歐式距離,匹配對(duì)的歐式距離越近,φij(xi,xj)的值越大,匹配正確的概率越高,歐式距離的計(jì)算方法為

(5)

傳統(tǒng)匹配方法中僅用到式(5),當(dāng)最小歐式距離與次最小歐式距離的比值小于設(shè)定閾值時(shí),認(rèn)為特征點(diǎn)與對(duì)應(yīng)的最小歐式距離的特征點(diǎn)是匹配的,但匹配過程僅利用了特征點(diǎn)的鄰域點(diǎn)信息,文獻(xiàn)[21-22]提出結(jié)合圖像的紅外光優(yōu)化配準(zhǔn)算法,并取得了一定成果,但紅外采集設(shè)備的引入,帶來了數(shù)據(jù)同步困難和經(jīng)費(fèi)成本增加等問題。本文提出的融合高階語義信息的特征匹配方法能夠充分結(jié)合圖像自身的語義屬性,優(yōu)化配準(zhǔn)算法,提高匹配正確率。

3 拼接質(zhì)量評(píng)價(jià)

拼接質(zhì)量評(píng)價(jià)本質(zhì)是對(duì)拼接圖與參考圖的重疊區(qū)域進(jìn)行圖像相似度評(píng)價(jià),傳統(tǒng)評(píng)價(jià)法僅從圖像的色彩、紋理等幾何特征角度分析,而沒有考慮目標(biāo)的語義屬性。本文將圖像語義信息與傳統(tǒng)的圖像幾何信息相融合,提出一種融合圖像語義的圖像拼接質(zhì)量評(píng)價(jià)方法,結(jié)果更符合人眼實(shí)際評(píng)價(jià)標(biāo)準(zhǔn),實(shí)現(xiàn)流程如圖5所示。

圖5 本文拼接評(píng)價(jià)算法流程圖Fig.5 Stitching evaluation algorithm flowchart in this paper

本文評(píng)價(jià)算法主要從圖像的紋理、色彩、語義3方面出發(fā),綜合考慮圖像在這3方面的相似程度,最終計(jì)算出更為符合人眼視覺的評(píng)價(jià)結(jié)果Q,圖6是一個(gè)具體場(chǎng)景下的示意圖。

圖6 拼接質(zhì)量評(píng)價(jià)示意圖Fig.6 Stitching quality evaluation

在利用兩個(gè)單應(yīng)矩陣變形對(duì)齊圖像后,分別提取待配準(zhǔn)圖與參考圖中的重疊感興趣區(qū)域(圖6(a) Ⅲ區(qū)域),用IM與IR表示,然后分別提取圖IM與圖IR的紋理信息、語義信息、色彩信息等,并計(jì)算相似度。其中邊緣紋理信息的提取方法是先對(duì)原始圖進(jìn)行灰度化處理,按照Y=0.3R+0.59G+0.11B轉(zhuǎn)換方法將三通道的RGB圖像轉(zhuǎn)化為單通道的灰度圖像。然后采用兩個(gè)3×3的高斯卷積核對(duì)圖像做平面卷積處理,得到橫向與縱向的亮度差分近似值,再結(jié)合橫向與縱向的亮度差分近似值計(jì)算出圖像中每個(gè)點(diǎn)的近似梯度,最后,對(duì)圖像進(jìn)行二值化處理進(jìn)而獲取邊緣檢測(cè)圖[23],其計(jì)算過程為

(6)

(7)

則重疊率計(jì)算方法為

(8)

式中,sum(I)表示圖像Ⅰ中所有像素點(diǎn)的灰度值總和,經(jīng)過計(jì)算可以獲取IM_D與IR_D邊緣紋理的重疊率α(見圖6(c))。

經(jīng)過語義分割圖IM與IR后可以獲取相應(yīng)的語義圖IM_S與IR_S(見圖6(b))。語義分割的結(jié)果使得圖像中每個(gè)像素具有不同的語義強(qiáng)度,但分割結(jié)果也存在著分類誤差?；谝陨闲畔⒖紤],圖像語義相似度檢測(cè)方法可參考紋理邊緣重疊率的計(jì)算方法,求取語義圖IM_S與IR_S的相似匹配圖IS,過程為

(9)

則相似率的計(jì)算方法為

(10)

其中,sum_ele(I)表示圖像Ⅰ中所有非零像素點(diǎn)數(shù)量總和,經(jīng)過計(jì)算可以獲取語義圖IM_S與IR_S語義相似度β(見圖6(c))。

對(duì)于圖像來說,色調(diào)飽和度明暗通道(hue,saturation,value,HSV)色彩空間比RGB色彩空間更能直觀地表達(dá)色彩的明暗、色調(diào)以及鮮艷程度,面對(duì)光照的變化更穩(wěn)定[24],本文通過研究相同顏色在不同色彩空間下的表征方法,將HSV與CIE 1976(L*,a*,b*)色彩空間相結(jié)合對(duì)圖像的色彩進(jìn)行分割。為了減少光照以及圖像亮度對(duì)檢測(cè)的影響,在色彩分割之前需要對(duì)圖像IM與IR進(jìn)行相應(yīng)的預(yù)處理,采用均衡化方法處理圖像的RGB通道直方圖,加強(qiáng)色彩效果,然后通過對(duì)通道H以及通道A、B的顏色信息進(jìn)行分析如圖6(b)所示,計(jì)算圖像IM與IR的色彩匹配圖IC,過程為

(11)

根據(jù)物體色彩在圖像中平滑過渡的特點(diǎn),對(duì)不同的色彩空間,用高斯核定義HSV的H通道項(xiàng)與LAB通道的A、B通道項(xiàng),其表達(dá)形式為

(12)

式中,H(x,y)表示HSV空間下H通道在點(diǎn)(x,y)處的像素值;A(x,y)與B(x,y)則分別表示LAB空間下A與B通道在點(diǎn)(x,y)處的像素值;σH,σA和σB控制高斯核的影響,其值設(shè)定為H、A、B通道的強(qiáng)度變化幅值;每個(gè)核l(k)(x,y)由ω(k)加權(quán)。計(jì)算結(jié)果傾向于將相同位置下色彩變化不明顯的點(diǎn)作為相似點(diǎn)處理,有助于色彩相似度的檢測(cè),最終色彩相似度γ的計(jì)算方法為

(13)

由于圖像相似程度與圖像的紋理、語義、色彩等特征直接相關(guān),因此本文用Q=αβγ表示計(jì)算出的圖像拼接質(zhì)量評(píng)價(jià)結(jié)果。

4 實(shí)驗(yàn)與分析

本文在Liunx系統(tǒng)下通過c++編程實(shí)現(xiàn)了提出的方法,并在配置為2.8GHz CPU、16G RAM 和低耗版GTX-1050Ti的筆記本上進(jìn)行實(shí)驗(yàn)。從融合語義的匹配準(zhǔn)確性、拼接質(zhì)量評(píng)價(jià)客觀性以及自適應(yīng)拼接的算法效率出發(fā),做了相關(guān)的實(shí)驗(yàn)。

4.1 融合語義的圖像特征匹配

在驗(yàn)證融合圖像語義匹配方法的實(shí)驗(yàn)中,本文使用文獻(xiàn)[5-7]提供的5個(gè)場(chǎng)景的圖像數(shù)據(jù)進(jìn)行特征匹配實(shí)驗(yàn),場(chǎng)景如圖7所示。在提取特征之前,本文將圖片都轉(zhuǎn)化為640×480大小,本文和文獻(xiàn)[17]都采用SURF算法提取圖像特征,該算法相比于傳統(tǒng)尺度不變特征變換(scale-invariant feature transform,SIFT)方法同樣具有尺度旋轉(zhuǎn)不變性,但其計(jì)算效率快了一個(gè)數(shù)量級(jí),能夠高效地提取特征。文獻(xiàn)[17]匹配的算法采用的是FLANN,結(jié)合KNN匹配對(duì)篩選算法,匹配結(jié)果存在大量誤匹配,主要集中在不同類但特征相似的像素點(diǎn)對(duì)之間。本文從匹配正確率、匹配數(shù)量、匹配時(shí)間出發(fā),對(duì)文獻(xiàn)[17]與本文提出的匹配方法進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如表2所示,根據(jù)調(diào)試經(jīng)驗(yàn),閾值Dth設(shè)為經(jīng)驗(yàn)值0.7,Mth設(shè)為經(jīng)驗(yàn)值0.8。

表2 5個(gè)場(chǎng)景下匹配算法的性能比較Table 2 Comparison of matching algorithms in five scenes

在比較不同特征匹配方法準(zhǔn)確度實(shí)驗(yàn)中,本文使用隨機(jī)抽樣一致(random sample consensus,RANSAC)算法,通過計(jì)算不同投影模型M的投影誤差,得到誤差閾值范圍內(nèi)的內(nèi)點(diǎn)集I,通過k次迭代,k=ln(1-p)/ln(1-wm),求取最優(yōu)投影模型MB使得其內(nèi)點(diǎn)集中元素最多,式中p為置信度,設(shè)為0.999；w為內(nèi)點(diǎn)所占比例,設(shè)為0.3；m為最小樣本數(shù),設(shè)為4；誤差閾值設(shè)為3。因此在迭代了850次后,此時(shí)在內(nèi)點(diǎn)集中的匹配點(diǎn)對(duì)認(rèn)為是正確匹配的,通過計(jì)算正確匹配點(diǎn)在不同方法產(chǎn)生匹配對(duì)集合中所占的比例,得出匹配準(zhǔn)確度。表2的結(jié)果顯示,本文提出的方法與文獻(xiàn)[17]中使用的方法相比,獲取的匹配對(duì)數(shù)量相近,但匹配準(zhǔn)確性卻提高了50%左右,這使得本文的方法在迭代次數(shù)相同的情況下能夠更準(zhǔn)確且快速地計(jì)算出圖像間的單應(yīng)矩陣。

由于引入了圖像語義信息,圖像中大量的誤匹配被剔除掉,在提高匹配精度的同時(shí)優(yōu)化匹配點(diǎn)數(shù)量,縮短了單應(yīng)矩陣的計(jì)算時(shí)間。

4.2 融合圖像語義拼接質(zhì)量評(píng)價(jià)方法

本文提出的拼接質(zhì)量評(píng)價(jià)方法本質(zhì)是對(duì)兩幅圖像的相似度進(jìn)行評(píng)估,而圖像對(duì)齊效果直接影響到拼接的質(zhì)量。單應(yīng)性是指從一個(gè)平面q到另一個(gè)平面Q的映射,可以表示為q=sMWQ,式中單應(yīng)矩陣表示為H=sMW,其中s表示尺度的比例系數(shù)；M表示相機(jī)的內(nèi)參數(shù)矩陣；W=[Rt]表示由旋轉(zhuǎn)平移組成的物理變換矩陣。實(shí)驗(yàn)在大小為1 600×1 200的圖像中進(jìn)行(見圖7),選取圖8(a)中400×400紅色窗口內(nèi)圖像作為參考圖,由于相機(jī)內(nèi)參數(shù)矩陣在相機(jī)標(biāo)定后不會(huì)變化,假設(shè)相機(jī)內(nèi)參已經(jīng)標(biāo)定。本實(shí)驗(yàn)在充分考慮拼接過程中出現(xiàn)誤差原因的基礎(chǔ)上,對(duì)圖8(a)中圖像在不同尺度、旋轉(zhuǎn)以及平移參數(shù)下進(jìn)行變換,并利用同一位置相同大小的窗口產(chǎn)生3組數(shù)量為400的圖像序列,過程如圖8(b)所示,利用4種圖像相似度計(jì)算方法進(jìn)行圖像檢索實(shí)驗(yàn)。

圖7 5個(gè)測(cè)試場(chǎng)景Fig.7 Five tested scenes

圖8 生成圖像測(cè)試序列Fig.8 Generating the image test sequence

除本文方法外,另外3種圖像相似度計(jì)算方法如下。

(1) 峰值信噪比

峰值信噪比(peak signal to noise ratio,PSNR)是一種全參考的客觀圖像相似度評(píng)價(jià)指標(biāo),該方法計(jì)算的是兩幅圖像間均方誤差相對(duì)于最大信號(hào)平方的對(duì)數(shù)值,結(jié)果數(shù)值越大兩個(gè)圖像間的相似程度越高。

(2) 結(jié)構(gòu)相似性

結(jié)構(gòu)相似性(structural similarity index,SSIM)是一種全參考的圖像相似度評(píng)價(jià)指標(biāo),該方法分別從圖像的亮度、對(duì)比度、結(jié)構(gòu)3方面度量圖像相似性[25],更符合人眼視覺感受。

(3) 感知哈希

哈希方法描述了一類可比較的哈希函數(shù),該方法提取圖像的低頻信息作為比較內(nèi)容,對(duì)圖像的尺寸、對(duì)比度、亮度具有良好的魯棒性[26]。

在相似度評(píng)價(jià)實(shí)驗(yàn)前,先將圖8所示的3組圖像序列做高斯濾波和亮度變暗處理,模擬實(shí)際拼接過程中投影變換帶來的邊緣模糊以及曝光不均勻造成的亮度差異的情況。為了方便比較,本文將4種評(píng)價(jià)方法的結(jié)果進(jìn)行歸一化處理,最終結(jié)果如圖9所示。

表3 4種評(píng)價(jià)方法耗時(shí)Table 3 Time-consuming of four evaluation methods

本實(shí)驗(yàn)對(duì)3組不同變換方式產(chǎn)生的圖像序列與參考圖進(jìn)行相似度評(píng)估。圖9結(jié)果顯示本文提出的方法相對(duì)于感知哈希算法魯棒性更強(qiáng),相對(duì)于PSNR方法評(píng)價(jià)結(jié)果區(qū)分更明顯。本文方法和SSIM方法都能夠很快地收斂到真值附近但本文算法評(píng)價(jià)結(jié)果隨圖像差異變化過渡更符合人眼視覺。表3顯示的是4種算法在處理大小為400×400圖片過程中的平局處理時(shí)間,結(jié)果顯示感知哈希算法結(jié)果最快,而SSIM由于其計(jì)算量大,每個(gè)過程需要267 ms,本文提出的方法則只需要82.6 ms,滿足實(shí)時(shí)處理的需求。綜上所述,本文提出的基于圖像語義的拼接質(zhì)量評(píng)價(jià)方法在評(píng)價(jià)結(jié)果以及處理耗時(shí)方面表現(xiàn)良好。

圖9 4種評(píng)價(jià)方法測(cè)試結(jié)果Fig.9 Test results of four evaluation methods

4.3 自適應(yīng)動(dòng)態(tài)視頻拼接方法

本實(shí)驗(yàn)的數(shù)據(jù)由安裝在紅旗H7上的兩個(gè)攝像機(jī)拍攝得到,實(shí)驗(yàn)平臺(tái)如圖10所示,攝像機(jī)采用的是菲力爾公司推出的Flea3系列相機(jī),該相機(jī)能以60每秒傳輸幀數(shù)(frames per second,FPS)的速度采集分辨率為1 280×1 024的圖像,為了加快處理,本文將視頻幀壓縮到640×480。圖10所示的兩個(gè)攝像機(jī)采用非剛性連接,其中左側(cè)攝像機(jī)與車體固連,右側(cè)攝像機(jī)可以多自由度運(yùn)動(dòng),模擬兩個(gè)攝像機(jī)相對(duì)位姿不固定的情況。測(cè)試地點(diǎn)選在北京理工大學(xué)中關(guān)村校區(qū),測(cè)試環(huán)境如圖11所示,環(huán)境既包括靜態(tài)背景也包括車輛行駛中產(chǎn)生的動(dòng)態(tài)背景,在獲取視頻過程中加入了人為對(duì)攝像機(jī)位姿的擾動(dòng),此時(shí)有來自兩個(gè)方面的因素會(huì)導(dǎo)致拼接參數(shù)的更新:①攝像機(jī)間相對(duì)位姿的變化;②由于場(chǎng)景移動(dòng)導(dǎo)致視場(chǎng)中投影平面的變化。拼接的過程是按照第1節(jié)提出的拼接框架進(jìn)行,以拼接質(zhì)量評(píng)價(jià)結(jié)果作為反饋,進(jìn)而優(yōu)化拼接結(jié)果,使得結(jié)果盡可能達(dá)到本文設(shè)定的拼接評(píng)價(jià)閾值Th,本實(shí)驗(yàn)設(shè)定閾值Th為經(jīng)驗(yàn)值0.7。

圖10 實(shí)驗(yàn)平臺(tái)Fig.10 Experiment platform

本實(shí)驗(yàn)在圖11所示的校園環(huán)境采集2 205張視頻序列做測(cè)試。為了測(cè)試程序的魯棒性,測(cè)試時(shí)車輛以10 km/h的速度行駛,拍攝環(huán)境有特征豐富的地面與建筑,也有特征缺失的墻面,相機(jī)的相對(duì)位姿也在動(dòng)態(tài)變化,使得重疊區(qū)域有超過整張圖像二分之一的序列也有低于五分之一的序列,圖12是從視頻序列中抽取的4張拼接結(jié)果圖,其中左側(cè)為使用本文提出的視頻拼接方法所生成的效果圖,右側(cè)為使用文獻(xiàn)[17]視頻拼接方法所生成的拼接效果圖。

圖11 實(shí)驗(yàn)環(huán)境Fig.11 Experimental environment

圖12 視頻序列拼接效果圖Fig.12 Video sequence stitching effect

圖12結(jié)果顯示在相機(jī)重疊區(qū)域有限,相機(jī)位姿差異明顯,測(cè)試環(huán)境復(fù)雜等情況下,本文算法仍能很好地計(jì)算出吻合程度較高的拼接圖。本文采用多線程編程方式將視頻拼接部分為主線程、特征配準(zhǔn)線程、拼接評(píng)價(jià)線程等,使得算法能夠以約2幀(537 ms)的速度拼接運(yùn)動(dòng)場(chǎng)景下的視頻幀,其中語義分割耗時(shí)占總耗時(shí)的80%左右。

本文采用所提出的拼接質(zhì)量評(píng)價(jià)方法對(duì)兩種拼接方法下視頻序列的拼接結(jié)果進(jìn)行評(píng)估,評(píng)估結(jié)果如圖13所示。

圖13 視頻序列拼接評(píng)價(jià)結(jié)果Fig.13 Stitching evaluation result of video sequence

圖13實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果顯示,本文拼接方法評(píng)價(jià)均值為0.664 9,文獻(xiàn)[17]拼接方法的評(píng)價(jià)均值為0.534 7。在一些視頻序列中,文獻(xiàn)[17]拼接方法的拼接結(jié)果評(píng)價(jià)過低,其原因主要有3種可能:①參考圖與待配準(zhǔn)圖視野重疊區(qū)域過小。由于攝像機(jī)組加入相對(duì)位姿的動(dòng)態(tài)調(diào)整,導(dǎo)致某些攝像頭相對(duì)位姿下的視野重疊區(qū)域過小,其特點(diǎn)是存在時(shí)間較長(zhǎng)且評(píng)價(jià)結(jié)果接近于0。②參考圖與待配準(zhǔn)圖重疊區(qū)域特征缺失。由于參考圖與待配準(zhǔn)圖重疊區(qū)域特征單一且稀疏,導(dǎo)致拼接結(jié)果有局部投影誤差,其特點(diǎn)是存在時(shí)間較短但評(píng)價(jià)結(jié)果不會(huì)太低,可以通過本文提出的基于反饋的拼接模式優(yōu)化。③測(cè)試環(huán)境中攝像機(jī)距離前景目標(biāo)較近,視差過大。其特點(diǎn)是存在時(shí)間短且評(píng)價(jià)結(jié)果急驟下跌;本文提出的帶有拼接質(zhì)量反饋的自適應(yīng)動(dòng)態(tài)視頻拼接方法能很好優(yōu)化這些問題。綜上所述,本文視頻拼接方法相比于文獻(xiàn)[17]提出的拼接方法,拼接質(zhì)量提升了24.35%,在一些復(fù)雜環(huán)境下拼接結(jié)果更為魯棒。

5 結(jié) 論

現(xiàn)有的視頻拼接方案大多基于圖像的低階幾何特征實(shí)現(xiàn),而沒有考慮圖像像素自身的高階語義信息,并且拼接過程都是單方向。為了減少匹配誤差、提高拼接精度,本文提出一種融合圖像語義的自適應(yīng)動(dòng)態(tài)視頻拼接方法,其重要優(yōu)勢(shì)在于:①該方法將圖像像素點(diǎn)的語義信息融合到傳統(tǒng)基于特征向量歐式距離的匹配方法中,利用圖像的多種屬性對(duì)特征進(jìn)行匹配與篩選,提高算法對(duì)錯(cuò)誤匹配點(diǎn)的魯棒性;②該方法包含一種圖像拼接質(zhì)量評(píng)價(jià)方案,即充分考慮圖像間紋理、色彩、語義等信息的相似程度,更貼合人眼的主觀感受;③該方法在視頻拼接過程中引入了拼接結(jié)果的反饋,能夠根據(jù)拼接的歷史信息優(yōu)化特征缺失情況下的拼接結(jié)果;④該方法采用多線程編程的方式分時(shí)并行處理拼接過程,加快拼接過程。實(shí)驗(yàn)結(jié)果顯示,相比于傳統(tǒng)算法,本文提出的匹配算法正確率提升了50%左右,拼接評(píng)價(jià)算法更符合人眼視覺,拼接質(zhì)量提升了25%左右。但本文的方法由于引入了圖像的語義分割,降低了算法的實(shí)時(shí)性,在未來將著重改進(jìn)現(xiàn)有的語義分割模型,使得語義分割更加高效準(zhǔn)確,進(jìn)而提高融合圖像語義視頻拼接方法的準(zhǔn)確性與高效性。