基于局部單應(yīng)性矩陣的圖像拼接與定位算法研究

遲龍?jiān)疲瑥?海，趙晨旭

(1. 北京航空航天大學(xué)自動(dòng)化科學(xué)與電氣工程學(xué)院，北京100083；2.北京航空航天大學(xué)中法工程師學(xué)院，北京 100083)

0 引言

為了保證大型場(chǎng)景的安全穩(wěn)定，視頻監(jiān)控作為一種安防的有效手段，已經(jīng)被廣泛應(yīng)用在各種復(fù)雜的公共場(chǎng)合。由計(jì)算機(jī)代替人眼對(duì)視頻進(jìn)行分析處理，不僅可以減輕監(jiān)控人員的勞動(dòng)強(qiáng)度、提高監(jiān)控識(shí)別的準(zhǔn)確率，而且還可以提供許多人工監(jiān)控不能實(shí)現(xiàn)的功能。目前的監(jiān)控技術(shù)大多都采用一個(gè)固定安裝的攝像機(jī)對(duì)某個(gè)場(chǎng)景進(jìn)行監(jiān)控。對(duì)于場(chǎng)景比較大的區(qū)域如機(jī)場(chǎng)、火車站、海關(guān)、停車場(chǎng)等，由于傳統(tǒng)的攝像機(jī)的視野范圍有限,不能同時(shí)獲取周圍環(huán)境中所有目標(biāo)的位置，監(jiān)控人員需要對(duì)著多個(gè)監(jiān)控畫(huà)面分別進(jìn)行觀察，對(duì)目標(biāo)的監(jiān)控定位只能限定在有限的攝像機(jī)監(jiān)控范圍內(nèi)[1]，這樣不僅喪失了對(duì)目標(biāo)監(jiān)控的連續(xù)性，更不利于從整體上把握分析監(jiān)控目標(biāo)的狀態(tài)。因此，需要一種經(jīng)濟(jì)的廣角圖像生成技術(shù)實(shí)現(xiàn)對(duì)大場(chǎng)景的廣角監(jiān)控，以多攝像機(jī)拍攝圖像為基礎(chǔ)的圖像拼接技術(shù)應(yīng)運(yùn)而生。

早期的圖像拼接技術(shù)以Brown等[2]的Auto-Stitch算法為代表，但是該算法有2個(gè)應(yīng)用前提：拍攝到場(chǎng)景大致在一個(gè)平面上和拍攝圖片時(shí)的光心位置必須相同。當(dāng)拍攝場(chǎng)景或拍攝條件不符合以上情況時(shí)，拼接結(jié)果會(huì)產(chǎn)生明顯的重影。Gao等[3]提出了基于雙單應(yīng)性矩陣假設(shè)的拼接算法，即假設(shè)待拼接圖像可以分為背景和地面2個(gè)基本平面，通過(guò)計(jì)算2個(gè)平面對(duì)應(yīng)的單應(yīng)性矩陣，實(shí)現(xiàn)圖像的精確配準(zhǔn)。Lin 等[4]使用仿射變換對(duì)齊圖像，能夠處理一定視差下的圖像拼接問(wèn)題。網(wǎng)格優(yōu)化模型是一套靈活的圖像優(yōu)化框架，網(wǎng)格優(yōu)化方法以Zara-goza等[5]提出的盡可能投影(As Projective As Po-ssible Image Stitching，APAP)算法為代表，將圖像劃分為均勻的網(wǎng)格，并分別為每個(gè)網(wǎng)格計(jì)算一個(gè)單應(yīng)矩陣，使用局部單應(yīng)性對(duì)齊圖像。Lin 等[6]提出了使用縫合線引導(dǎo)的局部單應(yīng)對(duì)齊(Seam-guided Local Alignment，SEAGULL)方法，通過(guò)聚類產(chǎn)生多條局部單應(yīng)性矩陣假設(shè)，然后計(jì)算最佳縫合線生成一系列的候選拼接結(jié)果，并提出了一種評(píng)價(jià)標(biāo)準(zhǔn)來(lái)評(píng)估縫合效果，最后選擇得分最高的結(jié)果作為最終的全景圖像。Chang 等[7]提出了形狀保護(hù)半投影(Shape-Preserving Half-Projective，SPHP)算法，通過(guò)引入結(jié)構(gòu)保護(hù)方法，使得圖像的非重疊區(qū)域到重疊區(qū)域，由相似變換逐漸過(guò)渡到透視變換，不僅可以使重疊區(qū)域準(zhǔn)確對(duì)齊，并且能最大限度地減少非重疊區(qū)域的投影失真。Chen等[8]提出的具有全局相似性先驗(yàn)的自然圖像拼接(Natural Image Stitching with the Global Similarity Prior，NISwGSP)算法使用APAP初始化網(wǎng)格，并同時(shí)利用局部相似項(xiàng)和全局相似項(xiàng)對(duì)網(wǎng)格優(yōu)化結(jié)果進(jìn)行約束，減小了投影失真，大大提升了多張圖像的拼接效果。

針對(duì)存在視差的圖像拼接問(wèn)題，現(xiàn)有算法雖然能得到一定的拼接結(jié)果，但是仍會(huì)出現(xiàn)重影、鬼影和形狀扭曲變形等問(wèn)題。因此，需要研究全局配準(zhǔn)方法的局部?jī)?yōu)化問(wèn)題，盡可能地消除投影畸變，實(shí)現(xiàn)重疊區(qū)域的平滑過(guò)渡。

論文基于NISwGSP算法進(jìn)行改進(jìn),針對(duì)該算法特征匹配數(shù)量較少并且分布不均勻、特征稀疏區(qū)域配準(zhǔn)方法不合理及直線結(jié)構(gòu)容易遭到破壞等問(wèn)題，對(duì)特征點(diǎn)篩選算法加以改進(jìn)，利用超像素區(qū)域輔助網(wǎng)格匹配點(diǎn)的篩選，并對(duì)網(wǎng)格優(yōu)化過(guò)程添加直線保持項(xiàng)，以實(shí)現(xiàn)部分重疊區(qū)域的合理配準(zhǔn)。最后采用最佳縫合線的方法避免了未配準(zhǔn)區(qū)域出現(xiàn)重影，提升了大視差復(fù)雜場(chǎng)景下的拼接性能并保持了拼接結(jié)果的合理性。在由上述方法得到大場(chǎng)景下的全景圖像后，調(diào)用最優(yōu)攝像機(jī)配置資源實(shí)現(xiàn)對(duì)圖像中目標(biāo)的快速定位，方便監(jiān)控人員從整體上直觀把握前景目標(biāo)的位置。

1 基于網(wǎng)格變形的圖像拼接算法

1.1 特征點(diǎn)匹配與篩選

該算法首先對(duì)所有待拼接的圖像進(jìn)行快速特征點(diǎn)提取和描述 (Oriented FAST and Rotated BR-IEF，ORB)[9]并進(jìn)行暴力匹配得到候選匹配信息。傳統(tǒng)的隨機(jī)抽樣一致性(Random Sample Consen-sus，RANSAC)算法[10]針對(duì)純旋轉(zhuǎn)條件下的錯(cuò)誤匹配點(diǎn)剔除十分有效，但是當(dāng)拍攝2張待拼接圖像的相機(jī)光心不再重合時(shí)，圖像之間對(duì)應(yīng)的轉(zhuǎn)換關(guān)系不能單純地利用一個(gè)單應(yīng)性矩陣來(lái)表達(dá)，該算法便無(wú)法獲得足夠多的正確匹配點(diǎn)對(duì)。針對(duì)此問(wèn)題，本文利用魯棒的多平面RANSAC算法[11]實(shí)現(xiàn)了大視差圖像間的匹配點(diǎn)對(duì)的有效篩選。通過(guò)計(jì)算多組可能的假設(shè)模型，每組假設(shè)模型對(duì)應(yīng)一個(gè)全局單應(yīng)性矩陣或全局基礎(chǔ)矩陣，找到使得匹配點(diǎn)投影誤差小于閾值數(shù)量最多的假設(shè)模型即為最終合理的模型。模型對(duì)應(yīng)的投影殘差小于閾值的候選匹配點(diǎn)即為篩選后的匹配點(diǎn)。經(jīng)過(guò)篩選后的正確匹配點(diǎn)為后續(xù)的網(wǎng)格匹配點(diǎn)生成及圖像配準(zhǔn)過(guò)程提供支持。

1.2 網(wǎng)格匹配點(diǎn)生成與篩選

為了使圖像匹配點(diǎn)位置分布更加均勻，在得到正確匹配特征點(diǎn)后，將輸入圖像分別劃分為均勻的網(wǎng)格，然后用APAP算法將重疊區(qū)域的網(wǎng)格頂點(diǎn)利用局部單應(yīng)性矩陣投影得到相應(yīng)的網(wǎng)格匹配點(diǎn)。

Mij=

{(Vi1,P(Vi1)),(Vi2,P(Vi2)),…,(Vik,P(Vik))}

(1)

其中，P(·)為網(wǎng)格頂點(diǎn)經(jīng)局部單應(yīng)性矩陣投影后的圖像坐標(biāo)，并且P(Vjk)位于圖像Ij內(nèi)。同理定義集合Mji為對(duì)于頂點(diǎn)Vjk滿足P(Vjk)位于圖像Ii內(nèi)的匹配點(diǎn)對(duì)集合，即(P(Vjk),Vjk)∈Mji。以Mij∪Mji表示圖像Ii和圖像Ij中所有區(qū)域初步得到的網(wǎng)格點(diǎn)匹配對(duì)集合。

(2)

(3)

1.3 全局尺度項(xiàng)與全局旋轉(zhuǎn)項(xiàng)計(jì)算

(4)

(5)

1.4 基于網(wǎng)格優(yōu)化的圖像配準(zhǔn)方法

λgΨg(V)+λsΨs(V))

(6)

在式(6)中，Ψa(V)為區(qū)域配準(zhǔn)項(xiàng)，Ψl(V)為局部相似項(xiàng)，Ψg(V)為全局相似項(xiàng)，Ψs(V)為直線保持項(xiàng)，λl、λg、λs分別為各項(xiàng)對(duì)應(yīng)的系數(shù)。

區(qū)域配準(zhǔn)項(xiàng)：在得到網(wǎng)格匹配點(diǎn)后，區(qū)域配準(zhǔn)項(xiàng)通過(guò)最小化匹配點(diǎn)之間的像素坐標(biāo)誤差，求取最優(yōu)的網(wǎng)格頂點(diǎn)位置集合。具體可以表示為

(7)

局部相似項(xiàng)：為了保證匹配點(diǎn)附近的網(wǎng)格在配準(zhǔn)時(shí)不會(huì)發(fā)生局部扭曲的現(xiàn)象，該項(xiàng)通過(guò)局部相似變換的方式最小化網(wǎng)格的形變量，可以使變換合理地由重疊區(qū)域過(guò)渡到非重疊區(qū)域。具體定義如下

(8)

(9)

全局相似項(xiàng)：該項(xiàng)通過(guò)上文求取的全局尺度項(xiàng)和全局旋轉(zhuǎn)項(xiàng)保證待拼接的圖像能夠自然地投影到最終的全景圖像平面上。能量函數(shù)定義如下所示

(10)

(11)

直線保持項(xiàng)：在NISwGSP算法中，當(dāng)圖像中的直線結(jié)構(gòu)穿越多個(gè)網(wǎng)格時(shí)，由于每個(gè)網(wǎng)格進(jìn)行的變換均不相同，可能會(huì)導(dǎo)致直線在經(jīng)過(guò)變形之后失去原本的特性。針對(duì)此問(wèn)題，算法設(shè)計(jì)了直線保持項(xiàng)。在計(jì)算該項(xiàng)之前，首先利用LSD算法分別檢測(cè)待拼接圖像中的直線，并根據(jù)直線的長(zhǎng)度對(duì)其進(jìn)行篩選，當(dāng)直線長(zhǎng)度大于網(wǎng)格對(duì)角線長(zhǎng)度時(shí)，以該直線起點(diǎn)作為起始采樣點(diǎn)對(duì)直線上的點(diǎn)進(jìn)行均勻采樣，最后將采樣點(diǎn)作為優(yōu)化項(xiàng)的輸入?yún)⑴c網(wǎng)格頂點(diǎn)的優(yōu)化過(guò)程。該項(xiàng)的具體形式為

(12)

1.5 最佳縫合線融合

待拼接圖像經(jīng)過(guò)對(duì)準(zhǔn)后必須通過(guò)融合才能形成完整的全景圖像。傳統(tǒng)的圖像融合算法有多分辨率融合算法、加權(quán)平均法、泊松融合算法和最佳縫合線算法等[18]。多分辨率融合算法具有算法復(fù)雜度低、速度快等特點(diǎn)，但是當(dāng)圖像重疊區(qū)域不能嚴(yán)格對(duì)齊時(shí)，融合效果并不理想；加權(quán)平均法速度較快，但是容易出現(xiàn)偽影和曝光等問(wèn)題；泊松融合算法融合效果較好，但是計(jì)算量較大并且用時(shí)太長(zhǎng)；最佳縫合線算法雖然能夠較好地處理大視差場(chǎng)景下的圖像融合問(wèn)題，但是當(dāng)圖像存在明顯的曝光差異時(shí)，融合區(qū)域不能自然地進(jìn)行過(guò)渡，造成全景圖像出現(xiàn)明顯的接縫。

為了實(shí)現(xiàn)重疊區(qū)域的自然過(guò)渡，得到更加準(zhǔn)確、合理的融合圖像，本文將最優(yōu)縫合線搜索算法與多分辨率融合算法相結(jié)合。首先根據(jù)待拼接圖像相鄰像素的相似性構(gòu)造重疊區(qū)域的加權(quán)圖，利用最大流-最小割算法得到待拼接圖像的掩碼;然后構(gòu)造圖像的拉普拉斯金字塔，將原圖像分解到不同的空間頻帶上，并在每個(gè)頻帶上采用不同的融合算子進(jìn)行融合;最后根據(jù)最佳縫合線信息對(duì)圖像進(jìn)行重構(gòu)得到最終的全景圖像。其中加權(quán)圖的具體構(gòu)造方法如下

(13)

式中,p和q代表圖像Ii和圖像Ij重疊區(qū)域的2個(gè)相鄰像素，E(p,q)表示像素p、q之間的邊的權(quán)重。若p、q在2幅圖之間的內(nèi)容均具有較高的相似性，則認(rèn)為該部分得到了準(zhǔn)確的對(duì)齊，相應(yīng)邊的權(quán)重較小，反之則權(quán)重較大。

2 基于全景圖像的目標(biāo)定位算法

2.1 基于標(biāo)定參數(shù)的定位方法

當(dāng)目標(biāo)在某一時(shí)刻出現(xiàn)在多個(gè)攝像機(jī)的視野重疊區(qū)域時(shí)，可以通過(guò)攝像機(jī)配置信息聯(lián)合三角測(cè)量的方式實(shí)現(xiàn)目標(biāo)空間位置的快速定位，具體介紹如下：

(14)

進(jìn)一步可得

(15)

聯(lián)立多個(gè)觀測(cè)到該目標(biāo)的相機(jī)給出的方程可得

(16)

為了簡(jiǎn)便，式(16)可以表示為

(17)

(18)

運(yùn)動(dòng)目標(biāo)在世界系的坐標(biāo)可以直接通過(guò)求解偽逆的方式獲得

(19)

2.2 基于單應(yīng)性矩陣的快速定位方法

當(dāng)場(chǎng)景中存在如地面和操場(chǎng)之類的平面或者監(jiān)控?cái)z像機(jī)的內(nèi)參或外參矩陣不再可信時(shí)，可以通過(guò)平面在世界系與圖像坐標(biāo)系下的對(duì)應(yīng)關(guān)系實(shí)現(xiàn)前景目標(biāo)的快速定位。具體方法如下：

由攝像機(jī)透視投影關(guān)系可知，平面在不同坐標(biāo)系間的轉(zhuǎn)換關(guān)系可以由一個(gè)單應(yīng)性矩陣H表達(dá)

(20)

已知平面上的點(diǎn)P在世界系下的坐標(biāo)Pw和圖像平面的齊次坐標(biāo)p，則兩者的關(guān)系如下

(21)

一般情況下，運(yùn)動(dòng)目標(biāo)都會(huì)與地面等場(chǎng)景中的主平面有接觸，因此可以選取目標(biāo)在平面上的點(diǎn)作為待定位點(diǎn)。由于單目視覺(jué)在無(wú)外界測(cè)量輔助或先驗(yàn)知識(shí)的情況下不具備距離無(wú)尺度模糊恢復(fù)能力[19]。因此，需要選取至少4組已知世界系坐標(biāo)的圖像點(diǎn)作為控制點(diǎn)，計(jì)算該平面在射影變換中的投影矩陣H，并且控制點(diǎn)與待定位的目標(biāo)點(diǎn)都處于最佳縫合線的同一側(cè)。

在獲取目標(biāo)在圖像平面的像素坐標(biāo)后，可以通過(guò)單應(yīng)性矩陣H求取前景目標(biāo)在世界坐標(biāo)系的大致位置，實(shí)現(xiàn)目標(biāo)的快速定位。

3 實(shí)驗(yàn)驗(yàn)證

由于圖像拼接沒(méi)有公用的數(shù)據(jù)集，為了驗(yàn)證算法對(duì)大場(chǎng)景下圖像拼接結(jié)果的合理性以及對(duì)目標(biāo)定位結(jié)果的精確性，本文在相關(guān)論文中的圖像以及真實(shí)采集的圖像的基礎(chǔ)上進(jìn)行了一系列實(shí)驗(yàn)，并與AutoStitch、APAP、SPHP、NISwGSP算法進(jìn)行了比較。具體結(jié)果如圖1所示。

如圖1所示，A列和B列輸入圖像來(lái)自于文獻(xiàn)[6]，明顯可以看出，AutoStitch、APAP、SPHP和基于平均融合的NISwGSP算法均出現(xiàn)了明顯的鬼影問(wèn)題，除此之外AutoStitch、APAP和SPHP算法也出現(xiàn)了不同程度的尺度失真問(wèn)題。基于最佳縫合線的NISwGSP算法雖然解決了鬼影和尺度失真的問(wèn)題，但是由于重疊區(qū)域?qū)R效果不理想，拼接結(jié)果在接縫處出現(xiàn)了結(jié)構(gòu)不連續(xù)的現(xiàn)象。本文的方法則得出了相對(duì)較好的結(jié)果。

圖1的C列是由實(shí)際采集的圖像得到的拼接結(jié)果。由于條件的限制，實(shí)驗(yàn)以操場(chǎng)看臺(tái)上手機(jī)拍攝的圖像模擬監(jiān)控?cái)z像機(jī)拍攝的真實(shí)操場(chǎng)場(chǎng)景。輸入圖像存在重復(fù)的紋理結(jié)構(gòu)(草坪、跑道等)，擁有多個(gè)復(fù)雜平面，存在較大的視差并且共視區(qū)域包含特征稀疏區(qū)域和特征豐富區(qū)域等繁雜的場(chǎng)景信息。由C列可以看出，基于平均融合的NISwGSP算法的拼接結(jié)果存在明顯的失真情況，如嚴(yán)重的鬼影、損失了操場(chǎng)邊緣的直線特性及左側(cè)路燈及建筑發(fā)生了明顯的變形等狀況。雖然基于最佳縫合線的NISwGSP算法消除了鬼影問(wèn)題，但是圖中的結(jié)構(gòu)信息仍然遭到了嚴(yán)重的破壞。本文中的算法則相對(duì)較好地解決了這些問(wèn)題，提升了拼接結(jié)果的自然性與準(zhǔn)確性。

圖1 輸入圖像及結(jié)果對(duì)比Fig.1 Input image pair and results comparison

實(shí)驗(yàn)在Windows10環(huán)境(2.80GHz CPU, 8GB RAM)下進(jìn)行，算法運(yùn)行時(shí)間對(duì)比如表1所示。將融合算法由平均融合改為最佳縫合線算法后，算法耗時(shí)大幅增加。相對(duì)于基于最佳縫合線的NISw-GSP算法來(lái)說(shuō)，本文提出的改進(jìn)算法在時(shí)間上稍有增加，但是能取得良好的拼接效果。

表1 運(yùn)行時(shí)間

對(duì)于前景目標(biāo)定位問(wèn)題，如圖2所示，首先選取已知世界坐標(biāo)的4個(gè)點(diǎn)(任意3點(diǎn)不共線)作為控制點(diǎn)。其中以點(diǎn)1處作為世界系坐標(biāo)原點(diǎn)建立直角坐標(biāo)系，然后基于此求取操場(chǎng)平面與圖像平面的單應(yīng)性矩陣H。最后利用求得的單應(yīng)性矩陣H對(duì)場(chǎng)景中的一些平面點(diǎn)進(jìn)行定位的結(jié)果及誤差如表2所示，其中估計(jì)誤差由目標(biāo)點(diǎn)的世界坐標(biāo)估計(jì)值與實(shí)際值的歐氏距離表示。

圖2 控制點(diǎn)選取Fig.2 Control points selection

表2 定位結(jié)果及誤差

Tab.2 Location results and errors

序號(hào)圖像坐標(biāo)/pixel估計(jì)的世界坐標(biāo)/m真實(shí)的世界坐標(biāo)/m估計(jì)誤差/m1(717,1857)(8.66,8.72)(9.35,7.85)1.112(2043,1827)(53.67,-0.50)(51.20,-2)2.893(257,1889)(0.47,16.16)(0,15.70)0.664(1986,2464)(50.19,71.47)(53.25,69.10)3.875(827,1820)(6.07,-0.33)(6.35,-2)1.77

由實(shí)驗(yàn)結(jié)果可以看出，利用該方法可以實(shí)現(xiàn)監(jiān)控角度下目標(biāo)的快速定位，最終估計(jì)誤差在2.06m左右。

4 結(jié)論

本文針對(duì)NISwGSP圖像拼接算法中網(wǎng)格匹配點(diǎn)生成結(jié)果不符合圖像真實(shí)信息以及直線結(jié)構(gòu)容易遭到破壞等情況導(dǎo)致的全景圖像失真問(wèn)題，提出了相關(guān)的改進(jìn)方案。實(shí)驗(yàn)總結(jié)及展望如下：

1)特征匹配及網(wǎng)格點(diǎn)匹配的結(jié)果嚴(yán)重影響圖像的對(duì)齊質(zhì)量。本文利用多平面RANSAC算法獲得了較多的合理匹配點(diǎn)，并且基于超像素區(qū)域?qū)W(wǎng)格匹配點(diǎn)進(jìn)行了篩選，在充分利用圖像特征的同時(shí)，減少了由錯(cuò)誤的匹配信息帶來(lái)的影響，對(duì)局部單應(yīng)性矩陣的生成和網(wǎng)格優(yōu)化提供了一定的支持。

2)幾何結(jié)構(gòu)的保持對(duì)全景圖像的自然性至關(guān)重要。本文提出的基于直線約束的網(wǎng)格變形算法對(duì)網(wǎng)格變形起到了一定的抑制作用，使網(wǎng)格變形后的結(jié)果更加合理。

3)基于局部單應(yīng)性矩陣的目標(biāo)定位算法能夠根據(jù)圖像信息對(duì)監(jiān)控場(chǎng)景下的目標(biāo)進(jìn)行快速定位，增強(qiáng)了監(jiān)控端對(duì)目標(biāo)信息的整體把控能力。

4)本文提出的算法能夠有效提升圖像配準(zhǔn)的精確性，后續(xù)可以利用直線和輪廓等其他結(jié)構(gòu)信息進(jìn)一步提升重疊區(qū)域的配準(zhǔn)效果。對(duì)于基于全景圖像的定位算法，如何在統(tǒng)一的坐標(biāo)系下實(shí)現(xiàn)目標(biāo)的高精度定位則是后續(xù)的改進(jìn)方向。