基于特征對(duì)應(yīng)與分割的圖像拼接技術(shù)研究

張舒　徐慶

摘? ?要：圖像拼接計(jì)算幾何變換以基于重疊圖像之間的特征對(duì)應(yīng)的最佳擬合來(lái)對(duì)齊圖像。之后使用接縫切割來(lái)隱藏未對(duì)齊的偽影。有趣的是，要獲得直觀的無(wú)縫效果，通常是接縫步驟是最關(guān)鍵的。這促使我們提出了一種接縫驅(qū)動(dòng)的圖像拼接策略，其中不是基于特征對(duì)應(yīng)的最佳擬合來(lái)估計(jì)幾何變換，而是基于所得到的接縫切割的視覺質(zhì)量來(lái)評(píng)估變換的好壞。結(jié)果表明，這種新的圖像拼接策略往往比現(xiàn)有的方法能產(chǎn)生更好的視覺效果，特別是對(duì)于具有挑戰(zhàn)性的場(chǎng)景。

關(guān)鍵詞：圖像拼接? 特征對(duì)應(yīng)? 接縫切割

中圖分類號(hào)：TP39? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)：1674-098X（2020）06（b）-0131-02

傳統(tǒng)圖像拼接流水線（上圖）和改進(jìn)的接縫驅(qū)動(dòng)圖像拼接流水線（下圖）的示例，如圖1所示。在傳統(tǒng)方法中，諸如SIFT之類的特征點(diǎn)被計(jì)算并在圖像對(duì)之間進(jìn)行匹配，從而產(chǎn)生一組特征對(duì)應(yīng)。針對(duì)非平面場(chǎng)景幾何特征和錯(cuò)誤匹配的特點(diǎn)，采用隨機(jī)樣本一致性（RANSAC）穩(wěn)健估計(jì)具有最佳幾何擬合的單應(yīng)性。具體地說(shuō)，一組單應(yīng)詞H1，H2…是隨機(jī)假設(shè)的，并根據(jù)他們的共識(shí)大小衡量進(jìn)行排名。使用最好的單應(yīng)函數(shù)來(lái)扭曲和對(duì)齊圖像。然后進(jìn)行接縫切割以產(chǎn)生最終結(jié)果。

1? 圖像拼接技術(shù)

本文的接縫驅(qū)動(dòng)方法以類似的方式運(yùn)行，但評(píng)估和選擇單應(yīng)不同。這是通過(guò)修改RANSAC中的假設(shè)和測(cè)試循環(huán)來(lái)實(shí)現(xiàn)的，在該循環(huán)中，我們生成鼓勵(lì)多樣性的候選單應(yīng)性，并使用所有候選來(lái)將接縫切割應(yīng)用于對(duì)齊的尺寸，接下來(lái)，我們基于我們的新的排名度量來(lái)評(píng)估不同的接縫切割，該排名度量有利于獲得具有良好感知質(zhì)量的結(jié)果。

RANSAC通過(guò)在隨機(jī)采樣的數(shù)據(jù)最小子集上擬合單應(yīng)性來(lái)生成模型假設(shè)，其中每個(gè)子集包含四個(gè)對(duì)應(yīng)。對(duì)于每個(gè)假設(shè)，記錄與其一致的對(duì)應(yīng)關(guān)系（即，假設(shè)的內(nèi)部人員）。此隨機(jī)抽樣過(guò)程重復(fù)多次，并選擇具有最高共識(shí)大小的假設(shè)。

2? 評(píng)估切割

雖然接縫能量最小化了I1和I2之間的圖像梯度，但用于對(duì)不同接縫的感知質(zhì)量進(jìn)行排序時(shí)效果不佳。我們引入了一種更具區(qū)分性的誤差度量。對(duì)于沿著接縫的每個(gè)像素p，我們通過(guò)提取以p為中心的17×17面片P并在I1或I2中搜索其最相似的面片來(lái)估計(jì)誤差值E（p）。這可以表示為

其中Si表示I1和I2的重疊區(qū)域中的所有圖像塊。這個(gè)想法是，如果沿著接縫的補(bǔ)丁與I1或I2中的補(bǔ)丁相似，那么沿著接縫的補(bǔ)丁在感覺上是可信的。如果沿著接縫的面片在兩個(gè)源圖像中都找不到，那么它很可能是一個(gè)偽像，因此指定了更大的錯(cuò)誤。沿尺寸為斜體的接縫的總誤差計(jì)算為。

圖2顯示了該過(guò)程的示意圖以及具有對(duì)應(yīng)的每像素誤差E（p）的三個(gè)不同切割的示例，E（p）顯示為熱圖，總誤差? ? 。最小誤差表示我們的感知排序。（A）說(shuō)明了如何評(píng)估接縫。對(duì)于沿著接縫的每個(gè)像素，在任一重疊圖像中找到的關(guān)于該像素的最相似面片的平方差被用作失配誤差。（B）使用我們的誤差度量顯示來(lái)自不同切割的能量熱圖。累計(jì)接縫誤差用于對(duì)切割進(jìn)行分級(jí)。

3? 結(jié)語(yǔ)

本文提出了一種接縫驅(qū)動(dòng)的圖像拼接策略，圖像拼接計(jì)算幾何變換以基于重疊圖像之間的特征對(duì)應(yīng)的最佳擬合來(lái)對(duì)齊圖像，之后使用接縫切割來(lái)隱藏未對(duì)齊的偽影。結(jié)果表明，這種新的圖像拼接策略往往比現(xiàn)有的方法能產(chǎn)生更好的視覺效果，特別是對(duì)于具有挑戰(zhàn)性的場(chǎng)景。我們的接縫驅(qū)動(dòng)圖像拼接的想法是一項(xiàng)正在進(jìn)行中的工作。

參考文獻(xiàn)

[1] Benjamin E J， Blaha M J， Chiuve S E， et al. Heart disease and stroke statistics-2017 update： are port from the American Heart Association[J].Circulation， 2017， 135（10）： 146-603.

[2] Xue W， Islam A， Bhaduri M， et al. Direct multitype cardiac indices estimation via joint representation and regression learning[J]. IEEE Transactions on Medical Imaging， 2017，36（10）： 2057-2067.

[3] Xue W， Lum A， Mercado A， et al. Full quantification of left ventricle via deep multitask learning network respecting intra-and inter-task relatedness[C].International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer， Cham， 2017：276-284.