一種改進的最佳縫合線算法

羅順元，蒼巖，喬玉龍

哈爾濱工程大學 信息與通信工程學院，黑龍江 哈爾濱 150001

圖像拼接技術即通過校準融合，拼接若干存在重疊區域且視角和色彩差異不大的圖像，從而獲得高分辨率的全景圖像。應用這種技術可以消除傳統相機成像中高分辨率和廣視角不可兼得的弊端[1]。憑借這一優勢，該技術已廣泛應用于現代研究的多個領域，不僅與人們的生活息息相關，也為科學研究和生產實踐帶來了便利。

圖像拼接主要分為圖像采集、圖像預處理、圖像配準和圖像融合4個步驟，其中關鍵步驟為圖像配準和圖像融合[2]。在圖像采集過程中，獲得的圖像中往往存在運動中的物體，這就造成了圖像拼接過程中運動物體的撕裂或重疊，即鬼影現象和重影現象。針對這一問題，1998年，ML Duplaquet等[3]提出了最佳縫合線算法，該算法應用動態規劃的思想，使縫合接縫避開運動物體，有效地減輕鬼影、重影現象，但是該算法沒有對圖像之間的色彩差異進行處理，存在明顯的拼接接縫。近年來，國內外研究者在這一問題上做了大量工作。2012年，黨建武等[4]通過對特征點進行加權，使縫合線優先通過特征點區域，但其算法的魯棒性不佳，對于配準誤差較大的圖像融合效果較差。2013年，Gao等[5]提出一種接縫對比的方法，該方法首先估計待拼接圖像間的多個變換模型，然后在每個模型中各獲得一條最佳拼接接縫，最后對比所有接縫與源圖像中同一區域的相似度，從而得到最佳變換模型和最佳縫合線，這種方法有效地解決了圖像拼接過程中因變換模型選取不當帶來的誤差，但算法本身計算量大，效率不高。其后，瞿中等[6]提出在最佳縫合線兩側使用加權平均的圖像融合算法，這種方法在一定程度上降低了拼接接縫問題，但其算法魯棒性不佳。2018年，張翔等[7]將局部信息權重引入最佳縫合線搜索規則中，并使用自適應權值的加權融合方法對圖像的重疊區域進行融合，在兩圖拼接應用中取得了良好的拼接效果，但在存在多種色彩差異的圖像拼接中表現較差。針對最佳縫合線算法中存在的拼接接縫問題，提出一種改進算法，經實驗驗證，該算法能夠有效解決拼接中存在的接縫問題，提高圖像拼接質量。

1 最佳縫合線算法

最佳縫合線算法通過在圖像的重疊區域尋找最佳接縫，能夠有效地消除動態融合場景中的鬼影、重影現象。最佳縫合線算法中的最佳接縫指的是兩幅圖像中重疊區域顏色差異最小且幾何結構最相近的連續像素點的集合[2]。最佳接縫可以避開圖像重疊區域中的運動物體和色彩差異較大的區域，從而消除傳統拼接方法中出現的鬼影和重影問題。

1）以重疊區域圖像第1行為起始，每一個點都作為本列的始點，至上而下進行遍歷，每一列都生成一條縫合線；

3）比較求得的3個差異強度值，選擇強度值最小的點為下一個落在縫合線上的點，兩點之間的連線即為縫合線路徑，其強度值即為本段縫合線強度值，依次類推直到最后一行；

4）將每條縫合線各段路徑差異強度值相加，并比較所有路徑的差異強度和大小，強度和最小的路徑即為最佳縫合線。

最佳縫合線的搜索過程如圖1所示。

圖1 最佳縫合線搜索流程示意

得到最佳縫合線后，將縫合線兩側的像素值分別置為0和1，即可得到圖像的拼接掩模。結合拼接掩模，使用圖像融合算法得到拼接圖像。

2 多頻段融合算法

多頻段融合算法能夠消除圖像中的色彩過渡不自然現象，算法基本思想是將圖像進行多尺度分解，根據不同的尺度算子來融合權重，使用獲得的不同權重進行融合[9]。相比簡單的線性混合方法會對圖像產生模糊，多頻段融合算法對圖像的處理是在不同尺度域中進行的，通過在不同尺度下使用不同權重進行圖像融合，使得融合過程中能夠保留更多的細節信息，避免了圖像細節的丟失，從而獲得高質量圖像。

在多頻段融合中，首先對待融合圖像進行下采樣，并與高斯核進行卷積得到圖像的高斯金字塔，高斯金字塔圖層計算公式為：

高斯金字塔相鄰圖像層進行差分即可得到圖像的拉普拉斯金字塔，拉普拉斯金字塔圖層計算公式為

將融合后的拉普拉斯金字塔進行逆向重構，重構步驟如下：

1）設拉普拉斯金字塔層數為i，選取高斯金字塔頂層的圖像為源圖像；

2）將源圖像上采樣，上采樣結果尺度與第i層高斯金字塔的尺度保持一致，并進行平滑處理；

3）平滑后的圖像與拉普拉斯金字塔第i 層圖像相加得到新的源圖像，且；

4）重復步驟 2）、3）；

3 改進的最佳縫合線算法整體流程

由于最佳縫合線算法自身具有較強的魯棒性，在求取最佳縫合線之前，將圖像進行下采樣，將圖像變換到小尺度空間下，然后求得圖像的最佳縫合線掩膜，對掩膜上采樣即可得到原尺度下的拼接掩膜，依據拼接掩膜拼接圖像，這種改進可以大大減少搜索縫合線耗時，提高程序運行效率。

在最佳縫合線的后級使用多頻段融合算法，將拼接圖像在不同頻段內進行加權融合處理，消除拼接接縫，得到最終的拼接輸出。

算法的具體流程如圖2所示。

圖2 改進的最佳縫合線算法整體流程

4 測試結果及分析

在 Windows10系統、Intel Corei7-6700HQ、內存16 GB的計算機上，程序編譯軟件為Visual Studio2017，使用opencv2.4.13作為外部庫進行測試。

在本次實驗中，使用3組測試圖像進行算法性能測試，測試圖分別來自Opencv官方圖像拼接項目和人工使用手機拍攝。

第1組測試圖像為課本，源圖像如圖3所示，圖像間整體的色彩差異不大，但光心在實際場景中的位置不同。

圖3 測試組 1 (課本)

對源圖像做拼接處理，本文算法與文獻[6]算法輸出結果對比如圖4所示。

圖4 測試組1本文算法與文獻[6]算法輸出結果對比

結果可以看出，當圖像色彩差異不大時，本文算法與文獻[6]算法輸出效果接近一致，拼接輸出圖像中并無明顯接縫。

第2組測試圖像內容為公園場景，2個圖像草地中影子存在明顯的光照差異，源圖像如圖5所示。其中源圖像1較源圖像2的下方陰影處更亮。

圖5 測試組 2 (公園場景)

使用文獻[6]中方法得到的拼接輸出圖像如圖6（a）所示。圖中方框標記處為未能完全消除的接縫，接縫兩側影子光照強度仍存在過渡不自然。圖6（b）為本文算法輸出結果，原本存在于文獻[6]中的接縫問題得到了改善，輸出圖像更加平滑。

圖6 測試組2本文算法與文獻[6]算法輸出結果對比

圖7 測試組 3 (實驗室場景)

第3組為多圖像拼接測試，拍攝內容為實驗室場景，源圖像之間存在不同程度的色彩差異，所使用的源圖像如圖7所示。其中源圖像2、4、6、9與其他圖像之間存在不同程度的色彩差異。

使用文獻[6]算法和本文算法分別對圖像進行拼接處理，得到的拼接結果如圖8所示。從結果中可以看出，如圖8（a）所示，由于文獻[6]算法在圖像融合步驟中采用加權融合的方法，這種方法在多種失真并存的應用場景中效果不佳，由于源圖像中存在不同程度色溫差異，文獻6拼接結果的圖像方框標記區域出現了較為明顯的色差，在色差過渡處有明顯的拼接接縫，而本文算法結果中拼接效果得到了明顯改善，圖像接縫處顏色過渡更加平滑。

圖8 測試組3本文算法與文獻[6]算法輸出結果對比

為了更加客觀地驗證本文算法，采用主觀打分與圖像客觀質量評價算法評估結合的方式對本文算法結果圖像進行評價，并將評價結果與文獻[6]算法進行比較。主觀打分部分由12名參與者對3組測試圖像進行打分，并將平均得分作為該圖像的主觀質量得分[10]，打分區間為0~10分；客觀評價部分采用基于特征映射的無參考圖像質量評估算法（feature maps based referenceless image quality evaluation engine，FRIQUEE）對圖像進行評價[11]，這種評價模型利用廣義高斯模型和非對稱廣義高斯模型共同作用，提取包括亮度域、高斯差分域、拉普拉斯域和小波域在內的多種變換域特征，其特征描述高達560維，能夠對各種失真進行響應，相較于傳統的基于信息熵和互相關性的方法有著更加全面的評價效果[12]，該模型的打分區間為0~100分。測試結果如表1所示。

表1 拼接圖像質量評價結果表

從結果中可以看出：在2幅圖像拼接場景中，測試組1中，當兩圖像色彩差距不大時，本文算法與文獻[6]算法性能差距不大；測試組2中，當兩圖像存在較大色彩差異時，本文算法較文獻[6]算法拼接時間延長12.20%，在主觀得分上提升30.06%，客觀得分提升1.10%。在多幅圖像拼接場景中，測試組3結果顯示，本文算法較文獻[6]算法速度延長5.30%，在主觀得分上提升20.04%，客觀得分提升1.86%。綜合來看，本文算法在運行速度上與文獻[6]算法相仿，在輸出圖像的質量上有明顯提升。

5 結論

1）傳統的最佳縫合線算法中采用的加權平均算法能夠減弱色彩差異對拼接質量的影響，但由于算法本身普適性差，所以在多圖像拼接應用中不能得到良好效果。本文通過引入多頻段融合算法，對最佳縫合線算法進行了改進，改進算法能夠解決最佳縫合線算法中由于源圖像色彩差異導致的接縫問題。

2）本文進行了3組具有代表性的測試。通過2組兩圖拼接測試和1組多圖拼接測試，反映了在不同應用場景下，較文獻[6]算法，本文算法有著更好的拼接效果。

3）通過主客觀結合的圖像質量評價對測試結果進行評估。結果顯示，本文算法較文獻[6]算法主觀評分最大可提升30.06%，客觀評分最大提升1.86%；在運行速度上，本文算法與文獻[6]算法相當，算法耗時最大增量為12.20%。由此可見，本文提出的改進算法有效地解決了接縫問題，可以實現高質量和高效率的圖像拼接。