基于改進SIFT 和互信息法的單色和彩色視頻高精度配準

謝萬鵬， 劉 歡， 吳銀花， 陳 雷， 張 巖， 王文娜， 胡 佳， 韓 軍*

（1. 西安工業大學 光電工程學院， 陜西 西安 710021；2. 西安工業大學 計算機科學與工程學院， 陜西 西安 710021）

1 引言

本文主要探討了對具有時間差波動的單色視頻和彩色視頻進行高精度配準的優化方法。近年來在監控安防中越來越多地使用雙目相機作為視頻采集設備，但雙目相機之間存在微小且時而變化的時間差，并且攝像頭時常進行擺頭運動，若采用相同的配準矩陣對視頻進行配準則所采集的視頻會出現不可控的配準差異。這種配準差異雖然在人為觀測時產生的影響較小但在使用機器學習等算法進行后續處理時則會產生較大影響。因此，需要針對這種不確定性時差波動進行進一步優化，以提高視頻配準的準確性。

有許多學者在圖像配準領域中做出了貢獻。

其中，按照配準圖像和待配準圖像之間的關系，圖像配準可分為同源圖像和異源圖像配準；按照配準所使用的方式，圖像配準可分為傳統方式和深度學習方式。近年來關于配準的研究有些采用了傳統方法，如粒子群算法、蟻群算法和蜂群算法等［1］。另外，研究者也通過特征點的提取來進行圖像配準。紅外圖像和可見光圖像的配準方式被分為了互信息、特征提取和深度學習等3種大類［2-5］。一些方法使用圖像位置信息和仿射中心不變性來提高無人機視頻配準效果［6］，而其他方法使用注意力機制［7］、軌跡預測［8］、特征點優化［9-12］、關鍵部位定位［13-15］等方式對配準進行優化。一些研究者還使用了監督［15-17］和無監督［18］深度學習模型直接生成變換矩陣的方式簡化配準過程，使用多尺度的方式提高配準速度［19］，使用歸一化的方式提高配準準確度［20］，或在簡單場景中簡化配準過程以大幅提高配準速度［20-21］。有些研究者使用Moravec 角點檢測和SIFT 特征提取相結合的方式［22］，或將圖像分為高頻子帶和低頻子帶來提高配準精度［23］，也有通過提取共性特征配準電站圖像［24］，還有一些研究者采用了人臉識別框的方式來加強鼻子位置的匹配準確率［25］。Zuo C 綜述了各種圖像計量方法，為圖像質量整理了各種評價指標［26］。

包含可見光波段和近紅外波段的單色視頻和彩色視頻具有相似但不完全相同的特征屬性，僅使用互相關信息進行模板配準無法完成空間角度的變換，而使用特征尺度不變性進行配準則無法達到高精度配準的目的和要求，因而包含可見光波段和近紅外波段的單色視頻和彩色視頻的高精度配準工作仍然需要進行進一步的探討。由于視頻流同時具有時序信息和空間信息，時序信息也可以作為視頻配準的一大助力，但視頻時序信息存在不確定性波動。目前常采用的同步觸發機制可有效消除雙目相機之間跨時間戳的時序誤差，因此無需進行基于時間同步方法的時序修正，但仍存在小于幀間時間差的時間誤差。對于小于幀間時間差的時序誤差，使用現有時間同步方法不能有效進行修正，因而需要針對這種不確定性時差波動進行進一步優化。

本文的主要工作是針對這種具有時間差波動的單色視頻和彩色視頻提出高精度配準優化方法。首先使用尺度不變特征變換的方式對視頻進行粗匹配，隨后使用縮小互相關信息和通過金字塔模式修正配準矩陣的方式對視頻進行配準再修正，并且基于視頻幀的前后相似性對尺度不變特征變換中的特征點選擇進行篩選，提高了單色視頻和彩色視頻的配準準確率，最終在公開數據集MICVV 上進行了測試，證實了算法的有效性。

2 單色視頻和彩色視頻的配準工作原理與改進

2.1 SIFT 算法配準原理

尺度不變特征變換（Scale-invariant feature transform，SIFT）算法分為4 個步驟：尺度空間特征點檢測、定位特征點、確定特征點方向和特征點描述。

SIFT 算法首先需要在圖像中尋找特征點，在SIFT 中采用高斯核計算的方式對圖像描述不同的尺度。通過尺度因子建立尺度空間，在其尺度空間內檢測極值點，也就是特征點。

SIFT 算法需要對特征點進行定位。為了還原這些特征點原有的大小和方向，需要對這些離散的特征點進行平滑擬合，最終得到真正的特征點屬性。

SIFT 算法需要確定特征點方向。SIFT 在確定特征點方向時采用了梯度直方圖的統計方法，統計了特征點附近一塊區域的梯度方向，并采用最大方向為當前特征點的主方向。

SIFT 算法需要對特征點進行描述，通過建立矢量矩陣的方式描述特征點的各區域方向屬性。首先將所有特征點的鄰域像素根據特征點的主方向旋轉至同一方向，并將特征點的鄰域像素分為4塊，對4塊區域分別統計方向直方圖，最終得到消除亮度和特征點旋轉影響的特征點描述符。

取得特征點描述后，SIFT 算法一般采用RANSAC 算法進行特征點的匹配，計算配準矩陣。

2.2 本文算法

對于首幀配準，考慮到其配準精度會直接影響后續幀配準精度，本文算法的首要目標是提高首幀配準精度；對于后續幀配準，考慮到視頻時序長帶來的時間成本，本文算法著力于在保持高配準精度的情況下提高后續幀配準速度。

2.2.1 基于改進SIFT 方法的視頻首幀粗配準

針對單色視頻和彩色視頻的配準問題，本文在SIFT 基礎上進行了改進。由于使用雙目相機進行視頻采集時相機相對位置固定，時間差和硬件抖動帶來的配準誤差保持在一定范圍內，因而可利用標記點對計算出的參考配準矩陣對RANSAC計算出的特征點對進行篩選，以增強算法穩定性。

在使用雙目相機進行監控視頻拍攝時，由于相機的鏡頭中軸線間距較小而所拍攝景物均與相機距離較遠，所產生的空間變化不足以影響SIFT算法對特征點的描述，因此可使用透射變換矩陣作為配準矩陣。由于透射變換矩陣具有較高的自由度，使配準算法能夠適應微小的空間變化，但需要充分的特征點對才能對矩陣進行精確推導。同時，為了避免誤刪有效特征點對，應有足夠的備選特征點對以供篩選。

由于單色視頻和彩色視頻中相同位置的特征點對常具有完全不同的方向特征，且在雙目相機拍攝的監控視頻配準問題上方向波動較弱，使用8 或16 個方向判斷對提高配準質量沒有明顯幫助。對于SIFT 算法來說，小于5°的方向誤差對特征點搜索影響較小可以忽略，因此取消方向搜索不會降低算法敏感性，反而可以通過減少約束條件，增加特征點對的數量，對于具有后續篩選的配準算法具有很大益處。因而本文將SIFT 算法中特征點搜索方向數量由8 個減少到1 個，即不考慮特征點方向，進而確保在每張圖像中尋找出100 個以上特征點對。

為了取得更為穩定的參考配準矩陣，分別在圖像的4 個象限各選取一個標記點，參考配準矩陣和標記點對的關系如式（1）所示：

其中：x1表示在單色圖像中標記點的橫坐標，y1表示在單色圖像中標記點的縱坐標，x2表示在彩色圖像中標記點的橫坐標，y2表示在彩色圖像中標記點的縱坐標，由參數a1～a4、b1、b2、c1、c2、w（歸一化系數一般設置為1）組成的3×3 矩陣是配準矩陣。利用4 個標記點對聯立式（1）可求得參考配準矩陣。由于相機的相對位置固定，可利用參考配準矩陣粗略預測單色視頻首幀中特征點在彩色視頻首幀中的對應配準點位置，并與RANSAC 計算出的匹配特征點對比計算誤差，刪除誤差大于設定閾值Dmax的特征點對，提高配準的穩定性。本文采用式（2）計算其中特征點對誤差：

其中：x'1和y'1分別是特征點（x1，y1）通過參考配準矩陣預測得到的配準點坐標，（x2，y2）是RANSAC計算出的匹配特征點坐標。

2.2.2 視頻首幀的配準優化

經過本文提出的改進SIFT 方法進行配準后，仍存在一定的配準誤差。由于在視頻中首幀配準精度往往對后續幀配準精度影響很大，因而需要對首幀粗配準結果進一步修正。本文采用互相關信息法進行首幀配準的進一步配準優化，通過微調變換矩陣修正配準點位置，SIFT 算法計算出的變換矩陣及其修正如式（3）所示：

其中，L1、L2、L3和L4為修正參數。

本文設計了一種步長金字塔模式，即通過多輪調節、逐步減小步長對修正參數進行調節，提高配準精確度。首先將修正過程分為t個調節輪次，每個輪次按照修正步長dLt對修正參數L1～L4進行修正，通過逐漸減小dLt的方式逐輪提高修正精度。其中在第t輪次中的修正方式為：對L1～L4逐個進行加或減運算以及包括原點共計算出9 個方向對應的配準矩陣，并根據這9 個配準矩陣得到9 張配準圖像，通過與參考圖像進行均方誤差（Mean-square error，MSE）計算得到9 個數值，根據所得MSE 最小的調整方向對修正參數進行調整，連續執行第t輪10 次或最小方向為原點時進入下一輪次。各輪次中修正步長dLt的計算公式如式（4）所示：

其中：u是縮小系數，根據經驗可知其數值不宜過小且應在0.7～1 之間，若過于接近0.5 則容易陷入局部最優解；t是調節輪次；dL0是初始修正步長。為了保證初始修正步長足夠大，使用式（5）計算最小步長dL0：

其中：a1～a4為式（3）中的待調整參數，n是圖像長邊長度。

在經過t輪修正后，若修正步長小于最小修正步長mindL則認為達到配準目標。為了滿足配準精度，采用式（6）確定最小修正步長mindL：

2.2.3 后續視頻幀平移修正

由于視頻具有時序長、運算量大等特點，視頻的后續視頻幀配準問題主要集中在配準速度和算法穩定性上。經過本文提出的改進SIFT 算法進行配準有效提高了配準精度。然而，在配準速度上，由于使用了SIFT 特征配準耗費了大量時間，因而需要使用新的方法對后續視頻幀的配準速度進行優化。若使用前幀相同的配準矩陣對后續的視頻幀進行配準變換，則由于單色視頻與彩色視頻中存在的時間差波動以及相機的擺動，隨著相機的擺動，時間差的波動會導致原本應匹配的一對視頻幀常出現一定程度的平移誤差，因而需要對后續幀進行進一步修正。本文采用縮小互相關信息的方式進行后續幀的平移修正，通過對待配準視頻幀進行平移變換的方式彌補由時間差波動和相機擺動帶來的平移誤差。平移變換中的坐標換算如式（7）所示：

其中：x'2和y'2分別是（x2，y2）經過平移修正后的橫坐標和縱坐標，dx為x方向上的平移距離，dy為y方向上的平移距離。

dx和dy的修正方式仍然采用本文設計的步長金字塔模式。首先將修正過程分為t個調節輪次，每個輪次按照修正步長dLt對修正參數dx和dy進行修正，通過逐漸減小dLt的方式逐輪提高修正精度。其中在第t個輪次中的修正方式為：對dx和dy逐個進行加或減運算以及包括原點共計算出5 個方向對應的配準矩陣，并根據這5 個配準矩陣得到5 張配準圖像，通過與參考圖像進行均方誤差（Mean-square error，MSE）計算得到5 個數值，根據所得MSE 最小的調整方向對修正參數進行調整，連續執行第t輪10次或最小方向為原點時進入下一輪次。在經過t輪修正后，若修正步長小于最小修正步長mindL則認為達到配準目標，即配準過程中標記點誤差小于0.01 像素。

3 配準效果與結果

為了驗證本文算法的可行性和有效性，在公開數據集MICVV 上進行了仿真實驗，通過定性分析和定量分析進行了效果驗證。

3.1 MICVV 數據集

MICVV 數據集包含多種配準和未配準的連續視頻幀，其中單色視頻為包含可見光波段和近紅外波段的視頻，彩色視頻為包含可見光波段的同場景視頻。視頻場景主要為校園監控場景，單色和彩色視頻幀圖像尺寸均為640×480，視頻幀率均為15 fps。

3.2 視頻首幀粗配準方法驗證實驗

為了驗證2.2.1 節中視頻首幀粗配準方法的有效性，針對單色視頻和彩色視頻的首幀分別使用傳統SIFT 算法和改進SIFT 算法計算了配準點對，配準效果如圖1 所示。

圖1 配準效果及改進后的配準效果。（a）單色視頻幀；（b）彩色視頻幀；（c）原始RANSAC 效果；（d）改進后的配準效果。Fig.1 Registration effect and improved registration effect.（a） Monochrome video frames； （b） Color video frames； （c） Original RANSAC effect； （d） Improved registration effect.

根據圖1 可知：（1）篩選后仍然保留了大量的配準點對，足以根據篩選后的配準點對計算配準矩陣；（2）篩選掉了大量不正確的配準點對，為配準計算增加了穩定性。配準點分布情況表明了2.2.1 節中視頻首幀粗匹配方法有效，在保留大量正確配準點對的情況下有效消減了錯誤配準點對的數量，提高了算法的穩定性。

3.3 視頻首幀配準改進方法驗證實驗

為了驗證本文提出的視頻首幀配準方法的有效性，對經過傳統SIFT 算法得到的首幀配準圖像和在改進SIFT 方法基礎上進一步配準優化后得到的首幀配準圖像進行了比較，并通過對配準圖像進行棋盤化處理更精確分析配準誤差，最后對能夠看出配準差異的局部區域予以放大展示，結果如圖2 所示。

圖2 傳統SIFT 方法與本文首幀配準方法效果對比。（a）單色視頻幀；（b）彩色視頻幀；（c）SIFT 配準后單色圖像；（d）進一步配準優化后的單色圖像；（e）SIFT 配準后的棋盤配準圖；（f）進一步配準優化后的棋盤配準圖；（g）具有1 像素誤差的局部區域；（h）修正后誤差幾乎不可見素的局部區域。經過進一步配準優化后，圖像兩側位置更加精確，標記點誤差由1 像素縮小到不可察。Fig.2 Comparison of the effect of traditional SIFT method and the first frame alignment method in this paper. （a） Monochrome video frames； （b） Color video frames； （c） Registered monochrome images obtained by the improved method； （d） Monochrome images after further alignment optimization； （e） Board alignment chart after SIFT alignment； （f） Further alignment-optimized board alignment diagram； （g） Local area with 1 pixel error； （h） Error is barely visible in the local area of the vegetation after correction. After further alignment optimization， the position is more accurate on both sides of the image， and the marker point error is reduced from 1 pixel to almost invisible.

經過計算得到，使用SIFT 算法進行配準的耗時為2.628 s，使用改進SIFT 算法進行配準的耗時為2.463 s，進一步使用高精度修正方法進行配準時間增加到了4.163 s。使用SIFT 方法所得首幀配準圖像的有效區域（非黑色邊緣區域）MSE 為0.011 46，使用本文視頻首幀配準（改進SIFT 方法加高精度修正）方法所得首幀配準圖像的MSE 為0.011 37，即MSE 減少了0.79%。從圖2 中的棋盤配準圖可以看出，使用傳統SIFT 方法所得到的配準圖像標記點誤差約為1 像素，而使用本文首幀配準方法后的標記點誤差則不可察。

3.4 視頻后續幀的配準實驗

針對序列長度為100 幀的單色視頻和彩色視頻進行了配準實驗，其中視頻首幀配準采用2.2.1 和2.2.2 節中所提出的方法，后續視頻幀采用了2.2.3 節中所提出的方法，并對配準結果進行了定性和定量分析。

對于定性分析，從上述視頻幀中提取了第14、28、42、56、70、84、98 共7 個視頻幀進行了對比分析，結果如圖3 所示，其中每一幀包括了對應的單色視頻幀、彩色視頻幀、配準后的單色視頻幀以及棋盤配準效果展示圖。

圖3 連續視頻幀的配準效果，從上到下依次為第14、28、42、56、70、84、98 幀圖像的對比圖。（a）單色視頻幀；（b）彩色視頻幀；（c）配準后的單色視頻幀；（d）棋盤配準圖。Fig.3 Registration effect of continuous video frames. （a）Monochrome video frames； （b） Color video frames；（c） Monochrome video frames with registration；（d） Chess and card registration map.

根據圖3 中的棋盤配準圖可以看出，使用本文算法進行配準時，后續幀的標記點誤差幾乎不存在，且對不同時序幀均保持良好的配準效果，說明本文算法能夠有效并高精度地完成單色視頻和彩色視頻的配準工作，同時具有時間上的穩定性。

對于定量分析，分別使用了本文算法和SIFT算法對上述的長度為100 幀的單色視頻和彩色視頻的配準效果進行了數字統計，所使用的單色視頻和彩色視頻尺寸均為640×480，統計包含上述視頻7 個視頻幀的各項指標和1～100 幀的各項指標平均值，其中包括有效區域均方根誤差（MSE）、配準平均時間、結構相似性（SSIM）、峰值信噪比（PSNR）。MSE 計算了配準圖像與待配準圖像的L2 距離，SSIM 在多尺度上計算了配準圖像與待配準圖像的配準質量，PSNR 通過歸一化的衡量方法對配準效果進行了評價。實驗數據如表1 所示。

從表1可以看出，本文算法和SIFT算法在MSE、SSIM 和PSNR 等配準精度指標上差異不大，但SIFT 算法在第84 幀配準結果出現了較大的誤差，MSE 誤差、SSIM 和PSNR 分別達到了0.033 1、0.520 和14.002，算法穩定性略低。本文算法在整個視頻序列配準中一直能夠正常工作，沒有出現明顯的誤差起伏，算法穩定性較好。在英特爾酷睿i5-10210U（1.60 GHz）上對100 張連續圖像配準時，本文的平均配準時間為0.357 s，而使用SIFT 算法的平均配準時間為2.373，使用本文算法大幅縮短了配準時間。綜上所述，本文算法在連續視頻幀的配準工作中精度較高、速度較快且穩定性較強，相比SIFT 算法更加穩定，在大幅提高配準速度的同時配準精度波動較小且具有較高的穩定性，符合單色視頻幀和彩色視頻幀的高速和高精度配準要求。

4 結論

本文根據單色和彩色視頻數據集配準工作精度高、速度快的要求，提出了基于預估配準矩陣進行改進的SIFT 算法、適用于單色視頻和彩色視頻的高精度修正方法以及針對連續視頻幀的平移修正的方法。通過定性分析實驗證明了所提算法的有效性，并通過定量分析證明了所提算法的準確性和高效性。實驗結果表明，相比于SIFT 算法，本文算法首幀配準的MSE 誤差減少了0.79%，首幀的標記點誤差由1 像素減少到不可察，在連續視頻幀中平均每幀配準時間為0.357 s，同時標記點誤差仍然保持不可察，很好地滿足了全自動化單色視頻與彩色視頻配準的要求。