視頻拼接中匹配點選取和標定算法研究

溫錦彬，黃 政

（中海油能源發展裝備技術有限公司南海工程分公司，廣東湛江 524057）

1 ORB算法

ORB 算法的操作步驟如下：①從圖像中查找關鍵點；②為每個關鍵點構建只包括0和1的二元特征向量；③通過多個特征向量對更大區域或特定對象進行識別。ORB 算法運算高效，同時不受噪點和圖像變換的影響，具有較高的準確性。

1.1 FAST尋找關鍵點

FAST 可以快速選擇關鍵點，算法步驟如下。（1）確定選定特征點的閾值參數h的數值。

（2）對圖像上任意一個像素點p而言，以點p為圓心的圓圈范圍中的16個像素，如果圓圈上灰度值小于lp-h（lp 即p 點灰度值）或灰度值大于lp+h的像素共計有8個以上，則將像素p選作關鍵點。

FAST 尋找關鍵點的效率較高，根本原因為其在確定關鍵點時僅將p與4 個等距像素進行比較，相比與16個周圍像素進行比較，效率提升了4 倍。由FAST 確定特征點算法可以看出，FAST 確定的關鍵特征點位于灰度有快速變化的區域，此類區域通常為某種邊緣[1]。

1.2 BRIEF算法構建特征向量

BRIEF 算法生成特征描述符的具體步驟如下。

（1）對圖像進行平滑處理，降低描述符對高頻噪點敏感性。

（2）對給定關鍵點，在以該關鍵點為中心的高斯分布范圍內抽取一個像素，將該點稱作關鍵點的一號點，標準差為σ。

（3）在以一號點為中心的高斯分布范圍內抽取一個像素，將該點稱作關鍵點的二號點，標準差為σ/2，這種選擇可以提高特征匹配率。

（4）為關鍵點構建二進制特征描述符，比較（2）和（3）得到的一號點和二號點的灰度值。如果一號點比二號點亮，則描述符中相應位分配值為1，否則分配值為0。

（5）對同一關鍵點選擇新的一號點和二號點，基于比較結果為特征向量中下個位分配1或0。

（6）對設定生成不同維度的具體程序，BRIEF 算法會重復對應次數，產生指定長度的特征描述符。

1.3 滿足縮放旋轉不變性的改進

BRIEF 算法可以為關鍵點構建二進制特征描述符，但不具備圖像縮放旋轉不變性，故不能直接用于要求較高的圖像匹配。為克服這一缺點，對BRIEF作下述改進。

1284 Relationship of learning burnout and subjective well-being of military medical university students and the mediating role of psychological capital

（1）縮放不變性。為使特征滿足縮放不變性，BRIEF 算法構建了圖像金字塔。圖像金字塔是單個圖像的多尺度表示，每個級別都由上個級別的下采樣版本組成[2]。下采樣是指圖像分辨率被降低，如圖像按1/2比例下采樣。因此一開始4×4正方形區域現在變成2×2正方形，圖像下采樣包含更少像素。

ORB 創建好圖像金字塔后，通過FAST 算法從各個級別圖像中快速找到關鍵點。金字塔每個級別由原始圖像更小版本組成，因此原始圖像中的任何對象在金字塔每個級別也會降低大小。通過確定每個級別的關鍵點，ORB 便實現了部分縮放不變性。

（2）旋轉不變性。為滿足特征旋轉不變性，ORB為每個關鍵點分配了一個方向，該方向取決于關鍵點周圍灰度的變化情況。在運算時ORB 首先選擇級別最低圖像，計算該圖像關鍵點的方向。首先計算以該關鍵點為中心的指定大小方框中的強度形心，將其作為給定區域平均像素灰度的位置。之后畫一條從關鍵點到強度形心的向量，獲得該關鍵點的方向。

為金字塔最低級別圖像中的每個關鍵點分配方向后，依次對其他級別圖像重復相同流程。需注意，在每個圖像金字塔級別，關鍵點周圍用于確認方向的區域大小并沒有縮減，因此相同區域在每個金字塔級別覆蓋的圖像區域將更大，導致關鍵點大小各不相同。

（3）使用修改后的BRIEF 版本創建特征向量。無論對象方向如何，其都可以為關鍵點創建相同向量，使得ORB 算法具有旋轉不變性。這意味著其可以在朝著任何角度旋轉的圖像中檢測到相同關鍵點。其操作步驟如下：①在給定關鍵點周圍的已界定區域中隨機選擇256個像素對，構建256維的位向量；②基于關鍵點方向角度對隨機像素對進行旋轉；③對比隨機像素對的亮度并相應地分配1和0，創建對應的特征向量。

2 SIFT算法

2.1 高斯濾波和差分

高斯濾波器可以降低圖像中的噪點。濾波后的結果圖像中的紋理和次要細節、噪聲等得到有效抑制，僅留下圖像的邊緣和輪廓特征。得到不同尺度和不同高斯模板的降采樣高斯濾波結果后，已經濾除了大部分無用信息，但圖像輪廓等特征信息有待進一步凸顯。為進一步削弱圖像無用信息、凸顯特征，對同一尺度下不同高斯模板濾波的圖像進行差分（兩兩相減）[4]。經過差分得到的結果圖像相較于之前更能凸顯圖像特征，圖像無用成分進一步縮減，代表圖像特征的邊緣、輪廓成分被進一步凸顯。

2.2 確定局部極值

在獲得高斯差分金字塔后，應利用高斯差分金字塔中的圖像特征信息確定圖像特征點。SIFT 算法選擇高斯差分金字塔中的極值點作為代表圖像特征的關鍵點。選出的高斯差分金字塔極值點只是候選特征點。雖然高斯差分金字塔極值點已經能夠較好代表圖像特征并且具有尺度不變性，但在選取過程中沒有考慮圖像特征點對于圖像噪聲的魯棒性，這樣確定出的圖像特征點在實際應用時易出現圖像匹配不當等問題。

2.3 關鍵點的精確定位

為提高圖像特征點對噪聲的魯棒性，SIFT 算法通常做法是對比測試和邊緣測試。對比測試是指為解決對比度較低的極值點，對所有極值點進行二階泰勒展開，如果結果值小于0.03，則剔除該關鍵點。邊緣測試是指使用二階海森矩陣（Hessian Matrix）來識別具有高邊緣度但對少量噪聲沒有魯棒性的關鍵點。

2.4 關鍵點主方向分配

在建立高斯差分金字塔以選取圖像特征點時，算法考慮了關鍵點的尺度不變性。而對于圖像特征而言，與尺度不變性同等重要的還有旋轉不變性。為使算法定義圖像特征具有旋轉不變性，需要在定位特征點后對特征點定義“主方向”，該“主方向”生成特征點周圍局部區域的梯度方向基準，使圖像在旋轉后仍能與旋轉前保持相同特征描述。

算法將關鍵點指定大小領域中的所有點計算梯度方向與賦值，統計所有梯度方向對應的賦值和，作關鍵點周圍鄰域梯度方向直方圖。將梯度方向直方圖中最高數值對應方向作為關鍵點主方向，如果其他方向幅值達到主方向的80%，則將其作為輔方向。

2.5 關鍵點描述子的生成

得到特征點二維位置、尺度位置、主方向等具體信息后，需要解決的最后一個問題就是生成關鍵點信息的描述子，即用一個向量描述圖像中的特征點信息。算法將特征點周圍1 616鄰域分為4個88區域，再將88的區域劃為22區域，即每個小區域為44的范圍。統計每個44區域的梯度方向直方圖，對應生成128維向量（值為梯度方向的幅值）。該128維向量即該點的特征描述子。

3 BRISK算法

BRISK 算法具有旋轉不變性、尺度不變性及較好魯棒性等[5]。在圖像配準應用中，BRISK 算法速度介于ORB 算法和SIFT 算法之間。在對模糊圖像進行配準時，BRISK 算法優勢較為明顯。

3.1 特征點檢測

BRISK 算法通過FAST9-16進行特征點檢測，可以有效解決尺度不變性問題。該算法需要在尺度空間進行特征點檢測，因此需要通過圖像金字塔方式對圖像進行多尺度表達。

（1）建立尺度空間。構造octave（八度）層和intra-octave（內部）層，對不同層分別采用ci和di進行表示。c0層是原圖像，c1層為c0層的2 倍下采樣，ci層為ci-1層的2倍下采樣。d0層是原圖像的1.5倍下采樣，d1層是d0層的2倍下采樣，di層為di-1層的2倍下采樣。在層數為4的情況下，可以在原圖像基礎上獲得8張圖，octave 層及intra-octave 層之間均為2倍采樣關系。

（2）特征點檢測。通過FAST9-16對上述8 張圖均進行角點檢測，可以得到具有角點信息的8張圖。再對原圖像開展一次FAST5-8角點檢測，疊加上述8張角點檢測圖，總共得到9張角點信息圖。

（3）非極大值抑制。明確特征點，要求其在26個鄰域點FAST 得分值最大，包括位置空間的8個鄰域點和尺度空間的18個領域點（上下兩層，每層9個鄰域點）；此時得到的極值點較為粗糙，需要進一步精確定位。

（4）亞像素插值。在獲得圖像特征點位置和尺度信息之后，在極值點所在層位置及上下兩層相對應位置，對3個FAST 得分值分別沿x和y方向進行插值，獲得真正的得分極值點（特征點）及坐標信息。然后沿尺度方向進行插值，得到特征點尺度信息。

3.2 特征點描述

（1）高斯濾波。在獲得特征點坐標位置信息及尺度信息之后，需要對特征點進行描述。在均勻采樣情況下，以特征點為中心構建多個同心圓，對每個圓進行等間隔采樣，共得到N個采樣點（包括特征點）。這種采樣方法會導致混疊效應，為了避免該效應產生，需要對同心圓采樣點開展高斯濾波。特征點采樣和高斯濾波如圖1所示。

圖1 特征點采樣和高斯濾波

其中，采樣為實線圈；高斯濾波半徑與高斯方差成正比，為虛線圈，最終獲得高斯平滑后的N個采樣點（圖1中N=60）。

（2）局部梯度計算。考慮共有N個采樣點，兩兩組合共有N（N-1）/2種組合方式，所有方式集合構成采樣點對。在此基礎上分別定義短距離點對子集和長距離點對子集（L個），利用上面信息計算特征點的主方向。

（3）特征描述符。為了滿足旋轉不變性，以主方向為標準對特征點周圍的采樣區域進行旋轉，形成新的采樣區域，依然采用上述采樣模式進行采樣和局部梯度計算。BRISK 依然采用二進制方式生成特征描述符。采樣點共有N（N-1）/2種組合方式，因此生成包括N（N-1）/2個距離的集合，對短距離子集512個短距離點對進行二進制編碼，共得到512位的二進制編碼，即64個字節。

4 結束語

綜上所述，ORB 算法、SIFT 算法及BRISK 算法均是較為常用的視頻拼接中匹配點選取和標定算法，但是不同算法原理存在明顯差異，這從根本上決定了不同算法具有不同的適用性和優缺點。在視頻拼接中需要基于實際需求進行合理選取，只有這樣才能獲得滿意的視頻拼接效果。