基于圖像特征的運動估計方法研究

于 露 楊 帆

（1吉林財經大學信息經濟學院，吉林 長春 130122 2吉林省高速公路管理局伊通分局，吉林 伊通 130700）

運動估計是視頻編碼和視頻處理中廣泛使用的一種技術。運動矢量是匹配塊和當前塊在位置上的相對移動。在視頻壓縮過程中，僅僅需要保存運動矢量與殘差兩方面的數據，就能夠將當前塊完整地恢復出來，從而達到穩定圖像的效果。總結已有文獻資料，估計運動的方法大致有以圖像塊狀、圖像特點、像素灰度值等等為基礎的估計方法。本文以圖像特征為基礎的方法為主要研究對象，該方法目前廣泛地應用于電子穩像技術及其他圖像處理系統中。

一、以圖像特征為基礎的運動估計方法介紹

圖像特征是一種屬性，它呈現代表了所取得的圖像場景。在運用圖像特征來對連續不間斷的圖像視頻間的矢量估計測算的時候，第一個步驟是比對參考圖像，從中篩選確定一組具有代表性、特征鮮明的特征結構來作標記，下一步搜索當前的圖像，來發現相應的適合特征結構，進而獲取到圖像序列的幀間運動矢量。注意所選取的特征結構，一定是要能準確說明圖像的移動運動點，并呈現其結構的不變性，也就是圖像特征。能夠凸顯圖像的顯著點有角點、灰度極大值點、物體的邊界點以及在圖像中具有代表性的物體等。對圖像特征進行檢查測量和進行配對工作是獲得圖像運動估計的重點核心技術。正常條件下，受不同噪聲的干擾，從原始圖像中直接收集獲得能夠代表該圖像特征的點是不能確保所篩選出的特征的穩定性的，而如果在提煉特征前先進行圖像的事先某種程度的處理，這就會確保其穩定性。

關于圖像序列幀間運動矢量估測方法有多種，而運用圖像特征估計法包括以下幾個步驟：首先，把各個幀的圖像特征從圖像序列中提煉出來；其次，將各個幀圖像之間所表現的關系進行明確；然后，測算特征量所涉及的運動參數；最后，在圖像運動模型中代入上一步驟測試的特征量運動參數，計算得出全局運動矢量。

二、常用全局運動矢量算法

1.邊緣匹配法

邊緣匹配法(EPM，全稱為Edge Pattern Matching)，是指一種算法采用全數字穩像的算法，它利用邊緣匹配技術并結合動態運動的一種決策方法。以此為基礎的系統包括以下四個基本元素：基于該算法的AMV生成單元、FMV生成單元、LMV生成單元以及場內存地址生成和數字縮放單元。

將圖像序列輸入系統中之后，首先要搭建起運動矢量檢測區域，該區域對應于參考幀和運動幀兩者之間，在該區域內又劃分出數量若干的運動矢量檢測模塊；其次將前幀和后幀所對應的模塊進行一一對比，之后每個對比都形成一個局部的運動矢量LMV（全稱為Local Motion Vector），而其中關聯性比較大的LMV就可以作為整個模型的全局運動矢量FMV（全稱為Field Motion Vector）。為了保證所產生運動矢量的精確性，假設每個監測區域中包含檢測塊M塊，這樣便可以產生M個LMV。基于在邊緣匹配技術基礎上形成的LMV，以及考慮到存儲空間的降低、計算量以及硬件復雜程度，我們并沒有采用多維圖像或全彩色圖像。而是將二值化的邊緣圖像加以運用。在加權平均化M個LMV后，便生成FMV。為了更加精確FMV，則應該獨立地進行計算并選擇適宜的加權因子。如果需要使得大于兩幀的圖像序列更加穩定，就應該累計運算相續幀的FMV，計算得出累積運動矢量AMV(Accumulated Motion Vector)。通過AMV的觀察，出場內存讀出地址就會被計算得出，并且能夠讀出所對應的幀所存在的病房地以此除去非正常的圖像邊界，這非正常的圖像邊界是因為補償運動矢量而生成的。

（1）LMV生成單元

LMV的生成在EMP算法體系中的地位是至關重要的。這主要是出于后續的FMV及AMV均是以LMV為基礎而計算得出的。在LMV的產生模塊中，由于是以三態動態線性神經網絡算法通過邊緣探測器之后為基礎，所以圖像數據能夠真實地輸出的，從而更好的將二值化的邊緣圖像數據加以導出。把所有輸出的數據再次輸入邊緣匹配部分中，再運用相關算法將前后幀中有關聯的運動矢量檢測區域計算出來，進而取得相關運算值M個，各自與其所對的邊緣匹配區域相對應，記做COR(1),…,COR(M)，以此所獲得M個LMV均是在相互對應的區域中所獲得的最大相關值的時候而獲取到的。

（2）FMV生成單元

將上述獲得的LMV進行一定的加權平均后，即能生成FMV。下列本文假設：

使用M個LMV、間隔量權重ai和穩定度權重bi，得到FMV：

（3）AMV生成單元

AMV的計算由下式給出：

上述公式中相關的代數的表示意義如下：

t—表示幀或時間；

k—代表常數，指平滑移動與虛擬地增大AMV的時所有效的范疇；

a—指消除不良噪聲的干擾。

（4）場內存地址和數字縮放單元

根據AMV與相應的放大比率進行數據輸出，其原始地址就是場內存地址及數字縮放單元，并且還擴大圖像序列，緩解去除運動補償時帶來的非正常圖像邊界所產生的影響。這里放大圖像所運用的方法是一種雙線性插值算法。

EPM算法具有運算速度迅速、精準度高的特點，同時能彌補慢速運動，然而其卻僅僅能彌補平移運動，在旋轉與變焦縮放方面束手無策。

2.特征量跟蹤算法

特征量跟蹤算法（FTA，全稱為Feature Tracking Algorithm）是穩像算法中比較重要的算法之一。對于這種方法，目前采用的特征量一般有：角點、直邊緣、曲邊緣等部分特征與包括型心、表面積、慣量矩的長短軸等在內的整體特征，這之中應用最普遍的特征是角點。角點的提取好壞在很大成分上影響著特征匹配結果。在實踐中，特征量的選擇則重點關注目標所具備的特性。通過FTA取得局部運動矢量之后，下一步另外要求計算得出圖像的全局運動矢量。下面列示的數學模型就不同場景下全局運動數量的測算進行了描述。

當圖像中僅僅存在平移量的情況下，對應的是Translation數學模型：

其中，P1是指現有幀的特征量所在的坐標，P0代表參考幀的特征量所在的坐標，T則為二維平移量。不過存在變焦量的情況下，則應該使用Similarity模型：

P1=sReP0+T

其中，s代表變焦系數，是指正交的旋轉矩陣。

下面是Affine的數學模型，該模型中涉及6個參數：

在考慮選擇何種數學模型的時候應當結合相應的情況，具體問題具體分析。

3.特征點匹配法

特征點匹配法（RPM，全稱為Representative Point Matching）是以特征點為基礎，它也可以叫為代表點匹配法的全數字穩像方法，目前該方法運用相對較少，主要運用在部分小型的攝像系統中。

特征點是一種以較為穩定、旋轉固定、能抑制灰度反轉為特征的有效特征點。將其使用于匹配過程中，不僅可以使模型中所涉及的計算量減少，還能使圖像中重要灰度信息的穩定性和完整性得到保證，并且還能對識別程度高的影像在局部相似度上加以匹配。

已有文獻中將已有報道的特征點進行了總結分類，包括狹義與廣義兩方面的特征點。狹義特征點諸如角點、交叉點等自身就具備常規性的屬性意義。廣義特征點自身不具有特征意義，其是以區域定義為基礎的，僅僅只是代表了與一定特征條件相符合的特征區域位置。任何一個特征區域的相對位置都可以稱為廣義上的特征點，其沒有武力意義上的特征的強制性要求，只需要符合一定的數字描述即可，所以這種特征點也可以是抽象的。從本質上而言，廣義特征點能夠看成是一個抽象的特征范疇區域，當然這種所謂的抽象區域具有特征區域所擁有的屬性。已有文獻中認為那些被運用到計算機視覺、識別模塊、匹配圖像的特征點大部分是我們所說的狹義特征點，但是廣義特征點大都是對匹配圖像有積極作用的。

特征點一般采用圖像中易確定的點，例如直線交叉點、T型交匯點、角點、高曲率點以及特定范疇的重心、中心點等等。在來源的角度上劃分，包括有邊緣上提取的特征點、直接來源于灰度的特征點以及區域分割上的特征點三個方面。

RPM算法選取了圖像中部分簡單的特征量作為代表點，將所選取的離散點組成一個統一的坐標系，一幅圖像通常會被劃分為四個區域，在這些區域中選擇一定代表點，每組一般為30個，相應的搜索區域對應一個代表點。當對前后幀的相應象限的特征點進行比對后，再進行匹配測算，我們所要得到的局部運動矢量就是匹配值最小的時候所對應的偏移向量。具體函數如下：

式中，ft-1（xk，yk）、ft（xk+i-yk+j）分別代表第k個代表點在當前幀與參考幀圖像中的象限數據。每個區域中最小的（i，j）與相應的 P（i，j）就是區域的局部運動矢量數值，然后將全局運動矢量通過某些算法計算產生。

該種算法相對前面介紹的較為簡單，而且在計算量上也比較小，但是由于是通過坐標來顯現代表點，所以在圖像發生變動時，其不會很敏感，存在不顯著的圖像對比度的時候，其精確度也會被波及，同時無法彌補慢速運動、旋轉運動和變焦縮放，因此只適用于初步研究。

結束語：通過上文的具體介紹，我們能夠發現圖像處理技術中比較重要的一個成分就是以圖像特征為基礎的運動估計方法，隨著各種估計算法的研究以及實際應用的推廣，電子圖像技術將會有更大的發展。

[1]宋永江，夏良正.多直線全局運動估計及其在圖像穩定中的應用[J].東南大學學報.

[2]勒中鑫.數字圖像信息處理[M].國防工業出版社.

[3]羅詩途，張玘.一種基于特征匹配的實時電子穩像算法[J].國防科技大學學報.