基于SIFT?GMLBP的動態(tài)圖像視覺信息提取研究

摘" 要： 為了精確地提取動態(tài)圖像特征，為動畫設(shè)計師提供更全面、更準(zhǔn)確的視覺信息，文中提出基于SIFT?GMLBP的動態(tài)圖像視覺信息提取方法。以關(guān)鍵點(diǎn)為像素中心，采用局部二值模式（LBP），通過比較其與鄰域的灰度值獲取LBP碼，實(shí)現(xiàn)動態(tài)圖像局部紋理特征捕捉；根據(jù)網(wǎng)格化LBP（MLBP）進(jìn)一步將動態(tài)圖像中的像素鄰域劃分為多個網(wǎng)格，使每個網(wǎng)格產(chǎn)生一個LBP值，降低特征向量的維數(shù)；結(jié)合Gabor濾波器，通過多尺度和多方向的紋理分析，提取動態(tài)圖像在不同頻率和方向上的局部結(jié)構(gòu)信息，整合所有Gabor濾波器響應(yīng)圖像的GMLBP特征，形成包含原始動態(tài)圖像在不同尺度和方向上的豐富紋理信息的特征向量。實(shí)驗(yàn)結(jié)果表明：該方法提取的關(guān)鍵點(diǎn)數(shù)量和分布非常合理，具有較高的穩(wěn)定性和動態(tài)信息捕獲能力，且該方法每秒能夠處理高達(dá)30幀的圖像。

關(guān)鍵詞： SIFT； LBP； MLBP； Gabor小波變換； 動態(tài)圖像； 局部特征； 特征向量； 視覺信息提取

中圖分類號： TN911.73?34； TP391" " " " " " " " " 文獻(xiàn)標(biāo)識碼： A" " " " " " " " " "文章編號： 1004?373X（2024）19?0083?04

Research on dynamic image visual information extraction based on SIFT?GMLBP

ZHENG Wei

（Xinyang Normal University， Xinyang 464000， China）

Abstract： A dynamic image visual information extraction method based on SIFT?GMLBP is proposed. It aims to extract dynamic image features accurately and provide animation designers with more comprehensive and accurate visual information. Key points are taken as pixel centers. By using local binary pattern （LBP） and comparing the grayscale values of the pixel centers and those of their neighboring regions， the LBP codes are obtained to capture local texture features of dynamic images. Furthermore， the pixel neighboring regions in the dynamic images are divided into multiple meshes by mesh?based LBP （MLBP）， so that each mesh generates an LBP value and the dimensionality of the feature vectors are reduced. By combining Gabor filters and after multi?scaled and multi?directional texture analysis， the local structural information of dynamic images at different frequencies and directions is extracted. The GMLBP features of all of the Gabor filter response images are integrated to form feature vectors containing rich texture information of the original dynamic images at different scales and directions. The experimental results show that the number and distribution of the key points extracted with the proposed method are very reasonable. The proposed method is of high stability and dynamic information capture ability. In addition， it can process up to 30 frames of images per second.

Keywords： SIFT; LBP; MLBP; Gabor wavelet transform; dynamic image; local feature; feature vector; visual information extraction

0" 引" 言

動態(tài)圖像作為動畫設(shè)計的核心元素，承載著豐富的視覺信息和多變的藝術(shù)風(fēng)格[1]。在動畫中，動態(tài)圖像通過連續(xù)變化的幀來展現(xiàn)角色動作、場景轉(zhuǎn)換以及情感表達(dá)，是吸引觀眾注意力、傳遞故事情節(jié)的關(guān)鍵。因此，如何從動態(tài)圖像中有效地提取和利用視覺信息[2]，成為了動畫設(shè)計領(lǐng)域的一個重要的研究方向，對于提升動畫設(shè)計的質(zhì)量和效率具有重要意義。

很多專家和學(xué)者不斷探索更為高效和準(zhǔn)確的圖像特征提取方法。如文獻(xiàn)[3]提出一種鄰域標(biāo)簽融合的動態(tài)圖像視覺信息提取方法。文獻(xiàn)[4]提出一種視覺傳感器的動作圖像信息提取方法。文獻(xiàn)[5]提出一種視覺傳感圖像處理及信息提取方法，通過構(gòu)建基于被動視覺傳感的自主導(dǎo)引平臺，并在絕對二次曲線（IAC）的約束下，求解攝像機(jī)的內(nèi)參數(shù)初值，利用混沌粒子群（CPSO）算法尋找到全局最優(yōu)解，實(shí)現(xiàn)攝像機(jī)參數(shù)的高精度標(biāo)定。文獻(xiàn)[6]提出一種視覺顯著性的動態(tài)圖像信息提取方法。但是相關(guān)方法在紋理特征描述上存在缺陷。

本文研究基于SIFT?GMLBP的動態(tài)圖像視覺信息提取方法，提升動畫的視覺效果，提高動畫制作的效率，為動畫創(chuàng)作者帶來更大的創(chuàng)作自由和靈感空間。

1" 動態(tài)圖像視覺信息提取方法

1.1" 基于SIFT算法的動態(tài)圖像特征向量提取

SIFT算法能夠有效地從動態(tài)圖像中檢測并提取出尺度不變的關(guān)鍵點(diǎn)[7?8]，這些關(guān)鍵點(diǎn)在動態(tài)圖像的縮放、轉(zhuǎn)動情況下均可維持較高的相對穩(wěn)定性，助力下文的特征匹配。

當(dāng)篩選出動態(tài)圖像尺度空間的關(guān)鍵點(diǎn)后，求出關(guān)鍵點(diǎn)的梯度大小以及方向：

[χ（x，y）=（（F（x+1，y）-F（x-1，y））2+（F（x，y+1）-F（x，y-1））2）12] （1）

[?（x，y）=arctanF（x，y+1）-F（x，y-1）F（x+1，y）-F（x-1，y）] （2）

式中：[F]表示動態(tài)圖像中關(guān)鍵點(diǎn)的尺度；[χ（x，y）]表示動態(tài)圖像中關(guān)鍵點(diǎn)的梯度大小；[?（x，y）]表示動態(tài)圖像中關(guān)鍵點(diǎn)的方向。

對于每一個檢測到的關(guān)鍵點(diǎn)，SIFT算法均可獲取相應(yīng)的特征向量，包含關(guān)鍵點(diǎn)周圍區(qū)域的信息，能夠唯一地標(biāo)識這個關(guān)鍵點(diǎn)[9?10]。在后續(xù)的動態(tài)圖像視覺信息提取中，這些特征向量將被用于比較動態(tài)圖像中的關(guān)鍵點(diǎn)是否匹配。

1.2" 基于LBP算法的動態(tài)圖像紋理特征提取

LBP是一種描述動態(tài)圖像局部紋理特征的算子[11?12]，通過將隸屬于像素中心與鄰域的灰度值一一比對的方式塑造LBP碼，形成該區(qū)域的紋理描述符。LBP的計算過程如下。

1） 選擇中心像素：將1.1節(jié)檢測到的動態(tài)圖像中的關(guān)鍵點(diǎn)作為中心像素。

2） 定義鄰域：定義一個以中心像素為中心的鄰域，該鄰域的大小由參數(shù)[（s，r）]確定，其中[s]表示鄰域像素的數(shù)量，[r]是中心像素到鄰域像素的半徑。

3） LBP碼求解：一一比對各鄰域與中心的像素灰度值[fs]與[fc]。如果[fs≤fc]，則在該位置上的LBP碼為0；否則為1。這個過程按固定的方向進(jìn)行。

4） LBP值塑造：變更LBP碼的二進(jìn)制形式為十進(jìn)制形式，完成動態(tài)圖像中心像素的LBP值塑造。

基于LBP算法獲取動態(tài)圖像局部紋理特征的過程如圖1所示。計算公式表達(dá)如下：

[LBPs，r=i=1s2i-1l（fi-fc）] （3）

其中：

[l（x）=1，" " " "x≥00，" " " "xlt;0] （4）

1.3" 基于GMLBP的動態(tài)圖像視覺信息提取

由于結(jié)合1.1節(jié)SIFT算法和1.2節(jié)的LBP算法，對動態(tài)圖像視覺信息的提取過程中增加了特征向量的維數(shù)，并且為了降低噪聲對提取過程中的敏感程度，提高局部相似特征的區(qū)分程度，更精細(xì)地捕捉動態(tài)圖像的紋理特征，通過MLBP將動態(tài)圖像中的像素鄰域劃分為多個網(wǎng)格，每個網(wǎng)格內(nèi)部的像素被考慮為一個整體單元，并根據(jù)它們與中心像素的灰度關(guān)系進(jìn)行編碼，從而使每個網(wǎng)格產(chǎn)生一個LBP值，而不是每個像素都產(chǎn)生一個LBP值，降低了特征向量的維數(shù)。

在MLBP算法[13]中，動態(tài)圖像中心像素鄰域的特征值計算公式為：

[MLBPjs，r=i=1s2i-1（fφ-fi）] （5）

式中，[φ=1+mod（（i+s+j-1），s），j=1，2，…，s2]，[mod]為余數(shù)，用于描述求解中心像素點(diǎn)水平、豎直坐標(biāo)之比。

為了進(jìn)一步增強(qiáng)不同目標(biāo)和背景之間的區(qū)分度，通過考慮動態(tài)圖像中心像素的邊緣信息，為每個MLBP編碼分配了一個權(quán)重[ωx，y]，即像素的梯度幅度，邊緣區(qū)域被賦予更大的權(quán)重，從而在特征向量中占據(jù)更重要的位置，計算公式為：

[ωx，y=Z2x+Z2y] （6）

式中：[Zx]、[Zy]均用于描述一階倒數(shù)，分別對應(yīng)于[x]、[y]方向的像素。

在動態(tài)圖像中，一個[M×N]像素塊的MLBP特征的第[i]維特征值可用公式表示為：

[MLBPi=x=0M-1y=0N-1ωx，yζ（m，n）] （7）

式中，[ζ（m，n）]表示指示函數(shù)，當(dāng)[m=n]時，返回1；否則，返回0。說明只累加那些MLBP編碼與當(dāng)前特征維度[i]相同的像素的梯度幅度。

Gabor變換可利用具備頻率和方向差異的Gabor濾波器，捕捉動態(tài)圖像的局部結(jié)構(gòu)信息，更適用于尺度和方向變換情況。在MLBP的基礎(chǔ)上，使用Gabor濾波器對動態(tài)圖像進(jìn)行濾波，并在濾波后的圖像上應(yīng)用MLBP編碼，使提取的特征不僅考慮了像素鄰域之間的空間關(guān)系，還考慮了不同尺度和方向上的紋理信息，從而進(jìn)一步提取圖像的復(fù)雜特征。具體操作步驟如下。

1） 使用一系列不同尺度和方向的Gabor濾波器對動態(tài)圖像進(jìn)行濾波。通過頻率[γ]和標(biāo)準(zhǔn)偏差[σx]、[σy]描述高斯包絡(luò)為：

[?（x，y）=12πσxσye[-（12）（x2/σ2x+y2/σ2y）+2πjωx]] （8）

進(jìn)一步對動態(tài)圖像進(jìn)行旋轉(zhuǎn)、伸縮，獲取Gabor小波。

[?mn（x，y）=a-m?（x'，y'）] （9）

針對Gabor核函數(shù)，其尺度及方向可分別用[m∈0，1，2，…，T-1]、[n∈0，1，2，…，P-1]進(jìn)行描述，可以進(jìn)一步表示為：

[a=uαuβ-1（T-1），" " ωm，n=uα] （10）

[σx，m，n=（a+1）2ln22πa（a-1）uβ] （11）

[σy，m，n=12πtanπ2ku2α2ln2-12πσx，m，n2] （12）

式中：[uα]、[uβ]分別表示頻帶的上、下限截止頻率，用于衡量濾波器在頻域上的響應(yīng)范圍。

利用Gabor變換的窗以及動態(tài)圖像的卷積，從而獲取Gabor濾波器的響應(yīng)公式：

[Wmn=tp（x-t，y-p）?*mn（t，p）] （13）

每個Gabor濾波器都會生成一個響應(yīng)圖像，這些響應(yīng)圖像突出了動態(tài)圖像中與該濾波器特定尺度和方向相關(guān)的紋理特征。

2） 對于每個Gabor濾波器的響應(yīng)圖像局部紋理特征，應(yīng)用MLBP算法實(shí)現(xiàn)提取。

3） 將所有Gabor濾波器響應(yīng)圖像的MLBP特征進(jìn)行整合，形成一個綜合的特征向量。這個特征向量包含了原始動態(tài)圖像在不同尺度和方向上的紋理信息。

綜上所述，在提出的SIFT?GMLBP算法中，SIFT算法提取的關(guān)鍵點(diǎn)和描述子被用作GMLBP算法的輸入，GMLBP算法在這些關(guān)鍵點(diǎn)上構(gòu)建網(wǎng)格化結(jié)構(gòu)，并求解其中像素鄰域的局部差異，得到更豐富的特征信息。這種結(jié)合使得SIFT?GMLBP算法能夠在復(fù)雜和動態(tài)的環(huán)境中更有效地提取圖像的視覺信息，為動畫設(shè)計師提供了更豐富的視覺細(xì)節(jié)，有助于打造出更具層次感和真實(shí)感的動畫效果。

2" 實(shí)驗(yàn)分析

為了驗(yàn)證本文方法的動態(tài)圖像視覺信息提取的有效性，選擇AnimeRun數(shù)據(jù)集中的動畫圖像作為實(shí)驗(yàn)對象，該數(shù)據(jù)集中包含多種動態(tài)場景和光照條件變化的動態(tài)圖像。在該數(shù)據(jù)集中選取一個動態(tài)圖像，并對該動態(tài)圖像序列進(jìn)行去噪、增強(qiáng)對比度等操作后，將其修剪至統(tǒng)一的大小，對其中一張動態(tài)圖像通過本文方法進(jìn)行關(guān)鍵點(diǎn)提取，從而評估關(guān)鍵點(diǎn)提取的準(zhǔn)確率和穩(wěn)定性。實(shí)驗(yàn)平臺選取Matlab，設(shè)置硬件為Intel Core i7處理器DDR4 3 200 MHz、NVIDIA RTX 30顯卡，基于以上設(shè)置，得到本文方法的動態(tài)圖像關(guān)鍵點(diǎn)提取結(jié)果如圖2所示。

圖2a）為AnimeRun數(shù)據(jù)集中的原始圖像，經(jīng)過本文方法進(jìn)行關(guān)鍵點(diǎn)提取的結(jié)果如圖2b）所示。可以看出，本文方法不僅能夠準(zhǔn)確提取出動態(tài)圖像中的關(guān)鍵點(diǎn)，而且在處理復(fù)雜場景和光照條件變化時，也能夠保持較高的性能；同時，本文方法提取到的關(guān)鍵點(diǎn)的分布和密度都較為合理，顯示出較好的穩(wěn)定性和魯棒性。因此，相信本文的視覺信息提取方法在實(shí)際應(yīng)用中具有廣泛的適用性和潛在的價值。

為驗(yàn)證本文方法的動態(tài)圖像紋理特征提取的有效性，從AnimeRun數(shù)據(jù)集中選取了一個具有代表性的動態(tài)圖像序列，并隨機(jī)選擇了其中的一張圖像作為測試樣本，應(yīng)用本文提出的紋理特征提取方法對選定的動態(tài)圖像進(jìn)行紋理特征提取，對提取的紋理特征進(jìn)行了可視化處理，以直觀地展示本文方法的有效性，提取結(jié)果如圖3所示。

在圖3中可以看出，本文方法能夠更準(zhǔn)確地捕捉到圖像中的紋理細(xì)節(jié)和結(jié)構(gòu)信息，并且提取的紋理特征能夠顯著提升動畫的紋理細(xì)節(jié)和真實(shí)感，使得動畫更加生動和逼真，證明了本文方法在實(shí)際應(yīng)用中能夠展現(xiàn)出較好的穩(wěn)定性和魯棒性。

為了進(jìn)一步驗(yàn)證本文方法對動態(tài)圖像視覺信息提取的能力，在AnimeRun數(shù)據(jù)集中隨機(jī)選取一張動態(tài)圖像，經(jīng)過上述方法處理后，通過鄰域標(biāo)簽融合方法、視覺顯著性方法和本文方法進(jìn)行動態(tài)圖像視覺信息的提取。在提取過程中，記錄三種方法對該動態(tài)圖像提取的關(guān)鍵點(diǎn)數(shù)量、關(guān)鍵點(diǎn)分布、關(guān)鍵點(diǎn)穩(wěn)定性、紋理特征維度、紋理特征描述、動態(tài)信息捕獲能力、視覺信息可視化以及實(shí)時性能，驗(yàn)證結(jié)果如表1所示。

從表1中可以看出：本文方法在動態(tài)圖像的關(guān)鍵點(diǎn)和紋理特征提取方面展現(xiàn)出了顯著的優(yōu)勢，能夠均勻地在關(guān)鍵區(qū)域提取150個關(guān)鍵點(diǎn)，這些關(guān)鍵點(diǎn)在連續(xù)幀之間表現(xiàn)出高度的穩(wěn)定性，平均位移小且丟失率低，從而確保了運(yùn)動物體軌跡和速度變化的準(zhǔn)確捕獲；在紋理特征提取方面，本文方法通過128維的特征描述子詳細(xì)描述了紋理的類型和復(fù)雜度，為后續(xù)的圖像分析提供了豐富的信息。與鄰域標(biāo)簽融合方法和視覺顯著性方法相比，本文方法不僅在關(guān)鍵點(diǎn)數(shù)量和分布上更加合理，而且在穩(wěn)定性和動態(tài)信息捕獲能力上也更勝一籌。

3" 結(jié)" 語

本文通過結(jié)合SIFT和GMLBP兩種方法的優(yōu)勢，提出一種新型的動態(tài)圖像視覺信息提取方法。通過SIFT算法提取圖像的關(guān)鍵點(diǎn)和描述符，再利用GMLBP增強(qiáng)對圖像紋理特征的捕捉能力。實(shí)驗(yàn)結(jié)果證明了本文方法是一種高效、準(zhǔn)確的動態(tài)圖像視覺信息提取方法。通過穩(wěn)定的關(guān)鍵點(diǎn)跟蹤和豐富的紋理特征描述，能夠?yàn)閯討B(tài)圖像分析提供強(qiáng)有力的支持。通過該研究，期望能夠在動態(tài)圖像分析中提供更豐富、更準(zhǔn)確的視覺信息，進(jìn)而在實(shí)際應(yīng)用中推動動態(tài)圖像分析技術(shù)的發(fā)展。

參考文獻(xiàn)

[1] 韓曉微，張云澤，謝英紅，等.動態(tài)異構(gòu)特征融合的水下圖像增強(qiáng)算法[J].控制與決策，2023，38（6）：1560?1568.

[2] 李景文，韋晶閃，姜建武，等.多視角監(jiān)控視頻中動態(tài)目標(biāo)的時空信息提取方法[J].測繪學(xué)報，2022，51（3）：388?400.

[3] 李世杰，陳澤少，聶長武，等.基于鄰域標(biāo)簽融合的煙草薄片視覺提取方法[J].科技創(chuàng)新與應(yīng)用，2022，12（27）：152?156.

[4] ZHANG T， LI Z P， SHIN M， et al. Feature extraction method of snowboard starting action using vision sensor image processing [J]. Mobile information systems， 2022（1）： 1?9.

[5] 張?zhí)煲?，朱志明，朱傳輝，等.用于弧焊過程的視覺傳感圖像處理及特征信息提取方法[J].清華大學(xué)學(xué)報（自然科學(xué)版），2022，62（1）：156?162.

[6] 徐翰文，張闖，陳蘇婷.基于視覺顯著性的圖像特征提取算法[J].計算機(jī)應(yīng)用，2022，42（z2）：72?78.

[7] 丁國紳，喬延利，易維寧，等.基于光譜圖像空間的改進(jìn)SIFT特征提取與匹配[J].北京理工大學(xué)學(xué)報，2022，42（2）：192?199.

[8] 張浩哲，蔡杰，陳富國.一種基于LBP的高壓開關(guān)圖像特征提取方法[J].自動化技術(shù)與應(yīng)用，2023，42（2）：45?48.

[9] 劉巖，張寧寧，海玲，等.基于機(jī)器視覺的玉米蟲害區(qū)域SIFT識別仿真[J].計算機(jī)仿真，2023，40（7）：215?219.

[10] 孫希延，劉博，紀(jì)元法，等.基于SIFT改進(jìn)的無人機(jī)圖像匹配算法[J].電光與控制，2023，30（5）：34?38.

[11] 劉媛媛，何銘，王躍勇，等.基于優(yōu)化SIFT算法的農(nóng)田航拍全景圖像快速拼接[J].農(nóng)業(yè)工程學(xué)報，2023，39（1）：117?125.

[12] 劉貫偉，江浩然，張云峰，等.基于LBP特征的人民幣水印圖像的識別與檢測[J].機(jī)電產(chǎn)品開發(fā)與創(chuàng)新，2022，35（5）：145?148.

[13] 陳芯蕊，郭立強(qiáng).基于LP和LBP的紅外與可見光圖像融合算法[J].淮陰師范學(xué)院學(xué)報（自然科學(xué)版），2023，22（3）：210?215.

作者簡介：鄭" 蔚（1976—），女，河南洛陽人，碩士研究生，副教授，研究方向?yàn)閳D像視覺處理與設(shè)計。

收稿日期：2024?06?12" " " " " "修回日期：2024?07?05