多特征融合下連續幀圖像運動目標識別方法

摘" 要： 針對不同類型運動目標形狀不同、運動模式不一致導致識別難度大的問題，文中提出一種多特征融合下連續幀圖像運動目標識別方法。通過攝像機對目標進行連續幀圖像采集，從中提取圖像顏色及紋理特征，經歸一化操作和特征間的歐氏距離融合提取多特征后，進行近似距離計算并排序，將前一部分作為長短期記憶網絡輸入特征向量，構建運動目標識別模型，輸出連續幀圖像運動目標識別結果。通過實驗驗證，該方法能夠通過一種可視化的頁面將識別結果顯示出來，便于用戶快速、準確地理解和分析識別結果，識別速度快、穩定可靠，可以為相關領域提供有效的技術支持。

關鍵詞： 多特征融合； 連續幀圖像； 運動目標識別； 特征提取； 顏色特征； 紋理特征； 歐氏距離； 長短期記憶網絡

中圖分類號： TN911.73?34； TP391" " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2025）05?0049?04

Moving object recognition method for continuous frame image with multi?feature fusion

LIU Zhaoxia

（Taiyuan University of Technology， Taiyuan 030024， China）

Abstract： Aiming at the difficult recognition caused by different shapes and inconsistent motion modes of different types of motion objects， a continuous frame image motion object recognition method based on multi?feature fusion is proposed. The object is subjected to continuous frame image acquisition by a camera， and the image color and texture features are extracted from the continuous frame image. After the multiple features are extracted by normalization and Euclidean distance fusion among features， the approximate distance is calculated and the sorting is performed. The previous part is used as the input feature vector for the long short?term memory network （LSTM）， and a motion object recognition model is constructed to output the result of the motion object recognition for continuous frame image. Experiments verified that the proposed method can display the recognition results with a visual page， which facilitates users to understand and analyze the recognition results quickly and accurately. Its recognition speed is fast， its recognition process is stable and its recognition results is reliable， so it can provide effective technical support for related fields.

Keywords： multi?feature fusion; continuous frame image; moving object recognition; feature extraction; color feature; texture feature; Euclidean distance; LSTM

0" 引" 言

連續幀圖像中運動目標的識別適用于多個領域，如安全監控、體育、醫學、交通等[1]，運動目標的有效識別能夠實現對不同場景下的實時監控和控制，為各個領域提供良好的數據支持[2]。在實際的運動目標識別過程中，常伴隨著目標多樣性、環境復雜性等問題，眾多學者針對種種難點展開詳細分析。文獻[3]使用OV5640攝像頭模塊實時捕獲視頻圖像數據，對捕獲的圖像數據進行差分處理，應用濾波算法去除噪聲和不必要的細節，利用形態學操作進一步強調和提取運動目標的特征，將處理后的圖像數據或提取的特征信息存儲于DDR3存儲器中，以便后續處理分析，最后借助FPGA通過數據來檢測并識別視頻中的運動目標。但FPGA的硬件資源有限，對算法進行資源分配與保證實時性和準確性相互制約，導致實現運動目標的效果局限性較大。文獻[4]通過三維掃描系統捕獲運動場景中所有物體的三維坐標信息，對捕獲的點云圖像進行預處理，去除噪聲和不必要的細節。通過地平面方程區分圖像中的背景點云和需要被識別的運動目標點云，使用歐氏聚類法確保目標點云數據被準確提取。提取其中的關鍵點，通過Freeman鏈碼算法進一步強調目標的輪廓和形狀信息，最終實現圖像運動目標識別。Freeman鏈碼算法對于噪聲和復雜輪廓的適應性有限，在處理較為復雜的細節時，效果較差，導致實現運動目標識別的準確性較差。文獻[5]提出了一種CNN?5GIoT模型，該模型是一個針對物聯網網絡中運動目標識別的方法。利用深度學習網絡提取圖像特征，實現目標的檢測和分類。這一模型結合了現代集成技術的優勢，包括機器學習和人工智能方法，以及5G等新一代標準，為物聯網網絡中的目標識別提供了高效且準確的解決方案。但是CNN模型的網絡結構較為復雜，通常具有較高的計算復雜度，導致模型推理速度下降，無法滿足實時性要求。

連續幀圖像中運動目標識別在多領域中具有較大實用性[6]。為了提升目標識別效果，提出一種多特征融合下連續幀圖像運動目標識別方法，通過長短期記憶網絡實現運動目標識別，該模型能夠實現較為精準、高穩定性、實時性的運動目標識別，為相關領域的研究提供了技術支持。

1" 連續幀圖像運動目標識別方法

1.1" 連續幀圖像運動目標特征提取

首先通過攝像機對目標進行連續幀圖像采集，對得到的連續幀圖像進行特征提取，主要包括連續幀圖像的顏色特征和紋理特征。

1） 顏色特征

通過空間轉換圖像像素獲取圖像顏色特征[7]，針對圖像HSV顏色空間中代表0～255共256級的紅（R）、綠（G）、藍（B）三個通道的顏色進行轉換[8]，提取的連續幀圖像的顏色特征通過組合向量的形式表示為[H，S，V]。

2） 紋理特征

在圖像區域內對應的目標表面性質稱為紋理特征，通過像素點與鄰域像素間的灰度分布體現。本文通過LBP算子進行連續幀圖像紋理特征提取。

LBP算子通過圖像像素點與鄰域像素點差異得到二值化差異，依據權重值的大小按照順時針順序生成二進制字符串[9]，即圖像的LBP紋理特征值，表示為：

[LBPx，y=i， j=1MαIi-Ij] （1）

式中：[Ii]和[Ij]分別表示圖像的像素值和鄰域像素值；[M]表示鄰域像素數量。

LBP紋理特征提取過程如圖1所示。

在圖1中，對比像素值與鄰域像素值，小于該中心像素值的鄰域像素值變為0，否則為1，則最終得到的二進制字符串表示為01010001，即提取的LBP紋理特征，表示為[L]。

1.2" 連續幀圖像運動目標多特征融合

通過1.1節能夠得到連續幀圖像中的多種特征，經多特征融合，可為后續的連續幀圖像運動目標識別提供依據。

設得到的特征向量維度為[a]，表示為[K=C1，L1，]

[C2，L2，…，Ca，La]，則任意圖像[Pn]與特征向量[Kn=Cn1，Ln1，Cn2，Ln2，…，Cna，Lna]呈現一一對應的關系。

設采集的連續幀圖像數量為[B]，[Pu]、[Pv]分別為采集的連續幀圖像中的任意兩個連續圖像，通過歐氏距離對二者之間的近似距離進行計算，表示為：

[Sc=?c1cu1-cv12+…+?czcuz-cvz212] （2）

[Sl=?l1lu1-lv12+…+?lzluz-lvz212] （3）

式中：[c]和[l]分別表示顏色特征矩陣分量和紋理特征矩陣分量；[?c1，…，?cz]、[?l1，…，?lz]表示對應的權重。

針對待識別圖像[P]，對其與連續圖像之間的歐氏距離進行計算，表示為：

[Sc，ln=bnc，ln，?nz] （4）

對其進行歸一化操作，將其映射至[-1，1]上，表示為：

[Sc，ln′Pr=Sc，lnPrσB] （5）

式中[σB]表示標準差。

經線性變換式（5）后，獲取歸一化距離：

[Sc，ln″Pr=Sc，ln′Pr+12] （6）

對圖像總相似距離進行計算，表示為：

[S=n=1W?nSc，ln″Pr] （7）

式中[W]表示圖像數量。

按照式（7）對每幅圖像相似距離進行計算，并進行降序排列，提取前[N]個作為特征向量，表示為[SN]，為后續的運動目標識別提供判斷依據[10?11]。

1.3" 基于長短期記憶（LSTM）網絡的運動目標識別

將1.2節獲取的特征融合結果作為LSTM輸入，實現運動目標的識別。長短期記憶網絡基于循環神經網絡，通過tanh函數的節點結構實現對時間序列的處理，LSTM結構如圖2所示。

在圖2中，LSTM包含三個門，分別表示獲取、遺忘、記憶三個過程[12]。其中，[SNt]用于描述輸入的特征向量；[λt]和[λt-1]、[ht]和[ht-1]分別用于描述[t]、[t-1]時刻長短時記憶。短時記憶和輸入的圖像特征向量經過三個門的處理后實現對其中冗雜信息遺忘和關鍵信息的存儲[13]，表示為：

[ft=Sigmoidωfht-1，SNt+δf] （8）

[it=Sigmoidωiht-1，SNt+δi] （9）

[ot=Sigmoidωoht-1，SNt+δo] （10）

式中：[ω]、[δ]分別表示權重和偏置；[ft]、[it]、[ot]分別表示三個門的輸出；[Sigmoid]用于描述[Sigmoid]激活函數。

記錄在長時記憶單元中的信息表示為：

[λt=tanhωλht-1，SNt+δλ] （11）

結合式（8）～式（11），得到當前節點的長時記憶和短時記憶，表示為：

[λt=ftλt-1+itλt] （12）

[ht=ottanhλt] （13）

通過上述模型的構建，經過模型的學習和訓練，最終能夠實現連續幀圖像運動目標識別。

2" 實驗與分析

通過圖像采集設備對實際的運動目標圖像進行連續幀采集，利用本文方法進行處理和分析，最終實現運動目標識別。為驗證本文方法實現運動目標識別的效果，以體育項目中的籃球運動為例，實現圖像采集及運動目標識別的流程圖如圖3所示。

在運動目標識別過程中，需要依賴圖像采集設備完成連續幀圖像獲取，對圖像采集設備的參數進行統計，如表1所示。

由表1可知，該設備具有高分辨率和良好的穩定性，可以實現效果較好的連續幀圖像采集，能夠為后續的圖像特征提取和運動目標識別提供良好基礎。

利用本文方法對采集的連續幀圖像進行圖像中運動目標的識別，最終通過一種可視化顯示頁面對運動目標的識別結果進行顯示，具體情況如圖4所示。

由圖4可知，本文實現連續幀圖像中運動目標的識別結果可以通過一種可視化的頁面顯示出來，通過輸入采集的圖像集合，運動目標會被帶有顏色的標識框標記出來。這種可視化展示不僅提升了用戶的使用體驗，也便于用戶快速、準確地理解和分析識別結果，從而進一步提高運動目標識別的實用性和效率。

從采集的運動目標連續幀圖像中隨機選取12組進行動態目標識別，以驗證本文方法實現運動目標識別的準確性，將識別結果與實際動作進行對比，得到的結果如表2所示。

由表2可知，本文方法實現的運動目標識別與實際目標運動的情況高度一致，不僅能夠較為準確地識別出目標大幅度的如舉手、抬腿等動作行為，還能夠識別出較為細微的搖頭等動作情況。證明了本文方法在運動目標識別領域展現出了卓越的性能，能夠有效地捕捉并識別出目標的各種動作情況，為后續的應用和研究提供了有力的支持。

在連續幀圖像運動目標識別過程中，識別效果受到環境因素的影響，本文以光照強度對運動目標識別的影響為研究條件，從采集的連續幀圖像中選取2 000組進行實驗驗證，模擬光照強度不斷增強的情況，選取文獻[3]方法和文獻[4]方法作為對比方法，統計三種方法對運動目標識別的情況，如圖5所示。

由圖5可知，三種方法實現的運動目標識別效果存在較大差異。隨著光照強度不斷增大，三種方法對2 000組圖像中運動目標的識別正確數據量不斷增多，但相較于文獻[3]方法和文獻[4]方法，光照條件逐漸改善時，本文方法能夠迅速達到較高的正確識別數據量，并逐漸達到穩定，該現象表明本文方法不僅識別速度快，而且識別結果穩定可靠，驗證了本文方法在運動目標識別領域展現出了優異的性能，在光照條件變化較大的情況下，其識別效果較好。

3" 結" 論

為了提升目標識別效果，本文提出一種多特征融合下連續幀圖像運動目標識別方法。不同于傳統的單一特征識別方法，該方法結合了圖像的顏色和紋理特征，通過歸一化和特征間的歐氏距離融合，提取了多特征信息。這種多特征融合策略能夠更全面地描述運動目標的特性，提高識別的準確性和魯棒性。同時，引入LSTM網絡作為識別模型，能夠有效處理序列數據中的長期依賴關系。通過將連續幀圖像中提取的特征向量作為LSTM的輸入，模型能夠學習到運動目標的動態變化模式，提高了對復雜運動模式的識別能力。由于該方法能夠處理不同類型運動目標的識別問題，因此具有廣泛的應用前景。在安防監控、智能交通、體育分析等領域都能夠提供有效的技術支持和解決方案。

參考文獻

[1] 丁靜.煙霧環境下運動目標雙目視覺定位技術研究[J].測繪學報，2024，53（3）：582.

[2] 賈澎濤，侯長民，李娜.復雜背景下改進的ViBe運動目標檢測算法[J].應用光學，2023，44（5）：1045?1053.

[3] 楊星，余小平，鄭鋮，等.基于FPGA的多運動目標檢測及硬件實現[J].單片機與嵌入式系統應用，2023，23（4）：57?60.

[4] 尤錕，張全成，李凱勇.基于三維激光點云的運動圖像動態目標識別方法[J].應用激光，2022，42（4）：147?153.

[5] QURESHI K N， KAIWARTYA O， JEON G， et al. Neurocomputing for internet of things： Object recognition and detection strategy [J]. Neurocomputing， 2022， 485（7）： 263?273.

[6] 翟光，胡圣冉，孫一勇.面向天基紅外預警的高動態弱小目標LSTM檢測方法研究[J].紅外與激光工程，2023，52（10）：211?221.

[7] 湯旻安，王晨雨，羅引航.基于自適應ViBe算法的動態背景運動目標檢測[J].傳感器與微系統，2023，42（11）：119?122.

[8] 陳思，張海洋，靳發宏，等.運動目標的多維度微運動特征提取研究[J].物理學報，2024，73（7）：151?163.

[9] 葉裴雷，張大斌.高速運動目標特征關聯檢測模型仿真[J].計算機仿真，2023，40（4）：208?212.

[10] 朱冰，劉琦，余瑞星.復雜場景下自適應特征融合的圖像運動目標跟蹤算法研究[J].航空兵器，2023，30（2）：125?130.

[11] 張立國，馬子薦，金梅，等.基于非局部感知網絡的運動目標跟蹤方法[J].激光與光電子學進展，2023，60（4）：376?384.

[12] 何磊，趙柏山，周凱.基于CNN?LSTM網絡模型的散打動作辨識方法[J].微處理機，2022，43（5）：49?54.

[13] 袁浩，張軍良.基于殘差連接LSTM的雷達目標分類識別方法[J].計算機測量與控制，2022，30（4）：182?189.

作者簡介：劉朝霞（1974—），女，山西朔州人，碩士研究生，講師，研究方向為體育教育、運動人體科學、圖像識別、運動目標檢測。