基于顏色相似和位移一致的運動目標歸并算法研究

摘 要：基于運動學信息的目標檢測無須依賴數據訓練，但存在被分割為多個離散目標的情況，通過提取各離散目標的色度、飽和度、亮度信息，構建HSI顏色特征向量并定義相似度函數，在當前幀中根據HSI顏色特征相似度實現第一次目標歸并。基于前后幀顏色特征向量建立上下文顏色相似矩陣，對于相似度高的目標，基于離散目標質心運動方向和距離進行位移一致性評價，實現第二次歸并。實驗結果表明，所消耗時間控制在30 ms左右，運動目標的檢測正確率較未歸并前提高了27個百分點，保證了運動目標檢測的完整性。

關鍵詞：目標歸并；HSI顏色特征；相似矩陣；位移一致性

中圖分類號：TP391" " 文獻標志碼：A" " 文章編號：1671-0797（2024）14-0058-05

DOI：10.19514/j.cnki.cn32-1628/tm.2024.14.013

0" " 引言

運動目標的檢測方法主要有基于運動學信息的幀差法、背景減法、光流法和依賴于單幀特征信息的檢測方法或將兩類方法結合[1]。幀差法[2]和背景減法[3]檢測過程的最后一步是通過分割二值圖像獲得目標輪廓，由于相機抖動、光照變化、目標運動不連貫、靜止背景遮擋等原因，差分閾值后的二值圖像會出現離散現象，基于二值圖像的目標分割會將一個目標誤分為多個小目標。當前，區域連通性分析多用于醫學圖像、車牌字母、工件計數等領域[4]，其目的是將粘連、堆疊的目標進行分離。在離散目標歸并領域，目前研究文獻較少，分離與歸并本是一對問題，在歸并研究上可以借鑒分離的研究方法和思想。

離散目標歸并是完整檢測的重要一步，文獻[4]依據像素級距離信息和特征相似信息對圖像塊進行整合。文獻[5]利用HSI空間中色調、飽和度、亮度分量信息的相似性與基本形態學操作結合，定義了一種彩色形態學處理方法用于圖像邊緣提取，能夠較好地保存邊緣信息。在遙感圖像方面，文獻[6]基于YCbCr顏色空間對亮度、藍色色度、紅色色度分量進行閾值化，初步確定候選陰影區域，基于候選區域提取紋理特征用于陰影消融；文獻[7]利用YCbCr顏色空間特征來表征大豆粒子外觀品質特性，對大豆進行精細分類。文獻[8]提出了一種復雜布局分析的混合技術，為了連接相鄰區域和檢測分割線，將形態學操作應用于前景和背景，輪廓跟蹤用于提取形狀和大小信息以及連接部件的分類。

本文以幀差后的運動目標二值圖像為起點，分別從小目標區域濾除、離散目標的質心歐幾里得距離判定、HSI空間顏色特征相似度計算、前后幀離散目標位移一致性評價等方面進行歸并方法研究。

1" " HSI空間顏色相似性

相機獲取的圖像是RGB顏色空間，每個通道都包含同種信息，HSI顏色空間更符合生物視覺系統[9]，H、S、I分別代表色調、飽和度、亮度，兩空間轉換可表示：

式中：B表示藍色分量；G表示綠色分量；R表示紅色分量；θ為色調角度。

設一離散區域Ω，v={vH，vS，vI}表示在HSI顏色空間下Ω的每個像素點的顏色矢量，進一步計算區域Ω內總體顏色特征矢量u={vH，vS，vI，σH，σS，σI}，其中vH，vS，vI分別表示區域內各分量均值，σH，σS，σI表示各分量的標準差。在一幀圖像中會出現多個離散目標區域，則整幀圖像的顏色特征表示為U={u1，u2，…，un}，n為單幀圖像中離散目標區域的數量。

各離散目標的顏色相似度測算是離散目標是否歸并的重要依據，通常來講，不同類型目標在顏色特征上有較大差異，但離散目標顏色特征和完整目標顏色特征具有相似性，同屬一個整體目標的各離散目標之間距離較短，顏色特征也具有相似性。

式中：dH、dS、dI為定義的色度、飽和度、亮度的相似測度函數，均以e為底數的減函數定義；下標i，j表示任意兩個離散目標；a，b，c分別為各分量測度參數，均在區間（0，+∞）保證了測度函數遞減性，對于同樣的兩個顏色向量，因為參數不同表現出不同的相似性，符合生物感知世界的模糊性。

以分量差值的絕對值為變量，保證定義域大于等于零，將其值域歸一化到[0，1]區間內，差值的絕對值越小，計算結果越向1趨近，各分量相似性越高，同屬一個目標的概率越大；否則，屬于同一目標的概率越小。

顏色總體特征的相似性由三個分量相似性共同決定：

D（ui，uj）∈[0，1]，該值接近1時，表示兩個離散目標的顏色信息更加接近，同屬于一個整體目標的概率大。

2" " 上下幀位移一致性

運動目標在前后幀中所處的位置會有移動，但是其顏色特征保持穩定。設當前幀和前一幀的顏色特征向量分別是UC，UP，上下幀相似性矩陣如下：

式中：D（uCm，uPk）表示兩區域的顏色特征相似性；Tb表示顏色相似閾值；o（u）表示區域的質心，p1（x1，y1），p2（x2，y2）分別為o（uPm）和o（uCk）的坐標，Euc[o（uCm），o（uCk）]表示兩質心間歐幾里得距離，以表征目標在前后幀的位移距離；TD2表示當前幀和前一幀兩兩離散目標的歐幾里得距離閾值。

二值化要同時滿足兩個條件：1）顏色特征相似性高于Tb；2）雖然運動目標在前后幀中會發生位移，但是由于兩幀間隔時間較短，位移距離應小于TD2。

式中：dx，dy表示質心點在水平和垂直方向的移動距離；d（ri，rj）由兩個方向移動距離差值合成，當其小于閾值TM則認為兩目標位移具有一致性。

3" " 歸并步驟

步驟1，讀入原圖像src及所對應的二值圖像src_b，并將原圖像src由RGB顏色空間轉換為HSI空間得到src_hsi。

步驟2，對二值圖像src_b進行膨脹操作，然后查找輪廓，對輪廓面積小于閾值Ts的區域，將區域內所有像素設置為0，得到最新src_b，達到濾除小目標作用，膨脹操作還會對微小距離的離散目標進行歸并。

步驟3，對src_b再次查找輪廓并找到其最小外接矩形框和質心，將矩形框映射到原圖像src中，計算HSI顏色空間下映射區域顏色特征U，判斷是否為初始幀，若為初始幀，則同時保存為當前幀和前一幀。否則，更新為當前幀數據。

步驟4，計算當前幀兩兩離散目標之間的歐幾里得距離Euc[o（ui），o（uj）]，當其值小于當前幀中兩個離散目標的歐氏距離閾值TD1時，近一步計算其顏色特征相似性，當D（ui，uj）大于相似度閾值TC1則認為兩個離散目標間相似度高，可視為同一目標。

步驟5，依據當前幀和前一幀的顏色特征向量UC，UP，求解上下幀相似矩陣A，并對矩陣二值化得到Ab，對元素值為1所對應的離散區域進行位移一致性評價，當d（ri，rj）小于閾值TM則認為目標在運動方向和距離上保持一致，可以歸并為同一目標。

步驟6，在src_b1上，將判定為同一目標的各離散區域通過連接線完成目標歸并，查找src_b1輪廓并獲得外接矩形框。

步驟7，將當前幀的顏色特征信息更新為前一幀數據。重新回到步驟1對下一幀圖像做同樣處理。

4" " 實驗結果及分析

選取三段視頻序列驗證算法的效果和適用性能，視頻1為靜態相機下監控視頻，視頻2為運動相機下所拍攝的視頻，視頻3為運動相機所拍攝，但視頻中存在多個距離相近、顏色特征相似的運動目標。通過VS2017和OpenCV 4.1編程實現驗證，在PC（CPU為8核3.5 GHz，內存8 GB）上運行。

實驗1：基于HSI顏色特征相似性對離散目標進行第一次歸并。本文中相似度測度參數a、b、c均設為10，歐氏距離閾值TD1設為30，相似度閾值TC1設為0.75。如圖1所示，第一行視頻目標的離散程度低，濾除小目標后的二值圖像已經呈現出比較完整的人體輪廓。第二行視頻人與相機同時運動，相機運動補償不足或過度補償導致目標不連貫，離散程度大，由于目標上下著裝顏色一白一黑，其顏色相似度低，將上下半身分別歸并，人體仍然是離散狀態。由此可見，當一個完整目標各部分顏色對比度較強時，僅依據顏色特征相似度歸并能力有限。第三行視頻飛機漆裝顏色單一，基于顏色相似度歸并效果較好。三架飛機為同一顏色，由于TD1設置比較小，飛機之間沒有出現歸并。

實驗2：基于上下幀位移一致性進行歸并，本文中將TD2設置為80，Tb設為0.6，TM設為30。第二次歸并是在第一次歸并后進行，對于一個完整目標，各部分的位移距離和方向具有一致性，在視頻2中體現明顯，第一次歸并后，人體上下半身仍然分離，第二次歸并后，上下半身歸并為一體，人體輪廓檢測完整，如圖2所示。

定義準確率P=Nt/N，其中N為目標總數量，Nt為完整檢測目標的數量。準確率P1表示直接對二值圖像查找輪廓進行目標檢測，P2表示對離散目標歸并后再查找目標輪廓，由表1可知，歸并后目標完整檢測的準確率有了大幅提高，平均提高27個百分點。

5" " 結束語

本文為提高基于二值圖像目標檢測的正確率，提出了一種基于HSI空間顏色相似度和上下幀位移一致性的目標歸并方法，首先濾除小目標區域，然后基于顏色特征的相似度對離散目標進行第一次歸并，在此基礎上，結合離散目標在前后幀中位移的一致性進行第二次歸并，達到將離散目標合體的效果。采用三段不同場景不同拍攝條件的視頻對方法進行驗證，結果表明了方法的有效性。圖像的內涵信息是豐富的，本文只考慮了顏色特征和位移一致性，未來的研究中可加入更多的圖像特征，例如紋理特征、梯度特征等。

[參考文獻]

[1] ROZANTSEV A，LEPETIT V，FUA P.Detecting flying objects using a single moving camera[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（5）：879-892.

[2] 王智文，王宇航，蔣聯源，等.基于關聯幀差分法的運動目標檢測與跟蹤[J].現代電子技術，2021，44（2）：174-178.

[3] 戚亞明，陳樹越，孫磊.基于改進ViBe算法的雙流CNN跌倒檢測[J].計算機工程與設計，2023，44（6）：1812-1819.

[4] 康世英，姚斌.快速連通域標記算法在堆疊棒材計數中的應用研究[J].機械與電子，2018，36（11）：29-33.

[5] 何曉軍，徐愛功，李玉.利用HSI空間相似性的彩色形態學圖像處理方法[J].計算機科學，2019，46（4）：285-292.

[6] 方嵐，于鳳芹.去除鬼影及陰影的視覺背景提取運動目標檢測算法[J].激光與光電子學進展，2019，56（13）：71-78.

[7] 林萍，何堅強，鄒志勇，等.基于可見光譜圖的大豆外觀品質判別方法[J].光學學報，2019，39（8）：208-215.

[8] VASILOPOULOS N，KAVALLIERATOU E.Complex layout ana-

lysis based on contour classification and morpho-

logical operations[J].Engineering Applications of Artificial Intelligence，2017，65： 220-229.

[9] 宋瑞霞，李達，王小春.基于HSI色彩空間的低照度圖像增強算法[J].圖學學報，2017，38（2）：217-223.

收稿日期：2024-03-26

作者簡介：李玉虎（1995—），男，山東濟寧人，碩士，助理實驗師，研究方向：測控技術與儀器、自動化技術。

基金項目：廣州市教育局2022年高校科研（青年人才）項目（202235284）；廣州市示范性職業教育集團項目（2023ZYJYJT004）