一種快速魯棒的紅外圖像分割方法

楊如林，丑修建，李 慶，梁艷菊

(1.中北大學 電子與計算機科學技術學院，山西 太原 030051；2.中科院微電子所昆山分所，江蘇 蘇州 215300)

一種快速魯棒的紅外圖像分割方法

楊如林1，丑修建1，李 慶2，梁艷菊2

(1.中北大學 電子與計算機科學技術學院，山西 太原 030051；2.中科院微電子所昆山分所，江蘇 蘇州 215300)

介紹了一種快速魯棒的紅外圖像分割方法，算法是為了滿足工程化應用。首先采用Canny邊緣檢測算子提取圖像的邊緣像素；然后統計邊緣像素灰度值得到紅外行人圖像的分割閾值，并利用自適應雙閾值算法對圖像進行初始分割；最后通過邊緣掃描對初始分割的圖像區域進行邊界修正，得到邊界更加精確的目標區域。實驗結果表明，該方法能夠較好地保留行人的邊緣信息，減少了區域像素錯誤分割，且具有較強的實時性。

圖像分割；Canny邊緣；自適應閾值

圖像分割是利用亮度、彩色、反射率、紋理等信息將視覺傳感器獲取的圖像數據分割為具有相似特性的同質區域。圖像分割可以達到簡化處理數據，增強目標的目的，是圖像數據分析的首要步驟。目前常用的圖像傳感器有普通視覺傳感器和紅外傳感器，本文算法主要研究紅外傳感器圖像分割。傳統的圖像分割算法有基于閾值的分割[1-4]、基于邊緣的分割[5-6]和基于區域的分割[7]，對于靜態圖像，背景差法也是一種不錯的方法[8]。近年來又發展了一些新的圖像分割方法，如均值移位(Mean Shift)[9]、模糊連接性(Fuzzy Connetivity)、變形模型(Deformable Models)[10]等分割方法。這些新算法往往復雜度過高，本文研究主要為了滿足工程性應用，對算法的實時性要求較高。基于閾值的分割方法是使用最多也是最有效的分割方法之一，它通過設定一個或多個閾值將目標從背景中分割出來，閾值分割方法在圖像分析中往往是快速有效的。邊緣是圖像不連續的表征，它標示了圖像在灰度、彩色、紋理等方面不連續的位置，這種不連續性往往反映在目標和背景或目標之間的邊界位置，因此邊緣信息對于分割非常重要[11]。本文結合了這兩種方法實現紅外圖像的分割。

紅外傳感器成像是靠感應環境中熱紅外的輻射量，溫度較高的物體熱紅外輻射量大，反應在紅外圖像中為灰度值大。由于紅外成像背景簡單，不受光線、紋理、顏色和陰影等信息的影響，使其特別適用于發熱物體的檢測。本文通過統計紅外圖像目標邊緣像素點灰度值信息得到分割閾值，并利用自適應雙閾值算法對紅外圖像進行初始分割；然后通過邊緣掃描對初始分割的目標區域進行邊界修正，得到邊界更加精確的目標區域，修整后的目標區域能夠保留更多的邊界信息，方便后續的處理過程。本文算法已應用在紅外行人檢測中，下文處理圖像均為紅外行人圖像。

1 算法實現流程

1.1 基于邊緣像素統計的閾值分割

在紅外圖像中，邊緣是灰度值不連續的部分，紅外圖像中目標區域具有灰度一致性，區域內部像素值高度相關，而在目標和背景之間的邊界處，像素值出現階躍。圖1為OTCBVS基準數據集中的一幅紅外行人圖像，圖片大小為360×240。

圖1 OTCBVS紅外圖像

從圖1c的三維視圖中可以看到行人區域的灰度值明顯高于背景，這是由于行人溫度高于環境。圖像灰度值在目標區域和背景區域交界處存在較大變化，如果能夠取得行人區域和背景區域灰度值中間的某個值作為閾值對圖像進行分割，就能夠很好地將目標和背景分割開。邊緣作為目標區域和背景區域的分界線，其所在位置的原始圖像灰度值能很好地反映目標區域與背景區域灰度分界值，如圖1d，背景像素(灰色)主要集中在低像素值區域，而前景像素(灰白)主要集中在高像素值區域，邊緣像素(黑色)主要分布在中間區域，且其均值(144)能夠很好地將背景像素和目標像素分割開。本文采用Canny邊緣檢測算法檢測圖像邊緣，并統計邊緣像素值得到分割閾值。

1.1.1 Canny邊緣提取

Canny邊緣檢測算子[12]是John F.Canny于1986年提出的一個多級邊緣檢測算法。Canny的目標是找到一個最優的邊緣檢測算法，最優的含義是：好的信噪比，即非邊緣點被判為邊緣點或將邊緣點判為非邊緣點的概率低；好的定位性能，即檢測出的邊緣點要盡可能在實際邊緣的中心；對單一邊緣具有唯一響應，并且對虛假邊緣響應得到最大抑制。Canny邊緣檢測算法實現分為4個步驟：

1)圖像的平滑濾波

用式(1)的高斯函數對原始圖像進行卷積，得到平滑后的圖像，如式(2)所示

(1)

F(x,y)=f(x,y)*G(x,y)

(2)

式中：f(x,y)為原始函數；G(x,y)為高斯濾波函數；F(x,y)為平滑后的圖像。

2)計算梯度幅值和方向

用一階偏導的有限差分來計算梯度的幅值和方向為

φx(x,y)=f(x+1,y)-f(x-1,y)

(3)

φy(x,y)=f(x,y+1)-f(x,y-1)

(4)

(5)

(6)

式中：f(x,y)為原圖像像素值；f(x-1,y)，f(x+1,y)，f(x,y-1)和f(x,y+1)為f(x,y)左、右、上、下4個鄰點；φx(x,y)為x方向梯度幅值；φy(x,y)為y方向梯度幅值；φ(x,y)為像素點梯度；θ(x,y)為像素點角度。

3)對梯度幅值進行非極大值抑制

在梯度幅值圖像中，為了得到單點寬度的邊緣，需要抑制掉真實邊緣附近梯度幅值不為0的點。方法是依次搜索梯度幅值圖像中每個像素梯度方向兩邊的像素梯度值，若兩邊有大于該像素梯度的點，則將該點梯度值賦值0，只保留梯度方向上幅值變化最大的點。

4)用雙閾值算法檢測和鏈接邊緣

經非極大值抑制得到的結果是一個圖像的邊緣陣列，但仍然存在許多由噪聲和紋理引起的假邊緣，需進一步閾值化處理，去除假邊緣。具體方法是：對梯度幅值圖像的梯度值按從小到大順序統計得到梯度幅值直方圖，百分比80%處的梯度值設為高閾值th，高閾值的40%為低閾值tl。經過最大值抑制后的梯度圖中，梯度值大于th的點標記為邊緣點，梯度值小于tl的點視為背景點刪除。梯度值介于tl和th之間的點，分為兩種情況：若其8領域中存在已經標記的邊緣點，則該點標記為邊緣點；否則視為背景點。

1.1.2 閾值的獲取

設經Canny邊緣檢測得到目標物體的邊緣像素集S={s(1),s(2),…,s(N)}，其中S為所有邊緣像素集合，N為邊緣像素個數。為了對目標邊緣像素進行統計得到分割閾值，需要對邊緣像素進行篩選：首先去掉孤立點，這些孤立點往往是由于噪聲引起的，掃描每個邊緣像素點周圍的八鄰域，如果鄰域中不存在其他邊緣像素點則刪除該點；由于目標區域的灰度值往往高于背景，對于灰度值較低的邊緣點也予以去除，本文設置最小邊緣像素值為圖像像素灰度均值。去除不符合要求的邊緣像素點后的邊緣像素點集為S′={s′(1),s′(2),…,s′(N′)}，該其平均灰度為

(7)

式中：N′為去除不符合要求的邊緣像素點后的邊緣像素數；s′(i)為像素點集中的一個像素。本文采用自適應雙閾值對圖像進行分割，其中低閾值取Save，高閾取值介于低閾值和目標區域像素最大值之間

(8)

式中：Th，Tl分別為高低閾值；Pmax為目標區域最大像素值；α為調節系數，控制高閾值的取值范圍，通過實驗取0.5。

1.1.3 閾值分割

本文采用自適應雙閾值算法對圖像進行分割，閾值為上文計算的高低閾值，分割公式為

(9)

式中：f(x,y)為原始圖像；B(x,y)為分割后的二值圖像；Th和Tl為高、低閾值。式(9)將原始圖像中大于高閾值Th的像素賦值為255，低于低閾值Tl的像素賦值為0，取值介于低閾值和高閾值之間的像素，搜索周圍的鄰域確定賦予的值。圖2為分別采用單閾值Tl，Th和雙閾值對圖像進行分割的效果。

圖2 雙閾值分割

圖2b為當采用低閾值對圖像進行分割時，產生大量冗余分割，特別是在較亮的地面區域，有大片的地面被分割出來。圖2c為當采用高閾值對圖像進行分割時，由于閾值設置過高而行人軀干和背景像素值差別較小導致過分割，行人區域缺失嚴重。由圖1b可以看出當采用雙閾值分割算法不僅能夠很完整地將行人分割出來，也能夠抑制大量的噪聲區域，這是由于首先采用高閾值排除了區域灰度值較小的區域，減少了冗余區域，而低閾值的設定又能通過區域增長保證分割的完整性。由于雙閾值的計算是針對于單幀圖像，該算法對于環境變化具有較強的自適應能力。同時閾值是通過統計邊緣像素獲得，分割后的目標區域邊界更接近真實邊界。

1.2 基于邊緣約束的邊界修正

經過閾值分割后的目標區域邊界往往和區域的真實邊界有差別。為了使分割的目標區域更加精確，減少過度分割和欠分割，本文對雙閾值分割后的目標區域進行進一步的邊界修正。目標區域的邊界像素值在梯度方向上遞增，邊緣的梯度方向總是指向目標區域。通過邊緣掃描可以發現邊緣梯度方向兩邊目標區域錯誤分割情況并修正。為節省計算時間，將邊緣像素梯度角分為4個區域(如圖3)，對應4種情況，(如圖4)。

圖3 邊緣像素方向角劃分

圖4 邊緣掃描

修正步驟如下：

1)依次掃描每個邊緣像素點，若其方向角度在區域1或區域3則轉向步驟2)；若其方向角度在區域2或區域4則轉向步驟3)。

2)對該邊緣像素點的水平鄰域進行掃描，掃描寬度為l，這里取目標區域寬度的1/2。首先向邊緣像素點方向角一側(方向角在區域1時向右，否則向左)掃描，如果掃描到前景像素點(像素值為255)，則停止掃描并將已掃描的像素點都標識為前景點；如果掃描中遇到邊緣點或是掃描完l個像素點，則停止掃描。然后掃描另一側，如果掃描到未標識的像素點(像素值為0)，則停止掃描并將已掃描的像素點置0；如果掃描完l個像素或是遇邊緣點，則停止掃描。

3)對該邊緣像素點的垂直鄰域進行掃描，掃描寬度為l，這里取目標區域寬度的1/2。首先向邊緣像素點方向角一側(方向角在區域2時向上，否則向下)掃描，如果掃描到前景像素點(像素值為255)，則停止掃描并將已掃描的像素點都標識為前景點；如果掃描中遇到邊緣點或是掃描完l個像素點則停止掃描。然后掃描另一側，如果掃描到未標識的像素點(像素值為0)，則停止掃描并將已掃描的像素點都置0；如果掃描完l個像素或是遇邊緣點則停止掃描。

4)若所有的邊緣像素點都搜索完則退出，否則轉到步驟1)。

圖4中，灰白色區域為行人區域，黑色像素點為Canny算法檢測到的邊緣，灰色直線為掃描線。圖4a、圖4c中，行人區域存在欠分割，通過掃描線掃描標記中間未標識的像素點，使目標區域邊界趨向檢測到的真實邊界；圖4b、圖4d中，目標區域存在冗余分割，通過掃描線掃描可以刪除邊緣外側冗余的區域，使目標區域邊界趨向檢測到的真實邊界。經過邊界修正后的行人區域的邊界與邊緣檢測的邊界相同，更加符合真實行人區域。

2 實驗結果與分析

為了驗證本文算法的分割效果，分別從標準數據庫和自己拍攝的紅外視頻中選取了幾組紅外行人圖片進行實驗。用Microsoft Visual C++2010編寫C語言程序，并在Intel Pentium Dual-Core 2.2 GHz CPU，2 Gbyte內存的平臺上運行。分割效果如圖5所示。

圖5 整體算法分割效果

由實驗結果可知，雖然紅外圖像分辨率較低，采用本文算法仍能很好地將目標區域分割出來。在第二幅圖像中行人軀干像素值較低，單獨采用閾值分割很難完整分割圖像，但行人邊界仍比較明顯，經邊緣修正后得到了較好的分割效果。

同時，將本文算法與近年提出的幾種適用于工程化的分割算法進行對比試驗。文獻[11]中的分割算法為紅外行人檢測的一部分，文中使用介于圖像像素均值和最大值之間的值作為閾值分割圖像；文獻[13]首先用OSTU算法計算圖像整體閾值對圖像進行預分割，然后通過十字掃描窗逐點掃描圖像進行精細分割；文獻[14]假設紅外圖像背景服從單高斯分布，通過建立單高斯模型得到圖像分割閾值對圖像進行分割。圖6為幾種算法的分割效果。

圖6 紅外圖像分割效果對比

為了直觀分析算法性能，比較了幾種方法的錯分類誤差(ME)，計算如下

(10)

式中：BR和FR分別表示手動分割的目標和背景像素集合；BT和FT表示閾值分割后目標和背景像素集合；∩表示兩者的并集；ME取值范圍為0～1，值越小說明分割越好，如表1所示。

圖6中可以看出，文獻[11]中方法假設圖像像素值分布均勻，不能適用于大部分分割情況，自適應能力較弱；文獻[13]中算法由于采用局部閾值，容易產生冗余分割，且由表1可知該算法實時性較差；文獻[14]分割效果接近本文算法，但仍然需要調整參數(參數k)以適應不同環境的要求，且本文算法進行了邊界修正，誤分割明顯降低。

表1 算法性能

該算法應用到紅外行人檢測中，能夠很好地滿足分割精度和實時性要求。移植到TI的DSP芯片TMS320DM6437，600MHz運行平均速度達到22 ms，可運用在嵌入式實時系統中，工程化程度高。

3 結論

本文提出了一種快速魯棒的紅外圖像分割算法，算法通過統計目標區域邊緣像素得到圖像分割閾值，并利用雙閾值算法分割圖像，有效減少了目標區域的欠分割和冗余分割，分割出的目標區域比較接近真實目標區域。最后通過邊緣掃描修正目標區域邊界，得到更加精確的分割結果，完整地保留了區域邊緣信息，方便后續的處理過程。實際測試結果驗證了算法的魯棒性以及運動場景環境變換的自適應性。

[1]OTSU N.A threshold selection method from gray-level histograms[J].IEEE Trans.System Man and Cybernetic，1979，9(1)：62-66.

[2]SAHOO P K.A survey of thresholding techniques[J].Computer Vision，Graphics and Image Processing，1988，41(2)：233-201.

[3]顧鵬，張玉.改進的紅外圖像2維Otsu分割算法[J]．中國圖象圖形學報，2011，16(8)：50-52．

[4]夏晶，孫繼銀.基于區域生長的前視紅外圖像分割方法[J]．激光與紅外，2011，41(1)：107-110．

[5]CHU C，AGGARWAL J.The integration of image segmentation maps usings region and edge information[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1993，15(12)：1241-1252.

[6]陶唐飛，韓崇昭，代雪峰，等.綜合邊緣檢測和區域生長的紅外圖像分割算法[J]．光電工程，2004，31(10)：50-52．

[7]SCHETTINI R.A segmentation algorithm for color images[J].Pattern Recognition Letters，1993，14(6)：499-506.

[8]MAADI A E，MALDAGUE X.Outdoor infrared video surveillance： a novel dynamic technique for the subtraction of a changing background of IR images[J].Infrared Physics & Technology，2007，49(3)：261-265.

[9]COMANICIU D，MEER P.Mean shift： a robust approach toward feature space analysis[J].IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(5)：603-619.

[10]CASELLES V，CATTE F，COLL T，et al.A geometric model for active contours in image processing[J].Numer.Math.，1993，66(1)：1-31.

[11]杜奇，向健勇，袁勝春.基于邊緣強度的紅外圖像閾值分割方法研究[J]．紅外與激光工程，2004，33(3)：288-291．

[12]CANNY J F.A computational approach to edge detection[J].IEEE Trans.Pattern Analysis and Machine Intelligence，1986，8(6)：679-698.

[13]石祥濱，劉曉娜，劉芳，一種雙閾值紅外行人分割方法[J]．計算機工程，2012，38(12)：5-8．

[14]梁英宏.紅外視頻圖像中的人體目標檢測方法[J]．紅外與激光工程，2009，38(5)：931-935．

[15]BERTOZZI M，BROGGI A，HILARIO G，et al.Pedestrian detection in far infrared images based on the use of probabilistic templates[C]//Proc.IEEE Intelligent Vehicles Symposium，Istanbul.Turkey：IEEE Press，2007：327-332.

楊如林(1988— )，碩士生，主要從事紅外傳感器圖像處理識別的研究；

丑修建(1979— )，教授，主要從事電子信息功能材料與微器件方面的研究工作；

李 慶(1974— )，研究員，主要從事紅外傳感器圖像處理識別的研究；

梁艷菊(1985— )，女，博士，主要從事紅外傳感器圖像處理識別的研究。

責任編輯：時 雯

Fast and Robust Infrared Image Segmentation Method

YANG Rulin1，CHOU Xiujian1，LI Qing2，LIANG Yanju2

(1.ElectronicsandComputerScience&Technology，NorthUniversityofChina，Taiyuan030051，China；2.InstituteofMicroelectronicsofChineseAcademyofSciences，KunshanBranch，JiangsuSuzhou215300，China)

A fast and robust infrared image segmentation method is introduced，the algorithm is designed to meet the engineering application.Firstly，the edge pixels of the image is extracted using Canny algorithm.Then it gets the segmentation threshold by analyzing the edge pixels and segments the image using adaptive dual-threshold.Finally，it trims the boundary of the foreground region by scan the image edge and gets object regions with more precise boundary.The experimental results show that the segmentation method can retain more edge information of the pedestrian and reduce the wrong segmentation，also it’s a real-time algorithm.

image segmentation； Canny edge； adaptive threshold

【本文獻信息】楊如林，丑修建，李慶,等.一種快速魯棒的紅外圖像分割方法[J].電視技術,2015，39(3).

中國科學院先導項目(XDA06040300)；廣東省教育部產學研結合項目(2012B091000163)

TP391

A

10.16280/j.videoe.2015.03.003

2014-02-17