錄播系統(tǒng)中圖像分割與輪廓提取算法研究

趙以國，唐貴進(jìn)，朱秀昌

(南京郵電大學(xué) 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

錄播系統(tǒng)中圖像分割與輪廓提取算法研究

趙以國，唐貴進(jìn)，朱秀昌

(南京郵電大學(xué) 江蘇省圖像處理與圖像通信重點實驗室，江蘇 南京 210003)

在基于圖像識別技術(shù)的錄播系統(tǒng)中，通常使用背景差分法檢測運(yùn)動目標(biāo)，在當(dāng)前幀與背景幀做差之后，需要進(jìn)一步選取合適的閾值進(jìn)行圖像分割，從而最終提取出運(yùn)動目標(biāo)的輪廓。研究了基于最大類間方差準(zhǔn)則的圖像閾值分割，在此基礎(chǔ)上進(jìn)一步研究了掏空內(nèi)部點的輪廓提取算法，并且使用輪廓缺陷修補(bǔ)技術(shù)改進(jìn)輪廓提取算法，從而得到封閉的輪廓，最后使用Freeman鏈碼表示提取的輪廓。實驗證明，該算法為錄播系統(tǒng)的實現(xiàn)提供了良好的技術(shù)保障。

錄播系統(tǒng)；圖像分割；最大類間方差；輪廓提取；Freeman鏈碼

用于錄制課堂教學(xué)現(xiàn)場的智能視頻錄播系統(tǒng)[1]是對傳統(tǒng)課堂錄播系統(tǒng)的一項重要的革新，有望替代現(xiàn)有的人工錄制的方式。智能視頻錄播系統(tǒng)無需人工操作，只需將攝像機(jī)放置在教室的固定位置，在計算機(jī)的控制下，利用圖像處理方法，使攝像機(jī)會自動錄制課堂情況，并且可以實時網(wǎng)絡(luò)直播。其中攝像機(jī)如何在復(fù)雜的課堂教學(xué)環(huán)境中對授課教師和發(fā)言學(xué)生進(jìn)行準(zhǔn)確的跟蹤定位是錄播系統(tǒng)能否有效錄制的關(guān)鍵技術(shù)。

目前國內(nèi)智能視頻錄播系統(tǒng)的目標(biāo)跟蹤主要采用的是紅外線或者超聲波定位技術(shù)，但是紅外線和超聲波容易受到光線和噪聲等外界干擾；教師和學(xué)生需要攜帶無線發(fā)射裝置，這樣影響真實上課效果。本文研究的是基于圖像處理技術(shù)的錄播系統(tǒng)的定位技術(shù)，不需要師生攜帶任何設(shè)備，攝像機(jī)根據(jù)圖像處理算法實現(xiàn)自動跟蹤定位。

其中對運(yùn)動中的教師和學(xué)生目標(biāo)的檢測與輪廓提取，是攝像機(jī)能否準(zhǔn)確定位和錄制的關(guān)鍵步驟之一。在本文的錄播系統(tǒng)中，運(yùn)動目標(biāo)的檢測采用背景差分法[2]，其中二值化圖像閾值的選取對能否準(zhǔn)確提取輪廓起著重要的作用。并且，錄播系統(tǒng)要適用于不同的教室環(huán)境或同一教室不同時間、不同光照條件，所以閾值必須要能夠?qū)崿F(xiàn)自適應(yīng)改變。本文研究了基于最大類間方差準(zhǔn)則的Otsu閾值分割方法，在此基礎(chǔ)上進(jìn)一步研究了掏空內(nèi)部點的輪廓提取算法，并且使用輪廓缺陷修補(bǔ)技術(shù)改進(jìn)輪廓提取算法，從而得到封閉的目標(biāo)輪廓，最后使用Freeman鏈碼表示提取的輪廓。

1 圖像閾值分割

圖像閾值分割[3]就是利用圖像中要提取的目標(biāo)前景區(qū)域與背景區(qū)域在灰度上的差異，把圖像看作是前景區(qū)域和背景區(qū)域的組合。在圖像中選取一個合適的閾值，從而確定圖像中哪些像素點屬于前景區(qū)域哪些像素點屬于背景區(qū)域。設(shè)灰度圖像為I(x,y)，二值化閾值為T,則圖像分割如下

(1)

其中：f(x,y)就是得到的二值圖像。在錄播系統(tǒng)中，為了適用于不同的教學(xué)環(huán)境，希望閾值要能夠自適應(yīng)地隨之變更。目前主要研究的實現(xiàn)算法有最大類間方差法、迭代法、最大熵法和最大散度差法等。

最大類間方差法[4]是一種自適應(yīng)的閾值獲取算法，簡稱為Otsu法。Otsu的原理是按圖像的灰度特性，將圖像分成背景和目標(biāo)前景兩部分。如果前景和背景之間的類間方差越大，則表明構(gòu)成圖像的兩部分的差別越大；若部分前景錯分為背景或部分背景錯分為前景，都會導(dǎo)致兩部分差別變小。因此在圖像分割中，使類間方差最大的分割意味著錯分概率最小。Otsu是基于圖像的灰度直方圖的分割方法，相對于其他閾值分割算法，該算法簡單、實時性好，目前被廣泛使用。

在大多數(shù)情況下，采用Otsu算法選取出的閾值都能比較好地實現(xiàn)圖像的分割，出現(xiàn)非最佳分割的情況比較少，是一種非常穩(wěn)定的圖像閾值分割算法。所以本文選用Otsu算法用于錄播系統(tǒng)中的幀差圖像二值化的目標(biāo)提取。

2 輪廓的提取和鏈碼表示

通過閾值分割得到二值化的圖像之后，需要進(jìn)一步提取出前景目標(biāo)的輪廓，本文采用傳統(tǒng)的掏空內(nèi)部點的方式得到圖像中前景目標(biāo)的二維輪廓，并且使用輪廓缺陷修補(bǔ)技術(shù)改進(jìn)輪廓提取算法，然后使用Freeman鏈碼表示提取出的二維輪廓。

2.1 輪廓的提取

由二值化圖像提取目標(biāo)輪廓[5]，目前常采用一種掏空內(nèi)部點的方法[6]，該方法計算簡單、穩(wěn)定有效，其輪廓提取步驟如下：

1)若當(dāng)前像素點像素值為0，不論周圍8鄰域像素值是0或1，當(dāng)前像素點像素值仍保留為0。

2)若當(dāng)前像素點像素值為1，并且周圍8鄰域像素點像素值都為1，則當(dāng)前像素點像素值置0。

3)其他情況下，當(dāng)前像素點的像素值則仍為1。

對整幅二值圖像所有像素執(zhí)行上述操作，便可以完成對圖像的目標(biāo)輪廓提取，輪廓就是由所有的“1”像素組成。

2.2 輪廓的缺陷修補(bǔ)

在理想情況下，通過圖像的二值化和輪廓提取算法可以得到封閉的圖像輪廓。但在實際情況中，由于圖像二值化閾值的選取和環(huán)境噪聲影響等因素，往往導(dǎo)致提取出的圖像輪廓存在缺陷，即可能出現(xiàn)孤立點和不封閉的輪廓。雖然可以使用形態(tài)學(xué)上的閉運(yùn)算來對圖像輪廓進(jìn)行處理，但是閉運(yùn)算會導(dǎo)致一些問題，例如：如果兩條輪廓線相隔一個像素，則使用閉運(yùn)算會導(dǎo)致兩條輪廓線粘在一起。

本文使用輪廓缺陷修補(bǔ)技術(shù)來改進(jìn)掏空內(nèi)部點的輪廓提取算法。輪廓缺陷修補(bǔ)技術(shù)是對輪廓端點進(jìn)行處理，其中，輪廓端點定義為：在輪廓上任意一點，其8領(lǐng)域按順時針或逆時針方向像素值變化為0次或2次，則判定該點為輪廓端點，其中變化0次的為孤立點。根據(jù)輪廓端點的定義，在圖1中F1、F2和F3這3點為輪廓端點，其中F2為孤立點。

圖1 輪廓端點

輪廓缺陷修補(bǔ)步驟如下：

1)掃描圖像得到所有的輪廓端點，存儲在容器V中，轉(zhuǎn)步驟2)。

2)從容器V中讀取輪廓端點，若沒有輪廓端點則轉(zhuǎn)步驟4)。若有，則按公式(2)計算任意兩端點距離，若小于給定閾值D，則轉(zhuǎn)步驟3)，否則繼續(xù)步驟2)。

(2)

3)用直線連接兩輪廓端點，轉(zhuǎn)步驟2)。

4)容器中所有端點判定結(jié)束。

通過以上算法即可得到封閉的、完整的目標(biāo)輪廓。根據(jù)實驗，本文中像素距離閾值D設(shè)定為3。

2.3 輪廓的Freeman鏈碼表示

本文采用8連通的Freeman鏈碼[7]表示二維圖像提取的目標(biāo)輪廓。Freeman鏈碼是用邊界點方向和曲線起始點坐標(biāo)來描述曲線或邊界的方法，常被用來在圖像處理中表示二維圖像的輪廓。由8連通鏈碼得到的圖像像素點鏈碼表示如圖2所示，其中P為當(dāng)前像素，周圍像素使用鏈碼表示，遍歷時按順時針方向為：3，2，1，0，7，6，5，4。

圖2 Freeman鏈碼方向

用Freeman鏈碼表示圖像表示的二維輪廓時，算法過程如下：

1)對圖像進(jìn)行掃描得到起始的像素值不為0的像素點，記錄該點為(Start-X,Start-Y)，且以起始點為當(dāng)前點轉(zhuǎn)步驟2)。若沒有掃描到像素不為0的像素點，則轉(zhuǎn)步驟4)。

2)按順時針方向掃描當(dāng)前點P的8鄰域，若遇到不為0的像素點(設(shè)為Q)則立即停止，轉(zhuǎn)步驟3)。若沒有掃描到輪廓點，則設(shè)置符號“/”表示輪廓提取結(jié)束，并且將掃描起始點設(shè)為(Start-X,Start-Y)，然后轉(zhuǎn)步驟1)。

3)存儲Q點，將Q點設(shè)為當(dāng)前點，轉(zhuǎn)步驟2)。

4)用標(biāo)志“/”表示所有輪廓提取結(jié)束。

通過以上算法就可以得到二維圖像中所有的目標(biāo)輪廓的鏈碼表示。

3 實驗結(jié)果與分析

本文錄播系統(tǒng)平臺搭建在Inter(R)Core(TM)2 Duo CPU T5670 @1.8 GHz、主頻1.79 GHz、2.0 Gbyte內(nèi)存和Windows XP操作系統(tǒng)的臺式計算機(jī)上，使用VS2010完成相關(guān)編程。使用的攝像機(jī)為SONY D100/EVI-D100P，采集的圖像大小為352×288。本文實驗中模擬的是課堂中學(xué)生由坐下到站起后的運(yùn)動目標(biāo)輪廓提取。

圖3為使用多種算法進(jìn)行閾值分割的效果圖。其中圖3a為幀差灰度圖像，圖3b為固定閾值60分割結(jié)果，其效果最差，有很多空洞；圖3c的Otsu法和圖3d的迭代法所取得的效果差不多；圖3e的最大熵法分割出來的目標(biāo)效果最好。Otsu、迭代法和最大熵三種分割方法的時間耗費如表1所示。可以看出，最大熵法用時最多，迭代法次之，Otsu法用時最少，而且Otsu法所獲得的閾值也更加接近于最大熵法獲得的閾值。所以本文選取Otsu算法來進(jìn)行圖像的閾值分割。

圖3 圖像的閾值分割

表1 Otsu算法、迭代法和最大熵法的圖像分割時間和閾值

圖4為使用邊緣提取算子[8]得到的目標(biāo)邊緣檢測圖像與本文算法提取的輪廓效果的對比。其中Sobel算子和拉普拉斯算子提取的目標(biāo)邊緣有明顯的缺陷、不封閉；而Canny算子提取的目標(biāo)效果比較好，但是Canny算子需要上、下兩個閾值，閾值的選取對目標(biāo)的檢測影響很大。同時，所有的邊緣檢測算子只能得到目標(biāo)的邊緣點，還需進(jìn)一步使用其他算法才能剔除掉非輪廓點。而本文的算法不但計算簡單、易于實現(xiàn)，而且提取的目標(biāo)輪廓效果也很好。

圖4 本文輪廓提取算法與其他輪廓提取算法

圖5為在錄播系統(tǒng)中采用本文算法提取的輪廓過程。其中圖5a為當(dāng)前幀與背景幀的幀差灰度圖像，使用Otsu算法得到閾值分割后的圖像如圖5b所示。圖5c是未使用輪廓缺陷修補(bǔ)算法而提取的輪廓，可以看到圖5c中有一些未閉合的外輪廓和內(nèi)輪廓線，而使用了缺陷修補(bǔ)算法后，將一些孤立點和邊緣線連接起來得到封閉的輪廓，如圖5d所示。由實驗結(jié)果看出，本文算法不但能夠較準(zhǔn)確地提取出目標(biāo)的外輪廓，而且在某些情況下也能夠準(zhǔn)確地提取目標(biāo)的內(nèi)輪廓。

圖5 目標(biāo)輪廓提取和修補(bǔ)

4 總結(jié)

本文根據(jù)課堂錄播系統(tǒng)的實際需求，從圖像的閾值分割和輪廓提取入手，重點研究了基于Otsu算法的圖像分割和掏空內(nèi)部點的輪廓提取算法，并且使用輪廓缺陷修補(bǔ)技術(shù)改進(jìn)了提取輪廓的效果，最終使用Freeman鏈碼有效地表示了所提取的完整輪廓。實驗證明，本文算法為錄播系統(tǒng)后續(xù)的目標(biāo)檢測和自動跟蹤提供了良好的技術(shù)保障。

[1] 吳建家，符水波.“智能錄播系統(tǒng)”關(guān)鍵技術(shù)及發(fā)展趨勢探析[J].中國教育信息化，2010(12)：46-48.

[2] VARMA S，SREERAJ M. Hybrid background subtraction in video using Bi-level CodeBook model[C]//Proc. Applications of Digital Information and Web Technologies (ICADIWT). [S.l.]：IEEE Press，2014：124-130.

[3] HE Shuqian，NI Jiangqun，WU Lihua，et al. Image threshold segmentation method with 2-D histogram based on multi-resolution analysis[C]//Proc. Computer Science & Education International Conference. Nanning，China：IEEE Press，2009：753-757.

[4] CHEN Q，ZHAO L，LU J，et al. Modified two-dimensional Otsu image segmentation algorithm and fast realization[J].IET Image Processing，2012,6(4)：426-433.

[5] LIU C T，LIN C C. An object contour extraction using local structure information captured by a spotlight filter[C]//Proc. IEEE International Conference on Acoustics Speech and Signal Processing. Kyoto，Japan：IEEE Press，2012：1520-6149.

[6] 吳鳳和. 基于計算機(jī)視覺測量技術(shù)的圖像輪廓提取方法研究[J].計量學(xué)報，2007(1)：18-22.

[7] PARK J，CHISTY K，LEE J，et al. Image retrieval technique using rearranged Freeman chain code[C]//Proc. Informatics and Computational Intelligence. [S.l.]：IEEE Press，2011：283-286.

[8] WANG Xili，ZHANG Wei，JI Qiang. Image object extraction with shape and edge-driven Markov random field model[J].IET Image Processing，2014,8(7)：383-396.

Research on Image Segmentation and Contour Extraction in Video Recording and Broadcasting System

ZHAO Yiguo,TANG Guijin,ZHU Xiuchang

(KeyLabofImageProcessingandCommunication,NanjingUniversityofPostsandTelecommunications,Nanjing210003,China)

The recording and broadcasting system based on image recognition technology usually uses the background subtraction algorithm to detect the moving object. After making the difference between the current frame and the background frame, it needs to select the appropriate threshold for image segmentation in order to extract the moving object’s contour. The image threshold segmentation is studied based on Otsu criterion, and the contour extraction algorithm is further studied based on the hollowed interior points. The technology of contour defect repair is used to improve the contour extraction algorithm, then the closed contour is got. Finally, the Freeman chain code represent the contour is used. Experimental results show that the proposed algorithm provides a good technical support to realize the recording and broadcasting system.

recording and broadcasting system; image segmentation; Otsu; contour extraction; Freeman chain code

【本文獻(xiàn)信息】趙以國，唐貴進(jìn)，朱秀昌.錄播系統(tǒng)中圖像分割與輪廓提取算法研究[J].電視技術(shù),2015，39(13).

國家自然科學(xué)基金項目(61071091)

TP391

A

10.16280/j.videoe.2015.13.007

責(zé)任編輯：任健男

2014-11-23

趙以國(1990— )，碩士生，研究方向為圖像處理與多媒體通信。