運(yùn)動(dòng)圖像中QR碼分割與識(shí)別

陳超， 徐和根(同濟(jì)大學(xué) 電子與信息工程學(xué)院， 上海 201800)

運(yùn)動(dòng)圖像中QR碼分割與識(shí)別

陳超， 徐和根
(同濟(jì)大學(xué) 電子與信息工程學(xué)院， 上海 201800)

針對(duì)QR(Quick Response)碼解碼，提出了一種在運(yùn)動(dòng)視頻圖像中進(jìn)行有特定邊框的QR碼分割與識(shí)別的方法。先通過訓(xùn)練C4.5決策樹實(shí)現(xiàn)對(duì)圖像中QR碼ROI Region of Interest)的自動(dòng)提取和圖像分割，再經(jīng)自動(dòng)QR碼圖像畸變校正后，對(duì)QR碼進(jìn)行解碼。驗(yàn)證結(jié)果表明，該方法能有效地增強(qiáng)解碼器對(duì)環(huán)境、背景及圖形畸變的魯棒性，提高了QR碼的解碼正確率。

QR碼； C4.5決策樹； 畸變校正； ROI分割

0 引言

在復(fù)雜背景環(huán)境下的運(yùn)動(dòng)視頻圖像中進(jìn)行QR(Quick Response)碼檢測(cè)解碼時(shí)，由于受環(huán)境光照變化、運(yùn)動(dòng)模糊、圖像畸變及QR碼在圖片中的大小和位置不確定等因素的影響，往往會(huì)出現(xiàn)QR碼識(shí)別率較低的問題。

針對(duì)光照變化的問題，目前普遍采用的方法是用白平衡進(jìn)行預(yù)處理[1,2]；對(duì)于圖像畸變需要進(jìn)行的畸變校正中使用較多的方法是Hough直線檢測(cè)[3,4]和角點(diǎn)檢測(cè)[5,6]算法；對(duì)于ROI的提取方法有基于HSV顏色空間[7]或者RGB顏色空間的彩色圖像分割、基于聚類算法的圖像分割[8]、基于顏色直方圖的圖像分割[9]。采用Hough變換和角點(diǎn)檢測(cè)的算法對(duì)圖像進(jìn)行校正的時(shí)候在圖片背景單一，并且QR碼占整張圖片比例較大的情形下可以取得比較好的效果。但是在本文的應(yīng)用場(chǎng)景中因?yàn)椴噬珗D片背景的復(fù)雜，以及QR碼所占圖片的比例比較小且位置不定的情況下使用Hough直線檢測(cè)和角點(diǎn)檢測(cè)取得的效果都不是很好，不能很好的定位出QR碼的關(guān)鍵點(diǎn)，從而使得校正結(jié)果不理想。而在ROI (Region of Interest)分割的時(shí)候由于光照的變化，使用基于HSV或RGB顏色空間的圖像分割的效果都不是很好，因?yàn)槭褂眠@些方法對(duì)圖像進(jìn)行分割的時(shí)候都要對(duì)各個(gè)顏色通道進(jìn)行劃分閾值的選取，而閾值的選取只能選取固定值，很難做到自適應(yīng)。使用顏色直方圖進(jìn)行圖像分割時(shí)也涉及到了分割閾值的選取問題，在光線不定且圖像背景復(fù)雜的情況下也不能很好的對(duì)QR碼進(jìn)行分割。在有些圖片中有可能出現(xiàn)QR碼所占圖片較小的情況，且在背景中會(huì)出現(xiàn)較接近藍(lán)色的像素，這會(huì)干擾使用聚類算法對(duì)圖像進(jìn)行分割。

針對(duì)環(huán)境光照變化、圖像畸變及圖片中QR碼大小和位置不確定等問題，本文提出了一種基于C4.5決策樹[10-11]ROI自動(dòng)提取及基于QR自身定標(biāo)點(diǎn)的畸變自動(dòng)校正方法。

1 總體構(gòu)成

1.1 有特定顏色邊框的QR碼ROI分割

為將有特定顏色邊框的QR碼ROI提取出來，本文采用基于C4.5決策樹算法的來實(shí)現(xiàn)顏色的自動(dòng)提取和QR碼ROI的自動(dòng)分割，以增強(qiáng)對(duì)環(huán)境變化的魯棒性。其過程如圖1所示。

圖1 使用C4.5決策樹提取ROI過程

構(gòu)建決策樹前，需要采集訓(xùn)練樣本，為方便起見，采用了圖2所示模板，用于訓(xùn)練識(shí)別某個(gè)特定顏色，如圖2所示。

圖2 藍(lán)色訓(xùn)練模板

圖2模板選取藍(lán)色和非藍(lán)色作為訓(xùn)練色，理論上該方法也同樣適用于其他顏色。訓(xùn)練樣本圖片的色彩空間采用RGB顏色空間。

將此訓(xùn)練模板放置于不同光照和背景的環(huán)境中，利用攝像頭從各個(gè)角度采集訓(xùn)練樣本圖片。樣本圖片經(jīng)人工標(biāo)記出藍(lán)色區(qū)域和非藍(lán)色區(qū)域(藍(lán)色標(biāo)記為1，非藍(lán)色標(biāo)記為0) 。

為降低計(jì)算量，在數(shù)據(jù)用于訓(xùn)練決策樹之前，可對(duì)樣本像素進(jìn)行抽樣和離散化處理[12-14]。另外，由于噪聲等因素的干擾，可能會(huì)導(dǎo)致圖像中具有相同RGB分量的像素標(biāo)記值卻不同的矛盾，因此需要對(duì)同一圖片的數(shù)據(jù)進(jìn)行前剪枝預(yù)處理[15-16]。其方法是先分別統(tǒng)計(jì)矛盾數(shù)據(jù)出現(xiàn)的概率，根據(jù)少數(shù)服從多數(shù)的原則，剔除概率出現(xiàn)少的矛盾數(shù)據(jù)。

預(yù)處理后的數(shù)據(jù)輸入C4.5決策樹算法進(jìn)行訓(xùn)練。訓(xùn)練步驟如下：

a) 對(duì)每個(gè)樣本中的各像素，對(duì)屬性(R、G、B)計(jì)算各自信息增益率；

b) 排序增益率，選取最大值作為該級(jí)分支屬性；

c) 生成該級(jí)分支樹；

d) 對(duì)次級(jí)樣本中的各像素，計(jì)算剩下的屬性的各自信息增益率；

e) 排序增益率，選取最大值作為下一級(jí)分支屬性；

f) 如此反復(fù)，直至所有屬性全部使用完畢(即為樹葉)；

g) 進(jìn)行后剪枝[17]，形成決策樹。

本文在不同環(huán)境下采集了200個(gè)樣本圖片參與決策樹訓(xùn)練，生成的決策樹即可用于待檢樣本的顏色提取。

為了驗(yàn)證基于C4.5決策樹的顏色提取效果，本文使用基于HSV顏色空間閾值的顏色提取作為實(shí)驗(yàn)對(duì)照組。之所以選用HSV顏色空間是因?yàn)镠SV顏色空間更符合人眼的感知特性，另一方面HSV是均勻的顏色空間更加適合彩色圖像的顏色提取[7]。

分別使用HSV顏色空間進(jìn)行顏色提取(S通道的固定閾值為70-255，H的固定閾值為50-180，V不設(shè)閾值)和使用C4.5進(jìn)行顏色提取的效果對(duì)比，如圖3所示。

從圖3中可以看出，對(duì)于各種不同的光照條件以及不同的背景情況， C4.5決策樹法比HSV顏色空間法擁有更好的自適應(yīng)性和魯棒性。

利用C4.5決策樹對(duì)QR碼ROI的提取過程，如圖4表示。

原圖HSV濾波C4．5濾波樣本1樣本2樣本3

圖3 兩種顏色濾波效果對(duì)比圖

(c)確定ROI(d)ROI區(qū)域提取并歸一化

圖4 用C4.5決策樹進(jìn)行QR碼ROI

圖4(a)是待檢樣本，圖4(b)為圖4(a)在使用決策樹后得到的濾波效果。在此基礎(chǔ)上使用連通域檢測(cè)的方法就可以確定QR碼在整個(gè)圖片中的ROI(如圖4(c) 所示) 。進(jìn)而提取出QR碼并縮放到設(shè)定的大小(本文統(tǒng)一將圖片高度縮放為256個(gè)像素，寬度等比縮放)如圖4(d)所示。

1.2 QR碼畸變的自動(dòng)校正

校正前，需要先確定QR碼的方位。本文采用的方法是，先找出QR碼的3個(gè)定標(biāo)點(diǎn)的位置，然后根據(jù)這3個(gè)定標(biāo)點(diǎn)計(jì)算出第四個(gè)點(diǎn)的辦法來定位QR碼。

由于QR碼中有3個(gè)圖形分別處在QR碼的3個(gè)角上，如圖5所示。

(a)定標(biāo)點(diǎn)(b)QR碼示意圖

圖5 QR碼位置探測(cè)圖形示意圖

每個(gè)位置探測(cè)圖形由黑色、白色、黑色、白色、黑色的次序構(gòu)成(如圖5(a)所示)，各顏色的相對(duì)寬度的比例為1∶1∶3∶1∶1[18]。通過對(duì)QR碼圖像的行和列進(jìn)行像素點(diǎn)統(tǒng)計(jì)，記錄滿足條件的點(diǎn)，最后可以確定QR碼的3個(gè)位置探測(cè)圖形，從而計(jì)算出每個(gè)位置探測(cè)圖形的中心，即3個(gè)定標(biāo)點(diǎn)(圖5(b)中的A，B，C點(diǎn))[18]。

以A為掃描起點(diǎn)，向上逐點(diǎn)掃描。根據(jù)位置探測(cè)圖形的特征，當(dāng)檢測(cè)到掃描點(diǎn)的像素值變化軌跡為深淺深淺時(shí)，根據(jù)QR碼的四周都是空白區(qū)，可以確定此時(shí)已掃描到QR碼的上邊界。再向左依此檢測(cè)像素點(diǎn)變化可以得到圖形的左邊界，依此可以確定左上角頂點(diǎn)a，同理可以依此得到左下角頂點(diǎn)c和右上角頂點(diǎn)b。根據(jù)左下角頂點(diǎn)和右上角頂點(diǎn)可以定位出右下角頂點(diǎn)坐標(biāo)，以b為坐標(biāo)原點(diǎn)，以直線bc為起始位置不斷的改變直線的斜率直到直線上的像素由較多的深色跳變?yōu)閹缀跞康臏\色就可以確定bd邊，同理可以確定cd邊，如圖6所示。

(a)原圖(b)校正后的圖形

圖6 畸變校正示意圖

從而確定它們的交點(diǎn)d，如圖6(b)所示。

校正的依據(jù)就是通過坐標(biāo)變換，將畸變的QR碼恢復(fù)成正方形的形狀?？梢岳媒鉀Q透視變形的“連接點(diǎn)”法來對(duì)圖形進(jìn)行校正。校正前后坐標(biāo)對(duì)應(yīng)關(guān)系為[5]式(1)。

(1)

其中，(x,y)為畸變圖形的坐標(biāo)，(u,v)為校正后圖形的坐標(biāo)。式(1)中含有8個(gè)未知參數(shù)。通過上述步驟獲得的畸變QR碼的4個(gè)頂點(diǎn)的坐標(biāo)a1(x0,y0),b1(x1,y1),c1(x2,y2),d1(x3,y3)，以及期望校正后的4個(gè)相應(yīng)點(diǎn)坐標(biāo)a2(u0,v0),b2(u1,v1),c2(u2,v2),d2(u3,v3)，可利用這4對(duì)已知的定標(biāo)點(diǎn)坐標(biāo)來求解這些未知參數(shù)(如圖6所示)，其矩陣的形式如[5]式(2)。

(2)

(3)

由式(1)可得到式(3)，通過式(3)對(duì)原圖與校正后圖像各像素的坐標(biāo)進(jìn)行一一映射，從而得到校正后的圖片，如圖7所示。

(a)校正前(b)校正后

圖7 畸變校正

2 驗(yàn)證與分析

本文測(cè)試的場(chǎng)景是在一輛20多厘米高的AGV小車上裝有一個(gè)斜向下的攝像頭，實(shí)現(xiàn)的功能是使小車在不同環(huán)境條件下及隨機(jī)行駛過程中準(zhǔn)確找到并解碼出地面上的帶有藍(lán)色外框的二維碼。實(shí)驗(yàn)環(huán)境的軟硬件參數(shù)，如表1所示。

表1 實(shí)驗(yàn)環(huán)境的相關(guān)參數(shù)

為了驗(yàn)證本文提出的圖像預(yù)處理的方法是否對(duì)于QR碼的解碼率有提高作用。本文隨機(jī)從小車獲取的測(cè)試場(chǎng)景中提取了150幅帶QR碼的圖片進(jìn)行解碼實(shí)驗(yàn)，解碼流程圖如圖8所示。

圖8 總體流程圖

解碼直接使用Google 的C++版zxing算法。

圖片預(yù)處理分成5種不同的情況：

第一種情況是不使用其他任何圖像預(yù)處理直接解碼；

第二種先使用了白平衡然后采用基于HSV顏色閾值的ROI分割，再對(duì)分割出來的圖像進(jìn)行解碼；

第三種先采用了基于C4.5的ROI分割，在對(duì)圖像進(jìn)行解碼；

第四種，在第二種預(yù)處理的基礎(chǔ)上再進(jìn)行畸變校正，然后在進(jìn)行解碼；

第五種，在第三種預(yù)處理的基礎(chǔ)上再進(jìn)行畸變校正，然后在進(jìn)行解碼。

這5種不同方法分別解碼150幅圖片的結(jié)果，如表2所示。

表3 各種預(yù)處理方法實(shí)驗(yàn)結(jié)果

從表2實(shí)驗(yàn)結(jié)果中可以看出使用了圖像預(yù)處理后圖像的解碼率是有了比較大的提高，在沒有使用圖像預(yù)處理是解碼率是比較低的，對(duì)環(huán)境的魯棒性差。單獨(dú)使用ROI提取和畸變校正都對(duì)提高解碼率有幫助，特別是使用了ROI后解碼率的提高比較大。而同時(shí)使用ROI和畸變校正后使得解碼率有了更大的提高。此外，對(duì)于圖片中有多個(gè)QR碼的情況，也可以采取這種方法將二維碼自動(dòng)逐個(gè)的分割出來，再分別進(jìn)行自動(dòng)校正和解碼。

但是，使用C4.5算法提取ROI的圖片預(yù)處理過程時(shí)間明顯高于HSV。

3 總結(jié)

本文提出了一種在運(yùn)動(dòng)視頻圖像中進(jìn)行QR碼分割與識(shí)別的方法，先通過訓(xùn)練C4.5決策樹實(shí)現(xiàn)對(duì)圖像中具有特定顏色邊框的QR碼ROI的自動(dòng)提取和圖像分割，然后通過自動(dòng)畸變校正后進(jìn)行解碼。實(shí)驗(yàn)證明：結(jié)合這些方法，有效地增強(qiáng)理解碼器對(duì)環(huán)境、背景及圖形畸變的魯棒性，提高了QR碼的解碼正確率。

本方法的不足之處包括：

1. QR碼需要添加特定顏色的邊框，以便用C4.5決策樹進(jìn)行ROI提取和圖像分割。

2. 使用決策樹對(duì)圖像進(jìn)行顏色識(shí)別時(shí)，訓(xùn)練樣本過少會(huì)使形成的決策樹枝葉稀疏，樣本過多則會(huì)出現(xiàn)過度擬合，從而導(dǎo)致顏色漏檢或誤檢。

3. 構(gòu)建決策樹時(shí)沒有使用光源強(qiáng)度和圖片亮度等信息，有造成誤剪枝的可能。

4. 使用決策樹進(jìn)行ROI分割時(shí)，預(yù)處理的時(shí)間過長(zhǎng)，算法以及算法的實(shí)現(xiàn)代碼有待優(yōu)化。

5. 在畸變校正的處理過程中雖然絕大多數(shù)的情況下都可以找到三個(gè)定標(biāo)點(diǎn)，但在實(shí)驗(yàn)過程中也出現(xiàn)定標(biāo)點(diǎn)尋找失敗的情況，從而導(dǎo)致無法自動(dòng)校正畸變。

[1] 韓強(qiáng), 戎蒙恬, 劉文江. 圖像信號(hào)處理器中的自動(dòng)白平衡的算法研究[J]. 信息技術(shù),2009,11:55-59.

[2] 史榕. 自動(dòng)白平衡算法的研究與實(shí)現(xiàn)[J]. 信息技術(shù),2012,3:85-89.

[3] 王景中，賀磊.一種快速有效的QR碼定位方法[J].計(jì)算機(jī)技術(shù)與發(fā)展,2015,25(8):84-90.

[4] 衛(wèi)晉偉，戴曙光，穆平安.基于形態(tài)學(xué)和Hough變換的QR碼校正和定位算法[J].電腦與信息技術(shù)，2010，18(6):32-36.

[5] 黃珂，薛月菊，陳瑤，陳漢鳴，李鴻生. QR碼圖像幾何校正算法的研究[J]. 計(jì)算機(jī)工程與應(yīng)用,2014,50(20):192-197.

[6] 龔平，劉相濱，周鵬.一種改進(jìn)的Harris角點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(11):173-175.

[7] 張國權(quán),李戰(zhàn)明,李向偉,魏偉一. HSV空間中彩色圖像分割研究[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(26)：179-181.

[8] 林開顏,徐立鴻,吳軍輝. 快速模糊C均值聚類彩色圖像分割方法[J]. 中國圖像圖學(xué)報(bào), 2004,9(2):159-164.

[9] 陳坤,馬燕,李順寶. 基于直方圖和模糊C均值的彩色圖像分割方法[J]. 計(jì)算機(jī)應(yīng)用與軟件,2012, 29(4):256-260.

[10] Kusrini, Hartati S, Wardoyo R, Harjoko A. Efficient C4.5 [J]. IEEE Transactions on Knowledge and Data Engineering, 2002, 14(2): 438-444.

[11] Thakur D, Markandaiah N, Raj D S. Reoptimization of ID3 and C4.5 decision tree[C]. 2010 International Conference on Computer and Communication Technology (ICCCT 2010), 2010, 448-450.

[12] 劉耀南. C4.5算法的分析和應(yīng)用[J]. 東莞理工學(xué)院學(xué)報(bào),2012,19(5):47-52.

[13] 李孝偉，陳福才，李邵梅. 基于分類規(guī)則的C4.5決策樹改進(jìn)算法[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2013，34(12):4321-4326.

[14] 苗煜飛，張宵宏. 決策樹C4.5算法的優(yōu)化與應(yīng)用[J]. 計(jì)算機(jī)工程與應(yīng)用,2015,51(13):255-259.

[15] 魏紅寧. 決策樹剪枝方法的比較[J]. 西南交通大學(xué)學(xué)報(bào),2005,40(1):44-48.

[16] Chen Fucai, Li Xiaowei, Liu Lixiong. Improved C4.5 decision tree algorithm based on sample selection [C]. Proceedings of 2013 IEEE 4th International Conference on Software Engineering and Service Science(ICSESS 2013), 2013,779-782.

[17] Zhang Wenchao, Li Yafen. “A Post-Pruning Decision Tree Algorithm Based on Bayesian”[C].2013 International Conference on Computational and Information Sciences, 2013, 988-991.

[18] 肖翔. QR碼圖像的校正與定位方法研究[J]. 計(jì)算機(jī)科學(xué),2007,34(11):217-219.

SegmentationandRecognitionofQRCodeinMovingImage

Chen Chao, Xu Hegen
(College of Electronics and Information Engineering, Tongji University, Shanghai 201800)

A segmentation and decoding method for QR (Quick Response) code with a specific color border from a moving image is proposed. First, the ROI (Region of Interest)of QR code is extracted and segmented from the image using the C4.5 decision tree . Then the QR code is decoded after automatic distortion correction of the ROI image. Experimental results show that this method can effectively increase the robustness and the decoding accuracy of decoder for environmental variation and image distortion.

QR code； C4.5 decision tree； Distortion correction； Segmentation of ROI

TP311

A

2017.03.27)

國家自然科學(xué)基金(61273284)。

陳超(1991-)，男，碩士研究生，研究方向：自動(dòng)檢測(cè)與機(jī)器視覺。

徐和根(1972-)，男，博士，副教授，研究方向：自動(dòng)檢測(cè)與機(jī)器視覺。

1007-757X(2017)10-0001-04