圓形圖像抗旋轉高效高鑒別特征表示方法*

張東波,陳紅磊,文登偉,湯紅忠,許海霞

1(湘潭大學 信息工程學院,湖南 湘潭 411105)

2(機器人視覺感知與控制技術國家工程實驗室(湖南大學),湖南 長沙 410012)

通訊作者:張東波,E-mail:zhadonbo@163.com

現實生活中存在大量的圓形圖像目標識別問題,例如車標、圖標、圖徽、商標、標簽、硬幣、裝飾物上的圓形花紋和圖案等.在很多場合,圓形圖像印制、擺放的角度具有隨意性,因此圖案常出現不同角度的旋轉.為了解決現實場景中圓形圖像目標的識別,首先要保證在特征提取和圖像描述時的抗旋轉變換能力,這樣才能保證在只獲得少量特定角度訓練樣本前提下實現任意角度圓形圖像目標的識別,從而避免搜集和存儲大量的各種角度的圓形圖像樣本.以往的文獻中沒有專門針對圓形圖像目標識別的研究,但是在各種應用案例中有相關的研究報道,例如對硬幣圖案的識別、車標的識別、LOGO 標簽的識別等.

圖像目標識別一直是計算機視覺領域的熱點研究問題,其通常包括圖像預處理、特征提取與描述、分類器設計與學習等環節,其中,特征提取與描述最為關鍵,需要綜合考慮鑒別能力、計算復雜性和魯棒性等因素.針對圓形圖像目標的識別問題,我們希望構建一種具有廣泛適用性的抗旋轉高效高鑒別的特征提取與描述方法.

圖像目標檢測與識別的常用特征描述算子分為浮點型和二值型兩類:浮點型描述子通?；谔荻扔嬎?通過梯度值和梯度方向信息進行描述,著名的有SIFT[1],SURF[2],MROGH[3],HOG[4]等,其優點是鑒別能力強,但計算量大比較耗時.二值描述算子中有代表性的是LBP[5],BRIEF[6],ORB[7],BRISK[8],FREAK[9]等,二值描述算子通常直接比較圖像像素之間灰度大小,優點在于計算簡單,計算和匹配效率高,缺點是由于量化信息損失,其鑒別能力較弱.

為了實現抗旋轉特征提取和圖像描述,需要考慮兩個方面的問題:一是在特征計算時應該具有抗旋轉變換能力,二是通過池化操作對圖像做整體描述時應該具有旋轉不變性.方向校正是特征計算和池化操作常用的抗旋轉技術手段,SIFT 和SURF 算子通過估計局部主梯度方向作為參考方向,然后做適當的方向校準實現抗旋轉變換.但由于梯度方向估計可能存在±20°的誤差[10],因此易導致偏差.LBP 為了獲得旋轉不變特征模式[5],則通過排序策略找到具有最小模式值的模式特征作為代表模式.該處理策略在梯度方向直方圖中也可以借用,例如找到最大梯度方向,然后以此為基準,按順時針或逆時針方向重新排列梯度方向直方圖.但是此類方法易受噪聲和其他因素干擾,有時難以獲得穩定的排序關系.也有研究人員采用成對特征點的梯度方向夾角取代方向,由于夾角和旋轉無關,因此可實現旋轉不變描述[11].構建局部坐標系統也是在特征計算階段常用的一種抗旋轉變換策略,例如樊彬的局部旋轉不變坐標系統[10]、文獻[12]采用的徑向梯度變換,局部坐標系統在獲得旋轉不變性能力上,具有嚴謹的理論支撐,有相對穩定的性能.

在對圖像整體描述時的特征池化操作中,通常會采用格狀空間劃分,但如果不做方向校正的話,格狀空間不具備旋轉不變性.現有文獻中,最典型的旋轉不變描述有環狀空間劃分[13]和基于灰度排序的池化策略[14].

· 環狀空間劃分原理簡單,具有天然的旋轉不變性,因此在做旋轉不變描述時,其特征表達最為穩定.但由于對圖像空間的描述比較粗糙,造成空間信息損失,因此特征鑒別能力不強.這也是很多特征描述方法不采用環狀空間劃分而往往采用格狀空間劃分的原因,例如SIFT,HOG 等;

· 灰度排序則通過對灰度區間的量化和排序實現和旋轉無關的圖像描述,其在實際應用中也有不錯的性能表現.但是灰度強度易受照明的影響,此外,該方法對目標遮擋和污漬敏感,因此實際應用中也有較大的局限性.

鑒于上述分析,本文提出一種針對圓形圖像目標的抗旋轉高效高鑒別特征提取與描述方法.該方法為了解決特征計算的抗旋轉能力,采用了徑向變換技術,同時,充分利用了圓形圖像目標本身呈中心對稱的外觀特點,采用環狀空間特征池化策略,并且利用空間對稱區域結構的描述提升了環狀空間描述的鑒別能力.此外,由于該方法屬于二值模式特征,其繼承了傳統二值模式特征計算和匹配高效的優點.

1 抗旋轉對稱結構模式特征提取

1.1 現有LBP模式計算原理及缺陷

局部二值模式(local binary pattern,簡稱LBP)是一種簡單有效的特征提取算法,原LBPp,r是通過比較中心像素和半徑為r的圓形鄰域的P個像素點的灰度大小來實現微觀鄰域結構的描述.LBP 具有原理簡單、單調照明變化不變性等優點,改進后的LBP 具有旋轉不變性,因此廣泛應用在圖像匹配與圖像識別等領域,特別是在紋理分析與人臉識別領域.

為了降低模式數目,可以只保留有重要意義的模式結構,因此,研究人員提出了統一模式,統一模式在一次二進制循環計算中只產生兩次變化.為了實現旋轉不變性,Ojala 等人[5]又提出了旋轉不變LBP,通過旋轉圓形鄰域可以得到一系列初始定義LBP 值,取其中最小值作為該鄰域LBP 值,旋轉不變模式記作.結合統一和旋轉不變模式原理,可以得到旋轉不變統一模式.以鄰域p=8 為例,其模式數目從最初的28=256 種減少到10 種.由于兼具統一模式和旋轉不變模式的特點,在圖像識別領域得到廣泛應用,特別是在需要提取旋轉不變特征的場合.旋轉不變統一二值模式由下式(1)計算:

Fig.1 Illustration of the calculation of LBP and 圖1 LBP 和計算示例圖

考慮到圓形圖案的外觀特點,在進行圖像整體描述時,為了獲得旋轉不變性,我們很自然地考慮采用環形特征池化操作.但是環形空間劃分本身鑒別能力弱,不利于后續識別.如果采用經典的旋轉不變統一模式特征,其只能描述10 種結構模式,不利于圖像細節的描述,這會影響特征的鑒別能力.因此,為了既能保留環形空間在處理旋轉不變描述時的天然優勢,同時又能彌補環形空間劃分造成的空間信息損失,有必要利用更多的空間結構信息來有效提高特征的鑒別能力.本文充分利用圓形圖案中心對稱的特點,提出一種基于空間對稱位置描述的二值模式特征提取方法.

1.2 基于局部徑向坐標變換的旋轉不變二值模式及其近似計算

為了獲得旋轉不變描述,我們引入局部徑向坐標變換技術,并按照給定樣本點的徑向與切向方向選取鄰域點進行編碼.提取樣本點b的旋轉不變二值模式原理如圖2 所示:c為圖像中心,沿cb方向稱為徑向坐標軸,垂直cb方向稱為切向坐標軸,b為新的局部坐標系統原點.分別在徑向r和切向t方向找到對稱的與p點的距離為d的4 個鄰域點,沿逆時針分別記作b1,b2,b3,b4,其中,徑向方向上的鄰近點為b1,b3,切向方向上的鄰近點為b2,b4,然后按照b1,b2,b3,b4的順序與b點的像素值進行比較,由公式(2)得到二進制數編碼T=(T1T2T3T4):

將4 位二進制數T按下式轉化為10 進制數,即可得到對應的編碼值:

其中,I(b)為b點的像素值,I(bi)為所取點bi的像素值,F為編碼值.該二值編碼方法可以描述16 種二值模式,與旋轉不變統一模式相比,其不僅具有旋轉不變性,而且可以表示更多的細節信息.

在構建局部坐標系統時,需要進行浮點數插值計算,這需要大量的計算時間代價.為了避免插值計算,提高計算速度,我們可以采用近似計算,其原理如圖3 所示:在圓形區域內,將圖像中心徑向方向以45°為單位,劃分8個扇區,如圖3 虛線所分隔扇區.環狀空間中采樣點的近似編碼計算示例如圖4～圖7 所示.

Fig.2 Diagram of local radial coordinate transformation圖2 局部徑向坐標變換示意圖

Fig.3 Sector schematic for radial approximate coding圖3 徑向近似計算的扇區示意圖

如圖4 所示,假設點A,B,C分別為圓上一點,它們與圖像中心夾角分別為θA<22.5°,22.5°<θB<67.5°,67.5°<θC<112.5°,圖5～圖7 給出了3 個點在3×3 鄰域內的近似編碼計算實例.此時,點A的編碼起始位置b1為鄰域水平方向右邊像素點,即圖5 中像素值為120 的位置,按逆時針方向分別取右、下、左、上這4 個點進行編碼.對于點B來說,則編碼起始位置b1為鄰域右上角像素點,即圖6 中像素值為137 的位置,此時按右上、右下、左下、左上的順序取對角線的4 個點,實現逆時針編碼.而點C的編碼起始位置b1則為鄰域垂直方向上方像素點,即圖7中像素值為128 的位置,按上、右、下、左順序取4 個點實現逆時針編碼.點A,B,C編碼計算過程示意圖分別如圖5～圖7 所示.

Fig.4 Location of points A,B,C圖4 點A,B,C 所在位置圖

Fig.5 Encoding calculation process of point A圖5 點A 編碼計算過程圖

Fig.6 Encoding calculation process of point B圖6 點B 編碼計算過程圖

Fig.7 Encoding calculation process of point C圖7 點C 編碼計算過程圖

1.3 環形空間對稱結構模式提取

在對圓形物體ROI 區域中的每個點進行編碼后,考慮到圓形圖案中心對稱的特點,我們采用環狀空間特征池化策略;同時,為了提升環狀空間描述的鑒別能力,我們提出空間對稱結構對的方式提取成對點的特征模式.

由于圓形物體的ROI 區域為圓形,因此可將該區域按照等面積的原則劃分為若干個交疊的圓環區域,如圖8 所示,其中,第m個圓環包含的區域半徑為,其中,n為圓環的個數,R為圓形ROI 區域半徑.假設(x0,y0)為ROI 圓形區域的中心點,(i,j)為區域內任意一點,(i′,j′)為(i,j)的對稱點,則兩者之間的坐標關系由公式(4)求得:

分別對(i,j)與其對稱點(i′,j′)按照第1.2 節所述的徑向坐標變換方式計算其局部二值模式和編碼值,其中,點(i,j)編碼值記為F1,點(i′,j′)編碼值記為F2.為了確保點對模式編碼與旋轉無關,有必要按照大小排序關系進行組合.如果F1>F2,則點對模式表示為(F1,F2),否則表示為(F2,F1).統計圓環內所有點對,按照出現頻率即可獲得該圓環內所有點對模式的直方圖描述,記作hm.根據組合關系,模式對有162=256 種組合,因此,hm是一個256 維的特征向量.考慮到對稱性,實際計算時,點(i,j)只需要在圓環上半部分取樣,這可以避免不必要的重復統計.

影響模式對統計穩定性的因素主要有兩個:一是ROI 區域中心位置估算誤差,二是圖像噪聲和干擾.為了獲得穩定的統計結果,我們不是直接統計單個點對的直方圖,而是在當前點(i,j)和對稱點(i′,j′)一定鄰域內各自尋找代表性模式作為該點的模式表示.根據實際圖像不同的特點,我們設計了兩種方式.

· 如果圓形圖案紋理細節信息比較豐富,則我們采用主模式選擇編碼.即:在點(i,j)的M×M鄰域內統計出現次數最多的編碼模式值,將該模式值作為點(i,j)的代表模式,記為F1;同樣統計對稱點(i′,j′)的代表模式,記為F2,我們將這種特征提取方式稱為鄰域代表模式;

· 如果圓形圖案主要由線條、邊緣輪廓構成,沒有豐富的紋理細節,則我們采用主梯度選擇編碼.即:尋找點(i,j)的M×M鄰域內梯度幅值最大的點,并取其徑向變換二值模式值作為點(i,j)的代表模式,記為F1;按同樣原理確定對稱點(i′,j′)的代表模式,記為F2.我們將這種特征提取方式稱為鄰域主梯度代表模式.需要注意的是,在計算梯度時,同樣應該在新的局部徑向r,t坐標系統內進行計算,這樣才能保證旋轉不變性.

將圓形物體所在的ROI 圓形區域按等面積劃分為n個交疊圓環,計算每個圓環內的對稱結構模式對;然后統計圓環內的特征模式對直方圖,記為hm(256 維的特征向量);最終,按從內環到外環的順序組裝起來得到最終的圖像特征描述:

其中,hm表示第m個圓環的特征向量,m=1,2,...,n.

Fig.8 Schematic diagram of symmetrical structure圖8 對稱結構模示意圖

1.4 抗旋轉對稱結構模式特征提取算法

抗旋轉對稱結構模式特征提取算法步驟如下.

1)提取圓形圖像ROI 區域,并確定其中心位置;

2)對于ROI 區域內每個點,按照局部徑向坐標變換選取4 個鄰域點,并采用近似計算方式,計算該點的抗旋轉編碼模式值;

3)將整個ROI 區域按照等面積的原則劃分出相互交疊的n個圓環;

4)依次統計第m個(m=1,…,n)圓環內關于圓形區域中心點O對稱的點對(i,j)與(i′,j′)的模式,并選擇主模式編碼或主梯度選擇編碼方式,統計完圓環內所有點對后,按照出現頻率即可獲得該圓環內所有模式對組合的直方圖描述,記作hm;

5)將n個圓環提取到的特征向量,按照從內環到外環順序組裝得到最終的圖像特征描述,記為

2 實驗結果及分析

2.1 實驗數據集介紹

實驗采用了歐元硬幣、QQ 表情和車標這3 個數據集.歐元硬幣數據集由12 個主要歐盟國家的歐元硬幣組成,所有國家硬幣正面圖案相同,反面圖案由每一個國家自行設計,均不相同.硬幣數據集包含2 歐元、1 歐元、50 歐分、20 歐分、10 歐分5 種幣值,我們采集了不同幣值的正反面硬幣圖像8 430 張.其中,2 歐元2 603 張,1歐元2 240 張,50 歐分1 030 張,20 歐分1 291 張,10 歐分1 266 張.圖9 給出了德國、盧森堡和葡萄牙的5 種幣值的反面圖案.硬幣檢測的目的是通過識別反面圖案實現硬幣國別的判別.

QQ 表情數據集是截取騰訊聊天軟件中的表情獲得的,共包括52 種不同的表情,每種表情圖片按5 度加以旋轉,可擴充為72 張圖片,總共獲得3 744 張圖片.QQ 表情圖片示例如圖10 所示.

車標數據集通過對各種車型的網上實物圖像截取、建立.我們專門選擇了15 種近似圓形的車標圖案,其中,每種車型截取了100 張圖片,共1 500 張,部分車標圖片如圖11 所示.

Fig.9 Part of the euro coin figures圖9 部分歐元硬幣圖片

Fig.10 Part of QQ expression pictures圖10 部分QQ 表情圖片

Fig.11 Part of the car logo pictures圖11 部分車標圖片

表1 給出了3 個數據集的基本信息.我們之所以采用上述3 個數據集,是因為這3 個數據集有各自不同的特性.它們在色彩、紋理、光照、圖案復雜程度方面有明顯差異,這可以充分檢驗方法的適應性和魯棒性.

Table 1 Experimental dataset basic information表1 實驗數據集信息

數據圖像中目標的ROI 圓形區域對本文算法特征提取具有重要作用.由于歐元硬幣圖像有確定的單一背景,通過簡單的背景差分和形態學操作,較容易確定硬幣的位置和ROI 區域.而對于QQ 表情和車標圖片,由于我們重點關注的是圓形圖像識別的問題,因此在收集數據集時,我們已經人為地將圓形圖像目標從原圖中剪切并保存下來,后續算法只需在剪切下來的方形子圖中做內切圓即可確定其ROI 圓形區域.

2.2 實驗結果與分析

本文方法是基于圓形圖像呈現中心對稱的特點而設計的,通過徑向變換技術和鄰域模式選擇策略,特征表達對于旋轉和噪聲具有較強的魯棒性.因此,該方法命名為“中心-對稱魯棒二值模式”,簡記為CS_RBP(central symmetry robust binary pattern).由于本文方法和傳統的LBP方法以及HOG 方法在特征提取和采樣方式上相似,因此我們主要比較LBP,HOG 方法,以及采用類似的中心對稱結構和鄰域模式選取策略的LBP 方法和本文提出的CS_RBP 方法在歐元硬幣數據集、QQ 表情數據集和車標數據集這3 個圓形圖案數據集上的實驗結果.其中,分類器模型選擇的是線性SVM.

2.2.1 關鍵參數選取實驗

有兩個重要參數對CS_RBP 方法檢測性能影響較大:一是環形空間的數目;二是在選擇鄰域代表模式時,鄰域窗口的大小.為了獲得最佳識別性能,有必要通過實驗方式確定合適的參數值.以硬幣圖像為例,表2 給出了將硬幣圖像歸一化為200×200 后,鄰域M×M取為3×3,5×5,7×7,9×9,11×11 這5 種模式,圓環個數m分別取16,18,20,22,24,26,28 等情況下的硬幣國別識別結果.

Table 2 M×M neighborhood size and number of rings m selection experiment表2 M×M 鄰域大小及圓環個數m 選取實驗

從實驗結果觀測可知,鄰域大小的選取比環狀空間數目更為重要.在同等鄰域大小下,環狀空間數目對識別性能的影響比較小,檢測結果波動幅度很小.表2 中,每一行加粗的數據是在該鄰域大小下,在某環狀數目下的最好識別結果.在3×3 鄰域時,環數為20,22,24 時有最好結果;而在5×5 鄰域時,環數為28 時有最好結果;7×7 鄰域時,環數為26 時有最好結果;9×9 鄰域時,環數為16 時有最好結果;11×11 鄰域時,則環數為28 時有最好結果.在同等鄰域下,環數取多少有最好結果沒有明顯的規律.同時可觀測到:隨著鄰域增大,9×9 和11×11 兩組實驗結果的波動相對比鄰域窗口較小的3×3,5×5 和7×7 的實驗結果波動幅度要大一些.另外,觀測每一列的數據可知:在環數固定后,鄰域過大和過小都會導致識別性能下降.在所有7 列數據中,除了環數22 時,5×5 鄰域有最好結果外(下劃線數據),其他列中均是在鄰域7×7 時取得最佳識別性能.最終的最好識別結果為100%,其中鄰域為7×7、環數26.鑒于上述實驗結果,7×7 鄰域、環數26 是一組較佳的參數.在后續實驗中,我們均選用該組參數進行實驗測試和比較.

2.2.2 不同算法在3 個數據集上的實驗

針對歐元硬幣數據集、QQ 表情數據集和車標數據集,我們分別采用不同比例的訓練樣本進行實驗.用來比較的LBP 特征是最常用的LBP 統一旋轉不變模式,選取了(p,r)=(8,1)和(p,r)=(8,2)兩組參數.在我們的CS_RBP 方法中,模式編碼時選取了d=1 和d=2 兩組參數.同時,考慮到本文方法改進時所采取的對稱結構、鄰域代表模式等手段同樣可用于原來的LBP 特征提取,因此,也可以結合對稱模式實現單點、基于鄰域的代表模式或主梯度代表模式這3 種算法形式,因此,我們總共比較了單點、鄰域代表模式、鄰域主梯度代表模式、單點、鄰域代表模式、鄰域主梯度代表模式、CS_RBP4,1單點、CS_RBP4,1鄰域代表模式、CS_RBP4,1鄰域主梯度代表模式、CS_RBP4,2單點、CS_RBP4,2鄰域代表模式、CS_RBP4,2鄰域主梯度代表模式等算法.此外,本文方法和實驗所用的LBP 類方法均屬于密集采樣,與傳統HOG 特征方法的描述方式相似,因此,HOG 特征描述也是一種適合和本文特征方法對比的方法.表3～表5 給出了上述方法在不同訓練集占比下對硬幣、QQ 表情和車標進行識別的實驗結果.為了在7×7 鄰域、環數26 參數下取得好的結果,其中圖片尺寸均歸一化為200×200.在灰度歐元硬幣數據集上,提取的特征維數為260 維,單點、鄰域代表模式、鄰域主梯度代表模式的特征維數1 320 維,CS_RBP單點、CS_RBP 鄰域代表模式、CS_RBP 梯度鄰域主梯度代表模式的特征維數均為3 536 維,在彩色QQ 表情數據集和車標數據集上,分別提取R,G,B 這3 個通道特征,再合并為一個最終特征,此時提取的特征維數為780 維、單點、鄰域代表模式、鄰域主梯度代表模式的特征維數3 960 維,CS_RBP單點、CS_RBP 鄰域代表模式、CS_RBP 梯度鄰域主梯度代表模式的特征維數均為10 608 維.HOG 特征的block單元由8×8 像素構成,2×2 個block 構成一個cell 單元,最后提取的特征維數為20 736 維.表3～表5 中給出了不同方法在3 個數據集上的測試結果,其中,占比是指即訓練樣本集占總數據集圖片的比例.

由表3～表5 可以看出:在3 個數據集上,所有方法被分成5 組,其中,第1 組為表中第2 行,第2 組為表中第3行、第4 行,第3 組為表中第5 行～第8 行,第4 組為表中第9 行～第12 行、第5 組為表中第13 行～第16 行.在傳統LBP 方法組中,方法的識別率高于方法,說明適當增大鄰域半徑可以捕獲更多的鄰域信息,對于提高識別率有幫助.在不采用鄰域選擇策略的單點模式對方法組中,在3 個數據集上,單點與CS_RBP 單點的方法普遍表現較差.原因在于:一是圖像ROI 區域中心位置估算存在誤差,二是圖像本身噪聲的干擾.此時,直接將該點的編碼值作為模式值難以獲得穩定的特征表達.但是CS_RBP 單點方法性能仍高于單點方法,原因在于CS_RBP 可以編碼16 種模式,多于方法的10 種模式,能表達圖像更多的細節信息.此外,在3 個數據集上,CS_RBP 的鄰域代表模式方法與鄰域主梯度代表模式方法的識別率也均高于的鄰域代表模式方法與鄰域主梯度代表模式方法,充分說明CS_RBP 方法特征的鑒別能力強于傳統LBP 特征模式.表明采用局部徑向坐標變換技術后,同樣是基于鄰域選擇策略的主模式,具有16 個模式種類的CS_RBP 優于只有10 個模式種類.同時,在,CS_RBP 方法中,基于鄰域的代表模式均遠高于其對應的單點類的方法,表明基于鄰域選擇策略的代表模式魯棒性強,能夠很好地克服圖像ROI 區域中心位置估算誤差以及圖像本身的噪聲與干擾的影響.

Table 3 Euro coin recognition accuracy表3 歐元硬幣數據集識別率

Table 4 QQ expression recognition accuracy表4 QQ 表情數據集識別率

Table 5 Car logo recognition accuracy表5 車標數據集識別率

LBP 方法比較適合提取紋理特征,但是在紋理信息比較缺乏的QQ 表情和車標數據集中,對應的LBP 方法的性能遠低于本文的方法.這也說明本文方法適應性強,對于紋理豐富和紋理缺乏的圖像均能適用.值得注意的是:鄰域半徑增大后,很多時候CS_RBP4,2并沒有取得CS_RBP4,1更好的性能,反而還有所下降.原因是局部徑向坐標變換的旋轉不變二值模式的近似計算在半徑增大后,計算誤差會增加,尤其是當圖像鄰域中含有細節紋理信息時,例如在含有較多紋理信息的硬幣數據集和因為色差產生的具有紋理變化的QQ 表情數據集測試時.

由表3～表5 可知:在訓練集占比為8%的歐元硬幣數據集與占比為16%的QQ 表情數據集上,能夠達到的最好識別率100%均為本文方法所取得;只有在車標數據集中,獲得的最好識別率100%由HOG 方法取得.同時,我們可觀察到:只需要較少比例的訓練樣本,例如歐元硬幣數據集中訓練集占比為8%、QQ 表情數據集中訓練集占比16%,本文方法均達到100%的識別率.但是對于車標數據集,盡管車標圖案不旋轉,但是由于圖像在自然場景下獲取,背景、照明和視角均有較大變化,因此仍然需要較多的訓練樣本,本文方法才能保證其識別性能.

由于HOG 特征本身沒有考慮旋轉不變性問題,因此其對于旋轉圖案識別效果不理想,特別是在樣本數較少的情況下,由于樣本很難涵蓋各種旋轉角度,此時HOG 方法識別性能較差.例如在硬幣數據集中,在訓練樣本數為2%時,HOG 特征識別率只有57.46%,而LBP 和CS_RBP 鄰域代表模式能達到90%以上的識別率;在訓練樣本數為4%時,HOG 特征識別率只有67.73%,而LBP 和CS_RBP 鄰域代表模式多數情況能達到95%以上的識別率;在訓練樣本數為8%時,HOG 特征識別率雖然可以達到83.44%,但是仍遠低于LBP,CS_RBP 鄰域代表模式和鄰域主梯度代表模式的識別率.在QQ 表情圖像集中,相似的情況也能在HOG 方法和CS_RBP 鄰域主梯度代表模式中觀察到.但是對于車標數據集,由于車標圖像本身無旋轉變化且邊緣結構信息顯著,此時HOG 特征表現優異,在訓練樣本占比15%,30%,45%這3 種情況下都得到了100%的識別準確率.這是因為HOG 特征描述利用的是梯度信息,其在對抗照明變化上要優于LBP 和CS_RBP 特征方法.但是一旦圖像發生旋轉,則HOG 特征的性能難以得到保證,這在歐元硬幣的檢測和QQ 表情數據集中已經得到驗證.

2.2.3 計算效率比較

CS_RBP 作為二值描述算子,計算原理簡單,與其他二值描述算子一樣具有高效的優點.表6 給出了幾種代表性的浮點數值型描述子HOG,SIFT 和SURF,以及二值描述算子BRIEF,FREAK 和本文CS_RBP 方法在進行單點特征提取所花時間的比較.其中:HOG 單個Cell 特征提取約耗時1.9ms;SIFT 和SURF 算子需要2.5ms 和1.4ms;而CS_RBP 方法只需0.045ms,效率是HOG 的42 倍、SIFT 的56 倍、SURF 的31 倍.由于CS_RBP 在尋找對稱模式時計算原理比BRISK 和FREAK 復雜一些,因此時間消耗上略有增加.CS_RBP 算法運行環境:CPU為i5-4590,4GB 內存,Matlab 2014a.

Table 6 Comparison single point feature extraction time of different descriptors表6 描述子單個點特征提取時間比較

2.2.4 抗旋轉性能測試

為驗證本文算法特征的抗旋轉特性,以德國2 歐元硬幣背面圖像為例,如圖12 所示,分別提取初始樣本和旋轉不同角度后該硬幣圖像的特征,特征向量之間的相關度由公式(6)計算:

其中,HY和HM分別表示初始樣本圖片和旋轉后圖片的特征向量,〈·,·〉表示向量內積.

Fig.12 Test picture rotation schematic圖12 測試圖片旋轉示意圖

P(HY,HM)表示HY和HM的相關系數,可以衡量特征的抗旋轉能力,平均相關度越大且標準差越小,則抗旋轉性越強.每次旋轉15 度,我們計算了原始圖像和旋轉后圖像的特征相關度,表7 給出了本文4 種方法和LBP,HOG特征在圖像旋轉后的相關度值.

Table 7 Average correlation of the features after rotation of the sample images表7 樣本圖片旋轉后的特征平均相關度

從表7 可知,本文的4 種算法在每個旋轉角度的相關度均比HOG 特征高,同時標準差也較小.本文4 種算法的平均相關度分別為0.845,0.905,0.885,0.789,遠高于HOG 特征的0.614,其中,CS_RBP4,2鄰域代表模式表現最為穩定,平均相關度值達到0.905,標準差0.035.LBP 特征模式我們采用的是旋轉不變模式,因此其本身具有旋轉不變性,在所有旋轉角度情況下,其特征相關度均為1.盡管如此,但是LBP 旋轉不變模式信息損失較大,不利于圖像細節的描述,因此特征的鑒別能力不足.而本文方法在盡可能保留抗旋轉描述特性的同時,利用空間對稱位置結構信息有效提高了特征的鑒別能力,從而達到抗旋轉高鑒別二值模式特征提取的目的.

2.2.5 原始特征計算方法和近似計算方法對比

在基于局部徑向坐標變換的旋轉不變二值模式計算時,我們采用了近似計算方法.為了驗證近似方法的可靠性,與原始算法進行了對比測試.考慮到原始特征計算方法相當耗時,我們只選取了部分歐元硬幣進行實驗,其中,2 歐元硬幣580 張,1 歐元硬幣552 張,50 歐分硬幣252 張,20 歐分硬幣312 張,10 歐分硬幣312 張,實驗結果見表8.

Table 8 Initial feature calculation method is compared with the recognition result of approximate calculation method in euro coin recognition表8 原始特征計算方法與近似計算方法在歐元硬幣識別上的識別結果對比

從表8 可看出,4 種情況下的原始特征計算方法與近似計算方法上在最終的分類精度上相差無幾;而近似計算方法由于避免了大量的浮點數插值計算,從而大大提高了計算效率;原始特征計算方法對200×200 大小的圖像進行的特征提取耗時約30s,而近似計算辦法耗時僅需1s.

3 總結

針對圓形圖案中心對稱的特點,本文提出一種基于空間對稱結構模式對的圖像二值特征描述方法.由于引入了局部徑向變換技術,在抗旋轉特性的同時,使得能夠表達的基本模式達到16 種,多于的10 種模式,因此能夠更多地描述圖像的微觀結構細節信息;并且通過組成對稱模式對,充分利用了圓形圖像的空間結構信息,因此提升了特征的鑒別能力.在具有旋轉情況的歐元硬幣和QQ 表情數據集上,均取得了優于原LBP 特征和HOG 特征提取方法的識別性能.由于算法專門針對旋轉的圓形物體圖像識別問題,因此CS_RBP 方法在抗旋轉能力上具有很強的魯棒性.在訓練集占比為8%的歐元硬幣數據集與訓練集占比16%QQ 的表情數據集中,本文方法均達到100%的識別率.說明本文方法只需少量的代表性訓練樣本即可達到良好的性能,不需要存儲大量的不同旋轉角度的訓練樣本集.此外,CS_RBP 作為一種高效的二值描述算子,具有和其他二值描述算子一樣的優點.單點計算時間只需0.045ms,效率是HOG 的42 倍、SIFT 算子的56 倍、SURF 算子的31 倍.