多特征的灰度反轉和旋轉不變直方圖

何驥鳴， 廖福林， 林遠長， 高 明， 曾維信

（1.重慶城市管理職業學院智能工程學院，重慶 401331；2.中國科學院重慶綠色智能技術研究院電子信息技術研究所，重慶 400714）

0 引言

紋理特征包含了物體表面的結構組織信息，反映了圖像中的同質現象，在基于內容的圖像檢索中得到了廣泛的應用，對模式識別和計算機視覺等領域有著重要意義。在圖像處理領域提出了多種紋理描述符用于紋理分割、紋理分類和場景識別，其目標是用紋理區分圖像或物體。但這一目標會受到許多因素的影響，且當圖像受到旋轉、尺度、光照等干擾時，分類任務的難度會顯著加大。

經典的局部二值模式（Local Binary Pattern，LBP）［1］是較早提出的基于灰度差分編碼的紋理描述符，為了捕捉更微妙的圖像紋理特征提高圖像分類性能，研究者們基于LBP 提出了更多改進的紋理描述符。其中，完整局部二值模式（Completed LBP，CLBP）［2］通過CLBP-C、CLBP-S、CLBP-M 等3 種描述符，將中心像素與近鄰像素間差分的幅值和符號分開考慮，獲得了更細微的紋理特征。完整的局部二值計數（Completed Local Binary Count，CLBC）［3］通過統計LBP模式中1 的個數提取特征，局部三值模式（Local Ternary Pattern，LTP）［4］使用軟閾值將像素局部差分編碼為三值，局部編碼變換特征直方圖（Locally Encoded Transform Feature Histogram，LETRIST）［5］顯式地對圖像特征空間和尺度空間中的局部結構信息進行聯合編碼，局部空頻模式聯合編碼（Joint Coding of Local Space-Frequency Pattern，JCLSFP）［6］利用局部量化的空頻模式刻畫紋理，并保留了特征表達的判別性。

當圖像灰度發生反轉時會干擾生成的二值碼，導致二值碼部分或全部反轉，降低圖像分類精度。為此，有研究者提出了一些方法抵消這種變化所導致的分類精度下降，如梯度局部二值模式（Gradient Local Binary Pattern，GLBP）［7］、局部梯度模式（Local gradient Pattern，LGP）［8］利用梯度與差分編碼來克服灰度反轉，利用LBP等價模式克服圖像旋轉，因此特征本身對圖像旋轉變化不具有魯棒性。非冗余局部二值模式（Nonredundant Local Binary Pattern，NRLBP）［9］使用補碼提取特征，使其具有灰度反轉不變性，但沒有考慮旋轉不變性。排序的局部梯度模式（Sorted Local Gradient Pattern，SLGP）［10］利用主導強度順序度量和LBP標準模式克服灰度反轉與旋轉，特征本身仍然不具有旋轉不變性。局部分組不變序模式（Local grouped invariant order pattern，LGIOP）采用強度和距離順序進行編碼，使特征同時具有反轉及旋轉不變性。

為了捕捉更微妙的圖像紋理特征，進一步提高圖像分類精度，同時克服圖像發生灰度反轉時分類性能下降的問題，設計了一種改進的不變性灰度反轉和旋轉不變直方圖（Grayscale-Inversion and Rotation Invariant Histogram，GIRIH）：①捕捉更微妙的圖像紋理特征；②構建對線性灰度反轉變化具有魯棒性的多種互補特征；③采用聯合編碼克服灰度反轉變化。以期使提出的GIRIH能夠在提高圖像分類性能的同時，克服灰度反轉導致分類精度下降的問題。

1 GIRIH特征分析與方法

GIRIH的主要原理是先對圖像濾波獲得圖像微分最大值和最小值；再基于微分信息構建對線性灰度反轉變化具有魯棒性的多種互補特征；最后對不同的特征進行聯合編碼，進一步克服反轉時灰度值的正負變化，從而具有旋轉不變性。與以往的紋理描述符相比，所提的GIRIH特征在編碼過程中加入了多種互補特征，具有灰度反轉和旋轉不變性，在聯合編碼中，每一個特征都采用了合適的量化閾值。

1.1 高斯導數濾波

由于圖像自身含有豐富的結構信息，而各種濾波器能可控地提取圖像局部或全局的結構信息，因此可以利用一階、二階高斯導數濾波器得到圖像的一階、二階微分結構信息［5］。

假設給定圖像I，利用高斯一階、二階導數對圖像進行濾波，得到沿x、y軸的一階、二階圖像導數，即

式中：Gx和Gxx分別為尺度歸一化的沿x軸的一階、二階高斯導數；Gy和Gyy分別為尺度歸一化的沿y軸的一階、二階高斯導數；*為卷積。

圖像I在濾波器所有方向上一階、二階響應的極值［4］，即一階響應的最大值為

二階響應的最大值和最小值分別為

這些值經過濾波后得到的微分信息不會隨圖像的旋轉而改變，因而具有旋轉不變性。

1.2 6 種微分結構特征

基于得到的圖像微分最大值和最小值，構建了6種對線性灰度反轉變化具有魯棒性的特征。

（1）局部二階曲率的形狀指數

（2）圖像微分結構信息的混合極值比

（3）一階圖像微分梯度幅值的最大值

（4）二階圖像微分極值的最大最小值差分

（5）Log濾波特征

（6）二階導數不變量

其中，Log濾波特征log，由式（3）相互加后取絕對值得到。二階導數不變量c由式（7）和（8）求平方和推導得到。根據可控濾波理論［5］，基于式（2）、（3）的特征具有旋轉不變性，進一步對其進行線性和非線性變換或者組合后得到的特征log、c 仍具有旋轉不變性。

根據實驗測試，以上6 種特征具有互補性，當對其聯合編碼后，可有效提高圖像在旋轉和灰度反轉下的分類精度。

1.3 多尺度聯合編碼

在進行聯合編碼之前，采用高斯濾波器σ ＝1、σ ＝2 和σ ＝3 尺度對圖像進行濾波，σ 的不同取值對圖像進行不同程度的平滑，取值越大平滑效果越好。得到6 種帶有圖像微分結構信息的特征后，對其進行基于主導思想的聯合編碼［10］。

圖像線性灰度變化的數學模型為

式中：Y為變換后的圖像灰度矩陣；X為變換前的圖像灰度矩陣；l、h分別為當圖像灰度反轉時像素點對比度及亮度的變化，h可以通過加減和微分消去，但是l帶來的變化會進一步保留，并且l的正負變化會給編碼帶來極大干擾。針對這個問題，采用主導編碼克服l變化所帶來灰度值的正負變化。

受SLGP的主導強度順序度量［10］的啟發，在主導編碼中，首先對整幅圖像求取一個均值t，再與所有像素點的值進行比較。圖像中值大于t的像素點數量

式中：n為像素點的數量；pi為像素點的值。則可定義另一個量m2＝n-m1為值小于或等于t的像素點的數量。定義第i個像素點的編碼表達式為：

式中：Pi為第i個像素；φm1為圖像中值大于t的像素的集合，屬于φm1的像素編碼為1，否則編碼為0。大于t的像素的數量不會隨l符號的改變而改變。因此，主導編碼具有灰度反轉不變性。

圖1所示為生成GIRIH方法的主體框架，其利用一種濾波圖像可以得到6 位比特中的一位，編碼方法采用主導思想編碼，得到不變特征GIRIH。

圖1 生成GIRIH的方法主體框架

高斯導數濾波已用于提取有效的紋理特征，如LETRIST［5］，但這些特征本身對于光照反轉通常比較敏感。為此，需要對具有判別力的特征作進一步處理，如取絕對值，構造出新的特征二階導數不變量，以及基于主導思想的二值量化和聯合編碼，實現一種對光照反轉具有魯棒性的特征提取方法。

2 實驗結果與分析

本文采用Intel i7-7700 和8 GB 內存的PC 和Matlab 2019a 作為實驗工具，用Outex［1］、CUReT［12］及KTH-TIPS［13］3 個基準數據庫驗證GIRIH 特征的有效性。對比LBP［1］、 LTP［2］、 CLBP［3］、 CLBC［4］、LETRIST［5］、JCLSFP［6］、GLBP［7］、LGP［8］、NRLBP［9］、SLGP［10］、LGIOP［11］共11 種紋理特征提取方法。

2.1 數據集劃分方法

對于Outex數據庫，選用TC10 和TC12 兩個子庫進行實驗，使用其自帶的訓練集與測試集文件進行實驗，TC10 子庫本身含有旋轉變化，用來測試旋轉不變性，TC12 子庫含有光照變化，用來測試光照不變性。CUReT數據庫包含61 類紋理，每類有92 幅圖像，從每類中隨機選取46 幅圖像作為訓練集，其余的圖像作為測試集。KTH-TIPS 數據庫包含10 類紋理，每類有81幅圖像，從每類中隨機選取40 幅圖像作為訓練集，其余作為測試集。CUReT和KTH-TIPS數據庫沒有固定的訓練集和測試集劃分，因此，需要進行多次分類實驗，計算平均的分類精度。

2.2 灰度反轉與分類方法

實驗中，將所有圖像轉換為灰度圖像，并將灰度值限制在［0，255］。對于線性灰度反轉模型，對待分類的測試圖像執行線性變化I'＝-I+255；對于非線性模型，對待分類的測試圖像執行非線性變化I'＝+255。

采用卡方距離作為圖像分類的標準，其表達式為

式中：A為訓練集圖像生產的特征向量；T為測試集圖像生成的特征向量。取卡方距離最小的類別為測試圖像所屬的類別。

2.3 與其他算法比較

考慮GIRIH特征具有灰度反轉不變性，在對比其他方法時對使用的數據集進行了灰度反轉處理。表1對比了不同方法在線性灰度反轉的數據集上的分類精度。LBP等變體描述符的參數含有半徑，實驗中半徑取值為1、2、3 以及3 種半徑聯合條件下，對LBP、LTP、CLBP、LGP、GLBP和NRLBP分別進行實驗，取這些描述符在4 種條件下性能最好的數據與GIRIH 方法的數據進行對比。

表1 當σ ＝1、2 和3 時多尺度GIRIH與其他方法在線性灰度反轉下的分類精度%

由表1 可見，灰度的反轉變化會使基于傳統LBP的描述符的分類性能急劇下降。原因在于灰度值的巨大變化會影響近鄰像素與中心像素間的灰度差分，從而使基于灰度差分生成的二值碼與原圖像的二值碼不再相同。在用直方圖進行對比時，圖像與原本所屬類的距離就會變大，最終造成圖像分類錯誤。NRLBP特征本身沒有旋轉不變性方法，分類性能均不理想，LTP、GLBP和SLGP采用LBP標準模式具有旋轉不變性，總體分類性能有較大提升。其中GLBP 在含有光照變化的TC12 中效果更佳，SLGP在本身含有旋轉變化的TC1O中效果更佳。LGIOP與GIRIH特征本身均具有旋轉與反轉不變性，綜合分類性能更優。所提GIRIH方法在本身含有旋轉變化的TC10 數據庫與含有光照變化的TC12 數據庫皆有更高的分類性能，說明GIRIH的特征能有效抵抗圖像旋轉和光照帶來的變化。

圖2 所示為幾種典型直方圖比較。本文選擇Outex數據庫TC10 子庫本身45°旋轉圖片做線性反轉［見圖2（a）］，同與其卡方距離最近的圖片進行直方圖對比。由圖2（b）～（e）可見，LBP直方圖之間距離較大，造成圖像分類錯誤，NRLBP 直方圖之間也存在一定距離，分類正確，但卡方距離最近圖片的灰度及紋理不及GLBP 準確。GLBP、SLGP 直方圖之間距離較小，性能更優。由圖2（d）～（f）可見，GIRIH直方圖之間距離比SLGP小，編碼數量比GLBP 更多，因此包含的紋理信息更加準確豐富，性能更優。

圖2 幾種典型直方圖比較

表2 對非線性光照變化也進行了驗證，對比表1和2 中GIRIH的性能，GIRIH 在各數據庫下性能的下滑并沒有其他方法嚴重，說明GIRIH 對非線性光照變化也具有一定的魯棒性。

表2 當σ ＝1、2 和3 時多尺度GIRIH與其他方法在非線性灰度反轉下的分類精度%

2.4 尺度分析

GIRIH特征在線性和非線性灰度反轉條件下都能取得不錯的分類性能（見表1 和2），其中GIRIH 的尺度σ取1、2、3 多尺度聯合。實驗測試了尺度對GIRIH性能的影響，可以看到單尺度下σ ＝2 的性能最好，隨著尺度的變大GIRIH 的性能有所下降，對于聯合尺度，聯合的尺度越多性能越好。但是當聯合到σ ＝4時，GIRIH的性能提升不大，且在有些數據庫下的性能有所下降。因此，在與其他方法對比時，采用σ 取1、2、3 的多尺度GIRIH，不同尺度GIRIH 在線性灰度反轉下的分類精度如表3 所示。

表3 不同尺度GIRIH在線性灰度反轉下的分類精度%

2.5 特征有效性分析

采用了6 種圖像微分特征，為驗證每種特征的有效性，對特征進行線性疊加實驗，在實驗中，GIRIH 的尺度σ取1 和2 兩種尺度聯合。當σ ＝1 和2 時，多尺度GIRIH中的多種特征在線性灰度反轉下的分類精度如表4 所示。

表4 當σ ＝1 和2 時多尺度GIRIH中多種特征在線性灰度反轉下的分類精度%

由表4 可見，隨著一種新特征的加入，GIRIH在所有數據庫的性能都有所提升，其在GIRIH 性能較低時尤其明顯。隨著特征達到5 種以上時，GIRIH 的性能提升不再明顯，且有些數據庫下的性能出現了輕微的下降，說明GIRIH 的特征開始出現了冗余。因此，最終選擇了6 種特征作為GIRIH 的底層特征。實驗表明，GIRIH在旋轉及光照變化下的分類任務中表現良好。

2.6 算法復雜度分析

針對所提算法，圖像特征計算的時間復雜度可表示為

式中：w與z表示圖片的長與寬；常數C1、C2和C3分別表示用3 種尺度的濾波核計算一個像素的時間；常數C4表示對一種特征進行主導編碼的時間；k是特征數；b為計算6 種特征的時間。

選擇數據庫Outex TC_10 和KTH_TIPS aluminium各一張圖片如圖3 所示，運行不同算法，所需運行時間如表5 所示。

表5 不同方法提取單張圖片所需時間s

圖3 選擇數據庫的圖片

由表5 可見，LGIOP 運行時間最長，LBP、LTP 和NRLBP運行時間比較短。所提的GIRIH 運行時間中等，而其分類精度整體最好。

3 結語

針對傳統局部二值模式及其派生的紋理描述符分類性能明顯下降的問題，提出了一種GIRIH 特征表示方法。通過對3 個紋理圖片數據庫進行光照反轉與旋轉分類實驗測試，結果表明，所提的GIRIH 方法能有效改善灰度反轉問題；并對圖像的旋轉變化具有一定的魯棒性。進一步，所構造的6 種特征還存在冗余的信息，可以進一步優化；同時，6 種特征并沒有完全利用圖像信息，還可以增加新的特征繼續進行實驗。