信息熵加權的HOG特征提取算法研究

林克正，張元銘，李昊天

哈爾濱理工大學 計算機科學與技術學院，哈爾濱150080

1 引言

人臉識別技術始于20 世紀，是新興的綜合性的工程，涉及機器學習，數字圖像處理與模式識別等多門計算機專業課程。隨著人臉識別技術的不斷成熟，人臉識別技術越來越多地被應用到各個領域，包括交通、醫藥、警務等。人臉識別極大地提高各工作部門的工作效率[1]。

人臉識別中一般包含四個環節：第（1）步，人臉圖像的初步檢測與提取；第（2）步，對檢測到的人臉圖像進行預處理，包括灰度化、圖像濾波等；第（3）步，對人臉圖像進行特征提取；第（4）步，對待識別的圖像進行匹配與識別[2]。

梯度直方圖HOG（Histogram of Oriented Gradients）是法國研究人員Dalal在2005年CVPR會議上提出的特征提取算法，并將其與SVM 分類器配合，用于行人檢測[3]。在他的博士畢業論文中有對HOG 特征更加詳細的描述。近年來，HOG 算子被越來越多地應用于特征提取方面并取得了很好的成就[4-6]。此外，有很多研究學者也探索了HOG 特征的潛能，對其進行了進一步的改進，或者使HOG 提取過程與硬件結合發揮其更大潛力[7-8]。但在對HOG 特征的相關研究中，有的只是簡單地將HOG 特征應用到人臉全局特征中，有的只對HOG的全局特征和局部特征進行簡單的級聯，都沒有考慮到人臉的不同部位對于識別效果的影響。

考慮到人臉不同部位對于識別效果的貢獻程度不同，本文提出了一種信息熵加權的HOG 特征提取方法。該方法將人臉圖像劃分成幾部分，根據不同部分識別貢獻率的大小添加不同的權重，加強了人臉重要部位對于識別效果的影響，使得該算法相較于其他方法識別率大大提高，并且該算法對于人臉所具有的光照、姿態表情等變換均有良好的有效性和魯棒性。

2 HOG特征提取與PCA降維

2.1 HOG特征提取

梯度直方圖HOG由法國研究人員Dalal提出。HOG算法的主要目的是將灰度化，歸一化的圖像進行梯度計算，統計圖像的梯度信息[9]。

HOG特征提取的具體步驟為：

（1）對圖像進行灰度化處理。

（2）利用Gamma方法對圖像全局歸一化。

壓縮公式為：

對于gamma 的值來說，當gamma ＜1時，在高灰度值區域內，動態范圍變小，圖像對比度降低，圖像整體灰度值變大，顯得亮一些gamma ＞1在低灰度值區域內，動態范圍變小，圖像對比度降低，圖像整體灰度值變小，變得暗淡。

（3）對處理后的圖像進行梯度大小和梯度方向的計算。

通過對像素梯度的計算能夠獲得圖像的邊緣信息，降低光照因素對于圖像識別的影響。

像素點(x,y)的梯度為：

其中H(x,y)表示像素點(x,y)的像素值，Gy(x,y)表示像素點(x,y)的垂直方向梯度，Gx(x,y)表示像素點(x,y)的水平方向梯度。

在圖像中每一個像素點(x,y)的梯度大小和方向分別為：

（4）將圖像劃分成小的細胞單元（cell）。

（5）統計每個cell 的梯度直方圖，即可形成每個cell的HOG特征。

本文算法中將細胞單元的梯度方向分成9個方向塊，如圖1所示。

圖1 梯度方向劃分為9個區間

（6）將幾個細胞單元（cell）組成一個塊（block）。把一個block內所有cell的HOG特征串聯起來歸一化便得到該塊的HOG特征。

歸一化能夠克服局部光照變化和對比度變化造成的梯度變化范圍較大的影響，進一步地對光照、陰影和邊緣進行壓縮。

歸一化之后的塊特征描述符就稱為HOG 描述符，圖2為3×3個細胞單元組成塊的示意圖。

圖2 細胞單元組成塊

（7）將該圖像內的所有塊的HOG 特征串聯起來就可以得到該圖像的HOG 特征了。這便是最終用于分類的整幅圖像HOG特征向量。

2.2 PCA算法

主成分分析PCA（Principal Component Analysis），也稱為卡爾胡寧-勒夫變換（Karhunen-Loeve Transform）[10-11]。PCA 通常用于高維數據集的探索與可視化。還可以用于數據壓縮，數據預處理等。

PCA 算法降維的過程主要是將相關性低的高維數據組投射到一個相關性高的低維數據組。PCA 算法的主要過程如下：

（1）計算圖像的協方差矩陣

假設有P 幅M×N 人臉圖像作為訓練學習樣本，P幅訓練圖像記為[x1,x2…,xp]T，那么P 幅人臉圖像的平均向量μ可以表示為：

則樣本協方差矩陣G 為：

其中Φ=xj-μ,j=1,2,…,P。

（2）計算協方差矩陣的特征向量ωj，將計算所得特征向量按照從小到大的順序排列，取前d 個較大的特征向量，形成一個新的向量序列，組成投影子空間：

將P 幅訓練樣本分別投影到特征向量子空間，獲得訓練樣本投影矩陣：

3 信息熵

信息熵的概念是由香農在1948 年在其著作《通信的數學理論》中提出的，他把信息熵定義為“用來消除不確定性的東西”[12]。信息熵是對信息不確定性的度量。熵越高，傳輸的信息越多，反之熵越低，所包含的信息越少。

信息熵的推導過程如下：

（1）計算信源的不確定度：衡量不確定性的方法就是考察信源X 的概率空間。X 包含的狀態越多，狀態Xi的概率pi越小，則不確定性越大，所含有的信息量越大。

不確定程度用H(X)表示，簡稱不確定度。一般寫成：

（2）計算自信息量：一個信息本身所包含的信息量，由信息的不確定度決定。即隨機事件Xi發生概率為p(xi)，則隨機事件的自信息量定義為：

（3）計算信息熵

信息熵是隨機變量自信息量I(xi)的數學期望，用E(X)表示，則熵的定義為：

4 信息熵加權的HOG特征提取

信息熵加權的HOG 特征提取首先將待識別的人臉圖像進行分塊，對分塊后的圖像進行HOG 特征提取，然后計算每塊圖像所含的信息熵作為權重系數加到各個分塊中形成新的HOG 特征，最后通過PCA 算法對特征進行降維，得到信息熵加權的HOG 特征。算法采用BP神經網絡作為分類器，BP 神經網絡強大的學習能力可以提高識別效果，將PCA 降維后的特征作為BP 神經網絡的輸入進行分類。算法如下步驟：

步驟1人臉圖像預處理

（1）對檢測到的圖像進行灰度變換，在人臉圖像的識別中對圖像的處理大部分都在灰度圖像下進行。

（2）對圖像進行濾波降噪處理，為防止噪聲對于圖像識別的干擾，要對圖像進行濾波降噪，通過各個濾波的實驗選擇最佳濾波器。

步驟2圖像分塊并提取HOG特征

圖3 對圖像進行3×3分塊

在圖像進行分塊后，對每塊圖像進行HOG 特征提取。計算每一個塊的HOG特征。

步驟3信息熵加權系數的計算

由于人臉各部位的特征對人臉的識別作用不一樣，當人臉有不同表情時，只有幾個關鍵部位會發生變化。因此，對于人臉圖像的每一子塊，應賦予不同的權值系數。設圖像分為m個子塊，第i個子塊的信息熵表示為：

式中n表示像素級數，在實驗中所選用的圖像像素統一為256，即n=255,表示第k 級像素點出現的概率。子塊的信息熵越大，則賦予它越大的權重，則第i子塊的權重系數定義為：

步驟4對信息熵加權后得到的HOG特征進行PCA降維。

5 實驗結果及分析

實驗通過Matlab工具平臺進行實驗，實驗運行環境為InterCore I5 處理器，8 GB 內存，Windows10 操作系統。由于ORL 人臉數據庫應用較為普遍，實驗首先選擇ORL 人臉數據庫，由于YALE 人臉庫在表情、光照以及姿態等方面具有較大的變化，針對YALE 人臉庫進行的實驗更具說服力，實驗又選擇了YALE 數據庫。為了驗證算法的適用性，實驗還選用了FERET 人臉數據庫。實驗識別分類采用BP 神經網絡分類器，實驗結果分別與原始HOG+BP 神經網絡[13-14]、PCA+BP[15-16]神經網絡以及全局HOG+PCA[17-18]方法進行了比較。

5.1 基于ORL人臉數據庫的實驗

圖4 ORL人臉庫中某一人的10幅圖像

ORL（Olivetti Research Laboratory）人臉庫中包含40 人的10 幅人臉圖像，共400 幅。每個人有10 幅不同姿態與表情的正面人臉圖像。某人的10 個樣本圖像如圖4所示。

取人臉庫中每一個人的前N 幅圖像用于訓練樣本，后10-N 幅圖像用來測試。本實驗中N 取4，5，6，7，8。首先對人臉分塊的數目進行選擇，通過對幾種分塊方式識別效果的對比選擇出最佳的分塊方式。

在ORL 人臉庫中對于不同分塊方法的測試共進行4 次實驗，每一次對人臉進行不同方式的分塊，通過對4種分塊方式所得的實驗結果進行比較，選取最佳的分塊方式，得到最佳的實驗結果即為本文方法的最終實驗結果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進行特征提取，之后通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權系數。最后將加權后得到的HOG特征進行PCA降維得到最終的分塊HOG特征。

實驗所用的識別分類器采用BP神經網絡進行識別分類。

表1 不同分塊數所得識別結果 %

圖5 不同分塊識別率的比較

表1 給出幾種分塊方式的識別結果。識別結果用百分比表示。識別率比較如圖5所示。

從表1 和圖5 可以看出在ORL 人臉數據庫的實驗中，3×3分塊后的圖像識別效果最好。

選擇最優分塊后，將PCA+BP 神經網絡識別算法，原始HOG 特征+BP 神經網絡識別算法、全局HOG+PCA+BP 神經網絡識別算法和本文算法進行實驗比較，基于不同的訓練樣本數，實驗結果如表2及圖6所示。

表2 各算法識別率的比較 %

圖6 不同樣本識別率的比較

從表2 和圖6 可以看出信息熵加權后的HOG 人臉特征通過PCA 降維處理，再通過BP 神經網絡進行分類的人臉識別方法可以有效地提高人臉的識別效率。這主要因為信息熵加權后的HOG 算子加強了人臉重要部位如鼻子，眼睛等對于識別效果的影響，降低了不重要部位對于識別效果的干擾。

5.2 基于YALE人臉數據庫的實驗

圖7 YALE人臉數據庫的部分圖像

YALE 人臉庫中共包含15 個人的11 幅人臉圖像。共165 幅圖像。由于YALE 人臉庫在表情、光照以及姿態等方面具有較大的變化，針對YALE 人臉庫進行的實驗更具說服力與可行性。YALE 人臉數據庫的部分圖像如圖7所示。

在實驗中，隨機地選取YALE 人臉庫中每一個人的前N 幅圖像用于訓練樣本，后11-N 幅圖像作為測試樣本。本實驗中N 取4、5、6、7、8。首先對人臉分塊的數目進行選擇，通過對幾種分塊方式識別效果的對比選擇出最佳的分塊方式。

在YALE 人臉庫中對于不同分塊方法的測試共進行4 次實驗，每一次對人臉進行不同方式的分塊，通過對4 種分塊方式所得的實驗結果進行比較，選取最佳的分塊方式，得到最佳的實驗結果即為本文方法的最終實驗結果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進行特征提取。通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權系數。將加權后得到的HOG特征進行PCA降維得到最終的分塊HOG特征。

實驗所用的識別分類器采用BP神經網絡進行識別分類。

表3 不同分塊數所得識別結果 %

圖8 不同分塊識別率的比較

表3 給出幾種分塊方式的識別結果。識別結果用百分比表示。識別率比較如圖8所示。

從表3 和圖8 可以看出在YALE 人臉數據庫的實驗中，同樣是3×3分塊后的圖像識別效果最好。

對圖像進行分塊選擇后，將PCA+BP神經網絡識別算法，原始HOG 特征+BP 神經網絡識別算法、全局HOG+PCA+BP神經網絡識別算法和本文算法進行實驗比較，基于不同的訓練樣本數，實驗結果如表4和圖9所示。

表4 各算法識別率的比較 %

通過表4 和其對應的的折線圖9 可以看出，采用的方法明顯地優越于PCA+BP神經網絡、原始HOG 特征+BP 神經網絡以及全局HOG+PCA 的方法，這主要因為信息熵加權方法充分考慮了人臉各部位信息對于識別效果的影響，降低了不重要部位對于識別效果的干擾，相比于傳統的全局HOG特征對人臉特征的描述更為全面。

圖9 不同樣本識別率的比較

5.3 基于FERET人臉數據庫的實驗

FERET人臉圖片庫的規模龐大，包含了1 199個人將近14 000 多幅圖像，均是在不同拍攝角度、姿態和不同面部表情下采集的。實驗中選用FERET 圖片庫的一個子集共包含了200×7幅圖像（由200人組成，每人有7幅圖片）。圖10 展示了FERET 人臉圖片庫上某個人的部分人臉圖像。

圖10 FERET人臉庫上某個人的人臉圖像

由于子集中每個人有7 幅圖像，因此實驗中的訓練樣本數N 取2、3、4、5。測試用例數M 取10-N。

首先進行人臉分塊實驗。在FERET 人臉庫中對于不同分塊方法的測試共進行4 次實驗，每一次對人臉進行不同方式的分塊，通過對4 種分塊方式所得的實驗結果進行比較，選取最佳的分塊方式，得到最佳的實驗結果即為本文方法的最終實驗結果。不同分塊方式識別效果實驗步驟如下（以一次3×3分塊實驗為例）：

首先對人臉庫中的圖像進行3×3 分塊，通過上文提到的HOG 特征提取方法對每塊進行特征提取，之后通過對每塊圖像所含信息熵的計算得到每塊HOG 特征的加權系數。最后將加權后得到的HOG特征進行PCA降維得到最終的分塊HOG特征。

表5 不同分塊數所得識別結果 %

表5 給出幾種分塊方式的識別結果。識別結果用百分比表示。識別率比較如圖11所示。

圖11 不同分塊識別率的比較

從表5 和圖11 可以看出在FERET 人臉數據庫的實驗中，3×3分塊后的圖像識別效果最好。

選擇最優分塊后，將PCA+BP神經網絡識別算法，原始HOG 特征+BP 神經網絡識別算法、全局HOG+PCA+BP 神經網絡識別算法和本文算法進行實驗比較，基于不同的訓練樣本數，實驗結果如表6及圖12所示。

表6 各算法識別率的比較 %

圖12 不同樣本識別率的比較

通過表6 和其對應的的折線圖12 可以看出，信息熵加權的HOG 特征提取算法同樣適用于FERET 數據庫。在三種數據庫上的實驗證明了算法的適用性和有效性。

6 結語

本文提出了一種新穎的信息熵加權的HOG 特征提取人臉識別算法。該方法一方面繼承了HOG 小波能夠克服光照、尺度、角度等全局干擾對識別效果的影響的能力，另一方面充分考慮了人臉各部位信息對于識別效果的影響，降低了不重要部位對于識別效果的干擾，使得識別效果顯著增強。對于人臉的光照、姿態、表情等干擾因素，該算法顯示出良好的有效性和魯棒性。但是該算法還存在著一些不足之處，在實驗中對人臉進行分塊時沒有探究不同區域大小對圖像進行分塊對圖像識別效果的影響。接下來的工作重心將研究不同區域大小對圖像進行分塊，爭取更完整地突出人臉的關鍵區域，使得人臉關鍵部位的影響程度更完全地體現。