基于稀疏表示的人臉表情識別系統(tǒng)研究

汪慧蘭，楊衛(wèi)中++毛曉輝++楊晶晶++朱強(qiáng)軍

摘要：最近這幾年，由于計(jì)算機(jī)以及信息技術(shù)的不斷發(fā)展，人臉表情的識別相關(guān)技術(shù)也開始更加受到人們的重視。怎樣才能更加準(zhǔn)確的將表情的特征加以提取出來，再對其進(jìn)行分類現(xiàn)在已經(jīng)成為研究的熱點(diǎn)。稀疏表示可以說是一種比較高效的圖像表示法，而且稀疏的系數(shù)其稀疏性能以及可擴(kuò)展的性能都比較突出，這種基于稀疏表示的一種人臉識別能夠使識別率增加。下面本文主要對人臉的表情特征加以提取，對這種表情加以分類并在其中發(fā)生的一些關(guān)鍵性問題進(jìn)行了研究，進(jìn)而針對這些問題提出了相應(yīng)的改進(jìn)方法，設(shè)計(jì)出了人臉識別的系統(tǒng)。

關(guān)鍵詞：稀疏表示；人臉識別系統(tǒng)；人臉識別算法

中圖分類號：TP391 文獻(xiàn)標(biāo)識碼：A 文章編號：1009-3044（2015）25-0137-03

人臉的表情包含了人體行為的情感信息和心理信息，這是人們在進(jìn)行非語言的交流時所采取最有效的手段。人們可以根據(jù)表情來充分地將自己的思想以及情感表達(dá)出來，同時根據(jù)人臉表情來對對方內(nèi)心世界和對方的態(tài)度來加以了解，所以說人臉的表情在日常生活當(dāng)中扮演著極為重要的角色。表情能夠?qū)⒑芏嗟恼Z言以及聲音不能夠表達(dá)出來的信息給表達(dá)出來，其在醫(yī)療和語言學(xué)以及相關(guān)的服務(wù)行業(yè)中都在發(fā)揮著極為重要的作用。

1 人臉表情識別的技術(shù)現(xiàn)狀

1.1 提取人臉表情特征

由于提取人臉表情特征采取的圖像類型不一樣，對此我們可以將其分成靜態(tài)表情的圖像特征進(jìn)行提取以及序列表情的圖像特征進(jìn)行提取這兩種。第一種提取的是表情靜止時的特征，第二種提取的是表情在運(yùn)動過程中的特征，對于第一種的提取方法一般為Gabor小波，主成份分析（PCA）以及線性的判斷分析（LDA）等的方法；而針對與第二種的提取方法有特征點(diǎn)跟蹤，查分圖像法以及光流法等。

1）提取靜態(tài)的表情特征的常用方法

PCA主要是用在抽取原始特征以及降維，這種方法運(yùn)算的中心思想是把二維的圖像轉(zhuǎn)為一維向量，根據(jù)從大到小的排列順序?qū)μ卣髦狄约疤卣飨蛄考右哉{(diào)整，并且通過K-L的變換投影獲得正交基，對其加以取舍進(jìn)而得到人臉的表情特征其子空間。其實(shí)際上識別表情的過程就是把測試的樣本進(jìn)行比較投影進(jìn)表情特征的子空間里，之后再將其跟測試的樣本加以比較判定出它的表情類別。Gabor小波這種方法是現(xiàn)在我們比較常用的一種表示特征的方法，它能夠有效地將環(huán)境噪音加以清除，使提取的圖像特征有效加強(qiáng)，主要是通過圖像在不同方向不同尺度上的頻率信息對圖像的特征加以表明。

2）提取變動的表情特征常用的方法

對于序列圖像特征加以提取的代表性方法就是光流法。這種方法在1981年被第一次提出，主要是根據(jù)對視頻圖像里的表情特征光流加以計(jì)算進(jìn)而得到每一個特征點(diǎn)的運(yùn)動情況，這就是表情特征。

第一種提取特征的方法它采集較方便，計(jì)算更快捷，但是不能夠?qū)Ω髸r間和空間信息加以探知。而第二種提取特征的方法雖可以對運(yùn)動的表情信息加以提取，進(jìn)而使得到的識別效果較好，但這種方法其計(jì)算的數(shù)據(jù)量較龐大，且具有很高的重復(fù)率，實(shí)際的操作當(dāng)中比較困難。因此從目前來看，提取表情特征應(yīng)該朝著將各種提取方法相互融合來對信息加以特征提取。

1.2傳統(tǒng)的人臉表情識別系統(tǒng)中存在的問題

對于人類表情識別的研究中可以依據(jù)人類對不同的表情加以區(qū)別上獲得啟發(fā)，但運(yùn)用計(jì)算機(jī)的視覺技術(shù)準(zhǔn)確地對人臉表情進(jìn)行識別的系統(tǒng)，實(shí)際運(yùn)用中還有很多難題。

1） 不容易建立起理想的人臉表情相關(guān)模型

因?yàn)槿四樖潜容^柔的，所以把人的表情和情感進(jìn)行分類，在此基礎(chǔ)上再建立一個模型，把人類的表情特征以及情感信息再相對應(yīng)這就顯得十分的困難。

2）表情數(shù)據(jù)庫不完善

現(xiàn)在很多研究的實(shí)驗(yàn)結(jié)果都是在各自研究團(tuán)隊(duì)里研發(fā)出來的表情數(shù)據(jù)庫的基礎(chǔ)上得到的，我們知道每一個表情庫由于噪音或者是光照等環(huán)境方面的影響都各不相同，再加上每個表情庫里的人臉圖像在文化，種族當(dāng)中都存在著比較大的區(qū)別，所以實(shí)驗(yàn)的結(jié)果應(yīng)該多次加以重復(fù)驗(yàn)證，增加推廣能力。

3）學(xué)科方法和技術(shù)有自身的局限性

盡管我們在對人臉識別的系統(tǒng)中研究工作正在逐步加深，得到了很大的進(jìn)步，但因?yàn)楹芏嗟难芯空叨际亲约赫归_工作，在新技術(shù)和新方法將優(yōu)點(diǎn)充分發(fā)揮出來的同時也不可避免地有著自身的局限性，多種技術(shù)相互融合上面的工作開展得還比較慢。

2 提取改進(jìn)LBP的人臉表情特征

局部二元模式（LBP）指的是一個能描述算子的有效圖像紋理特征，根據(jù)存在于圖像中的任意一點(diǎn)和它相鄰那點(diǎn)的灰度值中發(fā)生的大小關(guān)系來判定圖像中部分紋理空間構(gòu)造，從這方面上來看，它有旋轉(zhuǎn)和抗亮度變化的能力。

2.1 原始的LBP算子

LBP一開始先將圖像中各個像素點(diǎn)之間的灰度值加以計(jì)算，將在各個像素點(diǎn)和跟她相鄰的點(diǎn)存在于灰度值上的二值關(guān)系加以計(jì)算，根據(jù)計(jì)算后得出的二指關(guān)系根據(jù)相應(yīng)規(guī)則來形成局部二值的模式，同時將多區(qū)域的直方圖序列當(dāng)做這個圖像的一個二值模式。

圖1 基本的LBP算子計(jì)算的過程

一個基本的LBP算子應(yīng)該是上圖1所示那樣，將其定義成3*3的窗口，有8個鄰域的像素點(diǎn)，把窗口中心點(diǎn)的灰度值對窗口內(nèi)的像素點(diǎn)其灰度值執(zhí)行二值化，再依據(jù)不同的像素點(diǎn)位置來加權(quán)求和，進(jìn)而得到這個窗口LBP編碼值。

2.2 改進(jìn)的LBP算子

從上面我們可以知道原始的算法自身紋理描述力是很強(qiáng)的，但在特定的局域內(nèi)，原始LBP算子只考慮到了存在于中心像素點(diǎn)跟鄰域的像素點(diǎn)之間灰度值的差異，把中心像素點(diǎn)作用以及鄰域像素點(diǎn)其灰度值之間的互相關(guān)系忽略掉了，因而造成在某些情況下把局部的結(jié)構(gòu)特點(diǎn)信息有所忽略。如下圖2就是某種特定的情況。

圖2 原始的LBP算子在特定情形中的編碼

圖2中所產(chǎn)生的11111111主要是對暗點(diǎn)以及會讀平坦的區(qū)域進(jìn)行檢測，可以說是特征檢測器。我們在此基礎(chǔ)上，對原始的LBP算子進(jìn)行改進(jìn)，根據(jù)使一位二值編碼增加的方式來加以擴(kuò)展，提出了多重心化的二值模式也就是MLBP，具體的改進(jìn)過程如圖3所示。

圖3 改進(jìn)的LBP算子計(jì)算的過程（P=8、R=1）

由圖3中獲得的兩個8位子編碼將其當(dāng)做獨(dú)立的兩 個MLBP的自編碼，繼而對所有模式直方圖加以計(jì)算，根據(jù)這個直方圖來加以分類或者是識別。LBP具體的算法公式如下：

在這當(dāng)中，N，R分別表示的是臨域點(diǎn)的個數(shù)和半徑，gc表示的是像素點(diǎn)，gn表示的是它的臨域點(diǎn)。根據(jù)這個改進(jìn)的MLBP算子我們可以看出，它根據(jù)使一位二值的編碼增加的形式，在將原始LBP算子的優(yōu)勢得到保持前提下，將中心像素點(diǎn)作用和鄰域像素點(diǎn)二者間灰度值的關(guān)系又加以利用。跟原始的相比，改進(jìn)的算子并沒有時特征模式有所增加，而且還可以將原始的算子中沒有考慮到的中心像素點(diǎn)和鄰域像素點(diǎn)灰度值間關(guān)系產(chǎn)生的結(jié)構(gòu)特點(diǎn)提取出來，讓其鑒別能力得到提高。

3 人臉識別系統(tǒng)的設(shè)計(jì)

3.1 系統(tǒng)構(gòu)成

該系統(tǒng)主要是被硬件平臺以及軟件開發(fā)的平臺這兩部分構(gòu)成。硬件平臺指的就是那些采集圖像的設(shè)備和計(jì)算機(jī)系統(tǒng)，而軟件開發(fā)的平臺就是本文中所描述到的在上述所說的算法中改進(jìn)開發(fā)出來的一種人臉識別的系統(tǒng)。

3.2 系統(tǒng)軟件

系統(tǒng)軟件的構(gòu)造。系統(tǒng)軟件可以劃分成以下兩個部分。首先是獲取圖像，當(dāng)進(jìn)入到主界面中時，點(diǎn)擊打開圖像或者是打開視頻，系統(tǒng)初始化的硬件設(shè)備能夠根據(jù)直接打開的靜態(tài)表情圖像或者是視頻等，來對人臉表情圖像進(jìn)行獲取并將圖像顯示出來，之后再對人臉開始進(jìn)行檢測和定位。其次，就是提取相應(yīng)的表情特征并對其進(jìn)行識別。

下面為了對該系統(tǒng)在進(jìn)行識別表情時的效果進(jìn)行驗(yàn)證，本文進(jìn)行了幾組對比實(shí)驗(yàn)。先將Gabor跟采樣降維相結(jié)合的特征提取方式下得出的不同分類器效果加以比較，再將該系統(tǒng)下的分類跟其他的分類器效果進(jìn)行比較。具體如下圖4所示。

圖4 不同的分類器下表情識別比較圖

在圖4中，橫坐標(biāo)1-7分別表示的是生氣、厭惡、恐懼、高興和瓶頸、傷心以及驚奇，數(shù)字8表示的是所有的表情。

結(jié)論：

根據(jù)圖4我們可看出，在特征提取條件相同情況下，整體實(shí)驗(yàn)數(shù)據(jù)中稀疏表示明顯比另兩種分類型的性能要好，而且BP神經(jīng)網(wǎng)絡(luò)分類效果也非常良好，但是最近鄰之間的分類器的精準(zhǔn)度沒有前兩種表現(xiàn)得好。

該文中運(yùn)用的這種提取特征方法的效果明顯比Gabor跟采樣降維相結(jié)合的方法效果要好。

上面進(jìn)行的對比實(shí)驗(yàn)，充分驗(yàn)證了本文中的分類系統(tǒng)的優(yōu)越感。下面跟文獻(xiàn)中已經(jīng)有的方案進(jìn)行對比，具體如下圖5所示。

[不同人臉表情識別方法＼&識別率＼&Gabor+彈性模板匹配[5]＼&80%＼&特征塊PCA+最近鄰分析器[8]＼&75.45%＼&本文方法＼&85.71%＼&]

圖5 跟文獻(xiàn)中含有的方案進(jìn)行比較效果

根據(jù)圖5所示，我們可以看出，跟其他文獻(xiàn)中采用的方法來看，本文采用的方法在表情識別上有著明顯的優(yōu)勢。具體的我們還可以從下圖6的人臉表情識別界面中看到本文中設(shè)計(jì)的人臉識別系統(tǒng)具體應(yīng)用情況。

圖6 人臉表情識別的界面

3.3簡析人臉識別算法

1）優(yōu)點(diǎn)

這種算法將以前在迭代過程中的迭矩陣計(jì)算大大簡化，而且在識別的速度上也得到了有效的提升，能跟隨光照的變化進(jìn)行有效的識別，對人臉進(jìn)行識別的主要困難就是遮擋、單樣本等這些問題，而稀疏表示在這些問題的前提下仍然能具備潛在的發(fā)展力，我們可以進(jìn)一步對其加以研究，這也是現(xiàn)在研究的一個重點(diǎn)方向。

2） 缺點(diǎn)

在上面實(shí)驗(yàn)中我們發(fā)現(xiàn)其分類器表現(xiàn)出了良好的使用效果，但這種算法也存在著一些不足之處，由于數(shù)據(jù)量不斷地增加，稀疏表示分類需要的時間也會隨之而增加。此外，這種表示方法雖然在速度上明顯優(yōu)于其他，但是其產(chǎn)生的識別率并不是很高，也就是說不能準(zhǔn)確地對表情進(jìn)行有效識別。

4 展望人臉表情識別的系統(tǒng)

這種新型的對人臉表情加以識別的系統(tǒng)利于將人們的生活品質(zhì)提高。當(dāng)人們一旦從比較寒冷的地方或者是比較炎熱的地方回到室內(nèi)時，可以根據(jù)這個表情識別的系統(tǒng)快速地把人們面部表情與最佳溫度中人臉表情相對比，進(jìn)而讓空調(diào)自動把室內(nèi)的溫度調(diào)轉(zhuǎn)至最佳。此外，在醫(yī)療行業(yè)中，可以將表情識別運(yùn)用到電子護(hù)士護(hù)理中來。尤其是對于那些重癥病人，在對其進(jìn)行治療的過程中可以根據(jù)這個具有表情分析能力的機(jī)器人護(hù)士對病人實(shí)行實(shí)時的看管護(hù)理。除以上幾點(diǎn)外，在對兒童實(shí)行教育時也可以將其應(yīng)用其中，可以根據(jù)兒童在某種情形下所產(chǎn)生的表情以及行為進(jìn)行具體分析和觀察，有效挖掘他們潛在的氣質(zhì)和能力，引導(dǎo)我們更好地對兒童實(shí)行教育，促進(jìn)兒童的健康成長。

5 結(jié)語

綜上所述，對人臉表情加以識別是具有很大挑戰(zhàn)的新興課題，筆者主要對存在于人臉表情識別算法中的問題進(jìn)行了簡要的分析，并在此基礎(chǔ)上提出了改進(jìn)的算法進(jìn)而提出了對人臉表情加以識別的系統(tǒng)。但從目前來看，我國關(guān)于人臉識別的系統(tǒng)研究當(dāng)中還存在著一些問題，因此，對于我們來說將更加智能化的關(guān)于人臉表情識別的系統(tǒng)加以實(shí)現(xiàn)還是一個十分艱巨的任務(wù)，還需要我們不斷的努力。

參考文獻(xiàn)：

[1] 趙曉龍. 安防系統(tǒng)中的基于稀疏表示的人臉識別研究[D].西北大學(xué)，2014.

[2] 朱可. 基于稀疏表示的人臉表情識別[D].西北大學(xué)，2013.

[3] 萬川. 基于動態(tài)序列圖像的人臉表情識別系統(tǒng)理論與方法研究[D].吉林大學(xué)，2013.

[4] 歐陽琰. 面部表情識別方法的研究[D].華中科技大學(xué)，2013.

[5] 王哲偉. 基于稀疏表示殘差融合的人臉表情識別[D].五邑大學(xué)，2011.

[6] 張慕凡. 基于稀疏表示的人臉識別的應(yīng)用研究[D].南京郵電大學(xué)，2014.

[7] 趙曉. 基于稀疏表示的人臉識別方法研究[D].北京工業(yè)大學(xué)，2013.

[8] 何玲麗. 基于核稀疏表示的人臉識別方法研究[D].湖南大學(xué)，2014.