基于LBP和SVM的疼痛表情識(shí)別①

鄭建偉,劉新妹,殷俊齡

(中北大學(xué) 電子測(cè)試技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室,太原 030051)

在臨床醫(yī)療中,疼痛是病人一個(gè)極其常見的問(wèn)題.鑒于疼痛給病人所帶來(lái)的傷害,它被定義為繼四大生命體征—體溫、脈搏、呼吸、血壓之后的第五大生命體征[1].然而,如果在醫(yī)療機(jī)構(gòu)中沒有一個(gè)有效的疼痛評(píng)估方式,盲目地采取一些治療手段,那么極有可能導(dǎo)致醫(yī)療事故的產(chǎn)生.疼痛評(píng)估是控制疼痛的重要一環(huán)[2],對(duì)于那些有語(yǔ)言功能障礙的人群(如癡呆癥患者、腦損傷病人等)來(lái)說(shuō),正確的疼痛評(píng)估直接會(huì)影響治療的選擇和治療的效果.在疼痛評(píng)估中,針對(duì)健康的人自我評(píng)估作為最有效的方法,為了最大化治療人群,尤其對(duì)難以表達(dá)自我感受的特別人群,科學(xué)的對(duì)疼痛程度做出估計(jì)具有重要的臨床意義[2].

2007年,Littlewort 等[3]則應(yīng)用一個(gè)聯(lián)合Gabor 特征和支持向量機(jī)(SVM)面部表情的識(shí)別系統(tǒng)去區(qū)分疼痛的真假,并給出了與疼痛最相關(guān)的臉部運(yùn)動(dòng)單元(Action Units,AU);2009年,Ashraf 等[4]利用主動(dòng)表觀模型(Active Appearance Models,AAM)提取出形狀和表觀特征,并利用SVM 來(lái)對(duì)這些特征進(jìn)行分類.國(guó)內(nèi)南京郵電大學(xué)盧官明等[5]在2008年提出利用支持向量機(jī)(SVM)技術(shù)對(duì)新生兒疼痛與非疼痛面部表情進(jìn)行分類識(shí)別,比較了不同核函數(shù)的分類器性能;2015年,該團(tuán)隊(duì)提出一種基于加權(quán)局部二元模式(LBP)特征描述符和稀疏表示分類器的新生兒疼痛表情識(shí)別方法[6].在其自建的新生兒面部圖像數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn).

疼痛表情是疼痛評(píng)估的可靠指標(biāo)之一[7,8].在疼痛表情的識(shí)別中,人臉表情分析最主要的環(huán)節(jié)是特征提取和分類識(shí)別.目前,常用的特征提取方法有主成分分析(Principal Component Analysis,PCA)[9]、線性判別分析(Linear Discriminant Analysis,LDA)[10,11]、AAM[12]、Gabor 小波變換[13]、局部二元模式(Local Binary Pattern,LBP)[14]和LBP的改進(jìn)方法[5,6,11,12,15]等.其中,基于PCA的方法忽略了整體的關(guān)聯(lián)信息,且需要參數(shù)化數(shù)據(jù)來(lái)達(dá)到高效的結(jié)果,效率較低;基于LDA的方法要花費(fèi)時(shí)間來(lái)進(jìn)行圖像矩陣特征值的計(jì)算,耗時(shí)較長(zhǎng);基于AAM的方法計(jì)算量大、其中的參數(shù)需要人為的計(jì)算[13];基于Gabor 小波變換的方法在獲取多個(gè)方向尺度的信息時(shí),所用時(shí)間太長(zhǎng),占用的內(nèi)存較其他方法明顯大,且提取的向量多余信息較多[16];相比之下,基于LBP的方法以其運(yùn)算速度快、所占內(nèi)存小、旋轉(zhuǎn)不變性和灰度不變性等優(yōu)點(diǎn),已在面部識(shí)別領(lǐng)域廣泛使用[17,18].

本文在多尺度分區(qū)結(jié)合局部加權(quán)的LBP 特征基礎(chǔ)上對(duì)疼痛表情進(jìn)行識(shí)別.將預(yù)處理后的灰度圖像通過(guò)級(jí)聯(lián)分塊加權(quán)的LBP 特征直方圖和多尺度分區(qū)的特征直方圖,用PCA 降維得到整體的特征向量,輸入SVM分類器進(jìn)行訓(xùn)練和測(cè)試,判斷樣本所處的表情類別.

1 圓形鄰域LBP 特征提取

1.1 圓形LBP 相關(guān)理論

LBP 由Ojala 等人提出[14],用于提取圖像的局部的紋理特征,對(duì)光照變化和灰度變化有很好的魯棒性;LBP 特征能有效快速地提取待測(cè)圖像的紋理信息,所需存儲(chǔ)空間小、計(jì)算速度快.

針對(duì)原始的LBP 算子只是由一個(gè)半徑不變的區(qū)域構(gòu)成的缺陷,Ojala 等[14]對(duì)LBP 算子進(jìn)行了改進(jìn),將方形鄰域擴(kuò)展到圓形鄰域,并且在該圓形鄰域內(nèi)可以包含任意個(gè)像素點(diǎn),以適應(yīng)不同頻率和不同尺度的紋理特征,改進(jìn)后的LBP 算子可以計(jì)算半徑為R大小的鄰域內(nèi)所包含的任意多個(gè)像素點(diǎn)的特征值.改進(jìn)后的LBP 算子鄰域半徑為R,采樣點(diǎn)個(gè)數(shù)為P,如圖1為不同的圓形鄰域圖.

圖1 不同和的算子的圓形鄰域圖

用不同半徑的圓編碼鄰近像素可得到它的近鄰圖,如圖2.

圖2 近鄰圖

對(duì)于點(diǎn)(xc,yc),它的近鄰點(diǎn)用以下公式計(jì)算:

其中,R圓形鄰域的半徑,p是像素點(diǎn)的個(gè)數(shù).使用雙線性插值對(duì)計(jì)算結(jié)果進(jìn)行處理,確保上述結(jié)果處于像素所在的坐標(biāo).用以下公式計(jì)算:

1.2 特征提取

圖像的LBP 特征圖就是將原始圖像的像素值用LBP 特征值表示,這種對(duì)每個(gè)像素都求取特征值的做法,如果直接用來(lái)作為特征向量進(jìn)行分類識(shí)別的話會(huì)丟失局部的空間結(jié)構(gòu)信息.而在表情分類、人臉識(shí)別等更加注重局部的紋理特征的實(shí)際應(yīng)用中,都不能直接將LBP 特征圖作為整幅圖像的特征向量用于后續(xù)的分類.為提取有效的局部紋理特征,擬采用分塊LBP 灰度直方圖的方法完成后續(xù)的工作.

按以下步驟進(jìn)行:對(duì)預(yù)處理后的表情圖像采用LBP算子進(jìn)行運(yùn)算,得到LBP 特征圖,將LBP 特征圖劃分為若干個(gè)子塊,計(jì)算出每個(gè)子塊的LBP 特征灰度直方圖,將圖像所有子塊的局部LBP 灰度直方圖串接起來(lái),作為整個(gè)圖像的特征向量.圖3是原始LBP和圓形LBP對(duì)同一幅圖像的紋理特征提取前后圖像,對(duì)比可看出圓形LBP的紋理特征提取效果明顯優(yōu)于原始LBP.

圖3 紋理特征提取效果對(duì)比圖

2 多尺度分區(qū)融合分塊加權(quán)LBP的疼痛表情識(shí)別

本文疼痛表情識(shí)別主要過(guò)程是獲取圖像、提取不同尺度分區(qū)LBP 灰度統(tǒng)計(jì)特征和分塊加權(quán)的灰度直方圖、串接得到完整特征向量、輸入分類器進(jìn)行訓(xùn)練、最終得到分類結(jié)果,流程框圖如圖4.

2.1 融合多尺度分區(qū)和分塊的特征提取方法

由于圖像中的關(guān)鍵信息可能存在位置距離等幾何性質(zhì)的偏差,以免僅用單一尺度的分區(qū)可能造成缺失而得不到完整的特征信息,加之,人臉疼痛表情本身就是多個(gè)尺度的特征細(xì)節(jié)相關(guān)聯(lián)的,所以本文綜合表情的多個(gè)細(xì)節(jié)和總體特征來(lái)提高分類識(shí)別的準(zhǔn)確率,采用多尺度的特征提取結(jié)合LBP 分塊加權(quán)獲得一種更好的特征提取方法.

本方法特征提取步驟為:

(1)將一幅圖像劃分為若干塊區(qū)域,采用固定值加權(quán)方法給予不同區(qū)域不同的權(quán)重,如圖5.

(2)分塊提取LBP 灰度直方圖后,對(duì)按步驟(1)的設(shè)置的權(quán)重加權(quán)各子塊的直方圖.

(3)串接所有子塊的直方圖特征,生成整幅圖像的特征向量.

(4)再對(duì)整幅圖像進(jìn)行不同尺度的分區(qū),由小尺度分區(qū)逐步擴(kuò)展到大尺度分區(qū),具體如圖6.

(5)串接各個(gè)層級(jí)的灰度直方圖特征,組成整幅圖像的特征向量.

(6)級(jí)聯(lián)步驟(3)和步驟(5)生成的特征向量,用PCA 降維之后作為下一步要識(shí)別的特征向量.

圖4 圖像特征提取與結(jié)果分類流程框圖

圖5 5×3 分塊中每個(gè)子塊的權(quán)重設(shè)置

圖6 多尺度分區(qū)圖

圖5中,對(duì)嘴、鼻這類分類識(shí)別貢獻(xiàn)較大的區(qū)域給予權(quán)值3,對(duì)眼睛、眉這類分類識(shí)別貢獻(xiàn)一般的區(qū)域給予權(quán)值2,對(duì)于額頭這類分類識(shí)別貢獻(xiàn)較小的其他區(qū)域權(quán)值為1.

以圖6為例,先對(duì)圖像進(jìn)行3×3 小尺度分區(qū),再由2×2個(gè)3×3 尺度分區(qū)窗口組成一個(gè)個(gè)6×6 尺度窗口得到下一層級(jí)的灰度統(tǒng)計(jì)直方圖;要注意選擇合適的尺度窗口搭配,首先不可以擴(kuò)展到整個(gè)圖像大小的尺度窗口,以剛好大于分塊之后的子塊大小為最佳,可以在不增加太多冗余信息的同時(shí)最大程度的包括整體相關(guān)信息;其次,最小的尺度分區(qū)也不宜過(guò)小,以分塊的尺度為最佳,可以很好的表述局部信息;最后,尺度窗口的數(shù)目不宜太多,太多會(huì)導(dǎo)致維數(shù)太大,不利于下一步的工作.

通過(guò)本方法提取的特征向量在加強(qiáng)局部重點(diǎn)區(qū)域的同時(shí)又不忽略整體的相關(guān)性,較好地改善了單一尺度LBP 造成的整體信息可能被切割的缺點(diǎn),并且較好地增強(qiáng)了局部信息.若避免所生成的特征向量維數(shù)過(guò)大,可采用PCA的方法進(jìn)行降維,來(lái)降低計(jì)算的復(fù)雜度.

2.2 分類器的選擇

SVM是在1995年由Corinna Cortes 等首次提出的一種學(xué)習(xí)能力很強(qiáng)的淺層學(xué)習(xí)算法,在解決高維識(shí)別上具備明顯優(yōu)勢(shì),比神經(jīng)網(wǎng)絡(luò)能在學(xué)習(xí)樣本比較少的情況下實(shí)現(xiàn)很好的機(jī)器學(xué)習(xí),訓(xùn)練速度快.因此,本文采用SVM 用于疼痛表情分類,同時(shí)為保證實(shí)驗(yàn)結(jié)果不因分類器而出現(xiàn)誤差,將所有的實(shí)驗(yàn)都是在多項(xiàng)式核函數(shù)階數(shù)d=3的SVM 分類器下完成分類.

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證本文設(shè)計(jì)的方法可行與有效,仿真的實(shí)驗(yàn)條件為Windows 8.1 操作系統(tǒng)、Intel Pentium Dual CPU、主頻為1.86 GHz、內(nèi)存8 GB,用Visual Studio 2015+OpenCV 3.4.0 進(jìn)行編程.然后利用本文設(shè)計(jì)的特征提取方法,在自建的疼痛表情數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn),分別使用疼痛表情和平靜表情特征數(shù)據(jù)樣本,進(jìn)行10 組實(shí)驗(yàn),得到每一組的識(shí)別率后求得其平均識(shí)別率.最后分析采用本文的特征提取方法與傳統(tǒng)的特征提取方法、不同的分塊模式、不同的分區(qū)模式以及后兩者結(jié)合對(duì)疼痛表情識(shí)別率的影響的情況.

3.1 數(shù)據(jù)庫(kù)的建立

依據(jù)被測(cè)人員表情程度的變化來(lái)判斷外部刺激力度的變化,因此獲取準(zhǔn)確的實(shí)驗(yàn)表情是本課題的關(guān)鍵技術(shù)的一個(gè)重要指標(biāo).因此課題組將使用本實(shí)驗(yàn)室的開通經(jīng)絡(luò)頭痛治療儀治療在過(guò)程中,對(duì)被測(cè)人員拍攝了一系列的視頻,讀取視頻幀圖像,并對(duì)照面部編碼系統(tǒng)(FACS)和疼痛強(qiáng)度(PSPI)分?jǐn)?shù)的表達(dá)式篩選出了不同狀態(tài)下的面部表情圖像,建立了一個(gè)痛苦表情數(shù)據(jù)庫(kù).

疼痛強(qiáng)度計(jì)算的數(shù)學(xué)模型表達(dá)式為:

式中,AU4表示眉毛聚攏、AU6和AU7為眼窩收緊、AU9和AU10為提肌收縮以及AU43為閉眼;其中AU43 取值為0 或1表示睜眼或者閉眼,其他運(yùn)動(dòng)單元取值范圍均是0～5,PSPI的取值范圍為0～16.

圖7是一個(gè)評(píng)分示例,在該圖中可看出疼痛強(qiáng)度PSPI=4+max(4,3)+max(2,4)+1=13.

圖7 面部活動(dòng)單元疼痛評(píng)分

所建數(shù)據(jù)庫(kù)包含3 類圖像:平靜、一般疼痛、非常疼痛,每類包括10 名男性和10 名女性,每個(gè)人每類表情各由10 張圖像構(gòu)成,共計(jì)600 張圖像.這些視頻是在有充足光照的密閉房間里拍攝的,將所有人臉圖像經(jīng)過(guò)眼睛定位、標(biāo)準(zhǔn)、剪切、去噪,最后歸一化到112×92,預(yù)處理后的圖像作為實(shí)驗(yàn)的數(shù)據(jù)樣本.需要指出的是,人的面部表情很豐富,為了實(shí)驗(yàn)結(jié)果的精確,在視頻幀圖像的篩選階段就需要最大化的去篩選出其他出現(xiàn)的表情的干擾(尤其是與疼痛表情特征相似的表情如哭、生氣等).列出3 類表情圖像,如圖8.

3.2 實(shí)驗(yàn)方法與步驟

實(shí)驗(yàn)使用90個(gè)疼痛表情和180個(gè)平靜表情圖像用于下面的實(shí)驗(yàn).

具體如下:

(1)從自建表情庫(kù)中隨機(jī)選取90 張?zhí)弁幢砬閳D像和180 張平靜表情圖像,等分成10 份,每份包含9個(gè)疼痛表情圖像和18個(gè)平靜表情圖像,取其中的9 份作為訓(xùn)練樣本集,剩下的1 份作為測(cè)試樣本集.

(2)對(duì)每一個(gè)樣本提取LBP 特征,對(duì)得到LBP 特征圖進(jìn)行分塊,將其分成X×Y個(gè)子塊,對(duì)每一個(gè)子塊求取灰度直方圖并加權(quán)后串接各子塊的灰度直方圖,得到該樣本的特征向量,采用LBP 算子提取的特征向量維數(shù)為59×X×Y,若該維數(shù)大于2×(90+180)=540,采用PCA 方法降維到d(d<540).

(3)將圖像進(jìn)行多尺度的分區(qū),統(tǒng)計(jì)特征直方圖后,串接各分區(qū)特征直方圖作為特征向量.當(dāng)其特征維數(shù)大于整幅圖像維數(shù)的1/4 時(shí),截止到當(dāng)前的分區(qū)尺度.

(4)串接步驟(2)和(3)的特征直方圖作為整幅圖像的特征向量,直至得到所有表情樣本的特征向量.

(5)將步驟(4)得到的9 組訓(xùn)練樣本集的特征向量作為訓(xùn)練樣本輸入SVM 分類器訓(xùn)練,再用最后一組測(cè)試樣本輸入SVM 分類器觀察計(jì)算出分類識(shí)別率,并記錄識(shí)別耗費(fèi)的時(shí)間.如27個(gè)測(cè)試樣本中有22個(gè)樣本被正確分類,則識(shí)別率為22/27=81.48%.

(6)對(duì)步驟(5)重復(fù)10 次,計(jì)算10 次實(shí)驗(yàn)的平均識(shí)別率和平均識(shí)別時(shí)間.

圖8 自建表情庫(kù)中的3 類表情圖像樣例

3.3 結(jié)果與分析

本方法和部分傳統(tǒng)的特征提取方法的分類識(shí)別率情況,見表1.

由表1中的數(shù)據(jù)結(jié)果可看出:

(1)采用原始的LBP、Gabor 小波、AAM 特征提取方法對(duì)疼痛和安靜的平均分類識(shí)別率分別是82.59%、86.30%、91.48%,而本文的特征提取方法的平均分類識(shí)別率是95.56%,優(yōu)于單獨(dú)的LBP和Gabor 小波以及AAM 特征提取方法.

(2)不足之處,表中識(shí)別率在88.89%～100%,表明本方法的識(shí)別率有一定的波動(dòng).

表1 平靜與疼痛的幾種分類識(shí)別率(%)

通過(guò)分析研究,由于人的表情很豐富,出現(xiàn)了與疼痛表情相近的其他表情,需在篩選樣本的表情時(shí)參考專業(yè)醫(yī)護(hù)人員的判斷,融合被測(cè)人員的主觀表達(dá)和疼痛度量公式以及疼痛度量表等方法,更準(zhǔn)確的對(duì)樣本做出篩選,挑選出精確地有利于實(shí)驗(yàn)的疼痛表情數(shù)據(jù)樣本.

表1中4 種方法的平均時(shí)間分別為:5.27 s,3.25 s,4.26 s,8.93 s,可看出采用本文的特征提取方法平均識(shí)別的時(shí)間長(zhǎng)于其它方法.原因是在采用特征融合時(shí),計(jì)算比單獨(dú)的特征提取方法更耗時(shí),包括多個(gè)尺度分區(qū)的直方圖的計(jì)算,分塊加權(quán)直方圖的計(jì)算,均花費(fèi)了一定的時(shí)間,但由于進(jìn)行了PCA 特征降維,其識(shí)別時(shí)間在可接受范圍內(nèi),表明可行性和優(yōu)越性.

本方法結(jié)合LBP 分塊加權(quán)和多尺度分區(qū)來(lái)獲得比單一方法更好的特征提取,表2是通過(guò)不同分塊和不同尺度分區(qū)搭配獲取的識(shí)別率情況表.

由表2中識(shí)別的結(jié)果可看出:

(1)不分塊不分區(qū)識(shí)別率是82.59%,為最低;采取5×3 分塊加權(quán)級(jí)聯(lián)10×6和40×24 多尺度分區(qū)可得到95.56%的識(shí)別率為最高;

原因:主要是不分區(qū)不分塊的LBP的直方圖只用一個(gè)59 維的特征直方圖表示待測(cè)圖像的面部表情,由于維數(shù)較低不可避免的造成一些細(xì)節(jié)信息的丟失.

(2)只分塊不分區(qū)的識(shí)別率最高為88.30%,只分區(qū)不分塊的識(shí)別率最高為90.32%,都低于兩者級(jí)聯(lián)后的識(shí)別率95.56%.

原因:在兩者級(jí)聯(lián)后的特征既能很好的描述局部信息,又包括相關(guān)聯(lián)區(qū)域的整體信息,彌補(bǔ)了單一特征提取的造成的信息損失.

(3)多尺度分區(qū)的窗口不宜太多,太多會(huì)使信息冗余,特征維數(shù)增大,會(huì)造成識(shí)別時(shí)間和識(shí)別錯(cuò)誤的增加.

通過(guò)以上實(shí)驗(yàn)本方法在基于階數(shù)d=3的多項(xiàng)式核函數(shù)SVM 分類器上取得了95.56%的平均識(shí)別率,高于單獨(dú)的LBP和Gabor 小波以及AAM 特征提取方法;并且采取分塊加權(quán)級(jí)聯(lián)多尺度分區(qū)可得到的識(shí)別率與單獨(dú)的分塊加權(quán)方法和單獨(dú)的多尺度分區(qū)特征提取方法相比較是最高的.表明文中所采取的基于LBP和SVM的疼痛表情識(shí)別方法是有效、可行的.

表2 不同分塊和分區(qū)結(jié)合的識(shí)別情況匯總表

4 結(jié)論與展望

文中采用的基于LBP和SVM的疼痛表情識(shí)別方法,是在LBP 特征提取方法的基礎(chǔ)上加以改進(jìn),融合了多尺度分區(qū)和加權(quán)分塊的優(yōu)點(diǎn)而設(shè)計(jì),且在自建的疼痛表情數(shù)據(jù)庫(kù)中,對(duì)平靜和疼痛進(jìn)行了分類識(shí)別,通過(guò)對(duì)表情庫(kù)中選取的270 張圖片的實(shí)驗(yàn),得到的平均識(shí)別率高于3 種傳統(tǒng)和融合之前單一的特征提取方法,并且在采取分塊加權(quán)融合多尺度分區(qū)的特征提取方法后,得到的識(shí)別率為最高.結(jié)果表明:所采取的基于LBP和SVM的疼痛表情識(shí)別方法是行之有效,為課題組的進(jìn)一步研究工作打下了基礎(chǔ),也為目前對(duì)疼痛表情的識(shí)別與研究提供了一條有效的途徑,且在對(duì)表達(dá)主觀意識(shí)有障礙病人的臨床輔助診斷起到重要的作用.下一步的工作是,引入多分類器進(jìn)行疼痛程度分級(jí)識(shí)別,并提高魯棒性,對(duì)識(shí)別過(guò)程中出現(xiàn)的其他表情如哭泣等表情有效的區(qū)分.