疼痛自動(dòng)識(shí)別綜述①

支瑞聰, 周才霞

(北京科技大學(xué) 計(jì)算機(jī)與通信工程學(xué)院, 北京 100083)

國(guó)際疼痛研究協(xié)會(huì)將“疼痛”定義為“與實(shí)際或潛在的組織損傷相關(guān)的令人不快的感覺(jué)和情緒體驗(yàn), 或?qū)Υ祟悡p傷的描述”.疼痛在醫(yī)學(xué)上被當(dāng)作一個(gè)重要指標(biāo)[1], 正確地判斷疼痛能夠讓治療更加有效, 但目前沒(méi)有直接高效檢測(cè)疼痛的簡(jiǎn)單方法.疼痛檢測(cè)的黃金準(zhǔn)則是病人的“自我報(bào)告”[2-4], 然而這不是對(duì)所有病人都適用的一種方法, 例如對(duì)于嬰兒、具有語(yǔ)言障礙的人[5]來(lái)說(shuō), 這種方法就無(wú)法實(shí)施.對(duì)于此類患者, 目前由其代理人, 如專業(yè)的醫(yī)療人士、嬰兒的父母等, 來(lái)評(píng)估疼痛并進(jìn)行治療[6].這種方法帶來(lái)的另一個(gè)問(wèn)題是評(píng)估的不連續(xù)性和不一致性, 而且需要代理人具有非常專業(yè)的醫(yī)療知識(shí), 這對(duì)勞動(dòng)力的需求非常高[7].為了克服上述問(wèn)題, 很多研究人員都開(kāi)展了疼痛自動(dòng)識(shí)別方法的探索中, 特別是UNBC-McMaster (McMaster University and University of Northern British Columbia)肩痛數(shù)據(jù)庫(kù)[8]和BioVid 熱痛數(shù)據(jù)庫(kù)[9]的公布, 推動(dòng)了這一領(lǐng)域的發(fā)展.

疼痛發(fā)生時(shí)會(huì)在臉上顯露出來(lái)以表達(dá)經(jīng)歷痛苦的感覺(jué), 臉上顯露的疼痛表情還可以提供有關(guān)疼痛強(qiáng)度的信息.盡管自我報(bào)告的疼痛和面部疼痛表達(dá)之間的相關(guān)性存在爭(zhēng)議[10], 但許多文獻(xiàn)發(fā)現(xiàn)這兩者之間存在顯著的關(guān)系[11,12].然而從面部圖像或視頻自動(dòng)評(píng)估疼痛水平是相當(dāng)具有挑戰(zhàn)性的.這不僅是因?yàn)樵谔弁磁c非疼痛面部框架之間缺乏足夠的視覺(jué)差異來(lái)發(fā)現(xiàn)與疼痛相關(guān)的特征, 也因?yàn)榇嬖谕獠恳蛩貙?dǎo)致疼痛表達(dá)的復(fù)雜性, 如“痛著微笑”現(xiàn)象、性別差異(男性與女性的體驗(yàn)方式)等對(duì)疼痛的影響[13-15].因此除了利用面部圖像的空間[16]和時(shí)間信息[17]外, 面部質(zhì)量[18-23]和面部捕獲模態(tài)[24]、頭部姿勢(shì)[25]、身體運(yùn)動(dòng)[26-28]、語(yǔ)音[29-31]和生理指標(biāo)[27,32]等許多其他因素也在疼痛自動(dòng)評(píng)估中起了重要作用[33].

本文內(nèi)容安排如下: 第1 節(jié)介紹了疼痛特征的提取方法, 并據(jù)此將現(xiàn)有的代表性研究分為基于行為的、基于語(yǔ)音的、基于生理的、基于多模態(tài)的, 這是本文的主體章節(jié); 第2 節(jié)中介紹了與疼痛研究相關(guān)常見(jiàn)的數(shù)據(jù)庫(kù), 以及該數(shù)據(jù)庫(kù)的獲取方式、規(guī)模; 第3 節(jié)介紹了疼痛識(shí)別任務(wù)中使用到的常見(jiàn)分類器; 第4 節(jié)說(shuō)明了疼痛自動(dòng)識(shí)別領(lǐng)域發(fā)展的挑戰(zhàn)及方向; 最后在第5 節(jié)中進(jìn)行總結(jié).

1 特征提取

一個(gè)疼痛自動(dòng)識(shí)別模型的設(shè)計(jì)主要分為以下過(guò)程(圖1): 首先對(duì)選取的原始數(shù)據(jù)進(jìn)行裁剪、旋轉(zhuǎn)等預(yù)處理以減少干擾信息, 隨后根據(jù)實(shí)驗(yàn)方案對(duì)預(yù)處理后數(shù)據(jù)提取特征, 然后將提取出的特征輸入到預(yù)先選擇或設(shè)計(jì)好的分類器中進(jìn)行訓(xùn)練學(xué)習(xí), 對(duì)分類器的輸出結(jié)果進(jìn)行各項(xiàng)指數(shù)計(jì)算來(lái)判斷這個(gè)疼痛自動(dòng)識(shí)別模型的好壞.本文主要根據(jù)所提取的特征將近幾年該領(lǐng)域的研究成果進(jìn)行分類匯總.我們通過(guò)查看醫(yī)療專業(yè)人員對(duì)成人、嬰兒進(jìn)行疼痛評(píng)估的量表(如NIPS、COMFORT量表等[34,35]), 將特征分成基于行為的、基于語(yǔ)音的、基于生理的以及多模態(tài)的來(lái)進(jìn)行介紹(圖2).

圖1 疼痛自動(dòng)識(shí)別模型的設(shè)計(jì)

1.1 基于行為的特征

與疼痛相關(guān)的評(píng)判標(biāo)準(zhǔn)中, 行為的變化是肉眼可見(jiàn)的明顯變化之一, 且記錄過(guò)程簡(jiǎn)單.因此, 有大量文獻(xiàn)基于這方面進(jìn)行探討.我們將行為方面的特征分為基于面部表情的和基于身體運(yùn)動(dòng)的來(lái)進(jìn)行介紹.

1.1.1 基于面部表情的特征

面部表情是疼痛的最常見(jiàn)的指標(biāo)之一[36], 所有目前公開(kāi)發(fā)布的疼痛相關(guān)數(shù)據(jù)庫(kù)面部表情都是必不可少的一部分.疼痛的面部表情被定義為與疼痛刺激相關(guān)的面部肌肉的運(yùn)動(dòng)和扭曲, 面部運(yùn)動(dòng)可以由活動(dòng)單元(AU)描述[37].與成人疼痛相關(guān)的AU[38]包括眉毛下垂(AU4), 臉頰抬高(AU6), 眼瞼收緊(AU7), 鼻子皺紋(AU9), 上唇抬高(AU10), 斜唇抬起(AU12), 水平唇拉伸(AU20), 嘴唇分離(AU25), 下頜下垂(AU26), 嘴拉伸(AU27)和閉眼(AU43).與嬰兒疼痛相關(guān)的AU[39]包括鼻唇溝的加深, 眉毛下垂, 眼睛變窄, 垂直和水平的嘴唇伸展, 唇部噘起, 唇部開(kāi)口, 舌頭突出, 繃緊的舌頭和下巴顫動(dòng).

圖2 疼痛自動(dòng)識(shí)別方法框架

根據(jù)特征提取的對(duì)象的差異, 將基于面部表情識(shí)別的方法分為基于靜態(tài)圖像的、基于序列的和基于面部動(dòng)作編碼系統(tǒng)(Facial Action Coding System,FACS)的.基于靜態(tài)圖像的特征提取可能會(huì)丟失時(shí)間上的一些與疼痛相關(guān)的信息, 造成識(shí)別率低下; 基于序列的特征同時(shí)獲得空間信息和時(shí)間信息, 但因此增加了運(yùn)算復(fù)雜度; 基于靜態(tài)圖像和基于序列的都是對(duì)全臉進(jìn)行分析的, 而基于FACS 的是對(duì)人臉肌肉區(qū)域進(jìn)行分析, 檢測(cè)是否發(fā)生與疼痛相關(guān)的活動(dòng)單元.

1.1.1.1 基于靜態(tài)圖像的特征

對(duì)靜態(tài)圖像進(jìn)行分析時(shí), 確定人臉位置后, 由于我們無(wú)法使用時(shí)間和空間上的信息, 因此我們利用圖像標(biāo)志點(diǎn)間的關(guān)系、像素點(diǎn)間的關(guān)系等來(lái)構(gòu)造特征向量進(jìn)行疼痛識(shí)別, 其中基于標(biāo)志點(diǎn)之間關(guān)系的即為幾何特征; 基于像素點(diǎn)間關(guān)系的即為外觀特征.基于幾何特征的方法是早期的人臉識(shí)別算法[40-42], 但由于疼痛表達(dá)的復(fù)雜性, 在靜態(tài)圖像上利用幾何特征來(lái)進(jìn)行疼痛識(shí)別十分困難, 相關(guān)文獻(xiàn)幾乎沒(méi)有.但是加上時(shí)間信息或者紋理特征的幾何特征識(shí)別性比較理想, 會(huì)在后面進(jìn)行介紹.本節(jié)將基于外觀的特征分為基于像素點(diǎn)間相對(duì)位置和基于像素點(diǎn)間數(shù)學(xué)變化來(lái)進(jìn)行介紹.

1.1.1.1.1 基于像素點(diǎn)間相對(duì)位置的特征

記錄像素點(diǎn)間相對(duì)位置的常用特征是局部二值模式(Local Binary Pattern, LBP), 它是一種用來(lái)描述圖像局部紋理特征的算子, 計(jì)算簡(jiǎn)單, 所以LBP 以及LBP 的變體被廣泛應(yīng)用于人臉特征提取[43-45].原始的LBP 算子定義為在 3×3的窗口內(nèi), 以窗口中心像素為閾值, 將相鄰的8 個(gè)像素的灰度值與其進(jìn)行比較, 若周圍像素值大于中心像素值, 則該像素點(diǎn)的位置被標(biāo)記為1, 否則為0.這樣, 3×3鄰域內(nèi)的8 個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8 位二進(jìn)制數(shù)(通常轉(zhuǎn)換為十進(jìn)制數(shù)即LBP 碼, 共256 種), 即得到該窗口中心像素點(diǎn)的LBP 值, 并用這個(gè)值來(lái)反映該區(qū)域的紋理信息.這種LBP 算子只覆蓋了一個(gè)固定范圍內(nèi)的小區(qū)域, 可以通過(guò)將 3×3鄰域換為圓形區(qū)域來(lái)改進(jìn); 原始LBP 算子具有灰度不變性不具有旋轉(zhuǎn)不變形, 通過(guò)不斷旋轉(zhuǎn)圓形鄰域得到一系列初始定義的LBP 值, 取其最小值作為該鄰域的LBP 值來(lái)保證旋轉(zhuǎn)不變性.

Aung 等[29]為了檢測(cè)Emopain 數(shù)據(jù)庫(kù)疼痛存在與否, 采用LBP 特征和留一法交叉驗(yàn)證來(lái)訓(xùn)練SVM, 識(shí)別精度相比UNBC 肩痛數(shù)據(jù)庫(kù)較低, 這可以通過(guò)數(shù)據(jù)集性質(zhì)之間的差異來(lái)解釋: Emopain 數(shù)據(jù)庫(kù)由長(zhǎng)時(shí)間遭受慢性疼痛的參與者組成, 他們的許多表達(dá)被抑制,這進(jìn)一步使識(shí)別任務(wù)復(fù)雜化, 也體現(xiàn)了自然疼痛表情識(shí)別的難度很大.Nanni 等[46]提出使用LBP 紋理描述符及其變體(局部三元模式Local Ternary Pattern、細(xì)長(zhǎng)二元模式Elongated Binary Pattern 和細(xì)長(zhǎng)三元模式Elongated Ternary Pattern)檢測(cè)嬰兒疼痛表達(dá)的方法.在預(yù)處理階段, 對(duì)圖像進(jìn)行調(diào)整大小、對(duì)齊、裁剪以獲得精確的面部區(qū)域, 并將其劃分為 25 ×25維的塊或單元格.為了選擇最有代表的單元格, 將SFFS 特征選擇算法應(yīng)用于訓(xùn)練集, 結(jié)果表明將整個(gè)圖像分成單元格可以改善性能.Li 等[47]使用約束局部模型(CLM)進(jìn)行嬰兒不適檢測(cè), 將面部形狀與檢測(cè)到的面部區(qū)域相對(duì)應(yīng).之后, 通過(guò)在相似性標(biāo)準(zhǔn)化外觀(SAPP)上使用細(xì)長(zhǎng)局部二值模式(ELBP)來(lái)提取表達(dá)特征.

由于數(shù)據(jù)收集和標(biāo)記的困難, 在實(shí)際應(yīng)用中特定人員數(shù)據(jù)非常稀少.從稀疏數(shù)據(jù)中學(xué)習(xí)可能會(huì)嚴(yán)重過(guò)度擬合, 因此Chen 等[48]提出通過(guò)遷移學(xué)習(xí)來(lái)學(xué)習(xí)特定于人的面部表情模型.通過(guò)傳遞來(lái)自其他人的信息知識(shí), 它允許我們僅用少量某個(gè)人的特定數(shù)據(jù)來(lái)學(xué)習(xí)針對(duì)新對(duì)象的準(zhǔn)確人的特定模型.實(shí)驗(yàn)在UNBC 肩痛數(shù)據(jù)庫(kù)上測(cè)試, 圓形區(qū)域的LBP 算子用作實(shí)驗(yàn)中的面部圖像特征, 實(shí)驗(yàn)結(jié)果相比較Lucey 等[8]稍有提升, 而且訓(xùn)練時(shí)間顯著縮短.

1.1.1.1.2 基于像素點(diǎn)數(shù)學(xué)變化的特征

像素點(diǎn)數(shù)學(xué)變化中最常見(jiàn)的是利用主動(dòng)外觀模型(Active Appearance Model, AAM)和離散余弦變換(Discrete Cosine Transform, DCT).AAM 是廣泛應(yīng)用于模式識(shí)別領(lǐng)域的一種特征點(diǎn)提取方法[8,49].基于AAM 的人臉特征定位方法在建立人臉模型過(guò)程中, 不但考慮局部特征信息, 而且綜合考慮到全局形狀和紋理信息, 通過(guò)對(duì)人臉形狀特征和紋理特征進(jìn)行統(tǒng)計(jì)分析, 建立人臉混合模型, 即為最終對(duì)應(yīng)的AAM 模型[50].DCT 變換是與傅里葉變換相關(guān)的一種變換, 它與離散傅里葉變換類似, 但是只使用實(shí)數(shù).

Lucey 等[8]利用AAM 形狀和外觀來(lái)跟蹤患者的面部, 使用跟蹤到的信息從面部推導(dǎo)出相似的歸一化形狀(SPTS)和規(guī)范的歸一化外觀(CAPP)作為特征.Rupenga 等[51]用AAM 提取出特征, 并在UNBC 數(shù)據(jù)庫(kù)上評(píng)估ELM(超限學(xué)習(xí)機(jī))和SVM 兩種分類器在疼痛事件檢測(cè)中的有效性.Kaltwang 等[52]提出基于面部表情對(duì)疼痛進(jìn)行持續(xù)疼痛估計(jì)的模型中將離散余弦變換(DCT)應(yīng)用于對(duì)齊的面部圖像而獲得外觀特征.Agrawal 等[53]首先提取面部區(qū)域, 再用Gabor 過(guò)濾器提取特征.Fotiadou 等[54]討論了使用AAM 檢測(cè)急性疼痛過(guò)程中嬰兒的疼痛表現(xiàn), 從跟蹤的面部提取SPTS、SAPP(相似性標(biāo)準(zhǔn)化外觀)和CAPP.8 名嬰兒的15 個(gè)視頻被用于構(gòu)建自動(dòng)化不適檢測(cè)系統(tǒng), 結(jié)果表明所提出的系統(tǒng)可以自動(dòng)檢測(cè)不適(AUC=98%).

基于AAM 模型的疼痛檢測(cè)算法的限制是面部標(biāo)注問(wèn)題, 當(dāng)已知面部的初始形狀偏差太大、外觀模型估計(jì)失敗時(shí), AAM 搜索不到一個(gè)很好的匹配來(lái)標(biāo)注面部[55], AAM 的另一個(gè)限制是其訓(xùn)練階段計(jì)算復(fù)雜性較高.

此外, 進(jìn)行逐幀標(biāo)記的成本非常大, 因此Ashraf 等[49]研究序列級(jí)分類情況.提供了一種利用AAM 模型非剛性配準(zhǔn)的方法來(lái)分離外觀和形狀分量, 利用AAM模型提取出SPTS、CAPP 和SAPP.在UNBC 肩痛數(shù)據(jù)庫(kù)上利用SVM 分類器進(jìn)行分類, 實(shí)驗(yàn)結(jié)果為對(duì)于幀級(jí)疼痛檢測(cè), 正確率為82%, 誤報(bào)率為30%; 序列水平標(biāo)記的相應(yīng)比率分別為77%和44%.結(jié)果表明, 學(xué)習(xí)幀級(jí)標(biāo)簽最適合于幀級(jí)檢測(cè)疼痛.然而, 即使在他們未被直接訓(xùn)練的任務(wù)上進(jìn)行評(píng)估, 序列水平訓(xùn)練的分類也比幾率好得多.這個(gè)結(jié)果推動(dòng)自動(dòng)疼痛識(shí)別的研究人員在未來(lái)標(biāo)記數(shù)據(jù)集時(shí)應(yīng)該如何使用資源問(wèn)題的探索.繼續(xù)在幀級(jí)標(biāo)記確保學(xué)習(xí)的數(shù)據(jù)集的大小適中或采用混合標(biāo)記策略在幀中標(biāo)記一些部分, 在序列級(jí)別標(biāo)記某些部分, 以便在更大的數(shù)據(jù)集中學(xué)習(xí).

基于幀的疼痛自動(dòng)識(shí)別方法匯總見(jiàn)表1.

1.1.1.2 基于序列的特征

基于靜態(tài)圖像的特征丟失了時(shí)間信息, 因此我們將靜態(tài)圖像加上時(shí)間信息組合成序列, 并從其中提取特征, 從而達(dá)到更好的識(shí)別效果.在序列上提取特征的方法主要包括光流法、多示例學(xué)習(xí)、時(shí)空局部描述符以及深度學(xué)習(xí)等.

1.1.1.2.1 光流法提取的特征

光流是一種眾所周知的運(yùn)動(dòng)估計(jì)方法, 其通過(guò)直接估計(jì)連續(xù)視頻幀上的像素速度來(lái)工作.它依據(jù)亮度守恒原理, 并提供密集的像素到像素的對(duì)應(yīng)關(guān)系.將光流法用于人臉提取相關(guān)特征的實(shí)驗(yàn)已有很多, Zhao 等在[56]中應(yīng)用了光流法和累積光流法取得很好的實(shí)驗(yàn)結(jié)果, 表明光流法適用于該領(lǐng)域.

Zamzmi 等[57]提出光流法來(lái)檢測(cè)視頻中嬰兒的疼痛表現(xiàn).在預(yù)處理階段, 在每個(gè)幀中檢測(cè)嬰兒的面部并提取68 個(gè)面部點(diǎn).然后將這些點(diǎn)用于對(duì)齊面部, 將其裁剪, 并將其分成4 個(gè)區(qū)域.為了提取與疼痛相關(guān)的特征, 在連續(xù)幀之間計(jì)算光學(xué)流動(dòng)矢量并用于估計(jì)光學(xué)應(yīng)變量值, 以測(cè)量面部表情發(fā)生期間的面部形變.然后,將峰值檢測(cè)器應(yīng)用于應(yīng)變曲線, 以找到對(duì)應(yīng)于面部表情的最大應(yīng)變量值.

與疼痛相關(guān)的數(shù)據(jù)庫(kù)在采集過(guò)程中保持了亮度恒定, 保證照明條件良好且不變, 因此數(shù)據(jù)比較適合采用光流法處理.但是在現(xiàn)實(shí)情況下光流法的亮度恒定不變和小運(yùn)動(dòng)假設(shè)不容易滿足, 時(shí)效性與精確性難以兼得.在對(duì)于運(yùn)動(dòng)場(chǎng)景和目標(biāo)無(wú)有效認(rèn)知、運(yùn)動(dòng)模型難以預(yù)測(cè)、目標(biāo)特征無(wú)法確定的情況下, 若使用光流法構(gòu)建稠密光流場(chǎng), 并且使用金字塔算法補(bǔ)充對(duì)于大幅度運(yùn)動(dòng)的檢測(cè)精度, 可以有效提高檢測(cè)精度.但是, 這樣的算法復(fù)雜度很高, 計(jì)算量巨大, 時(shí)效性較差.

1.1.1.2.2 多示例學(xué)習(xí)提取的特征

多示例學(xué)習(xí)(MIL)[58]可以被描述為: 假設(shè)訓(xùn)練數(shù)據(jù)集中的每個(gè)數(shù)據(jù)是一個(gè)包(bag), 每個(gè)包都是一個(gè)示例(instance)的集合, 每個(gè)包都有一個(gè)訓(xùn)練標(biāo)記, 如果包中存在一個(gè)以上正標(biāo)記的示例, 則包被標(biāo)為正標(biāo)記; 而對(duì)于一個(gè)負(fù)標(biāo)記的包, 其中所有的示例均為負(fù)標(biāo)記.通過(guò)定義可以看出, 與監(jiān)督學(xué)習(xí)相比, 多示例學(xué)習(xí)數(shù)據(jù)集中的樣本示例的標(biāo)記并不都是已知的, 而監(jiān)督學(xué)習(xí)的訓(xùn)練樣本集中, 每個(gè)示例都被標(biāo)記; 與非監(jiān)督學(xué)習(xí)相比,多示例學(xué)習(xí)僅僅只有包的標(biāo)記是已知的, 而非監(jiān)督學(xué)習(xí)樣本所有示例均沒(méi)有標(biāo)記.多示例學(xué)習(xí)是一種用于解決不同的弱監(jiān)督問(wèn)題的流行的建?？蚣?

表1 基于幀的疼痛自動(dòng)識(shí)別方法匯總

Sikka 等[59]提出一種多段結(jié)合的多示例學(xué)習(xí)方法,每個(gè)序列表示為包含多個(gè)段的包, 這些片段通過(guò)序列的多個(gè)聚類或運(yùn)行多尺度時(shí)間掃描窗口生成, 并且使用詞袋(BoW)來(lái)表示.這種方法數(shù)據(jù)的表示不是作為單獨(dú)的幀而是作為段來(lái)結(jié)合時(shí)間動(dòng)態(tài), 而且做到僅使用序列級(jí)正確標(biāo)簽來(lái)檢測(cè)和定位疼痛的幀, 在試驗(yàn)過(guò)程中提取了多個(gè)段, 這適用于信號(hào)在視頻中具有不確定的時(shí)間位置和持續(xù)時(shí)間的情況.Ruiz 等[60]提出了新的多實(shí)例動(dòng)態(tài)序數(shù)隨機(jī)場(chǎng)(MI-DORF)模型, 這個(gè)模型將袋內(nèi)的實(shí)例標(biāo)簽視為潛在的序數(shù)狀態(tài).MIL 假設(shè)通過(guò)將與袋和實(shí)例標(biāo)簽相關(guān)的高階基數(shù)潛力結(jié)合到能量函數(shù)中來(lái)建模, 這種方法充分考慮目標(biāo)數(shù)據(jù)中的時(shí)間和序數(shù)兩種類型的結(jié)構(gòu).

UNBC、EmoPain 數(shù)據(jù)庫(kù)由人工標(biāo)注時(shí), 因數(shù)據(jù)量巨大, 難免會(huì)出現(xiàn)一些錯(cuò)誤, 是典型的弱監(jiān)督學(xué)習(xí)問(wèn)題,這類問(wèn)題適合應(yīng)用多示例學(xué)習(xí)來(lái)建模解決.多示例學(xué)習(xí)中存在的問(wèn)題就是示例標(biāo)簽的不穩(wěn)定性, 也就是說(shuō),如果訓(xùn)練集出現(xiàn)了輕微的變動(dòng)(例如數(shù)量略微增加和減少), 那么輸出的示例標(biāo)簽就會(huì)出現(xiàn)不穩(wěn)定的情況.

1.1.1.2.3 時(shí)空描述符特征

僅通過(guò)面部表情的靜態(tài)圖像來(lái)準(zhǔn)確判斷疼痛強(qiáng)度十分困難, 可以利用靜態(tài)圖像的上下文信息[61], 也就是在靜態(tài)圖像的時(shí)間序列、空間序列上提取相關(guān)特征.

Khan 等[62]使用Viola-Jones 算法[63]檢測(cè)視頻中的人臉, 將檢測(cè)到的面部分成兩個(gè)相等的部分, 上面部分包括鼻子上部、眼睛和皺紋區(qū)域, 下部包括嘴部區(qū)域和鼻子下部, 從上下部分分別提取PHOG(金字塔直方圖)和PLBP(金字塔局部二進(jìn)制模式)特征, 并將它們連接起來(lái), 形成最終的特征向量, PLBP 是LBP 描述符的基于金字塔的空間表示.

Yang 等[64]提出的方法包括5 個(gè)主要步驟.首先根據(jù)眼睛坐標(biāo)和其他面部標(biāo)注檢測(cè)、分割和對(duì)齊人臉圖像.然后, 分別提取來(lái)自視頻幀的空間紋理特征和來(lái)自視頻序列的時(shí)空特征, 即LBP, 局部相位量化(LPQ)和二值化統(tǒng)計(jì)圖像特征(BSIF), 它們都是使用3 個(gè)正交平面(TOP)從視頻中提取的.使用早期融合將得到的特征向量組合, 作為SVM 的輸入, 從而判別疼痛的表達(dá)是否存在于序列中.Werner 等[65]提出了一個(gè)新的特征集來(lái)描述面部動(dòng)作及其動(dòng)態(tài), 將其稱為面部活動(dòng)描述符.這些描述符通過(guò)從時(shí)間序列及其第一和第二導(dǎo)數(shù)中提取特征, 將特征信號(hào)(幀級(jí)特征的時(shí)間序列)濃縮成信號(hào)描述符.新提出來(lái)的特征集的維度較低, 而且運(yùn)用了時(shí)間上的信息.Bourou 等[66]基于Openface 跟蹤面部和檢測(cè)標(biāo)注點(diǎn)并估計(jì)頭部姿勢(shì), 從感興趣的區(qū)域提取若干距離及灰度、顏色強(qiáng)度值.隨后, 在整個(gè)視頻持續(xù)時(shí)間內(nèi), 根據(jù)每個(gè)特征的時(shí)間序列計(jì)算統(tǒng)計(jì)指標(biāo),如均值、中位數(shù)、模式、最小值、最大值、標(biāo)準(zhǔn)差、方差、平均絕對(duì)偏差、偏度、峰度、熵、四分位數(shù)范圍和相關(guān)系數(shù).鼻子和眉毛皺紋和鼻唇溝用于灰度強(qiáng)度值統(tǒng)計(jì), 以估計(jì)疼痛表達(dá).使用面頰來(lái)提取4 個(gè)顏色通道中的值, 以估計(jì)面部變紅.通過(guò)套索回歸確定最具信息性的特征.特征選擇首次表明, 在YCbCr 顏色空間中編碼的面部顏色確實(shí)是用于疼痛表達(dá)的高信息量.與Werner 等[65]相比, 該研究中鼻唇溝相關(guān)特征的相對(duì)重要性更高具有對(duì)稱性.Chen 等[17]提出一種將幀級(jí)特征P-HOG、段級(jí)特征HOG-TOP, 以及最大池化生成的序列級(jí)全局P-HOG 和HOG-TOP 結(jié)合.Zhi 等[67]提出了一種動(dòng)態(tài)疼痛面部表情表示和融合方案, 用于自動(dòng)?jì)雰禾弁丛u(píng)估, 結(jié)合時(shí)間外觀面部特征和時(shí)間幾何面部特征, 構(gòu)建不同的自動(dòng)疼痛評(píng)估模型以更好地理解影響嬰兒疼痛反應(yīng)性的各種因素.

使用時(shí)空描述符表示的特征維度較低, 但是特征集的特征數(shù)目較多, 需要計(jì)算的特征較多, 分類器需要學(xué)習(xí)的特征也比較多.應(yīng)用時(shí)空描述符方法的關(guān)鍵在于如何找到更具有特異性的特征, 需要在實(shí)驗(yàn)中不斷總結(jié)、嘗試.

1.1.1.2.4 基于深度學(xué)習(xí)提取的特征

深度學(xué)習(xí)是對(duì)人腦處理信息時(shí)所采用方法的抽象總結(jié)和模擬.未經(jīng)處理的數(shù)據(jù)(圖像, 聲音信息或者文字信息)被輸入至輸出層的“輸入單元”; 輸入信息經(jīng)過(guò)一定的映射輸出至輸出層的“輸出節(jié)點(diǎn)”, 映射的方法根據(jù)用戶定義.深度學(xué)習(xí)是一種通過(guò)多層神經(jīng)網(wǎng)絡(luò)對(duì)信息進(jìn)行抽取和表示, 并實(shí)現(xiàn)分類、檢測(cè)等復(fù)雜任務(wù)的算法架構(gòu).深度學(xué)習(xí)是近十年來(lái)人工智能領(lǐng)域取得的最重要的突破之一, 它在人臉識(shí)別方面取得巨大成功[68-72].深度學(xué)習(xí)架構(gòu)已廣泛用于人臉識(shí)別[73-75]、面部表情識(shí)別[76-78]和情感檢測(cè)[79-81], 近幾年很多研究人員將深度學(xué)習(xí)應(yīng)用到疼痛識(shí)別領(lǐng)域[18,82-84].

Zhou 等[82]將UNBC 視頻序列裁剪出人臉, 再拉平連接成幀向量序列傳入到RCNN 網(wǎng)絡(luò)中預(yù)測(cè)幀的疼痛強(qiáng)度.Wang 等[83]使用現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行微調(diào), 將現(xiàn)有效果最佳的面部對(duì)準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)[85]去除全連接層而取其卷積層, 然后加入兩個(gè)新的全連接層.為了防止過(guò)擬合, 將原有網(wǎng)絡(luò)的全連接層的隱藏單元數(shù)從512 改為50, 另外加上center loss[85]來(lái)正則化網(wǎng)絡(luò)的回歸損失函數(shù).

Kharghanian 等[86]提出使用無(wú)監(jiān)督學(xué)習(xí)特征的一種方法來(lái)實(shí)現(xiàn)連續(xù)的疼痛檢測(cè), 使用卷積深度置信網(wǎng)絡(luò)(CDBN)提取特征.提取的特征包括疼痛圖像的不同屬性, 例如頭部運(yùn)動(dòng)、形狀和外觀信息.Martinez 等[87]提出了一種層次學(xué)習(xí)框架, 采用雙向長(zhǎng)短期記憶遞歸神經(jīng)網(wǎng)絡(luò)(LSTM-RNN)來(lái)估計(jì)從面部圖像中提取的面部標(biāo)注點(diǎn)的PSPI (一種疼痛評(píng)估方式, PSPI=AU4+max (AU6, AU7)+max (AU9, AU10)+AU43).然后, PSPI用作隱藏條件隨機(jī)場(chǎng)(HCRF)的輸入, 以估計(jì)受試者的VAS(視覺(jué)類比量表).Egede 等[88]結(jié)合手工提取的特征和深度學(xué)習(xí)來(lái)進(jìn)行疼痛自動(dòng)評(píng)估.將時(shí)間信息包括到學(xué)習(xí)過(guò)程中, 時(shí)間t 處的圖像的特征表示包括來(lái)自前一幀和后一幀的信息, 將提取出的圖像區(qū)域和二進(jìn)制掩碼由CNN 學(xué)習(xí)得到深度學(xué)習(xí)特征.Rodriguez 等[89]利用CNN-LSTM 模型在數(shù)據(jù)庫(kù)提供的面部標(biāo)記點(diǎn)來(lái)裁剪和正面化面部圖像, 并作為CNN 的輸入來(lái)學(xué)習(xí)特征, 然后對(duì)無(wú)痛數(shù)據(jù)進(jìn)行欠采樣來(lái)平衡數(shù)據(jù)的不均勻分布.

深度學(xué)習(xí)模型將特征提取和分類過(guò)程進(jìn)行聯(lián)動(dòng)優(yōu)化, 并在疼痛自動(dòng)識(shí)別中取得了有競(jìng)爭(zhēng)力的結(jié)果.然而,深度學(xué)習(xí)也存在一些不足.首先, 網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜致使調(diào)參過(guò)程復(fù)雜, 且導(dǎo)致結(jié)果的可重復(fù)性低; 其次, 深度學(xué)習(xí)很容易造成過(guò)擬合現(xiàn)象, 通過(guò)數(shù)據(jù)擴(kuò)充、預(yù)訓(xùn)練模型微調(diào)、dropout、批標(biāo)準(zhǔn)化等操作可有效改善但不能完全解決; 最后深度學(xué)習(xí)的網(wǎng)絡(luò)需要大量數(shù)據(jù)才能獲得良好的性能, 而目前在疼痛識(shí)別方面公開(kāi)的數(shù)據(jù)集數(shù)量非常有限, 這使得網(wǎng)絡(luò)模型在學(xué)習(xí)特征時(shí)候無(wú)法充分學(xué)習(xí)到它需要的信息, 阻礙了它在自動(dòng)疼痛識(shí)別中的應(yīng)用.基于序列的疼痛自動(dòng)識(shí)別方法匯總見(jiàn)表2.

1.1.1.3 基于FACS 的方法

面部表情可以表示疼痛存在和嚴(yán)重程度, 是一個(gè)具有敏感性和特異性的行為指標(biāo).上一章節(jié)我們主要討論了針對(duì)面部整體進(jìn)行分析的疼痛自動(dòng)分析, 此外也可以通過(guò)FACS 開(kāi)展疼痛評(píng)估.面部動(dòng)作編碼系統(tǒng)通過(guò)使用稱為AU 的46 個(gè)基于解剖學(xué)的組件運(yùn)動(dòng)來(lái)測(cè)量面部表情.面部表情自動(dòng)識(shí)別的重大進(jìn)展推動(dòng)了其在基于FACS 的情感計(jì)算問(wèn)題中的眾多應(yīng)用[90].

Sikka 等[6]利用計(jì)算機(jī)表達(dá)識(shí)別工具箱(CE RT),對(duì)闌尾切除術(shù)后兒童疼痛的面部表情進(jìn)行自動(dòng)分析.實(shí)驗(yàn)的對(duì)象是在過(guò)去24 小時(shí)內(nèi)接受腹腔鏡闌尾切除術(shù)的50 名年齡在5 至18 歲的青少年, 利用計(jì)算機(jī)視覺(jué)機(jī)器學(xué)習(xí)(CVML)模型進(jìn)行疼痛二元分析和疼痛評(píng)級(jí).CVML 疼痛評(píng)估模型在檢測(cè)臨床顯著疼痛和評(píng)估術(shù)后疼痛嚴(yán)重性方面表現(xiàn)良好, CVML 模型與常用的代理性疼痛評(píng)估方法一樣, 表明在手術(shù)后監(jiān)測(cè)兒科疼痛狀態(tài)的功效.在成人方面, Bartlett 等在[91]中利用CERT 來(lái)檢查真正疼痛和虛假疼痛, 該研究成果進(jìn)一步表明面部表情的動(dòng)態(tài)變化是人類情感表達(dá)的重要區(qū)別特征.

基于FACS 的方法的主要挑戰(zhàn)是在每個(gè)視頻幀中人工標(biāo)記AU 需要大量時(shí)間.據(jù)報(bào)道, 人類專家需要大約3 小時(shí)來(lái)編碼1 分鐘的視頻序列.降低標(biāo)簽成本的方法是開(kāi)發(fā)一個(gè)可靠的系統(tǒng)來(lái)自動(dòng)檢測(cè)每個(gè)幀中的AU 并將其用作標(biāo)簽.

表2 基于序列的疼痛自動(dòng)識(shí)別方法匯總

1.1.2 基于身體運(yùn)動(dòng)的特征

在疼痛發(fā)生過(guò)程中, 除了面部表情的表達(dá), 身體運(yùn)動(dòng)也是一個(gè)重要的參照指標(biāo), 尤其是對(duì)慢性病患者和嬰兒來(lái)說(shuō), 在他們的疼痛發(fā)生過(guò)程中, 身體運(yùn)動(dòng)的變化會(huì)尤為明顯.另外頭部運(yùn)動(dòng)和姿勢(shì)[8]也可以作為衡量疼痛的標(biāo)準(zhǔn), Haque 等[21]在BioVid 熱痛數(shù)據(jù)庫(kù)、UNBC肩痛數(shù)據(jù)庫(kù)和BP4D 數(shù)據(jù)庫(kù)上進(jìn)行了頭部姿勢(shì)匯總、頭部運(yùn)動(dòng)匯總、特定頭部姿勢(shì)發(fā)生、頭部運(yùn)動(dòng)聚類的統(tǒng)計(jì)分析, 發(fā)現(xiàn)疼痛伴隨著頭部姿勢(shì)和運(yùn)動(dòng), 其傾向于向下或朝向疼痛部位.

在成人方面, 大部分的疼痛自動(dòng)識(shí)別的研究都是圍繞面部表情或與生理特征相結(jié)合的多模態(tài)來(lái)開(kāi)展的,這是因?yàn)樵谔弁搭I(lǐng)域UNBC 肩痛數(shù)據(jù)庫(kù)和BioVid 熱痛數(shù)據(jù)庫(kù)的促進(jìn)作用.對(duì)于身體運(yùn)動(dòng)的疼痛評(píng)估研究相對(duì)較少.Olugbade 等[92]提出在身體運(yùn)動(dòng)期間根據(jù)特征區(qū)分低慢性疼痛患者、高慢性疼痛患者和非慢性疼痛患者.實(shí)驗(yàn)通過(guò)兩層SVM 或隨機(jī)森林分類器進(jìn)行分類, 在EmoPain 數(shù)據(jù)庫(kù)上進(jìn)行驗(yàn)證.實(shí)驗(yàn)提取了完整軀干屈曲練習(xí)的特征集和坐到站練習(xí)的特征集, 并加上抑郁分?jǐn)?shù), 分別來(lái)區(qū)分這兩個(gè)動(dòng)作.在完整軀干屈曲中,最好的實(shí)驗(yàn)結(jié)果是在SVM 模型下利用身體運(yùn)動(dòng)特征的優(yōu)化, 得到94%的準(zhǔn)確率; 在坐到站實(shí)驗(yàn)中, 最好的實(shí)驗(yàn)結(jié)果是80%的準(zhǔn)確率.Wang 等[93]首次將諸如LSTM 之類的遞歸神經(jīng)網(wǎng)絡(luò)用于檢測(cè)保護(hù)行為, 在EmoPain 數(shù)據(jù)庫(kù)上達(dá)到81.5%的準(zhǔn)確率.

當(dāng)嬰兒經(jīng)歷疼痛時(shí), 嬰兒往往會(huì)搖頭, 伸展手臂或腿, 并伸展手指.Stahl 等[94]提出了一種基于光流的算法來(lái)預(yù)測(cè)患有腦癱(CP)疾病風(fēng)險(xiǎn)的嬰兒.采用的數(shù)據(jù)庫(kù)包括在10-18 周齡范圍內(nèi)為82 名嬰兒(15 名被診斷為CP 和67 名健康者)記錄的136 個(gè)視頻.對(duì)于每個(gè)視頻, 應(yīng)用光流以生成運(yùn)動(dòng)軌跡.然后, 將這些軌跡轉(zhuǎn)移到時(shí)間相關(guān)的信號(hào), 并進(jìn)一步分析以提取3 種類型的特征: 小波系數(shù), 絕對(duì)運(yùn)動(dòng)距離和相對(duì)頻率特征.小波系數(shù)測(cè)量嬰兒運(yùn)動(dòng)的種類, 另外兩個(gè)特征測(cè)量運(yùn)動(dòng)模式中的活動(dòng)和發(fā)生的頻率.對(duì)于嬰兒分為受損或未受損的分類, 線性SVM 在使用相對(duì)頻率特征, 絕對(duì)運(yùn)動(dòng)距離和小波系數(shù)訓(xùn)練時(shí)分別達(dá)到93.7±2.1%,91.7±2.2%和84.7±1.8%平均準(zhǔn)確率.

一般來(lái)說(shuō), 突發(fā)刺激、慢性疾病患者和嬰兒的疼痛發(fā)生過(guò)程中更容易引發(fā)身體上的運(yùn)動(dòng), 而對(duì)其他人來(lái)說(shuō)疼痛發(fā)生的過(guò)程中身體運(yùn)動(dòng)不一定存在, 而且目前對(duì)于成人來(lái)說(shuō)只在EmoPain 數(shù)據(jù)集采集了參與者身體運(yùn)動(dòng)的信息, 因此基于身體運(yùn)動(dòng)來(lái)進(jìn)行疼痛分析的實(shí)驗(yàn)很少.此外, 僅通過(guò)身體運(yùn)動(dòng)來(lái)判別疼痛不夠全面,我們應(yīng)將其他特征和身體運(yùn)動(dòng)相結(jié)合, 相關(guān)內(nèi)容將在第4 節(jié)進(jìn)行介紹.

1.2 基于語(yǔ)音的特征

在疼痛表達(dá)過(guò)程中, 除了行為特征外, 語(yǔ)音特征也是一個(gè)重要因素, 特別是對(duì)于嬰兒來(lái)說(shuō), 啼哭是非常重要的一個(gè)信號(hào).對(duì)于成人來(lái)說(shuō), 由于在疼痛過(guò)程中可能很少會(huì)發(fā)出語(yǔ)音信息, 只有少部分的數(shù)據(jù)集記錄與語(yǔ)音相關(guān)的信息, 與成人相關(guān)的基于語(yǔ)音的疼痛識(shí)別的相研究還很少見(jiàn), EmoPain、SenseEmotion 數(shù)據(jù)庫(kù)中有相關(guān)語(yǔ)音記錄, 但還沒(méi)被適當(dāng)運(yùn)用.Thiam 等[95]使用SenseEmotion 數(shù)據(jù)庫(kù)上的音頻特征進(jìn)行二分類任務(wù)得到69±15%的準(zhǔn)確率, 效果不太理想.因此接下來(lái)重點(diǎn)介紹基于語(yǔ)音的嬰兒疼痛檢測(cè).

嬰兒啼哭是不適、饑餓或疼痛的常見(jiàn)信號(hào)[96], 它傳達(dá)的信息可以幫助護(hù)理人員評(píng)估嬰兒的情緒狀態(tài)并做出適當(dāng)?shù)姆磻?yīng).我們將基于啼哭分析的特征提取方法分為時(shí)域方法、頻域方法和倒譜域方法.

1.2.1 時(shí)域分析提取的特征

時(shí)域分析是關(guān)于時(shí)間的信號(hào)分析(信號(hào)的幅度隨時(shí)間的變化).線性預(yù)測(cè)編碼(LPC)是用于分析聲音的最常見(jiàn)的時(shí)域方法之一.LPC 主要原理是使用過(guò)去時(shí)域樣本的線性組合來(lái)預(yù)測(cè)當(dāng)前時(shí)域樣本.用于嬰兒聲音分析的其他時(shí)域特征是能量、幅度和暫停持續(xù)時(shí)間.

Vempada 等[30]提出了一種時(shí)域方法來(lái)檢測(cè)與不適相關(guān)的哭泣.所提出的方法在數(shù)據(jù)集上評(píng)估, 該數(shù)據(jù)集包括在疼痛(30 個(gè)語(yǔ)料庫(kù))、饑餓(60 個(gè)語(yǔ)料庫(kù))和濕尿布(30 個(gè)語(yǔ)料庫(kù))期間收集的120 個(gè)哭泣語(yǔ)料庫(kù).文中沒(méi)有提供有關(guān)觸發(fā)疼痛狀態(tài)的刺激信息和數(shù)據(jù)收集程序的信息, 嬰兒的年齡范圍為12-40 周齡.使用索尼數(shù)字記錄儀記錄所有語(yǔ)料庫(kù), 采樣率為44.1 kHz.在特征提取階段, 計(jì)算兩個(gè)特征: 短時(shí)能量(STE), 它是在合適的窗戶樣本值的平方的平均值; 以及在哭泣段內(nèi)暫停持續(xù)時(shí)間.部分樣本用于構(gòu)建SVM, 其余樣本用于評(píng)估其性能.痛苦哭泣、饑餓哭泣和濕尿布哭泣的識(shí)別表現(xiàn)分別為83.33%、27.78%和61.11%, 平均識(shí)別率為57.41%.

1.2.2 頻域分析提取的特征

頻域分析顯示信號(hào)在特定頻率范圍內(nèi)的分布.基頻(F0)是眾所周知的頻域特性, 表示周期信號(hào)的最低頻率.嬰兒的哭聲可以根據(jù)基本頻率分類為:

(1)帶有平滑和諧波結(jié)構(gòu)的發(fā)出嘶嘶聲(phonated cries), 基本頻率范圍為400～500 Hz.

(2)與發(fā)聲的啼聲(phonated cries)相比, 具有較少諧波結(jié)構(gòu)的嗓音.

(3)聲音突然向上移動(dòng)(高達(dá)2000 Hz)的超音速哭聲(Hyperphonated cries).

Pai 等[31]提出了一種光譜方法, 將嬰兒的哭聲分類為嗚咽或有力.這項(xiàng)工作的數(shù)據(jù)庫(kù)來(lái)自27 名嬰兒, 平均年齡為36 孕周.在急性疼痛程序(即, 足跟穿刺和免疫接種)期間記錄音頻數(shù)據(jù).記錄兩種類型的疼痛哭泣, 嗚咽(14 個(gè)樣本)和劇烈哭泣(20 個(gè)樣本).記錄樣本的正確標(biāo)簽由訓(xùn)練有素的護(hù)士使用NIPS 疼痛量表給出.為了獲得每個(gè)樣品的功率譜, Welch 的方法應(yīng)用于20 毫秒的窗口.獲得光譜后, 從每個(gè)樣本中提取線性預(yù)測(cè)系數(shù)(LPC)以及其他統(tǒng)計(jì)數(shù)據(jù)(例如, 平均值和標(biāo)準(zhǔn)偏差)并用于訓(xùn)練KNN, 使用10 倍交叉驗(yàn)證評(píng)估的分類器的平均準(zhǔn)確率為76.47%.

1.2.3 倒譜域分析提取的特征

通過(guò)采用信號(hào)頻譜的對(duì)數(shù)的逆傅立葉變換(IFT)來(lái)生成信號(hào)的倒譜域.Mel 頻率倒譜系數(shù)(MFCC)是一種常見(jiàn)的倒譜域方法, 用于從聲音信號(hào)中提取有用且有代表性的特征集(即系數(shù)), 并丟棄噪聲和無(wú)用的特征.

Abdulaziz 和Ahmad 等[96]引入了一種倒譜域方法,將嬰兒哭泣分類為疼痛或無(wú)痛(即饑餓和憤怒).對(duì)于年齡范圍從新生兒到12 個(gè)月大的嬰兒, 記錄了一組150 個(gè)疼痛樣本和30 個(gè)無(wú)痛樣本.在當(dāng)?shù)蒯t(yī)院的NICU(新生兒重癥監(jiān)護(hù)病房)中的常規(guī)免疫程序期間記錄疼痛樣本, 在嬰兒家中記錄無(wú)痛樣本.在180 個(gè)記錄的樣本中, 通過(guò)創(chuàng)建一個(gè)第二段獲得881 個(gè)樣本.然后使用這些樣本提取兩組特征, 即Mel 頻率倒譜系數(shù)(12 個(gè)MFCC 系數(shù))和線性預(yù)測(cè)倒譜系數(shù)(16 個(gè)LPCC 系數(shù)),并將提取的特征送到用縮放共軛梯度算法訓(xùn)練的神經(jīng)網(wǎng)絡(luò).該方法分別對(duì)LPCC 和MFCC 的準(zhǔn)確率分別達(dá)到68.5%和76.2%.該結(jié)果表明, MFCC 在檢測(cè)嬰兒疼痛哭泣方面的表現(xiàn)優(yōu)于LPCC 特征.

1.3 基于生理指標(biāo)的特征

基于生理測(cè)量的疼痛分析可以定義為從參與者的生理反應(yīng)中提取疼痛相關(guān)特征的過(guò)程, 疼痛的發(fā)生同時(shí)會(huì)伴隨生理指標(biāo)的變化[97].與成人相關(guān)[98]的生理反應(yīng)有心電(ECG)、腦電(EEG)、肌電(EMG)、皮膚電導(dǎo)水平(SCL)等生理信號(hào).與嬰兒疼痛相關(guān)的生理反應(yīng)實(shí)例包括生命體征的變化和腦血流動(dòng)力學(xué)活性(腦氧合和疼痛的變化), 適合床邊檢測(cè)的腦氧合變化測(cè)量方法為近紅外光譜(NIRS), 它使用附著在頭部的小探針測(cè)量氧合血紅蛋白(HbO2)和脫氧血紅蛋白(HbH)濃度的微小變化.另外, 體溫大于0.5 的變化也可能預(yù)示疾病或者疼痛[28].

在成人方面, Werner 等[99]和Walter 等[100]在Biovid 數(shù)據(jù)庫(kù)上進(jìn)行實(shí)驗(yàn), 在生理特征方面提取電流皮膚反應(yīng)(GSR)、EMG、ECG 的幅度和變化特征用于檢測(cè)疼痛.對(duì)單一生理特征來(lái)說(shuō), GSR 具有顯著優(yōu)勢(shì), 在疼痛強(qiáng)度0 和4 二分類上的正確率為73.8%; 將3 種生理特征結(jié)合會(huì)使0 和4 二分類正確率提高到75.6%.Walter 等從生理信號(hào)的幅度、頻率、平穩(wěn)性、熵、線性和可變性的數(shù)學(xué)分組中提取135 個(gè)特征并使用前向傳播進(jìn)行特征選擇, 采用SVM 進(jìn)行二分類, 達(dá)到77.05%正確率.K?chele 等在文獻(xiàn)[101]中提取的基于生理信號(hào)的特征有EMG、ECG、SCL, 實(shí)驗(yàn)結(jié)果表明最具有識(shí)別性的生理特征為SCL, 在Biovid 數(shù)據(jù)庫(kù)上識(shí)別正確率為81.9%.Panavaranan 等[102]通過(guò)考慮單個(gè)通道的功率譜密度的α 和β 譜對(duì)EEG 帶來(lái)的影響進(jìn)行疼痛分類.

在嬰兒方面, Faye 等[103]提出了一種分析28 名患有慢性疼痛的嬰兒(年齡＞34 孕周)的心率變異性(HRV)的方法.為了研究慢性疼痛和心血管數(shù)據(jù)之間的關(guān)聯(lián), 使用心率(HR), 呼吸率(RR), 血氧飽和度(SpO2)和高頻變異指數(shù)(HFV I)的平均值進(jìn)行線性回歸分析, 兩組之間的HRV 顯著下降, 而未發(fā)現(xiàn)RR 和SpO2的顯著變化.結(jié)果顯示HFVI(＜0.9 閾值)能夠評(píng)估疼痛, 實(shí)驗(yàn)結(jié)果為在ROC 曲線下面積(AUC)為0.81, 說(shuō)明與嬰兒疼痛發(fā)生最相關(guān)的生命體征為心率.Ranger 等[104]提出了一種基于NIRS 的方法, 通過(guò)分析大腦區(qū)域的血液動(dòng)力學(xué)活動(dòng)來(lái)評(píng)估嬰兒的慢性疼痛.NIRS 數(shù)據(jù)來(lái)源于40 名嬰兒(＜12 個(gè)月)心臟手術(shù)后的胸腔排出移除過(guò)程(T2)、脫掉衣服(T1)和基線(T0)3 個(gè)階段的記錄.為了驗(yàn)證NIRS 數(shù)據(jù)和疼痛刺激之間的關(guān)聯(lián), 對(duì)提取的測(cè)量進(jìn)行單變量線性回歸, 結(jié)果顯示疼痛期間HbH 顯著增加.

基于生理特征分析的疼痛檢測(cè)在機(jī)理解釋方面存在一些挑戰(zhàn)[28], 例如藥物、病理狀況、治療、壓力和對(duì)疼痛的恐懼可能直接影響這些特征并降低疼痛測(cè)量的可靠性.它還受嬰幼兒的一般健康狀況和年齡的影響, 所以僅通過(guò)生理信號(hào)來(lái)確定疼痛的發(fā)作是不合適的, 應(yīng)該與其他指標(biāo)結(jié)合使用可獲得更好的結(jié)果.

1.4 基于多模態(tài)的特征

以上介紹的方法都是基于單個(gè)模態(tài)特征的, 但是在疼痛發(fā)生的過(guò)程中, 這些模態(tài)是同時(shí)存在的, 多模態(tài)評(píng)估疼痛具有挑戰(zhàn)性但是非常合理的[105].因此接下來(lái)介紹的方法是將面部表情、身體運(yùn)動(dòng)、語(yǔ)音以及生理等特征融合的多模態(tài)方法, 并根據(jù)特征融合的時(shí)期將方法分為特征層級(jí)的融合和決策層級(jí)的融合.

1.4.1 特征層級(jí)融合得到的特征

特征級(jí)融合將所有模態(tài)的特征連接成單個(gè)高維特征向量, 然后使用級(jí)聯(lián)特征向量來(lái)訓(xùn)練單個(gè)分類器以進(jìn)行分類.據(jù)我們所知, 目前沒(méi)有工作在特征層面結(jié)合不同的疼痛指標(biāo), 以評(píng)估嬰兒的疼痛.

在成人疼痛評(píng)估方面, Haque 等[24]利用深度學(xué)習(xí)方法將提取出來(lái)的顏色圖像、熱圖像和深度圖3 種模態(tài)輸入分別進(jìn)行訓(xùn)練、特征級(jí)融合和決策級(jí)融合.早期融合為每個(gè)視頻幀生成一個(gè)5 維的矩陣做為CNN 的新輸入.晚期融合中, 將各個(gè)分類器的輸出集成為第二個(gè)堆疊分類器的輸入特征向量, 第二個(gè)分類器生成最終判定結(jié)果.在單特征中得到的最好結(jié)果是準(zhǔn)確率為18.55%, 融合再進(jìn)行分類后得到的結(jié)果都有提升.Werner 等[99]提出了將視頻和生物醫(yī)學(xué)信號(hào)結(jié)合起來(lái)用于成人疼痛評(píng)估.Thiam 等[95]提取了音頻、幾何描述符、頭部姿勢(shì)、LBP-TOP 以及ECG、RSP、EMG、EDA 等生理特征, 用RF 分別做特征級(jí)融合和決策級(jí)融合, 在SenseEmotion 數(shù)據(jù)庫(kù)上做了二分類和多分類任務(wù).

從理論上講, 特征級(jí)融合可以比決策級(jí)融合具有更高的性能, 因?yàn)樗S富的信息.但是, 這種融合程度可能會(huì)在實(shí)踐中引發(fā)一些問(wèn)題, 對(duì)這些問(wèn)題的不當(dāng)處理可能會(huì)降低性能.例如, 將不同疼痛模態(tài)的特征連接成單個(gè)高維特征向量可能導(dǎo)致維度災(zāi)難等.特征級(jí)融合的另一個(gè)問(wèn)題是由于未能記錄特定模態(tài)或在特定時(shí)間無(wú)法獲得數(shù)據(jù)而導(dǎo)致的數(shù)據(jù)缺失.

1.4.2 決策層級(jí)融合得到的特征

決策級(jí)融合旨在將多個(gè)分類器的決策或結(jié)果合并為一個(gè)單獨(dú)的決策.換句話說(shuō), 決策級(jí)方法考慮了多個(gè)分類的結(jié)果, 即每個(gè)疼痛指標(biāo)或模態(tài)的分類, 以確定最終的決定或結(jié)果.Wagner 等[106]提出了幾種不同方法來(lái)將結(jié)果結(jié)合起來(lái)用于決策.

多數(shù)投票是將不同分類器結(jié)果融合起來(lái)的最常見(jiàn)方法之一.在多數(shù)投票方案中, 每個(gè)指標(biāo)貢獻(xiàn)一票(即類別標(biāo)簽), 并且投票得到的多數(shù)標(biāo)簽被選擇作為最終決定或結(jié)果.K?chele 等[107]在BioVid 熱痛數(shù)據(jù)庫(kù)上利用多模態(tài)進(jìn)行疼痛自動(dòng)評(píng)估的實(shí)驗(yàn), 提取了生理信號(hào)和面部表情、頭部姿勢(shì); K?chele 等[101]利用生理信號(hào)EMG、ECG、SCL 特征以及基于面部幾何距離和基于外觀的LBP-TOP 特征, 此外還介紹了一種自適應(yīng)置信度學(xué)習(xí)來(lái)修改參數(shù).Zamzmi 等[27]利用多數(shù)投票方法將不同的疼痛指標(biāo)結(jié)合起來(lái), 以開(kāi)發(fā)多模式疼痛評(píng)估系統(tǒng).每種模態(tài)的特征(即, 面部表情, 身體運(yùn)動(dòng)和生理信號(hào))被單獨(dú)使用以構(gòu)建分類器.Worley 等[108]結(jié)合EEG、EMG、ECG、NIRS 和視頻監(jiān)控到的行為動(dòng)作特征構(gòu)建疼痛事件監(jiān)測(cè)系統(tǒng).

決策級(jí)融合的一個(gè)主要優(yōu)點(diǎn)是易于實(shí)現(xiàn), 因?yàn)樗蕾囉诮M合不同的分類標(biāo)簽.這種融合水平可能導(dǎo)致信息丟失(即不同模態(tài)之間相關(guān)信息的丟失), 因?yàn)樗Q于組合指標(biāo)是獨(dú)立的假設(shè).

由疼痛評(píng)估標(biāo)準(zhǔn)的量表可知, 疼痛是由多種模態(tài)信息共同作用的, 如身體運(yùn)動(dòng)、語(yǔ)音、生理特征等, 因此, 多模態(tài)的特征融合方法會(huì)帶來(lái)更多有效信息, 如何將這些信息進(jìn)行有效結(jié)合利用是研究重點(diǎn).

基于多模態(tài)的疼痛識(shí)別方法匯總?cè)绫?.

2 相關(guān)數(shù)據(jù)庫(kù)

目前和疼痛相關(guān)的數(shù)據(jù)庫(kù)并不是很多, 而且規(guī)模一般偏小[4], 有些數(shù)據(jù)庫(kù)的疼痛表達(dá)過(guò)程不夠自然, 而且記錄的信息有限.下面從成人和嬰兒兩個(gè)方面介紹公開(kāi)發(fā)布的疼痛數(shù)據(jù)庫(kù).

2.1 成人

與成人相關(guān)現(xiàn)在被用于研究最多的是Lucey 等在發(fā)布的UNBC 肩痛數(shù)據(jù)庫(kù)[8]和Walter 等在發(fā)布的BioVid 熱痛數(shù)據(jù)庫(kù)[9].近兩年, Min 等提出EmoPain多模態(tài)數(shù)據(jù)庫(kù)[29], Haque 等提出MIntPAIN多模態(tài)數(shù)據(jù)庫(kù), Velana 等提出的SenseEmotion 多模態(tài)數(shù)據(jù)庫(kù)[109],還有一些未經(jīng)公開(kāi)的數(shù)據(jù)庫(kù)其具體內(nèi)容我們難以知曉,如文獻(xiàn)[16,110]中提到的自采數(shù)據(jù)庫(kù).與疼痛相關(guān)數(shù)據(jù)庫(kù)的歸納如表4 所示.

表3 基于多模態(tài)的疼痛自動(dòng)識(shí)別方法匯總

表4 疼痛相關(guān)數(shù)據(jù)庫(kù)匯總

2.1.1 UNBC 肩痛數(shù)據(jù)庫(kù)

為了促進(jìn)自動(dòng)疼痛檢測(cè)這項(xiàng)工作, UNBC 的研究人員招募了129 名被自我識(shí)別為肩部疼痛問(wèn)題的參與者(63 名男性, 66 名女性).參與者中1/4 是學(xué)生, 其他人來(lái)自社區(qū), 包括各種各樣的職業(yè).參與者的肩痛的診斷類型各不相同, 超過(guò)一半的參與者報(bào)告使用藥物治療疼痛.

所有參與者參加了8 項(xiàng)標(biāo)準(zhǔn)運(yùn)動(dòng)范圍的主動(dòng)和被動(dòng)測(cè)試.在測(cè)試期間, 兩臺(tái)相機(jī)記錄了參與者的面部表情.每次測(cè)試結(jié)束后, 參與者利用兩個(gè)Likert-type 刻度的卡片對(duì)疼痛進(jìn)行口頭評(píng)級(jí).實(shí)驗(yàn)結(jié)束后, 接受過(guò)大量訓(xùn)練的觀察者獨(dú)立評(píng)估視頻的疼痛強(qiáng)度(OPI), 范圍從0(無(wú)疼痛)到5(強(qiáng)烈疼痛), 通過(guò)Pearson 相關(guān)系數(shù)評(píng)估了評(píng)分的高可靠性.此外, 對(duì)視頻中每一幀進(jìn)FACS 編碼并計(jì)算PSPI 分?jǐn)?shù), 其中83.6%的幀具有0 的PSPI得分, 并且16.4%具有PSPI 得分≥1 的幀.

2.1.2 BioVId 熱痛數(shù)據(jù)庫(kù)

共有90 名受試者參加了該實(shí)驗(yàn), 這些受試者是從18-35 歲、36-50 歲、51-65 歲3 個(gè)年齡組中招募, 每個(gè)年齡組各30 名受試者, 其中男女性各50%.該實(shí)驗(yàn)測(cè)量了包括SCL、ECG、EMG 和EEG 在內(nèi)的生物電位, 另外還采集了視頻信號(hào).

視頻錄制過(guò)程使用了3 臺(tái)相機(jī), 一臺(tái)直接放在參與者面前, 另外兩臺(tái)放在兩側(cè)來(lái)保證參與者自由地移動(dòng)頭部.相機(jī)以2 5 H z 的幀速同步觸發(fā), 并以1388×1038的分辨率記錄.為了同步視頻流和生物反饋數(shù)據(jù), 使用Nexus 設(shè)備記錄了相機(jī)觸發(fā)信號(hào)的分頻版本以及生物反饋信號(hào).然后自動(dòng)分析這個(gè)已知觸發(fā)信號(hào)的記錄, 以補(bǔ)償生物反饋和相機(jī)視頻記錄之間的偏移和漂移.此外, 在正面相機(jī)上方使用了Kinect 傳感器來(lái)記錄深度圖( 64 0×480像素, 大約30 Hz), 彩色圖像(1 28 0×1024像素, 大約10 Hz)以及Kinect 提供的相關(guān)時(shí)間戳.

疼痛誘發(fā)通過(guò)右臂的熱電極實(shí)現(xiàn), 主要包括6 步:第1 步進(jìn)行閾值校準(zhǔn)來(lái)確定每個(gè)人的特定疼痛水平溫度; 第2 步疼痛刺激, 用由第1 步確定的4 種個(gè)體特定疼痛水平隨機(jī)刺激參與者.每個(gè)水平被刺激20 次, 總共80 次刺激.每個(gè)疼痛水平的最高溫度保持4 秒, 刺激之間隨機(jī)暫停在8-12 秒之間; 第3 步參與者提出自己的每一個(gè)基本情緒; 第4 步用圖片來(lái)啟發(fā)情感; 第5 步通過(guò)剪輯的視頻來(lái)引發(fā)基本情緒; 第6 步用面部肌電圖來(lái)重復(fù)第2 步.該數(shù)據(jù)庫(kù)的疼痛強(qiáng)度由刺激強(qiáng)度確定, 是在視頻序列上標(biāo)記, 沒(méi)有幀上的標(biāo)記.

2.1.3 多模態(tài)EmoPain 數(shù)據(jù)集

該實(shí)驗(yàn)招募了50 名參與者, 其中22 名慢性腰背痛患者(7 名男性, 15 名女性, 平均年齡50.5 歲).雖然參與者數(shù)量很小, 但該群體是典型的慢性疼痛尋求治療的人.另外招募了28 名沒(méi)有慢性腰背痛病史的健康對(duì)照參與者(14 名男性, 14 名女性, 平均年齡37.1 歲),用來(lái)記錄在沒(méi)有疼痛的情況下自然運(yùn)動(dòng)的各種方式.

數(shù)據(jù)采集過(guò)程將3 個(gè)感覺(jué)系統(tǒng)連接到參與者: 4 個(gè)無(wú)線表面肌電探針, 1 個(gè)由18 個(gè)基于微機(jī)電(MEMS)的慣性測(cè)量單元(IMU)組成的動(dòng)作捕捉套裝和1 個(gè)頭戴式麥克風(fēng).配置了8 個(gè)相機(jī)讓參與者在運(yùn)動(dòng)期間進(jìn)行更多不受約束的指令, 從而捕獲自然運(yùn)動(dòng).使用兩個(gè)麥克風(fēng)通道捕獲音頻信號(hào), 以48 kHz 的速率和24 位脈沖編碼調(diào)制進(jìn)行記錄.

對(duì)記錄到的數(shù)據(jù)讓評(píng)估者進(jìn)行面部表情標(biāo)記, 評(píng)分為0-1 之間的任意一個(gè)值, 將0.02 作為閾值.專家觀看視頻并進(jìn)行身體運(yùn)動(dòng)的標(biāo)記, 將身體行為運(yùn)動(dòng)分為6 類.數(shù)據(jù)集中的總幀數(shù)為585 487, 其中50 071 (占總數(shù)的8.6%)被判斷為疼痛表情.

2.1.4 多模式強(qiáng)度疼痛(MIntPAIN)數(shù)據(jù)庫(kù)

MIntPAIN 數(shù)據(jù)庫(kù)除了面部表情以外, 包含使用Kinect 捕獲的正面面部彩色圖像和深度數(shù)據(jù), 以及由熱像儀捕獲的熱數(shù)據(jù).EMG 從受試者左臂記錄, EMG信號(hào)經(jīng)過(guò)預(yù)放大和濾波(10-500 Hz)并存儲(chǔ)為1 s 記錄.受試者的感知疼痛強(qiáng)度在10 cm 電子VAS 上評(píng)定,指定0 作為感知閾值, 5 作為感受疼痛值, 10 作為可想象的最強(qiáng)烈疼痛.每個(gè)刺激由受試者評(píng)定并儲(chǔ)存.

MIntPAIN 數(shù)據(jù)庫(kù)通過(guò)在20 個(gè)健康受試者中給予5 種不同水平(0 級(jí)至4 級(jí), 其中0 表示無(wú)刺激, 4 表示最高刺激程度)的電刺激而獲得多模式疼痛數(shù)據(jù).每個(gè)受試者在數(shù)據(jù)捕獲期間展示兩個(gè)試驗(yàn), 且每個(gè)試驗(yàn)具有40 次疼痛刺激掃描, 最終獲得9366 個(gè)實(shí)驗(yàn)視頻.

2.1.5 SenseEmotion 多模態(tài)數(shù)據(jù)庫(kù)

SenseEmotion 數(shù)據(jù)庫(kù)通過(guò)熱刺激前臂來(lái)誘發(fā)疼痛,熱刺激的溫度在32-55 ℃(分為T0-T3 等級(jí), T0 32 ℃為無(wú)疼痛).在記錄數(shù)據(jù)之前, 確定每個(gè)受試者的特定閾值溫度(T1)和耐受溫度(T3), 通過(guò)T1 和T3 的平均值來(lái)計(jì)算中間溫度(T2).每個(gè)溫度的刺激隨機(jī)施加30 次并保持4 s, 在連續(xù)刺激之間暫停8-12 s.實(shí)驗(yàn)分為兩個(gè)階段, 包括15 分鐘的校準(zhǔn)時(shí)間、30 分鐘的實(shí)驗(yàn)時(shí)間和6 分鐘的評(píng)估時(shí)間, 每個(gè)階段結(jié)束后換另外一個(gè)手臂進(jìn)行實(shí)驗(yàn).此外, 使用情感圖片和聲音刺激來(lái)誘發(fā)情感狀態(tài).

SenseEmotion 數(shù)據(jù)庫(kù)記錄了SCL、ECG、EMG和RSP (呼吸)生理信號(hào), 視頻信號(hào)以及語(yǔ)音信號(hào).

2.2 嬰幼兒

目前與嬰幼兒相關(guān)的疼痛數(shù)據(jù)庫(kù)基本尚未公開(kāi),下面描述的COPE 和IPAD 的數(shù)據(jù)集均是在疼痛自動(dòng)識(shí)別相關(guān)文獻(xiàn)實(shí)驗(yàn)數(shù)據(jù)庫(kù)介紹部分得到的.

2.2.1 COPE 數(shù)據(jù)庫(kù)

該數(shù)據(jù)集包括26 名白人嬰兒, 其中一半為女孩,使用尼康D100 數(shù)碼相機(jī)拍攝的204 張彩色圖像.嬰兒的年齡從18 小時(shí)到3 天不等, 所有嬰兒健康狀況良好.在經(jīng)歷4 種不同的刺激時(shí)拍攝嬰兒的面部圖像: 腳跟穿刺期間的疼痛刺激, 嬰兒從一個(gè)嬰兒床運(yùn)送到另一個(gè)嬰兒床期間的休息/哭泣刺激, 空氣刺激鼻子和摩擦刺激, 包括用浸泡在酒精中的棉花接受腳跟外側(cè)表面上的摩擦.盡管在COPE 數(shù)據(jù)庫(kù)上的研究已經(jīng)取得了相對(duì)較好的疼痛識(shí)別效果, 但COPE 數(shù)據(jù)庫(kù)仍然存在不足: 它是一個(gè)相對(duì)較小的數(shù)據(jù)庫(kù), 并且只有劇痛表情照片, 沒(méi)有任何有關(guān)疼痛程度的信息.此外, 它是一個(gè)靜態(tài)圖像數(shù)據(jù)庫(kù), 可提供的疼痛信息有限.

2.2.2 IPAD 數(shù)據(jù)庫(kù)[67]

該數(shù)據(jù)集共記錄了31 名嬰兒, 一半的嬰兒是男性,嬰兒的平均孕齡為36.4 周, 范圍為30.4 至40.6(標(biāo)準(zhǔn)差=2.7).采集在Tampa 綜合醫(yī)院新生兒重癥監(jiān)護(hù)病房住院期間, 接受常規(guī)疼痛手術(shù)(如足跟穿刺)刺激中嬰兒的疼痛數(shù)據(jù), 持續(xù)時(shí)間約為5 s.妊娠37 周前出生的嬰兒稱為早產(chǎn), 足月妊娠為37 周至42 周.

嬰兒視頻錄像由GoPro Hero3 +相機(jī)獲取, 捕捉他們的面部表情, 身體動(dòng)作和聲音.攝像機(jī)設(shè)置在正常臨床環(huán)境中, 記錄急性疼痛治療期間嬰兒的自發(fā)反應(yīng).新生兒嬰兒疼痛量表(NIPS)是早產(chǎn)兒和足月兒的可靠且有效的基于指標(biāo)的疼痛量表.涉及行為和生理指標(biāo),如面部表情, 哭泣, 呼吸模式, 手臂運(yùn)動(dòng), 腿部運(yùn)動(dòng)和喚醒狀態(tài).嬰兒的疼痛程度分為3 組, 由專業(yè)醫(yī)護(hù)人員根據(jù)NIPS 的總疼痛評(píng)分決定, 即無(wú)疼痛(0～2), 中度疼痛(3～4)或嚴(yán)重疼痛(＞ 4).護(hù)士在疼痛過(guò)程中每隔1 分鐘評(píng)估嬰兒疼痛指標(biāo)的嚴(yán)重程度, 并將總疼痛評(píng)分作為嬰兒疼痛評(píng)估的標(biāo)簽信息.

3 分類器

疼痛檢測(cè)及評(píng)估的決策階段, 需要選擇合適的分類器, 對(duì)學(xué)習(xí)到的特征進(jìn)行分類.在疼痛識(shí)別任務(wù)中,分類目標(biāo)包括兩大類, 一種是二分類, 即輸出結(jié)果為疼痛或者無(wú)疼痛; 另一種為疼痛強(qiáng)度的估計(jì), 輸出結(jié)果為疼痛的等級(jí), 為0-4 或1-4 等.下面我們根據(jù)分類目標(biāo)來(lái)介紹常用的一些分類器以及它們的原理.

3.1 疼痛檢測(cè)

早期的研究往往是對(duì)受試者進(jìn)行疼痛檢測(cè), 目標(biāo)是判斷疼痛的存在與否, 這是一個(gè)典型的二分類問(wèn)題,最常用的分類器是SVM.

SVM 可以分為線性和非線性兩大類.其主要思想是尋找空間中的一個(gè)能夠?qū)⑺袛?shù)據(jù)樣本劃分開(kāi)的超平面, 并且使得所有數(shù)據(jù)到這個(gè)超平面的距離最短.給定訓(xùn)練樣本集, 在特征空間上找到一個(gè)分離超平面, 將樣本點(diǎn)分到不同的類.其中存在唯一的分類超平面, 使得幾何間距最大.其中, 距離超平面最近的點(diǎn)為該超平面的支持向量.對(duì)于待測(cè)點(diǎn), 通過(guò)計(jì)算該點(diǎn)相對(duì)于超平面的位置進(jìn)行分類.距離分離超平面的距離越大, 表示分類預(yù)測(cè)的確信程度越高.在文獻(xiàn)[8,29,46,47,49,54,59,62,64,67,86,94,111-113]均使用SVM 作為分類器來(lái)輸出結(jié)果, 在二分類任務(wù)中, 一般SVM 是我們的首選,因?yàn)镾VM 非常適用于小樣本集而且泛化能力比較好,目前的疼痛數(shù)據(jù)集數(shù)量都很小, SVM 成為疼痛檢測(cè)任務(wù)中首先考慮的分類器.

另一種常見(jiàn)的二分類分類器為KNN, KNN 算法的核心思想是如果一個(gè)樣本在特征空間中的k 個(gè)最相鄰的樣本中的大多數(shù)屬于某一個(gè)類別, 則該樣本也屬于這個(gè)類別, 并具有這個(gè)類別上樣本的特性.該方法在確定分類決策上只依據(jù)最鄰近的一個(gè)或者幾個(gè)樣本的類別來(lái)決定待分樣本所屬的類別, 在文獻(xiàn)[32,57,62]中應(yīng)用了KNN 來(lái)進(jìn)行二分類.KNN 算法非常簡(jiǎn)單有效,重復(fù)訓(xùn)練的代價(jià)比較低, 但是該算法比較適用于樣本容量比較大的類域的自動(dòng)分類, 而那些樣本容量較小的類域采用這種算法比較容易產(chǎn)生誤分.

每個(gè)分類算法都可用來(lái)進(jìn)行二分類, 但有些算法較復(fù)雜或者分類性能不如SVM, 故不常用.在實(shí)驗(yàn)過(guò)程中可多嘗試幾種分類算法來(lái)找到最好的分類結(jié)果,在結(jié)果相差不大的情況下應(yīng)優(yōu)先選擇計(jì)算量簡(jiǎn)單的.

3.2 疼痛強(qiáng)度估計(jì)

疼痛強(qiáng)度估計(jì)為多分類任務(wù), 我們關(guān)心的結(jié)果不僅是疼痛的存在與否, 更關(guān)心疼痛的強(qiáng)度, 這項(xiàng)任務(wù)在現(xiàn)實(shí)生活中的應(yīng)用價(jià)值更大, 可根據(jù)疼痛強(qiáng)度來(lái)進(jìn)行相關(guān)治療.

在疼痛強(qiáng)度估計(jì)任務(wù)中, 隨機(jī)森林是最常用的分類算法.它通過(guò)大多數(shù)單個(gè)樹(shù)的決策來(lái)預(yù)測(cè)給定測(cè)試模式的輸出.每個(gè)樹(shù)都是在一個(gè)訓(xùn)練集中隨機(jī)選擇的一個(gè)例子構(gòu)建的.文獻(xiàn)[65,66,101]使用RF 來(lái)進(jìn)行疼痛強(qiáng)度估計(jì), RF 在訓(xùn)練過(guò)程中能夠處理很高維度的數(shù)據(jù),不用做特征選擇, 而且能預(yù)測(cè)各特征之間的互相影響,利用RF 分類器能判斷出各特征的重要性排名, 這在實(shí)驗(yàn)中廣泛應(yīng)用.

多分類中另一個(gè)常用分類算法是神經(jīng)網(wǎng)絡(luò)及其變體, 神經(jīng)網(wǎng)絡(luò)是將一組訓(xùn)練集送入模型, 根據(jù)網(wǎng)絡(luò)的實(shí)際輸出與期望輸出間的差別來(lái)調(diào)整權(quán)值.Martinez 等[87]使用HCRF 模型進(jìn)行多分類, Egede 等[88]應(yīng)用RVR,Rodriguez 等[89]使用LSTM.神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)和自適應(yīng)能力比較強(qiáng), 但是它的學(xué)習(xí)過(guò)程是一個(gè)黑盒模型, 而且需要足夠的數(shù)據(jù)才能學(xué)到相應(yīng)信息.此外, SVM 也可被應(yīng)用于多類分類任務(wù), 通過(guò)1-1 或者1-all 策略實(shí)現(xiàn)多類分類[41,107,114,115].

4 發(fā)展的挑戰(zhàn)及方向

我們目前獲得的實(shí)驗(yàn)結(jié)果與人為誤差水平還有很大的差距, 大部分性能差距不是由識(shí)別系統(tǒng)的技術(shù)弱點(diǎn)引起的, 而是由于疼痛及其表達(dá)的復(fù)雜性所帶來(lái)的挑戰(zhàn).在實(shí)驗(yàn)過(guò)程中, 我們遇到的挑戰(zhàn)主要有數(shù)據(jù)庫(kù)問(wèn)題、評(píng)判疼痛的標(biāo)準(zhǔn)問(wèn)題、表現(xiàn)力差異等.

首先, 公開(kāi)發(fā)布的針對(duì)疼痛的數(shù)據(jù)庫(kù)極大地推進(jìn)了疼痛自動(dòng)識(shí)別領(lǐng)域工作的推進(jìn), 但每個(gè)數(shù)據(jù)庫(kù)的參與者人數(shù)和數(shù)據(jù)量完全滿足需求.現(xiàn)存的數(shù)據(jù)庫(kù)也存在著一些問(wèn)題, 比如不是自發(fā)情況下引起的疼痛等.數(shù)據(jù)的局限和數(shù)量的不足是制約自動(dòng)識(shí)別系統(tǒng)算法開(kāi)發(fā)和泛化應(yīng)用的關(guān)鍵問(wèn)題之一.針對(duì)此問(wèn)題, 目前可以采取的辦法是根據(jù)現(xiàn)有的數(shù)據(jù)來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)或擴(kuò)充,如裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)、加入噪音點(diǎn)等, 這些數(shù)據(jù)增強(qiáng)方式可以有效的擴(kuò)充訓(xùn)練樣本數(shù)量.另外樣本量較小時(shí)可以通過(guò)遷移學(xué)習(xí)來(lái)訓(xùn)練.

其次是疼痛評(píng)級(jí)的PSPI 標(biāo)準(zhǔn)不足.如人實(shí)際上感到疼痛, 但PSPI 評(píng)分可能為零.此外, 疼痛可能誘發(fā)的不是PSPI 評(píng)分中擁有模式(AU4/6/7/9/10/43)的面部反應(yīng).Kunz 等[61]最近的研究表明有幾個(gè)“痛苦的面孔”,包含抬起眉毛(AU1/2)或張開(kāi)嘴(AU25/ 26/27), 這些都是PSPI 不考慮的.盡管觀察到的受試者不感到疼痛,但PSPI 也可能不為零.最明顯的是, AU43(閉眼)不是與疼痛特定相關(guān), 例如它也發(fā)生在睡眠和放松期間.此外, 情緒的幾種面部表情與PSPI 共享AU, 例如, 厭惡(AU9 或10), 恐懼(AU4), 悲傷(AU4)或幸福(AU6).需要更多的研究來(lái)找到更好的疼痛測(cè)量方法.不同人由于生活經(jīng)歷文化背景等的差異, 對(duì)于同一疼痛刺激,表現(xiàn)出不同的面部表情.一些人對(duì)于疼痛刺激表現(xiàn)出的面部活動(dòng)非常少, 另外有研究顯示對(duì)于相同的刺激,男性和女性表現(xiàn)出不同程度的疼痛表現(xiàn).因此, 從面部線索自動(dòng)估計(jì)自我報(bào)告的疼痛強(qiáng)度的方法還應(yīng)該考慮個(gè)體在疼痛的面部表現(xiàn)力方面的差異.

另外, 深度學(xué)習(xí)是潛力很大的智能算法, 其在疼痛自動(dòng)識(shí)別中的應(yīng)用價(jià)值亟待開(kāi)發(fā).然而深度學(xué)習(xí)模型的巨大計(jì)算量使得資源消耗和計(jì)算時(shí)間增加很多.近兩年很多研究提出對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行輕量化, 通過(guò)改變卷積方式, 在不減少性能或稍微損失性能的前提下減少參數(shù)量, 從而減小內(nèi)存和運(yùn)算量、加快運(yùn)算速度.目前提出的網(wǎng)絡(luò)結(jié)構(gòu)有SqueezeNet、MobileNet、ShuffleNet、Xception 等[116-123].一般而言, 我們的計(jì)算資源都是非常有限的, 深度網(wǎng)絡(luò)的輕量化可在節(jié)約計(jì)算資源的前提下獲得有效的任務(wù)性能, 將會(huì)引起越來(lái)越多的關(guān)注.

5 結(jié)論

本文從疼痛自動(dòng)識(shí)別系統(tǒng)的結(jié)構(gòu)組成, 以及疼痛模態(tài)表征多角度方面進(jìn)行描述, 對(duì)疼痛自動(dòng)識(shí)別系統(tǒng)的流程環(huán)節(jié)和主要技術(shù)方法進(jìn)行了系統(tǒng)性的梳理和總結(jié).疼痛檢測(cè)包含多樣化的評(píng)估指標(biāo), 例如面部表情、身體運(yùn)動(dòng)、生理信號(hào)等, 其中面部表情是疼痛最常見(jiàn)且最重要的評(píng)價(jià)指標(biāo), 語(yǔ)音信息也是具有潛在應(yīng)用價(jià)值的表達(dá)模態(tài).由于疼痛表現(xiàn)形式復(fù)雜多樣, 多模態(tài)特征融合技術(shù)的應(yīng)用成為趨勢(shì), 模態(tài)特征信息提取、時(shí)空域特征融合以及多模態(tài)信息組合方式是重點(diǎn)研究的方向.從眾多文獻(xiàn)的實(shí)驗(yàn)結(jié)果可以看出, 即使在可控條件下的疼痛數(shù)據(jù)庫(kù)上, 有關(guān)疼痛檢測(cè)任務(wù)的實(shí)驗(yàn)結(jié)果也不樂(lè)觀, 距離實(shí)際應(yīng)用的精度要求還有很大差距.因此需要提取更合適、更具有特異性的模態(tài)特征, 并通過(guò)多特征、多模態(tài)的多角度綜合分析, 促進(jìn)疼痛自動(dòng)識(shí)別系統(tǒng)的性能.