基于多模態(tài)的貝葉斯網(wǎng)絡(luò)疼痛識別方法

郭文強(qiáng)， 趙艷， 徐紫薇， 肖秦琨

(1.陜西科技大學(xué)電子信息與人工智能學(xué)院，西安 710021； 2.陜西科技大學(xué)電氣與控制工程學(xué)院， 西安 710021； 3.西安工業(yè)大學(xué)電子信息工程學(xué)院， 西安 710021)

疼痛作為許多疾病的特征，在臨床上可以作為重要指標(biāo)去監(jiān)測病情和衡量治療效果。臨床醫(yī)護(hù)人員通常將自我報告作為疼痛的評估方法[1]。但是對于一些特殊人群，如新生兒、智力發(fā)育不良或精神受損的人，他們不具備自我評估疼痛的能力。因此在復(fù)雜的醫(yī)療環(huán)境下，高效準(zhǔn)確的疼痛評估結(jié)果對患者的治療和護(hù)理具有重要的臨床意義。

人的面部表情中包含了大量的疼痛信息，是疼痛常見的評價依據(jù)之一[2]。文獻(xiàn)[3]使用支持向量機(jī)(support vector machine，SVM)算法進(jìn)行疼痛識別，平均識別率為87.2%。但其主要針對疼痛的二分類識別，不能詳細(xì)描述患者的疼痛強(qiáng)度。在醫(yī)療實(shí)踐中，人們?yōu)榱烁玫剡M(jìn)行醫(yī)療決策常將疼痛強(qiáng)度視為多分類問題。對此，文獻(xiàn)[4]采用長短期記憶(long short-term memory, LSTM)通過分析視頻幀間的時間關(guān)系進(jìn)行疼痛強(qiáng)度多分類研究；文獻(xiàn)[5]采用循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)實(shí)現(xiàn)疼痛等級的劃分。但其均采用“黑箱式”變量關(guān)系的表達(dá)方式，其模型復(fù)雜、可解釋性差。文獻(xiàn)[6]提出了一種基于貝葉斯網(wǎng)絡(luò)的疼痛識別方法，其利用貝葉斯網(wǎng)絡(luò)(Bayesian network, BN)在表示和推理不確定性問題上的優(yōu)勢進(jìn)行疼痛的多分類識別，且網(wǎng)絡(luò)結(jié)構(gòu)可以直觀、清晰地顯示變量之間的因果關(guān)系[7]。由上述幾種方法可知，其均采用與疼痛相關(guān)的面部動作單元(action unit, AU)作為特征向量進(jìn)行模型訓(xùn)練，沒有充分考慮到其他與疼痛相關(guān)的模態(tài)信息，缺乏多樣性。目前在疼痛評估研究中，除面部表情特征外還引入了其他評價手段，如觀察者評估、生物生理學(xué)信號(如心率、皮膚導(dǎo)電率等)、語音信號等[8]。研究表明，結(jié)合多種模態(tài)進(jìn)行情感分析能夠有效提高準(zhǔn)確度[9-10]。

現(xiàn)提出一種基于多模態(tài)的貝葉斯網(wǎng)絡(luò)(multimodel Bayesian network, MMBN)疼痛識別方法。首先利用互信息對獲取的各疼痛特征進(jìn)行相關(guān)性判斷，剔除冗余的特征向量；然后將多模態(tài)特征與BN模型結(jié)構(gòu)靈活可變的優(yōu)勢相結(jié)合來建立疼痛識別模型；最后利用聯(lián)合樹推理算法實(shí)現(xiàn)對疼痛客觀、準(zhǔn)確的評估。

1 基本理論

1.1 多模態(tài)疼痛特征

通常將不同的存在形式或信息來源稱為模態(tài)，將由兩種或兩種以上模態(tài)的組合稱為多模態(tài)[10]。所提出的利用多模態(tài)進(jìn)行疼痛識別可以有效提高單模態(tài)識別的準(zhǔn)確度。在評估疼痛時，通過不同采集方式獲取的信息源具有獨(dú)立屬性的疼痛信息，如觀察者評估信息、面部表情、語音信號、生理信號等。以UNBC-McMaster數(shù)據(jù)庫[11]為例，疼痛信息源主要包括疼痛表情動作單元(AU)、觀察者評估(observers rated pain intensity, OPI)、視覺模擬量表(visual analog scales, VAS)和感官量表(the sensory scale, SEN)等疼痛信息。其中OPI是由接受過大量訓(xùn)練的觀察者對患者的疼痛進(jìn)行觀察評估，依據(jù)經(jīng)驗(yàn)判斷患者的疼痛程度；VAS和SEN是由受試者在每次測試完成后使用感覺和情感語言等疼痛描述符對其產(chǎn)生的疼痛進(jìn)行評定。

面部表情傳遞著大量的關(guān)于疼痛和情緒狀態(tài)的信息，Prkachin等[12]基于面部動作編碼系統(tǒng)(facial action coding system, FACS)提出了疼痛度量標(biāo)準(zhǔn)(Prkachin and Soloman pain intensity, PSPI)，發(fā)現(xiàn)并證實(shí)了眉毛聚攏(AU4)、眼窩收緊(AU6和AU7)、提肌收縮(AU9和AU10)以及閉眼(AU43)這4種核心面部運(yùn)動行為包含大多數(shù)的疼痛信息，并通過AU的強(qiáng)度值來評價疼痛的程度[12]。定義的Prkachin & Solomon 疼痛程度度量式為

PSPI=AU4+max(AU6,AU7)+

max(AU9,AU10)+AU43

(1)

式(1)中：除AU43的強(qiáng)度值為0或1，表示閉眼或睜眼外，其余AU的強(qiáng)度值均為0～5，且值越大說明AU強(qiáng)度越高，即總的疼痛程度為AU4的強(qiáng)度值、AU6或AU7(取最大強(qiáng)度值)、AU9或AU10(取最大強(qiáng)度值)和AU43強(qiáng)度值這4項(xiàng)之和。

圖1為UNBC-McMaster數(shù)據(jù)庫中的4張包含疼痛表情的圖像幀對應(yīng)的PSPI值，可以看出，隨著PSPI值的增大，疼痛程度越強(qiáng)烈。

圖1 UNBC-McMaster數(shù)據(jù)庫的圖像幀及對應(yīng)的PSPI值Fig.1 Image frame of UNBC-McMaster database and corresponding PSPI value

1.2 貝葉斯網(wǎng)絡(luò)

貝葉斯網(wǎng)絡(luò)[13]由結(jié)構(gòu)G和參數(shù)θ兩部分組成。結(jié)構(gòu)G=(V,E)為有向無環(huán)圖，其中n個節(jié)點(diǎn)集合V=(X1,X2,…,Xn)是變量，有向邊E集合表示變量間的因果依賴關(guān)系。θ是網(wǎng)絡(luò)參數(shù)，即節(jié)點(diǎn)的概率分布，表示節(jié)點(diǎn)之間相互影響的程度。θi∈θ表示在給定節(jié)點(diǎn)Xi的父節(jié)點(diǎn)時Xi的條件概率，節(jié)點(diǎn)集合V的聯(lián)合概率分布可表示為[13]

(2)

式(2)中：Xi為網(wǎng)絡(luò)中的節(jié)點(diǎn)變量，i=1，2，…，n；π(Xi)為節(jié)點(diǎn)Xi的父節(jié)點(diǎn)變量集合。

1.2.1 貝葉斯網(wǎng)絡(luò)建模

貝葉斯網(wǎng)絡(luò)學(xué)習(xí)[14]包括BN結(jié)構(gòu)建模、BN參數(shù)建模和BN推理三部分，其中BN結(jié)構(gòu)建模常采用專家經(jīng)驗(yàn)法和根據(jù)給定樣本學(xué)習(xí)法。

BN參數(shù)學(xué)習(xí)[15]是在建立好網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)后，按照一定的數(shù)學(xué)準(zhǔn)則，利用數(shù)據(jù)樣本集來學(xué)習(xí)、計算BN的參數(shù)分布。當(dāng)數(shù)據(jù)集充足時，常采用最大似然估計(maximum likelihood estimation, MLE)算法進(jìn)行參數(shù)學(xué)習(xí)；當(dāng)數(shù)據(jù)集存在不同程度的數(shù)據(jù)缺失時，常選用期望最大化(expectation maximization, EM)算法進(jìn)行參數(shù)學(xué)習(xí)，雖然計算時間相對較長，但比MLE算法更精確。使用EM算法計算參數(shù)分布。首先初始化每個節(jié)點(diǎn)的概率分布，然后根據(jù)訓(xùn)練數(shù)據(jù)修改初始概率分布，找到每個參數(shù)的最大似然估計。假定θ的初始值為θ0，參數(shù)空間為Θ，EM算法的實(shí)現(xiàn)步驟如下[15]。

步驟1E步(expectation step)。以當(dāng)前參數(shù)θk和觀測變量x計算對數(shù)似然函數(shù)lgLc(θ,x)的期望為Q(θ,θk)，計算公式為

Q(θ,θk)=Eθ(k){lgLc(θ,x)}

(3)

式(3)中：Eθ(k)為θ(k)的期望。

步驟2M步(maximization step)。尋找參數(shù)最大化期望似然，可表示為

(4)

EM算法使用E步和M步交替計算，直至收斂到局部最優(yōu)解。

1.2.2 貝葉斯網(wǎng)絡(luò)推理

BN推理[16]是指在學(xué)習(xí)到精確的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)后，通過概率推理的方式對未知變量進(jìn)行估計或預(yù)測，即在已知證據(jù)節(jié)點(diǎn)集合e的取值狀態(tài)下，計算非證據(jù)節(jié)點(diǎn)o的后驗(yàn)概率分布P(o|e)。采用計算速度最快、應(yīng)用最廣的聯(lián)合樹(junction tree, JT)推理算法進(jìn)行精確推理算法，其表達(dá)式為[16]

(5)

式(5)中：e為證據(jù)；P(e)為常數(shù)；P(o)為先驗(yàn)概率；P(e|o) =L(o|e)為似然函數(shù)。

1.3 互信息

為使建立的貝葉斯網(wǎng)絡(luò)模型結(jié)構(gòu)更加簡潔，且方便后續(xù)模型的訓(xùn)練和推理，利用互信息進(jìn)行多模態(tài)特征向量間的相關(guān)性判斷，剔除冗余的特征向量。互信息是兩個變量間相互依賴性的度量，以任意兩個變量X、Y為例，互信息I(X,Y)可表示為[17]

(6)

式(6)中：P(X,Y)為變量X和Y的聯(lián)合概率；P(X)為變量X的概率；P(Y)為變量Y的概率。

2 基于多模態(tài)的貝葉斯網(wǎng)絡(luò)疼痛識別方法

所提出的基于多模態(tài)的貝葉斯網(wǎng)絡(luò)疼痛識別方法主要步驟如下。

步驟1獲取有關(guān)疼痛的多模態(tài)特征樣本數(shù)據(jù)集。

步驟2判斷是否構(gòu)建多模態(tài)貝葉斯網(wǎng)絡(luò)疼痛識別模型。若是，則跳轉(zhuǎn)至步驟6進(jìn)行BN推理和識別；否則執(zhí)行步驟3～步驟5，完成疼痛識別模型的建立。

步驟3確定特征總數(shù)和特征樣本之間的相關(guān)性閾值φ。

步驟4利用互信息對多模態(tài)特征樣本間進(jìn)行相關(guān)性判斷，確定貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。

步驟5對特征樣本數(shù)據(jù)集中的訓(xùn)練樣本利用EM算法進(jìn)行參數(shù)估計，完成疼痛識別模型的建立。

步驟6對特征樣本數(shù)據(jù)集中的待識別樣本(未用于訓(xùn)練)采用聯(lián)合樹推理算法完成BN推理和識別判定，輸出疼痛等級識別結(jié)果。

2.1 多模態(tài)BN結(jié)構(gòu)設(shè)計

所提出的多模態(tài)BN結(jié)構(gòu)模型如圖2所示，其由待識別節(jié)點(diǎn)T、控制單元S以及證據(jù)節(jié)點(diǎn)E三部分組成。圖2中，E1、E2、…、En為與待識別節(jié)點(diǎn)T相關(guān)的證據(jù)節(jié)點(diǎn)，并設(shè)置了一個控制單元S=[S1,S2,…,Sn]，其中Si=1或0(i=1,2，…，n)，若Si=1，則待識別節(jié)點(diǎn)與Ei存在有向邊，模型中包含該信息源的信息；反之，則待識別節(jié)點(diǎn)與Ei不存在有向邊，模型中不包含該信息源的信息。

圖2 多模態(tài)BN結(jié)構(gòu)模型圖Fig.2 Multimodal BN structure model diagram

2.2 樣本獲取

以UNBC-McMaster數(shù)據(jù)庫為例，將疼痛劃分為不痛、輕度疼痛、中度疼痛和重度疼痛，并將疼痛表情AU特征(AU4、AU6、AU7、AU9、AU10、AU43)、觀察者評估(OPI)兩種信息源作為多模態(tài)BN建模的證據(jù)節(jié)點(diǎn)。根據(jù)文獻(xiàn)[11]的方法獲取有關(guān)疼痛的AU特征樣本集，即先用主動外觀模型(active appearance model，AAM)系統(tǒng)來跟蹤人臉和提取面部底層特征，最后使用SVM方法對面部特征進(jìn)行分析得到AU樣本集，為了方便計算對獲取的每個AU強(qiáng)度值加1；數(shù)據(jù)庫中疼痛信息源OPI為接受過大量訓(xùn)練的觀察者對患者的疼痛進(jìn)行觀察評估，依據(jù)經(jīng)驗(yàn)判斷患者的疼痛程度。對OPI數(shù)據(jù)進(jìn)行預(yù)處理后，現(xiàn)為3種狀態(tài)(1，2，3)且數(shù)字越大對應(yīng)患者疼痛程度越強(qiáng)。采用以上方法來獲取AU特征樣本數(shù)據(jù)和OPI數(shù)據(jù)，如獲得的重度疼痛特征樣本數(shù)據(jù)如表1所示。

2.3 特征去冗余

利用互信息對與疼痛相關(guān)的特征進(jìn)行相關(guān)性判斷，剔除冗余的特征向量，確定BN建模時所需的多模態(tài)特征。首先設(shè)定各特征樣本的相關(guān)性閾值φ，然后計算n個特征樣本數(shù)據(jù)之間的互信息值Mij(i=1,2，…,n；j=1,2，…,n)，若Mij<閾值φ，將Si置1；否則Si仍保留為0。對獲取的特征樣本數(shù)據(jù)進(jìn)行互信息計算的結(jié)果如圖3所示，其相關(guān)性可以通過互信息值的大小反映，范圍在0～1，當(dāng)大于閾值φ且越接近1時，表示各特征之間的相關(guān)性越強(qiáng)；當(dāng)小于閾值φ時，表示各特征之間相關(guān)性較低，其中將閾值φ設(shè)為0.6。由圖3可以看出，各特征之間的自我相關(guān)性最強(qiáng)，如AU4與AU4間互信息值大于閾值φ= 0.6；而不同特征之間的互信息值均小于閾值φ= 0.6，表明了這7個特征之間的相關(guān)性較低，可以作為BN建模時所需的特征向量。

表1 重度疼痛的部分特征樣本數(shù)據(jù)

圖3 各特征間的互信息計算結(jié)果Fig.3 Mutual information calculation results between features

2.4 疼痛識別模型建立

通過多模態(tài)BN結(jié)構(gòu)模型圖構(gòu)建的疼痛識別模型主要過程如下：①確定待識別節(jié)點(diǎn)T為疼痛等級，即“不痛”、“輕度疼痛”、“中度疼痛”和“重度疼痛”；②分析并確定疼痛識別的影響因素，即證據(jù)節(jié)點(diǎn)E，如面部有關(guān)疼痛的AU特征和觀察者評估信息；③根據(jù)互信息對各影響因素進(jìn)行相關(guān)性判斷，即控制單元S置位判斷，構(gòu)造出用于疼痛識別的貝葉斯網(wǎng)絡(luò)模型的拓?fù)浣Y(jié)構(gòu)；④分析各因素對疼痛識別的影響程度，確定條件概率表，即采用EM算法進(jìn)行參數(shù)估計，迭代次數(shù)設(shè)為5 000。

根據(jù)上述過程分析，建立的疼痛識別結(jié)構(gòu)模型如圖4所示。圖4(a)為基于單模態(tài)的BN疼痛識別結(jié)構(gòu)模型，其只采用了與面部有關(guān)的疼痛AU特征作為證據(jù)節(jié)點(diǎn)，Pain Level節(jié)點(diǎn)和OPI證據(jù)節(jié)點(diǎn)之間不存在有向邊，即控制單元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,0]；圖4(b)為基于多模態(tài)的BN疼痛識別結(jié)構(gòu)模型，其采用了有關(guān)疼痛的AU特征和OPI疼痛信息共同作為證據(jù)節(jié)點(diǎn)，Pain Level節(jié)點(diǎn)和OPI證據(jù)節(jié)點(diǎn)之間存在有向邊，即控制單元S=[S1,S2,S3,S4,S5,S6,S7]=[1,1,1,1,1,1,1]。

圖4 基于貝葉斯網(wǎng)絡(luò)的疼痛識別模型Fig.4 Pain recognition model based on Bayesian network

圖4中，Pain Level節(jié)點(diǎn)表示疼痛等級，包含4種狀態(tài)：“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”；AU各節(jié)點(diǎn)表示由疼痛觸發(fā)的面部活動單元，其中，子節(jié)點(diǎn)AU43共有2種狀態(tài)，其他AU子節(jié)點(diǎn)各有6種狀態(tài)，代表AU發(fā)生的強(qiáng)度；OPI表示觀察者評估的疼痛程度，共有3種狀態(tài)。

2.5 疼痛識別

疼痛識別的過程實(shí)質(zhì)是利用建立好的貝葉斯網(wǎng)絡(luò)模型進(jìn)行BN推理和識別判定。使用聯(lián)合樹推理算法根據(jù)式(7)計算Painl的后驗(yàn)概率，可以得到“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”4種疼痛等級的概率，其和為1。通過比較各疼痛等級概率的大小，將概率最大且唯一時所對應(yīng)的疼痛等級識別結(jié)果進(jìn)行輸出。

Pain*=argmaxP(Painl|evidence)

(7)

式(7)中：evidence為輸入特征向量對應(yīng)的觀測證據(jù);Painl為疼痛識別節(jié)點(diǎn)中疼痛等級取值為l的事件，1≤l≤q，其中q取值為4，即“不痛”“輕度疼痛”“中度疼痛”和“重度疼痛”分別用1、2、3、4表示。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)仿真實(shí)驗(yàn)平臺為Windows10系統(tǒng)，處理器為AMD CPU 1.8 GHz，編程工具為MATLAB R2016b，數(shù)據(jù)集為UNBC-McMaster數(shù)據(jù)庫。

UNBC-McMaster數(shù)據(jù)庫[11]記錄了25位志愿者在主動或者被動轉(zhuǎn)動其受傷肩部時的200個面部表情視頻，包含48 398個FACS編碼的圖像幀和相應(yīng)圖像幀的66個AAM特征標(biāo)記、PSPI疼痛強(qiáng)度值、視頻序列下的自我報告和觀察者評估信息。按照專家先驗(yàn)知識進(jìn)行疼痛等級的劃分，其各級疼痛的特征樣本數(shù)據(jù)如表2所示。實(shí)驗(yàn)中，從各級疼痛圖像樣本中隨機(jī)選取268張圖像作為訓(xùn)練樣本，從剩余的各級疼痛圖像樣本里隨機(jī)選取115張圖像作為待識別樣本。

表2 疼痛等級特征值組合

3.2 基于單模態(tài)的實(shí)驗(yàn)結(jié)果

采用基于單模態(tài)的BN模型進(jìn)行疼痛識別，即僅根據(jù)與疼痛相關(guān)的AU特征作為疼痛識別的證據(jù)節(jié)點(diǎn)，其模型結(jié)構(gòu)如圖4(a)所示。為了更直觀地表明該模型的疼痛等級識別效果，采用混淆矩陣的方式表示實(shí)驗(yàn)結(jié)果，如表3所示。

由表3可以看出，4種疼痛等級的識別率均達(dá)到90%以上。其中“不痛”的識別率可達(dá)到100%，可以做到完全區(qū)分疼痛與非疼痛表情；“輕度疼痛”

表3 基于單模態(tài)的疼痛識別結(jié)果

識別率為97.39%，容易與“不痛”混淆；“中度疼痛”的識別率為90.44%，容易與“重度疼痛”混淆。分析可知，基于單模態(tài)下BN模型可以準(zhǔn)確的劃分疼痛等級，能夠取得較好的疼痛識別結(jié)果。

3.3 基于多模態(tài)的實(shí)驗(yàn)結(jié)果

由于目前UNBC數(shù)據(jù)庫中OPI數(shù)據(jù)較少，在模型訓(xùn)練時可能會存在過擬合現(xiàn)象。為此根據(jù)已有的數(shù)據(jù)及OPI與Pain Level節(jié)點(diǎn)狀態(tài)存在的關(guān)系生成一個有關(guān)節(jié)點(diǎn)OPI的條件概率表，如表4所示。其可以根據(jù)不同Pain Level的狀態(tài)隨機(jī)生成每張圖片對應(yīng)OPI值。

利用所提出的基于多模態(tài)的BN模型進(jìn)行疼痛識別，即根據(jù)疼痛AU特征和OPI信息共同作為疼痛識別的證據(jù)節(jié)點(diǎn)，其模型結(jié)構(gòu)如圖4(b)所示，實(shí)驗(yàn)結(jié)果用混淆矩陣表示，如表5所示。

由表5可以看出，4種疼痛等級下的識別率均達(dá)到93%以上。其中“不痛”的識別率可達(dá)到100%，可以完全區(qū)分疼痛與非疼痛表情；“中度疼痛”的識別率為93.91%，容易與“重度疼痛”混淆。分析可知，相較于單模態(tài)的實(shí)驗(yàn)結(jié)果，基于多模態(tài)的BN模型對疼痛各等級的識別結(jié)果均得到提高，容易混淆的個數(shù)得到減少，可以更準(zhǔn)確地劃分疼痛等級。

表4 節(jié)點(diǎn)OPI的條件概率

表5 基于多模態(tài)的疼痛識別結(jié)果

3.4 不同方法的實(shí)驗(yàn)結(jié)果對比

為進(jìn)一步驗(yàn)證本文方法的有效性，與SVM[3]、LSTM[4]、RNN[5]和單模態(tài)的BN模型識別方法進(jìn)行對比。通過平均識別準(zhǔn)確率以及機(jī)器學(xué)習(xí)中的接收工作特性曲線下面積(area under the curve, AUC)對分類模型的準(zhǔn)確性進(jìn)行衡量[18]，一般AUC值越大，說明該分類模型的性能更好。不同識別方法的實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 不同識別方法的實(shí)驗(yàn)結(jié)果Fig.5 Experimental results of different recognition methods

由圖5可以看出，本文方法的準(zhǔn)確率為97%，相較于經(jīng)典的SVM[3]、LSTM[4]、RNN[5]和單模態(tài)的BN模型識別方法分別提高了11%、14%、22%和2%，取得了較好的疼痛識別結(jié)果。此外，本文方法的AUC值均高于其他方法，說明了MMBN的分類模型有著較強(qiáng)的分類性能，具備一定預(yù)測價值。分析可知，在疼痛條件下利用多種模態(tài)之間的信息互補(bǔ)性以及貝葉斯網(wǎng)絡(luò)模型強(qiáng)大的學(xué)習(xí)能力和靈活的可擴(kuò)展性，將不同模態(tài)信息融入網(wǎng)絡(luò)中，使得疼痛的識別更加準(zhǔn)確。

4 結(jié)論

高效準(zhǔn)確地疼痛評估對患者的治療具有重要意義，為了提高疼痛識別的準(zhǔn)確度，打破單模態(tài)疼痛識別方法的局限性，提出了一種基于多模態(tài)的貝葉斯網(wǎng)絡(luò)疼痛識別方法。首先設(shè)計了一種結(jié)合多模態(tài)的BN結(jié)構(gòu)模型，將其應(yīng)用到疼痛識別過程中；其次獲取有關(guān)疼痛的多模態(tài)特征，利用互信息對各疼痛特征進(jìn)行相關(guān)性判斷，剔除冗余的特征向量，使得建立的疼痛識別模型更加簡潔；最后在UNBC-McMaster數(shù)據(jù)庫上利用該方法與其他傳統(tǒng)的單模態(tài)方法進(jìn)行對比，實(shí)驗(yàn)結(jié)果表明，本文提出的MMBN方法能夠充分利用多種模態(tài)特征之間的信息互補(bǔ)性及BN模型的可擴(kuò)展性等優(yōu)勢，可以準(zhǔn)確地劃分疼痛等級，有效提高疼痛識別率，解決了以往研究中單模態(tài)疼痛識別方法準(zhǔn)確度低的問題。

在未來工作中，將進(jìn)一步與生理信號、語音信號等其他模態(tài)信息相結(jié)合進(jìn)行疼痛識別的研究，增強(qiáng)疼痛識別模型的魯棒性，同時在多種疼痛數(shù)據(jù)集下進(jìn)行驗(yàn)證，擴(kuò)大模型的應(yīng)用范圍。