基于人臉多特征融合的精神分裂癥自動識別

李 雯，郭 湘，秦林雨，何 凌，鄭秀娟，李元媛

(1.四川大學 生物醫學工程學院，四川 成都 610065；2.四川大學 電氣工程學院，四川 成都 610065；3.四川大學 華西心理衛生中心，四川 成都 610041)

0 引 言

精神分裂癥癥狀[1，2]多樣，認知功能障礙是其核心癥狀之一，表現信息加工能力下降、語言表達障礙、抽象思維困難等功能損傷[2]。目前臨床上該病的診斷主要取決于醫生的主觀判斷，效率低且缺少客觀的輔助診斷指標[3]。

研究表明，精神分裂癥患者的認知表達能力障礙常表現在視覺閱讀、面部表情、運動趨勢等非語言行為[2，4-6]。

眼動信息反映人的視覺閱讀能力，因精神分裂癥患者注意功能與信息處理功能的下降，其眼動信息與正常人存在差異[1，7，8]，并被用于精神分裂癥的分類檢測。如Huang等[9]通過眼動儀獲取自由觀看任務中掃視速度、注視時間等眼動特征，在隨機森林分類器中實現87.1%的分類正確率。現研究多借助眼動儀提取眼動特征[8，9]，成本高、受試者負擔重。

言語表達過程伴隨嘴部區域等面部表情的變化，言語功能損傷可從患者的面部行為觀測[4，10，11]。如Birnbaum等[10]提取精神分裂癥患者視頻中的面部運動單元(facial action unit，FAU)的強度信息進行分析，指出唇角拉肌表情單元等嘴部區域在交叉實驗中分類準確率達72%。面部運動單元可用于面部肌肉變化強度分析，但缺乏對嘴部關鍵點及其動態變化的進一步研究。

頭部異動是精神分裂癥患者運動障礙的表現之一[6，12，13]。Abbas等[12]通過計算機視覺模型量化患者的頭部幀間運動距離，以實現精神分裂癥的分類。Dean等[13]對訪談視頻中精神疾病超高風險青年的頭部區域幀間灰度變化進行運動能量分析，得到高風險患者表現出更大的運動幅度的結論。對患者的頭部運動信號進行分析對精神分裂癥診斷有臨床意義[9]，但現有研究缺少對其動態過程的分析，或基于觀察者主觀的評分，缺乏客觀表征。

針對研究現狀，提出基于人臉多特征融合的精神分裂癥自動識別算法，根據患者在文本朗讀過程中眼部、嘴部、頭部姿態的異動，綜合眼動周期特性、嘴部運動幅度特性、頭部姿態角度變化特性構建融合特征，結合分類器實現精神分裂癥患者與正常對照組的分類識別，為精神分裂癥提供輔助診斷指標。

1 基于人臉多特征融合的精神分裂癥自動識別算法

1.1 系統總流程

受認知功能障礙的影響，精神分裂癥患者的注意功能和對信息的處理能力降低、言語意識變差，表現與正常人在視覺信息整合、言語表達能力、頭部姿態上的差異[4-6]。為實現精神分裂癥自動識別，針對文本朗讀過程中精神分裂癥患者非言語行為異常，提出基于人臉多特征融合的精神分裂癥自動識別算法，系統總流程如圖1所示。

圖1 基于人臉關鍵點的多特征精神分裂癥自動識別算法流程

1.2 人臉關鍵點自動檢測

精神分裂癥患者情感遲鈍、言語匱乏，具有明顯的認知功能障礙[1-3]。在讀話過程中，其面部各區域伴有不同程度的運動，表現眼動、讀話、頭部姿態的異常。為研究讀話過程中精神分裂癥患者臉部運動特征，獲取各部位的特征點信息，應用Dlib庫提取人臉關鍵點。

Dlib基于梯度增強的回歸樹方法[14]，將提取的圖像特征映射為人臉關鍵點，實現對人臉區域中眉、眼、鼻、嘴等部位共68個關鍵點的定位檢測。實驗對精神分裂癥患者讀話視頻幀應用Dlib人臉檢測方法，對圖像中人臉關鍵點集D位置信息進行提取。

在讀話過程中，精神分裂癥患者伴有眼部視線移動、嘴部開合運動以及頭部姿態變化。為表征精神分裂癥患者面部運動特征，分別提取眼部、嘴部、頭部3個區域的特征點集D39-41、D48-67、D6，8，10，27， 人臉關鍵點區域劃分如圖2所示。

圖2 人臉關鍵點區域劃分

1.3 基于輪廓信息與區域極值的眼部特征提取算法

現有眼動特征多使用眼動儀進行提取，給受試者帶來負擔，且測量成本較高[8，9，16]。因此，通過無接觸式的相機拍攝受試者讀話視頻，提出基于輪廓信息與區域極值的眼部運動特征提取算法，提取眼動軌跡，分析其眼動周期特性。

1.3.1 基于單尺度(Retinex)增強與輪廓特性的瞳孔中心點提取算法

為提取眼動軌跡，需對眼睛的瞳孔中心進行定位。基于輪廓信息的瞳孔中心點提取算法應用基于單尺度(Retinex)增強的圖像增強處理，消除光照影響。實現對眼部區域圖像的預處理后，提出基于輪廓特征的瞳孔中心點提取算法，通過輪廓信息特性獲得瞳孔中心點位置信息。

(1)基于單尺度增強的圖像預處理

數據拍攝環境的光照條件不同，拍攝所得圖像光照不均勻，造成實驗對象眼部區域陰影，需消除光照影響。

單尺度增強算法可增強圖像中的暗處細節，改善圖像受光照不均勻部分[17]。算法將圖像分解為RGB三通道，分別去除利用高斯變換得到的光照分量，將各通道合成得到增強結果。

圖3為基于單尺度增強的圖像增強處理效果。根據眼部特征點集D39-41定位信息，提取眼部ROI區域(如圖3(a)所示)，其眼睛大部分區域被陰影覆蓋，為定位瞳孔中心帶來困難，需消除圖像中的光照陰影。算法將圖像分解為R、G、B三通道圖像后(如圖3(b)～圖3(d)所示)，3個通道分別經過單尺度增強，每個通道圖像的對比度都得到明顯增強(如圖3(e)～圖3(g)所示)，最后將各通道增強圖像進行合并(如圖3(h)所示)得到預處理結果。經過單尺度增強處理后，眼部區域圖像中的光照不均勻得到有效改善，暗處的眼部細節得到增強，對比度得到有效提高。

圖3 基于單尺度增強的圖像增強處理效果

(2)基于輪廓信息的瞳孔中心點提取算法

對精神分裂癥患者眼部圖像進行預處理后，提出基于輪廓信息的瞳孔中心點坐標提取算法，利用圖像的輪廓特性實現對瞳孔中心點坐標的提取。

基于白色鞏膜與深色虹膜的顏色差異大的特點，應用全局閾值處理方法，得到眼部區域的粗分割二值圖像，實現眼睛的虹膜部分的初步提取。為去除眼瞼等其它小連通域對分割結果的影響，利用形態學方法去除小連通域、平滑二值區域的邊緣，得到虹膜二值區域。

不同實驗對象在讀話過程中眼睛的睜開程度不同，難以實現虹膜二值區域的完整提取。為表征瞳孔中心點信息，對虹膜二值區域進行輪廓信息分析，提取輪廓的外接圓圓心，外接圓能囊括二值區域，外接圓圓心能描述區域中心。為進一步完善對中心點的描述，對二值區域進行質心的提取，質心描述了二值區域分布的平均位置。取兩者坐標的平均值，作為中心點坐標信息C(x，y)， 如式(1)所示

(1)

式中：C0(x，y) 為二值區域輪廓外接圓圓心，M(x，y) 為二值區域的質心。

圖4為瞳孔中心點提取算法效果，對經過增強處理后的眼部區域圖像進行閾值處理，實現眼睛的虹膜部分的初步提取，并利用形態學方法去除眼瞼等深色區域造成的孤立點。基于虹膜二值區域的輪廓信息特點，實現對精神分裂癥患者眼睛中心點坐標C(x，y) 的提取。

圖4 基于輪廓信息的瞳孔中心點提取算法效果

1.3.2 基于眼動軌跡序列極值的眼動周期特征提取算法

精神分裂癥患者注意功能受損，信息處理功能下降，其視覺閱讀更加困難[7，8]。為提取精神分裂癥患者視線閱讀特征，提出基于眼動軌跡序列極值的眼動周期特征提取方法，將連續幀的瞳孔中心點位置信息表征眼動軌跡后，分析序列的極值特性，提取眼動平均周期特征。

(1)相對眼動軌跡序列表征

通過基于輪廓信息的瞳孔中心點提取算法，得到每幀圖像中右眼的中心點位置信息C(x，y) 后，根據連續幀圖像中相對位置移動變化來表征眼動軌跡，如圖5所示。

圖5 相對軌跡特征點

人臉檢測點集D中的36、39點表示右眼的內外眼角點，兩眼角點之間的距離是固定不變的。計算中心點C(x，y) 與內眼角點D39(x，y) 的相對距離d，如式(2)所示，表征每張圖片中右眼瞳孔中心點與內眼角點之間的相對距離

(2)

式中：d1為中心點C到點D39之間的距離，d2為36點D36與點D39之間的距離。

dx表征中心點C(x，y) 與內眼角點D39(x，y) 的水平方向上的相對眼動距離，如式(3)所示

(3)

dy表征中心點C(x，y) 與內眼角點D39(x，y) 的垂直方向上的相對眼動距離，如式(4)所示

(4)

提取每段讀話中所有連續幀的特征值d、dx、dy，得到眼動軌跡Leye、 眼動軌跡水平分量Leyex、 眼動軌跡垂直分量Leyey。

(2)基于序列區域極值的眼動特征EMC(eye movement cycle)提取

患者在讀話過程中，視線隨文字分布水平移動，中心點隨時間變化而產生的序列的峰值和谷值反映了其視線閱讀規律。將提取出的精神分裂癥患者眼動序列Leye， 對其進行中值濾波，去除序列中的突變值，得到眼動序列Leye′。 進行濾波后，提取局部谷值點Ri并設置閾值T，縮小谷值范圍，得到Qk， 如式(5)所示

(5)

式中：Riy為點集y方向上的值，LN為序列Leye′的長度。

根據谷值點集Qk中的時域特點，將其分為N組，每組點集為每個谷值附近的極小值點，Qk={Q′1，Q′2，…，Q′N}。 分別提取每一組極小值點集中的最小值代表序列谷值，如式(6)所示

Q″n=min(Q′n)

(6)

計算每組點集最小值之間的幀差并取平均值，得到周期特征值EMC，如式(7)所示

(7)

式中：N為Q″n的個數，Q″nx為Q″n點集x方向上的坐標，fs為提取序列視頻對應的幀率。

1.4 基于垂直運動單元與小波能量熵的嘴部特征提取算法

言語障礙是認知障礙中的重要領域，精神分裂癥患者聽覺言語加工、視覺閱讀和言語產生存在一定的缺陷，導致語言認知功能下降，閱讀能力降低、閱讀意識變差[4]。為研究精神分裂癥患者嘴部運動特征，提出基于小波能量熵的嘴部運動特征提取算法。

1.4.1 基于垂直運動單元的嘴部狀態特征MR(mouth ratio)提取

通過嘴巴的開合程度來表示讀話過程中測試者的讀話狀態，從而實現對精神分裂癥患者嘴部運動特征的描述。由人臉檢測得到的特征點集D可知，D48-67均為嘴部特征點，可通過這些嘴部特征點表征讀話過程中嘴的開合程度，嘴部運動特征點如圖6所示。

圖6 嘴部運動特征點

提出基于垂直運動單元的嘴部狀態特征MR(mouth ratio)，表示讀話過程中嘴巴的開合程度，如式(8)所示

(8)

式中：BD為D51到D57點之間的距離，AC為D48到D54之間的距離，BD與AC的比值即為嘴部特征值MR。

1.4.2 基于小波能量熵的運動序列特征提取算法

通過提取讀話視頻中所有連續幀的特征值MR，得到嘴部運動時間序列為MR(n)(n=1，…，N)。 為對序列進行不同尺度分析，提取讀話過程中實驗者讀話特性，提出基于小波能量熵的嘴部運動序列特征提取算法。

算法通過小波變換對信號進行多尺度分解，實現對信號的局部化分析；再將各頻率系數進行重構，進行能量熵計算。應用小波變換對嘴部運動時間序列MR(n)進行3層小波分解，通過小波變換分解為低頻信息MRa1和高頻信息MRd1，MRa1繼續分解為低頻信息MRa2和高頻信息MRd2， 低頻信息MRa2再繼續分解為低頻信息MRa3和高頻信息MRd3， 完成三層小波分解，如式(9)所示

MR(n)=MRa1+MRd1=MRa2+MRd2+MRd1=MRa3+MRd3+MRd2+MRd1

(9)

對分解所得各頻率信息進行重構并計算能量值Ei與總能量值E，如式(10)所示

(10)

式中：Fi為每個頻率的能量占比，Si為每個頻率重構信息的能量熵，i=a1，a2，a3，d1，d2，d3。

1.5 基于角度變化與短時幅度特征的頭部姿態特征提取算法

精神分裂癥患者具有運動功能障礙[12]，表現行為遲緩等差異，其閱讀文本時思維靈敏性低、反應遲鈍。在相同讀話環境下，患者視線移動受阻，借助頭部姿態變化完成閱讀。為表征其頭部姿態變化特點，提出基于角度變化與序列幅度特征的頭部姿態特征提取算法，基于角度變化表征頭部姿態特征后，應用短時幅度差函數分析其序列特征。

1.5.1 基于向量角度變化的頭部旋轉特征HRAR(head rotation angle ratio)提取

為了描述頭部姿態變化，提出基于向量角度變換的頭部旋轉特征提取算法。根據人臉檢測結果中特征點提供的位置信息，選取表征頭部姿態的特征點集D6，8，10，27， 特征點集幾何分布如圖7所示。

圖7 頭部運動特征點

提出特征值HRAR，表示讀話過程中精神分裂癥患者頭部姿態特征，其公式為式(11)

(11)

1.5.2 基于短時幅度特征的姿態序列特征提取算法

提取連續圖像幀中的頭部旋轉特征HRAR，得到頭部姿態變化時間序列HR(n)(n=1，…，N)。 對序列HR(n) 進行一階差分處理，表示其前后增量變化。應用短時平均幅度差函數表征其幅度特征，衡量信號幅度的變化，如式(12)所示

(12)

式中：HR(m) 是頭部運動時間序列，HR′(j) 是短時平均幅度差函數序列。

經過短時平均幅度差函數處理后的序列呈直線分布，對HR′(j) 進行線性最小二乘擬合，設n為1，得到擬合系數p1、p2， 構成P，即序列特征值，如式(13)所示

(13)

1.6 SVM(support vector machine)分類器

支持向量機(SVM)是一種經典的二值分類器[3，9]，其通過在特征空間尋找一個最優超平面，實現兩類樣本數據到超平面的距離最大化。SVM模型存儲空間小，算法魯棒性較高，是小樣本訓練常用的學習方法。

2 實驗結果與分析

2.1 實驗數據

本實驗數據來源于四川大學華西醫院心理衛生中心和眉山市精神衛生中心，共采集20位精神分裂癥患者和20位正常對照組的文本朗讀視頻，數據信息見表1。

表1 實驗數據采集情況

受試者按要求在平靜狀態下，正對顯示屏進行文本朗讀任務，朗讀文本為一段科普性陳述語句。朗讀開始后，使用專業的錄像設備對文本朗讀過程進行數據錄制。實驗共采集40段文本朗讀視頻，視頻幀分辨率為1920×1080。

2.2 基于人臉多特征融合的精神分裂癥自動識別算法結果與分析

針對精神分裂癥患者在文本朗讀過程中眼動、嘴部讀話與頭部姿態的異常，提出基于人臉多特征融合的精神分裂癥自動識別方法，對面部區域中眼部、嘴部以及頭部姿態3個區域的特征進行提取分析：①基于輪廓信息與區域極值的眼部特征提取算法提取眼動周期EMC。②基于小波能量熵的嘴部運動特征提取算法提取能量熵Si。 ③基于角度變化與序列幅度特征的頭部姿態特征提取算法提取姿態系數P。將眼動周期EMC、能量熵分量Sa1、 頭部姿態系數P構建融合特征向量，實現對精神分裂癥患者的自動識別檢測。

實驗提取每段視頻的融合特征，結合SVM分類器進行精神分裂癥的自動分類識別，實驗結果見表2。實驗使用5個指標對分類結果進行評價：正確率(accuracy)為被正確識別的樣本數在總樣本數中的占比；精確率(precesion)為被正確識別的正樣本在所有被識別為正樣本的數目中的占比；召回率(recall)為被正確識別的正樣本在所有真實情況下為正樣本的數目中的占比；F1-score為精確率與召回率的調和平均；AUC(area under the curve)為ROC(receiver operating characteristic)曲線下的面積，AUC越大表明其分類性能越好。

表2 基于人臉多特征融合的精神分裂癥自動識別結果

由表2可知，實驗對特征EMC、Sa1、P進行了十折交叉驗證，3組特征在實驗中均表現較好的分類結果，分別得到87.5%、87.5%、75.0%的分類正確率，91.7%、85.8%、70.0%的分類精確率。

基于人臉多特征融合的精神分裂癥自動識別方法提取的特征向量EMC+Sa1+P， 在十折交叉驗證實驗中得到92.5%的分類正確率，在各組特征中獲得最高的實驗結果。

實驗結果表明，本文提出的基于人臉多特征融合的精神分裂癥自動識別方法，即對精神分裂癥患者在文本朗讀過程中各區域表現差異進行多參數表征，構建的融合特征實現分類檢測，實現了92.5%的分類正確率，分類性能優于單區域特征。融合特征綜合分析了精神分裂癥患者的眼動障礙、言語障礙與頭部姿態異動，反映了患者視覺信息處理能力下降、言語表達淡漠的特點，特征表現較好的分類檢測能力、魯棒性強，實現了對精神分裂癥患者的自動分類檢測。

2.3 眼動周期EMC與眼動周期分量EMC_x對分類結果的討論與分析

為分析不同方向眼動特征對實驗的影響，實驗基于輪廓信息與區域極值的眼部特征提取算法，分別提取眼動軌跡Leye和眼動軌跡水平分量Leyex， 并將對應的眼動周期EMC、眼動周期分量EMC_x。

精神分裂癥患者與正常對照組在不同方向眼動特征的差異如圖8所示。結合SVM分類器進行十折交叉驗證，將兩組特征的分類檢測結果進行比較，對比結果見表3。

表3 基于輪廓信息與閾值特點的眼部特征提取算法實驗結果

圖8 精神分裂癥患者與正常對照組的眼動周期差異

由實驗結果可知，眼動周期水平分量EMC_x在交叉驗證實驗中實現80.0%的正確率、86.7%的精確率，眼動周期EMC在交叉驗證實驗中實現87.5%的正確率、91.7%的精確率。實驗結果說明，不同方向提取的眼動特征直接影響分類結果，眼動周期EMC結合了垂直方向上的眼動細節，提取的眼動信息更加精確，表現更好的分類性能，實現對精神分裂癥眼動特性的良好表征。

2.4 小波能量熵Si對分類結果的討論與分析

精神分裂癥患者言語認知功能下降，閱讀意識低，語言表達淡漠[2]，從嘴部運動反映其表達特性。實驗通過提出基于小波能量熵的嘴部特征提取算法，提取特征MR表征讀話過程中嘴巴的開合程度，得到嘴部運動時間序列MR(n)， 利用三層小波變換分解特征值序列MR(n)， 根據重構信息MRi提取能量熵Si(i=a1，a2，a3，d1，d2，d3)。Sa1、Sa2、Sa3為嘴部運動特征中的低頻能量熵，Sd1、Sd2、Sd3為嘴部運動特征中的高頻能量熵。

為討論能量熵Si對實驗結果的影響，實驗提取20位精神分裂癥患者和20位正常對照組的能量熵特征Sa1、Sa2、Sa3、Sd1、Sd2、Sd3， 并將其與P、EMC進行特征組合，在SVM中進行十折交叉驗證實驗，對比實驗結果見表4。

表4 嘴部特征中不同頻率能量熵特征的實驗結果

由表4可知，能量熵分量Sa1、Sa2、Sa3、Sd1、Sd2、Sd3在實驗中分別得到87.5%、77.5%、72.5%、82.5%、82.5%、82.5%的分類正確率。其中，能量熵特征Sa1得到最高87.5%的識別正確率。實驗將能量熵Sa1、Sa2、Sa3、Sd1、Sd2、Sd3分別與頭部姿態系數P、眼動周期EMC進行兩組特征組合。在組合特征的實驗結果中，與頻率能量熵Sa1進行組合的特征向量Sa1+P、Sa1+P+EMC分別得到87.5%、92.5%的分類正確率，在Si+P、Si+P+EMC的特征組合中分類正確率最高。

由實驗結果可知，在基于小波能量熵的嘴部特征提取算法提取的嘴部運動特征中，不同頻率能量熵特征影響精神分裂癥的識別結果，低頻重構信息的能量熵特征反映了精神分裂癥患者在文本朗讀過程中的嘴部運動能量特性，其中能量熵Sa1在嘴部特征中表現患者與正常對照組嘴部運動差異，在所有頻率能量熵中獲得較高的分類正確率，能有效實現對精神分裂癥患者和正常志愿者的分類檢測。

2.5 對比實驗結果與分析

2.5.1 國內外精神分裂癥自動識別算法的對比實驗結果與分析

近年來國內外研究學者通過視頻信號，從面部運動單元、頭部運動變化中提取特征[10，11，13]，實現對精神分裂癥的自動分類檢測。面部運動單元由面部表情編碼系統(facial action coding system，FACS)定義，精神分裂癥患者表情淡漠、反應遲鈍，研究學者通過計算面部運動單元的強度信息[10，11]，分析精神分裂癥患者的面部特征，從而實現分類、病情檢測的目的。同時，研究者根據視頻信號中精神分裂癥患者頭部等運動差異，提取前后幀灰度差異特征分析患者的身體運動異常[13]。

針對本實驗數據，提取視頻信號中的面部運動單元特征與頭部運動特征，對國內外技術進行對比實驗，結果見表5。

表5 國內外特征與本文特征對比結果

由表5可知，基于本實驗數據提取的AU12、AU17、頭部運動特征在十折交叉驗證實驗中獲得57.5%～62.5%的分類正確率，精神分裂癥患者在文本朗讀過程中表現了面部運動與頭部運動異常。面部運動單元AU12、AU17分別表征了嘴角拉起程度和下巴提起程度，在與正常對照組的分類實驗中實現62.5%的分類正確率。基于文獻[13]提取的頭部運動特征實現57.5%的分類正確率。而提出的基于人臉多特征融合的精神分裂癥自動識別方法，從視頻圖像出發，綜合分析了精神分裂癥患者在眼動、嘴部開合、頭部姿態在動態過程中的微小運動差異，獲得92.5%的分類正確率，優于其它特征的分類結果，具有良好的魯棒性。

2.5.2 本文特征在不同分類器中的實驗結果對比

在對提取的精神分裂癥特征進行分類實驗時，國內外研究學者多采用支持向量機(SVM)[3，9]、隨機森林(random forest)[3，9]、K最近鄰規則(K-nearest neighbor，KNN)[3，15]等機器學習算法，實現對精神分裂癥的分類識別。實驗使用上述3種分類器對提取的融合特征EMC+Sa1+P進行分類實驗，對比實驗結果見表6。

表6 本文特征在不同分類器中的實驗結果對比

由表6結果可知，實驗提取的特征在3個分類器中實現了較好的分類結果，隨機森林、KNN、SVM分別實現了87.5%、95.0%和92.5%的分類正確率，以及0.94、0.95、0.98的AUC。隨機森林算法通過訓練多個決策樹模型，將測試數據放入模型進行投票得到預測結果[3，9]，對本實驗數據實現87.5%的分類正確率。KNN分類算法不需參數估計[15]，算法復雜度低，對本實驗數據實現95.0%的分類正確率。SVM分類器在兩類數據分類中具有較好的表現[3，9]，其在特征空間尋找最優超平面，對實驗精神分裂癥患者與正常對照組兩類數據進行分類，實現92.5%的分類正確率。其評估指標AUC在3個分類器中得到最高的0.98，表明分類器具有較好的泛化能力，適用于本實驗小樣本的分類。實驗結果表明，基于人臉多特征融合的精神分裂癥自動識別方法提出的融合特征在多個分類器中表現良好的分類性能，能有效實現對精神分裂癥的分類檢測。

3 結束語

為尋找精神分裂癥客觀輔助診斷指標，提出基于人臉多特征融合的精神分裂癥自動識別算法，針對文本朗讀視頻提取眼部、嘴部、頭部姿態區域特征，并構建融合特征進行分類識別。實驗對采集的20位精神分裂癥患者與20位正常對照組的視頻進行特征提取，構建的融合特征在SVM分類器中實現92.5%的分類正確率，其中眼動特征EMC與嘴部特征Sa1對精神分裂癥患者面部區域運動特性的良好表征，分別實現91.7%和87.5%的分類正確率。與國內外其它特征進行對比，提出的融合特征獲得最高的分類結果。