用于面癱分級的自監督非對稱特征學習方法

孫豪杰，李苗鈺，章盼盼，許鵬飛

(西北大學 信息科學與技術學院，陜西 西安 710127)

面癱是一種較為常見的面部肌肉運動障礙的疾病。由于不健康的生活方式和精神壓力，越來越多的年輕人患有面癱疾病。面癱的主要癥狀是患者面部表情肌肉喪失了正常的運動功能。患者無法正常表達出常見的面部表情。面癱對患者的身心健康以及正常生活會產生不利影響。

大多數面癱患者的臨床特征是單側性面癱[1]。因此，面癱評估主要是依據面部運動的不對稱性和面部肌肉運動模式[1]。目前面癱的診斷和分級評估基本都是由專科醫生根據醫學經驗和相關標準進行的，診斷結果很大程度上受醫生主觀醫學經驗的影響，且效率低下。而利用計算機視覺技術的輔助診斷可以減輕醫生的工作量，提高工作效率，減少診斷結果受主觀因素的影響，提升準確性。

目前，利用計算機視覺技術的面癱分級評估方法主要分為：① 基于靜態面部圖像的非對稱性的評價方法，主要依據面部形狀和紋理信息的不對稱性[1-2]。這種方法高度依賴于關鍵點檢測的準確性，而具有多種面部狀態和復雜面部運動的患者面部關鍵點難以準確定位。此外，依據靜態面部圖像進行面癱分級評估忽略了面部肌肉的運動特征，不能準確地表達面部運動的時序特征信息；② 難以通過多個相鄰幀的級聯而獲得的特征向量來表達面部運動的時序特征[3-4]；③ 現有的基于深度模型的面癱分級評估(GoogleNet)，主要是依據靜態面部圖像的特征信息來評估面癱等級[5-6]。但是，該方法僅關注靜態面部的全局特征，卻忽略了面部運動的時序特征，以及面部的非對稱運動。

通過對現有的面癱評估方法的分析，并借鑒計算機視覺在相關領域的成功應用，例如行為識別、表情和微表情識別等，可利用先進的計算機視覺技術，并結合專業醫生在面癱診斷和分級評估的醫療經驗，設計新的網絡模型來有效解決面癱分級評估問題。例如，可利用經典的分類模型，如GoogleNet[5]、VGG-16[7]、Resnet 34、Resnet 50和Resnet 101[8]來提取全局面部視覺特征，還可使用長短期記憶網絡(Long Short-Term Memory，LSTM)[9]、CNN-LSTM[10]、三維卷積神經網絡(3 Dimensional Convolutional Neural Networks，3D-CNN)[11]以及用于表情識別的卷積神經網絡(Convolutional Neural Networks for Facial Expression Recognition，CNN-FER)[12]和微表情時空卷積神經網絡(Micro Exp Spatial and Temporal Convolutional Neural Networks，Micro ExpSTCNN)[13]等提取面部運動的時序特征。但是，這些方法難以有效提取面部肌肉運動的非對稱性特征，而這一特征又是面癱分級評估的關鍵性特征。為此，提出雙通道神經網絡模型以提取面部兩側運動特征的差異信息。面癱數據采集和標注成本高，數據量小，深度神經網絡難以有效提取特征信息[14]。而自監督學習[15]能夠利用大量無標簽的數據在相關任務基礎上對模型進行預訓練，以提升模型的特征學習能力。因此，提出了一種用于面癱分級評估的自監督面部非對稱特征學習方法。該方法利用視頻段的序列預測作為上游任務對3D-CNNs(C3D，R3D和R(2+1)D)模型進行預訓練，以提高模型對面部運動時序特征的學習能力。與傳統的面癱評估方法中的特征提取不同，經預訓練的3D-CNN模型可提取面部運動的時序特征，而非人工特征或基于二維卷積神經網絡(2D-CNN)提取的二維特征。此外，在視頻序列預測的上游任務中，可以利用大量無標簽數據對3D-CNN模型進行預訓練。且該上游任務并非傳統的分類或評估任務，不同于模型遷移的下游任務。與視頻分類任務相比，序列預測包含更豐富的監督信息，3D-CNN模型可以利用眾多無標簽視頻數據，并且預訓練后模型可較為容易地遷移到新的應用領域，例如面癱分級評估任務。此外，筆者提出的方法重點關注整個面部和面部相關局部區域的面部非對稱性運動特征，并將整體與局部的時序特征相結合，以用于最終的面癱分級評估。

1 現有的相關研究

面癱是指一種面部表情肌肉失去正常的運動功能，導致無法做出正常表情的疾病[16-17]。現有的基于計算機視覺技術的面癱分級評估方法主要包括：基于靜態圖像的面部非對稱性特征、面部運動的非對稱性特征和深度模型提取的全局面部特征的方法。面癱患者在進行面部診斷運動時，面部狀態可以很好地反映面癱的癥狀和嚴重程度。因此，基于靜態面部差異特征的面癱分級評估方法有：LIU等[18]通過比較面部兩側某些區域內的像素數來估計面癱的嚴重程度；MODERSOHN等[19]提出了一種改進的主動外觀規模(Active Appearance Model，AAM)，用于檢測患者的面部關鍵點信息，以提取面部形態差異特征；林楊[2]提出了一種基于Gabor特征和支持向量機的面部運動功能分類的面癱評估方法；MA[20]提出了基于面部關鍵點與區域的面部神經功能評估方法；NGO等[21]通過結合Gabor和局部二值模式(Local Binary Pattern，LBP)功能對面癱進行定量評估。后來，他們利用同心調制濾波器來測量濾波后圖像兩側之間的不對稱性，并實現面癱評估[22]。盡管這些面癱分級評估方法取得了較好的效果，但又高度依賴于關鍵點檢測的準確性。此外，這些方法中使用面部的靜態特征，難以很好表達面部運動的時序特征。

基于面部運動特征信息的面癱分級評估方法有：NISHIDA等[23]通過計算面部關鍵點的運動距離以定量評估面癱的嚴重程度；BARBOSA等[24]使用混合分類模型檢測面部關鍵點，并通過跟蹤面部關鍵點的變化信息實現面癱分級評估；LIU等[25]從紅外圖像的相關面部區域提取面部溫度分布特征，以進行面癱評估。

深度神經網絡學習特征的性能很大程度上取決于模型本身以及所用到的訓練數據量[15]。然而，實際情況中難以獲得與當前任務直接相關的大規模數據集，即使擁有這樣的大規模數據集，對數據的標記也耗時耗力。而自監督學習方法能夠從大量無標簽的相關數據中學習視覺特征，一種流行的解決方案就是為網絡模型提出多種相對應的上游任務。目前，已有較多的基于自監督學習方法已從大規模未標記圖像或視頻數據中學習視覺特征的方法和模型。例如，可以利用視頻本身的時間連貫性與動態性，自動生成大量帶標簽的圖像或視頻數據對相關模型進行預訓練。WANG等[26]采用了自監督學習方法來學習目標區域的視覺表示，而這些目標區域又是從無標簽視頻中提取獲得的。其中，層次聚類法用于捕獲幀之間的外觀演變特征[26]，預訓練后的模型可用于學習視頻特征表示。在文獻[26]中，幀序列預測方法用來判斷視頻幀序列是否有序。XU等[27]引入了視頻段序列預測任務作為行為識別的上游任務以利用視頻的內部動態特性，此上游任務適合使用3D-CNNs模型從視頻中學習時序特征信息。

2 用于面癱分級評估的自監督面部非對稱特征學習

在面癱診斷過程中，患者需要根據醫生的指示做出若干相應的診斷動作，以便醫生根據患者面部運動的不對稱性來評估面癱的嚴重程度。因此，應重點關注面癱患者面部運動的非對稱性特征。另外，為能夠使得深度網絡模型能夠從相對較少的面癱視頻數據中有效提取面部運動的時序特征，引入了“預訓練-遷移”的策略，采用自監督學習的方法，通過視頻序列預測的上游任務對模型進行預訓練，以提高模型有效提取時序特征的能力，從而提高下游任務面癱分級評估的性能。

如圖1所示，所提出的面癱分級評估方法主要包括視頻序列預測的上游任務和面癱分級評估的下游任務兩個階段。為進行視頻序列預測，首先將面癱的診斷視頻中人臉對稱地劃分為左側臉和右側臉，并將這些單側臉的視頻采樣為若干個視頻片段，再按其可能的順序打亂；然后利用3D-CNNs (C3D、R3D和R(2+1)D)模型進行視頻序列預測任務的預訓練。預訓練后的3D-CNN模型就具有能夠學習面部運動時序特征的能力。接著，將預訓練后的模型遷移到面癱分級評估的下游任務，利用面癱診斷視頻對預訓練后的3D-CNN模型進行微調。最后，利用3D-CNN模型提取的時序特征的差異信息進行面癱分級評估。此外，整個模型結合了面部整體的非對稱性特征和局部非對稱性特征進行面癱分級評估。

2.1 視頻預處理與人臉對稱分離

圖2 面部對稱分離

對于選取后的每一個視頻幀，首先采用Faster RCNN[28]進行人臉檢測，然后利用AAM算法檢測人臉關鍵點，并通過計算面部中軸線實現面部對稱分離。但由于面癱患者的面部差異大，AAM算法難以準確檢測面部關鍵點。因此，選擇兩個位置相對穩定的關鍵點進行面部對稱分離，即關鍵點P1(x1，y1)和關鍵點P2(x2，y2)，如圖2所示。

2.2 基于視頻序列預測任務的3D-CNN網絡模型的預訓練

圖3是面癱視頻序列預測任務的模型預訓練的整體框架。首先，根據2.1節所描述的方法將所有視頻幀中患者面部對稱分割為左、右兩個側面。然后，將所有的單側面部視頻統一進行幀采樣為多個子視頻段，并按照可能存在的順序重新打亂。例如，對于一個面癱診斷視頻，可以采樣為3個子視頻段，則有6個可能的序列關系。當然，還可以采樣為更多的子視頻段和更多可能存在的序列。但對于面癱診斷，部分患者的面部動作非常迅速，導致只能采集到短暫的面癱診斷視頻；這些視頻的幀數較少，不適合采樣為多個子視頻段。

對每一個視頻采樣后的多個子視頻段的順序進行隨機置亂處理，形成多個可能的子視頻段序列，以作為視頻序列預測[27]上游任務的輸入數據。使用3D-CNN模型提取每個子視頻段的時序特征信息，并進行子視頻段的序列預測。如圖3所示，對一個視頻的多個子視頻段使用相同的3D-CNN模型提取特征信息，并使用多個3D-CNNs(C3D、R3D和R(2+1)D)模型進行實驗以驗證自監督方法的可行性。通過上游任務，可以得到相應的3D-CNN預訓練模型。這些模型具有學習面部運動特征的能力。將這些模型遷移到面癱分級評估的下游任務中。

圖3 面癱視頻的子視頻段的序列預測框架

2.3 基于預訓練模型的面癱分級評估

面癱診斷時，專業醫生需要通過觀察患者面部肌肉在整個運動過程中的狀態變化來評估面癱的嚴重程度。而面癱的癥狀主要表現為單側性面癱，患者在做面部診斷動作時，兩側面部的狀態變化不一致，呈現面部運動的不對稱性。這反映了面部表情肌肉的運動功能的不協調性，也是面癱的嚴重程度評估的重要依據。因此，面癱分級評估應該重點關注面部表情肌肉運動的不對稱性特征。此外，醫生進行面癱診斷和評估時，不僅關注患者面部整體的變化信息，同時還關注與診斷動作相關的局部面部區域的運動特征。因此，可以結合整體面部和相關面部局部區域的運動差異特征來進行最終的面癱分級評估。

通過子視頻段序列預測的上游任務所獲得的預訓練后的3D-CNN模型，已經具有一定的學習人臉動態特征的能力。然后，將這些模型遷移到面癱分級評估的下游任務中，使用記錄完整面部運動的視頻對這些預訓練模型進行調優訓練，如圖4所示。

圖4 基于預訓練模型的面癱分級評估的框架

在圖4中，使用兩路3D-CNN模型提取面部兩側的運動特征，并通過FD=(Fl-Fr)2計算運動特征的差異信息，Fl和Fr分別是提取的面部左、右兩側的運動特征。因此，對于全局面部非對稱性特征的提取，使用面部整體運動的幀序列X=(x1，x2，x3，…，xi，…，xT)作為輸入數據，xi為第i幀。對人臉進行對稱分離，并將人臉的對稱兩側輸入到3D-CNN模型中，提取其時序特征。利用FD，g=(Fl，g-Fr，g)2計算面部整體的非對稱性特征。而針對與面部診斷動作相對應的面部局部區域非對稱性特征的提取，計算方法類似。可利用FD，lr=(Fl，lr-Fr，lr)2得到局部面部運動的非對稱性特征。最后，將FD，g與FD，lr級聯融合，形成一個新的特征向量，用于最終的面癱分級評估。

3 實驗與討論

3.1 實驗設置

為了實現面癱的自動分級評估，采集了面癱患者的面部診斷動作的視頻數據。數據集有117名面癱患者的視頻，40名志愿者的視頻。每個人都要做7個面部動作，包括抬眉、閉眼、聳鼻、鼓腮、示齒、微笑和皺眉。且每個人都要重復3次這7個面部動作。

請專業醫生給這些視頻數據按面癱分級情況進行標注，將面癱的嚴重程度分為正常、輕度、中度和危重4個等級，并用0、1、2、3表示。所有視頻數據的70%用于模型訓練，訓練數據按5∶1分配作為訓練集和驗證集；剩余的30%視頻數據作為測試集。另外，還使用一些傳統的需要使用靜態的面部圖片來評估面癱的嚴重程度的方法作為對比實驗，因此從所有視頻片段中選取關鍵幀作為對比實驗的數據，這些關鍵幀反映了面部診斷動作最大的動作狀態。此外，準確率(Acc)、精確率(Pre)、召回率(Recall)和F1用于不同方法性能的評價參數。

3.2 實驗結果與分析

為驗證筆者提出的面癱分級評估方法的有效性和先進性，采用了5類面癱分級評估方法進行對比：傳統的基于人工特征的方法、基于卷積神經網絡的方法、用于表情識別方法、基于LSTM的方法和基于3D-CNN的方法。實驗結果如表1所示。

表1 與目前最先進的方法進行比較

對于面癱分級評估，WANG[1]的方法是采用靜態面部非對稱性特征的經典方法(LBP+SVM)。在實驗數據上，利用視頻中挑選出來的表情最大程度的靜態面部圖像進行測試，該方法的平均精度約為56.73%。而基于Gabor特征和支持向量機[2]的方法準確率更低，但是在召回率和F1評分上有更好的結果。這兩種方法的性能整體上都低于基于卷積神經網絡的方法。其原因在于人工特征難以準確表達深層的面部非對稱性特征，且這些方法主要關注全局的面部特征，沒有考慮局部的面部運動特征，且這些方法對實驗圖像有更嚴格的要求。

基于卷積神經網絡的方法也可以應用于面癱分級評估任務中，并在從視頻中挑選出表情最大程度的靜態面部圖像上進行測試。與傳統方法[1-2]相比，GoogleNet[5]和VGG-16[9]的面癱分級評估方法在準確率和精確率方面表現相似，但在召回率和F1方面表現更好。而基于Resnets[10]的方法在4個評價參數上都有大幅度提升。其中，Resnet 50的性能優于傳統方法[1-2]，準確率約為66.67%，F1得分約為67.90%。這些實驗結果表明，基于卷積神經網絡的模型可以捕獲到更有效的面部非對稱性特征。

將面部表情和微表情識別方法應用于面癱分級評估。由表1可以看出，其效果欠佳。其中，MicroExpSTCNN[13]在準確率、召回率和F1得分上都優于CNN-FER[12]。但由于這些方法主要關注面部整體運動特征，而不是面部運動的非對稱性特征，因此，難以取得良好的面癱評估效果。相比之下，文中提出的方法充分考慮了面部整體和局部運動的非對稱性特征，同時通過自監督訓練的策略提高模型特征提取的能力，從而在最終的目標任務中取得了最佳的性能。與MicroExpSTCNN[13]相比，筆者提出方法(R3D(自監督))在準確率、平均精度、召回率和F1評分上分別約有39.37%、38.02%、40.04%和29.31%的提升。

最后，利用基于LSTM[11]和CNN-LSTM[12]的模型以及基于3D-CNN的模型進行面癱分級評估。與傳統的基于人工特征的評估方法、基于卷積神經網絡的方法以及用于表情識別的方法相比，基于LSTM的方法總體上具有更好的性能。原因在于這些方法能夠更有效地提取面部肌肉運動的時序特征。而未經過自監督預訓練的3D-CNN模型進行面癱評估的性能仍然較差，原因在于隨機初始化的網絡模型難以在小規模的面癱視頻數據中學習到有效的面部動態特征。此外，這些方法側重于面部運動的整體特征，而不是面部運動的非對稱性特征，而這又是面癱評估的關鍵性特征。而筆者提出的方法在視頻序列預測的上游任務中預訓練的3D-CNN模型具有提取面部兩側的動態特征的能力，并將其遷移到面癱分級評估的下游任務中，通過利用面部運動的差異特征來評估面癱的嚴重程度。此外，提出方法還結合了面部的全局和局部運動的時序特征，進一步提高了面癱分級評估的準確性。實驗結果表明，筆者提出的方法在準確率、精確率、召回率和F1方面均具有最優的性能。

4 結束語

筆者提出了一種用于面癱分級評估的自監督面部非對稱特征學習方法。該方法以視頻序列預測為上游任務對3D-CNNs(C3D、R3D和R(2+1)D)模型進行預訓練；然后，將預訓練后的3D-CNN模型遷移到面癱分級評估的下游任務中。利用自監督學習的3D-CNN模型可以利用大量無標簽視頻數據在上游任務中學習視頻的時序特征信息，很大程度上解決了小規模面癱視頻數據的有效特征難以準確提取的問題。此外，結合面部整體和局部運動的時序特征來評估面癱的嚴重程度，符合專業醫生通過觀察患者的整個面部和面部相關局部區域的運動信息來評估面癱的嚴重程度的原則。實驗結果表明，筆者提出的方法比現有面癱分級評估方法具有更好的性能。然而，筆者提出的方法以及現有的面癱評估方法是通過視頻分類的方式進行面癱嚴重程度分級的，這一方式難以很好處理面癱嚴重程度相鄰水平之間的模糊性，這也將是面癱分級評估研究中需要解決的一大挑戰。