基于改進GhostNet模型的表情識別研究

張文海，陳春玲

(南京郵電大學 計算機學院、軟件學院、網絡空間安全學院，江蘇 南京 210023)

0 引 言

通過深度學習方法提取表情特征信息是目前最廣泛使用且有效的方法[1]，但隨著深度神經網絡模型的不斷發展，網絡模型越來越復雜，參數和計算量不斷變大，導致模型的使用只能在特定的應用場合，很難應用到移動設備和嵌入式設備上。為解決這個問題，Howard等于2017年提出MobileNet[2]模型，通過將一個標準卷積拆分成逐通道卷積和逐點卷積的方法大幅減少了計算量；Sandler等提出倒殘差模塊和線性瓶頸層，并以此設計了MobileNet V2模型[3]；2019年，Howard等提出MobileNet V3模型[4]，在倒殘差模塊中引入了SE注意力機制，并修改MobileNet V2中計算量偏大的開頭和結尾兩層，該模型在分類和檢測等任務上準確率和速度都優于前幾版；2020年，針對生成的特征圖中存在大量的冗余信息，Han等提出GhostNet模型[5]，使用恒等映射的方式直接生成這些冗余的特征圖，大幅減少了參數量和計算量。但這些模型當中，即便是最小的圖像輸入分辨率也是96×96，而人臉表情識別任務則可以使用更低的分辨率。

目前卷積神經網絡大都采用Softmax交叉熵損失函數來優化類間的特征差異，并未考慮到人臉表情信息中類內的特征差異。為解決這個問題，Wen等提出中心損失函數[6]，使樣本均勻分布于類中心周圍，減小類內差異；Cai等在中心損失函數的基礎上提出Island損失函數[7]，優化類中心的位置，增大類間差異。事實上，基于Softmax交叉熵損失函數改進得到的各種損失函數都是在做減小類間相似性、增大類內相似性的工作。但是這樣的優化方式將正負樣本都以相同方式優化，不夠靈活，于是Sun等提出Circle損失函數[8]，引入相似性權重因子，對類內相似性和類間相似性給予不同的懲罰強度，從而使優化更加靈活。

基于上述內容，該文主要工作有以下兩點：

(1)針對現有的輕量級神經網絡的缺點和表情數據的特點，提出一個輸入圖像分辨率為48×48的改進GhostNet模型——M-GhostNet。該模型不僅大幅減少了參數和計算量，并且更加符合人臉表情識別任務的特點，更加符合移動端和嵌入式設備的使用場景。在FERplus數據集[9]上取得了較高的識別準確率和識別速度。

(2)針對Softmax交叉熵損失函數不能壓縮類內空間，優化不靈活等問題，結合Circle損失函數和Island損失函數，提出基于余弦相似性的損失函數，在FERplus數據集上獲得了不錯的效果。

1 改進的GhostNet網絡模型

1.1 Ghost模塊

文獻[5]對ResNet50的某層輸出進行可視化分析，發現訓練過程中的特征圖中存在著大量重復、冗余的特征圖。因此可以定義其中一張特征圖為本征圖，與其相似的特征圖則可以被定義為Ghost圖。既然Ghost圖與本征圖相似，那么就不需要使用占用內存多，計算復雜等高成本的卷積操作，直接使用低成本的線性變換或者其他廉價的操作得到。

圖1(a)是常規卷積操作，圖1(b)是Ghost模塊的具體操作。可以看出Ghost模塊主要由三部分組成：第一步，將輸入圖像通過常規卷積得到本征圖；第二步，對本征圖做線性變換或其他廉價操作生成Ghost圖；第三步，將本征圖與Ghost圖拼接作為輸出。假設每張本征圖都存在著與之對應的s張Ghost圖，這s張Ghost圖僅需通過線性變換方式獲得，那么從整體上來看，Ghost模塊相較于常規卷積操作會減少大約s倍的參數量和計算量。

圖1 常規卷積和Ghost模塊

1.2 改進的GhostNet模型

ReLU激活函數憑借著其低計算復雜度和快速的收斂效果，成為大部分卷積神經網絡模型首選的激活函數，GhostNet也不例外。但是其函數曲線不平滑，并且在模型訓練的時候，容易導致部分神經元“壞死”。所以在改進的GhostNet中摒棄了ReLU函數，改用函數曲線更為平滑，可以保留部分負值信息的Mish函數[10]。Mish函數表達式為：

Mish(x)=x·tanh(ln(1+ex))

(1)

Mish函數性質同ReLU函數一樣無上界，有下界，但是Mish函數保留了少量的負值信息，避免了ReLU函數可能產生的Dying ReLU現象，即部分神經元在反向傳播時可能不起作用的現象[11]。并且Mish函數更為平滑，這樣隨著網絡的深度增加，樣本的信息也能傳遞到更深的網絡層中，整個模型更加容易優化，最終的模型也能有更好的泛化效果。

參照ResNet中的殘差結構[12]，使用Ghost模塊，可以堆疊出Ghost瓶頸層。使用Mish函數作為新的激活函數的改進Ghost瓶頸層結構如圖2所示。

圖2 改進Ghost瓶頸層

結合人臉表情數據的特性，在保持高準確率的前提下，盡可能地減少網絡模型的參數量和計算量，該文設計出一個基于改進Ghost瓶頸層，輸入尺寸為48×48×3，適用于七分類表情識別任務的改進GhostNet網絡模型M-GhostNet，其詳細網絡結構如表1所示。

表1 M-GhostNet網絡結構

其中#exp表示改進Ghost瓶頸層中經過第一個Ghost模塊處理過后的通道數，#out表示該層輸出的通道數，SE為1表示該層使用了注意力機制，Stride表示步長。采用Mish函數作為每層的激活函數。

經過理論和實驗驗證，M-GhostNet的參數量和計算量比MobileNet V2、MobileNet V3和GhostNet有著大幅的降低，并且在表情識別任務上保持著較高的準確率。具體參數量和計算量的對比見表2。

表2 模型參數量、FLOPs對比

可以看出，M-GhostNet的參數量比MobileNet V2和GhostNet減少90%左右，比Mobile V3減少80%左右。浮點運算量比MobileNet V3少了62%左右，比GhostNet少了90%左右，比MobileNet V2更是少了93%左右。

2 基于余弦相似性的損失函數

2.1 Softmax交叉熵損失函數

Softmax交叉熵損失函數是卷積神經網絡常用的損失函數。在一個擁有N個嵌入式表示實例集合的分類任務中，xi是神經網絡全連接層輸出的第i個樣本的特征向量，wj、bj是第j類對應的全連接層的權重和偏置。Softmax交叉熵損失函數的計算公式為：

(2)

2.2 Island損失函數

Island損失函數是基于中心損失函數改進得來的，中心損失函數的計算公式為：

(3)

其中，ci是第i類的中心，λ用于調節兩項的比例。但是由于中心損失函數只考慮到了樣本向其類中心分布，縮小了類內的差異，沒有考慮類間的差異，故Island損失函數在式(5)的基礎上優化了類中心之間的歐氏距離，計算公式為：

(4)

其中，λ1超參數用于調節新增項和中心損失函數的比例。式(4)中的尾項懲罰了類與類之間的相似性，從而增大了類間距離。

2.3 基于余弦相似性的Island損失函數

雖然Island損失函數可以很好地增加類間距離，縮小類內距離，但由于Softmax交叉熵損失函數本身并不能減少類內差異性，所以Island損失函數的性能依舊受限于Softmax交叉熵損失函數，影響最終分類的準確率。大部分以Softmax交叉熵損失函數為基礎的一系列改進的損失函數，比如：Triplet損失函數[13]、AM-Softmax損失函數[14]等，本質上都是在最大化類內相似度sp，最小化類間相似度sn，即優化式(5)：

min(sn-sp)

(5)

如果直接優化sn-sp，那么網絡模型最終將收斂并得到這樣一個決策邊界：

sn-sp=margin

(6)

這些損失函數在優化的時候會對sn、sp做相同力度的懲罰。比如，當sn已經是一個十分小的值，但sp卻是一個相對較大的值時，雖然此時模型已經可以很好地聚合相同的類，但由于sp是個較大值，需要受到一個較大的懲罰力度，而sn卻因此也需要受到相同的懲罰力度，這顯然是不合適的。

鑒于該問題，引入兩個獨立的非負權重參數αn、αp，分別控制sn、sp以不同的速率進行優化。又因為sn、sp分開進行優化，邊界值margin不再是它們共同的邊界值，所以需要為它們引入兩個不同的邊界值，類間邊界值Δn和類內邊界值Δp，則新的決策邊界為：

αn(sn-Δn)-αp(sp-Δp)=0

(7)

(8)

(9)

其中，[·]+表示取非負數操作。將式(7)與式(9)結合，可以得到新的決策邊界：

(10)

為了簡化參數，可以設Op=1+m，On=-m，Δp=1-m，Δn=m，這樣新的決策邊界就變成：

(11)

綜上，最終的Circle損失函數可以表示為：

(12)

該文提出的基于余弦相似性的損失函數的中心思想就是使用Circle損失函數替換Island損失函數中的Softmax函數，新的計算公式可以表示為：

(13)

新的損失函數不僅彌補了Softmax交叉熵損失函數無法更好地聚合同類樣本的缺陷，而且可以讓各類樣本更加靈活地朝著更加合適方向收斂。同時，第二項可以約束每個樣本分布在其類中心周圍，緩解類內差異，增大類間差異。

圖3是Softmax交叉熵損失函數、AM-Softmax損失函數和基于余弦相似性的損失函數在某一分類任務中類xi的決策邊界。

圖3 Softmax、AM-Softmax和基于余弦相似性損失函數的決策邊界

如圖3(a)所示，Softmax交叉熵損失函數的決策邊距為0，并不能更好地區分類與類，減少類內的差異性。圖3(b)中AM-Softmax損失函數引入了余弦距離margin，可以更好區分類，并壓縮類內空間。圖3(c)中基于余弦相似性的損失函數的決策邊距則與超參數m相關，由式(12)可以得出，當m≤0.5時，兩個類之間就不會相交，當m越來越小時，兩個類的決策邊距也就越來越大，從而更好地放大類間距離，壓縮類內空間。由于圖3(c)是圓形邊界，樣本在收斂過程會比圖3(b)擁有更明確的收斂方向。實驗中m取值0.35，縮放因子γ取值2，Island損失函數的超參數λ、λ1分別設置為0.01和10。

特別地，當K=1時，即樣本中只有一個正樣本，其余均為負樣本，基于余弦相似性的Island損失函數就退化成了文獻[15]中的基于余弦距離的損失函數。

3 實 驗

3.1 實驗環境與設置

實驗以TensorFlow 2.4框架為基礎，編程語言為Python 3.7。實驗訓練都在GPU上進行，GPU的型號為Nvidia GeForce RTX 2060，6 GB顯存。實驗中采取SGD優化器，動量為0.9，學習率初始設置為0.01，隨著訓練輪數的增加，通過余弦退火策略降低學習率[16]。實驗模型在數據集上訓練100輪。批大小為16。對輸入的圖片在歸一化的前提下，進行隨機旋轉30度、上下左右移動、縮放和剪切等數據增強手段處理[17]。

該文所涉及的方法分別在FERplus數據集上進行七分類對比實驗。FERplus數據集是針對FER2013數據集中數據標注錯誤和冗余等問題而重新標注的數據集[18]。原數據集總共有十類表情，而實驗選取七類，去除掉“輕蔑”、“未知”和“非人臉”三個標簽，總共35 493張圖片。然后按照8∶1∶1的比例將數據隨機拆分為訓練集、驗證集和測試集。訓練好的模型用測試集來測試識別準確率。

3.2 實驗結果與分析

文中模型與其他算法模型在FERplus數據集上的對比實驗結果如表3所示，損失函數為Softmax，×表示模型的縮放因子，每個模型的縮放因子設置參考了文獻[5]的分類實驗設置。

表3 各模型在FERplus數據集上的準確率

從表3可以看出，使用了Mish激活函數替換ReLU激活函數的M-GhostNet，在參數和計算量均少于GhostNet、MobileNet V2和MobileNet V3的前提下，依舊保持了較高的準確率，比GhostNet高了1.008%，比MobileNet V2高了7.628%，比MobileNet V3高了0.614%，可以看出選用Mish函數能夠在表情分類任務中提高識別準確率。

為了控制變量，損失函數的對比實驗均使用M-GhostNet模型，在FERplus數據集上進行。其中AM-Softmax的超參數margin設置為0.35。

從表4可以看出，基于余弦相似度的損失函數比傳統的Softmax交叉熵損失函數準確率高了3.222%，比Island損失函數高了2.431%，比AM-Softmax損失函數高了2.177%，比Circle損失函數高了0.904%，比基于余弦距離的損失函數高了0.512%。實驗結果表明基于余弦相似性的損失函數可以學習到更具有區分力度的表情特征，更好地區分類，提高表情識別任務的準確率。

表4 各損失函數在FERplus數據集上的準確率

表5是各模型預測一張圖片所需時間對比，模型均運行在CPU上，CPU型號為Intel Core i7-9750H 2.60 GHz。可以看出改進GhostNet模型預測所需時間更少，從而可以得出預測速度更快、實時性更好。

表5 各模型預測所需時間對比

4 結束語

該文設計了一種基于改進的GhostNet神經網絡模型，用于人臉表情的特征提取和分類任務。該模型不僅擁有輕量級網絡的參數少、計算復雜度低、訓練快等特性，還解決了ReLU函數可能導致的信息丟失的問題，保持了較高的識別準確率。同時，針對表情數據的特性，提出了基于余弦相似度的損失函數，可以更好地增加類間差異，減小類內差異，提高模型的識別準確率。實驗結果表明，改進GhostNet模型和基于余弦相似性的損失函數可以在人臉表情識別任務上有著較高的識別準確率和速度優勢。下面將繼續研究表情樣本分布不均的問題，提高模型的準確率，實現表情識別的自動化和智能化。