基于書寫筆跡的青少年情緒檢測方法與系統實現

摘 ?要： 成長中的青少年時常會感受到很大的心理壓力和沖突，導致情緒起伏不定。而人的書寫筆跡與其情緒性情緊密關聯。透過一個人的書寫筆跡，不但可以了解其人之個性，更可觀察其性情與身心健康之狀態。鑒于書寫筆跡是一種自然的、真實的、沒有受到偽裝污染，且保留個性的一種痕跡，本文提出一種根據青少年的書寫筆跡，采用卷積神經網絡，檢測青少年情緒的方法，并實現了一個基于書寫筆跡的青少年心情檢測APP軟件。實驗表明該方法在識別青少年“平和”與“緊張”兩類情緒方面，準確性超過90%，增加訓練數據，準確性甚至可達95.50%。

關鍵詞：青少年;書寫筆跡;情緒檢測;卷積神經網絡

中圖分類號： TP391.41????文獻標識碼：ADOI：10.3969/j.issn.1003-6970.2019.09.025

本文著錄格式：馮舒婷. 基于書寫筆跡的青少年情緒檢測方法與系統實現[J]. 軟件，2019，40（9）：105-109

Teenagers Emotion Detection Method and Implemention Based on Handwritings

FENG Shu-ting

（Tsinghua University High School， Beijing100084，China）

【Abstract】：Growing teenagers often feel great psychological stress and conflicts， leading to emotional ups and downs. The writing strokes of people are closely related to their emotions. Through ones handwriting， we can understand not only his/her personality， but also the status of his/her temperament and mental health. In view of the fact that handwriting is a natural， real， non-disguised， and non-polluted personal trace， we present a handwriting-based teenagers emotion detection method using convolutional neural networks， and implement it into a mobile APP. Our experimental result shows that the method can achieve the accuracy of over 90% in identifying teenagers peaceful or tension emotion. Increasing the size of the training data set， we can even achieve 95.50% detection accuracy.

【Key words】：Teenager; Handwriting; Emotion detection; Convolutional neural network

0??引言

青春期是人生成長的重要時期，也是人生發育和心理成熟的關鍵時期。這一時期不僅是生理方面的發展，更為重要的是心理方面的發展。這個時期既有幼兒時期的稚氣，又有想脫離這種稚氣達到成人思想的趨勢。這一時期的青少年又達不到成人思想上的成熟度，所以在這個混飩時期心理發展是最重要的。但是，當今快速發展的經濟與社會不約而同地帶給青少年方方面面的壓力，使得成長中的承受著學業、交往、家庭、情感、自我認知等方方面面的壓力;而獨立、自我意識日益增強的青少年，在很多方面，尤其是在情感方面，不愿對父母老師說出壞情緒，經驗的不足又常常使其不能正確面對。過多的壓力得不到及時有效疏導很容易引起心理健康問題。目前，我國約有3000萬青少年處于心理亞健康狀態。

另一方面，書寫筆跡與人的情緒性情緊密關聯。人的喜怒哀樂的思想情趣、向往追求都會從字的神采、風格上反映出來。我國古語常說：“字如其人”、“相人不如相字”、“見字如面”、“筆跡乃心跡”……關于人的性情、情緒與書寫的關系，我國歷代書法家、文學家、文獻家、哲學家都有精辟論述。西漢末期，易理學家揚雄就說過：“書、心畫也。”意思

是說書法是人的心理描繪，是以線條來表達和抒發作者情感心緒變化的。唐朝著名書法家孫過庭認為，書法可以“達其性情，形其哀樂”。他認為書寫筆跡反映書寫者的品德性情與喜怒哀樂。元代書法家陳繹曾在《翰林要訣》中論述得更為具體：“喜怒哀樂，各有分數，喜則氣和而字舒，怒則氣粗而字險，哀即氣郁而字斂，樂則氣平而字麗。情有重輕，則字之斂舒險麗亦有淺深，變化無窮。”人歡喜時，心氣和諧，寫出來的字就舒放;人發怒時，心氣粗悶，寫來的字就險絕;人悲哀時，心氣憂郁，寫出來的字就內斂;人高興時，心氣平和，寫出來的字就秀麗。到了清代，文學家劉熙載在其《藝概·書概》中有：“書，如也。如其學，如其才，如其志，總之日如其人而已。”著名的“字如其人”即來源于此^[3]。

現代筆跡研究學者徐慶元、馬鵬程指出：“情感主要看其字體大小、轉折角、筆畫粗細、末筆情況、書寫速度。”人在不同心境下字體筆跡也會發生細微變化。心情平和高興時，字跡工整，筆畫舒暢，橫筆多向上抬;緊張不安時，筆跡多局促潦草，文字傾斜不均勻;煩躁時，寫出的字往往松散，比例不當;憤怒時字體結構不合理、筆力重，有夸張的筆畫。心情郁悶或悲痛時，筆跡多局促，筆畫拘謹生澀，運筆凝重呆板，文字傾斜不均勻;憤怒時字體結構不合理、筆力重，有夸張的筆畫^[1-2]。因此，透過一個人的書寫筆跡，不但可以了解其人之個性，更進而可觀察其性情與身心健康之狀態。另一方面，書寫筆跡本身又是一種自然的、真實的、沒有受到偽裝污染，且保留個性的一種痕跡。這些為我們通過青少年書寫筆跡，及時感知檢測學生們的情緒變化奠定基礎。

目前，無論是國內還是國外，用戶情感檢測工作主要依靠用戶發布到社交媒體上的文本信息與圖片，尚未有通過書寫筆跡，通過深度機器學習，自動檢測用戶情緒的先例。

1??相關工作

筆跡學研究在國外三百年前已初露端倪，興起與發展至今有一百余年的歷史，現已在西方發達國家得到廣泛的使用。但是，我國的筆跡分析研究目前尚處于發展初期，尚未形成行業和很規范的市場，筆跡專業人才數量過少，主要還分布在公安部門、少數高校、研究機構、書法界等，聚焦于筆跡鑒定與手寫字體識別，難以滿足巨大的、潛在的市場需求。

當前，基于社交媒體（如微博）的用戶情感檢測工作吸引了眾多研究者，其主要采用文本分類的機器學習方法^[4]，對用戶發表的文本內容進行情感極性的解析。此類研究的局限性在于：（1）用戶情感檢測的準確性依賴于完備的情感詞典，而用戶的網絡詞典不斷演變，導致此詞典也需要不斷更新;（2）用戶發表的文本內容具有隱晦性，用戶的文字表達內容可能與其內在情感不一致，造成錯誤檢測結果。

但是，相比用戶發表的主觀文字內容，用戶的書寫筆跡更為客觀，是用戶自然的、真實的、沒有受到偽裝污染，且保留個性的一種痕跡，這些為我們通過青少年書寫筆跡，及時準確感知檢測學生們的情緒變化提供可能。

2 ?基于書寫筆跡的青少年情緒檢測方法

為了自動檢測青少年用戶的情緒，我們將用戶的一份書寫筆跡拍照生成一副圖片，通過卷積神經網絡，識別出書寫者的平和或緊張情緒。本章首先概述卷積神經網絡技術，隨后給出其在青少年情緒檢測上的應用。

2.1 卷積神經網絡概述

卷積神經網絡是一種受到視覺感知機制啟發，可訓練的深度學習結構，在模式分類、圖像處理方面有出色表現^[5-9]。其優勢在于它能通過卷積操作，有效提取原始圖像特征，無需對圖像進行預處理或手工特征提取。

卷積神經網絡的基本工作在于特征提取與特征映射。一般由輸入層、若干卷積層、若干池化層、全連接網絡層和輸出層組成。圖1展示了一個含有2個卷積層的神經網絡。第一個卷積層包含三個卷積核，每個卷積核把原始輸入圖像卷積得到一個特征圖，該特征圖可以看做是通過卷積變換提取到的圖像特征。通過三個卷積核，可以得到三個特征圖，也就是對原始圖像提取出三組不同的特征，也稱做三個通道。在第一個卷積層之后，池化層對三個特征圖做了下采樣，得到了三個更小的特征圖。接著，第二個卷積層有5個卷積核。每個卷積核都把前面下采樣之后的3個特征圖卷積在一起，得到一個新的特征圖。這樣，5個卷積核就得到了5個特征圖。緊接著，第二個池化層繼續對5個特征圖進行下采樣，得到了5個更小的特征圖。圖1所示網絡的最后兩層是全連接層。第一個全連接層的每個神經元，和上一層5個特征圖中的每個神經元相連，第二個全連接層（也就是輸出層）的每個神經元，則和第一個全連接層的每個神經元相連，這樣得到了整個神經網絡的輸出。

2.2 基于卷積神經網絡的筆跡心情檢測實現細節與驗證

我們將青少年用戶的一份書寫筆跡拍照生成一副圖片，通過卷積神經網絡，自動識別出書寫者的平和或緊張情緒。本文實現的基于筆跡的情緒檢測CNN模型共分為五層，包含三個卷積采樣層和兩個全連接層和一個輸入層，如圖2所示。

輸入層中圖像為64*512像素，因為是彩色圖像，所以根據RGB分為3色，輸入的每張圖像實際尺寸為64*512*3。

根據表1參數設置，經過卷積采樣層1后，該圖像的尺寸變為16*64*16，以此類推經過之后兩層分別變為4*8*64和1*1*256，圖像被整理成一個長度為256的向量V。V隨后經過全連接層1與全連接層2的運算：

F₁=VW₁（V?R²⁵⁶，W₁?R^256*32，F₁?R³²）

F₂=F₁W₂（F₁?R³²，W₂?R^32*2，F₂?R²）

我們可調用softmax函數對該圖像的極性進行分類，分別計算出屬于緊張心情還是屬于平和心情的概率：p（y|X）=softmax（F₂）。

在本實驗中，學習率設置為0.0001，批處理尺寸設置為50，優化器為adam。

實驗字跡數據集來自一位高中學生的語文平時作業與考試（含期中、期末、測驗）卷面。每張字跡圖片含有一行，共10個漢字。我們將平時作業時的字跡圖片標注為平和情緒字跡，考試時的字跡圖片標注為緊張情緒字跡。我們總共獲得1566張字跡圖片，其中，緊張情緒字跡480張，平和情緒字跡1086張。

為了測試數據集大小對字跡情緒檢測方法準確性的影響，我們做了如下2組實驗，檢測結果如表2和圖3所示。

實驗一數據：

（訓練集）緊張情緒字跡圖片226張，平和情緒字跡圖片614張;

（測試集）余下緊張情緒字跡圖片100張，平和情緒字跡圖片100張。

實驗二數據：

（訓練集）緊張情緒字跡圖片380張，平和情緒字跡圖片986張;

（測試集）緊張情緒字跡圖片100張，平和情緒字跡圖片100張。

表2中的結果顯示，隨著訓練數據的增大，我們進一步觀察了模型檢測結果的混淆情況，如表3所示。

在實驗二中，為了客觀與嚴謹，我們使用和實驗一相同的測試集，僅將新增的數據增加到訓練集中。通過結果我們可以發現，在進行實驗一時，由于數據不均衡（訓練集中緊張樣本與平和樣本之比為0.36），在測試集中的實驗結果顯示，模型會更傾向于將樣本預測為平和情緒，導致查全率僅為84%，58%的測試集樣本被預測為平和情緒。

為了克服以上問題，這里增加了實驗二，通過擴大數據集，使得訓練集中的兩類樣本分布更加均衡，使得準確性與F1-Measure分別從92.00%、91.30%提高到95.50%、95.48%。同時，實驗二中50.5%的測試集樣本被預測為平和情緒，49.5%的測試集樣本被預測為緊張情緒，分類器的分類也更加均衡。

3 ?基于書寫筆跡的青少年情緒檢測APP實現

基于書寫筆跡的青少年情緒檢測APP軟件由前端和服務器后端兩部分構成^[10]。前端采用HTML5 應用程序開發框架，在該框架下可以基于Web技術，如HTML、CSS和Javascript等，通過加入原生native模塊構建接近原生體驗的移動應用程序。后臺采用深度學習框架Tensorflow 1.5，用Python語言實現CNN情緒檢測程序，后臺采用Flask框架，Flask是一個基于Python實現的Web開發的微框架，它旨在為開發者在開發過程當中保持核心簡單的部分而同時又易于開發者進行更多的額外擴展。

4 ?結論

本文提出一種根據青少年的書寫筆跡識別青少年情緒的方法，通過對書寫筆跡圖片的預處理與卷積神經網絡的運用，識別青少年“平和”與“緊張”兩類情緒，準確性超過90%。通過擴大數據集，使得訓練集中的兩類樣本分布更加均衡，識別準確性與F1-Measure可以分別從92.00%、91.30%提高到95.50%、95.48%。基于此方法，設計并實現了一個青少年心情檢測APP軟件。未來工作將考慮青少年用戶更多的情緒類別，如愉悅、憤怒、恐懼、悲傷等，拓展青少年情緒識別任務的研究范圍。

參考文獻

[1]?徐慶元. 筆跡與心跡——筆跡觸覺的個性心理[M]. 貴州省新聞出版局出版， 1999.

[2]?馬鵬程. 漢字筆跡心理學—筆跡心理分析技術與應用[M]. 遼寧大學出版社， 2006.

[3]?黃翰琳. 字如其人：筆跡心靈解碼學[M]. 中國經濟出版社， 2009.

[4]?張玉環， 錢江. 基于兩種?LSTM 結構的文本情感分析[J]. 軟件， 2018， 39（1）： 116-120.

[5]?劉騰飛， 于雙元， 張洪濤， 等. 基于循環和卷積神經網絡的文本分類研究[J]. 軟件， 2018， 39（01）： 64-69.

[6]?百度百科. 卷積神經網絡[OL]. 2018.

[7]?宋婷婷， 徐世許. 基于全采樣和?L1 范數降采樣的卷積神經網絡圖像分類方法[J]. 軟件， 2018， 39（2）： 75-80.

[8]?張曉明， 尹鴻峰. 基于卷積神經網絡和語義信息的場景分類[J]. 軟件， 2018， 39（1）： 29-34.

[9]?吳亞熙， 岑峰. 基于卷積神經網絡的多層級目標檢測方法[J]. 軟件， 2018， 39（4）： 164-169.

[10]?司亞清， 劉蕾. 智能手機用戶體驗的影響因素研究[J]. 軟件， 2015， 36（3）： 111-115.

（上接第100頁）