基于中醫理論的多模態認知檢測與康復訓練系統設計與實現

劉庭偉，蔣皆恢，2?，陳丹彥，郁志華（.上海大學通信與信息工程學院，上海 200444；2.上海市生物醫學工程研究所，上海 200444；上海市中醫老年醫學研究所，上海 2000）

基于中醫理論的多模態認知檢測與康復訓練系統設計與實現

劉庭偉1，蔣皆恢1，2?，陳丹彥1，郁志華3
（1.上海大學通信與信息工程學院，上海 200444；2.上海市生物醫學工程研究所，上海 200444；上海市中醫老年醫學研究所，上海 200031）

阿爾茨海默病（AD）是老年人群最常見的慢性疾病之一，以認知訓練為主要手段的作業療法被中西醫視為AD預防與保健康復最常見手段。但是，目前市場上針對AD的認知障礙康復訓練系統多基于西醫方法，真正基于中醫理論或中西醫結合、具有中醫特色的康復訓練設備幾不可見，且存在功能不全、用戶體驗不足且價格昂貴的缺陷。本團隊自主研發了具有自主產權的多模態認知障礙康復訓練系統，具體實現用戶登錄模塊、康復訓練模塊、康復評估和反饋模塊以及本地用戶信息反饋模塊。新系統特色為選擇多模態融合技術創新作為突破口，強調中西醫結合，在康復方案中融入腦電-眼動生理參數監測功能；基于物聯網技術，形成老人認知障礙康復訓練數據的自我管理；多功能的可選擇性，集成多種功能可以根據用戶需求進行增減；價格合理，與國外現有同類產品相比具有明顯的價格優勢。

認知康復訓練；智能監測與反饋；腦電-眼動監測；物聯網+

0　背景

近年來，隨著人口老齡化，“中醫治未病”逐漸成為我國以及上海市重要的生物醫藥發展戰略。國家層面上，“中醫藥防治重大疾病與中醫治未病”被列入《國民經濟和社會發展第十三個五年規劃綱要》發展規劃重點。

阿爾茨海默病（AD）是老年人群最常見的慢性疾病之一。阿爾茨海默病的預防與保健康復具有重要的醫學與社會意義，可充分體現“治未病”理念。目前國際上尚無完全被證實的AD藥物治療法或物理療法，而以認知訓練為主要手段的作業療法被視為阿爾茨海默病預防與保健康復最常見手段，也是中醫傳統理論對AD患者認知障礙康復訓練的主要手段[1-3]。

中醫傳統理論認為針對AD患者認知障礙康復訓練的需要患者通過耳、眼、手、腦的使用，而對患者的視覺、聽覺、回憶、思考、操作等進行全面訓練[4-5]。例如，總綱可參見《素問·宣明五氣論》[6]：“五臟六腑之精皆上注于目”、“腦主識神”、“膽主決斷”、“肝主謀略”“心主神明”；《靈樞·大惑論》[7]所載“五臟六腑之精氣，皆上注于目而為之精”；《靈樞·海論》：“髓海不足，則腦轉耳鳴，脛酸眩冒，目無所見，懈怠安臥”；《類證治裁·健忘證治》[8]：“夫人之神宅于心，心之精根據于腎，而腦為元神之府，精髓之海，實記性所憑也”；《本草備要》[9]：“人之記憶，皆在腦中，……老人健忘者，腦漸空也”；《醫方考》[10[11]曰：“人五十以上，陽氣日衰，忘前失后，興居怠惰，計授皆不稱心”等。

然而，目前中西醫AD干預中使用的認知障礙康復訓練設備多基于西醫方法，市場上真正基于中醫理論或中西醫結合、具有中醫特色的康復訓練設備幾不可見。從市場基本品類來分，現有中西醫認知障礙康復訓練產品可以分為兩種：第一種是以游戲為載體的虛擬作業康復設備，通過游戲方式吸引參與者，實現提升參與者注意力和記憶力。這類產品高度技術化，使用簡單便捷，受到參與者喜愛，但此類產品的康復效果缺乏醫學實證，更接近益智類玩具[12]；第二種為實物型作業康復設備，例如雙手調節器、反應時儀等，參與者通過實際操作此類設備，提升注意力和記憶力[13]。這類產品的康復效果已被醫學臨床證實，并被廣泛應用在中西醫認知障礙康復訓練中，但其功能單一、互動性差，且缺少數據記錄與追蹤，無法連續追蹤參與者的康復進程[14-15]。此類產品國內外較著名的公司包括：COGNI、 SCHUHFRIED、瑞格、北辰等。

通過對市場上現有認知康復訓練產品的分析，我們發現現有產品主要存在以下幾點共性不足： 1.功能不全：目前的認知康復訓練設備大多只基于眼、手、耳、腦等1-2種人體器官的使用訓練，且各為一體，無法體現中醫傳統理論中“氣血循環”的治療理念，缺乏中醫特色；2. 用戶體驗不足：認知康復訓練產品的人機交互接口仍處于通過人機接口對產品進行簡單控制的階段，對自然交互中無意識行為的區分還很欠缺，無法達到自然交互，即中醫傳統理論提倡的“天人合一”；3. 價格昂貴：以COGNI為例，完整游戲訓練系統成本超過10萬元，超出了社區和個人用戶對于認知康復訓練的心理價位，難以普及。因此，為了解決以上的問題，本團隊研究與開發了具有自主產權的多模態認知障礙康復訓練系統。

1　系統設計

本系統基于西醫的腦科學技術以及中醫的傳統醫學理論，從認知功能檢測和康復訓練的角度出發，開發了十個趣味性、參與性強的康復類游戲，其中包括時間定向、無意義圖像再認、文字識別、表情識別、視覺追蹤、表情理解、迷宮、人物識別、反應力以及雙手調節，使得輕度認知障礙患者在游戲中達到康復治療的目的。此外，通過采集用戶在游戲康復訓練過程中的腦電、眼動、記憶力、反應時以及視空間等指標，結合傳統中醫學理論中的心、肝、膽、腎、睛、腦，綜合分析并給出康復評估結果。

1.1系統體系結構設計

1.1.1硬件部分

如下圖1所示，本文開發的多模態認知檢測與康復訓練系統的硬件部分主要包括主機、觸控顯示器、播音模塊、按鍵模塊、旋鈕模塊、搖桿模塊、視頻錄入模塊、眼動儀、腦電采集模塊、IC卡讀卡器以及打印機等模塊。其中主機為整個系統的管理模塊，觸控顯示器通過VGA接口以及USB接口與主機連接，用于顯示圖像以及人機交互。播音裝置用于播放訓練過程中的引導語，按鍵模塊用于反應力訓練，搖桿和旋鈕模塊用于在雙手調節訓練中控制小球的水平以及垂直運動方向，視頻錄入模塊可以實時采集用戶圖像信息用于表情識別以及文字識別，眼動儀用于記錄測試者視線位置并將其映射為屏幕坐標，腦電模塊用來采集用戶在整個訓練過程中的腦電信號，IC卡讀卡器用于用戶信息錄入、信息查詢以及快速登錄，打印機用來打印康復評估報告。

1.1.2軟件部分

本系統軟件部分主要分為用戶訓練和本地用戶信息管理兩大部分，如下圖2所示。其中用戶訓練部分包括用戶登錄模塊、康復訓練模塊、康復評估和反饋模塊。普通用戶使用IC卡刷卡登陸用戶訓練系統，然后根據引導語的提示完成整個訓練過程，訓練完成后可以根據提示選擇是否打印康復評估報告。管理員登錄本地用戶信息管理系統后，可以進行用戶信息的增、刪、改、查操作。圖3為原型機實物圖。

圖1　系統硬件結構圖

圖2　系統整體功能框圖

1.2開發環境及語言

本系統開發環境為Visual Studio 2013，C++作為主要的編程語言。

由于Qt框架可以方便地用于開發高性能、跨平臺的C++圖形用戶界面程序，允許真正的組件編程，并且能很好的支持數據庫以及網絡的編程，以及包含豐富的GUI元素。因此，本系統基于Qt框架設計了系統界面。

另外，考慮到MySQL是目前運行速度最快的數據庫系統之一，且源代碼開放，開發人員可以依據General Public License對源代碼進行修改以定制個性化的需求，因此本系統使用MySQL數據庫來存儲系統產生的數據。

1.3系統功能模塊設計

1.3.1用戶登錄模塊

本系統通過IC卡進行用戶登錄，其登陸界面如下圖3所示。系統在檢測到IC卡后，IC讀寫器讀取卡中的用戶名以及密碼，然后在后臺查詢MySQL數據庫中的用戶信息表，如果用戶存在并且密碼正確則進入康復訓練模塊。

圖3　原型機實物以及登錄界面圖

圖5　無意義圖形再認訓練界面　

1.3.2康復訓練模塊

康復訓練模塊設置了時間定向、無意義圖像再認、文字識別、表情識別、視覺追蹤、表情理解、迷宮、人物識別、反應力以及雙手調節共十個康復類游戲。整個康復訓練模塊具體流程如下圖4所示，用戶在登錄系統后，將根據語音提示完成整個訓練流程。圖5和圖6分別展示了無意義圖形再認和視覺追蹤兩個康復游戲。

圖4　康復訓練流程圖

圖6　視覺追蹤訓練界面

1.3.3康復評估和反饋模塊

康復訓練過程中的各項數據存儲如圖7所示，每個用戶康復訓練過程中各項測試結果以及腦電信息、眼動信息分別存儲在三個CSV文件中，所有數據可用于后期科研統計分析和數據挖掘。訓練完成后，用戶可以選擇打印報告，如圖8所示。

1.3.4本地用戶信息管理模塊

本地用戶信息管理管理模塊設置有對用戶信息的增、刪、改、查功能，圖9所示為本地用戶信息管理界面。

圖7　數據存儲

圖8　康復訓練報告　

圖9　本地用戶信息管理界面

2　系統的關鍵技術

本項目設計軟件共分有十類測試題，通過對測試者的理解力、判斷力、注意力、視空間、反應力、記憶力、操作能力、文字理解能力、表情識別與復制能力進行檢測和訓練。分別為：①計算眼動軌跡追蹤準確率、錯誤率、吻合率；軌跡跳躍時重新獲得的時間、敏感性。根據屏幕上的紅色小球（左上角）、綠色小球（左下角）、黃色小球（中間），用于檢測理解力、判斷力。②計算眼動軌跡追蹤準確率、錯誤率、吻合率；跟隨綠色小球移動、跟隨跳躍出現的綠色小球移動、在屏幕中找尋紅色小球，用于檢驗注意力、反應力。反應力測試用于對測試者的反應力進行訓練，以提高其反應力。在訓練過程中，當屏幕上出現某種顏色的小球時，要求測試者盡快按下按鍵裝置中與小球顏色相同的按鍵，同時，測試者的反應時間、正確次數和腦電信息將被記錄。③表情識別和復制，觀察所示的不同表情照片，找出笑臉、笑臉。對皺眉、伸舌等表情動作進行復制，用于檢測反應時間和準確率。④進行無意義圖形再認，先看5張無關聯圖片，然后在10張照片中將其選出，用于檢測記憶力。無意義圖形再認用于訓練測試者的記憶力，即：識記、保持和重現客觀事物所反映的內容和經驗的能力。在訓練過程中，測試者首先要牢記屏幕中出現的五個目標圖形，然后在接下來出現的十個圖形中將所有的目標圖形全部找出，并按下按鍵裝置的按鍵模塊中對應編號的按鍵，同時，測試者的反應時間、正確次數和腦電信息將被記錄。⑤進行無意義圖形再認，請觀察圖片中的遠景、近景、人物，用于檢測理解力。⑥迷宮游戲，簡單化迷宮，圓形或方形，現給予顯示路徑，當路徑消失后開始檢測，計算準確率和錯誤盲端次數，用于檢測視空間。在訓練過程中，要求測試者首先觀察給出的迷宮和路徑，待路徑消失后，在帶觸摸功能的顯示裝置（如觸摸屏）上開始進行走迷宮操作，同時，測試者的準確率、錯誤盲端次數以及訓練過程中的腦電信息將被記錄。⑦雙手調節，左右兩旋鈕讓光標在一定圓環（或其他圖案）范圍內做環形運動（或不規則運動），計算完成時間和偏離軌跡的程度，考驗操作能力。⑧反應時儀，當屏幕中間出現不同顏色的點時，請點擊相應的按鍵，用于檢測反應力。⑨文字識別，請判斷哪個是**，用于檢測理解力、文字識別能力。⑩人物識別，出現（毛澤東、陌生人若干），哪個是你認識的人，用于檢測記憶力。在訓練過程中，測試者需根據語音或者文字提示從幾張圖片中選出常見的歷史人物，并按下按鍵裝置中按鍵模塊中與所選圖片下小球顏色相同的按鍵，同時，測試者的反應時間、正確次數和腦電信息將被記錄。

3　結語

本系統以中醫理論為指導，以西醫檢測為手段，通過對AD早期患者受損的認知功能進行的康復訓練，符合中醫“治未病”的學術思想。在預防保健服務體系環境下認知功能訓練與康復技術，實現實時、實地 (Any time, Any Place) 信息的交互，從而達到能在社區進行檢測的眼動、腦電、雙手調節等裝置。同時也與臨床常用的認知能力檢測量表形成互補，在診斷和康復方面并不與韋氏學習記憶量表、簡易智能狀態量表等形成交集。可以延緩測試者大腦老化，改善測試者的認知能力。本系統便于廣泛推廣，填補了該領域的空白，對其他疾病診斷和康復方面也有一定的借鑒作用，提升老年人的生活品質的同時也能夠減輕社會負擔，有較大的應用價值和社會效益。

[1] 趙威麗. 老年癡呆癥患者的特點及康復護理[J]. 實用醫藥雜志, 2013, 30(1):76-77.

[2] 朱宏霞, 張彩華. 認知訓練對老年輕度認知功能障礙患者生活質量的影響[J]. 上海護理, 2009, 9(4): 31-33.

[3] 王佳琪, 吳文源. 老年人認知訓練研究進展[J]. 同濟大學學報 (醫學版), 2010, 3: 035.

[4] 王靜, 許夢雅. 40例老年癡呆病人康復訓練療效觀察[J]. Chinese Journal of Practical Nervous Diseases, 2009, 12期(12):89-90.

[5] 王耀兵, 季林紅, 王廣志, 等. 腦神經康復機器人研究的進展與前景[J]. 中國康復醫學雜志, 2003, 18(4): 230-231.

[6] 黃帝內經素問[M].北京：人民衛生出版社.1956:78.

[7] 劉衡如校.靈樞經［M］．北京：人民衛生出版社, 2013:223.

[8] 林珮琴.類證治裁[M].山西：山西科學技術出版社.2010:356.

[9] 汪昂．本草備要［M］．北京：人民衛生出版社,2005:258．

[10] 吳昆．醫方考［M］．北京：人民衛生出版社,2007:123.

[11] 孫思邈.千金翼方[M].北京:人民衛生出版社,1955:5.

[12] 陳翠芳. 游戲療法對輕度老年癡呆患者認知功能及主觀幸福感的改善效果[J]. 現代中西醫結合雜志, 2012, (03):260-261.

[13] 程明, 任宇鵬, 高小榕,等. 腦電信號控制康復機器人的關鍵技術[J]. 機器人技術與應用, 2003, (04):45-48.

[14] Chan J, Nejat G. Social intelligence for a robot engaging people in cognitive training activities [J]. Int J Adv Robotic Sy, 2012, 9(113).

[15] Kim G H, Jeon S, Im K, et al. Structural brain changes after robot-assisted cognitive training in the elderly: A single-blind randomized controlled trial [J]. Alzheimer's & Dementia: The Journal of the Alzheimer's Association, 2013, 9(4): P476-P477.

Design and Implementation of Multimodal Cognitive Test and Rehabilitation Training System Based on TCM Theories

LIU Ting-wei1, JIANG Jie-hui1,2*, CHEN Dan-yan1, YU Zhi-hua3
(1.Communication and Information Engineering School, Shanghai University, Shanghai 200444;2.Shanghai Biomedical Engineering Research Institute, Shanghai 200444;Shanghai TCM and Gerontology Research Institute, Shanghai 200031)

Alzheimer’s Disease (AD) is one of the most common chronic diseases in elderly populations. To prevent and intervene AD, occupational therapy by cognitive training has beenwidely usedinboth TraditionalChinese Medicine (TCM) and Western Medicine. However, existing cognitive impairment rehabilitation training systems for AD patients have shortcomings such as incompletefunctions, lacking user experiences and unacceptable prices.In this study, a multi modal cognitive impairment rehabilitation training system with independent property rights was developed, which mainly consist of four modules, including user login module, rehabilitation training module, rehabilitation evaluation/feedback module and user information module. This system considered the multi-technological integration as major innovative aspect, emphasized the combination of TCM and Western medicine, and appliedElectroencephalogram (EEG) and eye movement monitoring technologies. Based on Internet of things technology (IOT), this system achieved self-management of cognition impairment rehabilitation training data. In addition, the price for this system is acceptablewhen compared with existing products.

Cognitive rehabilitation training; Intelligent detection and feedback; EEG-Eye movement detection; Internet of Things+

國家自然科學基金（61603236）、上海市科委生物醫藥領域科技支撐項目（16441906200）、上海市中醫藥科技創新項目（ZYKC201602002）、教育部回國人員科研啟動基金、上海市教委青年骨干教師計劃、上海市大學生創新創業訓練計劃項目（N05010716118）。

蔣皆恢，海歸博士，上海大學，講師。