基于人機(jī)交互的認(rèn)知功能評(píng)估系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

李永紅， 李率真， 郭盼盼， 黃昶荃， 余 杭， 熊 剛

(1.成都信息工程大學(xué)電子工程學(xué)院，四川成都610225;2.中國(guó)自動(dòng)化研究所復(fù)雜系統(tǒng)管理與控制國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京100190)

0 引言

隨著年齡的增加，老年人身體各項(xiàng)功能也隨之發(fā)生不同程度的衰減，其中表現(xiàn)最明顯的就是認(rèn)知功能［1］。以認(rèn)知功能障礙為主要表現(xiàn)的老年性疾病，嚴(yán)重影響老年人的晚年生活質(zhì)量，給社會(huì)進(jìn)步和經(jīng)濟(jì)發(fā)展帶來(lái)巨大影響［2］。因此，及時(shí)有效地對(duì)老年人的認(rèn)知功能進(jìn)行評(píng)估對(duì)預(yù)防老年疾病顯得極為重要。為了極早的發(fā)現(xiàn)、預(yù)防以認(rèn)知功能障礙為主要表現(xiàn)的老年性疾病，需要不斷完善老年認(rèn)知功能評(píng)估體系。

傳統(tǒng)的認(rèn)知功能測(cè)驗(yàn)是以問(wèn)卷和紙筆的測(cè)試形式為主，隨著計(jì)算機(jī)在醫(yī)學(xué)領(lǐng)域的廣泛應(yīng)用，出現(xiàn)了各類認(rèn)知功能測(cè)試軟件。曾少勇等［3］設(shè)計(jì)了基于.NET的認(rèn)知功能測(cè)驗(yàn)系統(tǒng)，張汝林等［4］設(shè)計(jì)了基于B/S結(jié)構(gòu)的輕度認(rèn)知功能障礙評(píng)估系統(tǒng)等。這些系統(tǒng)都實(shí)現(xiàn)了紙質(zhì)問(wèn)卷到計(jì)算機(jī)軟件的轉(zhuǎn)變，但由于受人為因素的影響，評(píng)估的靈敏度和精確度都不是很理想。人機(jī)交互技術(shù)是指通過(guò)計(jì)算機(jī)輸入、輸出設(shè)備，實(shí)現(xiàn)人與計(jì)算機(jī)之間信息的相互傳遞過(guò)程［5］，有效避免了外部影響。因此，提出一種基于人機(jī)交互的認(rèn)知功能評(píng)估系統(tǒng)，系統(tǒng)克服客觀人為因素的影響，通過(guò)計(jì)算機(jī)量化自動(dòng)給出評(píng)估結(jié)果，并提供一種友好的人機(jī)界面。系統(tǒng)擬在建立對(duì)老年認(rèn)知功能的快速篩選和信息庫(kù)的管理，實(shí)現(xiàn)對(duì)認(rèn)知功能言語(yǔ)、視覺(jué)和執(zhí)行能力的多項(xiàng)評(píng)估和對(duì)評(píng)估信息的收集以便進(jìn)行查詢和統(tǒng)計(jì)分析。

1 系統(tǒng)功能設(shè)計(jì)

1．1 開(kāi)發(fā)工具及運(yùn)行環(huán)境

系統(tǒng)開(kāi)發(fā)環(huán)境為Microsoft Visual Studio 2010，安裝完VS2010集成開(kāi)發(fā)環(huán)境后，配置成VS2010C++運(yùn)行環(huán)境進(jìn)行軟件開(kāi)發(fā)。數(shù)據(jù)庫(kù)部分，采用SQL Server 2008數(shù)據(jù)庫(kù)管理系統(tǒng)對(duì)系統(tǒng)數(shù)據(jù)進(jìn)行處理。圖像處理部分，采用計(jì)算機(jī)視覺(jué)庫(kù)OpenCV并結(jié)合數(shù)字圖像處理技術(shù)來(lái)實(shí)現(xiàn)。

1．2 系統(tǒng)總體結(jié)構(gòu)

系統(tǒng)體系結(jié)構(gòu)分為表示層、業(yè)務(wù)邏輯層、數(shù)據(jù)訪問(wèn)層3層，總體結(jié)構(gòu)圖如圖1所示。

圖1 系統(tǒng)體系結(jié)構(gòu)圖

表示層為用戶呈現(xiàn)了良好的人機(jī)交互界面，主要負(fù)責(zé)處理用戶的輸入信息，并將輸出呈獻(xiàn)給用戶以及訪問(wèn)安全性的驗(yàn)證。

業(yè)務(wù)邏輯層主要是對(duì)系統(tǒng)運(yùn)行的處理，負(fù)責(zé)邏輯性數(shù)據(jù)的生成及轉(zhuǎn)換。該層是系統(tǒng)的核心部分，包括用戶管理、認(rèn)知功能評(píng)估和系統(tǒng)管理3部分，各部分的交互由MFC提供的庫(kù)函數(shù)來(lái)實(shí)現(xiàn)。

數(shù)據(jù)訪問(wèn)層是利用SQL Server 2008實(shí)現(xiàn)對(duì)數(shù)據(jù)源的操作，即數(shù)據(jù)的插入、刪除、修改以及從數(shù)據(jù)庫(kù)讀取數(shù)據(jù)等操作。

1．3 言語(yǔ)理解能力評(píng)估設(shè)計(jì)

言語(yǔ)理解能力評(píng)估模塊是利用MFC知識(shí)和Windows Media Player控件制作一款特殊的播放器［6-7］，并基于語(yǔ)音時(shí)長(zhǎng)調(diào)整算法Wsola［8］實(shí)現(xiàn)語(yǔ)音變速不變調(diào)的調(diào)整。同時(shí)由于評(píng)估所需，在播放器上添加一個(gè)計(jì)時(shí)器。播放器數(shù)據(jù)流程圖如圖2所示。利用特制的播放器以快、中、慢3類語(yǔ)速和高、中、低3類音量播放同一個(gè)問(wèn)題，播放器記錄下老人從問(wèn)題播放結(jié)束到開(kāi)始回答問(wèn)題的間隔時(shí)間，同時(shí)記錄老年人的回答情況，以文字形式手動(dòng)輸入并存儲(chǔ)至后臺(tái)數(shù)據(jù)庫(kù)，分析反饋信息給出評(píng)分。播放器的實(shí)現(xiàn)如圖3所示。

圖2 播放器數(shù)據(jù)流程圖

圖3 言語(yǔ)能力評(píng)估

1．4 視覺(jué)空間能力評(píng)估設(shè)計(jì)

視覺(jué)空間能力評(píng)估模塊主要利用 Amsler方格表［9］、假同色表和顏色形狀鮮明的實(shí)物分別對(duì)測(cè)試者的中央視野、色覺(jué)和實(shí)物辨識(shí)3部分進(jìn)行評(píng)估。具體是利用MFC知識(shí)和picture控件制作圖片瀏覽器，對(duì)應(yīng)播放上述3種不同的圖片，并利用雙線性插值法實(shí)現(xiàn)圖片無(wú)失真的1倍，1.5倍，2倍，2.5倍，3倍的放大和0.5倍的縮小，同時(shí)利用SAPI語(yǔ)音庫(kù)［10］實(shí)現(xiàn)自動(dòng)提問(wèn)的效果。手動(dòng)記錄在相應(yīng)狀態(tài)下老年患者的辨識(shí)情況，分析反饋信息給出視覺(jué)評(píng)估結(jié)果。此模塊的實(shí)現(xiàn)如圖4所示。

圖4 視覺(jué)空間能力評(píng)估

1．5 動(dòng)作執(zhí)行能力評(píng)估設(shè)計(jì)

動(dòng)作執(zhí)行能力評(píng)估模塊是利用畫(huà)鐘實(shí)驗(yàn)(Clock Drawing Test，CDT)［11］對(duì)測(cè)試者的執(zhí)行能力進(jìn)行評(píng)估。實(shí)現(xiàn)方法是利用MFC的GDI通過(guò)CDC實(shí)現(xiàn)繪圖手寫(xiě)板的制作［12］，然后利用OpenCV對(duì)測(cè)試者所畫(huà)鐘表進(jìn)行四分法評(píng)分［13］。具體測(cè)試方法是讓測(cè)試者在手寫(xiě)板上畫(huà)一個(gè)鐘表，寫(xiě)上12個(gè)數(shù)字，并讓指針指向規(guī)定時(shí)間。然后采用目前國(guó)際上最普遍的四分法進(jìn)行計(jì)分:畫(huà)出封閉的圓，1分;將數(shù)字標(biāo)注在圓中正確位置上，1分;表盤(pán)上4個(gè)數(shù)字書(shū)寫(xiě)正確，1分;將指針標(biāo)注在正確的位置，1分。最后系統(tǒng)根據(jù)老年人的完成情況自動(dòng)給出評(píng)分結(jié)果。處理過(guò)程如圖5所示。此模塊的實(shí)現(xiàn)如圖6所示。

圖5 畫(huà)鐘實(shí)驗(yàn)處理過(guò)程

圖6 動(dòng)作執(zhí)行能力評(píng)估

2 系統(tǒng)測(cè)試

在綿陽(yáng)市第三人民醫(yī)院篩選75名年齡≥60歲的老年人作為測(cè)試對(duì)象，分別采用該人機(jī)交互系統(tǒng)和蒙特利爾認(rèn)知評(píng)估量表(the montreal cognitive assessment，MoCA)對(duì)老年人進(jìn)行認(rèn)知功能檢測(cè)。其中男37名，女38名。男性受試者平均年齡為(67.5±4.5)歲，受教育年限為(15.5±3.2)年;女性受試者平均年齡為(62.5±2.5)歲，受教育年限為(13.6±2.4)年。所有測(cè)試者均知情同意，并配合完成兩種不同方式的測(cè)試。

人機(jī)交互系統(tǒng)包括言語(yǔ)理解、視覺(jué)空間、動(dòng)作執(zhí)行3方面。以上3方面的滿分均為4分，得分越高表示認(rèn)知障礙程度越小，測(cè)試結(jié)果如表1所示。

表1 人機(jī)交互系統(tǒng)測(cè)試結(jié)果

MoCA是目前公認(rèn)的較全面的認(rèn)知功能障礙篩查工具［14］，測(cè)試內(nèi)容包括視空間與執(zhí)行功能、命名、記憶、語(yǔ)言、抽象等方面。系統(tǒng)將MoCA中的語(yǔ)言、視空間和執(zhí)行能力采用人機(jī)交互方式進(jìn)行測(cè)試，并與紙質(zhì)版的MoCA測(cè)試結(jié)果采用SPSS13.0統(tǒng)計(jì)軟件進(jìn)行方差分析，同時(shí)采用Pearson相關(guān)分析進(jìn)行相關(guān)性分析。

測(cè)試結(jié)果顯示P＜0.05具有統(tǒng)計(jì)學(xué)意義，Pearson總體相關(guān)系數(shù)為0.7985，男性相關(guān)系數(shù)為0.8770，女性相關(guān)系數(shù)為0.7230。表明本系統(tǒng)與MoCA評(píng)估結(jié)果具有較高的相關(guān)性，且男性評(píng)估結(jié)果比女性的相關(guān)程度更高。相比較MoCA紙質(zhì)量表調(diào)查方式，系統(tǒng)由計(jì)算機(jī)自動(dòng)給出評(píng)分，測(cè)試過(guò)程簡(jiǎn)單方便，并能夠保存大量的測(cè)試信息，充分證明了系統(tǒng)的實(shí)用性和有效性。

3 結(jié)束語(yǔ)

在Windows操作系統(tǒng)上利用VC++、SQL Server數(shù)據(jù)庫(kù)和OpenCV數(shù)字圖像處理技術(shù)開(kāi)發(fā)實(shí)現(xiàn)了基于人機(jī)交互的認(rèn)知功能評(píng)估系統(tǒng)。系統(tǒng)對(duì)老年人的言語(yǔ)理解能力、視覺(jué)空間能力、動(dòng)作執(zhí)行能力進(jìn)行評(píng)估，受試者可以根據(jù)需求選擇特定的測(cè)試項(xiàng)目，各項(xiàng)測(cè)試根據(jù)相應(yīng)的評(píng)分標(biāo)準(zhǔn)，會(huì)自動(dòng)給出評(píng)分結(jié)果。結(jié)合老年人這一特定使用群體，系統(tǒng)以友好的人機(jī)界面呈現(xiàn)評(píng)估過(guò)程，并采用計(jì)算機(jī)軟件方式量化評(píng)估結(jié)果，最大程度地減少人為主觀性對(duì)評(píng)估結(jié)果的影響，提高了評(píng)估的準(zhǔn)確性和高效性。

創(chuàng)新性在于實(shí)現(xiàn)了認(rèn)知功能評(píng)估的自動(dòng)化、智能化，方便快捷地給出評(píng)估結(jié)果，降低了操作人員的統(tǒng)計(jì)、計(jì)算的勞動(dòng)強(qiáng)度，并提供評(píng)估結(jié)果導(dǎo)出和打印。與傳統(tǒng)的紙質(zhì)量表評(píng)估方式相比，本系統(tǒng)評(píng)估過(guò)程簡(jiǎn)單無(wú)需復(fù)雜的操作訓(xùn)練，評(píng)估結(jié)果可靠受客觀因素影響較小。系統(tǒng)后臺(tái)數(shù)據(jù)庫(kù)保存的評(píng)估結(jié)果信息，可以作為醫(yī)學(xué)統(tǒng)計(jì)分析數(shù)據(jù)，為輕度認(rèn)知功能障礙和老年癡呆癥的后續(xù)科研提供資料。

［1］ Ringman JM，Medina LD，Rodriguez-Agudelo Y，el a1.Current concepts of mild cognitive impairment and their applicability to persons at-risk for familial Alzheimer’s disease［J］.Curr Alzheimer Res，2009，6(4):341-346.

［2］ Lu J，Li D，Li F，et al.Montreal cognitive assessment in detecting cognitive impairment in Chinese elderly individuals:a population-based study［J］.J Geriatr Psychiatry Neurol，2011，24(4):184-190.

［3］ 曾少勇，張李超，王劉記.基于.NET的認(rèn)知功能測(cè)驗(yàn)系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)［J］.計(jì)算機(jī)與數(shù)字工程，2007，35(9):110-112.

［4］ 張汝林，李永紅，關(guān)俊文，等.基于BS結(jié)構(gòu)對(duì)輕度認(rèn)知功能障礙評(píng)估及健康管理網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)［J］.四川生理科學(xué)雜志2011，33(3):111-113.

［5］ 戴加法，盧健濤.基于產(chǎn)品語(yǔ)義學(xué)的老年人產(chǎn)品界面設(shè)計(jì)研究［J］.機(jī)電產(chǎn)品開(kāi)發(fā)與創(chuàng)新，2008，21(5):77-78.

［6］ 姜宏.網(wǎng)絡(luò)流媒體播放器的研究與設(shè)計(jì)［J］.電腦知識(shí)與技術(shù)，2013，9(2):386-388.

［7］ 劉衤韋瑋.VisualC++視頻/音頻開(kāi)發(fā)實(shí)用工程案例精選［M］.北京:人民郵電出版社，2005:130-134.

［8］ 莫雙燕，關(guān)海欣，鄭可欣，等.語(yǔ)音時(shí)長(zhǎng)調(diào)整快速算法［J］.聲學(xué)技術(shù)，2010，(5):507-511.

［9］ Madalena BV，oshinma A，Serracarbassa PD.Amsler grid and visual field on screening for chloroquine retinopathy［J］.Arq Bras Oftalmol，2012，75(3):170-173.

［10］ 王永瑞，史慧革，周亮杰，等.基于SAPI的遠(yuǎn)程智能語(yǔ)音控制系統(tǒng)開(kāi)發(fā)［J］.科技信息，2010，9(13):24-26.

［11］ Umidi S，Tfimarehi PD，Comi M，et a1.Clock drawing test(CDT)in the screening of mild cognitive impairment(MCI)［J］.Arch Gerontol Gefiatr，2009，49(33):227-229.

［12］ 胡開(kāi)華，張玉靜，舒期梁.基于模板匹配的手寫(xiě)數(shù)字決策分類器設(shè)計(jì)［J］.現(xiàn)代計(jì)算機(jī)，2012，(24):67-68.

［13］ Aprahamian I，Martinelli J E，Neri A L.The accuracy of the Clock Drawing Test compared to that of standard screening tests for Alzheimer＇s disease:results from a study of Brazilian elderly with heterogeneous educational backgrounds［J］.Int Psychogeriatr，2010，22(1):64-71.

［14］ Nasreddine ZS，PhiUips NA，Bedirian V，et a1.The Montreal Cognitive Assessment，MoCA:a brief screening tool for mild cognitiveimpairment［J］.J Am Geriatr Soc，2005，53:695-699.