針對智力障礙兒童的眼腦手協調訓練系統

彭 偉，邵東升，孫少明，占禮葵，張茹斌，孫大鵬，趙英俊，楊曉悅

1 中國科學院合肥智能機械研究所，合肥市，230031

2 中國科學技術大學，合肥市，230026

3 中科院合肥技術創新工程院，合肥市，230088

4 安徽大學，合肥市，230601

針對智力障礙兒童的眼腦手協調訓練系統

【作者】彭 偉1,2，邵東升3，孫少明3，占禮葵3，張茹斌1，孫大鵬4，趙英俊1，楊曉悅1

1 中國科學院合肥智能機械研究所，合肥市，230031

2 中國科學技術大學，合肥市，230026

3 中科院合肥技術創新工程院，合肥市，230088

4 安徽大學，合肥市，230601

為了幫助提高智力障礙兒童的注意力和基本感覺統合能力，該文提出了一種交互式的眼腦手協調訓練系統，通過觸控板與上位機軟件的個性化圖標進行交互操作，實現眼睛看見-大腦思考-手指運動的訓練機制，從而幫助其提高基本的認知和行為能力。通過實驗表明，該訓練平臺具有很高的操作性和接受程度，為智力障礙兒童提供了便攜的訓練手段。

智力障礙兒童；腦手眼協調；觸控板；訓練系統

0 引言

在中國，目前大約有5 100萬殘疾人口，智力殘疾(智力落后、弱智)者近五分之一，其中有539萬是14歲以下的兒童，由于社會發展、經濟條件、公共衛生保障等多方面制約，智力障礙兒童的教育、康復面臨非常嚴峻的挑戰。

智力障礙(MR)又稱智力缺陷，一般指的是由于大腦受到器質性的損害或是由于腦發育不完全從而造成認識活動的持續障礙以及整個心理活動的障礙。臨床表現有：感知速度減慢、注意力嚴重分散、記憶力差、言語能力差、思維能力低、基本無數字概念、情緒不穩、自控力差、意志薄弱以及交往能力差等。這些癥狀可概括表現為注意力低下和感覺統合能力失調[1]兩個方面。兒童的感覺統合失調是指外部的感覺刺激信號無法在兒童的大腦神經系統進行有效的組合，而使機體不能和諧的運作，久而久之形成各種障礙最終影響身心健康。相關實驗表明，兒童學習困難與注意力缺陷、感覺統合失調有著更為顯著的關系[2]。

智力障礙兒童的治療方式包括教育療法、醫學療法、體育療法、音樂療法、游戲療法以及綜合康復療法[3]，其中體育療法和游戲療法是目前應用最為廣泛、發展最為豐富的智力障礙干預手段[4-5]，例如基于kinect體感游戲的訓練系統，經實驗表明對智障兒童行為改善是顯著的[6]。此外，現階段的治療集中于醫療機構和特殊教育學校，資源較為集中，不利用常規化、家庭化智力障礙干預治療的發展和普及，因此本文提出一種游戲化的、簡單可行的腦手眼協調訓練方法和設備終端。

1 研究內容

根據以上概述，本文所提出的智力障礙兒童腦手眼協調訓練平臺，需要在以下三個方面展開研究：

(1) 針對智力障礙兒童注意力的提高和感覺統合失調程度的改善，提出一種科學的、便于操作的腦手眼訓練方法，該方法以動態圖標作為視覺信息源，以位置的不同在大腦中產生感應思考，并通過手部的觸控運動對大腦中的位置判斷進行響應，最終反饋到屏幕中相應圖標的變化，從而實現腦手眼協調訓練機制；

(2) 基于柔性陣列式傳感器開發出適合手指運動的壓力觸控平臺，并進行手指壓力標定和軟件數據解析，實現手指觸控坐標的識別；

(3) 訓練軟件設計，實現訓練基本內容和附加功能，引入游戲化設計元素，提高軟件整體的可接受程度。

2 方案設計

本系統以游戲化訓練方式為基本設計原則，采用智能化的觸控式壓力板作為用戶的交互設備，通過編寫訓練軟件實現訓練內容，訓練者通過觸控壓力板對軟件界面圖標進行響應，做到眼睛看見-大腦思考-手指運動的腦手眼協調鍛煉，并通過游戲化的操作邏輯設計得分、過關等要素，在保障訓練科學性、有效性的同時，極大提高用戶的訓練積極性。訓練系統平臺包含硬件和軟件兩個部分，硬件主要是壓力板的設計，軟件包括壓力板數據處理（下位機）和上位機軟件設計兩個方面。下面將對系統的硬件和軟件設計方案進行詳細介紹。

2.1 硬件設計

中國科學院合肥智能機械研究所研發的柔性壓力陣列傳感器[7]是一種用于獲取步態特征、體態特征等柔性壓力信息的傳感平臺，采用將低溫應變電阻漿料在聚酯基材上通過絲網印刷工藝制備而成，具有非常成熟的制造工藝和完善的系統產品，目前已應用于運動步態分析[7]、步態身份識別[8]等領域。

本系統的觸控壓力板依據此技術，定制了一塊24×15的傳感器陣列，通過對手指壓力的重新標定，實現較為精準的手指觸控位置識別。所涉及的電路控制方面的組成框圖如圖1所示。基于該陣列式傳感器和控制電路板，又進行了機械結構方面的包裝，設計了一塊可操作的觸控壓力板，如圖2所示。

2.2 軟件設計

2.2.1 下位機軟件設計

下位機軟件部分主要完成以下幾個方面功能：(1) 控制基本外圍電路，包括接口、指示信號、數據采集卡等；

圖1 硬件邏輯框圖Fig.1 Hardware logic diagram

圖2 觸控板Fig.2 Touch control panel

圖3 軟件整體流程圖Fig.3 Software overall f ow chart

(2) 定時掃描壓力傳感器陣列的數據信息；

(3) 壓力數據處理，生成固定格式的數據幀，并向上位機發送有壓力值變化的數據幀；

(4) 下位機作為客戶端，實現網絡通信。

2.2.2 上位機軟件設計

上位機軟件的設計是本套訓練系統的核心，是訓練內容執行的平臺。軟件采用Windows編程技術，編程環境為VS2010，基于MFC進行開發。

該軟件開發了兩大模塊，其一是用戶數據管理，其二是訓練執行。用戶數據管理具體功能包括用戶注冊/登錄、個人信息查詢、訓練數據記錄以及管理員登錄等。訓練方法執行包括下位機(觸摸板)上傳數據的處理和訓練邏輯設計兩個方面，其中下位機數據處理主要實現壓力板的觸摸位置識別，以響應訓練界面中位置隨機出現的圖標，該部分算法是訓練執行的基礎。軟件整體流程圖如圖3所示。部分軟件界面如圖4所示。下面針對軟件設計的四個核心部分進行介紹。

圖4 軟件界面Fig.4 Software interface

(1) 數據庫模塊

軟件用戶數據管理部分基于Access數據庫進行鏈接開發，采用ODBC方式。數據庫表單字段包括用戶名、密碼、姓名、年齡、性別、上次訓練日期、累計訓練時長以及三關訓練游戲最高分。

首先設計Access數據庫文件，建立包含上述字段的記錄表，并以.mdb格式進行保存。在系統中建立Access數據源，實現與數據庫文件的關聯，之后軟件對數據庫文件的操作都通過該數據源進行間接操作。MFC程序新建派生于基類CRecordSet的子類，通過該子類與系統數據源進行綁定，并通過變量與數據庫文件中的字段實現匹配。最后，在需要使用數據庫的其他類中，添加該子類型的變量，通過變量的屬性和函數并配合SQL語句即可實現對數據庫的各種操作，如打開、關閉、新增、刪除、過濾等。

(2) 網口通信模塊

基于大面積柔性壓力傳感器的觸控板，在硬件電路上設計了串口通信和網口通信兩種接口，考慮到壓力信息數據量大、發送頻率高的特點，并為后期開發保證技術余量，因此本上位機軟件通信模塊采用網口通信技術實現觸控板與上位機程序的數據交換。

本網絡編程采用Windows Socket方式，該方式是網絡程序中一種比較簡單的實現方法。套接字Socket是連接應用程序與網絡驅動程序的橋梁，其在應用程序中創建，通過綁定操作與驅動程序建立關系。此后，應用程序送給Socket的數據，由Socket交給驅動程序向網絡上發送出去。計算機從網絡上收到與該Socket綁定的IP地址和端口號相關的數據后，由驅動程序交給Socket，應用程序便可以從該Socket中提取接收到的數據[9]。

傳輸方式基于TCP協議，上位機作為服務器端，程序流程如下：

①在對話框類的OnInitDialog函數中，完成創建套接字（socket）、將套接字綁定到一個本地地址和端口號上（6800）、將套接字設為監聽模式（listen）三個操作；

②為了防止程序阻塞，在OnInitDialog函數中創建子線程，在子線程中通過accept函數等待客戶請求到來，當請求到來后，接受連接請求，并返回一個新的套接字（sockConn）用于數據接收和發送，之前的套接字一直用于監聽服務；

③用套接字sockConn的send函數發送采集指令，開啟下位機采集數據功能（見數據分析模塊介紹）；

④在需要使用網絡通信接收數據的對話框對應的類中創建子線程，用于接收數據（recv）；

⑤套接字關閉，對話框關閉。

(3) 數據分析模塊

該部分程序目的在于分析下位機上傳的數據，得出壓力點坐標信息，并歸化成1～15區域值，通過該區域值實現與屏幕中的位置圖標進行匹配、交互。數據分析流程如圖5所示。

圖5 數據分析流程Fig.5 Data analysis process

網口接收數據之前，需要發送特殊指令給下位機控制器，以控制壓力傳感器各種工作狀態，共有4種特殊寫入指令，對應功能如下：

讀零命令：0x04 0x00 0x02 0x00；

采集命令：0x04 0x00 0x03 0x00；

停止命令：0x04 0x00 0x04 0x00；

復位命令：0x16 0x00；

下位機通過網口上傳的數據以24個字節為一幀，格式見表1。

表1 壓力信息數據幀格式Tab.1 Frame format of pressure data

在數據分析過程中，需要進行數據幀字節順序的調整，主要是因為下位機控制器發送數據時采用雙字節發送，上位機與下位機大小段存儲方式的不同，造成相鄰字節順序錯誤，通過調整使得數據幀與規定的數據幀格式一致，方便程序的進一步處理。

陣列壓力傳感器為24列15行，通過分析數據幀得出有壓力變化的具體行列值，根據游戲邏輯模塊圖標顯示位置的設計確定觸控板區域的劃分，該區域的劃分需保證與屏幕中顯示的圖標位置相對應。

(4) 訓練邏輯模塊

圖形操作是智力障礙兒童的有效訓練方式之一[10]，圖形通常采用生活中常見的數字或圖標，如水果、動物、交通工具等，智力障礙兒童通過對圖片的交互認知和操作識別，既可以學習大量生活日常知識，又得到反射機制訓練，改善思維方式，有效提高注意力和感覺統合能力。

本訓練采用15點圖標的方式，即軟件對屏幕坐標進行規劃，設置15個用于圖標顯示的坐標點（可采用均勻分布的方式），并從左到右、從上到下編號1～15，與上述觸控板劃分的區域值一一對應。圖標具體設計包含表情笑臉、水果、食物三組。訓練游戲設計3關，具體操作方法見圖3所示。每一關游戲設定一分鐘，難度與同一時間出現的圖標個數相關，即第一關同時出現一個位置隨機的圖標，訓練者在觸摸板上觸壓到相對應的位置得分，隨即該圖標消失并出現下一圖標，以此循環；第二關同時出現兩個位置隨機的圖標，訓練者依次觸壓到兩個相對應的位置即得分；第三關同時出現三個位置隨機的圖標，訓練者依次觸壓到三個相對應的位置即得分。整套訓練游戲的圖標、關卡都可進一步開發，得分和難度也可根據具體操作情況進行調整。

3 結束

本文針對智力障礙兒童，提出了一種簡單、有效的腦手眼協調訓練方法，并給出了訓練平臺的原理和設計方案，在一定程度上彌補了目前培智教育設備市場的不足，給智力障礙兒童的康復訓練提供了一種新的技術手段和訓練平臺。

該實驗樣機在合肥某所培智教育學校進行了布點實驗，實驗樣本20人，年齡分布8～15歲，訓練強度每天半個小時，訓練周期為兩周。實驗結果表明，經過訓練，學生的游戲得分能力明顯增強，反映出腦手眼協調能力的一定提高，如圖6所示。

圖6 訓練結果對比Fig.6 Comparison of training results

此外，通過“數字劃消”實驗的前后對比，我們也發現大部分學生注意力也得到了一定程度的改善。整套訓練系統在實驗階段穩定度高、操作性強，得到了培智教育和健康教育領域工作者的充分肯定，具有非常重要的社會意義和實用價值。

當然，系統的設計還存在很多的不足之處，需要在后面的工作中進行不斷改進，也需要通過更多的實驗反饋系統設計的科學性，因此在后期工作中我們制定了以下幾個研發改進方向：

(1) 加強智障兒童教育訓練理論方面的學習和研究，設計更科學、更便捷的訓練方式；

(2) 改進游戲化的設計，提高訓練過程的趣味性，包括界面風格、圖標樣式、音效以及得分等各個方面；

(3) 完善數據庫功能，增加與游戲相關各種信息的存儲和管理；

(4) 學習人機工程學相關知識，設計更符合兒童手型的鍵盤；

(5) 開展大量后期實驗，進一步驗證該系統的認可程度和訓練效果。

通過本文介紹的系統設計方案和后期的不斷改進，我們希望能夠量產出可投入市場的產品，為培智教育提供智能化、信息化的教育設備。

[1] 薛婷. 感覺統合訓練對智力障礙兒童適應行為促進的實驗研究[D]. 蘇州: 蘇州大學, 2013.

[2] 阮為勇, 唐洪麗, 李海浪, 等. 學習困難兒童感覺統合與注意力測試[J]. 鐵道醫學, 2001, 29(3): 152-153.

[3] 唐強, 李娟, 王艷. 中國智障兒童的測評與治療現狀[J]. 中國現代醫生, 2008, 46(9): 37-38.

[4] 王順妹. 游戲在智障兒童心理康復和行為矯正中的作用[J]. 中國臨床康復, 2003, 7(27): 3740-3741.

[5] Sirin K, Naim N, Haldun S. Effect of a multidimensional exercise intervention on the physical capacity of mentally retarded children[J]. Healthmed, 2011, 5(1): 205-209.

[6] Fu Y, Wu JF, Wu SS et al. Game system for rehabilitation based on Kinect is effective for mental retardation[C]// Int Conf Eng Technol appl(ICETA 2015), 2015, 22, 01036.

[7] 楊先軍. 柔性力敏傳感及其應用技術研究[D]. 合肥:中國科學技術大學, 2012.

[8] 夏懿. 基于足底壓力分布的步行行為感知關鍵技術研究[D]. 合肥: 中國科學技術大學, 2013.

[9] 孫鑫. VC++深入詳解[M]. 北京: 北京電子工業出版社, 2012:523, 531-532.

[10] 劉太祥. 圖形操作促進智障學生學習的研究[J]. 教學儀器與實驗, 2014, 30(7): 58-60.

Eyes-Brain-Hands Coordination Training System for Mental Retarded Children

【Writers】PENG Wei1,2, SHAO Dongsheng3, SUN Shaoming3, ZHAN Likui3, ZHANG Rubin1, SUN Dapeng4, ZHAO Yingjun1,
YANG Xiaoyue1
1 Institute of Intelligent Machines, Chinese Academy of Science, Hefei, 230031
2 University of Science and Technology of China, Hefei, 230026
3 CAS(Hefei) Institute of Technology Innovation, Hefei, 230088
4 Anhui University, Hefei, 230601

In order to help improving mental attention and sensory integration ability of mental retarded children, this paper proposes an interactive eyes-brain-hands coordination training system. This system realizes the principle of seeing, thinking and moving of hands by an interactive operation between the computer software custom icons and a touch control panel, so it can improve cognitive function and activity of daily living. The results show this training platform has a high degree of application and acceptance, and provides a portable training method for mental retarded children.

mental retarded children, Eyes-Brain-Hands coordination, touch control panel, training system

TP23；R749.94

A

10.3969/j.issn.1671-7104.2016.05.005

1671-7104(2016)05-0331-05

2016-03-17

安徽省科技重大專項項目（15czz02072）；安徽省科技攻關項目（1604a0902188）

彭偉，E-mail: wpeng@mail.ustc.edu.cn

孫少明，E-mail: smsun@iim.ac.cn