基于電觸覺替代視覺系統的漢字識別

【】劉捷，張竹茂，任秋實，柴新禹

上海交通大學生命科學技術學院生物醫學工程系，上海，200240

基于電觸覺替代視覺系統的漢字識別

【作 者】劉捷，張竹茂，任秋實，柴新禹

上海交通大學生命科學技術學院生物醫學工程系，上海，200240

利用自行設計研制的電觸覺替代視覺系統，通過簡單的圖像處理算法以及多通道分時復用技術，實現了在由16×16個電極組成的觸摸電極陣列上的電觸覺漢字顯示。并以此為基礎，進行了簡單漢字的識別實驗。實驗結果表明，電觸覺替代視覺是一種幫助盲人進行簡單漢字閱讀的可行方法。同時該實驗也為進一步開展復雜圖像識別的研究打下了基礎。

電觸覺；電觸覺替代視覺；漢字識別

早在1969年，美國威斯康星大學生物醫學工程系Bach-y-Rita、Collins等人在Nature中首次提出利用觸覺替代視覺可以幫助盲人重新獲取視覺信息的設想[1]。第二年，Collins科研小組便發明了這種觸覺替代視覺的裝置。該小組將400個微型震動器構成的觸覺陣列安置于受試者背部，通過震動產生觸覺，來感受CCD攝像頭獲取的圖像信息，而該系統被取名為觸覺替代視覺系統（TVSS）[2]。隨后，國際上的相關研究主要利用機械裝置來產生觸覺感受，但是由于基于該構架的TVSS有成本高、笨重和能量轉換率低等缺點，很難進入便攜實用。近二十年來，TVSS的研究重心逐漸轉向了利用電刺激來產生觸覺感受[3-12]。通過大量的研究表明，電觸覺顯示裝置具有成本低、分辨率高、功耗低、便于集成和小型化等一系列優點，被廣泛用作TVSS的顯示終端。在前人的研究基礎上，我們課題組研制了作用于手指的電觸覺替代視覺系統（ETVSS）[13]、[14]，具有電觸覺顯示陣列大和功耗低等特點。本文將著重介紹基于該系統實現的電觸覺漢字顯示，以及相應的漢字識別實驗。

1 ETVSS的硬件組成

ETVSS主要由圖像采集、圖像處理、刺激器和電極陣列四個部分組成，其原理框圖如圖1所示，系統的實物圖如圖2所示。

圖1 ETVSS系統原理框圖Fig .1 Main block diagram of ETVSS

圖2 ETVSS實物圖[13]Fig.2 The object of the ETVSS[13]

1.1 圖像采集和圖像處理

圖像處理部分包括數字信號處理芯片（DSP）、模擬/數字轉換器、同步動態存儲器（SDRAM）和閃速存儲器（FLASH）。圖像采集部分將采集到的原始圖像經模擬/數字轉換后存放在SDRAM中，DSP讀取存放在SDRAM中的數字圖像信號并對其有選擇地進行圖像去噪、圖像增強、邊緣檢測和像素降低等處理，所得的圖像信息也存放在SDRAM中。圖像處理策略的程序和DSP對圖像采集部分等的控制程序都存放在FLASH中。

1.2刺激器

刺激器部分包括ARM微型控制單元、手動調節模塊、電極驅動模塊和刺激電源模塊。ARM微型控制單元與前端的圖像處理部分通訊，接收DSP處理后的圖像信息；與手動調節模塊連接，接收由手動調節的刺激脈沖信息；與電極驅動模塊連接，控制電極驅動模塊產生需要的刺激。

電極驅動模塊包括多路復用和光電耦合電路。多路復用電路主要實現256路刺激通道的分時輸出，從結構上降低了系統的復雜性。光電耦合電路隔絕刺激電源模塊與前端多路復用和處理控制模塊，以防止高壓電源損壞前端電路。

刺激電源模塊輸出恒定的電壓0-300V，供應刺激脈沖相應的刺激幅值。

1.3電極陣列

刺激電極陣列由16×16個電極組成，受電極驅動模塊驅動。當手指指尖直接觸摸電極陣列時，會產生電觸覺感受。電極采用鎳材料的球型突起電極，電極的直徑約為0.9 mm，具有良好的導電性、焊接性和耐腐蝕性，電極之間的中心間距約為2.5 mm。在電極陣列上，除凸起球形電極外，其余部分表面全部敷銅，作為接地網絡。

2 電觸覺漢字顯示的軟件實現

漢字，也可以被視作為一種圖像，通過攝像頭將其采集進來，進行一系列簡單的圖像處理，最終可以點陣的形式在電觸覺顯示陣列上顯示出來。圖3便是利用DSP和ARM來實現圖像處理、傳輸與控制的程序流程圖。對DSP與ARM芯片分別編寫運行程序，然后將編譯鏈接轉換成的二進制文件，分別燒錄到DSP的片外Flash與ARM的片內Flash中。

圖3 利用ETVSS顯示漢字的程序流程圖Fig.3 Program flow chart of displaying Chinese character using ETVSS

對于實時采集的漢字圖像，利用中值濾波去噪、降低其像素和閾值化一系列的方法對原圖進行圖像處理，將生成的16×16二值化圖像按行以數組Uint16 OutputImage[16]的形式存放在DSP的SDRAM中。然后，在數組OutputImage全部被賦值后，DSP將改寫引腳信號，ARM通過查詢該引腳得知，通過HP I接口將數組OutputImage讀取到自己的內存中并釋放DSP總線。用HPI接口對圖像數據的讀取的好處是不影響到DSP的處理進程，使ARM能夠與DSP并行的工作，從而保證了刺激信號的實時性。ARM中運行的程序分為后臺任務和前臺中斷兩部分，后臺任務不斷地查詢HPI接口，負責更新輸出圖像；前臺中斷為定時器的中斷服務程序，將接收的圖像信息轉換控制波形，通過ARM的10條通用輸出口將控制波形傳遞給電極驅動模塊。

圖4 漢字“也”的刺激分布圖Fig.4 Stimulation distribution of Chinese character “也”

圖5 ARM控制信號Fig.5 ARM control signal

圖4為漢字“也”的電觸覺刺激在電極陣列上的分布圖。我們將256電極劃分為4個區，ARM的6條通用輸出口作為地址線AD0-AD5，每個區共用這6條地址線，同時對各個區的64路通道實現分時掃描，而另外4條通用輸出線作為數據線OUTPUT0-OUTPUT3，分別向每個區上的相應通道傳送通道開關信息。圖5上顯示的ARM控制信號控制電極驅動電路在電極陣列上顯示如圖4所示的漢字“也”。

3 簡單漢字的識別實驗

6名來自上海交通大學的志愿者參與了本實驗，其中3名男性和3名女性，年齡范圍為23到30，具有正常的電觸覺感受閾值。實驗前每個被試者都被告知實驗目的和步驟。他們均為第一次參加本實驗。

漢字識別實驗的漢字素材由三組組成，它們分別為漢字數字（一二三四五六七八九十）、根據中華人民共和國1988年頒布的《現代漢語常用字頻度統計表》中的最常用漢字二畫高頻字（了人十二又力兒九幾八）以及最常用漢字三畫高頻字（上大個子小下也工三于），共30個漢字。

實驗中的采用的電刺激脈沖（圖6）選用已有研究中對手指刺激的最佳參數[8]、[15]，脈寬設置為50 μs，脈沖周期為4.17 ms，脈沖串周期為33.33 ms，其中脈沖幅值需要通過測試適合的工作電壓來確定。

圖6 作用于指尖的刺激波形Fig .6 Stimulating waveform on the fingertips

本實驗內容包括適合的工作電壓幅值的測量、訓練和正式實驗三個部分。在這三部分開始之前，我們將向被試者介紹實驗目的、實驗步驟、實驗時間以及實驗方法等，同時讓被試者先清潔手指，去除污垢，再用70%酒精棉花擦拭電極陣列，并在手指上涂抹少許導電膏，以減小手指移動的摩擦力，同時以減小皮膚阻抗，提高電觸覺感受質量，并防止手指皮膚脫水。適合的工作電壓幅值的測量目的是為了確定適合于不同被試者的刺激脈沖幅值。訓練的目的是為了讓被試者熟悉通過觸摸電極陣列來識別漢字的實驗過程。

適合的工作電壓幅值的測量 由于每個人的指尖的皮膚特性不同，因而導致皮膚的阻抗特性因人而異，所以每個人對于電觸覺的感受閾值是存在一定差別的。所謂的適合的工作電壓幅值是指在該狀態下，電觸覺刺激的電壓幅值不強也不弱，比較適中，從而適合在長時間的工作中使用。具體測試方法是受試者先后兩次觸摸電極陣列中心，每次觸摸10 s，隨機地在其中一次時間內在電極陣列的中心位置上顯示3×3實心矩形，讓受試者判斷是前后哪一個時間段出現的。如果判斷錯誤，電壓上升30 V；如果兩次判斷正確下降30 V。每次下降后，增減的步長為原先的一半，如此往復，直至找到電觸覺感受閾值。然后，從閾值開始逐漸升高電壓值，電觸覺感受會經歷微弱震動感 → 強震動感 → 針刺痛感。微弱震動感無不舒適感，但對單個點的感受比較不清晰；針刺感會帶來不適，但對單個點的感受相對集中。適合的工作電壓幅值所產生的是沒有達到針刺痛感之前的強震動感，它將作為受試者進行漢字識別實驗的刺激脈沖幅值。

正式實驗共分為4組：漢字數字識別，常用漢字二畫高頻字識別；常用漢字三畫高頻字識別和三組漢字的混合識別。

訓練在前三組正式實驗開始前進行，在電觸覺陣列上逐個顯示該組中的10個漢字，讓受試者逐個體驗與學習，每個漢字顯示60 s。

在每組正式實驗過程中，電觸覺陣列上會隨機顯示出一個在該組范圍內的漢字，要求被試者盡可能快地做出準確的判斷，判斷結果和判斷時間會被記錄下來，共隨機顯示20個漢字。最后一組混合漢字的實驗沒有訓練的過程。

表1 電觸覺漢字識別實驗結果Tab.1 Result of Chinese character recognition experiment

圖7 電觸覺漢字識別實驗結果圖Fig.7 Result chart of Chinese character recognition experiment

實驗結果考察 電觸覺漢字識別的識別時間和準確率。這四組實驗最終得到的平均識別時間和平均識別準確率，如表1和圖7所示。

4 討論與展望

從圖7的統計結果中我們可以發現，漢字數字由于較常用且結構特異性比較強，所以平均識別時間比較短；隨著漢字筆畫的增多，判斷時間也在增加；三組混合后的時間最長，因為需要識別的漢字范圍增大了。同樣，雖然漢字數字中不乏筆畫數較多的漢字，但是由于漢字數字的結構差異性比較強，所以其平均識別準確率卻很高。從二畫漢字到三畫漢字，平均識別準確率稍有減少，而三組混合漢字的平均識別準確率最低。但從錯誤的結果中我們可以發現，出現識別錯誤的主要原因是一些字形相近的字的混淆，如“了”和“下”，“六”和“大”，“幾”和“兒”等。這可能是因為在短時間的電觸覺漢字學習之后，受試者還沒有能夠完全熟悉電觸覺刺激的環境，對電觸覺顯示的漢字的大體輪廓可以識別出來，但是細節部分卻不能分辨出來。

從實驗結果可知，在沒有長時間訓練的情況下，ETVSS的受試者已經能夠通過電觸覺識別漢字的大體輪廓、結構，并有較高的識別準確率。如果加以時日，就如盲人的聽覺、觸覺比一般人靈敏一樣，電觸覺漢字的識別時間可以進一步的縮短，而對于電觸覺顯示的漢字的細節的感受也能更加靈敏與清晰。不僅是漢字，利用相同的方法，使ETVSS給盲人提供實時的圖像信息也成為了可能。隨著科技的發展，我們堅信，感覺替代理論將不再僅僅停留在理論的層面，通過大家的努力一定能夠改善盲人的生活質量。

[1] P. Bach-y-Rita, C. C. Collins, F. A. Saunders, et al. Vision substitution by tactile image projection[J], Nature. 1969, 221(8): 963-964.

[2] C. CC. Tactile television-mechanical and electrical image projection[J]. IEEE Trans on Man-Machine Systems, 1970, 11:65-71.

[3] K. A. Kaczmarek, M. E. Tyler, and P. Bachyrita. Electrotactile Haptic Display on the Fingertips - Preliminary Results[A]. Engineering in Medicine and Biology Society, Engineering Advances: New Opportunities for Biomedical Engineers, Proceedings of the 16th Annual International Conference of the IEEE[C]. 1994, 2: 940-941.

[4] K. A. Kaczmarek, M. E. Tyler, and P. Bach-y-Rita. Pattern identification on a fingertip-scanned electrotactile display[A]. Engineering in Medicine and Biology Society,. Proceedings of the 19th Annual International Conference of the IEEE [C]. 1997,4:1694-1696 .

[5] P. Bach-y-Rita, K. A. Kaczmarek, M. E. Tyler, et al. Form perception with a 49-point electrotactile stimulus array on the tongue: A technical note[J]. Journal of Rehabilitation Research and Development, 1998, 35(10): 427-430.

[6] K. A. Kaczmarek. Electrotactile adaptation on the abdomen: Preliminary results[J]. IEEE Transactions on Rehabilitation Engineering, 2000, 12(8): 499-505.

[7] K. A. Kaczmarek and S. J. Haase. Pattern identification as a function of stimulation current on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering 2003, 11(9):269-275.

[8] K. A. Kaczmarek and S. J. Haase. Pattern identification and perceived stimulus, quality as a function of stimulation waveform on a fingertip-scanned electrotactile display[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2003, 11(3): 9-16.

[9] W. Liu and H. Tang. Preliminary study on electrotactile sensitivity of the lips[A]. Engineering in Medicine and Biology Society, 26th Annual International Conference of the IEEE[C]. 2004, 2: 4811-4814.

[10] M. C. Pereira and F. Kassab. An electrical stimulator for sensory substitution[A]. Engineering in Medicine and Biology Society, 28th Annual International Conference of the IEEE [C].2006,1: 6061-6020.

[11] Y. P. Danilov, M. E. Tyler, and K. A. Kaczmarek. Electrotactile vision: Achievements, problems and perspective[J]. International Journal of Psychophysiology, 2008, 69(9): 162-163.

[12] O. Cakrt, P. Kolar, R. Cerny, et al. Electrotactile stimulation of the tongue: a new option in the rehabilitation of postural stability - a case report[J]. Ceska a Slovenska Neurologie a Neurochirurgie, 2009, 72:364-367.

[13] 張竹茂, 劉捷, 趙瑛, 等. 基于手指的觸覺替代視覺系統的設計與實現[J], 中國醫學物理學雜志, 2009, 26: 1293-1298.

[14] 柴新禹, 陸燕玉, 張竹茂, 等. 基于電刺激的觸覺-替代視覺系統[P]. 公開號: 200810200430.2.

[15] H. Tang and D. Beebe. An oral tactile interface for two-way communication[A]. Microtechnologies in Medicine & Biology, 1st Annual International Conference on 2000[C], 2000, 1: 639-643.

Recognition of Chinese Character on Electrotactile Vision Substitution System

【Writers】Liu Jie, Zhang Zhumao, Ren Qiushi, Chai Xinyu
Inst. of Laser Medicine and Bio-Photonics, Shanghai Jiaotong University, Shanghai, 200240, China

Electrotactile, electrotactile vision substitution system, recognition of Chinese characters

】In this paper, we used the eletrotactile vision substitution system designed by ourselves to display Chinese characters on the 16x16 electrode array through some simple image processing algorithms and multiplexing technology. Based on this, simple Chinese character recognition experiment was conducted. The result of the experiment shows that the electrotactile vision substitution is a feasible solution for the blind to read simple Chinese characters and the result also solidi fi es the foundation of further study about more complex real-time image electrotactile display.

1671-7104(2010)05-0313-04

2010-05-21

國家高科技研究發展計劃（2009AA04Z326）；國家重點基礎研究發展計劃（2005CB724302/3）；國家科技支撐計劃（2007BAK27B04, 2008BAI65B03）；國家自然科學基金（60871091）；教育部111項目（B08020）

柴新禹（1963-），男，上海交通大學教授，博士生導師，從事

生物醫學工程研究 E-mail: xychai@sjtu.edu.cn

R318.6

A

10.3969/j.isnn.1671-7104.2010.05.001

【