圖像的力／觸覺表達技術研究綜述

摘要：總結了圖像的力/觸覺表達技術研究的現狀及特點，分析了圖像的力/觸覺表達研究中存在的問題，并展望了該技術的發展前景。

關鍵詞：力/觸覺再現;感覺替代;圖像轉換

中圖分類號：TP391文獻標志碼：A

文章編號：1001－3695(2007)05－0001－03

眾所周知，視覺是重要的信息獲取通道。人類約60％～80％的信息是靠視覺感知的，其中的60%～70%的信息又是以圖像方式獲取的[1]。對于盲人，視覺障礙給他們的工作和生活帶來極大的不便，嚴重限制了他們的生活空間。他們只能通過觸覺和聽覺獲取信息；而對于圖形圖像類的視覺信息，他們一般靠閱讀盲文來感知[2]。雖然已經有基于文字識別和語音提示的盲人計算機來幫助盲人識別網頁上的文字信息，但他們仍無法有效感知影像圖形信息[3]。如何讓盲人獲得一定程度的視覺信息，是研究者急需攻關的難題。一般有三種實現途徑：①直接電刺激大腦皮層，產生光幻覺，經過培訓可以獲得低分辨率圖像；②圖像信號經過模式識別轉換為聲音，由盲人的大腦對聲音進行圖像重建；③利用觸覺刺激器顯示像素陣列[4]。目前，圖像的非視覺再現技術研究主要集中在聽覺和力/觸覺兩方面。圖像的力/觸覺表達就是借助一定的圖像采集、識別系統和力/觸覺接口裝置，將圖像信息轉換為力/觸覺刺激，使得盲人雖然喪失了用眼睛“攝像”的功能，但通過力/觸覺同樣能夠達到圖像感知的目的，比如識別環境、避障、上網瀏覽圖片等。圖像的力/觸覺表達系統用于潛水員水下作業，能幫助他們在深海中找到正確的路線；用于消防救火，使消防員能排除大火和煙霧的干擾，將火災的損失降到最低；用于醫療領域，外科大夫在給病人實施手術時，通過圖像的力/觸覺表達裝置即能夠感受到深入病人體內的探頭獲取的內部器官表面特性，從而提高手術的精確性。圖像的力/觸覺表達系統在軍事領域也有重要的應用價值。在特殊環境下，如作高速旋轉、失重和超重時，人的視覺感知的目標辨識能力會急劇下降，發生功能性障礙。將信息以力/觸覺方式再現，能夠大大緩解戰斗員的視覺負擔，幫助他們正確辨別方位和航向。美國海軍和國家航空航天局目前都在積極進行視覺的力/觸覺表達技術研究[6]。

1圖像的力/觸覺表達技術主要研究內容

力/觸覺（Haptic）主要包括力覺感知（Kinesthetic）和觸覺感知（Tactile）兩方面。人通過力/觸覺不但能感知物體的質感，還能感知物體的形狀長短、大小外形。力/觸覺對盲人尤其重要。圖像信息的力/觸覺表達技術，主要包括圖像獲取（Image Acquisition）和圖像的力/觸覺信息轉換兩部分。圖像獲取單元作為一種視覺傳感器，一般是利用攝像頭進行圖像采集，將視覺信號轉換成電信號；而圖像的力/觸覺信息的轉換單元是電能與機械能的轉換裝置，向操作者提供力/觸覺刺激。圖像的力/觸覺轉換與表達是整個研究的重點和難點，可將其細分為力/觸覺感知的心理和生理實驗性研究、圖像信息和力/觸覺信息的映射方法研究以及力/觸覺再現裝置的設計三部分。人的力/觸覺感知，作為外界刺激作用于人的皮膚，在人腦產生主觀感受，受到人的生理因素和心理因素的影響。力/觸覺感知的心理和生理實驗性研究就是從神經生理和心理學角度研究力/觸覺產生的神經生理機制，分析影響人的力/觸覺感知能力的因素，探討人的力/觸覺感受性的閾值等。圖像信息是一種光刺激，而力/觸覺信息是一種機械刺激。要實現視覺信息與力/觸覺信息的轉換，就要研究能量之間的轉換方法，建立定量的確定的轉換模型，以便提供裝置可以模擬的原型。力/觸覺再現裝置的設計也是力/觸覺再現技術研究的重點。

2圖像的力/觸覺表達技術國內外研究現狀

早期，盲人感知圖像是將物體的輪廓和黑白紋理復印到一種受熱可變形的熱塑紙上。這需要事先根據圖像對材料進行處理，耗時且一次成形后不能縮放變更。因此，必須要研制一種圖像的力/觸覺表達系統來實時地再現圖像信息。

1960年，John Linvil 和James Bliss研制了一套稱為Optacon（奧普特康盲人電子閱讀儀）的圖像觸覺表達系統（圖1）。該系統主要硬件是一個6×24的振動式觸覺陣列，能將攝相機的亮度信息轉換為振動觸覺刺激，作用于手指[7，8]。1969年，美國神經學家保羅·巴赫就在《Nature》上介紹了他發明的一種背式觸覺—視覺轉換系統。這一系統由電視攝像機、轉換器、監視器和振動器等構成。微型振動器安裝在特殊椅子的后背上。實驗時，被試者坐在椅子上，背部緊靠椅背，自己使用電視攝像機，來回移動攝取景物。攝像機的信號輸入轉換器，把光強轉換為電脈沖，通過振動刺激作用于被試者背后。在此基礎上，他還進行了腹式觸覺—視覺轉換系統（TVSS）的研究。結果表明，通過皮膚“看”實物，即通過皮膚對物體的接觸，能夠完成從眼到手需要協調性的復雜任務。2001年8月，保羅·巴赫和法國路易斯·巴斯德大學感知系統實驗室聯合研制出舌式觸覺—視覺轉換系統（圖2）。這套TVSS系統將攝相機拍攝下的圖片傳遞給信息接口，對圖像進行一定的編碼；然后將圖像分解壓縮成400個像素；這些像素在微電流作用下轉換為觸覺圖像，觸覺圖像通過調頻波傳輸給位于口腔上鄂的模擬器，使舌頭產生一種微癢的感覺。被“視”物體離鏡頭越近，舌頭的感覺越明顯；被“視”物體離鏡頭越遠，舌頭的感覺就越弱。Thomas S.Spisz和Herman R. Weed等人設計的圖像觸覺表達系統是將拍攝圖像的每一幀圖片都平均分割為16×16的單元。對每個單元的亮度進行平均后，其均值與振動式觸覺陣列的相應單元的振動強度對應。這類圖像的觸覺表達，均是先利用攝像頭提取圖片，再將圖像的亮度（灰度）信息轉換為觸覺刺激（振動、電流等），描述二維圖像的輪廓特征。

Efim Liberman和Kurt Kashmarek等人正在進行一項名為Veresk的研究[9]。他們設計了一套基于電刺激的視覺—力觸覺替代系統。該系統由黑白攝像頭、帶圖像信息處理軟件的便攜電腦以及安裝有電刺激陣列的腰帶組成，如圖3所示。該系統將攝像頭采集的圖像信息轉換為電刺激信號，作用于盲人腰部。振動信號的強弱與物體距離操作者的遠近對應。類似的系統還有加拿大渥太華大學研制的基于觸覺反饋數據手套的視覺替代系統[10]。他們的研究與保羅·巴赫等人的研究有所不同，主要側重于如何從圖片中提取深度信息，并將深度（距離）信息轉換為力/觸覺信息，用于引導盲人避障和路徑搜索。

視覺圖像要借助一定的力/觸覺裝置得以表達，力/觸覺再現裝置的研究一直是國內外研究的熱點。世界上僅有少數國家如日本、美國、加拿大等的研究機構從事觸覺（包括紋理、柔順性、摩擦等）研究，觸覺再現的研究相對滯后于力覺再現技術。人體不同部位對力/觸覺刺激的敏感度有很大差別，比較敏感的觸覺感知部位集中在背部、腰部、舌頭、指端。目前針對這些不同敏感部位都有相應的觸覺刺激裝置。除了觸覺刺激的部位，觸覺刺激的方式也是研究者重點考慮的問題。大致可分為兩大類：一類是靜態的，觸點升降以重構物體表面輪廓，典型的如美國國家標準和技術局（NIST）實驗室研制的Tactile Graphic Display系統（圖4）；一類是動態的，即觸點不斷振動或以其他方式產生強度可控的接觸信號重構物體表面特征[11]。根據刺激方式不同，觸覺再現裝置可分為噴氣刺激、機械振動刺激、電刺激和神經肌肉刺激等。東京農業工程大學的Naoya Asamura等人研制了一套氣囊式觸覺再現裝置。它表面上有微型空氣壓力振動器，壓力由穿過試管的活塞控制，作用于皮膚表面，產生紋理感覺[12]。氣囊式觸覺原理簡單，但裝置體積較大且控制精度不高。振動式觸覺再現裝置一般設計為點陣式結構，Virtouch公司研制的VTPlayer上就安裝了機械振動式觸覺陣列（圖5）。裝置的外形與鼠標相類似，32個觸點排列成兩個4×4的觸覺陣列，裝置與普通PC機相連，能根據圖像控制觸點的振動，實現觸覺再現[13]。Stephen Brewster等人研制的Tacton圖像表達系統則是一種基于表面聲波（SAW）原理的振動式觸覺再現裝置，用于表達二維空間位置信息[14]。如前所述，保羅·巴赫等人研制的舌式觸覺感知系統是典型的基于電刺激的觸覺再現系統[15]。

圖5VTPlayer振動式觸覺再現裝置以及其使用的振動式觸覺陣列

還有一類圖像的力覺表達系統主要借助力覺再現裝置產生力反饋，引導盲人感知物體的輪廓[16]。類似的系統還有意大利LAR－DEIS實驗室研制的VIDET（Visual Decode by Touch）系統，如圖6所示。英國Glasgow大學的Wai Yu等人通過對比實驗證明，利用力反饋裝置提供的主動作用力以及摩擦阻力，能夠明顯改善盲人對圖表數據的感知能力[17]。典型的力再現裝置有Moose、Wingman、I－Feel以及Sidewinder等[18，19]。其中，Moose是由斯坦福大學于1998年研制的一個具有2－DOF的力再現裝置（圖7）。它定義了一個帶有力反饋的Window窗口，在拖放邊框、滾動條以及其他屏幕組件時能夠明顯感覺到裝置產生的作用力[20]。Immersion公司生產的Logotech Wingman鼠標也與帶力反饋的Window視窗具有類似的功能，適合于盲人的網頁瀏覽[21]。目前，國外很多研究者都在研究基于力反饋的圖形圖像表達。Fritz和Barner等人研究如何利用三維力反饋裝置如PHANTOM、表達數學模型和復雜圖表[22]。 Magnusson等人正在利用PHANTOM裝置以及VRML語言建立一個帶力反饋的人機交互界面，幫助盲人感知3D表面[23]。此類研究都是通過力反饋裝置，主動引導盲人，幫助盲人感知物體邊緣信息。日本Tsukuba大學的Hiroo Iwata等人也開發了一套基于二維力反饋裝置的3D物體輪廓顯示系統Feelex（圖8）。它能夠根據攝像頭拍攝的圖片，重構3D物體輪廓，模擬與柔性物體表面相接觸的效果[27]。 

自1996年開始，國內東南大學、北京航空航天大學、中國科學院合肥智能機械研究所、清華大學等單位相繼開展了力覺再現裝置和力/觸覺傳感器等方面的研究工作。東南大學儀器科學與工程系長期從事力/觸覺再現和人的力/觸覺心理感知方面的研究，研制了一系列帶力反饋的主手裝置以及陣列式、電刺激式的觸覺再現裝置和柔順性再現裝置，進行了大量的關于人的肌電信號分析、柔順性感知等方面的生理感知實驗。清華大學正在試制盲人用筆記本電腦，把普通文字信息轉換為盲文或者通過發聲裝置朗讀出來，幫助盲人實現更便捷的人機交互。但涉及視覺和力/觸覺的轉換以及圖像的力/觸覺表達的研究報道，目前國內尚不多見。

3目前研究存在的主要問題和未來研究展望

圖像的力/觸覺表達技術在國外雖然有近四十年的研究歷史，但該項技術研究目前仍沒有成熟的理論依據，在實現方法上還存在許多尚待解決的問題。總結起來，主要有以下三方面原因：

(1）對觸覺的視覺化機理以及力/觸覺感知特性缺乏深入認識。生理和心理學家已證明，視覺與力/觸覺通道之間具有可相互轉換的特性。但就力/觸覺感知本身而言，人是如何通過外部力/觸覺刺激認知真實空間物體特性的，觸覺感知的個體差異是如何產生的，盲人的大腦與視覺通道的連接關系如何改變，從而提升觸覺通道感知圖像的敏感度？這一系列問題至今沒有得到圓滿的解答。目前，研究者只定性分析出一些影響觸覺感知的物理因素，如觸覺刺激類型、刺激的頻率以及空間分布和作用力的方向等，還無法準確給出觸覺感知與這些因素之間的關系模型。

(2）現有的圖像觸覺再現技術還不能充分表達環境物理特性。圖像是客觀世界的反映，人之所以通過觀察圖像，辨識出客觀事物的存在特性，除了依賴于圖像中的顏色、亮度信息外，還依賴于雙目立體視覺以及人腦對信息的加工[28]。而目前的圖像觸覺再現方法，實際上是一種圖像亮度、灰度信息的觸覺再現方法，建立的模型僅描述了觸覺強度和亮度、灰度信息的映射關系，只能反映簡單規則物體的二維圖像信息，不能全面表達真實環境下物體的物理特性，尤其不能有效描述三維空間內物體的輪廓、大小、相對位置等。物體本身的紋理、柔順性、粗糙度等特性也由于觸覺通道已被占用而無法得以再現。

(3）缺乏專用的圖像表達力/觸覺再現裝置。目前用于盲人圖像再現的力/觸覺再現裝置，要么是一種力反饋裝置（如PHANTOM），僅產生力反饋；要么是一種觸覺再現裝置，僅提供觸覺刺激。這些裝置只能模擬部分物體特性如形狀、紋理、柔順性，沒有綜合力覺反饋和觸覺刺激在圖像表達方面的優勢。另外一個缺陷是力/觸覺裝置的分辨率不高，力/觸覺再現帶寬不能滿足圖像顯示的要求。以電刺激觸覺為例，電刺激信號范圍比攝像頭的輸入亮度范圍要低20 dB[29]。

基于以上分析，本文認為今后圖像的力/觸覺表達技術研究應從人的力/觸覺感知以及視覺和力/觸覺轉換機理出發，深入分析物理特性的力/觸覺感知和表達原理。以力/觸覺的大小知覺、形狀知覺、空間知覺特性為基礎，建立視覺信息的力/觸覺表達模型，并進行力覺再現與觸覺再現相結合的圖像表達接口裝置的設計。該技術的深入研究將推動真正具有市場推廣和應用價值的視覺的力/觸覺替代產品的研發，對解決助殘、醫療、商業、教育、娛樂、軍事等方面的問題具有重要意義。

參考文獻：

［1］

丘霞，陳昌文.圖文時代的學術限度[EB/OL].[2006－04－15].http://www.opentimes.cn /to/laigao/ 2005/09－0502.htm.

[2]李偉洪.努力實現信息無障礙[EB/OL].[2006－04－15].http://temp.cdpj.cn/zmxh /2005－11/15/ content_ 4954.htm.

[3]董清富.盲人瀏覽器的設計與實現[J].計算機工程，2001，27(2):110－111.

[4]秦篤烈.盲人的助視器Voice—視覺—聽覺—成像信號轉換的革命[J].中國醫療器械信息， 2004，10(3):40－42.[5]趙亞萍.記美腦神經康復醫學開創者保羅巴赫·利塔[EB/OL].[2006－04－15].http://www.people.com.cn/ GB/ keji /1059/1949195.html.

[6]LINDEMAL R W， YANAGIDA Y， SIBERT J L.Effective vibrotactile cueing in a visual search task :proceedings of Human－Computer Interaction[C].Crete:[s.n.]， 2003.

[7]BLISS J C， KATCHER MH， ROGERS C H， et al.Optical－totactile image conversion for the blind [J].IEEE Trans. Man－Machine Systems， 1970 ，11(1): 58－65.

[8]MINAGAWA H， OHNISHI N， SUGIE N.Tactile－audio diagram for blind persons[J].IEEE Trans. on Rehabilitation Engineering，1996，4(4):431－437.

[9]Tactile vision [EB/OL].[2006－04－15].http://www.tactilevision.ru/english/index.php?id=phil_device.

[10]ZELEK J S.Seeing by touch (haptics) for wayfinding:Elsevier International Congress Series[C].London:[s.n.]，2005:1108－1112.

[11]李嘉，劉文江，胡軍，等.遙操作機器人觸覺顯示技術的研究[J].微電子學與計算機，2003，19(8):69－72.

[12]SHINODA H，ASAMURA N， YOKOYAMA N.Selectively stimulating skin receptors for tactile display [J].IEEE Computer Graphics and Applications，1998，18(6): 32－37.

[13]Introducing a new world of tactile applications[EB/OL].[2006－04－15].http://www.virtouch2.com/index.htm.

[14]BREWSTER S，BROWN L M.Tactons:structured tactile messages for non－visual information display:proceedings of the 5th Conference on Australasian User Interface[C].Dunedin:[s.n.]，2004: 15－23.

[15]TYLER M， HAASE S， KACZMAREK K，et al. Development of an electrotactile glove for display of graphics for the blind:preliminary results:Joint Conference of the IEEE Engineering in Medicine and Bio－logy Society and the Biomedical Engineering Society[C].Houston:[s.n.]，2002:2439－2440.

[16]YU Wai， KANGAS K， BREWSTER S.Web－based haptic applications for blind people to creavte virtual graphs:proceeding of the 11th Symposium on Haptic Interfaces for Virtual Environment and Teleo－perator System[C].Los Angeles:[s.n.]，2003:318－324.

[17]YU Wai， RAMLOLL R，BREWSTER S.Haptic graphs for blind computer users:Human－Computer Interaction Workshop[C].Glasgow:[s.n.]，2000:41－51.

[18]HARDWICK A， FURNER S， RUSH J.Tactile access for blind people to virtual reality of the world wide web[EB/OL].[2006－04－15].http://citeseer.ist.psu.edu/hardwick97tactile.html.

[19]CALLE S.Designing haptic computer interfaces for blind people:International Symposium on Signal Processing and Its Application[C].Kuala Lumpur:[s.n.]，2001:68－71.

[20]SALISBURY K.Introduction to haptics[EB/OL].[2006－04－15].http://hci.stanford.edu/seminar/abstracts/99－00/990924－salisbury.html.

[21]BULATOV V.Visualization by people without vision[EB/OL]. [2006－04－15].http://dots.physics.orst.edu/ publications/ visual.html.

[22]FRITZ J，BARNER K. Design of a haptic data visualization system for people with visual impairments [J].IEEE Trans. on Rehabilitation Engineering，1999，7(3):372－384.

[23]MAGNUSSON C， RASSMUS－GROHN K，SJOSTROM C， et al.Navigation and recognition in complex haptic virtual environments reports from an extensive study with blind users:proceedings of Eurohaptics[C].Edinburgh:[s.n.]， 2002.

[24]PHILLIPS J，JOHNSON K.Tactile spatial resolution (i):two－point discrimination，gap detection，grating resolution， and letter recognition[J].Journal of Neurophysiology， 1981(46):1177－1191.

[25]MACLEAN K E.Designing with haptic feedbackProceedings of IEEE Robotics and Automation[C].San Francisco:[s.n.]， 2000:783－788.

[26]GOODWIN A W，MACEFIELD V G， BISLEY J M. Haptic interfaces and devices:proceeding of the Fourth Annual Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems[C].[S.l.]:[s.n.]， 1998:727－734.

[27]IWATA H， YANO H， NAKAIZUMI F，et al.Project FEELEX:adding haptic surface to graphics:proceedings of the ACM SIGGRAPH Conference on Computer Graphics[C].New York:[s.n.]，2001:469－475.

[28]郭卜樂.空間視覺 [EB/OL].[2006－04－15].http://www.zgxl.net/cptoday/nous/shijue.htm.

[29]KACZMARK K A， WEBSTER J G， BACK－Y－RITA P.Electrotactile and vibrotactile displays for sensory substitution systems[J].IEEE Transactions on Biomedical Engineering，1991，38（1）: 1－16.

[30]PARK J G，NIEMEYER G.Haptic rendering with predictive representation of local geometry:the 12th International Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems[C].Chicago:[s.n.]，2004:331－338.

[31]MINSKY M.Computational haptics:the sandpaper system for synthesizing texture for a force feedback display[D].Cambridge:Massachusetts Institute of Technology， 1995.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”