李 穎
安徽工程大學(xué)藝術(shù)學(xué)院,蕪湖,241000
隨著社會(huì)的發(fā)展,新技術(shù)的應(yīng)用,傳統(tǒng)的符號(hào)學(xué)或者是傳播符號(hào)學(xué)已難以完整地詮釋新型的傳播形態(tài),特別是GPS定位、環(huán)境感應(yīng)、三維成像、虛擬現(xiàn)實(shí)、視頻傳輸?shù)刃录夹g(shù)在手機(jī)領(lǐng)域的應(yīng)用,一方面創(chuàng)造了全新的視覺(jué)符號(hào),如虛擬現(xiàn)實(shí)、即時(shí)影像;另一方面,其符號(hào)傳播的過(guò)程更為復(fù)雜,手勢(shì)觸動(dòng)界面,鏈接打開(kāi)信息,將語(yǔ)言符號(hào)與非語(yǔ)言符號(hào)的傳播融混一體,互動(dòng)媒體領(lǐng)域的符號(hào)傳播,完全打破了傳統(tǒng)符號(hào)傳播的常規(guī)形態(tài),呈現(xiàn)全新的內(nèi)容和特點(diǎn)。
自媒體時(shí)代的視覺(jué)傳播以視覺(jué)符號(hào)為表達(dá)手段,符號(hào)為用戶(hù)提供了廣闊的意義交流和表達(dá)空間。符號(hào)是“攜帶意義的感知”[1],用戶(hù)與屏幕交流的一切信息內(nèi)容通過(guò)符號(hào)來(lái)傳達(dá)。因此,觸屏媒介的信息交流是一個(gè)符號(hào)體系的傳播過(guò)程,驗(yàn)證了符號(hào)傳播學(xué)在新媒介信息時(shí)代的衍變過(guò)程。
符號(hào),包括語(yǔ)言符號(hào)和非語(yǔ)言符號(hào),傳統(tǒng)符號(hào)學(xué)的研究是建立于語(yǔ)言結(jié)構(gòu)基礎(chǔ)之上的。法國(guó)語(yǔ)言結(jié)構(gòu)主義代表人物羅蘭·巴特對(duì)符號(hào)學(xué)的研究就是基于索緒爾的語(yǔ)言結(jié)構(gòu)學(xué)基礎(chǔ)之上的[2],同時(shí)他也是將符號(hào)學(xué)理論應(yīng)用于視覺(jué)傳播領(lǐng)域的先驅(qū)人物[3]。語(yǔ)言符號(hào)主要包括語(yǔ)音和文字,具有明顯的結(jié)構(gòu)。語(yǔ)言符號(hào)是以語(yǔ)音形式為能指、以語(yǔ)義為所指的聽(tīng)覺(jué)符號(hào)系統(tǒng)[4]。
所謂非語(yǔ)言符號(hào)是語(yǔ)言符號(hào)以外可通過(guò)感官感受到的如表情、手勢(shì)、動(dòng)作等。非語(yǔ)言符號(hào)更為復(fù)雜,具有即時(shí)、變化、連貫等特點(diǎn)。在人類(lèi)社會(huì)早期,肢體語(yǔ)言是信息交流的重要工具,表情、手勢(shì)和動(dòng)作是表達(dá)情感的有力符號(hào)。同樣在自媒體時(shí)代的界面?zhèn)鞑ィ砬椤⑹謩?shì)和動(dòng)作仍然是觸發(fā)信息感應(yīng)與傳播的有力符號(hào)。智能影像采集系統(tǒng)可以錄入人的表情、手勢(shì)與動(dòng)作觸發(fā)信息界面的不同反應(yīng),觸屏界面以人的手指動(dòng)作為觸發(fā)信息感應(yīng)的先決條件。
將語(yǔ)言符號(hào)擴(kuò)展至畫(huà)面語(yǔ)言與聲音語(yǔ)言,觸屏媒介的圖像、聲音、文字、影像等視聽(tīng)元素共同構(gòu)成了觸屏界面的視聽(tīng)語(yǔ)言符號(hào)體系,能其傳達(dá)界面的內(nèi)容、功能與用戶(hù)感知。以APP界面為例,觸屏媒介的視覺(jué)符號(hào)的外在形態(tài)主要表現(xiàn)為“圖”和“像”[5],其中“圖”主要指圖標(biāo)、圖形、圖示等,“像”包括動(dòng)畫(huà)和影像,尤其“像”的視覺(jué)語(yǔ)素包括空間、色彩、聲音、運(yùn)動(dòng)等[6]。不難理解文字和圖像作為語(yǔ)言符號(hào)而感官形態(tài)更為豐富的影像、動(dòng)畫(huà)、虛擬現(xiàn)實(shí),融視覺(jué)和聽(tīng)覺(jué)元素于一體,是新型的視聽(tīng)語(yǔ)言符號(hào)。
APP界面的視覺(jué)表達(dá)以視覺(jué)符號(hào)為外在表征形式,以視覺(jué)意象為內(nèi)核內(nèi)容。所謂視覺(jué)意象是指事物的視覺(jué)化呈現(xiàn),如照片是實(shí)際場(chǎng)景在界面上的視覺(jué)化呈現(xiàn),代表這一場(chǎng)景的視覺(jué)意象。界面是視覺(jué)符號(hào)的聚集層,它所包含的文字、圖像、影音、動(dòng)畫(huà)是界面內(nèi)容的視覺(jué)化呈現(xiàn),APP系統(tǒng)通過(guò)界面與用戶(hù)發(fā)生信息交流與交互,用戶(hù)在接收到視覺(jué)符號(hào)的同時(shí),結(jié)合自身的經(jīng)驗(yàn)、邏輯和想象進(jìn)行認(rèn)知與感受,從而形成一定的視覺(jué)印象和視覺(jué)思維,這也是用戶(hù)視覺(jué)體驗(yàn)的完整過(guò)程。可見(jiàn),用戶(hù)界面的符號(hào)表達(dá)是APP系統(tǒng)用戶(hù)交流的“門(mén)窗”。用戶(hù)對(duì)于界面視覺(jué)符號(hào)的接收與處理過(guò)程如圖1所示。

圖1 APP界面視覺(jué)符號(hào)處理過(guò)程
“手勢(shì)”成為觸屏?xí)r代重要的身體語(yǔ)言符號(hào)。與大眾媒體的單向傳播不同,互動(dòng)媒體的符號(hào)傳播與解讀是雙向的,一方面,用戶(hù)通過(guò)界面視覺(jué)符號(hào)的解讀獲取信息;另一方面,用戶(hù)發(fā)出的指令,作為一種動(dòng)作信號(hào),觸發(fā)新的界面視覺(jué)符號(hào)的呈現(xiàn)。“手勢(shì)”是一種新型的視覺(jué)符號(hào),“觸屏”是一種全新的操作方式,包括點(diǎn)觸、擰轉(zhuǎn)、捏合、滑動(dòng)等一系列操作,每一項(xiàng)操作指令基本上都可以分解為觸屏開(kāi)始(touchstart)、觸屏移動(dòng)(touchmove)和觸屏結(jié)束(touchend)的組合。區(qū)別于一般的視覺(jué)符號(hào),觸屏操作符號(hào)具有更強(qiáng)的隨機(jī)性、變化性和即時(shí)性,通過(guò)刺激界面的連鎖信息反應(yīng)而傳遞著屏幕界面的大量信息。
手勢(shì)符號(hào)通過(guò)屏幕感應(yīng)觸發(fā)界面視覺(jué)符號(hào),通過(guò)點(diǎn)觸和滑動(dòng)手勢(shì)打開(kāi)和切換界面,獲取不同界面的視覺(jué)符號(hào),同時(shí),視覺(jué)符號(hào)引導(dǎo)用戶(hù)操作,互相推進(jìn)。以手勢(shì)為主的非語(yǔ)言符號(hào)觸發(fā)圖、文、影像、動(dòng)畫(huà)、虛擬現(xiàn)實(shí)等界面視聽(tīng)語(yǔ)言符號(hào)的變化,視聽(tīng)語(yǔ)言符號(hào)又引導(dǎo)著非語(yǔ)言符號(hào)的發(fā)生,如導(dǎo)航圖標(biāo)、鏈接、元素等對(duì)用戶(hù)操作的引導(dǎo),呈現(xiàn)出無(wú)限循環(huán)的交互感應(yīng)過(guò)程,如圖2所示。在此過(guò)程中,用戶(hù)的體驗(yàn)是融視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)于一體的界面符號(hào)體系的感應(yīng)過(guò)程。

圖2 觸屏交互過(guò)程
觸屏媒介的符號(hào)傳播增加了互動(dòng)的過(guò)程,與大眾媒介的單向交流相比,這一符號(hào)傳播具有很強(qiáng)的過(guò)程性,與其說(shuō)是一種交流,不如說(shuō)是一種體驗(yàn),體驗(yàn)過(guò)程涵蓋了用戶(hù)在與媒介互動(dòng)過(guò)程中全部的感官感受和心理感受,是用戶(hù)內(nèi)在狀態(tài)與系統(tǒng)情境相互作用的產(chǎn)物[7]。結(jié)合諾曼的認(rèn)知理論[8],從本能層的感官體驗(yàn),到行為層的操作體驗(yàn),再到反思層的心理體驗(yàn),互動(dòng)媒介的視覺(jué)符號(hào)體驗(yàn)反映人對(duì)事物的基本認(rèn)知過(guò)程。用戶(hù)沉浸于多種視覺(jué)符號(hào)組合的媒介世界里,體驗(yàn)著符號(hào)所帶來(lái)的意義和感受:通過(guò)設(shè)計(jì)符號(hào)體驗(yàn)交互界面的外觀與風(fēng)格,通過(guò)元素符號(hào)體驗(yàn)交互界面的內(nèi)容呈現(xiàn),通過(guò)美學(xué)符號(hào)體驗(yàn)交互界面的視覺(jué)美感。
觸屏媒介提供密集、多元、復(fù)雜的符號(hào)化世界,小小的視框里展示著變幻莫測(cè)的信息世界,而這一世界是通過(guò)人的感官去體驗(yàn)的。屏幕世界集合了圖、文、影像、聲音等多種語(yǔ)言符號(hào),人們對(duì)于這一時(shí)空的體驗(yàn)很難單單用“符號(hào)的解讀”去表達(dá),而更多的時(shí)候是一種“符號(hào)的沉浸”。人沉浸到符號(hào)世界中,感官與符號(hào)建構(gòu)的環(huán)境相互作用。因此,互動(dòng)媒介符號(hào)體驗(yàn)的心理意義要遠(yuǎn)遠(yuǎn)高于它的邏輯意義,更加強(qiáng)調(diào)符號(hào)與人的關(guān)系。
互動(dòng)媒介的視覺(jué)符號(hào)是以數(shù)字化符號(hào)為基礎(chǔ)的。尼葛洛龐帝在其著作《數(shù)字化生存》中提出人與數(shù)字的共生關(guān)系[9]。數(shù)字技術(shù)建構(gòu)的視像可以是仿真的,也可以是虛擬的。數(shù)字化的虛擬符號(hào)世界是有形與無(wú)形的同構(gòu),全方位地調(diào)動(dòng)人們的視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)與運(yùn)動(dòng)感知,通過(guò)點(diǎn)擊、手勢(shì)互動(dòng)、穿戴設(shè)備零距離體驗(yàn)數(shù)字化的符號(hào)世界,得到突破自身局限的超現(xiàn)實(shí)體驗(yàn)。體驗(yàn)空間從界面延伸到設(shè)備,從軟件延伸到硬件,從“視窗”延伸至無(wú)限的信息交互空間,因此符號(hào)體驗(yàn)空間是無(wú)限的。
屏幕世界是多種視覺(jué)符號(hào)交織、綜合的系統(tǒng),屏幕一方面為人們提供了虛擬體驗(yàn)的環(huán)境;另一方面提供了體驗(yàn)的工具,在虛擬環(huán)境中開(kāi)啟了想象,對(duì)符號(hào)信息的理解,在“翻譯”的基礎(chǔ)上又增加了想象的空間,意義被解讀、延伸和再創(chuàng)造。
觸屏媒介符號(hào)體驗(yàn)的時(shí)空特性主要表現(xiàn)為時(shí)間、空間的符號(hào)化以及符號(hào)化的時(shí)空體驗(yàn)。
首先,互動(dòng)媒體的動(dòng)畫(huà)、影像、交互空間等視覺(jué)元素都是基于時(shí)間的空間變化的體現(xiàn),呈現(xiàn)出一定的時(shí)間性,且時(shí)間的變化與用戶(hù)的操作選擇相關(guān),空間的感受是基于用戶(hù)視覺(jué)和知覺(jué)的虛擬體驗(yàn),可以是二維的、三維的或多維度的,也可以是虛擬的,或真實(shí)場(chǎng)景的再現(xiàn)。
其次,用戶(hù)連續(xù)發(fā)出的手勢(shì)符號(hào)與界面視覺(jué)符號(hào)相互刺激、交互變化,構(gòu)成一個(gè)連續(xù)的符號(hào)體驗(yàn)空間。超越視聽(tīng)的虛擬體驗(yàn)更符合用戶(hù)對(duì)于交互界面的更高要求。
再次,時(shí)間與空間的符號(hào)化。互動(dòng)媒體中的時(shí)間與空間要素同樣以符號(hào)的形式呈現(xiàn),并表現(xiàn)出具象的屬性(如時(shí)間的幀、時(shí)間線(xiàn)、長(zhǎng)度屬性,空間的維度、大小等屬性),用戶(hù)通過(guò)符號(hào)感受著時(shí)間與空間的存在和豐富的時(shí)空體驗(yàn)。
德國(guó)學(xué)者卡西爾將人定義為符號(hào)的動(dòng)物[10]。在數(shù)字化的虛擬世界里,符號(hào)重構(gòu)了人的意義,在這一層面上再去理解“人是符號(hào)的動(dòng)物”這句話(huà),就有了超現(xiàn)實(shí)意義。
進(jìn)入屏幕世界的人具有雙重身份:符號(hào)的使用者和作為符號(hào)的人。網(wǎng)絡(luò)世界中的人是一個(gè)符號(hào),比如人們?cè)诰W(wǎng)站上的賬號(hào)、頭像、昵稱(chēng),是一個(gè)虛擬的“人”的標(biāo)記;作為符號(hào)的人,能夠直接與其他符號(hào)互動(dòng),產(chǎn)生意義;同樣觸動(dòng)著符號(hào)世界的變化和反應(yīng),形成人與符號(hào)共生的連接關(guān)系。但是“人”的符號(hào)與其他符號(hào)有著顯著的不同,畢竟是真實(shí)的人在網(wǎng)絡(luò)上的化身,附加了強(qiáng)烈的主體意識(shí)和能動(dòng)性。
借鑒臺(tái)灣學(xué)者葉嘉瑩提出“興發(fā)感動(dòng)”[11]的體驗(yàn)層次理論,用戶(hù)對(duì)于觸屏界面的審美體驗(yàn)過(guò)程由“官能的觸引”到“情感的觸動(dòng)”再到“感發(fā)之意趣”,運(yùn)用于觸屏媒介的符號(hào)體驗(yàn)過(guò)程,正是由界面視聽(tīng)語(yǔ)言符號(hào)引發(fā)的一種由官能的感知到心理情感的變化,進(jìn)而觸發(fā)心靈上的感發(fā)力量,如沉浸、依賴(lài)、聯(lián)想和想象等。
觸屏媒介界面在與用戶(hù)互動(dòng)的過(guò)程中,通過(guò)雙向選擇構(gòu)建了富有人性化特點(diǎn)的信息界面,人們對(duì)顏色、版式、布局的偏好也同時(shí)體現(xiàn)在對(duì)界面的選擇上。一方面,符合用戶(hù)個(gè)性化審美特征的界面和元素更容易吸引用戶(hù)的注意;另一方面,用戶(hù)會(huì)主動(dòng)選擇更為符合自身審美偏好的界面和元素。而觸屏界面的符號(hào)化體系的構(gòu)建在雙向選擇和動(dòng)態(tài)構(gòu)建的過(guò)程中展現(xiàn)了作為體驗(yàn)主體的人的審美傾向。與以空間和距離作為基本要素的傳統(tǒng)審美不同,數(shù)字化的審美過(guò)程處處體現(xiàn)著速率之美、變化之美和響應(yīng)之美。用戶(hù)的每一次點(diǎn)擊、觸碰、擰轉(zhuǎn)等手勢(shì)操作都觸發(fā)著界面符號(hào)系統(tǒng)的連鎖反應(yīng),而呈現(xiàn)在用戶(hù)面前的信息界面正是用戶(hù)操作選擇的結(jié)果,傳達(dá)著用戶(hù)的審美價(jià)值。
觸屏媒介的符號(hào)體驗(yàn)是由感官體驗(yàn)引發(fā)交互行為,觸發(fā)思維活動(dòng)的過(guò)程。人們對(duì)于界面的認(rèn)知反應(yīng),對(duì)于交互行為的選擇以及對(duì)于信息界面的處理行為,處處體現(xiàn)并傳達(dá)著人的思維活動(dòng)。這一思維活動(dòng)過(guò)程一部分發(fā)自于人的主體意識(shí):一方面受到界面符號(hào)的影響。人們?cè)诓煌慕缑娣?hào)的刺激下會(huì)產(chǎn)生不同的思想活動(dòng),這是人的主體意識(shí)與界面符號(hào)互相作用的結(jié)果。由于體驗(yàn)過(guò)程是動(dòng)態(tài)變化的,界面信息的變化刺激用戶(hù)感官,引導(dǎo)著用戶(hù)行為,催生著大腦皮層的連鎖反應(yīng),構(gòu)建快速變化、高度敏感的用戶(hù)思維活動(dòng)。另一方面,界面符號(hào)體系的衍變是用戶(hù)操作選擇的結(jié)果,是用戶(hù)思維活動(dòng)的有效傳達(dá)。
觸屏界面用戶(hù)交互過(guò)程中,通過(guò)符號(hào)傳達(dá)了用戶(hù)的內(nèi)心活動(dòng),融入了用戶(hù)的感官與心理活動(dòng),符號(hào)世界中的人是虛擬的人,同時(shí)是富有主體情感的人。人們?cè)谟|屏界面交互過(guò)程中信息獲取的滿(mǎn)意度、視覺(jué)體驗(yàn)的舒適度、交互體驗(yàn)的流暢性帶給人們不同的心理情感反應(yīng)。符號(hào)世界中的人是高度敏感的,在與界面互動(dòng)的過(guò)程中,觸發(fā)了用戶(hù)的多種情緒,如界面交互時(shí)流暢體驗(yàn)的愉悅感、界面打開(kāi)時(shí)信息呈現(xiàn)的好奇感、網(wǎng)速較慢時(shí)焦急等待的焦慮感以及信息交互時(shí)未能獲取需求信息的沮喪感等。各種不同的情緒可能在短短的幾秒內(nèi)錯(cuò)綜變化。
觸屏界面的符號(hào)世界帶給體驗(yàn)主體共生感與沉浸感。全身心投入屏幕界面的人是忘我的,符號(hào)引導(dǎo)著人的行為和心理活動(dòng),而即將離開(kāi)屏幕符號(hào)世界時(shí),又會(huì)產(chǎn)生不適與依賴(lài),這也是觸屏?xí)r代的人們媒介依存癥越來(lái)越嚴(yán)重的原因。觸屏?xí)r代的符號(hào)世界所構(gòu)建的人的意義情感是超越以往任何一個(gè)時(shí)代人們的自我認(rèn)知與想象的。
觸屏媒介的信息交流過(guò)程是一個(gè)符號(hào)傳播的過(guò)程。隨著社會(huì)的發(fā)展,傳統(tǒng)符號(hào)學(xué)理論已難以適應(yīng)各種新型的傳播形態(tài),特別是以屏幕為介質(zhì)的互動(dòng)傳播領(lǐng)域。有別于傳統(tǒng)的單向交流與被動(dòng)接收,觸屏媒介的信息交流呈現(xiàn)出交互呈現(xiàn)、互動(dòng)演進(jìn)、無(wú)限延伸的傳播形態(tài),以聲音、畫(huà)面、文字為主的視聽(tīng)語(yǔ)言符號(hào)刺激著人的感官,引導(dǎo)著用戶(hù)行為,觸發(fā)不同的用戶(hù)心理反應(yīng);以手勢(shì)為主的非語(yǔ)言符號(hào)觸發(fā)包括圖、文、影像、動(dòng)畫(huà)、虛擬現(xiàn)實(shí)等在內(nèi)的界面視聽(tīng)語(yǔ)言符號(hào)體系的不斷變化,進(jìn)而引發(fā)用戶(hù)行為、思維和心理的連鎖反應(yīng),交錯(cuò)呈現(xiàn)出無(wú)限循環(huán)的交互感應(yīng)狀態(tài)。
同時(shí),觸屏媒介的信息交流過(guò)程是一個(gè)符號(hào)化體驗(yàn)的過(guò)程。在此過(guò)程中,人作為一種特殊的符號(hào),體驗(yàn)著觸屏帶來(lái)的豐富多彩、變化多端的符號(hào)世界。人的肢體語(yǔ)言特別是手勢(shì)動(dòng)作被符號(hào)化,作為一種操作符號(hào)觸發(fā)著界面的連鎖反應(yīng)。符號(hào)化的體驗(yàn)空間呈現(xiàn)出虛擬和無(wú)限延伸的時(shí)空特征,重構(gòu)和拓展了人的體驗(yàn)空間。與其他符號(hào)不同,作為體驗(yàn)主體的“人”的符號(hào),附加著強(qiáng)烈的主體意識(shí)與能動(dòng)性。在與界面符號(hào)共同構(gòu)建的連接關(guān)系中增強(qiáng)了人的體驗(yàn),重構(gòu)了人的審美價(jià)值、思維活動(dòng)和意義情感,并且這些全新的主體特征在界面符號(hào)體系中得到了有效傳達(dá)。觸屏媒介構(gòu)建的全新人類(lèi)符號(hào)體驗(yàn)空間,有著很大的創(chuàng)作空間和研究?jī)r(jià)值,需要進(jìn)行更多富有價(jià)值和趣味性的探索。
參考文獻(xiàn):
[1]趙毅衡.重新定義符號(hào)與符號(hào)學(xué)[J].國(guó)際新聞界,2013(6):6-14
[2]羅蘭.符號(hào)學(xué)原理[M].李幼蒸,譯.北京:中國(guó)人民大學(xué)出版社,2008:1-10
[3]李思屈,劉研.論傳播符號(hào)學(xué)的學(xué)理邏輯與精神邏輯[J].新聞與傳播研究,2013(8):29-37
[4]聶志平.語(yǔ)言符號(hào)論[J].東南大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2017,14(4):66-72
[5]國(guó)玉霞,顏士剛.論視覺(jué)傳播視野下的知識(shí)可視化過(guò)程[J].電化教育研究,2016(3):21-25
[6]赫伯特.圖像·聲音·運(yùn)動(dòng):實(shí)用媒體美學(xué)[M].3版.趙淼淼,譯.北京:中國(guó)傳媒大學(xué)出版社,2003:231-232
[7]Hassenzahl M,Tractinsky N.User Experience-a Research Agenda[J].Behavior and Information Techn-ology,2006,25(2):91-97
[8]諾曼.設(shè)計(jì)心理學(xué)3:情感化設(shè)計(jì)[M].何笑梅,歐秋杏,譯.北京:中信出版社,2015:8
[9]尼古拉.數(shù)字化生存[M].胡泳,譯.北京:電子工業(yè)出版社,2017:82-88
[10]卡西爾.人論[M].李琛,譯.上海:上海譯文出版社,2004:37
[11]朱維.葉嘉瑩“興發(fā)感動(dòng)”理論對(duì)王國(guó)維“境界”的體系化及反思[J].重慶師范大學(xué)學(xué)報(bào):哲學(xué)社會(huì)科學(xué)版,2012(6):37-43