副語言意義研究
——系統功能語言學視角*

詹姆斯·馬丁 米歇爾·扎帕維尼婭

(1 澳大利亞悉尼大學語言學系；上海交通大學馬丁適用語言學研究中心；2 澳大利亞新南威爾士大學藝術與媒體學院)

吳啟競 王振華 譯

(上海交通大學外國語學院，上海 200240)

副語言意義研究
——系統功能語言學視角*

詹姆斯·馬丁1米歇爾·扎帕維尼婭2

(1 澳大利亞悉尼大學語言學系；上海交通大學馬丁適用語言學研究中心；2 澳大利亞新南威爾士大學藝術與媒體學院)

吳啟競 王振華 譯

(上海交通大學外國語學院，上海 200240)

提 要系統功能語言學對早期兒童語言發展有獨到的研究。受其啟發，本文建構了副語言的分析框架。本文中區分了非符義行為(具身表征)和意義(符義過程)。在符義過程方面，文章區分了語言與副語言兩種符義過程(副語言指依賴語言、通過音質和諸如面部表情、手勢和身姿在內的身勢語實現的符義過程)。在副語言方面，文章區分了口語中的音韻融合型資源和語義融合型資源。前者與口語的韻律音系共時或共鳴，后者在口語的內容平面上對概念、人際和謀篇三種意義資源起加強作用。文章最后討論了語言、副語言和其他交際模態之間的關系。

關鍵詞副語言 具身表征 符義過程 多模態 系統功能語言學

*感謝本文研究小組成員(Sue Hood, Thu Ngo, Clare Painter和Brad Smith)的付出，全文中的“本文”和“我們”均表明此文為共同著作。感謝吳啟競、王振華的翻譯工作，感謝王品、張先剛、程微、張冉冉、石春煦、李文和趙海燕參與譯文的討論。

一、 意 義 表 征

本文是繼Chris Cleírigh(未發表)以及Zappavigna和Martin (2017)對副語言的后續研究。Chris Cleírigh參考了Matthiessen(2004, 2007, 2009)關于兒童早期語言發展的系統功能語言學研究，探討了新南威爾士州青少年司法調節語篇中的身勢語①，本文第二節將回顧這些研究。第三節和第四節首先區分具身表征(somasis)和符義過程(semiosis)，然后構建副語言系統框架。文中副語言指依賴語言符號，通過音質和身勢語(包括面部表情、身體動作和身體姿勢)體現意義的表達方式。第五節討論語言、副語言和其他交際模態之間的關系。

二、 個 體 發 生 學

Matthiessen (2004, 2007, 2009)在Halliday (1975, 2003)、Painter (1984)和Torr (1991)對兒童語言發展研究的基礎上，探討了語言和其他符號系統的產生過程。這些研究表明，語言源自原始母語系統。該系統中，兒童將聲音、面部表情和身體動作用作符號資源。然而，隨著成人語言的出現，這些資源的使用更加專門化、具體化。音段發音和韻律(包括節奏和語調)歸屬于口頭語言的音韻②；而音色(timber)、語速(tempo)、聲音松緊度(tension)和音量(loudness)依然歸屬于語言表達層，通常被稱為音質。(詳見van Leewuen 1999, 2009)身體動作、身體姿勢和面部表情則發展為身勢語資源。Matthiessen指出，音質和身勢語在語篇展開過程中與語言協同共現：

……語言中一些人際意義的差異是通過不同的音調(音高變化)和與之伴隨的面部表情(包括眉毛運動)體現的；指示性謀篇意義通常伴有指向性動作；和嬰兒說話可以圓唇或撅嘴，這樣不僅聲音變化，而且形象生動；具體研究還表明，通過語言與通過身勢語(如凝視)提及他人，兩者之間具有復雜的關系。(2007: 6-7)

本文沿用Matthiessen (2009: 21-22)的觀點，將音質和身勢語視為副語言。

三、 具 身 表 征

研究副語言的一個挑戰就是如何區分副語言和行為，即區分符義過程和非符義過程。Trevarthen(2005)等個體發生學學者在追溯前語言交際中產生的原始母語時，也面臨相同的挑戰。Halliday和Painter判斷符義過程和非符義過程的標準是：1)動作是否可以解讀為“內容/表達”系統(即意義符號)中的內容或者表達；2)動作可否用于多種不同的場合③(不是在一個互動中的簡單重復)。例如，Halliday(1984/2003: 240)提到，他兒子8個月大時使用的原始母語涉及三種行動符號，分別體現為如下內容/表達組合：“我想要/牢牢抓住”“我不想要/輕輕觸摸”以及“用某物做某事/用力觸摸”。這里符義過程和非符義過程的區別是顯而易見的，也許在“輕輕觸摸”(符義)和“推開某物”(非符義)的對比中體現得更為明顯。采用Peirce的術語④，我們可以說符義過程象征(symbolise)說話者的意圖，而非符義過程則暗示(index)這種意圖。

圖1 早期原始母語(動作系統)(Halliday 1984/2003: 240, Figure 9)

下文中，具身表征(somasis)指非符義行為，符義過程(semiosis)指符號(sign)系統。Halliday(1996: 388, 2005: 67-68)對人類活動的分類有助于劃分具身表征。該分類從復雜程度上分為四級，由簡至繁分別為：物理系統、生物系統、社會系統和符號系統。基于此，本文認為，具身表征包括物理活動、生物行為和社會交流。物理活動指實體之間關系變化的物質行動(如走路、跑步、跳躍、投擲、打破、挖掘、吃飯、喝水)。生物行為分為恢復舒適的行為(如打噴嚏、咳嗽、大笑、整理服飾或發型)和暗示不舒適的行為(如咬指甲、小動作、煩躁、臉紅、哭)。社會交流分為相互感知(如在目光、音高、距離、觸覺和嗅覺等方面)和相互依戀(如懷抱、牽手、擁抱、親吻)。這些分類見圖2。

圖2 行為模型(具身表征)

作為語言學者和符號學者，我們嘗試總結和歸納一系列類似于符義行為的、可被社會符號動物理解的目的性行為，對進一步發展這個模型⑤是有幫助的。正如Halliday和Painter指出的，早期原始母語的符義過程將一些具身表征視為符號的表達層。目前為止，我們所建立的行為模型見圖3。

圖3 具身表征和符義過程

四、 符 義 過 程

Painter等學者(Painter & Martin 2012; Painteretal. 2013)在研究兒童繪本中的模態關系時，建構了言語和圖像融合度的模型。這個模型是基于元功能的，涉及言語和圖像在概念意義上的共現程度、人際意義上的共鳴程度和謀篇意義上的共時程度。該模型中的術語見表1。

言語融合關系圖像概念意義共現概念意義人際意義共鳴人際意義謀篇意義共時謀篇意義

表1 兒童繪本中言語和圖像的融合關系

我們采用以上術語，從語言和副語言融合關系的角度區分兩種類型的副語言，即Cleírigh所指的語言學意義上的身勢語(linguistic body language)和非語言學意義上的身勢語(epilingusitic body language)⑥。前者是與口頭語言的韻律(即節奏和語調)共鳴或共時的副語言，后者是像語言一樣獨立生成意義的副語言。為使表1中的術語更加明晰，本文把與音韻融合的副語言稱為音韻融合型副語言(sonovergent paralanguage)，與語義融合的副語言稱為語義融合型副語言(semovergent paralanguage)，見表2。

Cleírigh(未發表)本文修正后的術語 語言學意義上的身勢語 音韻融合型副語言(音韻上融合) 非語言學意義上的身勢語 語義融合型副語言(語義上融合)

表2 音韻融合型副語言和語義融合型副語言

下文通過Youtube上一段名為Let’s Talk. | Random Chatty Vlog’ (https://youtu be/YRx-zDoPbVw)的視頻來闡釋音韻融合型和語義融合型兩種副語言系統(已獲視頻中人物許可)。“視頻博客”(派生自“博客”⑦)是一段講述或展示個人活動的視頻(如關于“每日生活”的話題，用戶介紹他們在一天之中的精彩片段)。下文是對視頻博客的文字介紹：

準備一杯咖啡和一份小吃，坐下來聊聊吧！今天我將和大家聊聊在停車場被人尾隨、孩子們在夏天跟我要食物、我的頭發、腳、Youtube等等。講這些對我來說小菜一碟！如果你喜歡這個視頻，請給我點贊哦！這樣我就知道你們喜歡看什么內容了。 感謝大家的收看，歡迎訂閱，以防錯過！我會在每周一、周二和周四美國東部時間下午2點準時發布。

本文所采用的多數例子⑧都來自該視頻博客中有關染發劑的片段。(參見附錄1)

1. 音韻融合型副語言

音韻融合型副語言與口頭語言中的韻律呈融合關系(Halliday 1967, 1970; Halliday & Greaves 2008; Smith 2015)。從人際意義上看，音韻融合型副語言與聲調共鳴，身體部分(如眉毛或手臂)的上下移動與調群(聲調系統‘tone’和標記性語音凸顯‘marked salience’)中的音調變化產生共鳴。從謀篇意義看，音韻融合型副語言涉及身體部位⑨(如手和頭)與言語格律的同步節奏，包括身體部位與音步中凸顯音節或調群中的音調音節(tonic syllable)同步，或者身體動作與調群同時展開(即與調位‘TONALITY’、調核‘TONICITY’或節奏‘RHYTHM’同步)。音韻融合型副語言見表3。

言語音韻融合副語言(韻律性的)人際意義:聲調共鳴人際意義:共感謀篇意義:調位、調核、節奏共時謀篇意義:同步

表3 音韻融合型副語言系統

聲調系統通過音高變化實現。在下面的例子中，視頻博客中的人物眉毛上挑，與prev這個音節上的升調(調二)形成共鳴，見例1。

例1

音系//2 bought / previously when I副語言眉毛上下運動圖像

調位系統將口語組織為以調群為單位的信息波，其中某一凸顯音節承載聲調變化。身體動作通常與這個格律單位同時發生。在例2和例3中，視頻中人物從右向左⑩揮動手臂表示過去時間，整個動作過程與調群時長相當。

例2

音系//2 bought / previously when I副語言揮動手臂,指示過去時間圖像

例3

音系//3 loved the / first time副語言揮動手臂,指示過去時間圖像

例4

音系//3 dyed my / hair which I副語言拍手圖像

調核系統通過定位調群中某個具有顯著音高變化的凸顯音節(非標記性最凸顯音節‘unmarked culminative salient syllable’)來體現最突出的信息。在例4中，該視頻中的人物在明顯體現調群音高變化的音節hair上伴以拍手動作。

在英語中，節奏系統通過每個音步第一個凸顯音節的時長體現(以重音為節奏的語言中凸顯音節的時長基本相等)。在例5中，視頻中的人物在/not/, /find the/和/hairdye that I/音步的凸顯音節上伴以節拍，最后一個節拍落在hair這個音調音節上。

例5

音系//4 but/^ I could/ not/ find the/hair dye that I副語言向下的節拍向下的節拍向下的節拍圖像

非音調音節的凸顯音節可以通過多種方式凸顯。下面序列中，第一個調群的音高異常高，與下一調群中的下降音高形成對比(類似于sing/song的效果)。

//3 hopefully / next ↑timeI will (希望下次我能夠)

//1 get my / ↓haircolour / back (把我的頭發染回來)

而且在第二個調群的音高下降之前，視頻中人物的眉毛伴隨/hopefully/的音高上挑。這一動作與音調達成了韻律上的一致，見例6。

例6

音系//3 hopefully / next time I will副語言眉毛上挑圖像

同樣的sing/song效果在該節視頻中一直持續，直到/now//上的上升音高與/do//上的下降音高對比出現為止。此時，該視頻中人物的眉毛又一次上下移動，與音高(此處為音調音節的音高)的對比形成一致。

//3 [handclap] / um /but for / ↑now([拍手]額，但是現在)

//3 this will / ↓do// (只能這樣了)

這些有節奏的、與音韻共鳴的身體動作加強了節奏和調核所體現的態度意義。(參見本節2.2)

副語言與音韻在該視頻的第15個調群中停止融合，在調群16到調群19之間保持非融合狀態，一直到調群20才繼續融合。在融合關系擱置期間，該視頻中人物的左手一直抓撓其右臂，產生了一個具身表征相(somatic phase)。該具身表征相展開如下：

//3 lighter than it / was a few /daysago (顏色比前幾天淡了)

//1 ^ but /yeahit’s (但是，是的，這個顏色染得確實)

//1 such a /bummer and then I (太失敗了，于是我)

//2 went to /Target // (去了Target這家店)

//3 ^ like / two days /later and there / was a (大概是染完兩天后去的，這家店有……)

在調群15的最后一個音步上，視頻中的人物開始抓撓動作，不再與觀眾互動，見例7。

例7

音系//3 lighter than it / was a few/ days ago副語言攤手具身表征抓撓; 無目光交流圖像

接下來的兩個調群中，該視頻中的人物繼續抓撓動作，與觀眾仍無目光交流，如例8和例9。

例8

音系//1 ^ but / yeah its具身表征抓撓; 無目光交流圖像

例9

音系//1 such a / bummer and then I具身表征抓撓; 無目光交流圖像

在調群18的最后一個音步時，該視頻中的人物恢復與觀眾的目光交流，見例10。接下來，她又開始使用身體動作，見例11。

例10

音系//2 went to / Target具身表征抓撓;恢復目光交流圖像

例11

音系//3 ^ like/ two days/ later and there/ was a副語言繼續使用身體動作圖像

有趣的是，盡管視頻中人物的抓撓動作持續了兩個半調群的時間，卻沒有在凸顯音節和音調音節上出現。這說明該視頻中人物沒有同時使用具身表征與節奏、調核和調位系統資源。但是，副語言和音韻在這段視頻中卻是共時的。副語言在調群15的音調音節上(/daysago//)停止使用，直到調群18的音調音節(//Target/)才恢復使用，通過微笑表情體現，在調群19開始又通過手勢語體現。

2. 語義融合型副語言

語義融合型副語言與口語的詞匯語法和語篇語義(口語的內容層面)具有融合關系，本文從語篇語義角度(Martin & Rose 2007)研究語義融合型副語言。概念性副語言是模仿性的(mimetic)，與概念系統和聯結系統共現；人際性副語言是表達性的(expressive)，與協商系統和評價系統共鳴；謀篇性副語言是指示性的(deictic)，與識別系統和格律系統共時。語言與副語言的語義融合關系見表4。

言語語義融合副語言:動性的概念意義:概念系統/聯結系統共現概念意義:模仿性的人際意義:協商系統/評價系統共鳴人際意義:表達性的謀篇意義:識別系統/格律系統共時謀篇意義:指示性的

表4 副語言系統和語篇語義系統的融合

2.1 概念性語義融合型副語言

口語的概念意義涉及實體、事件、性質和時空環境等成分如何構成配列小句(概念系統)，以及這些小句之間如何產生語義聯系(聯結系統)。語義融合型副語言可與語言資源一同構建概念意義。手形傾向于與實體共現，手/手臂動作傾向于與事件共現，動作方向通常與時空方向一致(空間位置是去往/來自某地，時間方向是截至/起始于某時)。由于概念性副語言能夠脫離口語獨立使用，所以它與語言的共現是“潛在性共現”。見本節第三部分對“啞劇”的討論。

下面，我們分析博客視頻中的人物看皮膚科醫生的故事(治療肉芽腫)，來闡釋概念性語義融合型副語言。相關事件的調群序列如下：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個針)

// and under each likebump(在每個腫塊下)

// and injected this likesteroid (注射了類似類固醇的東西)

// and like it allbubbled up // (所有的腫塊都隆起了)

從語言角度看，以上序列提到了四個實體(皮膚科醫生(dermatologist)、針(needle)、腫塊(bump)和類固醇(steroid))。手形副語言與其中兩個實體(針和腫塊)共現，“針”首先被比作拇指和食指拿著的尖細實體，后又通過雙手握著注射器的手形呈現。由此可見，語言和副語言構建的意義相互照應或彼此互補。從意義權重來看(Martin 2010; Painteretal. 2013)，“皮膚科醫生”和“類固醇”這兩個實體通過語言實現，而“針”更形象地通過副語言呈現。

例12

語言needle bump副語言拿著針握著注射器彎曲的手形圖像

從動態角度看，該序列中明確提及的三個事件(“拿起”“注射”和“隆起”)都伴隨副語言資源體現。此外，六次快速刺入動作凸顯了第二個調群中的事件。見例13。

例13

語言// and so the dermatologist um took like this needle 副語言:實體拇指和食指“拿著針”副語言:事件手指捏著針,同時抬手圖像語言// and under each like bump副語言:實體拇指和食指“捏著針”副語言:事件六次刺入動作圖像

在每個例子中，與手形有關的實體均處于動態過程中。比如，該視頻中的人物通過不同手形體現皮膚科醫生拿針、刺穿腫塊、注射類固醇和腫塊隆起等動態過程。

例14

語言// and injected this like steroid 副語言:實體“手握注射器”的手形副語言:事件拇指按壓“注射器”圖像語言// and like it all bubbled up 副語言:實體模仿腫塊的隆起手形副語言:事件雙手分開,右手抬高圖像

和電影、動畫、插圖小說、連環畫、漫畫和繪本中的圖像序列一樣，身體動作序列并不能明示事件之間的聯系，需要通過其本身和與之共現的語言判斷(Bateman 2007)。例13和例14涉及的語言序列僅用到了加和類連結詞and，未明顯呈現出時間先后和因果關系。為此，本文提供了如下解讀版本，以明示事件之間的聯系：

// and so the dermatologist um took like thisneedle (皮膚科專家拿著這個針)

(temporalsequential) (時間序列)

// and under each likebump(在每個腫塊下)

(temporaloverlapping) (時間重疊)

// and injected this likesteroid (注射類似于類固醇的東西)

(causal) (因果關系)

// and like it allbubbled up // (所有的腫塊都隆起了)

上述例子使用的副語言序列結合了手形和動作。其實，手形副語言也可以單獨使用。比如下面的序列中，視頻中人物關注的是她給孩子們的點心數量，沒有把遞碗的動作表現出來，見例15。

// then they had a snack I (他們拿到了小吃，我……)

// gave them each a / bowl (……給了每個人一個碗)

// like a heaping bowl full of Chex Mix and applesauce squeeze//

(就是一個裝滿Chex Mix和蘋果醬的碗)

例15

heaping bowl full副語言:實體體現數量的垂直手形體現碗型的水平手形圖像

動作副語言可不與表現實體的手形副語言一起使用，如例16。該視頻中的人物在//tried washing it out//這個調群上用手做畫圈動作(兩圈)。

例16

語言// tried washing it out and its副語言:事件用手做畫圈動作圖像

例17

語言// hopefully next time I will副語言:事件手/手臂向右運動圖像

動作副語言也可指示時空方向。比如，上文例2和例3中提到的，從右向左地揮動手臂指示過去時間，與調群//boughtpreviouslywhenI//和//lovedthefirsttime//共現；相反，從左至右的揮動指示將來時間。比如，例17中，向右的手臂運動與//hopefullynexttimeIwill//調群共現。同時，指示手勢加強了向右手勢的指示作用。這一點將在本節2.3中討論。

2.2 人際性語義融合型副語言

口語的人際意義涉及態度表達、性質分級和非說話者聲音定位(評價系統)，以及對話中的情感、問候、關注、信息和商品/服務的交換(協商系統)。語義融合型副語言中的面部表情、身體姿勢、肌肉張力、手部/手臂位置和動作(Hood 2011; Ngo 待發表)以及音質等與評價資源形成潛在的共鳴。口語可蘊含不同種類的態度(情感反應、人物判斷和物品鑒賞)，但副語言僅能夠傳遞情感。副語言對人際意義的表達具有局限性(Cleírigh提出的)。這種局限性除了體現在象征性手勢的使用上(在本節第四部分討論)，還體現在語義融合型副語言不能區分對話交換中的語步類型(盡管音韻融合型副語言能夠幫助選擇語步的聲調)。

副語言中的面部表情和身體姿勢可以傳遞態度。例18中，該視頻中的人物用上挑的眉毛和側歪的嘴型細致地表達了對其盛裝出席的街坊聚會的評價(“令人激動的”)。(有些受眾可能認為此表情不能體現“令人激動的”)。

例18

語言// thats kind of exciting副語言:面部表情吃驚圖像

例19

語言// went to / Target副語言:面部表情微笑圖像

Martin & White (2005)提到，說話者可以在言語中明示態度，也可用體現概念意義的語言資源來引發態度。在本節2.1的染發劑例子里，該視頻中人物在介紹染發劑仍有庫存的好消息時，通過笑臉表達了語言中沒有明示的情感，見例19。

面部表情和身體動作可以結合起來表達情感。該視頻中的人物在抱怨停車位問題時同時使用了這兩種副語言資源，相關調群如下。這里我們只關注視頻中人物如何通過面部表情和手臂位置夸大自己的困擾，見例20。對此視頻啞劇效果的討論見本節第三部分。

// some guy was sitting there (有個人坐在那里)

// and there was cars behind him (他后面也有輛車)

// and he was like (他好像……)

// [模仿該人的副語言]

// [再次模仿] like (好像)

// waving me out // (揮手催我離開)

例20

副語言:面部表情夸張圖像

關于級差資源，Hood (2011)提出手形范圍的大小和手部/手臂的動作范圍可以強化語言所表達的極差意義。例21中，該視頻中人物手部/手臂的大幅度動作凸顯了染發劑的庫存量之大(whole stack)。

例21

語言// whole stack of them so I 副語言右臂從左下運動至右上圖像

在關于頭發顏色的片段中，最能體現態度強度的例子是，視頻中人物用整個身體的運動表現對發色之深的反應。她向后甩頭、抬手，同時身體后仰，這些動作都體現了強烈的情感，如例22。

例22

語言// so:: / dark I副語言:手臂、身體圖像

例23

語言// and under each like bump 副語言:手臂、身體稍稍皺眉,加大面部肌肉和手部張力圖像

Hood認為副語言不僅可與語勢(force)資源融合，手形和肌肉張力也可與聚焦(focus)資源產生共鳴。在例23中(對此段視頻的更多分析見本節2.1)，該作者做出緊捏細針的動作，同時稍稍皺眉以表專心，再現了皮膚科醫生刺入腫塊時的動作和表情。

Hao & Hood(待發表)舉了一個生物學講座中的例子，來說明副語言與聚焦資源的融合。講座主講人在用到“非收縮”(fairly non-contractile)時伴以聳肩動作。Hao & Hood認為這是一種離心姿勢(de-centering postures)，體現模糊聚焦(soften)。這樣的聳肩副語言多呈現出一種不平衡的體態，比如不對稱的面部表情、不平衡的身體姿勢或者環繞的手勢。下面第二個調群涉及這類副語言，分析見例24。該例中，視頻中的人物拉長了臉，努力描述自己的皮膚情況，同時還伴有兩次搖頭。

//anyway (反正)

//^ ’it was / some / granuloma /: / /^ /something (好像是肉芽腫之類的東西)

// I don’t know- it’s /called- it’s (我不知道到底是什么)

// some sort of /skinthing (就是某種皮膚問題)

例24

語言//2 ^ it was / some / granuloma /: //^ / something副語言:臉部、頭圖像

關于介入資源，Hood強調了手部位置對于擴展性(expansion)或緊縮性(contraction)借言(heteroglossia)的重要性。其中，手掌向上表示打開對話空間，手掌向下表示壓縮對話空間。例25中，該視頻中人物攤開的雙手與情態詞probably(很可能)共現，打開了對話空間。

例25

語言// probably / seeing how / dark my / hair is well 副語言:手攤開的雙手圖像

例26

語言// but /^ I could / not / find the /hair dye that I副語言:手掌心向下圖像

兩個語步之后，該視頻中人物雙手反轉、手掌向下，強化了語步中表達的消極情感。她明確表示自己駕馭不了這個新發色，從而關閉了與觀眾的對話空間，見例26。

在本節第一部分關于染發劑視頻的分析中，視頻中人物在最后四個調群中用音高的變化結束對染發劑事件的敘述。從評價的角度看，這里涉及的音質與作者對染發劑的無奈是一致的。關于體現人際意義的聽覺類副語言資源，本文不過多介紹，有興趣的讀者可參見van Leeuwen (1999)。

2.3 體現謀篇意義的副語言

口語謀篇意義關注如何呈現和追蹤語言中的實體(識別系統)，以及如何組織調群、小句和更高級階單位中的信息波(格律系統)。語義融合型副語言中的指示手勢、身體位置和動作可以協助語言資源體現謀篇意義。

對指示手勢的謀篇意義，我們仍用本節第一部分和第二部分2.1中對比過去和將來的例子來解釋。視頻中人物在指示過去時間時用到整個手部，而指示未來時間時僅用了兩個食指，如例27和例28。

例27

音系//3 loved the / first time副語言:手整體手部指示過去時間圖像

例28

語言// hopefully next time I will副語言:手兩個食指指示未來時間圖像

對于副語言和長信息波的融合，由于視頻中的人物自始至終都是坐著的，沒有身體的整體位置移動，所以不會對音質產生較大影響(不像講座中來回走動引起的音質變化，參見Hood 2011)。但是，如本節第一部分和第二部分2.2中所示，視頻中人物在結束染發劑片段的講述時的確用到了音高對比。具有上升音高的調群以一個伴隨拍手動作的音步展開，緊接著是一個含有輔助音/um/的音步，見例29。

例29

音系// 3/ um/ but for/ ↑now副語言拍手高音調圖像

該上升音高調群后又跟了一個具有下降音高的調群，此時視頻中的人物情緒逐漸舒緩。隨后，她閉上眼睛，頭稍前傾，沒有使用任何語言和副語言，見例30。

例30

音系//3 this will / ↓do (沉默)副語言低音高無動作具身表征閉眼,低頭圖像

例31

音系// Im a / picky / ↓eater(沉默)副語言低音高無動作具身表征閉眼,低頭圖像

例30和例31中的調群以相似的方式結束(下降音高、閉眼和低頭)。由此可見，用具身表征來替代語言和副語言有助于較長信息波的停頓。在停頓的同時，視頻中的人物開始講述其他內容(因為她又想到了某些要分享的事情)。

3. 意義加強

音韻融合型和語義融合型副語言系統見圖4(含Cleírigh的術語)。圖4的分類盡管簡單，但這五種次類的副語言可彼此結合，來強化某個調群所表達的意義。

圖4 音韻融合型副語言和語義融合型副語言

上文其實已經介紹了多種副語言資源與同一個調群結合的例子(如例17同時使用了指向未來的動作和指示手勢)。更準確地說，語義融合型副語言無論在什么時候使用，都與調位系統、調核系統和節奏系統有關，即語義融合中隱含音韻融合。此外，音韻融合型副語言也可脫離語義融合型副語言單獨使用，通過身體動作與韻律音韻形成共感或同步(僅限于此種情況)。

需要注意的是，以上副語言使用原則并不適用于啞劇。根據本文提出的模型，啞劇是一種不與語言同現的語義融合型副語言，而語義融合型副語言與語言是融合關系，這就造成了術語定義上的矛盾。對于這個問題，我們還用上文提到的關于停車場事件的啞劇片段加以解釋。該事件的相關描述如下：

今年夏天讓我特別討厭的另一件事就是去停車場，真是個繁忙的地方啊。本來上車后可以等一會離開，給亨利測測血糖，或者給孩子們拿個零食。如果是在游泳池的停車場，還可以用手機發個短信或玩點別的。這時你發現有輛車就在你后邊等著你離開，真是太讓人無語了。這種事發生了不止一次。剛剛我在美國購物中心的停車場，上車后本想發個Instagram或臉書網，這時……

緊接著，視頻中的人物講述了在停車場發生的一件小事，見如下調群：

// just got in mycar(剛上車)

// got myphoneand (拿出手機)

// as I wasdoing that (正拿著呢)

// some guy wassitting there and (有個人坐在那里)

// there was cars behindhim and (他后面也有輛車)

// he was like (他好像……)

// [模仿該人的副語言]

// [再次模仿] like (好像)

//waving me out and (揮手催我離開)

// I was so upsetlike (真無語)

// I immediately gotup(我馬上抬起頭)

// put my phonedown(放下手機)

// I immediately drove awaya bit (趕緊向前開了一點)

// I wasn’t eventhinking I (我當時連想都沒想)

//shouldn’t have done that I (本來不用那么做)

// shouldnothave done that (真的不用那么做)

// but it was just like “What!” (但是，“什么！”)

// There’s a guysitting there (有個家伙坐在那兒)

//waving and (向我揮手)

//angry at me be- (還很生氣)

// cause I was sitting in mycar/ (就因為我坐在我自己的車里)

就該語音序列的調位而言，視頻中有兩個模仿挑釁者的啞劇片段本可伴有語音調群。第一個片段模仿的是體現態度意義的副語言，這點在本節2.2中已討論，再現如下：

例32

副語言:面部表情夸張圖像

第二個片段首先模仿的是挑釁者的兩次催促離開的手勢(第二次揮動手勢同時含有表達謀篇意義的指向動作)，是表達概念意義的動態副語言，見例33和例34。

例33

副語言:手臂從肩后到右上運動圖像

例34

副語言:手臂從胸前到右上運動,同時食指指向某處圖像

該片段中的第三次模仿與以上兩次不同。這次模仿中動態手勢和語言是共現的，見例35。

例35

語言// waving me out and 副語言:手臂從臉前到右上運動,同時食指指向某處圖像

這兩個啞劇片段的意義在很大程度上依賴于上下文的語言描述，借此觀眾可以更清楚地了解該視頻中的人物在停車場經常被人尾隨和被催促離開停車位的情況。具體地說，該視頻中的人物通過一個沒有調核的調群//he was like… //引入啞劇相關動作，表現該調群的意義，并在做第三次模仿手勢時用語言明示這段啞劇的意義。

暫且不考慮啞劇(Marcel Marceau稱其為“沉默的藝術”)，本文認為對于脫離語言單獨使用的語義融合型副語言，其意義的理解需要結合上下文語境。語言表達出的、但啞劇動作沒有呈現的意義，可通過上下文獲取。所以說，語義融合型副語言與語言的融合關系是顯而易見的。

4. 象征性手勢

本文還要介紹Kendon(2004)提到的象征性手勢，包括豎起或倒置的拇指(象征“表揚或責備”)、食指貼住嘴唇(象征“保持安靜”)、手掌彎曲貼在耳邊(象征“聽不清”)以及豎中指(象征“去死吧”)等動作。本文視頻中的人物在第一次解釋她發色變深時，豎起食指，表明她正在說明的是第一個原因。

例36

音系// one its/ wet手勢象征“第一個原因”圖像

象征性手勢與上文提到的語義融合型副語言在以下兩個方面有明顯的不同。一方面，象征性手勢的意義是特定的，在沒有上下文時也可以識別出來。這種特定意義使象征性手勢可以用作交換結構中的語步，表示陳述和請求(本部分第一段中提到的象征性手勢)、問候和告別(揮手)、呼喚(召喚的手勢)、同意(點頭)、不同意(搖頭)和挑戰(手掌豎起、手心向外，象征“停”)等等。另一方面，這些手勢的意義更容易識別，因為某個手勢動作出現時人們會首先想到其象征意義。也正因此，象征性手勢通常具有文化特性(例如，盎格魯人豎起手掌表示呼喚，菲律賓人則平攤雙手以示問候)。不管從哪個方面看，象征性手勢都不同于本節第一和第二部分提到的副語言，不像后者那樣被認為是不符合常識的(盡管所有人都能夠正確解讀他人使用的音韻融合型和語義融合型副語言)。象征性手勢類似于聾啞人的手語，是意義的手勢表達形式。類似于文字書寫系統(比如漢字系統)中的文字，不過是通過手勢體現的。

這說明，象征性手勢更應屬于語言系統而非副語言系統。圖5以zero,one,two,three,four和five為例，展示了象征性手勢和其他表達層面系統的關系。在英語中，這些單詞的意義可分別通過音系(如/tuw/)、字系(如“2”)或手勢(如“豎起的食指和中指”)體現。

圖5 表達層面的體現形式(手勢、字系和音系)

本文討論的符義過程系統見圖6。其中，象征性手勢屬于語言的一種表達形式。

圖6 象征性手勢作為手勢符號

五、 交 叉 模 態

本文構建了一個區分行為和意義(具身表征和符義過程)的模型。符義過程又包括語言和副語言系統。根據與語言內容層或表達層的融合關系，副語言又系統化為音韻融合型和語義融合型，前者與韻律音韻共感和同步，體現人際意義和謀篇意義；后者與語義(以及語義在詞匯語法層的體現形式)融合，共同構建概念意義、產生人際意義并形成謀篇意義。

與其他交際模態相比，副語言與語言之間關系特別，因為副語言同韻律音韻是協調一致的。這一點可以由音韻融合型副語言的定義看出。此外，語義融合型副語言也和調位、調核、節奏和聲調這些系統協調一致，如一些身體動作、面部表情、身體姿勢和聲音，與節奏和語調等單位共現。即使是簡單的啞劇片段，也可通過填補調核成分或調群的“缺失”，與韻律音韻形成一致。除了對語言表達形式的時間依賴性，副語言表意不確定的內在屬性使其同樣依賴于語言的內容形式，比如語義融合型副語言表達的意義需借助語言進一步闡釋。副語言的這兩種依賴性也合理地解釋了該術語中“副(para)”這個前綴(意為“旁邊的”)。

在“副語言”這個術語中，前綴“副”依附于詞干“語言”，那么“副語言”在構詞上以“語言”為詞干是否合適呢？Fricke (2013)的研究傾向于將本文中的副語言視為語言的一部分(確切地說，Fricke認為是語法的一部分)。這種觀點被身體動作的相關研究廣泛認可。基于此，本文從系統功能語言學的角度重新闡釋了圖6的分類(見表5)，將副語言歸為語言的一種表達形式。在這個模型中，面對面語言交流的內容可通過音系(口語)或符號(包括手語和象征性手勢)配合音韻融合型和語義融合型副語言來體現。對有些語言來說，書面交流通過字系系統體現。這種重新闡釋對于命名本文中提到的音質和動作等副語言資源提出了挑戰，我們將另文討論。

內容層面表達層面語篇語義詞匯語法音系符號副語言字系

表5 作為表達層面的副語言

這種闡釋也使語言和副語言之間的關系成為交叉模態研究中的一個有趣的話題，有助于闡明Martin(2011)提到的理論和描寫方面的難題。

本文對語言和副語言間依賴關系的研究參考了Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013) , Zappavigna & Martin (2017)以及Hao & Hood (待發表)。在系統功能語言學中，與這些文獻最相關的是Painteretal.(2013)對模態關系(兒童繪本中語言和圖片關系)的研究。此外，交叉模態的研究也可參考Batemanetal. (2017)。

作者簡介

*James R. Martin，博士、教授，澳大利亞悉尼大學語言學系前任系主任，國際著名系統功能語言學家，系統功能語言學的主要繼承人和發展者，“悉尼學派”領軍人物，語言評價理論創始人，積極話語分析理論創始人，語類理論主要發展者。1998年當選為澳大利亞人文科學院院士，2003年因其對語言學及語文學的杰出貢獻被澳大利亞聯邦政府授予“世紀勛章”。Martin教授的主要研究領域包括系統理論、功能語法、語篇語義學、語域、語類、多模態理論及批評話語分析，主要研究語種為英語和他加祿語。此外，Martin教授還從事教育語言學、司法語言學及社會語符學、多模態等交叉學科的研究，著述等身，主要論文收集在王振華主編的八卷本《馬丁文集》(上海交通大學出版社)。

Michele Zappavigna，博士，澳大利亞新南威爾士大學高級講師。主要研究興趣是社交媒體，相關著作有Bloomsbury出版社2012年出版的《推特與社交媒體》(DiscourseofTwitterandSocialMedia(Bloomsbury, 2012)), Routledge出版社2014年出版的《社交媒體語言研究》(與Ruth Page, Johann Unger and David Barton合著)(ResearchingtheLanguageofSocialMedia(Routledge, 2014))和Bloomsbury出版社2018年出版的《可搜索交談：帖子標題與社交媒體語篇》(SearchableTalk:HashtagsandSocialMediaMetadiscourse(Bloomsbury, 2018))。

注釋

① 相關文章題為“Gesturalandposturalsemiosis:asystemic-functionallinguisticapproachto’bodylanguage’”。此文為Zappavignaetal. (2010), Hood (2011), Martin (2011), Martinetal. (2013)以及Zappvigna & Martin (2017)奠定了研究基礎。

② 這種歸類正如手勢和面部表情發展為聾啞人手語的表達層面(參見Johnston 2013, 待發表)一樣。此類資源目前被視為副語言，與手語一同使用。

③ Halliday和Painter認為“多種”至少是4種以上。

④ 對皮爾斯符號模型的介紹參見https://plato.stanford.edu/entries/peirce-semiotics/。

⑤ 對該模型的介紹詳見Martinec (1998, 2000a, 2000b, 2001, 2004)。這些研究以系統功能語言學理論為基礎，將具身表征視為符義過程。

⑥ Cleírigh提出的原型語言學身勢語(protolinguistic body language)在本文中被歸為具身表征和人際性語義融合型副語言，這種術語的變化使相關身勢語可與語言一同產生意義(原始母語是最早的符義資源，按其定義，不與語言一同使用)。此外，這種重新劃分將評價系統與副語言系統結合起來，擴展了副語言資源，也完善了Cleírigh的研究。

⑦ “博客”(網絡日記的簡版)是由博文組成的網頁，內容根據由近及遠的發文時間排列。個體用戶通常用博客記載日常往事，企業和組織有可能將博客內容導入其在線資料中。

⑧ 感謝Brad Smith博士對本文例子語料分析的大力幫助。

⑨ 長于一個調群的信息波會伴隨整個身體的運動。

AppendixA:Thehairdyenarrative(附錄1：關于染發劑的敘述)

1:26-2:01

調群1 //5ohand you’re

調群2 //1 probably / seeing how / dark my /hairis well

調群3 //3 one it’s /wet

調群4 //4 but /^ I could / not / find the /hairdye that I

調群5 //2 bought /previously when I

調群6 //3 dyed my /hairwhich I

調群7 //3lovedI

調群8 //3 loved the/firsttime

調群9 //3 ^ so I / ended up having to / do like a / different /^ /shadethat I

調群10 //3 didn’t / use /previously and it’s

調群11 //1 so:: /darkI

調群12 //1hateit I

調群13 //3 hate the the /colour of it so I’ve

調群14 //1 tried washing it /outand it’s

調群15 //3 lighter than it / was a few /daysago

調群16 //1 ^ but /yeahit’s

調群17 //1 such a /bummer and then I

調群18 //2 went to /Target //

調群19 //3 ^ like / two days /later and there / was a

調群20 //1 whole:: / stack of them so I

調群21 //1 bought /threeof them so

調群22 //3 hopefully / nexttimeI will

調群23 //1 get my /haircolour / back

調群24 //3 [handclap] / um /but for /now

調群25 //3 this will /do//

(//:調群分界線；/:音步分界線；調型1-5：音調選擇；黑體：音調音節； ^：空拍)

AppendixB:Thevisittothedermatologistanecdote(附錄2：看皮膚科專家軼事)

I was going to vlog the day I went to the dermatologist because I have these like marks on my feet. I’ll show you. Let’s see if I can show you from here. [lifting up leg] Ooh. I don’t know if you can see that. I have that mark and then there’s another one and then another one and then on my other feet and it was all like bumpy and stuff. And it was spreading and it tripled quadrupled in size in a year. It actually was there for two years. Anyway, it was some granuloma something I don’t know- it’s called- it’s some sort of skin thing. And so the dermatologist took like this needle and under each like bump and injected this like steroid and it all bubbled up. It was really gross and it hurt so bad but I didn’t film it because there’s like feet people out there that like are obsessed with feet and I didn’t want to- you know. I didn’t want those people attracted to my videos so Andy said not to film it but it was really itchy. And the bumps are supposed to go away and it shouldn’t spread anymore but the discoloration might stay there for a really really long time so. Yeah. But that was good to get checked out.

AppendixC:Theparkinglotnarrative(附錄3:關于停車場的敘事)

Oh another thing that has been really annoying this summer is you know when you go to a parking lot and it’s a busy place. You get in your car and you don’t necessarily want to leave immediately. Like you might want to- I might want to have Henry test his blood sugar, give the kids snacks. Or if we were at the pool, like change or look at my phone or send a text message or whatever. It drives me crazy when a car is like sitting there following you and then they just wait for you to leave. I cannot stand that. And that has happened so many times. And I was just at the mall of America and I got back to my car and I went into-. And I met up with a Kimmy from the Dodge family and I went to- I wanted to like Instagram a picture of us and FaceBook whatever. And as I was doing that I- I had just got in my car, got my phone and as I was doing that some guy was sitting there and there was cars behind him and he was like [mimics man’s gesture] like waving me out. And I was so upset. Like I immediately got up, put my phone down. I immediately drove away but- I wasn’t even thinking I shouldn’t have done that. I should not have done that. But it was just like “what!” There’s a guy sitting there waving and angry at me because I was sitting in my car. It’s like I am sitting in my car. I shouldn’t have to leave. Mad at myself that I did that but from now on I am not moving. I don’t care if they follow me around the whole parking lot get to my car. I am not moving.