基于新HSK詞匯大綱的詞匯等級類推分析

張引兵，宋繼華，彭煒明，郭冬冬，張 金

(1. 北京師范大學(xué) 信息科學(xué)與技術(shù)學(xué)院，北京 100875；2. 淮北師范大學(xué) 數(shù)學(xué)科學(xué)學(xué)院，安徽 淮北 235000)

0 引言

HSK是一項國際漢語能力標(biāo)準(zhǔn)化考試。目前，HSK已成為留學(xué)中國的通行證、申請來華留學(xué)獎學(xué)金的必備條件和學(xué)校教學(xué)評估的重要手段，并被越來越多國家的政府部門和跨國企業(yè)作為員工招聘、提薪和晉升的重要依據(jù)。為使?jié)h語水平考試(HSK)更好地服務(wù)于漢語學(xué)習(xí)者，國家漢辦組織中外漢語教學(xué)、語言學(xué)、心理學(xué)和教育測量學(xué)等領(lǐng)域的專家，在充分調(diào)查、了解海外漢語教學(xué)實際情況的基礎(chǔ)上，吸收原有HSK 的優(yōu)點，借鑒近年來國際語言測試研究最新成果，推出新漢語水平考試(HSK)[1]。

新HSK詞匯大綱由于收詞規(guī)模的限制，對于許多類型的詞匯只是象征性的收詞，從而導(dǎo)致本應(yīng)收入大綱的詞匯沒有收入進(jìn)來。例如，大綱只收了“星期、星期一、星期日”，而沒有收錄“星期二”至“星期六”等詞語；收錄了“月、正月、八月”，而沒有收錄其他月份詞語；收錄了“春、夏、秋、冬”，而沒有收錄“春天、夏天、秋天、冬天”。類似地，像“這個、很多、這么、人們、每天、這些、那兒、一天、那個、每個、上學(xué)、老人、大熊貓、打開、外國、男人、春節(jié)……”這些常用詞語都沒有收錄。但如果把這些詞都算作超綱詞，顯然是不合理的。這些詞匯對應(yīng)的大綱等級信息缺失，將給教材編寫、水平測評等一系列應(yīng)用問題帶來巨大的障礙。

本文旨在探索詞匯等級的類推機(jī)制，力爭實現(xiàn)類推過程中隱性知識的顯性化及分散知識的系統(tǒng)化，使得詞匯等級類推的每一個環(huán)節(jié)都有章可循，有據(jù)可依，從而更好地發(fā)揮新HSK詞匯大綱在漢語詞匯定級、文本難度分級中的指導(dǎo)作用，夯實其在本領(lǐng)域的基礎(chǔ)資源地位。同時，也可為其他領(lǐng)域教學(xué)詞匯大綱的制定提供一定的借鑒。

1 資源基礎(chǔ)

1.1 詞匯大綱資源

1.1.1 新HSK詞匯大綱

新HSK詞匯大綱采用2015年9月人民教育出版社出版的《HSK考試大綱》最新版本[1]。大綱收錄了國際漢語教學(xué)中常用的基礎(chǔ)詞匯，并對這些詞匯按照一至六級進(jìn)行了等級劃分。另外，在每一級詞表之后舉例式地給出了若干個類推詞匯，共計650個。

1.1.2 《通用大綱》

《國際漢語教學(xué)通用課程大綱》[2](以下簡稱《通用大綱》)中，漢字部分分為六級，共計2 500個漢字；詞匯部分基本沿用《HSK考試大綱》。

1.1.3 《音節(jié)大綱》詞匯

《漢語國際教育用音節(jié)漢字詞匯等級劃分》[3](以下簡稱《音節(jié)大綱》)，是面向全球漢語國際教育的國家標(biāo)準(zhǔn)，是一種標(biāo)準(zhǔn)化、系統(tǒng)化、規(guī)范化的等級水平劃分?！兑艄?jié)大綱》詞匯三個等級共收詞11 092個。

1.2 漢語詞典資源

1.2.1 現(xiàn)代漢語詞典

《現(xiàn)代漢語詞典》(以下簡稱《現(xiàn)漢》)[4]是我國第一部規(guī)范性的語文詞典，以規(guī)范性、科學(xué)性和實用性為主要特點，在漢語語言教學(xué)理論研究界具有較強的權(quán)威性。作為一部全面收錄現(xiàn)代漢語中基本詞、常用詞等的綜合性詞典，在漢語普及、推廣普通話、漢語規(guī)范等方面發(fā)揮著重要作用[5]。

1.2.2 現(xiàn)代漢語語法信息詞典

《現(xiàn)代漢語語法信息詞典》(以下簡稱《GKB》)[6-7]是為計算機(jī)實現(xiàn)漢語句子的自動分析與生成而由北京大學(xué)研制的一部面向中文信息處理領(lǐng)域的電子詞典。其收詞從包括《現(xiàn)代漢語詞典》《現(xiàn)代漢語頻率詞典》《信息處理用現(xiàn)代漢語五千詞表》在內(nèi)的多部詞典中選出，經(jīng)過時間和實踐檢驗證明能夠有效服務(wù)于中文信息處理領(lǐng)域，適合作為中文信息處理用基本單位[6-7]。

1.3 詞法標(biāo)注資源

1.3.1 現(xiàn)代漢語構(gòu)詞結(jié)構(gòu)模式

對于漢語的構(gòu)詞，研究者們很早就注意到詞匯的構(gòu)詞結(jié)構(gòu)與句法結(jié)構(gòu)具有相似性。趙元任[8]認(rèn)為在詞語的構(gòu)詞成分之間存在著類似于句子之間的關(guān)系。根據(jù)詞語內(nèi)語素與語素之間的關(guān)系，朱德熙[9]也有過類似的論述。苑春法等[10]指出，復(fù)合詞的基本結(jié)構(gòu)基本上和詞組、短語、句子的結(jié)構(gòu)一樣，也存在著主謂、偏正、聯(lián)合、述賓、述補等結(jié)構(gòu)。基于構(gòu)詞結(jié)構(gòu)的這種思想，郭冬冬等[11-12]設(shè)計了一套描述構(gòu)詞結(jié)構(gòu)的符號集，用來描述詞素之間的組合關(guān)系，如表1所示，在此基礎(chǔ)上構(gòu)建了包含672條詞匯構(gòu)詞結(jié)構(gòu)模式的現(xiàn)代漢語構(gòu)詞模式知識庫，如表2所示。

表 1 現(xiàn)代漢語構(gòu)詞結(jié)構(gòu)關(guān)系符號集

1.3.2 現(xiàn)代漢語語義合成方式

為了研究在構(gòu)詞時詞義發(fā)生變化的情況，苑春法等[10]將其分為三種情形，其一，詞語的義項是其語素意義的組合；其二，詞語的義項已經(jīng)轉(zhuǎn)化，不再是其語素意義的組合；其三，介于前兩者之間的情形，即詞語的義項和其構(gòu)詞語素有關(guān)系但又不完全是其構(gòu)詞語素意義的組合。詞義的生成可以分成兩個階段，第一個階段可以表示成“語素義+語素義→詞義”的過程，第二個階段可以表示成“詞義的本義→詞義的引申義”。吉志薇等[13]將二字詞詞素義和詞義之間的關(guān)系(意指方式)分為： 慣指、加指、失指、另指、仿指、專指。

表 2 構(gòu)詞結(jié)構(gòu)模式知識庫

本文在前人研究基礎(chǔ)上，將詞義合成方式概括為慣指、失指、泛指、特指、喻指、代指、模糊等7種類型，如表3所示，并采用郭冬冬等的構(gòu)詞結(jié)構(gòu)模式符號體系，設(shè)計了如圖1所示的詞匯標(biāo)注系統(tǒng)，即標(biāo)注： 詞語的內(nèi)部結(jié)構(gòu)、詞素義項以及詞義合成方式。以《現(xiàn)漢》收錄的多音節(jié)詞為范圍，總計標(biāo)注了 69 642個詞項的詞法信息。

表 3 詞義合成方式知識庫

圖1 《現(xiàn)漢》詞匯標(biāo)注系統(tǒng)

2 基于規(guī)則的新HSK詞匯等級類推

索緒爾[14]把凡是不屬于語音性質(zhì)的詞的外形變化，都看作是類推引起的，而類推必須有一個模型及對此模型的有規(guī)則的模仿。類推形式就是以一個或幾個其他形式為模型，按照一定規(guī)則構(gòu)成的形式。

在漢語領(lǐng)域，姜同絢[15]指出，類推變化在漢語詞語中表現(xiàn)得非常充分，不僅表現(xiàn)在詞語的構(gòu)成、語音的演變上，還表現(xiàn)在詞義發(fā)展上。類推作用于構(gòu)詞，一方面跟語義有關(guān)，另一方面與人們總是善于由已知知識去推知和掌握未知知識的認(rèn)知規(guī)律相一致。類推機(jī)制在新詞語結(jié)構(gòu)生成中的作用主要可以從音節(jié)的增減、附加法構(gòu)詞能力、詞族現(xiàn)象和外來詞語的借用及類推影響等方面分析考慮。

本研究將《現(xiàn)漢》收錄詞語刪除非Unicode編碼詞語后，共得詞形65 831個；與GKB收錄詞形取并集，共得92 091個，作為詞匯等級類推的候選集。另外，由于單音節(jié)詞匯等級的類推相對更不穩(wěn)定，故直接將《通用大綱》收錄而新HSK大綱沒有收錄的1 579個單音節(jié)詞匯及其等級納入進(jìn)來。

2.1 基于減字類推規(guī)則的詞匯等級類推

所謂的減字類推規(guī)則，指的是一個多音節(jié)詞語通過減去部分音節(jié)的方法而得到新的詞語，并且新得到詞語的等級由原多音節(jié)詞語的等級確定。即： 由一個詞語減字默認(rèn)詞的等級與原詞的等級相同。例如，

電子郵件 3=>郵件 3；日用品 5=>用品 5；知足常樂 6=>知足 6；等等。

如果對于同一個詞語的等級，可由多個不同的多音節(jié)詞語通過減字默認(rèn)的方式得到，并且所得出的等級不同，則取最低的類推等級。例如： “服務(wù)員 2=>服務(wù) 2；服務(wù)區(qū) 4=>服務(wù) 4”，則“服務(wù)”的減字默認(rèn)級別為“2”。

總的來說，減字默認(rèn)類推規(guī)則可概括為，“類推等級同原詞匯等級”、“就低不就高”。

類推算法流程如圖2所示。通過減字類推共得到207個雙音節(jié)詞匯及其等級，如表4所示。

圖2 減字類推算法流程

類推模式數(shù)目示 例ABC=>AB55出租車 1=>出租 1辦公室 3=>辦公 3志愿者 5=>志愿 5ABC=>BC40打電話 1=>電話 1打籃球 2=>籃球 2傷腦筋 6=>腦筋 6ABC=>AC18怎么樣 1=>怎樣 1打籃球 2=>打球 2青少年 5=>青年 5ABCD=>AB47公共汽車 2=>公共 2高速公路 4=>高速4飛禽走獸 6=>飛禽 6ABCD=>BC6吞吞吐吐 6=>吞吐 6二氧化碳 6=>氧化 6總而言之 6=>而言 6ABCD=>CD41電子郵箱 3=>郵箱 3名勝古跡 5=>古跡 5懸崖峭壁 6=>峭壁 6

2.2 基于組合默認(rèn)規(guī)則的詞匯等級類推

組合默認(rèn)詞指的是由兩個或多個詞匯通過整體或部分組合的方式得到的詞。例如,

運動 2，會議 3=>運動會 3

茶 1， 葉子 4=>茶葉 4

如果對于同一個詞語，其等級可由多組不同的詞匯通過組合默認(rèn)的方式而得到，并且所得出的該詞語的等級不同，則按最低的等級進(jìn)行詞匯等級的類推。例如，

學(xué)習(xí) 1，出租車 1 => 學(xué)車 1；

學(xué)習(xí) 1，卡車 4 => 學(xué)車 4；

學(xué)習(xí) 1，剎車 6 => 學(xué)車 6。

……

則通過組合默認(rèn)的方式所得的“學(xué)車”的級別由類推過程中所得的最低級別所確定，故最終通過組合默認(rèn)的方式所得到的“學(xué)車”的級別就為“1”。總的來說，組合默認(rèn)類推規(guī)則就是類推詞匯等級遵循“單次類推就高不就低” “全局就低不就高”原則。

組合類推算法流程如圖3所示。

圖3 組合類推算法流程

在新HSK大綱已有的詞匯等級的基礎(chǔ)上，按照組合默認(rèn)規(guī)則，結(jié)合對新HSK已有類推詞匯的分析以及詞匯的組合方式，給出基于組合默認(rèn)詞的詞匯類推模式，具體如表5所示。

表5 組合默認(rèn)詞匯類推模式

類推過程中，要求類推前的基礎(chǔ)詞匯必須為HSK大綱詞匯，所得類推詞匯為類推候選集內(nèi)的詞匯，并且排除HSK大綱所規(guī)定的已有詞匯。

2.2.1 雙音節(jié)詞匯等級的類推與篩選

通過對表3中組合類推生成雙音節(jié)詞匯的16種模式的分析，結(jié)合對組合類推條件的限制，可以通過多音節(jié)詞匯對單音節(jié)詞匯的析取，后15種生成模式所生成的雙音節(jié)詞匯都是第一種生成模式所生成模式的子集。通過實驗，共得到基于組合類推生成雙音節(jié)詞的第一種模式的詞語40 034個，其在各等級的分布如表6所示。

表6 A B=>AB式組合默認(rèn)詞匯類推

結(jié)合所構(gòu)建構(gòu)詞結(jié)構(gòu)模式知識庫以及對類推詞匯結(jié)果的統(tǒng)計分析發(fā)現(xiàn)，詞語內(nèi)部結(jié)構(gòu)會影響詞匯的整體難度等級，當(dāng)結(jié)合方式為簡單的修飾關(guān)系或者為詞綴結(jié)構(gòu)時，這種結(jié)合方式對詞匯難度等級影響較小，則在這種情況下可以直接由詞匯內(nèi)部成分的等級通過組合默認(rèn)類推的方式得到合成的詞匯及其難度等級。對于由單音節(jié)語素通過組合默認(rèn)類推的模式得到雙音節(jié)詞匯的情形，滿足nn、an、vn、n…n、a…a、n-u、a-u、v-u等幾種構(gòu)詞結(jié)構(gòu)模式時，類推相對合理，則可以用來輔助對所得類推詞匯等級的篩選。

該環(huán)節(jié)得到了包含特定結(jié)構(gòu)模式的18 715個雙音節(jié)詞匯等級類推等級的類推集，詳細(xì)分布如表7 所示。

表7 基于構(gòu)詞結(jié)構(gòu)模式匹配的雙音節(jié)詞匯等級篩選

2.2.2 三、四音節(jié)詞匯等級的類推與篩選

針對表5中組合類推生成三、四音節(jié)詞匯的8種組合默認(rèn)類推模式，共類推得到7 531個三音節(jié)詞、719個四音節(jié)詞，各模式類推所產(chǎn)生的詞匯等級的詳細(xì)信息如表8所示。

表8 三、四音節(jié)組合默認(rèn)詞匯類推

表9 基于構(gòu)詞結(jié)構(gòu)模式匹配的三音節(jié)詞匯等級篩選

通過對類推所得四音節(jié)詞匯的統(tǒng)計分析，發(fā)現(xiàn)四音節(jié)詞匯的構(gòu)詞方式大多為n2n2、a2n2、v2n2、n2v2、a2…a2、a2v2、a2→v2、n2‖a2、v2|n2、v2…v2、v2v2、n2‖v2等結(jié)構(gòu)模式，詳細(xì)信息如表10所示。同時還發(fā)現(xiàn)，當(dāng)由兩個雙音節(jié)詞匯通過組合默認(rèn)類推得到的四音節(jié)詞匯滿足這些結(jié)構(gòu)模式時，所得到的四音節(jié)詞匯等級基本都是合理的，則在這種情況下可以直接由詞匯內(nèi)部成分的等級通過組合默認(rèn)類推的方式得到合成的詞匯及其難度等級，且所得到的719個四音節(jié)類推詞匯等級均可收入類推集。

表10 基于構(gòu)詞結(jié)構(gòu)模式匹配的四音節(jié)詞匯等級篩選

2.3 基于詞義合成方式知識庫的詞匯等級篩選

類推是否合理不僅與構(gòu)詞結(jié)構(gòu)方式有關(guān)，還與類推詞匯的意指方式有著密切的聯(lián)系。例如，

天 1，書 1=>天書 1； 冷 1，門 2=>冷門 2；

白 2，臉 3=>白臉 3；發(fā) 3，毛 4=>發(fā)毛 4；

白 2，領(lǐng) 5=>白領(lǐng) 5； 煎 6，熬 6=>煎熬 6。

上述這些例子中類推得到的詞匯大多發(fā)生了轉(zhuǎn)義，無法很好地根據(jù)類推前詞匯的等級來類推這些詞匯的等級。

在前面幾節(jié)中通過類推得到了25 229個詞語及其等級。利用所構(gòu)建的詞義合成方式知識庫對該部分進(jìn)行篩選過濾，過濾掉詞義合成方式為慣指部分以外的1 467個詞語，最終剩余23 762個詞語及其類推等級，將此詞匯集合稱為“HSK類推擴(kuò)充集”。被過濾掉的非慣指詞匯分布詳見表11。

表11 非慣指詞匯分布

3 實驗結(jié)果數(shù)據(jù)分析

3.1 八套國家漢辦主干教材詞匯覆蓋對比分析

本文采用國家漢辦8套主干教材課文文本作為實驗對象，分別以新HSK詞匯大綱和類推詞匯集對八套教材進(jìn)行詞匯覆蓋情況的統(tǒng)計。8套教材為： 《新實用漢語》《快樂漢語》《長城漢語》《跟我學(xué)漢語》《漢語教學(xué)直通車》《當(dāng)代中文》《漢語樂園》《中文聽說讀寫》。

從人工標(biāo)注好的8套教材語料[16-18]統(tǒng)計得到詞形6 191個、詞次111 929個，去除其中的人名、地名、機(jī)構(gòu)名、數(shù)字等非通用詞匯之后，剩余詞形5 888個詞、詞次108 532個。類推前后詞匯集對教材語料的覆蓋情況對比如表12所示。

通過文獻(xiàn)[19-20]的研究可以看出，在對外漢語中高級教材中普遍存在超綱詞過多的問題，平均約59%的生詞是超綱詞，這與本文中基于新HSK大綱詞匯所得出的國家漢辦8套主干教材的詞形超綱率51%基本吻合。無論是從詞形超綱率還是詞次超綱率來看，類推擴(kuò)充后的新HSK大綱詞匯更符合教材難度的實際情況。

表12 八套主干教材詞匯超綱詞分布

3.2 基于相對熵的對比分析

類推后的詞匯集大大擴(kuò)充了帶等級信息的詞匯數(shù)量，這對于詞匯大綱應(yīng)用于文本難度的評級問題是否有益還需經(jīng)過真實文本的實驗驗證。本文還是以8套主干教材為實驗語料，測算不同難度級別文本在類推前后其詞匯等級分布的差異。

首先采用交叉標(biāo)注的方式對教材進(jìn)行難度等級標(biāo)注，分為1～6級，詳見表13。

表13 各級語料分布

詞匯等級分布的差異采用相對熵衡量。相對熵又被稱為KL距離或KL散度，是兩個概率分布間差異的非對稱性度量[21]。設(shè)P(x)、Q(x)是隨機(jī)變量X上的兩個概率分布，則在離散隨機(jī)變量的情形下，相對熵的定義[22]如式(1)所示。

由于KL(P||Q)≠KL(Q||P)，所以相對熵并不滿足物理上“距離”的對稱性。為了使其滿足對稱性，定義相對熵的對稱形式為式(2)。

因此，對于兩個不同級別的語料詞匯等級的概率分布，其對稱形式的相對熵具體可以表示為式(3)。

其中，參數(shù)p、q的下標(biāo)i的取值范圍是從1到7，對應(yīng)于詞匯的1級到6級以及超綱詞。pi、qi表示兩個不同級別的語料中第i級詞匯的概率，對數(shù)log的底數(shù)取常數(shù)“e”。

新HSK大綱和類推擴(kuò)充后的詞匯等級分布分別如表14、表15所示。

表14 基于新HSK大綱統(tǒng)計的語料詞匯等級分布

表15 基于HSK類推擴(kuò)充集的語料詞匯等級分布

統(tǒng)計所得基于新HSK大綱詞匯及其HSK類推擴(kuò)充集的詞匯等級概率分布詳細(xì)信息分別如表16、表17所示。

表16 基于新HSK大綱統(tǒng)計的詞匯等級概率分布

續(xù)表

表17 基于新HSK大綱類推統(tǒng)計的詞匯概率等級

基于新HSK大綱詞匯及其類推擴(kuò)充后的詞匯等級分布計算所得出的各級語料相鄰級別之間KL距離的詳細(xì)信息如表18所示。

表18 相鄰等級語料詞匯分布相對熵

從計算所得到的相鄰級別之間相對熵來看，對于初、中難度級別的文本類推前后的區(qū)分度比較接近，說明HSK類推集的詞匯等級基本符合原大綱的難度定級標(biāo)準(zhǔn)。而對于較高難度級別的文本，原大綱由于收詞過少，直接用其作標(biāo)準(zhǔn)進(jìn)行文本難度級別判斷，明顯存在區(qū)分度偏低的問題；而基于HSK類推擴(kuò)充集統(tǒng)計高難度語料的詞匯等級分布，不同級別之間相對熵有明顯的提升，這說明類推工作對于原大綱的補足作用是明顯的。

4 結(jié)語

本文利用知識工程的方法，迭代使用減字默認(rèn)、組合默認(rèn)等詞匯等級類推規(guī)則，力爭實現(xiàn)類推過程中隱性知識的顯性化、分散知識的系統(tǒng)化，使得詞匯等級類推的每一個環(huán)節(jié)都有章可循，有據(jù)可依，完成了基于新HSK大綱詞匯等級的系統(tǒng)類推工作，并結(jié)合所構(gòu)建的漢語詞法知識庫對類推結(jié)果進(jìn)行了篩選。最后，通過對類推結(jié)果的統(tǒng)計分析，表明本文的研究工作可以更好地發(fā)揮新HSK詞匯大綱在漢語詞匯定級、文本難度分級中的指導(dǎo)作用，也可為其他領(lǐng)域教學(xué)詞匯大綱的制定提供一定的借鑒。