基于偏向相似性的自然語言關聯和聚類研究

陳振寧，陳振宇

(1.浙江大學 人文學院 浙江 杭州，310058；2.復旦大學 中國語言文學系 上海，200433)

基于偏向相似性的自然語言關聯和聚類研究

陳振寧1，陳振宇2

(1.浙江大學 人文學院 浙江 杭州，310058；2.復旦大學 中國語言文學系 上海，200433)

聚類按關聯進行分類，關聯和聚類分析的基礎是相似性計算。通常相似性是指絕對相似性，具有對稱性。但自然語言研究中發現大部分規律都是偏向的，具有不對稱性，需要用偏向的思路來考察不對稱的關聯和聚類策略:以類似條件概率的概率蘊涵指標來描寫特征間的不對稱關聯，并在此基礎上定義優勢關系、緊密關系、控制中心、中途島等關聯特性；基于偏向相似性的聚類策略，從而能更好地處理語言本體研究中的“假性孤立點”、數據稀疏問題和家族象似性類型的聚類。

不對稱性，條件概率，關聯，聚類

1 引言

聚類分析是在無監督情況下將對象按一組特征進行分類的統計方法:按研究問題要求確定特征和對象“相似性”或“距離”的計算方法，并根據計算得到的距離或相似性，按一定策略聚類[1-3]。

針對自然語言系統的聚類研究，目前為止主要的應用領域是對自然語篇的聚類，聚類后的類型主要和語篇的題材、話題、語體、風格有關[2]。從語言學的角度來看，就是對語篇級別的“語用、修辭”領域的研究。而在句法語義這些語言本體研究的“重鎮”，相關研究還非常有限。

在語言本體尤其是句法語義研究中，研究者常常遇到這樣一個問題:研究的特征和對象表現出很強的“偏向”，偏向的規律也往往是語言本體研究的重點。但是現有相似性和距離計算有一個基本的前提條件:相似性和距離都是絕對的，互成反比,如式(1)所示。

(1)

其中k為根據實際問題確認的系數,cij為任意i，j間的相似性，dij為任意i、j間的距離[1]，且:

A.dij=dji；

B.cij=cji；

因此，本文將針對句法語義研究的實際需要，設計偏向的相似性指標，挖掘特征間的偏向性規律，并用偏向的策略進行聚類。

2 偏向相似性/概率蘊涵、偏向聚類策略

2.1 偏向相似性和概率蘊涵

語言類型學研究中,基本語序和性詞綴語序的共性就是一種“偏向”的規則[4],

共性:如果性標記采取前綴，那么基本語序就是VO；且如果基本語序為OV，那么性標記采取后綴。

也就是說,前綴性標記對VO語序的選擇或者主要語序OV對后綴性標記的選擇都是偏向的，反之不然。這一共性描寫基于如下調查表(表1)[5]。

表1 基本語序和性標記語序的共現頻次表

某些特征能在越多的語言樣本中共現，說明人們的心理上越容易認識到它們是“相似的”，那么我們可以簡單地把特征兩兩直接共現的頻次視作絕對相似性，那么這一調查可以繪制成語圖1。

圖1 基本語序和性標記圖

從對稱的絕對距離/相似性來看，如果用均值(20+30+50)/4=25作為聚類的闕值，就分為兩類:{VO，OV，性后綴}，{性前綴}，性前綴是“孤立點”。

在這種對稱的絕對距離/相似中隱含了不對稱的“相對遠近/距離/相似”:

VO:相對“性后綴”最近，“性前綴”較遠，“OV”完全無關；

OV:相對“性后綴”最近，和其他無關；

性前綴:相對“VO”最近，和其他無關；

性后綴:相對“OV”最近，“VO”較遠，“性前綴”無關。

這種“相對遠近/距離/相似”是一致不對稱的偏向相似。我們可設置偏向相似性指標P來量化它，如式(2)所示。

(2)

其中，n為i連接的所有點的總數。可以看出，這一指標在本質上和條件概率是等價的:i確立的條件下，i和j共現的概率。條件概率本身即有P(i|j)≠P(j|i)的性質，正是偏向的。在特殊的情況下，這種偏向性等同于邏輯中的“蘊涵(→)”關系。因此本文將這一指標稱之為“概率蘊涵”(表2)。

表2 基本語序和性標記語序的概率蘊涵

表2中有兩個最強的偏向相似(邏輯蘊涵):性前綴對VO、OV對性后綴的選擇性，這兩個共性已被前人歸納為“蘊涵共性”。

同時還有兩個優勢的偏向相似未被歸納:VO對性后綴的選擇性、性后綴對OV的選擇性。這里兩個優勢偏向相似看來似乎有一定矛盾，但在“誰先出現從而影響誰的出現”這種歷時考察中是有意義的。

2.2 偏向聚類策略

按偏向相似性，我們可以看到，如表1和圖1所示“性后綴”和“OV”的偏向相似“湊巧”都以對方為“相對最近”的目標，因此它們自然可以合為一類{OV，性后綴}，VO則“偏向”選擇了“性后綴”，被合并進來{VO，OV，性后綴}，同理，“性前綴”雖然絕對距離更遠一點，但它并不是“完全被孤立沒有聯系的點”，它一樣偏向選擇了“VO”，再次被拉進來{性前綴，VO，OV，性后綴}。

這就是偏向聚類策略:每個對象尋找自己的“相對最近”，能找到(即沒有出現“絕對相似性直接為零”或“絕對距離為‘不能相通’的無窮”)就有其類的歸屬。

這種不對稱的偏向聚類策略建立在這樣的觀察上:1、除非真正得出某種“距離為無窮/相似性為零”，就沒有真正意義上的“孤立點”，絕對距離遠的點總是在自己的范圍內搜索相對自己最近的對象進行“聯系”，是一種“假性孤立點”；2、在兩個以上對象共存的系統(或考察范圍)里，兩個對象之間純粹的“兩兩聯系”總是會受到其他對象的影響，絕對距離的對稱性一旦放入多個對象互相有所聯系的系統中，就肯定會衍生出相對不對稱的問題，各點的地位就會變化。

“性前綴”正是一個“假性孤立點”，事實上性前綴對VO有強烈的依附性，已經被歸納為重要的語言學蘊涵共性，但按照絕對聚類策略，“性前綴“被直接”踢“了出去成為孤立點，根本沒有規律可循，這顯然不符合語言學研究的專家直覺。

另外，似乎出現了一個問題:最后只有一個類！

但是，反過來這正是絕對聚類策略的問題:不論數據實際情況到底如何，已預先假設至少分成兩個以上的類，這其實并不符合“無監督”分類的原則。

綜上所述，假性孤立點“性前綴”用偏向性指標概率蘊涵來衡量的話，對VO的“依賴性”極強，也就是說這個絕對距離“遠”的點恰恰通過VO對整個類的依附性非常強烈。似乎荒謬。但在現實世界中其實未必不合理。主要有兩個原因:

① “數據稀疏”問題:自然語言是一個數據稀疏的系統[2]，這意味著一些規律在語篇中顯現的數據有限，從絕對性來看這些規律是不強的，相對來看仍舊是很強的規律。

② 人類認知中“家族像似性”造成的類型劃分:各成員間的共同特征可以差別很大甚至完全沒有一個相同的共性，如語詞“Game”所指的對象，全部合在一起會幾乎沒有一個能說得清的共性。它們就是通過這樣一種“拍皮球相對和蕩秋千接近、打球相對和拍皮球接近、職業球類競賽相對和打球接近……”的關系“串聯”起來的。[6]

3 語言學實例研究

3.1 一系列蘊涵共性數據的再分析

蘊涵共性研究中語言學家還調查了一系列基本語序和語法標記的共現情況，如表3[7]所示。

表3 基本語序和多種前后綴形式標記的概率蘊涵

表3中絕對相似高的規律只有:“否定后綴-OV”。因為從偏向概率來看，它們正好彼此“偏向選擇”對方。我們可以將其看作一種“緊密關系”。

但從偏向選擇來看，還有:“VO-否定前綴”、“主語一致后綴→OV”、“VO→賓語一致后綴”和“賓語一致前綴→OV”四個“優勢關系”。

如果用絕對相似的聚類策略來分類，這些重要共性中的成分往往會被“孤立”出去，如按絕對共性對基本語序和否定標記分類，VO就會成為孤立點難以參與任何規律。

3.2 從成都話語氣詞“哇”考察“傳疑/傳信”連續統

疑問語氣研究中“傳疑/傳信”是一個連續統:1)真性疑問，說話人語用目的是“對疑問內容不確定并要求對方給出答案”； 2)反問，說話人“無疑而問不要求對方給出答案”； 3)介于真性問和反問之間的“猜測、求證、求認同”等，對內容的確定性較弱(猜測、求證)，可能要求答案也可能不要求答案。這樣，我們可以從兩個維度來考察漢語的“疑問”范疇的句子或標記。

確定性:不確定、弱確定、確定；

求答性:求答、弱求答、不求答。

乍一看這兩個維度是一一對應的完全可以合為一個。但在真實語料中調查會發現實際上是有參差的。在確定和弱確定的情況下，對“求答”都有多種選擇。表4是成都話常用于疑問形式的語氣詞“哇”的部分研究數據*以五部成都話方言小說(約49萬字)構成語料庫(成都國家開放大學副教授杜克華負責建立)，進行全文搜索，共檢得“哇”字句144句，由陳振宇提供。:

和語氣詞“哇”有關的疑問形式中，真正雙向概率都大的緊密關系是“不確定—求答”。弱求答、不求答對確定的偏向選擇性雖然強，確定卻可以在兩者間游弋。

也就是說，我們在不確定的時候，當然要求給出答案，反之亦然。但是在確定的時候，還是有較大可能希望對方回話，因為交際的順利進行為往往依賴于“互動”，說話人講的確定情況也需要得到聽話人的反應(認同或反駁)才能更好地將交際進行下去。

表4 成都話“哇”字句中確定性和求答性各特征的概率蘊涵

按偏向策略給確定性和求答性六個特征聚類，如圖2所示。

圖2 確定性和求答性特征聚類圖

如果歧義情況單獨“拎”出來的話，偏向聚類可分三類:

{不求答，確定，弱求答}、{求答，不確定}、{弱確定}。事實上，如果我們用絕對聚類，并簡單地以均值為闕值，低于闕值((56+41+9+9+2+27)/6=24)就分開，也可以得到同樣的三類。

但是，從偏向策略來看，可以看出“弱確定”的“相對相似性”有歧義，即它即可能和“弱求答”最相似也可能和“求答”最相似。這里的“弱確定”是“假性孤立點”，恰恰是一個溝通兩大類之間的比較“脆弱”的“中途島”，在系統里其實其中重要的作用。

另外，配合表4的特征概率蘊涵，我們還可以注意到:“不求答”和“弱求答”都依附于“確定”，亦即“確定”被多個點依附，具有“控制中心”的位置。

3.3 漢語體標記的聚類

考察漢語常用動詞和九個體標記搭配得到的頻次數據*考察2 000個漢語常用動詞[10]和體標記的搭配，如一個動詞能搭配多個體標記，則視為多個體標記的一種共現情況。是否能夠搭配的判定標準為整理者母語語感，并參考“北京大學CCL語料庫檢索系統(網絡版)”的檢索情況。除去完全不能搭配體標記的106個動詞，整理后共得到九個體標記共現頻次表163行，由陳振宇提供。另外，“重疊”是指動詞重疊式，這是動詞和時間信息有關的一種屈折形態變化。。從這些特征在動詞中的同現情況，我們將其繪制為CC-map語圖(圖3)，其算法為“贏多輸少”[8]，各邊的權重就反映了特征兩兩之間的絕對相似值。

圖3 漢語體標記地圖

從絕對相似性考慮，以均值207.56為闕值，那么漢語體標記可以分成類:{過,正在/在,著,起來,重疊,了1,了2}、{下去}、{了3}。

偏向聚類策略中“下去”和“了3”各自按相對“最近”建立關聯，“下去”連接上“過”、“了3”連接上“了1”，成為一個類。如圖4所示。

圖4 漢語體標記相對相似性聚類圖

盡管偏向策略聚類后所有的點只有一個類，但從圖4我們可以看出。所有體標記“最主流”的關聯基本上都“匯聚”于一個標記“過”，“過”是控制中心。這是“控制關系”非常嚴明的星型網絡，是一個有較明確中心的“原型”類型。反觀調查數據，漢語的常用動詞中，只要可以和多個體標記搭配的*漢語有一大類動詞(“強靜態”動詞如“是、屬于”)基本不和任何體標記搭配，還有極少數動詞只能搭配一個體標記。這些動詞暫時未納入考慮范圍內。因為如果要考慮的話，就要加入對“無某一特征”這種否定性特征的研究。，絕大部分都可以搭配“過”。即:“過”包含的某種和時間有關的信息，能夠適應絕大多數常用動詞，并且和其他體標記相容或對比。

從時間信息相關標記來說，世界語言最常見的時間相關標記區分是“過去/非過去(現在、未來等)”的區分。漢語體標記雖然不是時標記，但也包含可推導出時標記的信息。由此可見，“過”這個經歷體標記是漢語體標記中和過去時聯系最緊密的， 因 此成為體標記類的中心。可以對比的是“了1”，一度也被認為是和過去時聯系緊密的一個體標記。但事實上，“了1”是一個實現體標記，和現在時的關系可能更大[9]。

再看絕對聚類策略中成為孤立點的“了3”。語言本體研究中，漢語“助詞‘了’”的問題一直是體標記中最復雜的。這個助詞在不同場合的功能表現差異較大，一般認為至少可以分為“了1、了2”:“了1”位于句中主要謂詞之后，且后面還有賓語或時量動量等成分，是比較純粹的表示句子時間信息的“體標記”；“了2”位于句子末尾，即VO或“V+時量/動量”之后，一般認為除了能表示時間相關信息外，有較強的語氣作用，甚至可能主要是個語氣詞而不是體標記[9]。

但也有學者認為漢語的“了”應該三分，即“了1、了2、了3”。這一分化主要依據如下:“了1”和“了2”之間明顯有一種“中間狀態”，即主要謂詞本來就是不帶賓語的一價謂詞(一價動詞或形容詞)，同時也沒有時量/動量短語，這樣的“了”可視作直接位于主要謂詞后面，同時也可視作位于句子末尾，其功能在體標記和語氣詞之間更加模糊[11]。

由此可見，“了3”從理論劃分上就不可能是“孤立點”，之所以絕對聚類策略會出現這種“誤會”，是因為:我們考察的主要是常用動詞，那么“了3”的總體數據量自然偏小:因為一價謂詞大多是形容詞,同時，具備“了1、了2、了3”搭配能力的一價動詞往往是那種可以在語言實際使用中“變價”的動詞。同時，在這樣的環境里我們才能真的考察“了”三分的關系之所在,統計數據顯示“了3”和“了1”關系遠比“了2”緊密，能幫助我們考察“了”功能的語法化關系。即:

如果“了3”確實已經分化出來*究竟是二分還是三分，其實和漢語不同方言“演化”的進程有關。，很可能來自“了1”特殊用法的逐漸語法化。如果“了3”并未分化，那么它應歸于“了1”而非“了2”。

還有一個絕對相似性考察下容易成為“孤立點”的“下去”，它也是一個使用環境相對受限的體標記。“下去”使用基本條件是:一個活動的進行過程可以被打斷，然后從這個斷點在繼續“下去”。通常事件情狀更容易讓人注意到的是起始和結束兩個“端點”，進行過程中被打斷更特殊一些[9]。因此，“下去”查到的絕對數據也很可能是有限的，會導致其絕對相似性偏小。

從表5我們可以看到:沒有一個真正的“緊密關系”，這說明漢語體標記的功能和來源還比較分散，演化線索很可能頗為復雜。

表5 漢語體標記的概率蘊涵表

盡管在聚類上幾乎所有體標記(“了3”除外)匯聚于“過”是很明顯的，但“過”作為一個“控制中心”的地位還不是最強:“正在/在、著”這兩個動態/靜態持續體標記對“過”的蘊涵概率超過0.75，非常強；“了1、了2、起來”等對“過”的蘊涵概率只略超過0.5，較強；“下去、重疊式”對“過”依賴性很弱。這說明這幾個標記之間的關聯性也不弱，意味著排除“過”以后它們之間的關聯還可以繼續進行分類。這為下一步做層次聚類研究提供了入手點*從專家直覺來看，語言本體研究中涉及的聚類很可能大多數都是層次性的。層次聚類涉及的問題更復雜，篇幅有限，相關問題另行撰文。。

4 更多偏向性指標

從上面的研究我們看到，概率蘊涵這個指標可以描寫偏向的相似性。在概率蘊涵的基礎上，我們還可以設置更多的指標來描寫特征中“重要的點”。這些點其實也可以反映在聚類圖上。

首先，緊密關系。

如果兩個點彼此都能大概率蘊涵，那么它們肯定是一個“排外的緊密”關系，同時在這個關系里，盡管輕重多少有差異，但差異不夠顯著，形成一個相對對等的排他性類。

我們暫且設置“大概率”的含義是P≥0.75。

定義1 如果有點i和點j的概率蘊涵如下:

P(i|j)≥0.75 且P(j|i)≥0.75

那么，i和j是一個緊密關系。反映在語言地圖中就是一對獨立成類的點。

其次，控制中心。

邏輯中蘊涵“P→Q”的集合論本質是P為小集合Q為大集合:P?Q。也就意味著Q“控制”了P。概率蘊涵里面，這種蘊涵關系變成概率上的大小。如果某個點被別的點最大概率蘊涵，那么這個點就對別的點具備了控制關系。如果“別的點”是多個點，那么無疑這個點就成為一個“控制中心”。

定義2 如果有點i和另一組點{j1,j2,…,jn}(n≥2)，它 們之間有這樣的概率蘊涵關系,對任意jk直接關聯的點a,如

P(i|jk)=max(p(a|jk)),max為最大值,k=1,2,…,n

那么，點i是一個“控制中心”。

注意到，這里我們可以很容易證明，按相對相似性的聚類策略，任何“控制中心”一定會將它控制下的點匯聚為一個不能分離的類。

第三，中途島。

有的點“對外”的概率蘊涵具有歧義性，從它出發來看無法確定它可以屬于哪個類，則它屬于多個類。同時“別的點”對它的概率蘊涵不強，這使得它們無法成為一個控制中心。這樣它就成為了一個類似“中途小島”的存在，也就是連接兩個或兩個以上類的“脆弱橋梁”。節3.2確定性和求答性聚類中的“弱確定”就是這樣一個點。

定義3 如果有點i和一組點{j1,j2,…,jn}(n≥2)，它們之間具有這樣的概率蘊涵性質:

{j1,j2,…,jn}是所有和i有直接關聯的點；

存在k1=1,2,…,n,k2=1,2,…,n,能滿足P(jk1|i)=P(jk2|i)；

對任意k=1,2,…,n，對任意jk直接關聯的點a，能滿足P(i|jk)

那么，點i是一個聯系多個類的中途島。可以想見，中途島點在研究語言演化時往往有重要作用。

5 小結

語言學本體研究中最常見的規律是“偏向”，很少是真正“雙向”的。即使“雙向”都較強的規律，也幾乎不是等同的，多多少少有強弱之別。因此，依據偏向的相對相似性/距離來考察關聯和聚類更適合語言學研究，具體來說有助于:

? 發現數據較少的“相對”強規律；

? 更復合人類類型劃分的多種認知策略，即不僅僅是原型策略，還有家族象似性策略；

? 多種偏向指標挖掘類中和類間多種性質的關聯，得到更精確的語言系統描寫。

本文數據運算已經編制為程序，可在線應用詳見網站“永新語言學(http://www.newlinguistics.org/)”。

[1] 方開泰,潘恩沛.聚類分析[M].北京:地質出版社,1982.

[2] 龔靜.中文文本聚類分析[M].北京:中國傳媒大學出版社,2012.

[3] 白雪.聚類分析中的相似性度量及其應用研究[D].北京交通大學博士論文,2012.

[4] Greenberg,Joseph H.Greenberg,Joseph.Universals of Language[M].London:MITPress,1963:73-113.

[5] Hawkins J A,Gilligan G.Prefixing and suffixing universals in relation to basic word order[J].Lingua,1988,74(2-3):219-259.

[6] Wittgenstein,Ludwig.Philosophical Investigations,translated By Anscobe,2ndedn[M].Oxford:Blackwell,1958.

[7] Dryer,Matthew S.Position of Negative Morpheme With Respect to Subject,Object,and Verb [DB/OL].2016.In The world atlas of language structures online (http://wals.info/feature/114).

[8] 陳振寧,陳振宇.用語圖分析揭示語言系統中的隱性規律——贏家通吃和贏多輸少[J].中文信息學報,2015(5):20-31.

[9] 馬希文.關于動詞“了”的弱化形式lou.朱德熙.中國語言學報(第一期)[C].北京:商務印書館,1983:1-14.

[10] 孟琮,鄭懷德,孟慶海,蔡文蘭.現代漢語動詞用法詞典[M].北京:商務印書館,1999.

[11] 戴耀晶.現代漢語時體系統研究[M].杭州:浙江教育出版社,1997.

Cluster and Association Analysis of Natural LanguagesBased on Inclined Similarity Measures

CHEN Zhenning1,CHEN Zhenyu2

(1.School of Humanities,Zhejiang University,Hangzhou,Zhejiang 310058,China; 2.Department of Chinese Language and Literature,Fudan University,Shanghai 200433,China)

Cluster analysis is the task of grouping a set of objects by associations of these objects.The diameters of cluster and association analysis are similarity measures,which often involves the absolute similarity of the symmetry property.But most rules found in natural languages are inclined and have asymmetrical forms.We describes the asymmetrical associationby a parameter of Probability Entailment,i.e.the conditional probability,to represent the asymmetrical associations among features.And then we define the Domination Relation,the Tight Relation,the Control Center,and the Midway island.A strategy for cluster based on inclined similarity measures is presented to deal with issues likethe false isolated points,data sparsity and family iconicity.

asymmetry,conditional probability,association,cluster

陳振寧(1977—),博士研究生,主要研究領域為計算語言學。E-mail:706867589@qq.com陳振宇(1968—),副教授,主要研究領域為漢語句法語義。E-mail:chenzhenyu@fudan.edu.cn

1003-0077(2017)01-0205-07

2016-09-20 定稿日期:2016-10-09

教育部人文社會科學規劃基金(13YJA740005)

TP391

A