基于表征重述的機(jī)器文本理解

付熙徐 龔希章

摘 要：傳統(tǒng)機(jī)器翻譯系統(tǒng)缺乏聯(lián)系上下文形成認(rèn)知的能力，僅根據(jù)對(duì)應(yīng)單詞的默認(rèn)含義進(jìn)行翻譯，容易導(dǎo)致語(yǔ)義錯(cuò)誤等問(wèn)題。通過(guò)模擬人的表征重述認(rèn)知過(guò)程，提出一種新的機(jī)器文本理解與翻譯方法。該方法可通過(guò)較少的實(shí)例對(duì)文本進(jìn)行理解和翻譯，避免出現(xiàn)語(yǔ)義理解錯(cuò)誤問(wèn)題，且無(wú)需進(jìn)行繁雜的語(yǔ)法標(biāo)注。實(shí)驗(yàn)表明，該方法可通過(guò)引入習(xí)得的常識(shí)，使翻譯出現(xiàn)歧義錯(cuò)誤的概率降低到1%以下，并可標(biāo)注出不符合常理而又無(wú)法找到更好解釋的句子。

關(guān)鍵詞：表征重述;文本理解;機(jī)器翻譯

DOI：10. 11907/rjdk. 192447 開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP301文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2020）007-0024-04

Machine Text Understanding Using Representational Redescription Process

FU Xi-xu，GONG Xi-zhang

（Institute of Information and Education Technology，Shanghai Ocean University，Shanghai 201306，China）

Abstract： Traditional machine translation methods often cause semantic errors by simple substitution. Because of lacking common sense， machines merely find corresponding words in target language and substitute them with default meanings. A novel machine text understanding and translation method is advanced by simulating humans representational redescription process. This method can understand and translate text correctly with fewer instances. Semantic errors can be avoided in this method. Complex syntactic label can be avoided too. According to the experiment result， this method can introduce common sense into the understanding process and get a semantic ambiguity error rate lower than 1%. Furthermore ridiculous translations can be labeled if no better translation can be found.

Key Words： representational redescription; text understanding; machine translation

0 引言

目前機(jī)器自動(dòng)翻譯和文本理解系統(tǒng)存在不能有效結(jié)合上下文、理解過(guò)于死板的問(wèn)題，具體表現(xiàn)為對(duì)文本僅簡(jiǎn)單地進(jìn)行詞對(duì)詞的語(yǔ)義翻譯，不考慮相關(guān)背景和搭配。有不少研究提出了新的文本理解和知識(shí)發(fā)現(xiàn)方法[1-7]，以及關(guān)于自然語(yǔ)言理解和機(jī)器翻譯的評(píng)價(jià)標(biāo)準(zhǔn)[8]。這些方法從詞法、語(yǔ)法等各個(gè)角度，利用神經(jīng)網(wǎng)絡(luò)等多種方法提出自然語(yǔ)言理解和自動(dòng)翻譯的方法，但沒有從語(yǔ)言習(xí)得的角度建立語(yǔ)言知識(shí)模型，需要大量人工干預(yù)，也未能提出一個(gè)完整的語(yǔ)言結(jié)構(gòu)、詞義解決方案。機(jī)器學(xué)習(xí)方法被應(yīng)用于機(jī)器翻譯中，如基于統(tǒng)計(jì)的方法、對(duì)應(yīng)特定文本理解任務(wù)的方法等[9-16]。然而這些方法通用性不佳，且需大量已標(biāo)注的文本作為訓(xùn)練集。

語(yǔ)言認(rèn)知是人類認(rèn)知的一個(gè)重要部分，人類從幼年開始學(xué)習(xí)語(yǔ)言，很多概念的學(xué)習(xí)均伴隨著語(yǔ)言交流[17]。語(yǔ)言與概念的聯(lián)系十分緊密。缺失對(duì)概念的理解，語(yǔ)言翻譯通常會(huì)出現(xiàn)錯(cuò)誤。如“He killed a bat with a bat”，如果只考慮到詞法，翻譯成中文可以是“他殺了一只蝙蝠用一個(gè)球拍”，也可以是“他殺了一只蝙蝠用一只蝙蝠”等;考慮到語(yǔ)法，還可以翻譯成“他用一個(gè)球拍殺死一只蝙蝠”或“他用一只蝙蝠殺死一只蝙蝠”;考慮到詞典中解釋的順序，翻譯成后者的可能性更大。然而，對(duì)于一個(gè)掌握了“球拍”、“蝙蝠”、“殺”、“用”等概念的人，這種翻譯是荒謬的。

語(yǔ)言習(xí)得是表征重述理論研究的重要內(nèi)容之一[18]。表征重述的幾個(gè)階段也可為語(yǔ)言概念的形成提供豐富的概念基礎(chǔ)。目前基于表征重述過(guò)程建立了一些模型，部分模型已應(yīng)用到機(jī)器人等領(lǐng)域[19-21]。本文以“kill”概念的形成和掌握為例，從認(rèn)知角度討論語(yǔ)言概念的形成，從概念認(rèn)知與形成的角度討論語(yǔ)言理解、翻譯等問(wèn)題。

1 表征重述與語(yǔ)言

1.1 水平表征特點(diǎn)

在語(yǔ)言認(rèn)知的I階段，兒童只能簡(jiǎn)單地重復(fù)習(xí)得語(yǔ)句，但無(wú)法掌握實(shí)例基礎(chǔ)結(jié)構(gòu)。當(dāng)孩子習(xí)得“He killed a bat with a bat”這一語(yǔ)句時(shí)，能知道“kill”表示“殺死”這個(gè)行為，而第一個(gè)“bat”是指一只蝙蝠，第二個(gè)“bat”是指一個(gè)球拍。這些單詞在兒童的意識(shí)中指代特定的物體和行為，如果換一個(gè)實(shí)例，比如“Mary killed a mouse with a stick”，兒童就無(wú)法理解。盡管兒童通常在掌握第一門語(yǔ)言后很長(zhǎng)一段時(shí)間才顯式地習(xí)得“動(dòng)詞”、“名詞”、“介詞”等概念，但兒童對(duì)物體、動(dòng)作以及它們對(duì)應(yīng)的語(yǔ)言元素早已清楚了解。

1.2 E1水平表征特點(diǎn)

在完成E1階段的認(rèn)知后，兒童對(duì) “kill”這個(gè)概念的應(yīng)用有了深刻理解，可以用“kill”進(jìn)行造句等活動(dòng)，可良好地掌握相關(guān)語(yǔ)法和詞義，但會(huì)造出“He killed a bear with a bat”這種事實(shí)上不可能發(fā)生的句子。這是由于“kill”的概念雖可被熟練應(yīng)用，但卻不能通達(dá)于意識(shí)，無(wú)法用其在知識(shí)系統(tǒng)中其它概念解釋工具和對(duì)象的對(duì)應(yīng)關(guān)系。

1.3 E2水平表征特點(diǎn)

在E2水平，概念已通達(dá)于意識(shí)，兒童能知道“He killed a bear with a bat”是荒謬的，通常來(lái)說(shuō)用球拍殺死熊是不現(xiàn)實(shí)的。但這個(gè)時(shí)候，他們?nèi)匀粺o(wú)法用另一種語(yǔ)言正確翻譯“He killed a bear with a bat”這個(gè)句子。

1.4 E3水平表征特點(diǎn)

在E3階段完成后，兒童能順利把句子翻譯成其它語(yǔ)言，前提是兒童對(duì)這種語(yǔ)言構(gòu)成有所了解。在該階段，兒童已完全掌握該概念，可用于語(yǔ)言報(bào)告。

2 表征重述學(xué)習(xí)模型

2.1 語(yǔ)言概念表征

在語(yǔ)言學(xué)中，名詞是指代物體的實(shí)詞，代詞是名詞的指代，動(dòng)詞是對(duì)名詞的動(dòng)作[18]。形容詞被用來(lái)修飾名詞，副詞被用于修飾動(dòng)詞，介詞用于對(duì)方法、地點(diǎn)等的表征。對(duì)于兒童來(lái)說(shuō)，這些概念并不是很清晰，但對(duì)于具體詞語(yǔ)尤其是名詞和動(dòng)詞的使用卻是很清楚的。可以認(rèn)為動(dòng)詞是以名詞或名詞短語(yǔ)為參數(shù)的一個(gè)函數(shù)，副詞是以動(dòng)詞為參數(shù)的函數(shù)。以概念為根節(jié)點(diǎn)可以生成一棵語(yǔ)法樹。如“Mary killed a bat with a bat”，語(yǔ)法樹如圖1所示。

在圖1的語(yǔ)法樹中，只有名詞和代詞被作為底層參數(shù)，動(dòng)詞、冠詞、介詞均可作為函數(shù)。其中，冠詞、介詞、形容詞、副詞均可作為一元函數(shù)。這棵語(yǔ)法樹可簡(jiǎn)化為一個(gè)字符串。如式（1）所示。

由于一元函數(shù)只接受一個(gè)參數(shù)，因此括號(hào)可以省略，如式（2）所示。

該式可完整地表征為一個(gè)概念的動(dòng)詞。

除概念表征外，同時(shí)語(yǔ)言表征規(guī)則也應(yīng)存儲(chǔ)于兒童記憶中，作為語(yǔ)言表達(dá)方法和依據(jù)。在進(jìn)化過(guò)程中，以概念進(jìn)化為主，而語(yǔ)言范式表征也跟隨概念變化。

2.2 I水平表征與形成

I水平的表征僅僅是對(duì)一個(gè)實(shí)例的描述，是對(duì)該實(shí)例認(rèn)知的附屬物。對(duì)語(yǔ)言的認(rèn)知可以表征成一個(gè)單詞序列，兒童這時(shí)對(duì)概念相關(guān)的結(jié)構(gòu)已初步構(gòu)建。兒童已有概念結(jié)構(gòu)，其內(nèi)部對(duì)應(yīng)表征如式（2）所示，這些結(jié)構(gòu)可與實(shí)例中的語(yǔ)言相互轉(zhuǎn)換。

在I水平形成過(guò)程中，句子本身作為I階段表征的一部分存儲(chǔ)在系統(tǒng)中，同時(shí)，兒童對(duì)句子的理解也形成了表征結(jié)構(gòu)，作為I階段表征的另一部分存儲(chǔ)，在后續(xù)階段中將作為進(jìn)化主題。

根據(jù)語(yǔ)法樹構(gòu)建規(guī)則，對(duì)于一元函數(shù)單詞只需將單詞放置在參數(shù)之前即可，對(duì)于多元函數(shù)，只需將函數(shù)單詞放在最前面，按函數(shù)規(guī)則組織字符串即可。形成表征結(jié)構(gòu)的算法流程如圖2所示。

如圖2所示，首先找到動(dòng)作詞（表動(dòng)作的詞，不包括be動(dòng)詞和表時(shí)態(tài)的have等詞），這是概念根節(jié)點(diǎn);然后根據(jù)名詞生成名詞短語(yǔ)，將名詞短語(yǔ)作為動(dòng)詞參數(shù);最后，將函數(shù)作為修飾動(dòng)詞的單詞或短語(yǔ)參數(shù)。

I水平雖然構(gòu)建了表征基本結(jié)構(gòu)，但因所有參數(shù)均僅是固定的單詞，因此沒有泛化能力，不能理解不同的句子。

2.3 E1水平表征與E1階段進(jìn)化

在E1階段，概念中的名詞或名詞短語(yǔ)作為參數(shù)在進(jìn)化過(guò)程中逐漸泛化，類和概念逐漸替換了概念表征中具體的詞和短語(yǔ)，表征開始具有靈活性。這種泛化在思維與語(yǔ)言輸出中同時(shí)存在。

在E1階段，可使用系統(tǒng)中的知識(shí)使參數(shù)和方法更加泛化，本文系統(tǒng)使用的名詞泛化結(jié)構(gòu)如圖3所示（由于對(duì)象較多，僅列出部分）。

在圖3中，各種名詞依據(jù)兒童已有的知識(shí)分類，而不僅是簡(jiǎn)單地分為名詞。本文對(duì)各個(gè)分類使用不同的變量表示，如動(dòng)物，可以用大寫字母A表示（在這里，“動(dòng)物”指活的動(dòng)物）。介詞按語(yǔ)義分類，如with和using均根據(jù)語(yǔ)義“用”分在一類，用大寫字母U表示。通過(guò)進(jìn)化和循環(huán)識(shí)別的方法，得到如式（3）所示的表征字符串。

如式（3）所示，該式表示kill可被任意多個(gè)副詞修飾，該概念有3個(gè)參數(shù)，前兩個(gè)是必須有的，而后一個(gè)則不一定存在。第一個(gè)參數(shù)是一個(gè)人（P），其構(gòu)成形式是冠詞+若干形容詞+人。第二個(gè)參數(shù)是一只活著的生物（L），其構(gòu)成形式是冠詞+若干形容詞+活物。最后一個(gè)參數(shù)表示使用的工具，其格式為一個(gè)表“使用”的詞加上一個(gè)工具（T），而工具的表示形式是冠詞+若干形容詞+工具。

同時(shí)，對(duì)語(yǔ)言本身的進(jìn)化也得出如式（4）所示的模式。

該模板指第一個(gè)參數(shù)及其修飾放在最前面，動(dòng)詞及其修飾放在第二位，第二個(gè)參數(shù)及其修飾放在第三位，最后是第三個(gè)參數(shù)及其修飾。如“Mary killed a dog with a knife”，“Mary”是第一個(gè)參數(shù)，“a dog”是第二個(gè)參數(shù)，“a knife”是第三個(gè)參數(shù)。

2.4 E2水平表征與E2階段進(jìn)化

在E2階段，概念被作為一個(gè)整體考慮，達(dá)到 E2水平的表征后，可判斷出“He killed a bear with a bat”是荒唐的。在E2階段的進(jìn)化中，通常認(rèn)為沒有經(jīng)歷過(guò)的、且經(jīng)推導(dǎo)不可實(shí)現(xiàn)的事情是荒謬的。該水平可用激活概念圖表示。如“Mary killed a bear with a bat”可用圖4 表示。

如圖4所示，雖然bat和bear單獨(dú)看來(lái)均符合對(duì)參數(shù)的要求，但根據(jù)其詳細(xì)分類，這個(gè)組合顯然不恰當(dāng)，熊是一只大動(dòng)物，而球拍只能造成很小傷害，因此這個(gè)語(yǔ)句是荒謬的。

將每個(gè)語(yǔ)句中所有元素存入激活圖中，存入時(shí)自動(dòng)激活每個(gè)元素相關(guān)最底層的類。如“Bob killed a fly with a bat”中的“fly”只能激活“小動(dòng)物”。反例和規(guī)則也可對(duì)激活概念圖進(jìn)行修正，如果出現(xiàn)反例，則降低對(duì)應(yīng)記錄和相關(guān)最底層的類激活權(quán)重，如出現(xiàn)沖突，則在實(shí)例層級(jí)中以反例為準(zhǔn)。系統(tǒng)中的規(guī)則也可對(duì)聯(lián)結(jié)進(jìn)行修正。

2.5 E3水平與自動(dòng)翻譯

在E3水平，兒童可將概念以另一種形式表述，本文認(rèn)為是指將英文翻譯為中文的能力。E3階段的學(xué)習(xí)包括中文語(yǔ)法、中英文語(yǔ)義和概念等的習(xí)得。中文“殺”的概念語(yǔ)法描述如式（5）所示。

根據(jù)該式即可找到概念對(duì)應(yīng)的中文詞匯并生成翻譯結(jié)果。

3 實(shí)驗(yàn)與評(píng)價(jià)系統(tǒng)

基于以上分析，本文編寫了基于RR概念習(xí)得的自動(dòng)翻譯系統(tǒng)，系統(tǒng)包括一個(gè)學(xué)習(xí)程序、一個(gè)翻譯程序和一個(gè)知識(shí)庫(kù)。通過(guò)對(duì)150個(gè)包含“kill”的句子進(jìn)行學(xué)習(xí)后（這些句子不包括文中提到的“bat”和“bear”等詞匯），系統(tǒng)已能對(duì)相關(guān)語(yǔ)句作出正確翻譯，如圖5所示。

系統(tǒng)對(duì)不同位置的“bat”和語(yǔ)言順序給出了正確翻譯。這表明基于概念系統(tǒng)的翻譯系統(tǒng)可正確處理語(yǔ)言結(jié)構(gòu)和語(yǔ)義問(wèn)題，可對(duì)不同位置的“bat”作出正確解釋。

本文還設(shè)計(jì)了翻譯評(píng)價(jià)系統(tǒng)供用戶選擇并進(jìn)一步提升翻譯系統(tǒng)效果。系統(tǒng)將翻譯結(jié)果分成3類：第一類是“正確”，這類翻譯既符合E1階段的表征，又符合常識(shí);第二類是符合E1階段的表征，但不符合常理的結(jié)果，系統(tǒng)將其評(píng)價(jià)為“奇怪”;第三類是“錯(cuò)誤”，即語(yǔ)句不符合概念系統(tǒng)中的基本描述，如“羅斯用蝙蝠殺死了蝙蝠”。如果語(yǔ)句有多個(gè)候選翻譯，系統(tǒng)會(huì)顯示評(píng)價(jià)最高的翻譯。如果語(yǔ)句錯(cuò)誤，如“She killed a desk”系統(tǒng)會(huì)提示錯(cuò)誤，并給出錯(cuò)誤翻譯。

對(duì)于奇怪的翻譯，系統(tǒng)給出提示并讓用戶進(jìn)行評(píng)價(jià)，如圖6所示。

如圖6所示，當(dāng)系統(tǒng)給出奇怪的翻譯結(jié)果時(shí)，會(huì)顯示一個(gè)按鈕，如果用戶點(diǎn)擊“這是正確的”按鈕，這個(gè)翻譯對(duì)應(yīng)的概念會(huì)作為正例更新系統(tǒng)中E2階段的表征，在下次翻譯時(shí)，會(huì)將類似翻譯置為“正確”。

本文使用Wordnet作為基本詞庫(kù)[22]，將包含1 200個(gè)句子的語(yǔ)料庫(kù)作為訓(xùn)練集，用500個(gè)含有多義詞的句子分別對(duì)基于詞庫(kù)的自動(dòng)翻譯方法與基于表征重述的文本理解方法（本文方法）進(jìn)行測(cè)試，結(jié)果如圖7所示。

從圖7可看出，基于表征重述方法可消除翻譯中的歧義，對(duì)大部分奇怪語(yǔ)義進(jìn)行正確標(biāo)識(shí)。實(shí)驗(yàn)中未出現(xiàn)標(biāo)識(shí)錯(cuò)誤的情況。

4 結(jié)語(yǔ)

為提升機(jī)器翻譯系統(tǒng)認(rèn)知能力，本文通過(guò)模擬人的表征重述認(rèn)知過(guò)程，提出一種新的機(jī)器文本理解與翻譯方法。實(shí)驗(yàn)證明，該方法只需通過(guò)較少的實(shí)例，即可建立支持正確翻譯的概念系統(tǒng)，能自動(dòng)選擇符合常識(shí)的翻譯。表征重述理論以概念表征為媒介，建立了不同語(yǔ)言互相轉(zhuǎn)換的橋梁。本文方法無(wú)需對(duì)文本進(jìn)行語(yǔ)法標(biāo)注，這也是表征重述學(xué)習(xí)的優(yōu)勢(shì)之一。通過(guò)對(duì)文本理解的研究，對(duì)表征重述進(jìn)行了更深層次的建模，也為機(jī)器翻譯提供了一種更高效、準(zhǔn)確的方法。在下一步的工作中，還可將該方法應(yīng)用于更復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)。

參考文獻(xiàn)：

[1] 胡金銘，史曉東，蘇勁松，等. 引入復(fù)述技術(shù)的統(tǒng)計(jì)機(jī)器翻譯研究綜述[J]. 智能系統(tǒng)學(xué)報(bào)，2013，8（3） ：199-207.

[2] 李伯約·賽丹.? 自然語(yǔ)言理解的心理學(xué)原理[M].? 上海：學(xué)林出版社，2007.

[3] 羅莎.? 一種高效的自然語(yǔ)言理解語(yǔ)法分析算法[J].? 科技通報(bào)，2013，29（12）：91-93.

[4] 熊德意，劉群，林守勛. 基于句法的統(tǒng)計(jì)機(jī)器翻譯綜述[J]. 中文信息學(xué)報(bào)，2013，22（2） ：28-39.

[5] WANG B，ZHANGY Y， XU Q. Sentence-level combination of machine translation outputs with syntactically hybridized translations[J]. IEICE Transactions on Information and Systems，2014，E97D （1）：164-167.

[6] PUSTEJOVSKY J， STUBBS A. Natural language annotation for mache learning[M]. New York： O Reilly，2012.

[7] LAWRY J. A framework for linguistic modeling[J]. Artificial Intelligence，2004（155）：1-39.

[8] 李良友，貢正仙，周國(guó)棟. 機(jī)器翻譯自動(dòng)評(píng)價(jià)綜述[J]. 中文信息學(xué)報(bào)，2014，28（3） ：81-91.

[9] CHINEA-RIOS M，SANCHIS-TRILLES G，CASACUBER F. Discriminative ridge regression algorithm for adaptation in statistical machine translation[J]. Pattern Analysis and Applications. 2019，22（4） ：1293-1305.

[10] GRAHAM N， TARO W. Optimization for statistical machine translation： a survey[J].? Computational Linguistics， 2016，42（1）： 1-54.

[11] 劉慶峰，劉晨璇，王亞楠，等.? 會(huì)議場(chǎng)景下融合外部詞典知識(shí)的領(lǐng)域個(gè)性化機(jī)器翻譯方法[J]. 中文信息學(xué)報(bào)，2019，33（10）： 31-37.

[12] 徐健鋒，許園，許元辰， 等. 基于語(yǔ)義理解和機(jī)器學(xué)習(xí)的混合的中文文本情感分類算法框架[J]. 計(jì)算機(jī)科學(xué)，2015， 42（6）：61-66.

[13] 閆盈盈，黃瑞章，王瑞，等.? 一種長(zhǎng)文本輔助短文本的文本理解方法[J]. 山東大學(xué)學(xué)報(bào)（工學(xué)版）， 2018， 48（3）： 67-87.

[14] SANCHEZ FRANCO M J，CEPEDA-CARRION G，ROLDAN J L. Understanding relationship quality in hospitality services： a study based on text analytics and partial least squares[J].? INTERNET RESEARCH. 2019， 29（3）： 478-503.

[15] CHATTERJEE A，GUPTE U， CHINNAKOTIA M. Understanding emotions in text using deep learning and big data[J].? Computers in Human Behavior， 2019（93）： 309-317.

[16] RABIGER S， SPILIOPOULOU M， SAYGIN Y. How do annotators label short texts？ Toward understanding the temporal dynamics of tweet labeling[J].? Information Sciences， 2018（457）：29-47.

[17] MIROLLI M， PARISI D. Language as a cognitive tool[J].? Minds & Machines，2009（19）：517-528.

[18] A. 卡米洛夫·史密斯.? 超越模塊性認(rèn)知科學(xué)的發(fā)展觀[M].? 繆小春，譯. 上海：華東師范大學(xué)出版社，2001.

[19] 陳燕，危輝. 非限定的概念獲取表征重述方法[J].? 計(jì)算機(jī)科學(xué)， 2006， 33（6）：168-171

[20] CHRONOULA V. Oral counting sequences： a theoretical discussion and analysis through the lens of representational redescription[J].? Educational Studies in Mathematics，? 2016， 93（2）：175-193.

[21] STEPHANEL D. Open-ended learning： a conceptual framework based on representational redescription[J].? Frontiers in Neurorobotics， 2018（12）：59.

[22] SIGMAN M， CECCHI G A. Global organization of the Wordnet lexicon[J]. Proceedings of the National Academy of Sciences of the United States of America，2002， 99（3）：1742-1747.

（責(zé)任編輯：江 艷）