中圖分類(lèi)號(hào):H085;H315.9;TP391.2 DOI:10.12339/j. issn.1673-8578.2025.03.012
Machine Translation Quality Assessment and Post-Editing Strategies :A Case Study of Chinese-Japanese Patent Texts//TAN Hongxin
Abstract:WiththeincreasingfrequencyofscientificexchangesbetweenChinaandJapan,thedemandforpatentdocumentsandheir translatiohasgoapidlynteontextoftewidespradaplcationofachetranslationtisarticularlyimporattloe themachine translationof patentexts.Thisstudyselected Gogle Translate,Wenxiyiyan(4.O)and ChatGPT(4.O)tofocusonanalyzingtheirtranslationofprofesionaltermsinthefieldofelectroniccommuications.Combining theBLEUautomaticevauationindexandmulti-personmanual.Wecomparedthetranslationefectsofthereemacines,summarizedthemistranslationfeaturesand proposed corresponding post-editing strategies.
Keywords: patent text; Terminology Translation; machine translation quality assessment; post-editing strategy
近年來(lái),電子通信領(lǐng)域?qū)@g需求激增,人才供不應(yīng)求。同時(shí)神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯(NMT)與生成式人工智能(GAI)的快速發(fā)展為翻譯界帶來(lái)新挑戰(zhàn)與機(jī)遇。目前市場(chǎng)主流翻譯系統(tǒng)包括Google翻譯、DeepL、百度翻譯等,而ChatGPT、文心一言等GAI也備受翻譯界關(guān)注。
專(zhuān)利文本兼具科技與法律文本特性,對(duì)表述標(biāo)準(zhǔn)化程度與術(shù)語(yǔ)準(zhǔn)確性有較高要求。胡開(kāi)寶、李翼指出,機(jī)器翻譯適用于特定領(lǐng)域的程式化或信息性文本[1]。而杜金華、張萌揭示未來(lái)翻譯市場(chǎng)中,“機(jī)器翻譯 + 譯后編輯”模式將成主流[2,提高機(jī)器譯文精度與翻譯效率成為關(guān)鍵課題。
本研究構(gòu)建中日電子通信領(lǐng)域?qū)φ照Z(yǔ)料庫(kù),選取主流翻譯引擎Google翻譯,以及生成式人工智能ChatGPT(4.0)文心一言(4.0)作為翻譯系統(tǒng),運(yùn)用Python計(jì)算BLEU值,結(jié)合基于《專(zhuān)利文獻(xiàn)機(jī)器翻譯質(zhì)量評(píng)價(jià)手冊(cè)》的多人人工評(píng)估,重點(diǎn)分析專(zhuān)業(yè)術(shù)語(yǔ)的翻譯,以期提高專(zhuān)利機(jī)器翻譯的質(zhì)量和效率。
1 研究設(shè)計(jì)
1.1 文本選擇
本研究創(chuàng)建初始對(duì)照語(yǔ)料庫(kù),包含40件2020-
2024年間中國(guó)國(guó)家知識(shí)產(chǎn)權(quán)局電子通信領(lǐng)域?qū)@谋镜?00句(180句非長(zhǎng)句,20句長(zhǎng)句,長(zhǎng)句定義為70字以上3)中文原文、參考譯文及機(jī)器譯文。參考譯文源自日本特許局官方文件及人工翻譯校對(duì),機(jī)器譯文均于2024年7月31日輸出。
1.2 機(jī)器選擇
本研究選取NMT與GAI的機(jī)器代表:Google翻譯、文心一言(4.0)和ChatGPT(4.0)(以下簡(jiǎn)稱(chēng)文心一言、ChatGPT)。Google 翻譯自2016年采用神經(jīng)網(wǎng)絡(luò)技術(shù)后成為主流NMT系統(tǒng),而文心一言和ChatGPT作為大規(guī)模語(yǔ)言模型的杰出典范,可實(shí)現(xiàn)多語(yǔ)種文本轉(zhuǎn)換。三者翻譯效果的異同及發(fā)展?jié)摿χ档锰骄俊?/p>
1.3 評(píng)估方法
戴光榮、劉思折將機(jī)器翻譯質(zhì)量測(cè)評(píng)方法分為三類(lèi):自動(dòng)化評(píng)價(jià)(如BLEU)、基于錯(cuò)誤分類(lèi)的人工評(píng)價(jià)及兩者結(jié)合的半自動(dòng)評(píng)價(jià)[4]。本研究采用半自動(dòng)評(píng)價(jià)方式以確保客觀嚴(yán)謹(jǐn)。BLEU作為n-gram匹配度算法,通過(guò)量化機(jī)譯與參考譯文的詞匯重合度(得分 0~1 之間)來(lái)反映譯文準(zhǔn)確度,但仍存在同義替換不敏感等局限,需結(jié)合人工評(píng)估。人工評(píng)估依據(jù)日本專(zhuān)利局《專(zhuān)利文獻(xiàn)機(jī)器翻譯質(zhì)量評(píng)價(jià)手冊(cè)》,為質(zhì)量評(píng)估提供權(quán)威指南。
1.4 研究步驟
① 構(gòu)建中日專(zhuān)利平行語(yǔ)料庫(kù); ② 對(duì)機(jī)器譯文進(jìn)行自動(dòng)化評(píng)估; ③ 基于手冊(cè)進(jìn)行多人人工評(píng)估;
④ 對(duì)評(píng)估數(shù)據(jù)進(jìn)行量化歸因分析; ⑤ 分析誤譯實(shí)例,提出譯后編輯策略。
2研究結(jié)果與分析
本章從自動(dòng)評(píng)價(jià)和相對(duì)的評(píng)價(jià)維度,評(píng)估各機(jī)器譯文質(zhì)量,揭示不同句長(zhǎng)文本中的翻譯差異,指出電子通信專(zhuān)利文本機(jī)翻的核心挑戰(zhàn)在于專(zhuān)業(yè)術(shù)語(yǔ)的處理。
2.1 自動(dòng)評(píng)價(jià)
本研究未對(duì)文心一言和ChatGPT進(jìn)行特別指令指示。將輸出的譯文經(jīng)過(guò)Python計(jì)算,得到各自的BLEU分?jǐn)?shù)。
經(jīng)統(tǒng)計(jì),三個(gè)機(jī)器翻譯系統(tǒng)的BLEU得分多在0.65-0.85區(qū)間,表現(xiàn)良好。低于0.65分的案例中,Google翻譯較少(37例),高于0.85分時(shí)Google翻譯占比最高( (19.5% )。ChatGPT和文心一言分別有1例和3例滿(mǎn)分。另外,三者在非長(zhǎng)文中表現(xiàn)均佳( >0. 7 分),但在長(zhǎng)文中差異顯著:Google翻譯評(píng)分降幅達(dá) 8.13% ,ChatGPT微降0.96% ,文心一言提升 1.85% 。這表明GAI更善處理長(zhǎng)距離文本關(guān)系,文心一言的長(zhǎng)句翻譯優(yōu)勢(shì)或源于其本土化語(yǔ)料深度訓(xùn)練。
2.2 相對(duì)評(píng)價(jià)
依據(jù)手冊(cè),對(duì)機(jī)器譯文從內(nèi)容傳達(dá)度、重要術(shù)語(yǔ)翻譯精度及流暢度三方面進(jìn)行多人人工評(píng)價(jià),結(jié)果以數(shù)值表示,滿(mǎn)分為5分(見(jiàn)表1、表2)。
以上表格顯示,三個(gè)機(jī)器在“內(nèi)容傳達(dá)度”與流暢度”中的綜合評(píng)價(jià)相近,Google翻譯在長(zhǎng)句表現(xiàn)上劣于GAI,與自動(dòng)評(píng)價(jià)結(jié)果相符。
表2數(shù)據(jù)基于術(shù)語(yǔ)統(tǒng)計(jì)與分?jǐn)?shù)轉(zhuǎn)換,其中“適譯值”反映適譯詞(技術(shù)上同義且普遍使用的譯語(yǔ))占比,可譯詞指意思正確但非技術(shù)用語(yǔ)詞,誤譯詞為翻譯錯(cuò)誤詞匯,不譯詞涵蓋漏譯與不明詞語(yǔ)
三個(gè)機(jī)器在術(shù)語(yǔ)翻譯上均有不足:Google翻譯非長(zhǎng)句表現(xiàn)尚可,長(zhǎng)句質(zhì)量下滑;文心一言整體稍遜,非長(zhǎng)句適譯值低且漏譯多;ChatGPT輸出穩(wěn)定,不譯情況最少。隨句長(zhǎng)增加,三者適譯值均降,可譯值升;Google翻譯不譯值增加,而文心一言與ChatGPT不譯值降為0,這與機(jī)器文本分析能力密切相關(guān)。
3誤譯案例分析與譯后編輯策略
本章將機(jī)器譯文中頻發(fā)的誤譯現(xiàn)象具體歸類(lèi)為專(zhuān)業(yè)復(fù)合詞、新生技術(shù)詞、行業(yè)縮略語(yǔ)及專(zhuān)利表達(dá),并展開(kāi)分析。
3.1 技術(shù)復(fù)合詞解構(gòu)失當(dāng)及策略
該誤譯源于機(jī)器翻譯對(duì)電子通信領(lǐng)域特定構(gòu)詞規(guī)則缺乏認(rèn)知,無(wú)法識(shí)別技術(shù)術(shù)語(yǔ)的語(yǔ)義凝固性。
如: ① 正交頻分復(fù)用(直交周波數(shù)分割多重(OFDM)),文心一言和ChatGPT均譯為「直交周波數(shù)分割多重化」,錯(cuò)誤添加動(dòng)詞化后綴“化”,改變名詞性技術(shù)術(shù)語(yǔ)的詞法屬性。 ② 跳頻擴(kuò)頻技術(shù)(周波數(shù)木ビンクスクトラ△摭散技術(shù)),文心一言誤譯為「波東オーミンアンナアレイ」,將完整技術(shù)概念“波束成形”(beamforming)割裂為「波束+才一ミン」,違反了日語(yǔ)技術(shù)術(shù)語(yǔ)中「ビー才ーミン」作為相位調(diào)控專(zhuān)有名詞的不可分割性,導(dǎo)致丟失“智能信號(hào)波束定向傳輸”的核心語(yǔ)義。
針對(duì)專(zhuān)業(yè)復(fù)合詞的翻譯,領(lǐng)域譯員可預(yù)定義“技術(shù)主體 + 功能屬性”的強(qiáng)制對(duì)齊規(guī)則(如:跳頻擴(kuò)頻 $$ 周波數(shù)木クスク卜ラ△擴(kuò)散),阻斷機(jī)器拆分翻譯。同時(shí)還需同步強(qiáng)化語(yǔ)義分析能力,準(zhǔn)確判定復(fù)合術(shù)語(yǔ)的內(nèi)部邏輯關(guān)系。
3.2 新生技術(shù)詞匯直譯偏誤及策略
統(tǒng)計(jì)顯示,新興專(zhuān)業(yè)術(shù)語(yǔ)的機(jī)器翻譯直譯現(xiàn)象明顯,這一問(wèn)題的根源在于術(shù)語(yǔ)庫(kù)更新滯后于技術(shù)發(fā)展,未建立新詞與知識(shí)體系的映射
如: ① 量子密鑰分發(fā)(量子鍵配送(QKD))在文心一言中譯為|量子鍵分堯」,源于該專(zhuān)業(yè)詞匯的日文對(duì)譯未被收錄,機(jī)器傾向于利用日語(yǔ)中現(xiàn)有詞匯自行構(gòu)造新術(shù)語(yǔ)。 ② 區(qū)塊鏈共識(shí)機(jī)制(□クチ工ーンコンセンサスアルコ)ス△),ChatGPT譯為「口クチ一ンコンセンサス機(jī)構(gòu)」。“共識(shí)機(jī)制\"在區(qū)塊鏈領(lǐng)域特指密碼學(xué)協(xié)議(如 PoW/ PoS),需譯為專(zhuān)業(yè)術(shù)語(yǔ)コンセンサスアルコリ山」。而機(jī)構(gòu)」在日語(yǔ)中多指物理結(jié)構(gòu)或組織體系,導(dǎo)致技術(shù)精確性喪失。
對(duì)于此類(lèi)誤譯,譯員可通過(guò)3GPP/IEEE標(biāo)準(zhǔn)文檔逆向解析新詞生成路徑(如:非地面網(wǎng)絡(luò) $$ Non-Terrestrial Network $$ 非地上礻卜ーク)。另外,可在AI系統(tǒng)或特定平臺(tái)中設(shè)置語(yǔ)義防火墻,禁止將跨學(xué)科詞匯直譯為基礎(chǔ)詞匯,強(qiáng)制調(diào)用領(lǐng)域?qū)S迷~庫(kù)。
3.3行業(yè)縮略語(yǔ)還原失效及策略
該類(lèi)誤譯源于機(jī)器未能結(jié)合上下文判斷縮略語(yǔ)在目標(biāo)語(yǔ)中的規(guī)范化表達(dá)慣例,頻發(fā)于Google翻譯。
如: ① “eMBB”的正確日譯應(yīng)為3GPP標(biāo)準(zhǔn)定義的「強(qiáng)化型移動(dòng)帶域」,Google翻譯譯為「電子MBB」,應(yīng)是未接入標(biāo)準(zhǔn)術(shù)語(yǔ)庫(kù),從而生成非標(biāo)表述。 ② “D2D”在專(zhuān)利的權(quán)利要求書(shū)中需首次展開(kāi)為「端末間直接通信(D2D)」,而在摘要中可保留縮寫(xiě),但機(jī)器缺乏語(yǔ)境判斷規(guī)則。 ③ “mMTC”常譯為「大規(guī)模機(jī)械型通信(mMTC)」,機(jī)器翻譯常遺漏類(lèi)型限定詞“型”,導(dǎo)致模糊技術(shù)應(yīng)用場(chǎng)景。
針對(duì)行業(yè)縮略語(yǔ)的翻譯,譯員可以建立「中文縮略語(yǔ)-英文全稱(chēng)-日文規(guī)范譯法」動(dòng)態(tài)數(shù)據(jù)庫(kù)(例: massive Machine-Type Communication$$ 大規(guī)模機(jī)械型通信)。另外,根據(jù)專(zhuān)業(yè)術(shù)語(yǔ)所在專(zhuān)利文本結(jié)構(gòu)中的位置強(qiáng)制設(shè)定縮略語(yǔ)的標(biāo)記,如標(biāo)題/摘要:設(shè)定“全稱(chēng) + (縮寫(xiě))\"格式(例:サ一ビス品質(zhì)(QoS));權(quán)利要求書(shū):首次展開(kāi)后鎖定縮寫(xiě)(例:端末間直接通信(以下 D2D]∈(27) )。
3.4專(zhuān)利特定術(shù)語(yǔ)和表達(dá)的誤譯及策略
專(zhuān)利文本采用高度程式化表述,用于精確描述發(fā)明內(nèi)容、背景技術(shù)等,以確保規(guī)范性和準(zhǔn)確性。諸如,題目常用“一種”或“方法”;摘要常用“本發(fā)明公開(kāi)了一種…”;權(quán)利要求首條為“1.一種…,其特征在于,…”,后續(xù)條目則基于首條展開(kāi);背景部分常表述為“本發(fā)明涉及…,尤其涉及一種……”。譯員需檢查翻譯機(jī)器是否已調(diào)整句型,必要時(shí)手動(dòng)更正。如下例:
原文:一種顯示裝置,包括如權(quán)利要求1-14任一所述的顯示面板
參考譯文:請(qǐng)求項(xiàng) ずれか1項(xiàng)に記載 ① 表示兒含表示裝置
ChatGPT:表示裝置で、特許請(qǐng)求 範(fàn)囤1辦
ずれかに記載された表示を含。
此外,中日專(zhuān)利文本格式差異致使權(quán)利要求編號(hào)無(wú)法完全對(duì)應(yīng),此類(lèi)誤譯源于機(jī)器難以識(shí)別專(zhuān)利結(jié)構(gòu)知識(shí),需人工校正。因此,譯員應(yīng)增強(qiáng)專(zhuān)業(yè)素養(yǎng),研習(xí)平行文本,積累知識(shí)與經(jīng)驗(yàn),
4結(jié)語(yǔ)
本研究綜合評(píng)估了Google翻譯、文心一言、ChatGPT在電子通信領(lǐng)域?qū)@谋旧系谋憩F(xiàn),采用自動(dòng)及人工評(píng)價(jià)方式重點(diǎn)分析專(zhuān)業(yè)術(shù)語(yǔ)的誤譯,并提出了相應(yīng)譯后編輯策略。結(jié)論表明:(1)電子通信領(lǐng)域?qū)@谋镜恼`譯集中于專(zhuān)業(yè)術(shù)語(yǔ)的翻譯。(2)生成式人工智能在處理長(zhǎng)句結(jié)構(gòu)上優(yōu)于專(zhuān)業(yè)機(jī)器翻譯系統(tǒng),且隨句子長(zhǎng)度增加漏譯減少。(3)Google翻譯在重要術(shù)語(yǔ)上精度最高,但隨句子增長(zhǎng)精度下降,文心一言與ChatGPT譯出結(jié)果相似,整體精度相對(duì)較低。(4)專(zhuān)業(yè)術(shù)語(yǔ)的誤譯多集中于專(zhuān)業(yè)復(fù)合詞、新生技術(shù)詞、行業(yè)縮略語(yǔ)及專(zhuān)利特有表達(dá),其譯后編輯策略可根據(jù)情況進(jìn)行預(yù)定義、建立動(dòng)態(tài)數(shù)據(jù)庫(kù)等。
參考文獻(xiàn)
[1]胡開(kāi)寶,李翼.機(jī)器翻譯特征及其與人工翻譯關(guān)系的研究[J].中國(guó)翻譯,2016(5):10-14.
[2]杜金華,張萌,宗成慶,等.中國(guó)機(jī)器翻譯研究的機(jī)遇與挑戰(zhàn)[J].中文信息學(xué)報(bào),2013,27(4):1-8.
[3]孔繁明.日漢翻譯要義[M].北京:北京中國(guó)對(duì)外翻譯出版公司,2004:128-129.
[4]戴光榮,劉思圻.神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯:進(jìn)展與挑戰(zhàn)[J].外語(yǔ)教學(xué),2023,44(1):82-89.