一種面向電力的智能分詞方法

江蘇省電力有限公司 張首魁 仇晨光 李藝豐 曹 帥 崔占飛 梁文騰 李彥柳

隨著信息化水平的不斷提升，搜索引擎的不斷發(fā)展，作為其基礎(chǔ)的各種中文分詞算法的應(yīng)用越來(lái)越成熟和廣泛。目前主流的中文分詞方法很多，算法也各不相同。但成功將分詞方法應(yīng)用于電網(wǎng)調(diào)度的案例很少，這一方面是由于電網(wǎng)信息系統(tǒng)的安全要求很高，不能直接連接到信息外網(wǎng)，導(dǎo)致很多依賴(lài)于互聯(lián)網(wǎng)的分詞算法無(wú)法得到應(yīng)用；另一方面是因?yàn)殡娋W(wǎng)調(diào)度中所使用到的很多電力詞匯、設(shè)備命名無(wú)法被大眾化的分詞算法所解析。

1 主流中文分詞方法

1.1 主流中文分詞現(xiàn)狀

中文分詞技術(shù)屬于自然語(yǔ)言處理技術(shù)范疇，目前主流的中文分詞方法主要包括三種：

基于規(guī)則的分詞方法是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串則匹配成功。其常用的方法包括正向最大匹配法、逆向最大匹配法、最少切分法、雙向匹配法等。然而在這種模式下的分詞結(jié)果精度還遠(yuǎn)不能滿(mǎn)足實(shí)際需要，在此基礎(chǔ)上還需使用一系列的方法來(lái)改進(jìn)，如特征掃描或標(biāo)志切分或詞類(lèi)標(biāo)注輔助決策等，這是目前使用較多的分詞方法。

基于理解的分詞方法是在分詞的同時(shí)進(jìn)行句法、語(yǔ)義分析，利用句法信息和語(yǔ)義信息來(lái)處理歧義現(xiàn)象，通常包括分詞子系統(tǒng)、句法語(yǔ)義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)模擬了人對(duì)語(yǔ)句的理解過(guò)程。這種分詞方法需使用大量語(yǔ)言知識(shí)和信息。由于漢語(yǔ)語(yǔ)言知識(shí)的籠統(tǒng)、復(fù)雜性，很難將語(yǔ)言信息組織成機(jī)器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗(yàn)階段。

基于統(tǒng)計(jì)的分詞方法按照字與字相鄰共現(xiàn)的頻率或概率反映成詞的可信度，從而可對(duì)語(yǔ)句中相鄰共現(xiàn)的各個(gè)字組合的頻度進(jìn)行統(tǒng)計(jì)，計(jì)算它們按照指定順序共同出現(xiàn)概率，然后提取出出現(xiàn)概率最高的詞匯，進(jìn)一步完成分析。為減少在此過(guò)程中識(shí)別的無(wú)意義詞匯，統(tǒng)計(jì)分詞系統(tǒng)要使用一部基本的分詞詞典進(jìn)行串匹配分詞，同時(shí)使用統(tǒng)計(jì)方法識(shí)別一些新詞，即將統(tǒng)計(jì)和串匹配結(jié)合，既發(fā)揮匹配分詞切分速度快、效率高的特點(diǎn)，又利用了統(tǒng)計(jì)分詞結(jié)合上下文識(shí)別生詞、自動(dòng)消除歧義的優(yōu)點(diǎn)。目前任何一個(gè)成熟的分詞系統(tǒng)來(lái)說(shuō)，不可能單獨(dú)依靠某一種算法來(lái)實(shí)現(xiàn)，都需綜合不同的算法[1]。

1.2 主流中文分詞電力應(yīng)用

目前，以上所描述的幾種主流中文分詞方法不能很好的應(yīng)用于電力系統(tǒng)中，這一方面是由于電力系統(tǒng)的安全性要求，電力分詞只能是在局域網(wǎng)的范圍內(nèi)實(shí)現(xiàn)；另一方面電力詞庫(kù)是不定的、無(wú)意義的、可擴(kuò)展的，同時(shí)分詞效率要求很高。以調(diào)控智能操作票系統(tǒng)中所使用到的針對(duì)電網(wǎng)操作術(shù)語(yǔ)為例。以常見(jiàn)的電網(wǎng)操作術(shù)語(yǔ)“德安1234線由運(yùn)行轉(zhuǎn)熱備用”進(jìn)行分詞說(shuō)明，為支撐后續(xù)的電網(wǎng)操作校核，需將本術(shù)語(yǔ)按照規(guī)則“{線路}由{初始狀態(tài)}轉(zhuǎn){末狀態(tài)}”解析出其中所包含的設(shè)備、狀態(tài)、動(dòng)作信息。

在綜合使用常見(jiàn)的分詞方法后，在不使用設(shè)備庫(kù)的情況下其分詞結(jié)果是“德/安/1234/線/由/運(yùn)行/轉(zhuǎn)/熱備用”,設(shè)備信息存在錯(cuò)誤，這是由于德安1234線是設(shè)備名稱(chēng)，并不是常用詞匯。在使用設(shè)備庫(kù)作為詞庫(kù)后可得到正確分詞結(jié)果。然而由于設(shè)備庫(kù)的詞匯量太大，一般都在10W 級(jí)，造成了分詞的效率較低或內(nèi)存使用率太高，這些都是不合理的，基本不能滿(mǎn)足當(dāng)前電力系統(tǒng)的使用需要。同時(shí)，在進(jìn)行相應(yīng)的分詞后無(wú)法對(duì)分詞的結(jié)果進(jìn)行語(yǔ)義化的分析，獲取出其中所需的設(shè)備等信息，所以還不足以很好支撐后續(xù)的智能化應(yīng)用[2]。因此需研究一種面向電力的智能分詞方法，在電力內(nèi)網(wǎng)范圍內(nèi)進(jìn)行智能分詞的同時(shí)，獲取分詞結(jié)果中各個(gè)詞匯的語(yǔ)義結(jié)果，從而進(jìn)行后續(xù)的分析。

2 電力智能分詞實(shí)現(xiàn)

2.1 實(shí)現(xiàn)目標(biāo)

本文提出一種基于規(guī)則庫(kù)進(jìn)行電力語(yǔ)義分析的智能分詞方法，在準(zhǔn)確、高效的前提下使分詞結(jié)果中的內(nèi)容帶有語(yǔ)義識(shí)別，可在后期進(jìn)行理解，從而支撐后續(xù)的智能化應(yīng)用。按照電力系統(tǒng)的場(chǎng)景要求，這種智能分詞必須做到：

高效。效率是智能分詞算法的一個(gè)重要評(píng)價(jià)指標(biāo)。目前在電力應(yīng)用環(huán)境下，智能分詞作為一系列高級(jí)應(yīng)用的基礎(chǔ)，在詞庫(kù)無(wú)法精確確定的情況下也要求分詞結(jié)果能在毫秒級(jí)實(shí)現(xiàn)；設(shè)備庫(kù)可擴(kuò)展兼容。隨著電網(wǎng)的快速發(fā)展，越來(lái)越多的設(shè)備在進(jìn)行投運(yùn)、退運(yùn)等。按照電網(wǎng)設(shè)備的命名規(guī)則，設(shè)備名稱(chēng)基本上都是新的，沒(méi)有辦法在現(xiàn)有任何詞庫(kù)中找到。這是一個(gè)持續(xù)性的過(guò)程，這就需要在本智能分詞方法中提供一種設(shè)備庫(kù)的擴(kuò)展規(guī)則，并在設(shè)備庫(kù)擴(kuò)展變化的同時(shí)，對(duì)分詞的效率基本不能造成影響。

生詞自動(dòng)提醒。在電網(wǎng)進(jìn)行智能分詞的過(guò)程中，對(duì)一些可能的生詞需及時(shí)進(jìn)行提醒，從而促進(jìn)詞庫(kù)的更新。如“將AB 線由運(yùn)行轉(zhuǎn)熱備用”，在分詞完成后需提示用戶(hù)“AB 線”是否是一個(gè)新的設(shè)備，如確認(rèn)后需自動(dòng)將其作為一個(gè)新詞進(jìn)行處理；分詞結(jié)果含語(yǔ)義。對(duì)于智能分詞的結(jié)果，各個(gè)詞匯段需要包含其含義，比如操作術(shù)語(yǔ)“將AB 線由運(yùn)行轉(zhuǎn)熱備用”進(jìn)行分詞之后，需在結(jié)果中將“AB 線”作為設(shè)備，“運(yùn)行”、“熱備用”作為狀態(tài)，“轉(zhuǎn)”作為動(dòng)作進(jìn)行處理，從而為后續(xù)的模擬演示、高級(jí)校核等功能提供更好的支撐。

2.2 分詞設(shè)計(jì)

在電力系統(tǒng)中，與外部系統(tǒng)很不相同的是各種術(shù)語(yǔ)都是規(guī)范化的、有規(guī)律的。因此，在本文中基于電力系統(tǒng)的語(yǔ)言規(guī)則設(shè)計(jì)出一種智能分詞方法。分詞的步驟如下：讀取電力語(yǔ)言規(guī)則庫(kù)，并將其以樹(shù)形結(jié)構(gòu)進(jìn)行表達(dá)；預(yù)處理階段按照電力規(guī)范化詞匯將語(yǔ)句中的各類(lèi)別名等替換成為標(biāo)準(zhǔn)命名，同時(shí)將待分詞的段落按標(biāo)點(diǎn)符號(hào)打散成句子；將各個(gè)句子在樹(shù)狀結(jié)構(gòu)中遍歷，進(jìn)行關(guān)鍵詞匹配，從而找到該句所對(duì)應(yīng)的規(guī)則；按照該電力規(guī)則對(duì)語(yǔ)句進(jìn)行分段，從而得到詞匯組，以及該組中各個(gè)詞匯的屬性含義。在這種分詞設(shè)計(jì)中，其字符匹配效率是線性的，同時(shí)也是可以隨時(shí)進(jìn)行擴(kuò)展的，分詞的結(jié)果中各個(gè)詞匯也都能具備各自的含義。

2.3 分詞關(guān)鍵點(diǎn)

2.3.1 電力規(guī)則樹(shù)

在電力語(yǔ)言的智能分詞過(guò)程中，需讀取電力語(yǔ)言的規(guī)則庫(kù)，建立規(guī)則樹(shù)。電力規(guī)則的語(yǔ)言描述是使用術(shù)語(yǔ)結(jié)構(gòu)，如：“將{線路}由{初始狀態(tài)}改為{末狀態(tài)}”、“{開(kāi)關(guān)}由{初始狀態(tài)}轉(zhuǎn){末狀態(tài)}”、“斷開(kāi){開(kāi)關(guān)}”等。其中“{線路}”、“{開(kāi)關(guān)}”是設(shè)備；“{初始狀態(tài)}”、“{末狀態(tài)}”是狀態(tài)；“轉(zhuǎn)”是動(dòng)作等規(guī)則各個(gè)分段的含義已經(jīng)適用分詞屬性庫(kù)進(jìn)行描述。上述規(guī)則可以讀入到規(guī)則樹(shù)中，規(guī)則樹(shù)的根節(jié)點(diǎn)是一個(gè)虛擬節(jié)點(diǎn)，第一層子節(jié)點(diǎn)則是各個(gè)規(guī)則的第一個(gè)部分，后面依次是各個(gè)部分。這三條規(guī)則在規(guī)則樹(shù)中可以描述如圖1。

圖1 規(guī)則樹(shù)建立

圖1所示，在電力規(guī)則庫(kù)讀取完成后可形成完整的規(guī)則樹(shù)。在這個(gè)樹(shù)中包含了所有需使用到的電力術(shù)語(yǔ)規(guī)則，所有的電力系統(tǒng)中需使用到的術(shù)語(yǔ)都可在這個(gè)樹(shù)中找到對(duì)應(yīng)的節(jié)點(diǎn)路徑。

2.3.2 規(guī)則匹配

在規(guī)則樹(shù)建立完成后，可將具體的電力語(yǔ)句與規(guī)則樹(shù)中的規(guī)則進(jìn)行匹配。匹配的規(guī)則是使用遞歸的形式進(jìn)行實(shí)現(xiàn)，具體如下：首先讀取規(guī)則樹(shù)的第一層節(jié)點(diǎn)，與語(yǔ)句的開(kāi)頭進(jìn)行比較，如果相同，則將語(yǔ)句的開(kāi)頭部分去除之后與該相同節(jié)點(diǎn)的子樹(shù)進(jìn)行比較。如果沒(méi)有找到相同項(xiàng)目，則讀取規(guī)則樹(shù)中以不規(guī)則項(xiàng)如“{線路}”等開(kāi)頭的節(jié)點(diǎn)的子樹(shù)的第二層節(jié)點(diǎn)，找到固定項(xiàng)并與本語(yǔ)句中的內(nèi)容進(jìn)行比較，找到所有對(duì)應(yīng)項(xiàng)并對(duì)每一個(gè)對(duì)應(yīng)項(xiàng)的子樹(shù)與子語(yǔ)句的對(duì)應(yīng)關(guān)系進(jìn)行比較，直到找到最接近項(xiàng)，從而最終實(shí)現(xiàn)語(yǔ)句與規(guī)則之間的對(duì)應(yīng)。2.3.3 按規(guī)則分詞

在規(guī)則與語(yǔ)句間實(shí)現(xiàn)了對(duì)應(yīng)后，可按照規(guī)則實(shí)現(xiàn)對(duì)語(yǔ)句的分詞。在此分詞的實(shí)現(xiàn)過(guò)程中可按照關(guān)鍵字進(jìn)行分段分詞，也可與現(xiàn)有依賴(lài)于詞庫(kù)的主流中文分詞方法進(jìn)行結(jié)合，從而得到對(duì)應(yīng)的分詞結(jié)果。由于在規(guī)則庫(kù)中已描述了具體規(guī)則的每一個(gè)分段的含義，所以，分詞的同時(shí)已完成了生詞的識(shí)別及分段中內(nèi)容屬性含義的識(shí)別。因此分詞的結(jié)果中已能夠包含設(shè)備、狀態(tài)、動(dòng)作等具體的情況描述，從而更好的支撐電網(wǎng)系統(tǒng)中的各個(gè)高級(jí)應(yīng)用[3]。

綜上，隨著信息化水平的不斷提高，電力產(chǎn)品需要實(shí)現(xiàn)智能化，但主流中文分詞方法在效率、詞庫(kù)建設(shè)等方面不能完全滿(mǎn)足電力系統(tǒng)的智能化的基礎(chǔ)需要。本文提出一種面向電力的智能分詞的實(shí)現(xiàn)，貼近電力系統(tǒng)的要求，更加高效的為電力系統(tǒng)中的高級(jí)智能化應(yīng)用提供支撐，但該方法的成效還需與實(shí)際結(jié)合不斷進(jìn)行完善和應(yīng)用。