淺談中文檢索相關(guān)技術(shù)的研究與應(yīng)用

【摘 要】 隨著科學(xué)技術(shù)與網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)信息席卷全球，產(chǎn)生了大量的文本、圖像、多媒體等各種形式的電子信息資源。為了如何能在海量的文本信息中找到人們的需求，就迫切需要一個(gè)高效的檢索工具。那么怎樣高效的存儲(chǔ)和查詢文本這種非結(jié)構(gòu)數(shù)據(jù)，是一個(gè)頗值得研究的問題.其中中文檢索技術(shù)的研究與應(yīng)用成為一個(gè)熱點(diǎn)話題。

【關(guān)鍵詞】 中文檢索技術(shù) 研究與應(yīng)用

本文對中文檢索技術(shù)的研究與應(yīng)用進(jìn)行了如下淺析，如何利用新技術(shù)、改善檢索系統(tǒng)的結(jié)構(gòu)、提高檢索系統(tǒng)的性能和效率、加快檢速度、不斷適應(yīng)網(wǎng)絡(luò)信息發(fā)展等方面做了重點(diǎn)研究。

1. 全文索引技術(shù)

全文索引技術(shù)是目前搜索引擎的關(guān)鍵技術(shù)。原理是先定義一個(gè)詞庫，然后在文章中查找每個(gè)詞條出現(xiàn)的頻率和位置，把這樣的頻率和位置信息按照詞庫的順序歸納，這樣就相當(dāng)于對文件建立了一個(gè)以詞庫為目錄的索引，這樣查找某個(gè)詞的時(shí)候就能很快的定位到該詞出現(xiàn)的位置。 問題是在處理英文文檔的時(shí)候顯然這樣的方式是非常好的，因?yàn)橛⑽淖匀坏谋豢崭穹殖扇舾稍~，只要我們有足夠大的詞匯庫就能很好的處理。但是中文字符因?yàn)闆]有空格作為斷詞標(biāo)志，所以就很難判斷一個(gè)詞，而且人們使用的詞匯在不斷的變化，而維護(hù)一個(gè)可擴(kuò)展的詞匯庫的成本是很高的，所以問題出現(xiàn)了。解決出現(xiàn)這樣的問題使“分詞”成為全文索引的關(guān)鍵技術(shù)。目前有兩種基本的方法：

二元法：它把所有有可能的每兩兩漢字的組合看為一個(gè)詞組，這樣就沒有維護(hù)詞庫的開銷。 詞庫法：它使使用詞庫中的詞作為切分的標(biāo)準(zhǔn)，這樣也出現(xiàn)了詞庫跟不上詞匯發(fā)展的問題，除非你維護(hù)詞庫。

實(shí)際上現(xiàn)在很多著名的搜索引擎都使用了多種分詞的辦法，比如“正向最大匹配”+“逆向最大匹配”，基于統(tǒng)計(jì)學(xué)的新詞識(shí)別，自動(dòng)維護(hù)詞庫等技術(shù)，但是顯然這樣的技術(shù)還沒有做到完美。

2. 中文全文檢索系統(tǒng)

中文全文檢索技術(shù)的研發(fā)始于1987年左右，主要使用的是中文分詞技術(shù)，眾所周知，英文是以詞為單位的，詞和詞之間是靠空格隔開，而中文是以字為單位，句子中所有的字連起來才能描述一個(gè)意思，把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞，其處理過程就是分詞算法。

現(xiàn)有的分詞算法可分為三大類：基于字符串匹配的分詞方法、基于理解的分詞方法和基于統(tǒng)計(jì)的分詞方法。

2.1基于字符串匹配的分詞方法這種方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞）。按照掃描方向的不同，串匹配分詞方法可以分為正向匹配和逆向匹配；按照不同長度優(yōu)先匹配的情況，可以分為最大（最長）匹配和最小（最短）匹配；按照是否與詞性標(biāo)注過程相結(jié)合，又可以分為單純分詞方法和分詞與標(biāo)注相結(jié)合的一體化方法。常用的幾種機(jī)械分詞方法如下： （1）正向最大匹配法（由左到右的方向）； （2）逆向最大匹配法（由右到左的方向）； （3）最少切分（使每一句中切出的詞數(shù)最小）。 還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。由于漢語單字成詞的特點(diǎn)，正向最小匹配和逆向最小匹配一般很少使用。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也較少。統(tǒng)計(jì)結(jié)果表明，單純使用正向最大匹配的錯(cuò)誤率為1/169，單純使用逆向最大匹配的錯(cuò)誤率為1/245。但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要。實(shí)際使用的分詞系統(tǒng)，都是把機(jī)械分詞作為一種初分手段，還需通過利用各種其它的語言信息來進(jìn)一步提高切分的準(zhǔn)確率。一種方法是改進(jìn)掃描方式，稱為特征掃描或標(biāo)志切分，優(yōu)先在待分析字符串中識(shí)別和切分出一些帶有明顯特征的詞，以這些詞作為斷點(diǎn)，可將原字符串分為較小的串再來進(jìn)機(jī)械分詞，從而減少匹配的錯(cuò)誤率。另一種方法是將分詞和詞類標(biāo)注結(jié)合起來，利用豐富的詞類信息對分詞決策提供幫助，并且在標(biāo)注過程中又反過來對分詞結(jié)果進(jìn)行檢驗(yàn)、調(diào)整，從而極大地提高切分的準(zhǔn)確率。對于機(jī)械分詞方法，可以建立一個(gè)一般的模型，在這方面有專業(yè)的學(xué)術(shù)論文，這里不做詳細(xì)論述。

2.2基于理解的分詞方法這種分詞方法是通過讓計(jì)算機(jī)模擬人對句子的理解，達(dá)到識(shí)別詞的效果。其基本思想就是在分詞的同時(shí)進(jìn)行句法、語義分析，利用句法信息和語義信息來處理歧義現(xiàn)象。它通常包括三個(gè)部分：分詞子系統(tǒng)、句法語義子系統(tǒng)、總控部分。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進(jìn)行判斷，即它模擬了人對句子的理解過程。這種分詞方法需要使用大量的語言知識(shí)和信息。由于漢語語言知識(shí)的籠統(tǒng)、復(fù)雜性，難以將各種語言信息組織成機(jī)器可直接讀取的形式，因此目前基于理解的分詞系統(tǒng)還處在試驗(yàn)階段。

2.3基于統(tǒng)計(jì)的分詞方法從形式上看，詞是穩(wěn)定的字的組合，因此在上下文中，相鄰的字同時(shí)出現(xiàn)的次數(shù)越多，就越有可能構(gòu)成一個(gè)詞。因此字與字相鄰共現(xiàn)的頻率或概率能夠較好的反映成詞的可信度。可以對語料中相鄰共現(xiàn)的各個(gè)字的組合的頻度進(jìn)行統(tǒng)計(jì)。

雖然有了成熟的分詞算法，但是中文是一種十分復(fù)雜的語言，讓計(jì)算機(jī)理解中文語言更是困難。在中文分詞過程中，有兩大難題一直沒有完全突破。

（1）歧義識(shí)別。歧義是指同樣的一句話，可能有兩種或者更多的切分方法。

（2）新詞識(shí)別。新詞，專業(yè)術(shù)語稱為未登錄詞。也就是那些在字典中都沒有收錄過。

3. 發(fā)展趨勢

自主中文全文檢索技術(shù)目前已經(jīng)達(dá)到了較高水平，在傳統(tǒng)市場也獲得了很高的占有率，但是要在整體上提高中文全文檢索系統(tǒng)的水平和可用性，必須在如下幾個(gè)方面有突破：

3.1中文自然語言處理技術(shù)。無論從數(shù)據(jù)挖掘角度來提高全文檢索的查全率和查準(zhǔn)率，還是提供更易使用的自然語言查詢接口方面，中文自然語言處理仍然是關(guān)鍵因素，這也是中文全文檢索系統(tǒng)領(lǐng)先于國外同類產(chǎn)品的問題所在。

3.2全文檢索系統(tǒng)的評(píng)價(jià)。與其他領(lǐng)域一樣，我國全文檢索技術(shù)的研究和系統(tǒng)開發(fā)缺乏科學(xué)的評(píng)價(jià)，國際上TREC Conference 被認(rèn)為是最具權(quán)威的信息檢索技術(shù)評(píng)測規(guī)范，實(shí)驗(yàn)室系統(tǒng)、商業(yè)系統(tǒng)均積極參加。但國內(nèi)的系統(tǒng)至今沒有參與，要得到國際上的認(rèn)可，就必須參加TREC。

3.3系統(tǒng)的可靠性。沒有99.999％以上的可靠性，就無法適應(yīng)NonStop eBusiness（永不停頓電子商務(wù)）等關(guān)鍵業(yè)務(wù)的苛刻需求。

3.4系統(tǒng)的響應(yīng)速度。分析用戶檢索表達(dá)式的使用頻度，大大加速在子集里檢索的速度。無論數(shù)據(jù)庫多大，檢索詞的檢索速度均在1秒之內(nèi)。

實(shí)能稱為詞的那些詞。

結(jié)束語：

中文檢索技術(shù)以其較高的查準(zhǔn)率和查全率，較簡單的檢索算法走在信息檢索發(fā)展的最高端和最前沿，同時(shí)也被廣泛應(yīng)用于網(wǎng)絡(luò)信息的檢索中。隨著網(wǎng)絡(luò)信息的迅速發(fā)展，在網(wǎng)絡(luò)上信息日趨繁多和復(fù)雜的情況下，對信息檢索的要求越來越高。希望在今后的網(wǎng)絡(luò)信息發(fā)展中，有更多的人對如何更大程度的提高檢索速度和檢索效率作進(jìn)一步研究。

※注：本論文由教育廳“十二五”科學(xué)技術(shù)研究項(xiàng)目（吉教科合字【2012】第373號(hào)）支持

參考文獻(xiàn)：

[1] 顏維龍，蓋杰，武港山，袁春風(fēng).面向網(wǎng)絡(luò)的全文檢索中索引文件的組織[M].計(jì)算機(jī)應(yīng)用研究，2002:124-126.

[2] 中文搜索引擎技術(shù)揭密：中文分詞.

作者簡介：劉暢（1978.11-），女，吉林長春人， 吉林工商學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)教研室講師， 碩士學(xué)歷，研究方向：計(jì)算機(jī)網(wǎng)絡(luò)研究。

（作者單位：吉林工商學(xué)院）