基于主題詞表的數(shù)字檔案館概念搜索引擎設(shè)計(jì)與實(shí)現(xiàn)

1、數(shù)字檔案館傳統(tǒng)檢索方式存在的問(wèn)題

傳統(tǒng)的數(shù)字檔案館檢索都是基于關(guān)鍵詞匹配的全文檢索(或其他關(guān)鍵字檢索，如標(biāo)題檢索)，只要文章中存在用戶(hù)輸人的詞，該文章即被命中。這種傳統(tǒng)的檢索方式局限于表面形式，在普通的網(wǎng)絡(luò)搜索引擎中尚可滿(mǎn)足用戶(hù)需求，但在數(shù)字檔案館這種對(duì)于查全率查準(zhǔn)率要求極高的環(huán)境下卻無(wú)法勝任。

首先，由于普通用戶(hù)的專(zhuān)業(yè)知識(shí)不強(qiáng)，經(jīng)常對(duì)檢索詞表達(dá)不清。用戶(hù)在使用檢索詞時(shí)往往無(wú)法表達(dá)一個(gè)確切概念，如對(duì)于“計(jì)算機(jī)”這個(gè)詞，可能有多種表達(dá)方式，由于這些詞匯在形式上的差異，導(dǎo)致用戶(hù)檢索往往無(wú)法命中。

其次，用戶(hù)在檢索一個(gè)概念時(shí)可能還希望得到與該概念有關(guān)的其他概念。這時(shí)候就需要搜索引擎對(duì)用戶(hù)提供的概念進(jìn)行擴(kuò)檢，如用戶(hù)輸入“TCP/IP”時(shí)，可能還希望得到“網(wǎng)絡(luò)協(xié)議”方面的信息。

第三，檔案記錄具備規(guī)范化的主題詞。在數(shù)字檔案館中，所有的數(shù)字檔案均有規(guī)范化的主題詞，用戶(hù)在檢索時(shí)如果能直接命中這些主題詞，那么查準(zhǔn)率將會(huì)大幅提高，但由于普通用戶(hù)對(duì)檔案主題詞并不熟悉，所以在提供檢索服務(wù)時(shí)最好能夠?qū)⒂脩?hù)提供的檢索詞轉(zhuǎn)換為標(biāo)準(zhǔn)的主題詞并進(jìn)行相關(guān)概念的擴(kuò)充檢索。

2、基于主題詞表的數(shù)字檔案館概念搜索引擎設(shè)計(jì)和實(shí)現(xiàn)

針對(duì)以上提到問(wèn)題，我們?cè)O(shè)計(jì)了一套基于詞素概念檢索的數(shù)字檔案館館內(nèi)搜索引擎，該系統(tǒng)基于主題詞表進(jìn)行概念的關(guān)聯(lián)，對(duì)用戶(hù)提出的檢索要求先進(jìn)行規(guī)范化轉(zhuǎn)換，而后再根據(jù)主題詞進(jìn)行擴(kuò)檢。

2．1 基于主題詞表的語(yǔ)義關(guān)系及其應(yīng)用需求

主題詞是經(jīng)過(guò)規(guī)范化處理的，能顯示主題詞之間語(yǔ)義關(guān)系的。有標(biāo)引和檢索意義的詞或詞組。所有有序化敘詞之和就構(gòu)成了主題詞表。主題詞表中的語(yǔ)義關(guān)系包括等同關(guān)系、屬分關(guān)系、相關(guān)關(guān)系。詞的等同關(guān)系是指一組詞或詞組在概念上完全相同或意義接近：屬分關(guān)系指概念內(nèi)涵相同、外延范圍大小不同的詞之間的關(guān)系：族首詞則是一種特殊的屬分關(guān)系，其外延范圍最大：相關(guān)關(guān)系是指概念內(nèi)涵之間語(yǔ)義聯(lián)系的詞間關(guān)系。

利用主題詞表的用代關(guān)系規(guī)范用戶(hù)提問(wèn)的主題詞、用屬分關(guān)系實(shí)現(xiàn)擴(kuò)檢，因此主題詞表在設(shè)計(jì)時(shí)應(yīng)該對(duì)Y、D、F項(xiàng)數(shù)據(jù)訪問(wèn)提供方便的人口。建立主題詞表以及范疇索引、詞族索引這將極大地方便計(jì)算機(jī)以詞表控制的自動(dòng)處理技術(shù)。當(dāng)然根據(jù)具體應(yīng)用不同需求，詞表結(jié)構(gòu)還要做一些細(xì)微調(diào)整，繼續(xù)完善后可以接入應(yīng)用系統(tǒng)，本系統(tǒng)就是根據(jù)主題詞表之間的語(yǔ)義關(guān)系來(lái)進(jìn)行概念之間的關(guān)聯(lián)的。

2．2 系統(tǒng)工作原理

用戶(hù)首先通過(guò)檢索界面輸入關(guān)鍵詞，業(yè)務(wù)層通過(guò)主題詞表對(duì)關(guān)鍵詞進(jìn)行查詢(xún)分析，并轉(zhuǎn)換為規(guī)范化的主題詞，而后再根據(jù)主題詞表當(dāng)中上位詞、下位詞和參考詞字段在數(shù)據(jù)表中進(jìn)行擴(kuò)展檢索，輸出后供用戶(hù)選擇相應(yīng)的查詢(xún)結(jié)果。例如：用戶(hù)輸入“電腦”或者“PC”一詞，查詢(xún)分析器先在主題詞表中查找該關(guān)鍵詞，而后將該關(guān)鍵詞轉(zhuǎn)換為標(biāo)準(zhǔn)主題詞“微型計(jì)算機(jī)”，再根據(jù)其下位詞“電子計(jì)算機(jī)”、上位詞“計(jì)算機(jī)”、參考詞“微機(jī)”來(lái)進(jìn)行擴(kuò)展檢索。得到四個(gè)結(jié)果集，用戶(hù)可以選擇輸出。

整個(gè)流程主要是通過(guò)主題詞表進(jìn)行概念關(guān)聯(lián)，下表是主題詞表的數(shù)據(jù)結(jié)構(gòu)：

另外，在實(shí)際使用過(guò)程中，由于各種新詞匯的不斷出現(xiàn)，經(jīng)常導(dǎo)致用戶(hù)輸入的詞匯無(wú)法在詞表中檢索到，這就需要一個(gè)及時(shí)的用戶(hù)反饋機(jī)制。針對(duì)這種現(xiàn)象，我們又設(shè)計(jì)了一個(gè)自由詞表，專(zhuān)門(mén)來(lái)存儲(chǔ)用戶(hù)輸入的新詞匯，并進(jìn)行詞頻統(tǒng)計(jì)，最后專(zhuān)家通過(guò)系統(tǒng)將這些新詞加入到主題詞表當(dāng)中或者直接上升為主題詞，保證了系統(tǒng)的實(shí)時(shí)更新。表2即為自由詞表的數(shù)據(jù)結(jié)構(gòu)。

2．3 系統(tǒng)特點(diǎn)

2．3．1 基于主題詞表的概念關(guān)聯(lián)模式。該系統(tǒng)直接采用主題詞表中各個(gè)字段之間的關(guān)聯(lián)進(jìn)行擴(kuò)展檢索，檢準(zhǔn)率和檢全率較高。

2．3．2 靈活的檢索結(jié)果控制機(jī)制。該系統(tǒng)能根據(jù)用戶(hù)不同需求對(duì)檢索結(jié)果進(jìn)行篩選，既可以輸出關(guān)鍵詞相關(guān)的所有概念的結(jié)果集，也可以讓用戶(hù)選擇性輸出，對(duì)有特定檢索要求的用戶(hù)提供了便利。

2．3．3 良好的反饋機(jī)制。該系統(tǒng)利用自由詞表進(jìn)行用戶(hù)反饋，能夠得到用戶(hù)最為關(guān)心的檢索需求，并及時(shí)對(duì)主題詞表進(jìn)行修改，進(jìn)一步提高了系統(tǒng)的檢全率。