基于分布式緩存的科技文獻信息動態(tài)檢索系統(tǒng)設計

鄧彬

（中國科學技術信息研究所，北京 100000）

科技文獻信息是科研人員研究科學技術及創(chuàng)新的基礎[1-3]。以往查詢科技文獻信息時，依據(jù)索引卡片查詢文獻資料位置并獲取資料。隨著信息技術及互聯(lián)網(wǎng)技術的發(fā)展與普及，信息檢索技術應運而生[4-6]。當前信息檢索技術雖已為用戶提供便利，但仍然有改進空間，用戶在使用搜索引擎時，如何迅速將用戶所需信息及其隱式需求排列在搜索結果前排，已成為研究人員所研究的熱門話題。杜瑞忠等人提出利用雙向索引查詢關鍵字方式，在簡化搜索動態(tài)更新過程的同時對信息進行加密，該方案雖然提升了搜索速度及信息安全性，但未考慮用戶隱式需求導致搜索結果關聯(lián)度不夠[7]；包翔等人提出以圖像內(nèi)容為基礎創(chuàng)建檢索系統(tǒng)框架，通過提取圖像特征包組成視覺字典，并由直方圖形式描述圖像特征獲取檢索結果，該系統(tǒng)檢索結果精準度及關聯(lián)度較高，但由于局限性強等原因只適用于圖像檢索，無法滿足用戶對文字類需求信息的檢索需求[8]。

分布式緩存是利用分布式網(wǎng)絡存儲技術，將熱門信息存儲至離系統(tǒng)用戶最近的應用或設備中,可提升用戶訪問信息速度[9-10]，因此，設計了基于分布式緩存的科技文獻信息動態(tài)檢索系統(tǒng)。

1 科技文獻信息動態(tài)檢索系統(tǒng)

1.1 檢索系統(tǒng)總體結構

科技文獻信息動態(tài)檢索系統(tǒng)能夠分解科技文獻網(wǎng)頁信息為結構化數(shù)據(jù)信息，并將該信息存儲至系統(tǒng)數(shù)據(jù)庫內(nèi)，通過系統(tǒng)軟件運行實現(xiàn)數(shù)據(jù)庫內(nèi)數(shù)據(jù)統(tǒng)計、關聯(lián)及排序等工作，為用戶提供最需要的科技文獻信息。科技文獻信息動態(tài)檢索系統(tǒng)總體結構如圖1 所示。科技文獻信息動態(tài)檢索系統(tǒng)的檢索流程為：用戶在用戶層輸入檢索需求后傳輸至處理層數(shù)據(jù)采集模塊，該模塊將采集到的信息通過網(wǎng)絡層通信模塊傳輸至數(shù)據(jù)層科技文獻信息數(shù)據(jù)庫存儲，采用分布式緩存方法對用戶以往檢索需求進行處理，并建立分布式存儲模塊內(nèi)的熱數(shù)據(jù)庫及冷數(shù)據(jù)庫；將科技文獻信息數(shù)據(jù)庫內(nèi)的信息通過網(wǎng)絡層傳輸至處理層檢索處理模塊，利用該模塊內(nèi)科技文獻信息動態(tài)檢索方法對數(shù)據(jù)庫內(nèi)信息進行檢索處理，并與數(shù)據(jù)層分布式存儲模塊內(nèi)關聯(lián)數(shù)據(jù)進行排序重組，獲取檢索結果后輸出至用戶層展示檢索結果。

圖1 檢索系統(tǒng)總體結構

1.2 檢索系統(tǒng)硬件設計

1.2.1 通信模塊

通信模塊由Web 服務技術組成，結合Web 服務技術采用Java EE 應用程序搭建分層模型，完成檢索系統(tǒng)中各層數(shù)據(jù)的傳輸。通信模塊Web 服務技術結構如圖2 所示。

圖2 通信模塊Web服務技術結構

Web 服務技術的網(wǎng)絡層主要是對處理層與數(shù)據(jù)層的信息進行交互處理，同時處理接收請求或返回信息等；處理層主要為數(shù)據(jù)采集模塊提供服務，通過對各大搜索網(wǎng)站內(nèi)的網(wǎng)頁信息進行解析處理，并將處理后的數(shù)據(jù)存儲至數(shù)據(jù)層，同時向數(shù)據(jù)庫發(fā)出檢索服務請求，整理數(shù)據(jù)庫及分布式存儲模塊與用戶請求相關聯(lián)的數(shù)據(jù)；用戶層的用戶界面顯示由JSP動態(tài)網(wǎng)頁開發(fā)技術完成。通信模塊Web 服務技術結構可以降低各模塊間的耦合程度，還可以分離業(yè)務間處理邏輯與數(shù)據(jù)顯示情況，便于日后修改或擴充用戶層與處理層。

1.2.2 分布式存儲模塊

分布式存儲模塊內(nèi)置控制器，模塊內(nèi)數(shù)據(jù)的分布式緩存均由控制器控制。控制器采用CPLD技術實現(xiàn)讀寫緩存數(shù)據(jù)、加載模式寄存器以及數(shù)據(jù)刷新等操作[11]。該控制器為通用型，適用于控制所有存儲芯片，且控制器參數(shù)可通過系統(tǒng)程序設置，初步設置控制器突發(fā)長度為1、2、4、8 字及全頁；刷新時間為自動刷新，可依據(jù)實際情況進行調(diào)整；CAS 延遲時間為2 或3 個時鐘周期；支持的數(shù)據(jù)寬度為8位、16位、32位及64位；支持存儲芯片讀寫緩存數(shù)據(jù)等全部命令操作。控制器結構如圖3 所示。

圖3 分布式存儲模塊控制器結構

控制器內(nèi)刷新模塊用于設置及調(diào)整刷新時間；管理模塊為管理芯片Bank 地址切換；命令仲裁器的作用是適時選擇合適的執(zhí)行命令；控制定時器用于為時序信號進行定時；配置模塊主要配置存儲芯片模式寄存器，設置各種可編程模式；地址生成器用于生成芯片行、列地址及選通信號；命令生成器為輸出命令仲裁結果，生成芯片控制信號控制芯片。

1.3 檢索系統(tǒng)軟件設計

1.3.1 動態(tài)檢索的分布式緩存方法

系統(tǒng)在數(shù)據(jù)層分布式存儲模塊設計動態(tài)檢索的分布式緩存方法，通過用戶使用系統(tǒng)所產(chǎn)生的最近訪問時間及歷史訪問次數(shù)制定緩存替換策略，插入熱數(shù)據(jù)至系統(tǒng)緩存數(shù)據(jù)中，替換溫數(shù)據(jù)及冷數(shù)據(jù)，提升用戶訪問數(shù)據(jù)的緩存命中率，降低由系統(tǒng)緩存產(chǎn)生的計算開銷及不必要的磁盤訪問。動態(tài)檢索的分布式緩存方法流程如圖4 所示。

圖4 動態(tài)檢索的分布式緩存方法流程

用戶通過登錄檢索系統(tǒng)進入用戶端，系統(tǒng)依據(jù)用戶對數(shù)據(jù)的最近訪問時間及歷史訪問次數(shù)判斷數(shù)據(jù)熱度，并將熱度最高的數(shù)據(jù)優(yōu)先排列形成數(shù)據(jù)序列，數(shù)據(jù)序列中的數(shù)據(jù)按照從前到后的順序依次為熱數(shù)據(jù)、溫數(shù)據(jù)、冷數(shù)據(jù)，當緩存占用率超出系統(tǒng)緩存閾值時剔除冷數(shù)據(jù)緩存。若用戶發(fā)起讀寫請求，采用邏輯劃分方式將原有數(shù)據(jù)序列劃分為多個數(shù)據(jù)序列進行更新，可以降低鎖粒度及I/O 時延。

考慮到系統(tǒng)發(fā)生網(wǎng)絡擁塞或內(nèi)存節(jié)點故障時會導致緩存信息丟失，動態(tài)檢索的分布式緩存采用定期打包的方式整理緩存數(shù)據(jù)并寫入邏輯，利用檢查點將打包后的緩存數(shù)據(jù)持久化至數(shù)據(jù)庫中[12]。針對已丟失的緩存信息，可以依據(jù)數(shù)據(jù)庫日志信息進行重建。該方式可以確保檢索系統(tǒng)在緩存信息丟失的狀態(tài)下正常運行，增強檢索系統(tǒng)的容錯性。

動態(tài)檢索的分布式緩存方法核心是緩存替換策略，緩存替換策略的作用是提升緩存命中率，當檢索系統(tǒng)緩存已滿時需及時剔除冷數(shù)據(jù)，選取用戶最近未訪問且訪問次數(shù)最少的冷數(shù)據(jù)緩存作為剔除對象，以此類推獲取更多內(nèi)存空間緩存新數(shù)據(jù)[13]。該策略以用戶最近及歷史訪問記錄為基礎，判斷冷數(shù)據(jù)范圍并替換用戶需求數(shù)據(jù)，同時設計緩存完整數(shù)據(jù)與僅緩存元數(shù)據(jù)的兩級緩存，既提升了數(shù)據(jù)緩存量，又確保了冷數(shù)據(jù)剔除的準確性。緩存替換策略鏈表結構如圖5 所示。

圖5 緩存替換策略鏈表結構

最近訪問數(shù)據(jù)鏈表與最常訪問數(shù)據(jù)鏈表中的數(shù)據(jù)塊均依據(jù)訪問時間進行有限序列排列。若用戶正在訪問某數(shù)據(jù)，檢索系統(tǒng)緩存該數(shù)據(jù)塊時，將該數(shù)據(jù)塊插入最近訪問數(shù)據(jù)鏈表中，以此替換鏈表中最后一個數(shù)據(jù)塊；若該鏈表中即將被替換的數(shù)據(jù)塊被用戶二次訪問，則將該數(shù)據(jù)塊插入最常訪問數(shù)據(jù)鏈表1號數(shù)據(jù)塊處，其余數(shù)據(jù)塊后退一步，淘汰鏈表末尾數(shù)據(jù)塊完成緩存替換。

若用戶訪問某數(shù)據(jù)時，緩存占用率超出系統(tǒng)緩存閾值，則刪除鏈表內(nèi)最近最少使用的數(shù)據(jù)元素，同時將與該數(shù)據(jù)對應的元數(shù)據(jù)信息存儲至最近訪問淘汰頁鏈表與最常訪問淘汰頁鏈表中，淘汰頁鏈表僅存儲訪問索引，不存儲數(shù)據(jù)。在刪除鏈表數(shù)據(jù)元素至淘汰頁鏈表時，鏈表內(nèi)數(shù)據(jù)元素均傳輸至與其相對應的淘汰頁鏈表內(nèi)，并釋放被刪除數(shù)據(jù)塊在原鏈表內(nèi)所占空間[14]。

若用戶所訪問的數(shù)據(jù)在淘汰頁鏈表內(nèi)，則需從數(shù)據(jù)庫內(nèi)讀取用戶所需數(shù)據(jù)元素，同時將該數(shù)據(jù)插入最近訪問數(shù)據(jù)鏈表中。動態(tài)檢索的分布式緩存方法能夠通過各淘汰頁鏈表內(nèi)發(fā)生的偽命中次數(shù)，動態(tài)調(diào)整最近訪問數(shù)據(jù)鏈表與最常訪問數(shù)據(jù)鏈表應包含元素的數(shù)量。

動態(tài)檢索的分布式緩存方法通過建立元數(shù)據(jù)緩存，迅速讀取剛被淘汰的緩存數(shù)據(jù)，且依據(jù)用戶最近訪問時間及歷史訪問次數(shù)識別熱數(shù)據(jù)，提升緩存內(nèi)數(shù)據(jù)塊被用戶選擇的潛力。

1.3.2 科技文獻信息動態(tài)檢索

檢索系統(tǒng)處理層檢索處理模塊選取Lucene 項目設計完整科技文獻信息動態(tài)檢索引擎，該項目是一個以Java 為基礎的可擴展開源搜索項目，具有全文檢索及搜尋引擎架構。檢索系統(tǒng)在Lucene 搜尋引擎架構的基礎上，通過確定檢索科技文獻目標信息并重組相似類型科技文獻索引信息，提升系統(tǒng)檢索速度。為確定檢索科技文獻目標信息位置，分別從目標信息位于標題處及正文處兩個方面進行優(yōu)化確定，設置檢索系統(tǒng)科技文獻信息數(shù)據(jù)庫中目標信息位于標題處的權重表達式為：

式中，a為檢索科技文獻目標信息；d為數(shù)據(jù)庫內(nèi)全部網(wǎng)絡資源的索引信息；δ為目標信息出現(xiàn)于標題內(nèi)的次數(shù)；ωa∈d,title為目標信息在查詢標題處的位置權重；σa∈d,title為目標信息的關鍵詞數(shù)量。

設置檢索系統(tǒng)科技文獻信息數(shù)據(jù)庫中目標信息位于正文處的權重表達式為：

式中，ωa∈d,text與θ分別為目標信息出現(xiàn)于正文內(nèi)的位置權重及次數(shù)；σa∈d,text為目標信息的關鍵詞數(shù)量；|f|為數(shù)據(jù)庫內(nèi)待檢索特征詞的全部數(shù)量。確定檢索科技文獻目標信息位置后，設計科技文獻信息動態(tài)檢索流程，如圖6 所示。用戶在檢索系統(tǒng)搜索引擎中輸入檢索信息，檢索系統(tǒng)從科技文獻信息數(shù)據(jù)庫提取待索引信息數(shù)據(jù)為字符串型數(shù)據(jù)，分詞處理字符串同時寫入索引文件內(nèi)，讀取索引文件內(nèi)索引并對熱數(shù)據(jù)庫中的索引信息進行分詞處理，依據(jù)搜索索引判斷兩種信息是否為相似類型信息，若是相似類型信息，則將兩種信息依據(jù)關聯(lián)程度進行排序重組，獲取檢索結果；若不是相似類型信息，則將該信息返回至分布式存儲模塊內(nèi)等待下次搜索。

圖6 科技文獻信息動態(tài)檢索流程

采用動態(tài)檢索的分布式緩存方法建立元數(shù)據(jù)緩存并獲取熱數(shù)據(jù)，利用目標信息在標題處及正文處的位置權重，設置檢索系統(tǒng)的加載內(nèi)容，通過Lucene搜尋引擎架構檢測數(shù)據(jù)，獲取子類元數(shù)據(jù)同時與熱數(shù)據(jù)庫內(nèi)的數(shù)據(jù)進行關聯(lián)排序重組，完成基于分布式緩存的科技文獻信息動態(tài)檢索系統(tǒng)軟件設計。

2 實例分析

為驗證所研究基于分布式緩存的科技文獻信息動態(tài)檢索系統(tǒng)整體性能，實驗將系統(tǒng)應用于某科技大學圖書館內(nèi)，該學校師生共計22 578人，圖書館建筑面積5 219 m2，館內(nèi)藏書25 萬余冊。實驗選取自動化測試工具JMeter 模擬不同的工作負載，并設置負載工具測試參數(shù)為128；系統(tǒng)存儲大小為256 GB；分布式存儲模塊大小為64 GB；分布式對象存儲大小為1 MB。

IOPS(系統(tǒng)每秒讀寫次數(shù))是衡量系統(tǒng)存儲性能的關鍵指標。為驗證系統(tǒng)在負載狀態(tài)下的運行性能，通過JMeter 自動化測試工具為系統(tǒng)加載不同程度的請求數(shù)據(jù)，并對請求數(shù)據(jù)進行隨機讀寫操作請求，獲取測試系統(tǒng)IOPS 及讀寫寬帶等數(shù)據(jù)。不同負載下設計系統(tǒng)運行性能測試結果如圖7 所示。通常以4 kB 大小的數(shù)據(jù)塊為基準測試系統(tǒng)IOPS，采用JMeter 測試工具對系統(tǒng)加載4～40 kB 的請求數(shù)據(jù)，并對系統(tǒng)進行隨機讀寫的操作，IOPS 隨機讀取值為1 700～1 900，隨機寫入值為230～510，通過IOPS 隨機讀寫值可知，設計系統(tǒng)存儲數(shù)據(jù)不卡頓，隨機讀寫速度較快；圖7(b)中設置請求數(shù)據(jù)量為1～10 MB，隨機讀取帶寬為820～870 MB/s，隨機寫入帶寬為410～450 MB/s，由此可知，設計系統(tǒng)傳輸數(shù)據(jù)能力較強，系統(tǒng)響應時間較快。

圖7 檢索系統(tǒng)運行性能測試結果

全類平均正確率(MAP)是評價檢索系統(tǒng)多次查詢的平均準確率衡量指標，為驗證設計系統(tǒng)的檢索性能，實驗選取500 位在校學生作為研究對象，分別操作文獻[7]基于雙向索引的高效連接關鍵字查詢動態(tài)檢索加密系統(tǒng)、文獻[8]基于特征包的數(shù)字圖書館圖像檢索系統(tǒng)以及設計系統(tǒng)，每人檢索10 條科技文獻信息，通過MAP 指標對比三個系統(tǒng)的檢索性能，對比結果如圖8 所示。

圖8 三個系統(tǒng)檢索性能對比結果

由圖8 可知，通過50 位在校學生的多次查詢對比結果可知，三個系統(tǒng)的MAP 值均在0.85 以上，總體檢索性能都比較良好，其中系統(tǒng)的MAP 值始終位于0.95 以上，MAP 值明顯高于文獻[7]及文獻[8]系統(tǒng)，用戶輸入的檢索關鍵詞與系統(tǒng)檢索結果關聯(lián)度越高，MAP 值越高，由此可知系統(tǒng)的檢索性能較好。

3 結論

在傳統(tǒng)檢索系統(tǒng)中，文獻信息內(nèi)出現(xiàn)的檢索字詞都會作為檢索結果展示出來，導致用戶體驗感較差。基于此，設計基于分布式緩存的科技文獻信息動態(tài)檢索系統(tǒng)，采用分布式緩存及動態(tài)檢索的方式，同時考慮用戶最近經(jīng)常訪問的文獻信息與檢索字詞在標題處及正文處的位置權重，結合數(shù)據(jù)庫內(nèi)最新科技文獻資料，為用戶檢索出最優(yōu)質(zhì)的檢索結果，滿足用戶檢索需求，提升用戶的檢索體驗。