分布式檢索在異構科技信息資源中的應用及優化

圖3 科技資源統一檢索描述語言規范(部分)

2.3 檢索結果處理

定義1對于某一特定資源R，可能會存儲在不同的科研機構內，既存在于機構U1中，也存在于機構U2中。即存在于其資源庫L1中也存在于資源庫L2中等。將這種存在資源覆蓋的情況，記為α。

定義2對于某一特定資源R，只存在于機構U1中，或者機構U2中。即存在于資源庫L1或者資源庫L2中，將這種不存在資源覆蓋的情況，記為β。

2.3.1 基于訪問代價的科技資源訪問算法

從ES的檢索結果來看，對于每一個分布的數據資源，相同記錄的訪問存在不同的訪問開銷。例如，某資源同時存儲在D1、D2兩個數據源庫上，但是用戶訪問這兩個庫的時間不同，網絡性能好的數據源能夠極大提高資源的訪問速度。所以，在檢索結果中需要根據資源的訪問時間來對對應的資源進行結果處理，生成排序結果，并利用其他工具為使用者提供建議。如圖4所示，是對各機構擁有的重復資源的訪問示意圖，針對α的情況，當用戶訪問重復資源的時間AC如圖 4中所示時，則AC=19為最終選擇的用戶最優的數據訪問路徑。

圖4 α情況下，冗余結果的最優化訪問示意圖

目前在分布式異構環境下的科技資源檢索中，衡量用戶訪問效率的最好計算方式是用戶訪問資源的時間。當不同機構中存在相同資源時，系統需要為用戶提供一條最優的訪問路徑，即需要將在最短時間內訪問到的指定資源返回給用戶。這就需要從ES訪問存儲有相同資源的不同機構的多個訪問時間中選擇最短訪問時間。

本系統是基于B/S的實現，為了準確計算用戶訪問不同機構數據源的時間，在客戶端用戶可以使用網頁版的ping.js獲取訪問存儲在不同機構的相同資源的時間t，此時得到的t是客戶端直接到機構數據源的訪問時間。算法簡單描述見算法1。

算法1QUserTRequest

Input：R,資源記錄；n，資源記錄數

Output：AC，資源訪問評估時間

1 var array;

2 var AC;

3 for each j in n

4 do

5 var t;

6 ping(j.ip).then(function(delta) {

7 t←delta;

8 array.add(j,t)

9 })

10 Done

11 AC←min(array).t

12 Return AC;

如果訪問機構U1，U2，…，Un中資源的時間分別為t1,t2,…,tn，則訪問存放相同資源的所有機構的時間集合可表示為：

T={t1,t2,…,tn}

(1)

在α情況下，需要找到集合T中的最小值作為用戶的最小訪問時間，將對應機構中的資源返回給用戶，作為用戶的最優訪問路徑。

2.3.2 算法性能分析及優化

假設某一指定查詢記錄的數據為M條，前端檢索按照PageSize分頁，滿足查詢的某一資源最多存在于N個獨立機構內。利用本文設計和實現的檢索系統創建索引，則某科技資源最多存在N條重復的索引項。某一用戶獨立訪問N個遠程機構中同一資源的時間分別為：t1,t2,…,tN。考慮從用戶前端訪問ES索引庫，響應PageSize的平均時間為Tavg，則獲取含有重復索引的一條數據記錄的總時間開銷為(AC+Tavg)，發起的請求數等于重復索引數N。假設最壞情況下，PageSize中每一條記錄都具有N個重復索引項，那么需要發起的Ajax請求為PageSize×N，例如分頁PageSize大小為15條每頁，共有3個機構，則請求為45個，這是算法2得到的請求開銷。顯然隨著分頁記錄和多個機構之間的重復數據越來越多，發起的Ajax請求也越來越大。這就需要對該請求方式進行優化，實現過程中的優化算法描述如算法2、算法3所示。

算法2Query

Input： pagesize, 分頁大小

Output：分頁中包含每條記錄所在的位置及評估時間

1 var tmp,array;;

燃燒爐內生成的有機硫是硫磺回收裝置有機硫的主要來源，而常用控制方案是將其在一級克勞斯反應器內最大限度地水解生成H 2 S，殘余有機硫在尾氣處理單元加氫水解反應器中進行轉化。在硫磺回收單元各級反應器中，通常一級反應器床層溫度為280～360℃，后續各級反應器床層溫度略低于此值，而現有工業催化劑性能存在局限性，在較低的反應溫度下對有機硫的水解催化性能均較差。尾氣處理單元加氫水解反應器床層溫度往往在240～330℃，可實現一定的末級催化加氫水解作用，現有主流尾氣處理工藝對加氫反應器后的殘余有機硫幾乎不再進行更深度的轉化，將直接被帶入灼燒爐燃燒轉化為SO2后，通過煙囪排入大氣。

2 for each i in pagesize

3 do

4 tmp.t ←UserTRequest(k,i);

5 tmp.ip ←i.ip;

6 array.push(tmp);

7 Done

算法3QueryOptimizer

Input： T, 超時時間；pagesize, 分頁大小

1 var tmp,array;

2 for each i in pagesize

3 do

4 if(array.contain(tmp)) {

5 get tmp from array;

6 if(tmp && i.ip==tmp.ip && time

7 i.t = tmp.t

8 }else{

9 tmp.t ←UserTRequest(k,i);

10 tmp.ip ←i.ip;

11 array.push(tmp);

12 }

13 } else {

14 tmp.t ←UserTRequest(k,i);

15 tmp.ip ←i.ip;

16 array.push(tmp);

17 }

18 Done

每次檢索返回的PageSize中，若滿足要求的第一條記錄包含N個索引項，則必然需要N次請求。這個請求操作是必須要發生的，用戶在查詢同一分頁中的記錄或者在T時間內發起查詢請求時，如果所查資源在同一IP內，就以第一次訪問的時間t作為當前記錄的訪問時間。這樣，N條重復記錄發起的請求數量最大為N，如前面的15條每頁，在T時間內，無論用戶獲取的記錄數為多少，發起的最大數總是等于3，與未優化之前相比減少了80%的請求數。顯然，這種方式能夠大量減少用戶提交的請求數，而其不足在于，用戶獲取的訪問時間可能因為時延等因素，導致一定的誤差，但是這種方式綜合考慮了訪問代價和性能。

3 實驗及分析

本研究主要設計了兩個實驗，首先驗證DHRS的可行性(記為：實驗一)，然后再針對DHRS中資源訪問優化算法的改進性能進行驗證(記為：實驗二)。DHRS基于Java Web實現，Java運行時版本1.7.0_79；ES版本為1.4.2，操作系統為：CentOS release 6.4，系統配置為Quad-Core AMD Opteron(TM) Processor 2352 CPU@2.10 GHz，內存為4 GB，實驗一的測試工具選用JMeter。

3.1 實驗一

3.1.1 實驗數據

本文實驗所使用的數據是由萬方提供的部分科技資源文獻300萬條真實元數據。這些數據來源于不同的服務器、不同的數據庫、不同的數據表，能夠體現資源的異構性，資源組成如表1所示。

表1 測試使用的數據源

從用戶常用查詢角度出發，根據庫中數據所代表的類型，設計了如下幾組常用的科技資源檢索條件，這些條件包括了基礎以及其組合查詢(包含了與、或、非謂詞)，同時也具有一定的代表性：

Q1：查詢“1999”年公布的科技成果；

Q2：查詢在2004年1月1日到2004年1月3日申請的專利；

Q3：查詢辦學類型中含有“高等學校”字樣的學校；

Q4：查詢涉及“能源”、“信息”、“資源”或 “資源環境”的項目；

Q5：查詢1959年到1999年成立的，職工總數在50人以上的所有機構；

Q6：查詢在北京舉辦的會議中，作者規范單位名稱中包含“上海交通大學”的中文會議論文；

Q7：查詢“2013”年發表的所有外文論文；

Q8：查詢論文編號在“28737000”與“28738000”之間和 “2111800”與“2112000”之間的所有論文；

Q9：查詢作者姓名中含有“Mariangela”的外文論文。

3.1.2 單節點檢索性能

在單機環境下，根據上述9個不同的查詢條件，分別通過DHRS和ES提交，測得其查詢響應時間如圖5所示。

圖5 DHRS系統和ES查詢的單機響應時間對比

由圖 5可以看出在進行集成測試時，DHRS的整體性能不及ES，但都能夠在50～110 ms內獲取檢索結果，可以滿足用戶需要。這些性能差異的原因是DHRS在查詢時，使用SUDL語言規范來描述查詢請求，而查詢則是基于ES實現。因此，系統需要先將SUDL語言解析成ES的標準查詢指令，查詢解析的時間開銷視查詢文件的大小而定。在DHRS系統中進行測試時，上述9個查詢條件被描述為符合SUDL規范的XML文件，其查詢文件大小都在1 KB以內，解析查詢文件的時間開銷在40～45 ms。由于解析過程占用時間開銷，DHRS系統必然比直接使用ES進行查詢耗費時間。而且對于不同的查詢請求，查詢解析的時間可能會遠大于其實際的查詢時間，例如Q4、Q5，所以與ES相比，系統的時間開銷主要在于查詢文件的解析過程。

3.1.3 多服務器檢索性能

配置DHRS系統的ES分布式檢索集群，集群節點數從1逐漸增加到6，當節點數增加到大于等于2時，數據集的所有分片及副本都將平衡分配在不同節點上。在此過程中，每增加一個節點，ES都會對索引分片和副本進行重新分配以達到負載平衡。每增加一個節點就分別對上述9個查詢請求進行一次測試，測得其查詢響應時間的變化如圖6所示。

圖6 DHRS系統的分布式集群的查詢響應時間

從圖6中可以看出，在集群節點數逐漸增加時，不同查詢條件對應的查詢時間都有不同程度的減少，并且在節點數增加到一定數量時，查詢響應時間會趨于穩定。由此，可以得到如下結論，在ES檢索集群中，上述9個檢索請求基本上都能夠在較短時間內完成。并且隨著集群節點數的增加，檢索響應時間也隨之減少，說明可以通過增加節點來提高性能。當集群數為5時，檢索性能趨于穩定，已達到當前系統軟、硬件配置為當前檢索所能提供的最大性能。

3.2 實驗二

在三臺服務器上分別部署DB1、DB2、DB3(見表1)數據庫，并利用ES分別構建索引，模擬分布式異構文獻資源，客戶端使用Chrome(版本53.0.2763.0)瀏覽器。按照15條記錄分頁，記錄大小平均1 KB，這樣可以減少DOM渲染帶來的影響，每條記錄在本實驗環境下的平均響應時間如表2所示，利用Ping.js的響應時間進行性能比較。

表2 平均響應時間

通過DHRS查詢數據返回15條分頁記錄，在客戶端通過Ajax請求對15條記錄進行數據訪問評估、測試性能如圖7所示。其中，(a)和(c)是在算法2下執行的性能；(b)和(d)在算法3下執行的性能；在(b)中，第2至第15條記錄的響應評估時間由第一條記錄估算。在(d)中第6至第8條記錄，由第5條估算，第10、12和15條以此類推。

(a) 總耗時1 067 ms

(b) 總耗時63 ms

(c) 總耗時1 055 ms

(d) 總耗時626 ms圖7 測試性能結果

本實驗在局域網內模擬不同機構提供相同數據集，通過對比實驗，評估了不同算法實際執行效果。在T=5 s的時間內，算法2每次都要對不同機構的數據訪問，這樣帶來了嚴重的性能問題，從圖7(a)和(c)可以看出總耗時在1 s以上。數據雖然在3臺服務器上都有分布，但是通過UserTRequest選中了Server2，因此數據信息均來自同一IP，所以根據算法3，圖7(b)只需要獲取第一條記錄即可知道其他記錄的訪問時間，即總耗時為63 ms，與(a)相比，性能提高了94%。圖7(d)則根據三臺服務器不同響應時間選中了不同的服務器，一旦后續數據在同一記錄上則可以很大程度減少額外開銷。在本實驗環境下較圖7(c)性能提高了41%，綜合來看性能較未優化前提高了68%，說明優化后算法3的可行性和高效性。

綜上所述，DHRS通過集成ES能夠充分利用ES的分布式檢索優勢，可以方便地整合異構科技資源。在本實驗環境給定的檢索條件下，雖然引入了中間描述語言對整體的檢索性能有一定影響，但查詢條件仍能在較短的時間內處理百萬級數據。當數據在多個機構之間存在重復記錄的時候，通過優化檢索結果訪問時間，可以極大地提高系統的性能。

4 結 語

針對實際應用需求，本文研究了基于彈性搜索技術的分布式異構科技資源的高性能檢索解決方案,重點對分布式異構科技資源檢索中出現的問題進行了分析，并給出了可行的解決方案。設計并實現了基于彈性搜索的分布式異構檢索系統DHRS以及描述異構資源查詢的中間描述語言，解決了異構科技資源的統一整合和規范化查詢問題。通過優化異構科技文獻檢索中的資源訪問算法，提高了異構文獻資源的訪問效率。該研究可為分布式科技資源統一訪問、異構科技資源數據融合提供借鑒和參考。在后續工作中將進一步優化SUDL語言的解析引擎。

[1] 焦玉英,溫有奎,陸偉,等.信息檢索新論[M]. 武漢：武漢大學出版社, 2008：1-17.

[2] Sato N, Uehara M, Sakai Y, et al. Distributed in-formation retrieval by using cooperative meta search engines[C]//IEEE. Distributed Computing Systems Workshop, 2001 International Conference on, 2001:345-350.

[3] 許靜芳. 指南針聯邦:突破集中式搜索之困[J].中國教育網絡, 2007(6):14-16.

[4] 張淵源,張琴燕,蔣關富. 面向Web電子產品信息分布式檢索系統的設計與實現[J].計算機應用, 2013,33(4):1026-1030.

[5] Cacheda F, Carneiro V, Plachouras V, et al. Performance analysis of distributed information retrieval architectures using an improved network simulation model[J]. Information Processing and Management, 2007,43(1):204-224.

[6] Paltoglou G, Salampasis M, Satratzemi M. Collection-integral source selection for uncooperative distributed information retrieval environments[J]. Information Sciences, 2010, 180(14):2763-2776.

[7] Romero-Tris C, Castellà-Roca J, Viejo A. Distributed system for private web search with untrusted partners[J]. Computer Networks, 2014,67(5):26-42.

[8] Das S, Shuster K, Wu C, et al. Mobile Agents for Distributed and Heterogeneous Information Retrieval[J]. Information Retrieval, 2005, 8(3):383-416.

[9] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing[J]. Communications of the Acm, 2010, 53(4):50-58.

[10] 吳廣印.分布式學術搜索引擎研制及其大數據應用[J].數字圖書館論壇, 2013(6):10-18.

[11] 吳廣印. RMSCloud與科技文獻云服務[J].中國科技資源導刊, 2013(5):72-78.

[12] 吳廣印. RMS系統架構與情報檢索系統的功能需求研究[J]. 數字圖書館論壇, 2013(6):31-38.

[13] Baezayates R, Castillo C, Junqueira F, et al. Challenges on Distributed Web Retrieval[C]//IEEE, International Conference on Data Engineering. IEEE, 2007:6-20.

[14] Elasticsearch[EB/OL].[2016-08-11]. http://www.elasticsearch.cn/.

[16] Apache Lucence [EB/OL].2016-08-11]. http://lucene.apach-e.org/.

[17] 陳俊杰,黃國凡. 應用Elasticsearch重構圖書館站內搜索引擎[J]. 情報探索, 2014(11):114-119.

[18] JDBC plugin for Elasticsearch[EB/OL]. [2015-05-21].http-s://github.com/jprante/elasticsearch-jdbc.

[19] 吳廣印,楊奕虹,楊賀. 從知識獲取看知識組織——基于“知識獲取五要素”的知識組織研究與實現[C]//數字圖書館高層論壇2010年年會論文集, 2010：29-36.

[20] 吳廣印. 知識獲取“五要素”的研究與實踐[C]//中國索引學會第三次全國會員代表大會暨學術論壇論文集, 2008：29.

APPLICATIONANDOPTIMIZATIONOFDISTRIBUTEDHETEROGENEOUSRETRIEVALINSCIENTIFICANDTECHNOLOGICALINFORMATIONRESOURCES

Li Cheng1Tong Bin1Liu Yingbo1,2*Wu Ping2Wang Feng1,2Wen Ruojin2Chen Yajie1

1(ComputerTechnologyApplicationKeyLaboratoryofYunnanProvince,KunmingUniversityofScienceandTechnology,Kunming650504,Yunnan,China)2(YunnanAcademyofScientificandTechnicalInformation,Kunming650500,Yunnan,China)

When using the traditional centralized retrieval method to deal with massive heterogeneous technology information resources, there are many problems such as single point of failure, poor performance and extensibility. To solve this problem, a distributed high-performance retrieval system (DHRS) applied to heterogeneous technology resources is proposed. First, key techniques of the DHRS were studied and analyzed. Aiming at the problem of large access cost of retrieval results, an evaluation algorithm based on access cost was proposed. Secondly, the algorithm was optimized according to the practical application scenario. The number of requests after optimization was reduced by 80%, and the performance in the experimental environment was improved by 68%. Finally, the test of real data sets proves the feasibility of DHRS retrieval of large amount of scientific and technological resources. It can be applied to search and extend performance requirements of the scene.

Scientific and technological resources Distributed retrieval Massive data ElasticSearch Heterogeneous resources

TP3

A

10.3969/j.issn.1000-386x.2017.10.013

2017-01-14。國家自然科學基金項目(61462053)；中國博士后科學基金項目(2016M602730)。李城，碩士，主研領域：機器學習，人機交互。童彬，碩士。劉應波，博士。鄔平，高工。王鋒，教授。文若瑾，助理研究員。陳亞杰，碩士。