屬性識別模型在搜索引擎綜合評價(jià)中的應(yīng)用研究

胡起靖

（蘇州圖書館，江蘇 蘇州 215002）

隨著現(xiàn)代互聯(lián)網(wǎng)技術(shù)的高速發(fā)展和普及應(yīng)用，搜索引擎已成為大多數(shù)人日常生活中通過互聯(lián)網(wǎng)獲取信息不可或缺的檢索工具。開展搜索引擎的綜合評價(jià)研究，有助于為用戶選取搜索引擎運(yùn)營商以及進(jìn)一步優(yōu)化搜索服務(wù)提供參考。

搜索引擎屬于多層次、多因子的大數(shù)據(jù)系統(tǒng)[1]。對搜索引擎進(jìn)行系統(tǒng)的評價(jià)研究應(yīng)當(dāng)避免不同搜索引擎之間較多的指標(biāo)差異給用戶造成選擇的困難。綜合評價(jià)法具有綜合性和系統(tǒng)性，能夠綜合多方面的指標(biāo)信息，通過數(shù)學(xué)模型進(jìn)行系統(tǒng)化信息處理和分析，進(jìn)而得到總體化的評價(jià)結(jié)果，在實(shí)現(xiàn)多層次、多因子復(fù)雜系統(tǒng)的系統(tǒng)描述方面作用突出[2]。綜合評價(jià)法可以融合多種評價(jià)方法進(jìn)行組合應(yīng)用，實(shí)現(xiàn)評價(jià)過程主觀評價(jià)與客觀評價(jià)相結(jié)合、定量研究與定性研究相輔相成，能夠保證得到較高科學(xué)性和可信度的評價(jià)研究結(jié)果，因此在系統(tǒng)綜合評價(jià)中得到廣泛應(yīng)用[3]。

目前應(yīng)用于搜索引擎的綜合評價(jià)方法有主成分分析法、TOPSIS 法、因子分析法、灰色評價(jià)模型等，這些模型方法在搜索引擎綜合評價(jià)中均是以指標(biāo)計(jì)量數(shù)據(jù)或者收集的用戶體驗(yàn)反饋信息中的單獨(dú)一種為研究對象。例如，在應(yīng)用于評價(jià)指標(biāo)計(jì)量數(shù)據(jù)的綜合評價(jià)研究方面，陳弄祺[4]采用主成分分析法，通過查詢官方網(wǎng)站提取評價(jià)指標(biāo)原始數(shù)據(jù)并進(jìn)行主成分分析，對5個搜索引擎實(shí)現(xiàn)了綜合評價(jià)優(yōu)劣排序；方曦[5]采用TOPSIS法對4大熱門中文搜索引擎的13項(xiàng)評價(jià)指標(biāo)數(shù)值的進(jìn)行了實(shí)證研究，獲得了4個搜索引擎的優(yōu)劣排序綜合評價(jià)結(jié)果。在應(yīng)用于戶體驗(yàn)反饋信息的綜合評價(jià)研究方面，王惠[6]采用因子分析法，將通過問卷調(diào)查得到的各指標(biāo)用戶滿意程度評分進(jìn)行主因子特征值和特征向量處理，對搜索引擎的用戶滿意度進(jìn)行綜合評價(jià)；汪新凡[7]采用灰色評價(jià)模型，將專家對搜索引擎檢索使用性能的打分處理成1個描述不同灰類程度的權(quán)向量，然后再進(jìn)行單值化處理得到綜合評價(jià)值，進(jìn)而實(shí)現(xiàn)對不同搜索引擎的排序優(yōu)選評價(jià)；謝人強(qiáng)[8]通過建立線性評價(jià)函數(shù)，將專家對各項(xiàng)指標(biāo)評價(jià)的平均得分代入計(jì)算，以此得到搜索引擎的綜合評價(jià)結(jié)果；唐曦[9]采用模糊評價(jià)方法，以用戶分類問卷調(diào)查獲取原始數(shù)據(jù)，系統(tǒng)評估國內(nèi)外主流互聯(lián)網(wǎng)地圖搜索引擎的視覺質(zhì)量。

屬性識別模型是上世紀(jì)末程乾生教授基于屬性集理論和屬性測度概念提出的綜合評價(jià)方法[10]，在對評價(jià)對象的優(yōu)劣等級判定和比較分析上，該模型較好地克服了模糊數(shù)學(xué)模型等方法的某些不足[11]，相較于綜合指數(shù)法更加科學(xué)有效[12]，已廣泛應(yīng)用于多維度復(fù)雜系統(tǒng)的預(yù)測、評價(jià)、決策等問題中[13-14]。本研究嘗試將屬性識別模型引入搜索引擎評價(jià)中，并分別應(yīng)用于指標(biāo)計(jì)量數(shù)據(jù)和用戶體驗(yàn)反饋信息的綜合評價(jià)和實(shí)證研究，以尋求適用于搜索引擎綜合評價(jià)的新方法，以期為當(dāng)前的搜索引擎評價(jià)提供新的借鑒和參考。

1 模型計(jì)算方法

1.1 建立分類標(biāo)準(zhǔn)矩陣

設(shè)評價(jià)對象空間X有n個評價(jià)對象，每m個評價(jià)對象有個評價(jià)指標(biāo)每個評價(jià)指標(biāo)有k個評價(jià)等級對于每個評價(jià)指標(biāo)有相應(yīng)的評價(jià)等級分類標(biāo)準(zhǔn)，則評價(jià)對象空間X的分類標(biāo)準(zhǔn)矩陣為：

1.2 確定權(quán)重

在多指標(biāo)綜合評價(jià)中，指標(biāo)權(quán)重反映了指標(biāo)在評價(jià)體系中的重要性程度，直接影響評價(jià)結(jié)果[15]。設(shè)評價(jià)對象有n個評價(jià)指標(biāo)，第j個評價(jià)指標(biāo)的權(quán)重為wj，則滿足。

1.3 確定樣本屬性測度

計(jì)算第i個評價(jià)對象第j個指標(biāo)值xij屬于Ct類的屬性測度為。設(shè)，有:

1.4 綜合屬性測度

1.5 對象的識別與排序

按照評價(jià)準(zhǔn)則進(jìn)行評分，對評價(jià)對象進(jìn)行比較分析，用下式進(jìn)行計(jì)算：

2 模型應(yīng)用與實(shí)證研究

2.1 基于指標(biāo)計(jì)量數(shù)據(jù)的實(shí)證研究

2.1.1 模型應(yīng)用及計(jì)算

1）選取評價(jià)指標(biāo)及量化數(shù)據(jù)

為便于對模型方法在搜索引擎評價(jià)中的應(yīng)用進(jìn)行對比論證，本文以文獻(xiàn)[5]中的4個搜索引擎評價(jià)指標(biāo)量化數(shù)據(jù)為實(shí)例應(yīng)用對象，該文采用AHPTOPSIS算法，對13個二級評價(jià)指標(biāo)的量化數(shù)值進(jìn)行規(guī)范化處理并排序計(jì)算，得到4個搜索引擎綜合評價(jià)和排名結(jié)果。文獻(xiàn)[5]對評價(jià)結(jié)果進(jìn)行了實(shí)證分析，說明了所采用方法在搜索引擎評價(jià)中的可操作性和指導(dǎo)作用。文獻(xiàn)[5]中4個中文搜索引擎的13項(xiàng)二級評價(jià)指標(biāo)定量數(shù)據(jù)按一級綜合指標(biāo)進(jìn)行分類，匯總?cè)绫?所示。

表1 定量指標(biāo)數(shù)據(jù)

2）建立評價(jià)指標(biāo)分類等級及分類標(biāo)準(zhǔn)

將搜索引擎分成四個評價(jià)等級，根據(jù)各評價(jià)因子的最大值和最小值進(jìn)行評價(jià)指標(biāo)分組標(biāo)準(zhǔn)劃分，各指標(biāo)評價(jià)等級劃分如表2所示。其中B7和B8為反向指標(biāo)，即數(shù)值越小，所反映的指標(biāo)性能越好，因此將這兩個指標(biāo)的評價(jià)等級標(biāo)準(zhǔn)值作反向排列處理。

表2 評價(jià)分組標(biāo)準(zhǔn)

3）計(jì)算單個評價(jià)指標(biāo)屬性測度

根據(jù)1.3的公式，代入表1和表2數(shù)據(jù)，可計(jì)算得到不同搜索引擎單指標(biāo)屬性測度，如表3所示。

表3 單指標(biāo)屬性測度

4）確定評價(jià)指標(biāo)權(quán)重

文獻(xiàn)[5]中通過借鑒專家意見，采用基于比例標(biāo)度的層次分析法（AHP）構(gòu)建層級結(jié)構(gòu)來確定評價(jià)指標(biāo)的權(quán)重，是屬于通過經(jīng)驗(yàn)判斷主觀賦予評價(jià)指標(biāo)權(quán)重的主觀賦權(quán)法。本實(shí)例延用這一組指標(biāo)權(quán)重?cái)?shù)據(jù)結(jié)果作為本研究的主觀權(quán)重賦值，在此基礎(chǔ)上，引入熵值法作為客觀賦權(quán)法，以構(gòu)建主客觀賦權(quán)的組合評價(jià)方法來確定權(quán)重。熵值法確定權(quán)重系數(shù)具體方法如下:

設(shè)有n個評價(jià)對象，m個評價(jià)指標(biāo)，則形成原始數(shù)據(jù)矩陣：

對判斷矩陣R進(jìn)行歸一化，從而得到歸一化矩陣B，B的元素為：

王祥仿佛失了神一樣。明明是得了10萬元去做生意，但是相比自己失去的部分，可以說是不值一提。他越想越氣憤，生意也不想做了，就想尋老道的晦氣。

式中，xmax為同一評價(jià)指標(biāo)下不同指標(biāo)值中最不滿意者；xmin為同一評價(jià)指標(biāo)下不同指標(biāo)值中最滿意者。

按上述方法將R歸一化為B:

則j第個評價(jià)指標(biāo)下第i個待評價(jià)對象評價(jià)指標(biāo)值比重為fij:

第j個評價(jià)指標(biāo)的熵值Hj為:

第j個評價(jià)指標(biāo)的客觀權(quán)重Wj為:

將主觀權(quán)重和客觀權(quán)重進(jìn)行加權(quán)計(jì)算的方法如下：

設(shè)第j個評價(jià)指標(biāo)的主觀權(quán)重為，則結(jié)合上式的客觀權(quán)重可得第j個評價(jià)指標(biāo)的主客觀組合權(quán)重為：

根據(jù)熵權(quán)法計(jì)算式（4）－（7）計(jì)算各項(xiàng)指標(biāo)的客觀權(quán)重值。各指標(biāo)數(shù)據(jù)歸一化處理結(jié)果，以及各指標(biāo)值比重、熵值和權(quán)重如表4所示。

表4 評價(jià)指標(biāo)權(quán)重值

5）確定綜合屬性測度及綜合評價(jià)等級

根據(jù)搜索引擎的評價(jià)指標(biāo)權(quán)重，結(jié)合式（1），可計(jì)算得到各搜索引擎綜合屬性測度。設(shè)置信度λ=0.6，由式（2）判斷各搜索引擎綜合評價(jià)等級。以主觀賦權(quán)的S1和S2搜索引擎評價(jià)為例：當(dāng)t=2時(shí)，S1搜索引擎綜合屬性測度0.535+0.297＞0.6，因此，判定S1搜索引擎等級為C2；當(dāng)t=3時(shí)，S2搜索引擎綜合屬性測度0.416＋0.090＋0.166＞0.6，因此，判定S2搜索引擎等級為C3；同理，求得其他搜索引擎綜合評價(jià)等級。

按式（3）計(jì)算不同搜索引擎綜合評價(jià)得分，分?jǐn)?shù)越大，說明搜索引擎計(jì)量指標(biāo)綜合評價(jià)越好。以主觀賦權(quán)的S1搜索引擎評價(jià)為例，得分計(jì)算為：0.535×4+0.297×3+0.037×2+0.082×1 =3.185。同理，可求得其他搜索引擎計(jì)量指標(biāo)綜合評價(jià)得分。

不同搜索引擎綜合屬性測度及得分排名結(jié)果如表6所示。

表6 綜合屬性測度及得分排名

2.1.2 結(jié)果與討論

由表6可知，采用主觀賦權(quán)的屬性識別模型應(yīng)用得到的評價(jià)排名結(jié)果與文獻(xiàn)[5]中的結(jié)果完全一致，驗(yàn)證了屬性識別模型在搜索引擎評價(jià)中的適用性。采用主客觀組合賦權(quán)的評定結(jié)果與采用主觀賦權(quán)相比較，兩者得到搜索引擎評價(jià)等級和排名結(jié)果完全一致，其結(jié)果按優(yōu)劣順序排名為S1＞S2＞S4＞S3。但是主客觀組合賦權(quán)得分的差異性明顯要高于主觀賦權(quán)，表明主客觀組合賦權(quán)在全面地利用評價(jià)對象客觀數(shù)據(jù)信息基礎(chǔ)上，不僅信息利用度更高，對不同評價(jià)對象綜合評價(jià)結(jié)果的區(qū)分度也更高。而在實(shí)際評價(jià)中，參與評價(jià)的對象數(shù)量往往較多，評價(jià)得分的微小差異可能就會對兩個評價(jià)對象的排名產(chǎn)生直接影響。

為了進(jìn)一步判定4個評價(jià)對象在三個一級綜合指標(biāo)方面的優(yōu)劣程度，以進(jìn)一步明晰相關(guān)搜索引擎存在的不足之處，同樣運(yùn)用上文的計(jì)算步驟，根據(jù)相關(guān)一級綜合指標(biāo)所屬二級指標(biāo)的單指標(biāo)屬性測度和權(quán)重值，分別計(jì)算得到評價(jià)對象在3個一級綜合指標(biāo)方面的綜合屬性測度及評價(jià)排名。相關(guān)綜合指標(biāo)主觀賦權(quán)法和主客觀賦權(quán)法的綜合屬性測度及評價(jià)排名結(jié)果如表7所示。

表7 綜合指標(biāo)綜合屬性測度及評價(jià)排名

對比表7與表6的評價(jià)排名結(jié)果，表7采用主客觀賦權(quán)的屬性識別模型得到結(jié)果中，A2和A3這兩個綜合指標(biāo)的評分排名結(jié)果與表6中的綜合排名結(jié)果完全一致，其結(jié)果的優(yōu)劣順序排名為S1＞S2＞S4＞S3，但是綜合指標(biāo)A1的評分排名結(jié)果與表6中的綜合排名結(jié)果并不一致，其結(jié)果的優(yōu)劣順序排名為S1＞S4＞S2＞S3；同時(shí)，對比表7中主觀賦權(quán)和主客觀組合賦權(quán)的評價(jià)排名，兩者在A1和A2這兩個綜合指標(biāo)的評分排名結(jié)果并不完全一致。以上說明主客觀賦權(quán)在綜合客觀數(shù)據(jù)信息的基礎(chǔ)上，能夠?qū)υu價(jià)排名結(jié)果產(chǎn)生顯著影響。另外，表7的結(jié)果同樣出現(xiàn)了主客觀組合賦權(quán)評分結(jié)果的差異性要高于主觀賦權(quán)的評分結(jié)果，進(jìn)一步印證了基于熵權(quán)的主客觀組合賦權(quán)法對評價(jià)數(shù)據(jù)的信息利用度更高，由此得到的評價(jià)結(jié)果區(qū)分度也更高。

綜上，采用主觀賦權(quán)的屬性識別模型得到的搜索引擎排名結(jié)果與文獻(xiàn)[5]中的結(jié)果完全一致，驗(yàn)證了屬性識別模型在搜索引擎評價(jià)中的適用性。采用主客觀組合賦權(quán)法相對于單獨(dú)采用主觀賦權(quán)，不僅信息利用度更高，對不同評價(jià)對象綜合評價(jià)結(jié)果的區(qū)分度也更高。此外，與文獻(xiàn)[5]中的評價(jià)相比，屬性識別模型在該實(shí)例應(yīng)用中定性與定量相結(jié)合，不僅能對搜索引擎進(jìn)行等級評定，還能根據(jù)評分結(jié)果進(jìn)行優(yōu)劣排序。模型應(yīng)用除了實(shí)現(xiàn)對搜索引擎性能的總體評價(jià)外，還能對各個評價(jià)指標(biāo)進(jìn)行綜合評分和對比排序，有助于直觀地反映出搜索引擎評價(jià)系統(tǒng)中的薄弱環(huán)節(jié)。

2.2 基于用戶體驗(yàn)反饋收集的實(shí)證研究

2.2.1 模型應(yīng)用及計(jì)算

同樣為便于對模型方法開展論證研究，選擇以文獻(xiàn)[7]中搜索引擎評價(jià)指標(biāo)的專家評價(jià)分結(jié)果為實(shí)例應(yīng)用對象，該文將搜索引擎分為“優(yōu)、良、中、差”4個評價(jià)等級，并邀請5位專家按照對應(yīng)的“4分、3分、2分、1分”為評分標(biāo)準(zhǔn)，分別對反映搜索引擎索4項(xiàng)一級指標(biāo)的11項(xiàng)二級指標(biāo)進(jìn)行打分。利用AHP方法確定評價(jià)指標(biāo)的權(quán)重，并應(yīng)用灰色系統(tǒng)評價(jià)方法對搜索引擎的性能進(jìn)行綜合評價(jià)。文獻(xiàn)[7]中搜索引擎各指標(biāo)的專家評分、各評價(jià)指標(biāo)權(quán)重，匯總?cè)绫?左側(cè)列所示。

表8 評價(jià)指標(biāo)專家打分、權(quán)重及屬性測度

根據(jù)1.3的公式，將不同專家針對某一指標(biāo)的評分結(jié)果，按照評分標(biāo)準(zhǔn)進(jìn)行相應(yīng)評價(jià)等級屬性測度的換算，然后將不同專家評分的屬性測度進(jìn)行加和，再按人數(shù)作平均化處理，即得到該項(xiàng)指標(biāo)在相應(yīng)評價(jià)等級上的屬性測度。各二級指標(biāo)在相應(yīng)評價(jià)等級上的屬性測度結(jié)果匯總?cè)绫?右側(cè)列所示。

根據(jù)搜索引擎的二級評價(jià)指標(biāo)屬性測度和文獻(xiàn)[7]中確定的評價(jià)指標(biāo)權(quán)重，結(jié)合式（1），可計(jì)算得到搜索引擎各一級評價(jià)綜合屬性測度；同樣地根據(jù)搜索引擎的一級評價(jià)指標(biāo)屬性測度和評價(jià)指標(biāo)權(quán)重，可計(jì)算得到搜索引擎綜合屬性測度。

表9 綜合屬性測度及評價(jià)結(jié)果

2.2.2 結(jié)果與討論

由表8可知，采用屬性識別模型置信度準(zhǔn)則評判得到的綜合評價(jià)等級結(jié)果與文獻(xiàn)[7]中的評價(jià)結(jié)果相比，在各一級評價(jià)指標(biāo)中，除I3指標(biāo)外，其他指標(biāo)的等級評價(jià)結(jié)果完全一致。按照各一級評價(jià)指標(biāo)的得分多少，可以得到該搜索引擎相關(guān)性能指標(biāo)的優(yōu)劣排序?yàn)椋篒3＞I2＞I4＞I1。

表9中I3指標(biāo)評價(jià)結(jié)果不一致，主要是由于采取了兩種不同的評價(jià)識別準(zhǔn)則導(dǎo)致。實(shí)際上按最大隸屬度識別準(zhǔn)則“取大棄小”的等級評定過程，會導(dǎo)致有用信息的丟失，容易使得評價(jià)結(jié)果趨于不合理，例如，假設(shè)隸屬于“優(yōu)、良、中、差”的隸屬度為[0.3，0.2，0.25，0.25]，其中0.3最大，按照最大隸屬度準(zhǔn)則，評價(jià)結(jié)果則應(yīng)判定為“優(yōu)”，但是實(shí)際上“中”和“差”兩項(xiàng)的隸屬度之和為0.5，超過了“優(yōu)”的隸屬度，因此將之判定為“優(yōu)”是不合理的。而如果采用置信度準(zhǔn)則設(shè)定的最小置信度0.5進(jìn)行判定，需要“優(yōu)”“良”兩項(xiàng)的隸屬度疊加才能達(dá)到0.5，因此判定其結(jié)果僅為“良”，這一評判過程和評價(jià)結(jié)果顯得更加合理。置信度準(zhǔn)則是從優(yōu)劣的“程度”考慮，并根據(jù)優(yōu)劣“程度”所占的比重來判斷，其對評價(jià)指標(biāo)數(shù)據(jù)信息的利用度更高，得到的評價(jià)結(jié)果對不同評價(jià)對象的區(qū)分度也更高，因此相比文獻(xiàn)[7]中采用的最大隸屬度識別準(zhǔn)則更具科學(xué)性和適用性。

3 結(jié)語

由于搜索引擎評價(jià)系統(tǒng)具有集成化、數(shù)字化、智能化特點(diǎn)，并且用戶基數(shù)龐大，因此在綜合評估研究中，對評價(jià)指標(biāo)數(shù)據(jù)的有效性、代表性有著更高的要求，而評價(jià)指標(biāo)數(shù)據(jù)的可得性又會限制研究人員對評價(jià)指標(biāo)的選擇，影響到評價(jià)指標(biāo)體系科學(xué)性和合理性。

本研究將屬性識別模型分別應(yīng)用于計(jì)量指標(biāo)數(shù)據(jù)和用戶體驗(yàn)反饋信息兩種研究數(shù)據(jù)類型的搜索引擎綜合評價(jià)中，經(jīng)實(shí)例驗(yàn)證，其得到的評價(jià)結(jié)果與采用其他評價(jià)方法的評價(jià)結(jié)果基本一致，實(shí)證研究表明該模型方法在搜索引擎評價(jià)中具有較好適用性。該模型方法兼容性強(qiáng)，可以融入主觀權(quán)重賦權(quán)和客觀權(quán)重賦權(quán)的組合應(yīng)用，實(shí)現(xiàn)專家主觀評判與科學(xué)相比計(jì)算有機(jī)結(jié)合，確保在充分發(fā)揮專家主觀經(jīng)驗(yàn)的同時(shí)，也能充分利用指標(biāo)原始數(shù)據(jù)分布所反映的客觀數(shù)據(jù)信息，評價(jià)過程主觀性與客觀性相協(xié)調(diào)，定性評價(jià)方法的主觀把握可以避免定量評價(jià)方法在評價(jià)功能效用方向上的偏離，定量評價(jià)方法的客觀性和科學(xué)性有助于彌補(bǔ)純主觀評判未能充分利用客觀數(shù)據(jù)信息所造成的偏差，使得評價(jià)結(jié)果更加科學(xué)全面。模型應(yīng)用過程中對原始數(shù)據(jù)的利用無需進(jìn)行特殊處理，能夠避免某些方法白化值經(jīng)特征處理后信息丟失的缺點(diǎn)，評價(jià)結(jié)果的識別克服了“取大棄小”等級評定過程可能導(dǎo)致的有用信息丟失，信息利用度高，評價(jià)結(jié)果更準(zhǔn)確、可靠。該模型應(yīng)用評價(jià)的結(jié)果不僅能夠確定搜索引擎的評價(jià)等級，也能以評分的形式直觀地反映出不同搜索引擎的差異程度，數(shù)據(jù)結(jié)果區(qū)分度高，能夠?qū)崿F(xiàn)定性評價(jià)與定量評價(jià)相統(tǒng)一。模型方法在搜索引擎評價(jià)中顯示出較高科學(xué)性和適用性，模型應(yīng)用能為搜索引擎評價(jià)提供新的方法參考。