多指標視角下UOWA評價模型與IR期刊質量研究

姜勇峰+肖碧云+肖可以+吳曉奕

〔摘要〕本文針對機構知識庫中期刊貢獻度評價指標的復雜性，形式多樣性，模糊性等特點，構建了基于三角模糊數表達模糊信息和UOWA算子的期刊質量評估模型，并從RePEc機構知識庫1 800種期刊隨機抽取5個經濟期刊，利用8項定量評價指標，采用模糊理論中的模糊語義處理同行評議專家評審數據進行質量評定，試圖為我國機構知識庫質量評價體系的完善提供參考。

〔關鍵詞〕期刊定量評價指標；同行評議；模糊集合理論；UOWA算子

〔中圖分類號〕G252.6〔文獻標識碼〕A〔文章編號〕1008-0821（2014）06-0087-05

基于開放存取理念成立的機構知識庫（Institutional Repository，IR）為教學科研人員的科學研究提供了信息保障，其收錄的信息資源質量直接影響到科研創新起點的高低[1]，IR正成為主流學術信息共享空間[2]，因其期刊質量評價機制不完善，我國立足于傳統期刊形成的激勵機制與知識產權保護制度[3]，對IR期刊貢獻者缺少利益體現，作者積極性下降，IR庫存資源難以更新，可持續發展出現危機。

1研究意義及背景

利用數學工具解決工作中的實際問題，是管理工作的管理手段之一。機構知識庫建設和管理中，利用切實可行的方法分辨出質量優秀的期刊加以收錄和持續更新，既能提高期刊知名度和知識傳播率，也能提高IR的權威性和價值，更能吸引越來越多的傳播者和使用者參與到IR知識的挖掘和利用中來，眾人拾柴火焰高，IR建設就是在參與者不斷的自我優化中完善著自己，使期刊和機構知識庫的建設實現互利雙贏。為了分辨出質量優秀的期刊，激勵更多的優秀期刊進入機構知識庫，達到優質信息持續上傳和更新的目的，需要在IR建設中引入期刊質量評價機制[4]，長期以來許多學者、專家在此問題上都做了大量的研究工作。國外具有代表性的有：加拿大Westell M基于項目規劃、資金分配與使用模式、平臺互操作性、文檔使用的測量、資源保存策略等進行了IR質量評估指標分析[5]；韓國Kim Y H基于韓國IR建設的dCollection 項目引入AHP分析法，通過三輪德爾菲調查得出評估模型[6]；利用社會書簽[7]、學術期刊使用密度[8]、文獻資源下載量、下載率、下載速率等指標對期刊質量進行的評價[9-10]等等。國內眾多學者對IR期刊質量評價越來越受到重視，做了相當多的研究，在此就不一一列舉，從已經發表的論文分析，研究人員的論文主要是從IR建設的網絡建設層面、元數據要求、作者上傳的意愿、IR是否可交互操作等方面對IR質量進行的研究。眾多研究中定性研究比較多，定量研究依然比較弱，具有可操作性、實用性比較強的研究更是鳳毛麟角。如：基于UGC的下載次數指標，對UGC論文質量和IR期刊影響力進行等級評定[11]，雖然屬于定量評估期刊質量，但存在指標單一，普遍性不足等弊端。對于IR期刊質量參照傳統學術刊物評審制度利用多評估指標進行的同行、專家定量評價還鮮有論證。本文利用三角模糊數表達模糊信息和UOWA算子建立分析模型，并以RePEc中任意抽取的5種經濟期刊為例，借鑒傳統學術刊物質量控制機制中的8種評價指標體系，引入模糊評價和公開同行評議的評審方法[12]，希望為IR中期刊質量評價提供參考。

2研究理論和數學模型

2.1三角模糊數

模糊數集合是對普通確定數集合的延伸，針對難以定義或復雜不確定的情況，對傳統量化方式描述有困難的情況，允許中間狀態的存在，使用模糊語義替代。

2.2UOWA算子評估模型

2.2.1OWA算子

集成離散數據的有序加權平均（Order weighted average：OWA）算子[13]是由Yager R R于1988年提出來的[14]，該算子最突出的特點是：①對評估數據排序從大到小后加權集成，其權重僅與相關的位置有關；②OWA算子僅能對于明確值進行計算，不能對于區間進行計算。

3以RePEc經濟期刊為例實證分析

3.1數據采樣

RePEc機構知識庫收錄了近1 800種期刊，約140萬條信息，由79個國家和地區的志愿者組織共同管理。本文主要檢測UOWA算子模型在期刊質量評估中的具體操作步驟，以驗證該質量評價方法的可行性?；趪易钥苹鹞瘑T會溫明章、陳越、杜生明所作“3+χ”同行評議方式研究結果考慮[17]，從機構知識庫管理委員會組織m位專家（expert）中隨機抽取4位專家，以經濟類期刊n種經濟期刊作為運算對象，專家集和期刊集不妨分別記作{e1，e2，…，em}和{j1，j2，…，jn}，這里選取m為4人，n選取5種期刊，即專家者集為{e1，e2，e3，e4}；即IR期刊集為{j1，j2，j3，j4，j5}。這5種刊物[18]分別是：j1為：美國經濟評論（American Economic Review）；j2為：金融經濟學期刊（Journal of Financial Economics）；j3為：政治經濟學期刊（Journal of Political Economy）；j4為：發展經濟學期刊（Journal of Development Economics）；j5為：經濟與統計學評論（The Review of Economics and Statistics）。IR期刊質量評價指標，評價傳統紙質期刊質量的指標[19]有：h指數、被引頻次和他引頻次、期刊影響因子、平均被引率和平均他引率、載文量、相對h指數、SRI、g指數、篇均參考文獻數和hc指數等。網絡同行參與的評審評價IR期刊質量時可以參照傳統期刊評價指標，充分考慮網絡特征[20-21]和傳統刊物評價優勢融入：網絡引文量、總鏈接數、外部鏈接數、總網絡影響因子、外部網絡影響因子、IP訪問量、頁面瀏覽量、人均頁面瀏覽量和網絡文獻量等評價指標，形成適合IR期刊質量評價的新指標體系。隨著對IR期刊質量評價研究的深入，或將有更多的質量評價指標出現。本文隨機抽選了8項質量評價指標[22]（見表2）進行討論。質量評價指標集為{S1，S2，S3，S4，S5，S6，S7，S8}。endprint

3.24位評估者對RePEc中5個經濟期刊具體分析

第1步，4位同行專家采用模糊語義進行評價，得到IR質量評價原始矩陣（見表3），再通過模糊AHP法中群決策權重與判斷矩陣的合并[23-24]，得到了8個評價指標的權重向量

4結語

本文采用同行專家評議和三角模糊數與UOWA算子模型整合處理IR期刊質量評價問題，希望能避免信息的流失，避免因評價專家知識背景局限或主觀臆斷以及評價指標不公正等對評價結果的影響，在實踐評價中，應加大評議專家的人數以及完善評價指標，最大限度地體現出同行評價專家的偏好，分散評價指標之間的指標權重影響，準確地評價出IR期刊質量。

參考文獻

[1]查先進，等.信息資源質量評估研究[J].中國圖書館學報，2010，36（2）：46-55.

[2]張曉林，李麟，劉細文，等.開放獲取學術信息資源：逼近“主流化”轉折點[J].圖書情報工作，2012，56（9）：42-47.

[3]陳傳夫.信息資源公共獲取與知識產權保護[M].北京：北京圖書館出版社，2007：22-31.

[4]趙宇翔，吳克文，朱慶華.基于IPP視角的用戶生成內容特征與機理的實證研究[J].情報學報，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于質量評估的機構知識庫可持續發展研究——以廈門大學學術典藏庫和美國RePEc為例[J].情報理論與實踐，2013，（11）：41-44.

[12]張向誼.應引導審稿人進行有效的同行評議[J].編輯學報，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企業績效評價[J]商業時代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]溫明章，等.國家自然科學基金3+X同行評議方式的初步探討[J].中國基礎科學，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息計量學[M].湖北：武漢大學出版社，2006.

[20]邱均平.網絡計量學[M].北京：科學出版社，2010.

[21]吳延俊.網絡傳播概論[M].湖北：武漢大學出版社，2006.

[22]蘇金燕.開放存取期刊質量也有評估之法[N].中國社會科學報，2011-12-22，（014）.

[23]梁東瑩，等.基于層次分析法的數字資源服務績效評價體系構建[J].情報科學，2013，（1）：78-81，128.

[24]吳云燕，等.AHP中群決策權重的確定與判斷矩陣的合并[J].運籌與管理，2003，（8）：16-21.

（本文責任編輯：馬卓）endprint

3.24位評估者對RePEc中5個經濟期刊具體分析

第1步，4位同行專家采用模糊語義進行評價，得到IR質量評價原始矩陣（見表3），再通過模糊AHP法中群決策權重與判斷矩陣的合并[23-24]，得到了8個評價指標的權重向量

4結語

本文采用同行專家評議和三角模糊數與UOWA算子模型整合處理IR期刊質量評價問題，希望能避免信息的流失，避免因評價專家知識背景局限或主觀臆斷以及評價指標不公正等對評價結果的影響，在實踐評價中，應加大評議專家的人數以及完善評價指標，最大限度地體現出同行評價專家的偏好，分散評價指標之間的指標權重影響，準確地評價出IR期刊質量。

參考文獻

[1]查先進，等.信息資源質量評估研究[J].中國圖書館學報，2010，36（2）：46-55.

[2]張曉林，李麟，劉細文，等.開放獲取學術信息資源：逼近“主流化”轉折點[J].圖書情報工作，2012，56（9）：42-47.

[3]陳傳夫.信息資源公共獲取與知識產權保護[M].北京：北京圖書館出版社，2007：22-31.

[4]趙宇翔，吳克文，朱慶華.基于IPP視角的用戶生成內容特征與機理的實證研究[J].情報學報，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于質量評估的機構知識庫可持續發展研究——以廈門大學學術典藏庫和美國RePEc為例[J].情報理論與實踐，2013，（11）：41-44.

[12]張向誼.應引導審稿人進行有效的同行評議[J].編輯學報，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企業績效評價[J]商業時代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]溫明章，等.國家自然科學基金3+X同行評議方式的初步探討[J].中國基礎科學，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息計量學[M].湖北：武漢大學出版社，2006.

[20]邱均平.網絡計量學[M].北京：科學出版社，2010.

[21]吳延俊.網絡傳播概論[M].湖北：武漢大學出版社，2006.

[22]蘇金燕.開放存取期刊質量也有評估之法[N].中國社會科學報，2011-12-22，（014）.

[23]梁東瑩，等.基于層次分析法的數字資源服務績效評價體系構建[J].情報科學，2013，（1）：78-81，128.

[24]吳云燕，等.AHP中群決策權重的確定與判斷矩陣的合并[J].運籌與管理，2003，（8）：16-21.

（本文責任編輯：馬卓）endprint

3.24位評估者對RePEc中5個經濟期刊具體分析

第1步，4位同行專家采用模糊語義進行評價，得到IR質量評價原始矩陣（見表3），再通過模糊AHP法中群決策權重與判斷矩陣的合并[23-24]，得到了8個評價指標的權重向量

4結語

本文采用同行專家評議和三角模糊數與UOWA算子模型整合處理IR期刊質量評價問題，希望能避免信息的流失，避免因評價專家知識背景局限或主觀臆斷以及評價指標不公正等對評價結果的影響，在實踐評價中，應加大評議專家的人數以及完善評價指標，最大限度地體現出同行評價專家的偏好，分散評價指標之間的指標權重影響，準確地評價出IR期刊質量。

參考文獻

[1]查先進，等.信息資源質量評估研究[J].中國圖書館學報，2010，36（2）：46-55.

[2]張曉林，李麟，劉細文，等.開放獲取學術信息資源：逼近“主流化”轉折點[J].圖書情報工作，2012，56（9）：42-47.

[3]陳傳夫.信息資源公共獲取與知識產權保護[M].北京：北京圖書館出版社，2007：22-31.

[4]趙宇翔，吳克文，朱慶華.基于IPP視角的用戶生成內容特征與機理的實證研究[J].情報學報，2011，30（3）：299-309.

[5]West ell M.Inst itutional Repositories：Proposed Indicators of Success[J].Library Hi Tech，2006，（2）：211-226.

[6]Kim Y H，Kim H H.Development and Val idation of Evaluation Ind-icators for a Consort ium of Inst itut ional Repositories：a Case Study of Collection[J].Journal of the American Society for Information Science and Technology，2008，（8）：1282-1294.

[7]Hausteina S，Siebenlist T.Applying social bookmarking data toevaluate journal usage[J].Journal of Informetrics，2011，5（3）：446-457.

[8]Nicholas D，Huntington P，Jamali H R.Open access in context：Auser study[J].Journal of Documentation，2007，63（6）：853-878.

[9]Ratan K F.Metric：The new black[EB/OL].http：∥info.nfais.org/info/RatanANC012.pdf，2012-08-16.

[10]Brody T S，Harnad S.Earlier Web usage statistics as predictors of later citation impact[J].Journal of the American Society for Information Science and Technology，2006，57（8）：1060-1072.

[11]姜勇峰，等.基于質量評估的機構知識庫可持續發展研究——以廈門大學學術典藏庫和美國RePEc為例[J].情報理論與實踐，2013，（11）：41-44.

[12]張向誼.應引導審稿人進行有效的同行評議[J].編輯學報，2013，25（3）：274-276.

[13]路正南，等.基于拓展OWA算子的物流企業績效評價[J]商業時代，2011，（9）：39-40.

[14]Yager R R.On Ordered Weighted Averaging Aggregation Operators in Multi-criteria Decision Making[J].IEEE Transactions on Systems，Man and Cybernetics，1988，（18）.

[15]XuZS，DaQL.The Uncertain OWA Operator[J].International Journal of Intelligent Systems，2002，（17）.

[16]XuZS.Dependent Uncertain Ordered Weighted Aggregation Operators[J].Information Fusion，2008，（9）.

[17]溫明章，等.國家自然科學基金3+X同行評議方式的初步探討[J].中國基礎科學，2007，（4）：40-42.

[18]http：∥logec.repec.org/scripts/seriesstat.pf？topnum=1800&bymin=10&seriestype=all&sortby=ld&.submit=New+List&.cgifields=listall&.cgifields=citems.

[19]邱均平.信息計量學[M].湖北：武漢大學出版社，2006.

[20]邱均平.網絡計量學[M].北京：科學出版社，2010.

[21]吳延俊.網絡傳播概論[M].湖北：武漢大學出版社，2006.

[22]蘇金燕.開放存取期刊質量也有評估之法[N].中國社會科學報，2011-12-22，（014）.

[23]梁東瑩，等.基于層次分析法的數字資源服務績效評價體系構建[J].情報科學，2013，（1）：78-81，128.

[24]吳云燕，等.AHP中群決策權重的確定與判斷矩陣的合并[J].運籌與管理，2003，（8）：16-21.

（本文責任編輯：馬卓）endprint