魏健波 周 杰
同行評審是保證期刊質量最重要的方法,而評審專家遴選又是同行評審最重要的環節,評審專家選擇的合適可以事半功倍,能夠為稿件提出許多寶貴的意見。如果評審專家選擇不當,可能造成“外行評內行”的現象,最終的評審效果也就可想而知了。傳統的評審專家遴選方法主要是編輯根據自己的主觀判斷選擇自己比較熟悉的專家進行評審,這種方法存在很多問題。另外,傳統評審專家遴選方法主要是針對傳統科技期刊,對于開放獲取期刊的專家遴選方法并不適合。所以本文結合開放獲取期刊的特點,希望能找到一種更合適的評審專家遴選方法。
開放獲取期刊在評審專家遴選上完全繼承了傳統科技期刊的方法,即期刊編委按照自己的意愿選擇評審專家,這就存在著許多問題。首先,編輯的交際范圍有限,他只能將稿件交給自己熟悉的幾個專家評審;其次,一個學科包括許多研究方向,編輯可能了解評審專家的學科,但不一定真正了解評審專家的研究方向,這可能導致稿件研究方向和專家研究方向不一致;除此之外專家的研究方向并不是一成不變的,在不同的時間段專家的研究方向也有所變化,傳統遴選評審專家的方法不能反映這種變化。
開放獲取期刊相對于傳統期刊有一些新的特點,開放獲取期刊由于可以免費獲取,沒有訂閱費,經費來源主要是論文處理費和社會團體的贊助,經費相對于傳統期刊是比較少的,所以開放獲取期刊要盡量減少成本,而減少成本的一個非常重要的手段就是用計算機來代替人工,如果可以用計算機進行自動專家遴選,那就不需要聘請那么多編輯,成本也就大幅下降。另外,開放獲取期刊出版的論文數量一般還要多于傳統期刊,如果采用傳統遴選專家的方法則需要更多的編輯,成本還要高于傳統期刊。
對目前開放獲取期刊評審專家遴選進行總結可以得出以下兩點結論:第一,傳統評審專家遴選方法本身存在一些問題,主要表現為可選專家數量有限、專家選擇不準確、不能及時反映專家研究方向的變化;第二,傳統評審專家遴選方法與開放獲取期刊節約成本的理念相違背,成本比較高。所以對開放獲取期刊而言有必要對傳統專家遴選方法進行改變,利用計算機進行自動評審專家遴選可能是一個不錯的方法。
針對傳統評審專家遴選所存在的一些問題,如果可以在一個學科或一個領域內建立一個專家遴選系統,將有關專家的一些信息放到系統中,通過計算機自動匹配推薦幾個合適的評審專家,然后編輯再對推薦的專家進行甄別,從而選擇合適的評審專家,這樣就可以解決傳統評審專家遴選時所存在的一些問題。對于評審專家遴選的問題我國也曾經做出過努力,例如1993年《中國科學技術論文評審專家名典》、2000年《西北地區高校審稿專家名錄(自然科學類)》、2001年《上海市高校科技論文評審專家名錄》等。這些評審專家名錄雖然起到了一定作用,但還存在兩個嚴重的缺陷:第一,因沒有實現計算機的自動匹配需要人工查找,人工查找不但成本高而且很容易受主觀因素的影響;第二,更新慢,這些名錄從編審到出版需要很長的時間,且出版后很長時間不會更新。通過建立評審專家系統,借助計算機技術完全可以實現自動匹配,而且更新及時,可以解決評審專家名錄所存在的問題。
評審專家的遴選需要考慮兩個方面:一方面是評審專家的學術水平,另一方面是評審專家研究方向與稿件研究方向的匹配度。稿件審理過程中評審專家的水平很重要,高水平的專家才能提出準確的審稿意見,所以評審專家系統建設的第一步是收集相關領域專家的信息。目前,評判學者學術水平的指標有很多,例如H指數、發文數、引用數等,通過這些指標找出合適的評審專家。接下來是如何判斷評審專家研究方向與稿件研究方向的匹配度,這是評審專家系統建設的重點。
那么如何評判評審專家研究方向與稿件研究方向的匹配度呢?專家的研究方向可以從他發表的論文反映出來,引用次數較多的論文表明該學者在這個研究方向有較為突出的貢獻,而最新發表的論文代表著該學者最新的研究方向,那么可以將待審稿件與該學者引用次數最多的幾篇論文和最新發表的幾篇論文進行相似性比較,如果相似性較高,那么我們可以認為該學者的研究方向和稿件研究方向一致。那么如何比較論文的相似性呢?最容易想到的是利用類似論文查重的方法進行比較,但這種方法非常復雜,而且由于漢語語法的復雜性,進行分詞比較時很容易產生歧義,比較的準確性并不高。我們都知道每篇論文都會給出一個分類號用于表示論文的研究主題和方向,那么可不可以利用分類號進行論文相似性的比較呢?如果可以的話應該怎樣進行比較?下面主要討論利用分類號進行論文相似性比較的方法。
基本思想是從萬方或中國知網等數據庫中選擇某位學者引用次數較多的若干篇論文和最近發表的若干篇論文,將這些論文與待審稿件兩兩進行相似性比較,得出相似性指數,然后求出平均相似性指數,將平均相似性指數作為該學者研究方向與稿件研究方向匹配度的指標。在對兩篇論文進行相似性比較時首先將兩個分類號進行拆分,例如在比較G 254.2與G 253的相似程度時,需要將前者拆分為G、2、5、4和 2五部分,后者拆分為 G、2、5和 3四部分,然后從前往后依次比較兩者相同部分的個數,上面的例子中有3個相同的部分,最后將兩者相同的部分乘以2再除以兩者拆分后的部分總和,在上面的例子中為3*2/(5+4)=2/3,即66.7%,那么我們認為G 254.2與G 253的相似程度為66.7%。這樣我們就可以定量地比較評審專家研究方向和待審稿件研究方向的相似程度。至于這種方法的可行性如何下面將進行驗證。
這種方法對分類號準確性的要求很高,但目前我國科技論文的分類號是很不規范的,隨意性非常大,所以在進行相似性計算前一定要對分類號進行規范,有些論文的主題包括多個概念,這時可以用多個分類號來表示,分別將這幾個分類號與待審稿件分類號進行相似性比較并取其中較大者。在可行性驗證時,為了簡單每位學者僅選擇10篇論文進行比較,其中5篇引用次數最高的論文和5篇最新發表的論文,這10篇論文必須是該學者為第一作者。這里選取圖書館學領域三位專家進行可行性驗證,選擇的三位專家分別為肖希明、陳傳夫和張曉林,待審的兩篇文章分別是《數字資源整合研究》(分類號為G 250.7,見相似性1)和《戰略性新興產業信息資源服務模式與競爭力分析》(分類號為G 203,見相似性2),相似性比較結果如表1、表2和表3所示。
如表1、表2和表3所示,對于論文《數字資源整合研究》,即各表中相似性1所示,肖希明、陳傳夫和張曉林三位專家的平均相似性分別為55.8%、64.3%和74.9%,相似性大于80%的數量分別為0、3和4個,從這兩個方面可以看出三位專家研究方向與論文《數字資源整合研究》的研究方向相似性為張曉林>陳傳夫>肖希明,從理論上講中國科學院國家科學圖書館的張曉林更適合作為這篇論文的評審專家,其次是武漢大學的陳傳夫,而武漢大學的肖希明不太適合作為這篇論文的評審專家。對于論文《戰略性新興產業信息資源服務模式與競爭力分析》,即各表中相似性2所示,肖希明、陳傳夫和張曉林三位專家的平均相似性分別為68.3%、71.9%和65.6%,相似性大于80%的數量分別為4、4和3個,所以三位專家都對信息資源建設方面有所研究,但相比而言肖希明和陳傳夫兩位專家對這方面的研究更多,而張曉林在這方面的研究相對而言要少一些,結合上述兩個方面,武漢大學的肖希明和陳傳夫作為這篇論文的評審專家更好一些。

表1 論文相似性比較一

表2 論文相似性比較二

表3 論文相似性比較三
上面以兩篇論文為例,通過分類號計算專家研究方向和稿件研究方向的相似程度,從而找到合適的評審專家,那么這種方法是否可行,與實際情況是否相符呢?這就需要比較上述三位專家的實際研究方向與計算的結果是否相符,通過查閱相關資料得知三位專家的研究方向如下:肖希明主要研究領域為信息資源建設、圖書館學基礎理論、圖書館管理等[2];陳傳夫主要從事信息資源管理、圖書館發展理論和知識產權研究[3];張曉林主要研究領域包括數字圖書館技術與系統、數字對象與元數據技術、知識組織與知識構建技術、知識發現與情報分析技術、開放集成系統技術、數字資源長期保存技術等[4]。可以看出肖希明和陳傳夫都從事信息資源建設研究,雖然他們都從事圖書館理論方面的研究,但肖希明從事圖書館學基礎理論,陳傳夫從事圖書館發展理論,而張曉林主要從事數字圖書館、圖書館自動化和網絡化方面的研究。
第一篇論文《數字資源整合研究》主要是進行數字圖書館方面的研究,從上述三位專家研究方向的介紹中可以看出張曉林是最適合的評審專家,他主要從事數字圖書館、圖書館自動化和網絡化方面的研究;另外兩位專家中陳傳夫從事圖書館發展理論研究,研究圖書館未來的發展方向,而數字圖書館是未來圖書館非常重要的發展方向,顯然在他的研究范圍之內;肖希明從事圖書館學基礎理論研究,與前面兩位專家相比他的研究更加偏向于傳統圖書館,所以他不太適合評審這篇文章。第二篇論文《戰略性新興產業信息資源服務模式與競爭力分析》主要研究信息資源建設方面,很顯然肖希明和陳傳夫都非常適合作為這篇論文的評審專家,因為他們都進行信息資源建設方面的研究,相比而言張曉林在這方面的研究較少一些。可見實際情況與通過分類號計算出來的結果基本一致,所以通過分類號來計算專家研究方向和稿件研究方向的相似程度,從而找到合適的評審專家是可行的一種方法。
開放獲取期刊與傳統期刊相比發表的論文更多、經費更少,所以開放獲取期刊評審專家遴選必須要節約成本,傳統評審專家遴選方法并不適合開放獲取期刊。在計算機網絡技術日益發達的今天,我們完全可以建立評審專家遴選系統,并通過計算機數據分析進行客觀、公正地遴選評審專家。但這種方法也不是完美的,還有許多局限和不足,主要體現在以下幾個方面。
(1)評審專家遴選系統的建立不是單個期刊可以完成的,需要某個領域的眾多期刊合作完成,而且還需要收集專家的相關信息,前期工作量非常大。
(2)這種方法對分類號的要求很高,而目前我國學術論文中作者給出的分類號非常不規范,所以要對每篇論文的分類號重新規范化,這個工作量比較大,而且分類號是人工給予,它也受到人的主觀性影響。
(3)計算結果區分度不夠,可以看到計算結果中很多相似度相同,但論文之間的兩兩相似度不可能完全相同,這種計算方法并不能反映這種較小的差別。
雖然目前評審專家遴選系統的設想還有許多缺陷,但系統建成之后將使許多期刊長期受益,節約大量的人力物力,而且還可以擴大評審專家遴選范圍,避免遴選專家時受編委主觀傾向的影響,這將為期刊質量的提高產生重要的作用,至于存在的局限和不足還需要有關學者提出寶貴的意見和建議。
[1] 方卿.中國學術期刊同行評審的實踐與研究[J].圖書情報知識,2007(6):89-92.
[2] 武漢大學信息管理學院.肖希明簡介[EB/OL].[2015-04-22].http://sim.whu.edu.cn/index.php/index-viewaid-221.html.
[3] 武漢大學信息管理學院.陳傳夫簡介[EB/OL].[2015-04-22].http://sim.whu.edu.cn/index.php/index-viewaid-210.html.
[4]中國科學院國家科學圖書館.張曉林簡介[EB/OL].[2015-04-22].http://www.las.cas.cn/jypx/yjsjy/zs/bszs/201106/t20110621_3291388.html.