基于NoteExpress和CiteSpace的國內外語測試研究概述(2001-2020年)

■曾素萍,米保富

(南昌大學外國語學院,江西 南昌 330000)

語言測試作為應用語言學的一個分支,對語言教學有著重要的啟示作用。自20世紀80年代,國內外語測試研究不斷發展,尤其在近20年間,該領域在理論構念及實證研究等方面都受到學者重點關注。為客觀呈現近20年國內外語測試研究發展特征,本文利用NoteExpress及CiteSpace軟件對2001至2020年間相關研究性論文作計量可視化分析,從發文時間、發文作者、高被引文獻、高頻關鍵詞四方面,探析該領域研究熱點及發展趨勢,旨在幫助學者厘清該領域知識結構與發展脈絡,把握學科研究熱點與前沿主題,進而對其進行相關研究提供參考與借鑒。

一、研究方法

(一)數據來源

本文以CNKI(中國知網)為數據平臺,在高級檢索中選擇期刊檢索,以“2001年至今(2020年10月)”為搜索年限,并分別以14本國內外語類期刊(《解放軍外國語學院學報》《外國語(上海外國語大學學報)》《外國語文》《外語測試與教學》《外語電化教學》《外語教學》《外語教學理論與實踐》《外語教學與研究》《外語界》《外語學刊》《外語研究》《外語與外語教學》《現代外語》《中國外語》)為文獻來源,對測試類研究性論文進行檢索。其中,《外語測試與教學》雖為非核心期刊,但其為國內唯一一本以外語測試理論及方法為主要研究方向的期刊,對國內外語測試研究的發展起了一定的推動作用,且2019年復合影響因子達0.984,因此該期刊也納入文獻來源。為保證本研究的相關性,結合CNKI的出版物檢索,對所選文獻進行逐一核對,經人工篩查刪除會訊、書刊評介、稿約通知等不相關文獻,最終共返回有效檢索結果892篇文獻作為本研究的數據來源,并分別以NoteExpress和Refworks格式導出樣本文獻,將文檔統一命名為CiteSpace所要求格式“download_XXX.txt”。

(二)研究工具

本文借助NoteExpress文件管理軟件和CiteSpace信息可視化軟件,分別對樣本文獻進行計量分析和可視化分析,以揭示國內外語測試領域近20年的發展特點。

NoteExpress為一款專業級別的文獻管理軟件,具有在線檢索文獻功能,其還支持將本地題錄導入自建數據庫中,用戶可利用軟件的分類、排序、統計等功能進行文獻計量分析,快速了解某一研究方向的最新進展[1]。CiteSpace是由美國德雷塞爾大學陳超美博士應用Java語言開發的信息可視化分析軟件,用戶利用軟件的知識圖譜繪制功能可客觀解釋某一領域的發展現狀,預測領域發展前景[2]。

二、結果與分析

(一)發文時間

對國內外語測試研究的發文量時間分布進行分析,能夠直觀揭示該領域的歷時發展特征。本文利用Note-Express的“文件夾統計信息”功能進行年份統計,并借助Excel表格工具繪制發文量時間分布走勢圖(見圖1)。

圖1 發文時間分布走勢(2001—2020年)

由圖1可知,近20年來,國內外語測試研究發文量整體呈波浪式發展,其發展大致可劃分為三個階段。2001年至2008年,該領域研究處于低緩發展階段,總發文量為205篇,年均發文量約25篇。20世紀80年代國內學者開始投入外語測試研究,至20世紀初期,該領域總體發文基數仍較小,但單年發文量呈現逐年增長態勢,說明學者對該領域研究關注度有所提高。國內外語測試研究在2009年至2012年進入繁榮發展階段,總發文量達217篇,年均發文量約為54篇,同時單年發文量于2012年達到峰值。2011年《外語測試與教學》創刊,在一定程度上推動了外語測試研究的發展,促使這一階段發文量得以快速增加。2013年至今,這一領域研究持續發展,總發文量高達441篇,說明學者對該領域的關注度不斷增加。同時,自2015年起年度“語言測試與評價國際研討會”的召開,也促進了國內外語測試研究趨向規范化、體系化發展。

(二)發文作者

對發文作者及作者間合作關系作可視化分析,有助于了解學科發展的主要推動力。本文借助CiteSpace進行作者合作關系分析,將樣本文獻導入軟件,年份切片設置為1,節點類型選擇作者,運行程序后得到發文作者合作網絡圖譜(見圖2)。由于初始圖譜節點分布較零散,圖2中顯示信息為該領域發文量達3篇及以上的學者合作關系網絡。

圖2 發文作者合作關系網絡圖

圖2中圓圈(即節點)代表發文作者,節點直徑和字號大小與學者發文頻次呈正相關,節點直徑及字號越大,則其代表的學者發文量越多。圖2反映出國內外語測試研究領域主要學者有李清華、孔文、劉建達等。此外,筆者借助CiteSpace作作者突現分析發現,楊惠中、李清華、鄒申三位學者分別為該領域發展三個階段的代表人物,對相關研究影響較為深遠。

圖3 發文作者突現分析

圖2中節點之間的連線代表作者間合作關系,連線的粗細程度與合作次數呈正相關。由圖2可知,國內該領域的主要作者多以合作形式發文,其中以李清華、孔文為主要代表,這或與語言測試的學科性質有關。作為一門綜合性學科,語言測試研究主要以語言學理論、語言能力理論、語言習得與教學理論、測量學理論為理論基礎[3],而語言測試的主要作用則為以量化的工具和方法對學習者的語言水平進行有效且客觀的考察。換言之,在進行相關研究時,學者不僅需要具備多學科的理論知識,還需要考量語言測試工具及方法的效度、信度、可行性等眾多因素。因此,語言測試研究的難度或在一定程度上鞏固了該領域學者間的合作關系。

(三)高被引文獻

高被引論文是指在某一統計時段內,被引用次數排在前列的論文,其在一定程度上反映了該學科的研究進展[4]。因此,對高被引文獻進行分析,有助于了解學科發展過程中的熱點主題。筆者先將各文獻的被引次數手動輸入NoteExpress題錄中,再將文獻按被引次數從高至低進行排序,對高被引文獻進行整理后繪制如附表1。

附表1 高被引文獻前10篇

從文獻類型看,附表1中10篇高被引文獻主要為綜述評介類文章。從文獻主題看,根據測試類型的不同,10篇高被引文獻大致可分為兩大類：一為基于試卷的分析研究,且主要為大規模測試研究,如高考、英語四六級考試等,其中學者重點探析測試的反撥作用；二為課堂評估研究,評估方式包括形成性評估、同伴互評等,且學者主要關注將此類評估方式應用于外語寫作教學中。結合發文時間可推斷,測試的反撥作用一直為國內學者的一大研究重點,通過測試考察學生學習狀況,以對國內外語教學與測試改革提供啟示。此外,近年來,國內學者還逐漸關注以多元化測評方式考察學習者的外語水平,從多維度對學生外語學習過程進行評價。從附表1中高被引文獻的關鍵詞看,國內學者還重視對測試的信度與效度進行研究,以完善測試的有效性與可靠性。

從被引次數看,黃大勇、楊炳鈞于2002年發表的“語言測試反撥效應研究概述”[5]一文被引次數最高,該文概述了90年代國外反撥效應的理論研究與實證研究成果,并總結了國外學者對于提高正面反撥效應的觀點與主張。在21世紀初,國內相關研究還處于起步階段,黃大勇、楊炳鈞的這篇綜述將國外相關測試研究成果引入國內學界,讓更多的國內學者關注到反撥效應研究在語言測試領域的重要性。

(四)研究熱點

關鍵詞集中體現論文的核心內容及精髓,利用大數據計量工具對文獻關鍵詞進行提取并統計各關鍵詞出現頻次,可直觀反映某研究領域的發展動向和研究熱點[6]。本文利用CiteSpace作文獻關鍵詞共現分析,將數據導入CiteSpace,年份切片設置為1,節點類型選擇關鍵詞,每個時間切片提取前50個出現頻次最高的關鍵詞,運行程序后得到關鍵詞共現分析網絡圖譜(見圖4)。圖4中節點標簽閾值設定為3,即圖譜顯示出現頻次為3及以上的關鍵詞信息。

圖4 關鍵詞共現圖譜

圖4中圓圈代表一個關鍵詞,關鍵詞出現頻次越高,圓圈直徑越大,說明其在該領域的研究熱度也就越高。由圖4可知,在國內外語測試研究領域內,“效度”這一關鍵詞出現頻次最高,其次為“語言測試”“信度”及“反撥效應”,這也再次體現國內學者對外語測試的信度、效度及反撥作用之重視。此外,“中國英語能力等級量表”也為該領域重點關鍵詞。

效度是衡量一項測試是否達到其預期測量目的的標準,信度則是衡量測試結果是否具有穩定性的標準[7]。效度與信度是確保測試有效性及可靠性的重要標準,也是語言測試中不可或缺的要素,因而一直受到學者的重點關注,主要體現就具體測試的效度與信度進行分析,如大學英語四六級考試、專業英語四八級考試、高考英語考試。

基于對測試效度與信度研究的重視,學者還注重相關理論發展,以探尋科學的方法與模型進行測試的效度與信度驗證,如項目反應理論及其之下的多層面Rasch模型。此外,學者還利用Rasch模型進行評分員效應研究,進而不斷提高國內外語測試評分標準的客觀性。

學者對外語測試研究的關注不斷增強,不僅在于測試能以相對客觀的方式量化學習者語言能力,更在于其對教學具有一定影響。因此,反撥效應一直為該領域一研究熱點。國內反撥效應研究的發文主要為綜述評介性論文以及具體測試的反撥作用分析性論文。

2014年,我國開始“中國英語能力等級量表”的制定工作,同時隨著次年首屆“語言測試與評價國際研討會”的確立與召開,量表的制定與應用等相關研究逐漸受到國內學者的重點關注,該量表以語言使用為導向,旨在為我國外語能力測評體系建設提供統一標準,為我國英語教學與測評提供參考框架[8]。

(五)研究趨勢

為深入剖析近年來國內外語測試領域的研究趨勢,本研究還以CNKI數據庫中“語言測試與評價國際研討會”的征文通知[9]與會議綜述[10-13]為參考,整理出各屆會議的主要議題并繪制表格(見附表2)。該研討會每年均邀請國內外該領域知名學者做主題發言,并就研討會主題探討國內語言測試研究發展新方向,因此,從歷年議題中可窺見國內外語測試的研究趨勢,為學者進行相關研究提供一定參考。

表2 “語言測試與評價國際研討會”主要議題(2015—2019年)

由附表2可知,語言能力等級量表研究、測評標準研究、教學及考試改革研究均為近年國內學者所關注的主題,這也與“語言測試與評價國際研討會”確立的初衷相關,即至2020年基本建成具有中國特色的現代外語能力測評體系。此外,近兩年,學者還逐漸投入對評分員及教師測評素養研究中,以提高評分員評分一致性,保證測試結果客觀性。

三、結語

本文以14本國內外語類核心期刊在2001年至今所刊載的測試類研究論文為數據來源,利用NoteExpress和CiteSpace軟件進行發文時間、發文作者、高被引文獻及關鍵詞分析,發現20年間國內語言測試研究歷程整體可分為三個階段：低緩期(2001—2008),發文量較少,研究仍處于起步階段；繁榮期(2009—2012),發文量快速增加,研究熱度升溫；持續期(2013—2020),發文量較穩定,研究逐漸學科化、規范化。這一學科的發展在一定程度上有賴于楊慧中、李清華、鄒申等學者的推動,這些學者在低緩期就已投入該領域研究中,并常以合作形式進行發文,在該領域表現活躍,隨著學科熱度增加,該領域研究隊伍不斷壯大,研究成果也不斷增多。

在眾多研究主題中,國內學者主要關注測試的效度、信度及反撥作用,以提高測試的有效性與可靠性,進而對外語教學提供正面的影響作用。近年來,學者還加快建立規范的語言測評體系,制定科學的語言能力等級量表,促進國內各類外語測試改革。此外,評分員研究、教師測評素養研究等主題或將成為近期該領域的研究趨勢,有待學者對其進行深入挖掘與探討。