王濤 胡旭令
【摘要】國際航行船舶船員英語考試軟件以無紙化考試的方式,在題庫建設和軟件設計分別滿足海事主管機關的要求,經試點試用表明,該軟件能夠有效地簡化考試程序、提高考試效率、提升考試的效度和信度,從而反映學員的真實水平。
【關鍵詞】考試軟件船員英語信度效度
【基金項目】山東交通學院科研基金項目(Z201245)。
【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089(2014)03-0027-02
國際航行船舶船員專業英語(簡稱“船員英語”)考試始于2008年,目的在于測試申請注冊國際航行船舶船員的人員的英語能力[1]。該考試借鑒高級船員專業英語評估模式,分為聽力和口語兩部分,最初分別采用傳統的紙面考試和直接口語測試方式。為提高考試的信度和效度,課題組受主管機關委托,研發專門考試軟件,經過試點試用,基本能夠滿足主管機關的考試要求。
一、船員英語考試軟件的研發
1.軟件及數據庫的研發
經課題組成員通過對國內其他考試軟件的借鑒,結合船員英語考試的特殊要求,開發了船員英語考試軟件,并通過相應的權限設置,使得操作簡單、界面簡潔,大大簡化了考試程序。船員英語考試軟件考生端界面如圖1所示。
圖1 船員英語考試系統界面
(1)軟硬件要求
考慮到目前省內各航海院校及培訓機構無紙化考場的配置情況,以及考試的需要,課題組采用微軟公司的Visual Basic 6.0進行考試系統的開發,并使用Access數據庫。對于服務器,軟件要求為Microsoft Windows 2000 Server,Microsoft Access 2000;硬件實際運行情況為Intel Pentium 4,2.4GH,內存為1G。對考生終端,軟件要求為Windows XP,硬件實際運行情況為Intel Pentium 4,2.4GH,內存1G。
(2)系統安全性要求
對于安全性,主要體現在考試系統的設計上,考慮兩方面內容:試題庫的保密,即考生不能夠通過網絡訪問到考題數據庫;考試意外終端,重啟后考試信息的保留問題。對于前者,主要采取對數據庫設置密碼,對考生終端進行設置,使考試界面最大化,無法退出等措施。對于后者,則采用數據即使傳輸方式,答題情況直接存于服務器,而不是存于終端。
(3)系統穩定性問題
課題組在對軟件進行試運行時,發現在考生多于15人同時參加答卷時,容易出現系統自動退出運行。查看原因發現是在程序訪問數據庫時發生的,估計是數據庫訪問時,管理員端反應慢的問題。解決辦法是,在程序中加入錯誤處理程序On Error Goto語句。加入了On Error Goto錯誤處理語句后,就再也沒有發生程序終止運行的問題,考試過程非常順利,軟件方面,系統穩定性達到要求。同時,在硬件方面,涉及到計算機的運行的穩定性及電源的不間斷供給,目前各院校和培訓機構的無紙化機房均已滿足不間斷電源的要求。
2.試題庫的建設
(1)題型設計
根據該項目考試大綱的要求、培訓教學實踐經驗和市場調研結果,課題組對現有試題進行遴選、增加,重新建立符合大綱要求和航運發展需要的試題庫,并由專業人士進行音頻錄音。在題型方面,按照國家海事局《國際航行船舶船員專業英語考試和發證辦法》的要求,所有試題均經過主管機關審核合格。設計如表1所示的題型。
表1 船員英語考試題型設計
(2)數量比例
考慮考生基礎以及題型設計等因素,試題數量方面,與考試題目數量比例基本為15:1,因采用隨機抽取組合的方式,因此考試信度方面能夠滿足要求。并且,根據航運業和航海知識的發展,定期組織專業教師進行命題和審題,確保題目總數滿足要求。
二、船員英語考試軟件的試用情況
課題組完成考試軟件之后,在主管機關的許可下,選擇威海轄區兩所航海院校作為試點。這兩所院校均為國家海事局認可的船員培訓機構,具有多年的船員培訓和考試經驗,設施設備相對完善,生源穩定。選取上述兩所院校2013年度共18期培訓班640人作為試用對象,所有考試均順利完成。
其中前6期172人進行第一階段軟件試用,根據反饋的問題,課題組對軟件和試題庫進行調整。同時,選取上述兩所院校2012年度培訓的21期共783人,未采用考試軟件的考試情況作為比較。
三、船員英語考試軟件的有效性評價
1.船員英語考試軟件的優點
(1)簡化考試程序,考試效率明顯提升
按40人/班的規模計算,未采用考試軟件前,要完成一個班的考試及評分,大約需要1至1.5天時間,采用考試軟件后,考試時間設定為40分鐘,聽力試題系統直接評分;口語試題答案,若2名考官同時評分,大約僅需要2至3小時。
(2)增加了考試信度
船員英語考試系統,聽力成績直接同步地顯示在服務器和考生終端,公開性明顯增加;口語閱卷采用完全打亂順序、隨機抽題評分的方式,考官與考生之間無直接接觸;同時,數據庫設計方面,成績直接打印,無法修改。上述措施均保證了考試的公平公開,考試信度方面明顯提高。
(3)考試效度獲得提高
考試效度是指考試在多大程度上考查了希望考查的內容[2],即考試是否達到了其預定目的,成績能否反映出考生的實際語言水平。該系統根據程序中預先設置的知識點分布和難易程度,隨機抽題組卷,提高了試卷本身的有效性。同時,人機對話,考生不與考官面對面交流,在一定程度上緩解其緊張情緒,從而能夠更有效地發揮其語言水平。此外,答案存儲于服務器,考官閱卷時可多次調取語料,能夠更加有效地評分。因此,考試效度獲得大幅度提高。
2.存在的主要問題及解決思路
經過試用,課題組成員發現該考試軟件也存在一定的不足。在實踐中,表現出來的最突出的問題是可維護性。軟件在應用中不可避免地要進行許多的改進,如果僅在管理員端對軟件做出了改進,只需要在管理員端的計算機對軟件進行卸載和再次安裝即可;而如果在考生端對軟件進行了部分的改進,就要對考生端的每一臺計算機進行軟件的卸載和再安裝,特別耗費人力及時間。所以,最好直接采用B/S結構。這樣,對軟件部分的任何代碼修改,僅需要在服務器端對代碼文件直接替換即可,節省了人力及時間。
四、結束語
實踐證明,課題組開發的船員英語考試軟件,能夠滿足國家海事局對“國際航行船舶船員專業英語”培訓的各項要求。系統測試穩定后,一方面用于培訓教學,另一方面用于該項目考試,考試方式和成績受海事局認可,具有很強的應用性和使用率。針對運行過程中發現的各類問題,課題組成員將進一步展開研究,使其更加完善。
參考文獻:
[1]中華人民共和國海事局. 國際航行船舶船員專業英語考試和發證辦法, 2008.
[2]李筱菊. 語言測試科學與藝術[M].長沙:湖南教育出版社,1997.
作者簡介:
王濤(1979– ),男,講師,主要從事航海技術教學和航海教育研究。