國際航行船舶船員英語考試軟件有效性研究

王濤 胡旭令

【摘要】國際航行船舶船員英語考試軟件以無紙化考試的方式，在題庫建設和軟件設計分別滿足海事主管機關的要求，經試點試用表明，該軟件能夠有效地簡化考試程序、提高考試效率、提升考試的效度和信度，從而反映學員的真實水平。

【關鍵詞】考試軟件船員英語信度效度

【基金項目】山東交通學院科研基金項目（Z201245）。

【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089（2014）03-0027-02

國際航行船舶船員專業英語（簡稱“船員英語”）考試始于2008年，目的在于測試申請注冊國際航行船舶船員的人員的英語能力[1]。該考試借鑒高級船員專業英語評估模式，分為聽力和口語兩部分，最初分別采用傳統的紙面考試和直接口語測試方式。為提高考試的信度和效度，課題組受主管機關委托，研發專門考試軟件，經過試點試用，基本能夠滿足主管機關的考試要求。

一、船員英語考試軟件的研發

1.軟件及數據庫的研發

經課題組成員通過對國內其他考試軟件的借鑒，結合船員英語考試的特殊要求，開發了船員英語考試軟件，并通過相應的權限設置，使得操作簡單、界面簡潔，大大簡化了考試程序。船員英語考試軟件考生端界面如圖1所示。

圖1 船員英語考試系統界面

（1）軟硬件要求

考慮到目前省內各航海院校及培訓機構無紙化考場的配置情況，以及考試的需要，課題組采用微軟公司的Visual Basic 6.0進行考試系統的開發，并使用Access數據庫。對于服務器，軟件要求為Microsoft Windows 2000 Server，Microsoft Access 2000；硬件實際運行情況為Intel Pentium 4，2.4GH，內存為1G。對考生終端，軟件要求為Windows XP，硬件實際運行情況為Intel Pentium 4，2.4GH，內存1G。

（2）系統安全性要求

對于安全性，主要體現在考試系統的設計上，考慮兩方面內容：試題庫的保密，即考生不能夠通過網絡訪問到考題數據庫；考試意外終端，重啟后考試信息的保留問題。對于前者，主要采取對數據庫設置密碼，對考生終端進行設置，使考試界面最大化，無法退出等措施。對于后者，則采用數據即使傳輸方式，答題情況直接存于服務器，而不是存于終端。

（3）系統穩定性問題

課題組在對軟件進行試運行時，發現在考生多于15人同時參加答卷時，容易出現系統自動退出運行。查看原因發現是在程序訪問數據庫時發生的，估計是數據庫訪問時，管理員端反應慢的問題。解決辦法是，在程序中加入錯誤處理程序On Error Goto語句。加入了On Error Goto錯誤處理語句后，就再也沒有發生程序終止運行的問題，考試過程非常順利，軟件方面，系統穩定性達到要求。同時，在硬件方面，涉及到計算機的運行的穩定性及電源的不間斷供給，目前各院校和培訓機構的無紙化機房均已滿足不間斷電源的要求。

2.試題庫的建設

（1）題型設計

根據該項目考試大綱的要求、培訓教學實踐經驗和市場調研結果，課題組對現有試題進行遴選、增加，重新建立符合大綱要求和航運發展需要的試題庫，并由專業人士進行音頻錄音。在題型方面，按照國家海事局《國際航行船舶船員專業英語考試和發證辦法》的要求，所有試題均經過主管機關審核合格。設計如表1所示的題型。

表1 船員英語考試題型設計

（2）數量比例

考慮考生基礎以及題型設計等因素，試題數量方面，與考試題目數量比例基本為15:1，因采用隨機抽取組合的方式，因此考試信度方面能夠滿足要求。并且，根據航運業和航海知識的發展，定期組織專業教師進行命題和審題，確保題目總數滿足要求。

二、船員英語考試軟件的試用情況

課題組完成考試軟件之后，在主管機關的許可下，選擇威海轄區兩所航海院校作為試點。這兩所院校均為國家海事局認可的船員培訓機構，具有多年的船員培訓和考試經驗，設施設備相對完善，生源穩定。選取上述兩所院校2013年度共18期培訓班640人作為試用對象，所有考試均順利完成。

其中前6期172人進行第一階段軟件試用，根據反饋的問題，課題組對軟件和試題庫進行調整。同時，選取上述兩所院校2012年度培訓的21期共783人，未采用考試軟件的考試情況作為比較。

三、船員英語考試軟件的有效性評價

1.船員英語考試軟件的優點

（1）簡化考試程序，考試效率明顯提升

按40人/班的規模計算，未采用考試軟件前，要完成一個班的考試及評分，大約需要1至1.5天時間，采用考試軟件后，考試時間設定為40分鐘，聽力試題系統直接評分；口語試題答案，若2名考官同時評分，大約僅需要2至3小時。

（2）增加了考試信度

船員英語考試系統，聽力成績直接同步地顯示在服務器和考生終端，公開性明顯增加；口語閱卷采用完全打亂順序、隨機抽題評分的方式，考官與考生之間無直接接觸；同時，數據庫設計方面，成績直接打印，無法修改。上述措施均保證了考試的公平公開，考試信度方面明顯提高。

（3）考試效度獲得提高

考試效度是指考試在多大程度上考查了希望考查的內容[2]，即考試是否達到了其預定目的，成績能否反映出考生的實際語言水平。該系統根據程序中預先設置的知識點分布和難易程度，隨機抽題組卷，提高了試卷本身的有效性。同時，人機對話，考生不與考官面對面交流，在一定程度上緩解其緊張情緒，從而能夠更有效地發揮其語言水平。此外，答案存儲于服務器，考官閱卷時可多次調取語料，能夠更加有效地評分。因此，考試效度獲得大幅度提高。

2.存在的主要問題及解決思路

經過試用，課題組成員發現該考試軟件也存在一定的不足。在實踐中，表現出來的最突出的問題是可維護性。軟件在應用中不可避免地要進行許多的改進，如果僅在管理員端對軟件做出了改進，只需要在管理員端的計算機對軟件進行卸載和再次安裝即可；而如果在考生端對軟件進行了部分的改進，就要對考生端的每一臺計算機進行軟件的卸載和再安裝，特別耗費人力及時間。所以，最好直接采用B/S結構。這樣，對軟件部分的任何代碼修改，僅需要在服務器端對代碼文件直接替換即可，節省了人力及時間。

四、結束語

實踐證明，課題組開發的船員英語考試軟件，能夠滿足國家海事局對“國際航行船舶船員專業英語”培訓的各項要求。系統測試穩定后，一方面用于培訓教學，另一方面用于該項目考試，考試方式和成績受海事局認可，具有很強的應用性和使用率。針對運行過程中發現的各類問題，課題組成員將進一步展開研究，使其更加完善。

參考文獻：

[1]中華人民共和國海事局. 國際航行船舶船員專業英語考試和發證辦法, 2008.

[2]李筱菊. 語言測試科學與藝術[M].長沙:湖南教育出版社,1997.

作者簡介：

王濤（1979– ），男，講師，主要從事航海技術教學和航海教育研究。