大數據背景下軟件測試技術研究

摘要：隨著大數據技術的發展、大數據系統不斷出現，用戶對系統質量的期望，大數據測試技術也將不斷完善。該文把大數據測試和傳統軟件測試進行對比，詳細闡述了大數據功能測試的步驟，簡單介紹了幾種大數據非功能測試類型以及大數據測試面臨的挑戰。

關鍵詞：大數據;軟件測試;步驟

中圖分類號：TP311 文獻標識碼：A

文章編號：1009-3044（2020）05-0072-02

開放科學（資源服務）標識碼（OSID）：

大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化力的海量信息，在運行方面具有數據流龐大、數據種類繁多、數據價值量密度較低以及數據運行和處理的速度極快等基礎特征。[1]當前，我國大數據的應用領域已經從政府、金融延伸到醫療、生物、電商、安防等各行各業。隨著云計算技術與應用、物聯網、大數據等技術的不斷發展，應用于各個領域的大數據系統也不斷形成。這種大數據系統的系統結構復雜，數據類型更加豐富，更有TB級別的海量數據量，要使系統平穩運行，比起傳統軟件更是需要軟件測試技術作為支撐。隨著大數據技術的發展也逐步形成具有獨特特征的大數據測試技術。

1 大數據測試與傳統測試的比較

傳統軟件測試是在系統已知的前提下對從用戶需求提取到的測試任務進行的測試，用戶的行為直接影響系統的最終執行結果。傳統軟件測試最主要的兩種測試類型為功能測試和性能測試，都是簡單的從用戶界面人手，比如12306中注冊、登錄、下訂單、支付等，可直接使用黑盒測試方法即可。傳統軟件測試技術已經比較成熟，也形成了各種配套的自動化測試工具。

軟件測試類型很多，包括功能測試、性能測試、安裝與卸載測試、兼容性測試、健壯性測試、文檔測試、回歸測試等等。大數據測試和傳統軟件測試相比，主要測試類型都是功能測試和性能測試，但在測試目的和測試流程存在一定差異，主要表現在大數據測試更多的是去驗證其數據處理而不是驗證單一的功能。

大數據測試與傳統測試的區別如表1所示。

2 大數據功能測試步驟

整體而言，大數據功能測試可以分為下面四個步驟：

2.1 數據預處理驗證

大數據測試的第一步，也稱作pre-hadoop階段。本階段主要驗證：

1）來自關系數據庫、日志系統、社交網絡、互聯網文本和文件等各種數據資源應該要被驗證，確保是正確的資源被加載進系統州;

2）數據加載后還要驗證推送到hadoop系統中的數據和源數據是一致的[4];

3）驗證正確的數據被提取并被加載到HDFS（Hadoop Dis-tributed File System）正確的數據節點中。

2.2“MapReduce”驗證

經過數據預處理驗證、數據成功加載到HDFS后，MapRe-duce開始對數據進行并行處理。由Google公司最早提出的Ma-pReduce是一種面向大規模數據處理的并行技術模型，也是當前公認的最易于使用的大數據并行處理技術。大數據測試工程師根據業務需求，在每個節點上進行業務邏輯驗證，確保如下操作的正確性：

1） MapReduce并行處理正常運行，得到想要的文件;

2）在數據上實施數據聚合或隔離規則[6];

3）數據key-value關系已正確生成;

4）驗證經過map reduce后數據的準確性;

5）按照大數據業務需求，驗證輸出數據文件格式的規范性。

2.3 數據倉庫驗證

根據業務邏輯要求進行處理后的數據最終將按用戶需求導入到數據倉庫。在這個階段需要驗證數據轉換規則是否正確應用，倉庫中的數據是否有損壞、數據完整性約束使用是否正確等。

2.4 分析報表驗證

數據處理完成導入到相應的數據倉庫后，可使用工具自帶的報表工具得到分析報告，該階段要驗證自動得到的分析報告是否滿足用戶、業務需求。

3 大數據主要非功能測試類型

在系統功能正常使用的基礎上，用戶對系統的非功能特性要求也越來越高。大數據功能測試是所有其他測試的基礎，此外還需要行多項非功能測試，這主要包括下面幾種：

3.1 性能測試

網頁瀏覽速度慢、文件下載速度慢、雙11沒有辦法支付、春運期間搶不到回家的車票等等，其實都是屬于系統性能問題。對一個大數據系統來說，所需監控的性能指標包括吞吐量、響應時間、服務器資源利用率等。性能測試和功能測試理論上是可以同時進行的，但一般都是在軟件公司完成功能測試后再把系統部署到真實環境中進行性能測試。因為系統的性能影響因素很多，除了系統代碼外，還跟硬件、網絡、部署方式有關。大數據系統性能測試執行過程一般是：

1）根據業務需求設計性能測試場景;

2）初始化大數據集群環境;

3）準備性能測試腳本;

4）執行并分析測試結果，如果指標不達標，需要分析性能瓶頸、調整參數并重新測試;

5）提交性能測試分析報告。

3.2 可用性測試

ISO/IEC 9126-1將可用性定義為“在特定使用情景下，軟件產品能夠被用戶理解、學習、使用、能夠吸引用戶的能力”。大數據系統的可用性測試是檢驗系統是否達到用戶要求的可用性標準，一般可通過招募代表性用戶用手動測試完成。可用性測試通過觀察有代表性的用戶完成產品的典型任務，從而界定出可用性問題并加以解決的過程。可用性測試可發現用戶體驗上的問題;可檢驗期望的設計目的是否實驗、是否滿足用戶期望;可了解用戶的使用習慣、了解用戶的認知;可對產品進行評估。大數據系統可用性測試執行過程一般是：

1）確定測試任務;

2）招募典型、有代表性的用戶;

3）測試前準備;

4）實施測試;

5）測試分析和測試報告。

3.3 穩定性測試

大數據系統通常是部署在服務器上、長時間不間斷運行，系統的穩定性尤為重要。測試人員不可能長時間不休息、一直守在電腦前觀察系統運行情況。和傳統軟件測試類似，大數據系統的穩定性測試也是驗證系統在長時間運行下是否出錯，一般借助于自動化測試工具完成。

4 大數據測試面臨的挑戰

與傳統軟件測試相比，大數據的多樣性給從事大數據測試的軟件測試工程師帶來了新的挑戰，可能面臨下面幾個挑戰。

4.1 自動化

當前傳統的軟件測試功能測試還是手動測試居多，在高回歸的情況下才會借助selenium、UFT等工具實現自動化。因大數據系統的數據量巨大、速度快、數據類型多、數據價值低等特點，借助測試工具實現自動化是從事大數據測試必備的技術，但當前市場上的自動化測試工具并不具備處理異常的能力，意味著現有測試工具可能并不完全適用，這就要求測試工程師需要自己編寫合適的測試工具，編碼能力將是大數據測試工程師的必備技能。

4.2 虛擬化

當前業內大規模使用虛擬化技術，但虛擬機的延遲有可能造成大數據實時測試處理的異常。

4.3 海量數據集

大數據系統需要驗證的數據量往往是TB級別的，并且要求處理的速度更快，對這類系統進行測試需要有效的自動化測試手段。

5 結束語

大數據分析已經毫無爭議地成為信息技術發展趨勢和熱點，廣泛被工業界和學術界熱推[5]。目前針對大數據測試的研究同其設計開發的研究相比相對薄弱。但隨著大數據工程和數據分析逐步進入新的階段，大數據測試將成為必然，也必定成為未來的一個熱門的職業方向。本項目對大數據測試的相關理論、常用測試方法進行研究，后續將給出大數據技術與應用專業《軟件測試基礎》課程標準，為大數據測試人才培養做好準備。

參考文獻：

[1]秦怡，大數據背景下軟件測試技術面臨的挑戰與發展方向[Jl.電子技術與軟件工程，2019（9）：46-47.

[2]張丹.大數據背景下的測試技術教學改革探索[J].黑龍江科學，2019（8）：20-21.

[3]岑柏滋，劉麗琳，基于大數據的軟件測試分析[Jl.智庫時代，2019（7）：231，233.

[4]大數據測試方法[EB/OL].http：//blog. csdn. net/test_soy/article/ details/49617143.

[5]代亮，陳婷，許宏科，等.大數據測試技術研究[J].計算機應用研究，2014（4）：1606-1611.

[6]大數據測試類型&大數據測試步驟[EB/OL]. http：//blog.csdn.net/henni_71 9/article/details/5 491 1090.

【通聯編輯：謝媛媛】

收稿日期：2019-12-15

基金項目：四川信息職業技術學院四川移動應用開發協同創新中心（項目編號：2019KC003）

作者簡介：林勤花（1980-），女，四川信息職業技術學院，副教授，碩士，研究方向為軟件技術、軟件測試。