大數(shù)據(jù)云計算時代軟件測試所面臨的挑戰(zhàn)

李寧+莊麗華+石林+劉鎖蘭+徐守坤

摘要：針對大數(shù)據(jù)云計算背景下軟件測試所面臨的問題，分析了傳統(tǒng)軟件測試無法適應(yīng)大數(shù)據(jù)處理的原因，云架構(gòu)對軟件測試提出更高要求，以及軟件測試ORACLE和殺蟲劑效應(yīng)問題，提出應(yīng)對上述挑戰(zhàn)的措施和方法，探索和研究軟件測試新技術(shù)和新方法是軟件工程發(fā)展的當(dāng)務(wù)之急。

關(guān)鍵詞：大數(shù)據(jù)；云計算；軟件測試；挑戰(zhàn)

中圖分類號：G642.0；O245 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2017）51-0275-02

隨著大數(shù)據(jù)云計算的快速發(fā)展，傳統(tǒng)軟件測試已經(jīng)無法滿足大數(shù)據(jù)云計算的需求，軟件測試面臨著全新的挑戰(zhàn)，這其中主要包括大數(shù)據(jù)云架構(gòu)處理數(shù)據(jù)的巨量性、多樣性和復(fù)雜性，軟件測試ORACLE問題和殺蟲劑效應(yīng)等，探索和研究新的軟件測試的技術(shù)和方法來應(yīng)對大數(shù)據(jù)對軟件測試所帶來的困難和挑戰(zhàn)，具有十分重要的現(xiàn)實意義。

一、傳統(tǒng)軟件開發(fā)和測試

軟件測試伴隨著軟件開發(fā)模式的發(fā)展而發(fā)展，從上個世紀(jì)50年代開始軟件開發(fā)經(jīng)歷了完全編碼、構(gòu)件化、服務(wù)和大數(shù)據(jù)云計算四個階段。傳統(tǒng)的軟件開發(fā)和測試主要指前三個階段，完全編碼階段：屬于簡單的程序設(shè)計階段，代碼基本由編程人員手工編寫，軟件通用性差，調(diào)試和測試簡單。構(gòu)件化階段：是軟件開發(fā)由手工作坊式生產(chǎn)變成工業(yè)化生產(chǎn)的主要階段，此階段軟件是由第三方在系統(tǒng)類庫的基礎(chǔ)上所開發(fā)的業(yè)務(wù)組件，這種組件具有高效、易用、高耦合、高復(fù)用和本地運行等特點，軟件類似一個黑匣子用戶只能對其運行結(jié)構(gòu)進(jìn)行跟蹤，不能對其內(nèi)核進(jìn)行跟蹤和分析。這個階段軟件測試主要是檢查構(gòu)件屬性、接口和不能實現(xiàn)的特性等。軟件服務(wù)階段：隨著通信和網(wǎng)絡(luò)技術(shù)的發(fā)展，本地組件需要提供遠(yuǎn)程服務(wù)，遠(yuǎn)程訪問者需要了解軟件外部服務(wù)的接口，以及輸入、輸出情況，軟件測試變得更為復(fù)雜和不透明。

二、大數(shù)據(jù)云計算軟件開發(fā)和測試

軟件開發(fā)和測試第四個階段是大數(shù)據(jù)云計算階段。由于數(shù)據(jù)規(guī)模呈幾何級上升，要從海量數(shù)據(jù)中挖掘出有價值的信息，傳統(tǒng)軟件系統(tǒng)無法實現(xiàn)海量數(shù)據(jù)的提取、存儲、分析、處理和共享。軟件開發(fā)需要跨結(jié)構(gòu)、跨系統(tǒng)，系統(tǒng)架構(gòu)在PAAS上，數(shù)據(jù)存儲是分布的、異構(gòu)的，用戶對PAAS服務(wù)內(nèi)部結(jié)構(gòu)很難深入了解，因此，這個階段軟件測試更加復(fù)雜。數(shù)據(jù)處理流程分為采集、處理與集成、分析、解釋和應(yīng)用等幾個過程，數(shù)據(jù)源包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，以半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)處理與集成主要是清洗、去噪和整合，數(shù)據(jù)分析是大數(shù)據(jù)處理的核心，采用的技術(shù)有數(shù)據(jù)挖掘、數(shù)理統(tǒng)計、機(jī)器學(xué)習(xí)、智能算法和云計算等，采用傳統(tǒng)技術(shù)無法真正實現(xiàn)對大數(shù)據(jù)的處理和分析。大數(shù)據(jù)處理是信息技術(shù)發(fā)展的熱點和重點，大數(shù)據(jù)云計算架構(gòu)的復(fù)雜性使得軟件測試也非常復(fù)雜，針對大數(shù)據(jù)測試研究還比較薄弱。

三、大數(shù)據(jù)云計算時代軟件測試面臨的挑戰(zhàn)

1.大數(shù)據(jù)背景下軟件測試的ORACLE問題日益突出。軟件測試的目的就是將軟件實際運行的結(jié)果和事前預(yù)期的結(jié)果進(jìn)行比較，從而來判斷運行結(jié)果是否正確，這就是軟件測試的ORACLE問題。大數(shù)據(jù)時代，很多場景下對大數(shù)據(jù)輸出結(jié)果的驗證不論采用趨勢分析法還是圖論計算法都變得十分困難，其輸出結(jié)果正確與否常常無法直接判斷。大數(shù)據(jù)的處理模式主要包括物理作用和化學(xué)作用，物理作用下的大數(shù)據(jù)處理主要在確保數(shù)據(jù)價值不變的情況下，通過數(shù)據(jù)清洗來縮小數(shù)據(jù)規(guī)模，方便進(jìn)行數(shù)據(jù)分析，這種模式下數(shù)據(jù)處理測試不存在ORACLE問題。化學(xué)作用下的大數(shù)據(jù)處理主要采用預(yù)測和快速計算方法，使得大數(shù)據(jù)測試ORACLE問題變得嚴(yán)重。例如采用個性化推薦算法對用戶推薦產(chǎn)品時，到底有多少用戶會對算法所推薦的產(chǎn)品感興趣是無法估計的，這就導(dǎo)致測試結(jié)果難以判定，使數(shù)據(jù)測試的ORACLE問題變得突出。

2.云計算架構(gòu)對軟件測試所帶來的挑戰(zhàn)。目前大數(shù)據(jù)處理所采用的框架大都是Google公司的MapReduce。該架構(gòu)把數(shù)據(jù)處理抽象成map和reduce兩個過程，用戶對分布式程序的設(shè)計主要是實現(xiàn)map（）和reduce（）兩個函數(shù)，而任務(wù)調(diào)度、數(shù)據(jù)分片、機(jī)器容錯、機(jī)器間通信等均由MapReduce框架來處理。因此，用戶所設(shè)計的功能沒有框架自身所承擔(dān)的功能豐富，這無形中給軟件測試帶來困難。主要表現(xiàn)在：（1）由于JobTracker采用動態(tài)調(diào)度方式分配任務(wù)，無法預(yù)先知道任務(wù)在集群的哪個TaskTracker節(jié)點中執(zhí)行；（2）無法預(yù)先知道m(xù)ap或者reduce任務(wù)執(zhí)行的節(jié)點位置；（3）不像傳統(tǒng)的軟件測試可以在錯誤發(fā)生之前設(shè)置斷點；（4）部分功能依賴分布式集群，雖然功能存在，但是無法預(yù)測其所在節(jié)點。這些都是傳統(tǒng)軟件測試所未曾碰到過的問題。

3.傳統(tǒng)軟件測試平臺難以滿足大數(shù)據(jù)處理的需求。傳統(tǒng)C/S和B/S架構(gòu)的軟件平臺，其性能測試借助協(xié)調(diào)控制器直接向服務(wù)器發(fā)送響應(yīng)請求，實現(xiàn)服務(wù)器的壓力測試。對于服務(wù)器數(shù)量有限，并發(fā)請求數(shù)在百、千數(shù)量級的應(yīng)用服務(wù)，傳統(tǒng)軟件測試方法能滿足其需求。大數(shù)據(jù)時代，數(shù)據(jù)規(guī)模和用戶數(shù)量急劇增長，服務(wù)器的訪問數(shù)量、次數(shù)和頻率也在逐步上升，這就勢必會造成服務(wù)系統(tǒng)崩潰、服務(wù)喪失等現(xiàn)象，采用云架構(gòu)可以緩解這種危機(jī)，但是系統(tǒng)部署在千萬級的服務(wù)器資源上，必然會給軟件測試帶來困難。

4.軟件測試的殺蟲劑效應(yīng)日益顯現(xiàn)。軟件測試的殺蟲劑效應(yīng)是指測試軟件越多，軟件的免疫力越強(qiáng)的現(xiàn)象。跟農(nóng)藥殺蟲相似，如果長期使用同一種農(nóng)藥來殺蟲，則蟲子就會產(chǎn)生抗藥性，再繼續(xù)使用這種農(nóng)藥就起不到殺蟲作用了。在構(gòu)件化軟件開發(fā)日趨頻繁的今天，軟件開發(fā)中期發(fā)現(xiàn)的各種缺陷均可以通過驗證和校驗的形式集成到各種構(gòu)件中，形成構(gòu)件的內(nèi)在屬性，其對已有的測試方法會產(chǎn)生天然免疫力。殺蟲劑效應(yīng)促使軟件測試技術(shù)必須不斷的更新和升級。通常情況下軟件測試初期較少的測試用例就會發(fā)現(xiàn)較多的缺陷，在軟件測試后期，發(fā)現(xiàn)錯誤和缺陷的數(shù)量會逐漸趨于平緩，甚至缺陷數(shù)量在某些周期內(nèi)停止增長。殺蟲劑效應(yīng)使得軟件測試初期發(fā)現(xiàn)錯誤和缺陷的難度增加；同樣數(shù)量的測試用例發(fā)現(xiàn)缺陷的數(shù)量也在減少；軟件測試前期發(fā)現(xiàn)缺陷的數(shù)量在減少，發(fā)現(xiàn)缺陷的總數(shù)量也在減少。

四、如何應(yīng)對挑戰(zhàn)

如何應(yīng)對大數(shù)據(jù)云計算背景下軟件測試的挑戰(zhàn)，有效避免軟件測試所面臨的諸多困難？建議從以下幾個方面做起。

1.改進(jìn)軟件測試技術(shù)。單一的測試技術(shù)需要向多元化、綜合性測試技術(shù)發(fā)展，才能有效克服軟件測試中的殺蟲劑效應(yīng)。從兩個方面來改進(jìn)軟件測試技術(shù)，一是對傳統(tǒng)軟件測試方法進(jìn)行升級和改造；二是在軟件測試過程中盡量綜合使用多種測試方法和技術(shù)。

2.面向智能化數(shù)據(jù)處理技術(shù)的應(yīng)用。大數(shù)據(jù)云計算所帶來的軟件測試ORACLE問題，需要從軟件測試的用例設(shè)計上著手，測試用例的設(shè)計不但要保持原有的功能和作用，而且還要更多的考慮大數(shù)據(jù)處理時輸入樣本集的分布特性、大小，以及輸出ORACLE的評判方法。

3.面向云架構(gòu)的自動化測試環(huán)境的構(gòu)建。要滿足大數(shù)據(jù)處理運行的云架構(gòu)環(huán)境測試，實現(xiàn)客戶端環(huán)境的處理能力和服務(wù)器端需求相匹配，不但需要云架構(gòu)能夠充當(dāng)云測試環(huán)境負(fù)載產(chǎn)生器，而且還要進(jìn)一步探索和研究在大規(guī)模并發(fā)問題產(chǎn)生時軟件測試、系統(tǒng)監(jiān)控所產(chǎn)生的新要求和解決的新方法。

五、結(jié)論

大數(shù)據(jù)云計算的快速發(fā)展，給軟件測試帶來前所未有的挑戰(zhàn)。不論是傳統(tǒng)軟件測試平臺無法適應(yīng)大數(shù)據(jù)處理的需求，還是云架構(gòu)對軟件測試帶來的高標(biāo)準(zhǔn)高要求，以及軟件測試的ORACLE和殺蟲劑效應(yīng)等問題，要有效的應(yīng)對這些挑戰(zhàn)，應(yīng)該從改進(jìn)軟件測試技術(shù)、應(yīng)用面向智能化數(shù)據(jù)處理技術(shù)和構(gòu)建面向云架構(gòu)的自動化測試環(huán)境等方面做起，不斷探索和研究新的軟件測試的技術(shù)和方法，提高大數(shù)據(jù)云計算環(huán)境下軟件測試的能力和水平。

參考文獻(xiàn)：

[1]蔡立志，閻婷.大數(shù)據(jù)背景下軟件測試的挑戰(zhàn)與展望[J].計算機(jī)應(yīng)用與軟件，2014，31（2）：5-8.

[2]代亮，陳婷，許宏科等.大數(shù)據(jù)測試技術(shù)研究[J]，計算機(jī)應(yīng)用研究，2014，31（6）：1606-1611.

[3]張振華.大數(shù)據(jù)背景下軟件測試的挑戰(zhàn)及其展望探析[J].電子技術(shù)與軟件工程，2016，（6）：61-61.

[4]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報（工學(xué)版），2014，48（6）：957-972.

Abstract：In view of the problems of software testing in the background of big data cloud computing，this paper analyzes the reasons why traditional software testing can not adapt to big data processing. Cloud architecture put forward higher requirements for software testing，as well as software testing of ORACLE and insecticide effects，put forward new measures and methods to deal with the challenge，explore and research new technologies and new methods of software testing，they are the top priority of software engineeringdevelopment.

Key words：big data；cloud computing；software testing；challenges