軟件產(chǎn)品質(zhì)量比對(duì)測(cè)試與比對(duì)方案探討

王 蕊

（國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇），江蘇 南京 210012）

軟件產(chǎn)品質(zhì)量比對(duì)測(cè)試與比對(duì)方案探討

王 蕊

（國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇），江蘇 南京 210012）

軟件產(chǎn)品質(zhì)量評(píng)價(jià)與測(cè)試是保障軟件產(chǎn)品質(zhì)量的方式之一。文章在《軟件工程軟件產(chǎn)品質(zhì)量要求與評(píng)價(jià)（SquaRE）商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測(cè)試細(xì)則》（GB/T25000.51-2010）等國(guó)家推薦性標(biāo)準(zhǔn)的基礎(chǔ)上，提出了對(duì)軟件產(chǎn)品進(jìn)行功能比對(duì)測(cè)試的比對(duì)方案，并在實(shí)際比對(duì)測(cè)試中進(jìn)行了應(yīng)用與驗(yàn)證。

軟件產(chǎn)品質(zhì)量；軟件比對(duì)測(cè)試；比對(duì)方案；質(zhì)量控制；判定限

1 比對(duì)測(cè)試概述

實(shí)驗(yàn)室間比對(duì)是對(duì)實(shí)驗(yàn)室檢測(cè)結(jié)果質(zhì)量控制的常用方法之一，是根據(jù)預(yù)定條件，由兩個(gè)或多個(gè)實(shí)驗(yàn)室就相同或類似的試驗(yàn)項(xiàng)目開(kāi)展的組織、實(shí)施和評(píng)估活動(dòng)。通過(guò)參加實(shí)驗(yàn)室比對(duì)，可以確定實(shí)驗(yàn)室對(duì)特定試驗(yàn)或測(cè)量的能力，了解實(shí)驗(yàn)室的檢測(cè)水平，并進(jìn)一步監(jiān)控實(shí)驗(yàn)室的持續(xù)檢測(cè)能力，識(shí)別實(shí)驗(yàn)室的問(wèn)題并采取糾正措施，提高質(zhì)量管理水平。

實(shí)驗(yàn)室間比對(duì)的代表性目的有以下十點(diǎn)（實(shí)驗(yàn)室可以根據(jù)比對(duì)實(shí)驗(yàn)的目的來(lái)設(shè)置比對(duì)實(shí)驗(yàn)）：（1）評(píng)定實(shí)驗(yàn)室從事特定檢測(cè)或測(cè)量的能力及監(jiān)視實(shí)驗(yàn)室的持續(xù)能力；（2）識(shí)別實(shí)驗(yàn)室存在的問(wèn)題并啟動(dòng)改進(jìn)措施，這些問(wèn)題可能與諸如不適當(dāng)?shù)臋z測(cè)或測(cè)量程序、人員培訓(xùn)和監(jiān)督的有效性、設(shè)備校準(zhǔn)等因素有關(guān)；（3）建立檢測(cè)或測(cè)量方法的有效性和可比性；（4）增強(qiáng)實(shí)驗(yàn)室客戶的信心；（5）識(shí)別實(shí)驗(yàn)室間的差異；（6）根據(jù)比對(duì)的結(jié)果，幫助參加實(shí)驗(yàn)室提高能力；（7）確認(rèn)聲稱的不確定度；（8）評(píng)估某種方法的性能特征，通常稱為協(xié)作試驗(yàn)；（9）用于標(biāo)準(zhǔn)物質(zhì)/標(biāo)準(zhǔn)樣品的賦值及評(píng)定其在特定檢測(cè)或測(cè)量程序中使用的適用性；（10）支持由國(guó)際計(jì)量局（BIPM）及其相關(guān)區(qū)域計(jì)量組織。

與國(guó)際軟件檢驗(yàn)機(jī)構(gòu)之間進(jìn)行比對(duì)測(cè)試是國(guó)家軟件中心驗(yàn)收時(shí)的重要環(huán)節(jié)。軟件產(chǎn)品的比對(duì)測(cè)試通常是由評(píng)審組提供一個(gè)軟件樣品，然后每個(gè)被評(píng)審的成員對(duì)該樣品分別進(jìn)行測(cè)試，出具檢驗(yàn)報(bào)告或缺陷報(bào)告，考察他們的測(cè)試結(jié)果與真實(shí)情況的偏差，從而認(rèn)定某個(gè)檢驗(yàn)機(jī)構(gòu)在某個(gè)項(xiàng)目上的檢測(cè)能力是否滿足既定要求。

軟件產(chǎn)品的比對(duì)測(cè)試主要是對(duì)軟件樣品的功能性進(jìn)行測(cè)試，根據(jù)既定條件和已知軟件樣品，由5家以上檢驗(yàn)機(jī)構(gòu)依據(jù)產(chǎn)品需求規(guī)格說(shuō)明書(shū)、使用手冊(cè)等用戶文檔集，對(duì)該軟件樣品進(jìn)行功能測(cè)試，各自找出軟件樣品中預(yù)埋的缺陷，輸出檢驗(yàn)報(bào)告，然后根據(jù)檢驗(yàn)報(bào)告或缺陷報(bào)告，總結(jié)歸納出各家檢驗(yàn)機(jī)構(gòu)發(fā)現(xiàn)的有效缺陷。根據(jù)既定的比對(duì)測(cè)試方案和判定限，對(duì)有效缺陷的最終結(jié)果進(jìn)行比對(duì)，通過(guò)比對(duì)測(cè)試和結(jié)果分析得出國(guó)家中心的檢驗(yàn)?zāi)芰κ欠襁_(dá)到國(guó)際先進(jìn)水平，是否能順利通過(guò)國(guó)家軟件中心的驗(yàn)收考核。

2 比對(duì)測(cè)試方案和判定限

判定限：比對(duì)測(cè)試主要以發(fā)現(xiàn)的有效缺陷數(shù)為判定的主要依據(jù)，具體內(nèi)容如下：

第一，所有檢驗(yàn)機(jī)構(gòu)發(fā)現(xiàn)的有效缺陷數(shù)（以Ni表示）取平均值（以M表示），然后把平均值跟本中心發(fā)現(xiàn)的有效缺陷數(shù)（以N1表示）進(jìn)行比較，如果本中心發(fā)現(xiàn)的有效缺陷數(shù)大于平均值，即N1≥M，則進(jìn)行第二個(gè)步驟的比對(duì)。

第二，假如有n家檢驗(yàn)機(jī)構(gòu)參與此次比對(duì)，取參考值K，且K＝[0.7n]（“[]”表示四舍五入并取整），如果本中心發(fā)現(xiàn)的有效缺陷數(shù)排名在K家檢驗(yàn)機(jī)構(gòu)之前，則本次比對(duì)測(cè)試通過(guò)，結(jié)果為滿意，否則本次比對(duì)測(cè)試結(jié)果為不滿意。

第三，相關(guān)注釋：注1：預(yù)埋缺陷：比對(duì)樣品中預(yù)先埋入的已知缺陷；注2：發(fā)現(xiàn)缺陷：檢驗(yàn)機(jī)構(gòu)實(shí)際發(fā)現(xiàn)的缺陷；注3：發(fā)現(xiàn)的有效缺陷：檢驗(yàn)機(jī)構(gòu)發(fā)現(xiàn)的缺陷如果在軟件樣品預(yù)先植入的缺陷范圍內(nèi)，則為有效缺陷，否則為無(wú)效缺陷，不做統(tǒng)計(jì)和比對(duì)。其中有效缺陷數(shù)以Ni表示，i取1，2，……，n，n為正整數(shù)，代表參與此次比對(duì)測(cè)試的檢驗(yàn)機(jī)構(gòu)數(shù)目；注4：有效缺陷數(shù)平均值M＝（N1＋N2＋N3＋……＋Ni）/i。

3 比對(duì)測(cè)試過(guò)程簡(jiǎn)介

本次參與比對(duì)測(cè)試的檢驗(yàn)機(jī)構(gòu)有國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇）、新加坡某學(xué)院、上海某信息技術(shù)有限公司、某研發(fā)有限合伙公司、德國(guó)某檢驗(yàn)機(jī)構(gòu)、美國(guó)某大學(xué)分校6家檢驗(yàn)機(jī)構(gòu)，比對(duì)軟件樣品為關(guān)鍵技術(shù)項(xiàng)目信息采集系統(tǒng)，測(cè)試的主要功能模塊有安全管理角色、審計(jì)管理角色、數(shù)據(jù)管理角色等。

在本次比對(duì)測(cè)試中，本中心依據(jù)產(chǎn)品需求規(guī)格說(shuō)明書(shū)、使用手冊(cè)等用戶文檔集，采用等價(jià)類劃分、邊界值分析、因果圖法、決策表法和錯(cuò)誤推測(cè)法等黑盒測(cè)試技術(shù)，通過(guò)設(shè)計(jì)覆蓋全部軟件產(chǎn)品功能實(shí)現(xiàn)的測(cè)試用例的方法，從功能實(shí)現(xiàn)的功能正確性、功能實(shí)現(xiàn)的完整性、功能的計(jì)算準(zhǔn)確性、計(jì)算精度的符合性等方面對(duì)用戶需求的軟件產(chǎn)品全部功能性進(jìn)行質(zhì)量測(cè)試，并將功能性檢測(cè)結(jié)果與用戶需求中的功能要求比較，評(píng)價(jià)該軟件產(chǎn)品功能是否符合用戶需求和文檔要求。

測(cè)試前準(zhǔn)備工作如下：（1）根據(jù)用戶需求和用戶文檔集，編制測(cè)試方案，并經(jīng)過(guò)嚴(yán)格評(píng)審；（2）搭建缺陷跟蹤與管理信息系統(tǒng)，如直接使用HP ALM系統(tǒng)進(jìn)行測(cè)試管理；（3）檢查測(cè)試所需的軟、硬件、操作系統(tǒng)等環(huán)境設(shè)施是否已到位；（4）檢查測(cè)試組人員的配置是否合理，測(cè)試人員的工作能力和經(jīng)驗(yàn)是否符合測(cè)試要求。

軟件測(cè)試執(zhí)行過(guò)程如下：（1）根據(jù)測(cè)試方案中相關(guān)內(nèi)容，檢查測(cè)試環(huán)境（包括軟硬件環(huán)境和操作系統(tǒng)等），確認(rèn)測(cè)試環(huán)境符合要求；（2）根據(jù)測(cè)試用例的陳述，按測(cè)試目的，對(duì)每一個(gè)測(cè)試用例設(shè)計(jì)具體的操作步驟、前置條件、輸入數(shù)據(jù)、預(yù)期結(jié)果；（3）執(zhí)行測(cè)試用例，并記錄所有相關(guān)信息，如果測(cè)試用例執(zhí)行的結(jié)果與預(yù)期結(jié)果不符合，則應(yīng)詳細(xì)記錄環(huán)境信息、操作步驟、問(wèn)題描述、可復(fù)現(xiàn)性等；（4）測(cè)試用例執(zhí)行完畢后，根據(jù)具體情況，備份系統(tǒng)數(shù)據(jù)或?qū)ο到y(tǒng)進(jìn)行恢復(fù)；（5）編制檢驗(yàn)報(bào)告、缺陷報(bào)告等。

在測(cè)試執(zhí)行過(guò)程中，針對(duì)發(fā)現(xiàn)的軟件缺陷，定義缺陷等級(jí)如下：

S1級(jí)：發(fā)現(xiàn)影響被測(cè)系統(tǒng)正確運(yùn)行的嚴(yán)重問(wèn)題：導(dǎo)致系統(tǒng)崩潰；出現(xiàn)不可挽救的數(shù)據(jù)丟失或損壞；主業(yè)務(wù)流程出現(xiàn)斷點(diǎn)；導(dǎo)致死機(jī)；內(nèi)存泄漏。

S2級(jí)：發(fā)現(xiàn)影響被測(cè)模塊正確運(yùn)行的嚴(yán)重問(wèn)題：導(dǎo)致程序模塊丟失或未實(shí)現(xiàn)；軟件錯(cuò)誤導(dǎo)致數(shù)據(jù)丟失；被測(cè)數(shù)據(jù)處理錯(cuò)誤；用戶需求未實(shí)現(xiàn)。

S3級(jí)：發(fā)現(xiàn)影響被測(cè)功能正確實(shí)現(xiàn)的問(wèn)題。

S4級(jí)：一般性的錯(cuò)誤或功能實(shí)現(xiàn)有不完善處。

S5級(jí)：建議性問(wèn)題。

檢測(cè)完成后，各個(gè)機(jī)構(gòu)檢驗(yàn)人員根據(jù)編制的檢驗(yàn)報(bào)告和缺陷報(bào)告，結(jié)合比對(duì)測(cè)試方案，得出最終比對(duì)測(cè)試結(jié)果如表1所示：

表1 各家檢驗(yàn)機(jī)構(gòu)比對(duì)測(cè)試結(jié)果

由表1得出，國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇）有效缺陷數(shù)N1＞M；6家檢驗(yàn)機(jī)構(gòu)中，國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇）發(fā)現(xiàn)的有效缺陷數(shù)排名為第2名。排名第一位的是美國(guó)某大學(xué)分校。

最終結(jié)論：國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇）比對(duì)測(cè)試通過(guò)，結(jié)果為滿意。

4 結(jié)語(yǔ)

隨著信息技術(shù)的飛速發(fā)展，對(duì)軟件產(chǎn)品的使用已經(jīng)滲透到大眾生活的各個(gè)領(lǐng)域，小到日常生活所需的家用電器、手機(jī)平板等電子產(chǎn)品，大到金融、國(guó)防、醫(yī)療等領(lǐng)域的高端精密設(shè)備。軟件產(chǎn)業(yè)作為現(xiàn)代服務(wù)業(yè)發(fā)展的核心，已成為促進(jìn)國(guó)民經(jīng)濟(jì)與社會(huì)發(fā)展、保障國(guó)家安全的戰(zhàn)略性新興產(chǎn)業(yè)。伴隨著軟件產(chǎn)品應(yīng)用的不斷深入，其設(shè)計(jì)的復(fù)雜度和難度也在逐步加大，而開(kāi)發(fā)周期卻在縮短，因此對(duì)軟件產(chǎn)品質(zhì)量的要求也在逐步提高，軟件質(zhì)量一旦出現(xiàn)缺陷將引發(fā)諸多問(wèn)題，其后果也越來(lái)越嚴(yán)重。可以說(shuō)，未來(lái)很長(zhǎng)一段時(shí)間，軟件企業(yè)的競(jìng)爭(zhēng)力不僅體現(xiàn)在軟件產(chǎn)品功能的先進(jìn)性以及類型的多樣性，更多的體現(xiàn)在軟件產(chǎn)品質(zhì)量的可靠性、易用性、可移植性以及可維護(hù)性上，軟件質(zhì)量已成為軟件企業(yè)的核心競(jìng)爭(zhēng)力。在《國(guó)務(wù)院關(guān)于印發(fā)進(jìn)一步鼓勵(lì)軟件產(chǎn)業(yè)和集成電路產(chǎn)業(yè)發(fā)展若干政策的通知》（國(guó)發(fā)[2011]4號(hào)）明確指出“鼓勵(lì)軟件企業(yè)大力開(kāi)發(fā)軟件測(cè)試和評(píng)價(jià)技術(shù)，完善相關(guān)標(biāo)準(zhǔn)，提升軟件研發(fā)能力，提高軟件質(zhì)量，加強(qiáng)品牌建設(shè)，增強(qiáng)產(chǎn)品競(jìng)爭(zhēng)力”。與此同時(shí)，軟件產(chǎn)品質(zhì)量的檢驗(yàn)檢測(cè)也越來(lái)越受到政府相關(guān)部門、軟件企業(yè)、軟件用戶的關(guān)心與重視。

作為第三方檢驗(yàn)檢測(cè)機(jī)構(gòu)，為了發(fā)現(xiàn)更多的軟件產(chǎn)品質(zhì)量問(wèn)題，保證高質(zhì)量的軟件產(chǎn)品能夠交付使用，不僅需要有嚴(yán)謹(jǐn)、高效、公正、規(guī)范的檢驗(yàn)管理流程，還需要通過(guò)比對(duì)檢驗(yàn)、能力驗(yàn)證等方式，不斷提高自身技術(shù)水平，并對(duì)在同行中處于什么樣的位置有一個(gè)清晰的認(rèn)識(shí)，從而更好地開(kāi)展相關(guān)業(yè)務(wù)，服務(wù)政府、服務(wù)企業(yè)、服務(wù)社會(huì)。

[1]軟件工程軟件產(chǎn)品質(zhì)量要求與評(píng)價(jià)（SquaRE）商業(yè)現(xiàn)貨（COTS）軟件產(chǎn)品的質(zhì)量要求和測(cè)試細(xì)則（GB/T25000.51-2010）[S].

[2]軟件工程產(chǎn)品質(zhì)量第1部分：質(zhì)量模型（GB/T16260.1-2006）[S].

[3]軟件工程產(chǎn)品質(zhì)量第2部分：外部度量（GB/T16260.2-2006）[S].

（責(zé)任編輯：蔣建華）

TP311

1009-2374（2017）12-0115-02

10.13535/j.cnki.11-4406/n.2017.12.059

王蕊（1983-），女，山東惠民人，供職于國(guó)家軟件產(chǎn)品質(zhì)量監(jiān)督檢驗(yàn)中心（江蘇），中級(jí)職稱，碩士，研究方向：計(jì)算機(jī)通信網(wǎng)絡(luò)、軟件和網(wǎng)絡(luò)產(chǎn)品檢驗(yàn)。

A