智能家居場景功能測試用例設(shè)計方法研究

楊文全 田云龍 馬曉玉 時雨

1.青島海爾科技有限公司 山東青島 266101；

2.數(shù)字化家電國家重點實驗室 山東青島 266101；

3.青島海爾智能家電科技有限公司 山東青島 266101；

4.中家院（北京）檢測認(rèn)證有限公司 北京 100053

0 引言

隨著信息技術(shù)的不斷發(fā)展，人類正加快進入數(shù)字化時代，計算機技術(shù)、物聯(lián)網(wǎng)技術(shù)、人工智能等技術(shù)的深入發(fā)展，使得智能家居行業(yè)得到了前所未有的進步，其中，智能家居場景化更是不斷升級，正在深刻改變著人們的生活成為智能家居新的發(fā)展方向。

場景是指由云端、控制終端、設(shè)備端組成的能夠滿足用戶特定需求的軟件系統(tǒng)。場景一般模型如圖1所示[1]，圖1為靜態(tài)結(jié)構(gòu)，其中各平臺指云端，控制終端包括家用電器的控制面板、手機、平板電腦控制終端等，設(shè)備端一般指各類家用電器及各類電子設(shè)備等。圖1給出了一般結(jié)構(gòu)，在圖1的結(jié)構(gòu)基礎(chǔ)上，根據(jù)用戶的不同需求可衍化出各類滿足用戶不同需求的多個具體場景，其可理解為家居軟件系統(tǒng)中的特定軟件功能。圖2為歸家場景示例，“cloud”表示云端，“App”表示控制終端，“網(wǎng)關(guān)、門鎖、攝像頭、燈、窗簾、空調(diào)、音箱”表示設(shè)備端。該場景功能為：用戶在App端選擇場景，App將信息上傳至云端，用戶觸碰門鎖打開，門鎖將信息上傳至云端，云端通過網(wǎng)關(guān)控制攝像頭關(guān)閉、窗簾關(guān)閉、燈光打開、空調(diào)打開、音箱打開，形成一個滿足用戶歸家需求的軟件系統(tǒng)。

圖1 場景一般模型

圖2 歸家場景示例

當(dāng)前，各大家電廠商均在紛紛布局智能家居場景，場景的研發(fā)和服務(wù)正成為行業(yè)發(fā)展的重要方向。場景使用體驗的好壞是用戶選擇場景的重要依據(jù)，影響場景使用體驗最直接的因素是場景的質(zhì)量，而保障場景質(zhì)量的重要手段就是進行場景測試。場景測試的本質(zhì)是軟件測試，是對由組件組成的場景進行功能性、性能效率、兼容性、易用性、可靠性、信息安全性、維護性、可移植性測試的過程。在場景測試過程中最基本也是最重要的測試就是功能性測試。

目前，由于技術(shù)和水平的限制，場景功能的檢測質(zhì)量參差不齊、使用體驗差、使用率不高，普遍存在以下問題：

（1）測試維度不完善。目前場景功能檢測局限于依據(jù)功能需求規(guī)格說明書進行場景功能覆蓋率測試，未充分考慮功能的完備性、正確性、適合性以及依從性、未覆蓋場景的隱含需求、未考慮場景的實際使用環(huán)境、未對場景執(zhí)行過程中的沖突情況進行測試[2]。

（2）測試用例設(shè)計不科學(xué)。目前場景功能測試過程中對等價類劃分、邊界值分析等測試技術(shù)的融合應(yīng)用不夠，導(dǎo)致測試過程中出現(xiàn)重復(fù)測試、邊界、極值未覆蓋等情況，影響場景功能測試的效率和質(zhì)量。

針對上述問題，考慮到場景的本質(zhì)是軟件系統(tǒng)，本文參考GB/T 25000.51-2016《系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求和評價（SQuaRE）第51部分：就緒可用軟件產(chǎn)品（RUSP）的質(zhì)量要求和測試細則》[3]中產(chǎn)品質(zhì)量功能性及其子特性的要求，將軟件黑盒測試方法應(yīng)用于智能家居場景功能測試實例中，提出智能家居場景功能測試用例設(shè)計方法，供行業(yè)參考。

1 場景功能測試問題分析

1.1 測試維度

目前智能家居行業(yè)場景功能測試的維度較單一，普遍是對照著需求規(guī)格說明書進行逐項測試，測試覆蓋不夠全面，導(dǎo)致場景執(zhí)行過程中的很多隱藏需求未測試，影響場景的使用體驗。主要原因是進行場景功能測試過程中沒有建立完善的測試體系，對功能性的測試維度認(rèn)識不夠全面。

根據(jù)國家標(biāo)準(zhǔn)GB/T 25000.10-2016《系統(tǒng)與軟件工程 系統(tǒng)與軟件質(zhì)量要求和評價（SQuaRE）第10部分：系統(tǒng)與軟件質(zhì)量模型》，功能性主要從功能完備性、功能正確性、功能適合性、功能依從性方面進行測試[4]。

（1）功能的完備性

主要驗證功能集對指定的任務(wù)和用戶目標(biāo)的覆蓋程度。

場景功能的完備性測試是指測試場景對指定的任務(wù)和用戶目標(biāo)的覆蓋程度。場景功能完備性一般測試場景的實際功能覆蓋場景需求規(guī)格說明書或其他技術(shù)說明文檔中所有功能的程度，即場景功能實現(xiàn)的充分性、完整性和覆蓋率。

（2）功能的正確性

主要驗證產(chǎn)品或系統(tǒng)提供具有所需精度的正確結(jié)果的程度。

場景功能的正確性測試是指場景提供具有所需精度的正確結(jié)果的程度。場景功能正確性一般測試：

1）對具有功能執(zhí)行正確性要求的場景，選擇具有覆蓋性的數(shù)據(jù)作為輸入，依據(jù)等價類劃分法和邊界值法設(shè)計用例，并計算這些輸入的預(yù)期結(jié)果，執(zhí)行用例，記錄軟件的實際結(jié)果，比較兩者之間的差異；

2）場景執(zhí)行過程中，對精度有要求的數(shù)值設(shè)計測試用例，驗證運算結(jié)果的精度及有效位與用戶需求規(guī)格說明書中的要求是否一致；

3）對場景執(zhí)行過程中的業(yè)務(wù)數(shù)據(jù)進行嚴(yán)格的正確性測試（包括數(shù)據(jù)是否超出正常的值范圍、數(shù)據(jù)準(zhǔn)確性等），確保系統(tǒng)實時數(shù)據(jù)和歷史數(shù)據(jù)準(zhǔn)確無誤；

4）適合性與正確性可以一起測試。如，依賴室外溫度的場景，當(dāng)室外溫度超過限值時，是否給手機發(fā)送短信，適合性檢查是否進行發(fā)送、接收；正確性檢查發(fā)送、接收的內(nèi)容是否正確、內(nèi)容有無丟失等。

（3）功能的適合性

主要驗證功能促使指定的任務(wù)和目標(biāo)實現(xiàn)的程度。

場景功能的適合性測試是指場景功能促使指定的任務(wù)和目標(biāo)實現(xiàn)的程度。場景適合性一般測試：

1）分析被測場景功能需求，依據(jù)《需求規(guī)格說明書》要求驗證場景是否實現(xiàn)了全部需求，確保各項功能是可執(zhí)行的；

2）檢測場景是否自相矛盾，是否與正常邏輯或單品自身功能相矛盾；

3）測試場景是否完整描述用戶的需求，包括隱含的需求（需求規(guī)格說明書雖未明確說明但是應(yīng)該達到的功能）如：睡眠模式下的燈光關(guān)閉應(yīng)漸暗，歸家模式下的燈光應(yīng)立即亮起；

4）測試場景是否實現(xiàn)了預(yù)期結(jié)果；

5）場景測試過程中，涉及數(shù)值的，要考慮以下因素：值域、邊界值，包括最小或最大值、鍵的長度、表記錄的最大數(shù)目、界面輸出的數(shù)據(jù)規(guī)格、最小樣本大小等，當(dāng)不可能提供固定的邊界值時（例如邊界值取決于應(yīng)用問題的類型或輸入數(shù)據(jù)時），應(yīng)說明這些限制可提供的允許值組合。

（4）功能的依從性

主要驗證產(chǎn)品或系統(tǒng)遵循與功能性相關(guān)的標(biāo)準(zhǔn)、約定或法規(guī)及類似規(guī)定的程度[1]。

場景功能的依從性測試是指場景應(yīng)符合需求文檔中列出的國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)內(nèi)部規(guī)范等。語音場景、藍牙場景、NFC場景應(yīng)符合行業(yè)對應(yīng)的標(biāo)準(zhǔn)，場景中的模塊也應(yīng)符合對應(yīng)的行業(yè)標(biāo)準(zhǔn)。

因此，在進行場景功能測試過程中要綜合考慮場景的適合性、完備性、正確性、依從性。只有建立完善的測試維度才能保證場景功能測試過程中的全面性，保證隱含需求和沖突情況能夠覆蓋到，從而保證場景的質(zhì)量。

1.2 測試用例設(shè)計方法

在場景功能測試過程中僅有完善的測試維度是不夠的，運用科學(xué)的用例設(shè)計方法才能避免測試過程中的重復(fù)性和片面性，保證測試的效率和質(zhì)量。

根據(jù)被測場景的特點，采用場景法、等價類劃分法、邊界值分析法、因果圖法、判定表法、隨機測試法、錯誤推測法等黑盒測試技術(shù)，要求必須將所有的測試需求細化到最基本的功能點，設(shè)計覆蓋全部場景功能的測試用例，從完備性、正確性、適合性和依從性等方面對場景功能進行質(zhì)量測試。

（1）場景法

場景法由基本流和備選流兩部分組成，其流向表示測試用例的路徑[5]。

基本流：也稱有效流或正確流，模擬用戶正確的業(yè)務(wù)操作流程。

備選流：也稱無效流或錯誤流，模擬用戶錯誤的業(yè)務(wù)操作流程。

如煙灶聯(lián)動開機場景中，基本流為任意一灶頭點火→煙機自動開機。備選流為所有灶頭關(guān)火→煙機未自動開機。

（2）等價類劃分法

等價類劃分法，把系統(tǒng)的輸入范圍劃分成幾個部分，選擇輸入條件時從每個部分中選擇若干個有代表性的數(shù)值[5]，從而減少測試用例數(shù)，提高測試效率。等價類可以分為有效等價類和無效等價類。有效等價類是合理有意義的輸入元素的集合，符合需求規(guī)格說明書中對輸入的要求；無效等價類是不合理無意義的輸入元素的集合。如以時間作為觸發(fā)條件的場景，時間的有效等價類是場景觸發(fā)的時間段，無效等價類是非觸發(fā)時間段。

（3）邊界值分析法

根據(jù)經(jīng)驗，程序大部分的錯誤在輸入范圍的邊界被發(fā)現(xiàn)，場景功能亦是如此。如果針對性地對輸入范圍邊界值設(shè)計測試用例，能夠有更大概率發(fā)現(xiàn)缺陷。邊界值分析法是用于對輸入或輸出的邊界值設(shè)計測試用例的方法，可看作是等價類劃分的補充[5]。如睡前準(zhǔn)備場景的生效時間段為21:00:00到23:00:00，其有效等價類的取值范圍為[21:00:00，23:00:00]，其取值包含了邊界點和邊界外側(cè)的點，我們可以取以下3個值作為輸入：20:00:00、21:00:00、23:00:00。除此之外，邊界值分析法還應(yīng)考慮一些數(shù)值的極端情況，如涉及空調(diào)溫度調(diào)整的場景，用戶允許的調(diào)溫范圍不能超過空調(diào)使用說明書中標(biāo)明的最低或者最高溫度。

場景功能測試過程中要將場景法、等價類劃分法、邊界值分析法等方法充分融合在用例設(shè)計中，使用最少的測試用例個數(shù)覆蓋邊界、極值等情況，最大限度地發(fā)現(xiàn)問題，提高測試效率和測試質(zhì)量。

2 場景功能測試方案研究及應(yīng)用

基于以上問題分析，無論從測試維度還是測試用例設(shè)計方法方面都能有效提高場景功能測試質(zhì)量。功能測試的核心是用例設(shè)計，場景功能測試用例設(shè)計一般分為三個步驟，如圖3所示。首先使用場景法設(shè)計測試路徑，根據(jù)場景的需求描述拆分為若干個子場景；第二步根據(jù)功能測試內(nèi)容綜合考慮功能的完備性、正確性、適合性、依從性，利用等價類劃分法、邊界值分析法等確定測試用例的具體輸入條件；最后利用因果圖法將各個輸入條件進行綜合分析得出高效、有序的測試用例。

圖3 場景功能測試用例設(shè)計

下面以典型場景歸家場景為例介紹場景功能測試技術(shù)在場景測試中的應(yīng)用，歸家場景如圖4所示。

圖4 歸家場景

2.1 測試路徑設(shè)計

使用場景法拆分需求設(shè)計測試路徑。根據(jù)對歸家場景測試需求的分析，基本流與備選流如下：

基本流：女主人在生效時間段使用人臉信息/指紋信息打開門鎖→執(zhí)行女主人歸家場景：播放音樂、燈光亮起、窗簾關(guān)閉、電視打開。

備選流：（1）使用非女主人的人臉信息/指紋信息打開門鎖；（2）女主人在非生效時間段使用人臉信息/指紋信息打開門鎖。

根據(jù)上述基本流和備選流生成不同的測試場景，如表1所示，表1中，V：valid有效，I：invalid無效。

表1 場景法設(shè)計測試路徑

2.2 輸入條件確定

根據(jù)拆分的場景考慮功能的完備性、正確性、適合性、依從性，結(jié)合等價類劃分法、邊界值分析法確定場景中的輸入條件。

（1）完備性：測試場景的實際功能是否與需求描述中的一致。得到如表2的測試用例。

表2 完備性測試用例

（2）適合性：測試場景實現(xiàn)指定的任務(wù)和目標(biāo)的程度，測試過程中要考慮值域、邊界及隱含的需求。對于隱含需求：應(yīng)在合理的時間內(nèi)啟用歸家模式，使用等價類劃分的方法確定輸入條件，針對該需求，有效等價類時間為工作日17:00:00至21:00:00，無效等價類時間為工作日21:00:01至第二天16:59:59和非工作日的00:00:00至24:00:00。同時采用邊界值分析法進行補充，分析有效等價類和無效等價類的邊界，得到表3的邊界值分析表。

表3 邊界值分析表

適合性還應(yīng)測試是否與正常邏輯或單品自身的功能相矛盾，假設(shè)智能家居中還存在離家場景，離家場景為主人離家室內(nèi)無人超過1小時后，執(zhí)行離家場景（燈光關(guān)閉、電視關(guān)閉、空調(diào)關(guān)閉、窗簾打開），執(zhí)行時間為全天24小時，在表3中選擇兩個時間17:00:00和22:00:00執(zhí)行完歸家場景后，執(zhí)行離家場景，檢查兩個場景是否能正常執(zhí)行。歸家場景的適合性還應(yīng)測試在女主人執(zhí)行完歸家場景后其余家庭人員再次執(zhí)行歸家場景，檢查場景執(zhí)行是否存在沖突。

（3）正確性：測試場景提供其所需精度的正確性的程度。歸家場景中輸入?yún)?shù)包括人臉信息和指紋信息，可通過等價類劃分的方法設(shè)計輸入，如表4所示。

表4 人臉、指紋信息的等價類分析表

根據(jù)場景的執(zhí)行情況，正確性還應(yīng)測試燈光、電視、窗簾、音箱，一個條件發(fā)生故障時不應(yīng)影響其他條件的正常執(zhí)行。

2.3 測試用例設(shè)計

通過對場景功能完備性、適合性、正確性的分析，確定每個測試項對應(yīng)的輸入條件，但各輸入條件間的組合關(guān)系是否存在相互制約的情況，以及各種組合是否合理并未進行分析，在形成最終測試用例前使用因果圖法對各個輸入條件間的關(guān)聯(lián)關(guān)系進行綜合分析得出歸家場景的測試用例[6]，如表5所示。

表5 歸家場景的測試用例

2.4 效果分析

以歸家場景為例，以往進行功能測試時，更多的是對照著需求進行機械的測試，未考慮非生效時間段場景的執(zhí)行情況，導(dǎo)致用戶在凌晨回家時歸家場景執(zhí)行給用戶帶來困擾；未考慮人臉信息和指紋信息的無效等價類，導(dǎo)致錯誤的信息也能打開門鎖，用戶的生命財產(chǎn)安全得不到保障；未對可能產(chǎn)生的沖突情況進行測試，導(dǎo)致歸家場景和離家場景互相沖突影響用戶的使用體驗。將場景功能測試技術(shù)應(yīng)用于場景測試中后，我們可以看到測試維度更加完善，在設(shè)計測試用例時更加科學(xué)、嚴(yán)謹(jǐn)，能夠用最少的測試用例最大限度地暴露場景的缺陷。

3 結(jié)束語

功能測試是場景測試中最基本也是最重要的測試內(nèi)容，是提高場景使用體驗的重要手段。本文對場景測試過程中出現(xiàn)的問題：測試維度不完善、用例設(shè)計不科學(xué)進行分析，提出場景功能測試的維度和測試用例設(shè)計方法，并將該方法應(yīng)用于歸家場景中。通過本文第1、2章的論述，建議在設(shè)計用例時，首先進行測試路徑設(shè)計，將場景需求拆分為若干個子場景；然后進行輸入條件分析，采用邊界值分析、等價類劃分等方法，考慮場景功能的完備性、正確性、適合性、依從性來設(shè)計測試用例；最后將輸入條件進行綜合分析，可以有效、有序地設(shè)計出一組可靠性高、執(zhí)行性強的功能測試用例，從而提高場景測試的效率，保證測試的置信度和軟件質(zhì)量。

同時，我們也應(yīng)該知道任何軟件測試都不是完全的測試，我們只能在有限的時間和資源下盡可能多地發(fā)現(xiàn)問題而不能發(fā)現(xiàn)所有問題。鑒于智能家居場景的獨特性，場景測試需要測試人員對場景業(yè)務(wù)邏輯足夠熟悉，才能設(shè)計科學(xué)、有序的測試用例，合理、有效地執(zhí)行測試。另外，場景測試雖然可以參考軟件相關(guān)標(biāo)準(zhǔn)進行測試，但行業(yè)需要更多具有針對性的統(tǒng)一標(biāo)準(zhǔn)用于測試，這就需要我們將更多更好的方法經(jīng)驗形成行業(yè)統(tǒng)一的標(biāo)準(zhǔn)指導(dǎo)測試，為用戶提供更好的場景使用體驗。