移動應用質量測試標準工業進展研究

王婧宇

（南京市產品質量監督檢驗院 南京 210000）

1 引言

隨著信息通信技術的快速發展和網絡的普及，信息內容和服務通過多媒體終端的智能化呈現已經成為信息技術產業發展的重要特征，智能終端已經逐漸滲透到信息技術產業的多個方面，并影響著我們的生活方式［5，7］。截至 2015 年1 月，全球接入互聯網的移動設備總數超過70億臺，幾乎平均全球人手一臺。目前，我國智能機活躍設備已超過10億臺，這些設備通過訪問移動App或瀏覽器等方式進行上網。越來越多的非智能設備會進行智能化改造，例如家電、汽車、工業設備等；越來越多的傳統行業會進行信息化建設，應用智能終端提高生產效率，例如醫療、教育、物流、稅務、能源等；這些都將對智能終端技術提出更多，特別是軟件方面的需求。

據統計，在二大平臺的應用市場上，iOS應用突破180萬，Android渠道眾多，目前國內市場上應用達到近300萬（注：Android應用數量來源于騰訊應用寶，iOS應用數量來源于AppAnnie）。隨著“互聯網+”行動計劃的開展、大眾創業萬眾創新若干政策措施的落實，為智能終端軟件的發展帶來新了的機遇和挑戰。智能終端軟件產業“軟件數量多、企業規模小、發布渠道廣、版本更新快”，目前移動終端應用軟件質量仍然參差不齊。據統計，每天有1400萬設備由于應用軟件質量而發生崩潰。按月去重統計，則每月有高達1.8億的設備遭遇應用崩潰。（出處：《2015年騰訊移動應用質量大數據報告》）同時，相應管理手段和配套制度尚不完善，在巨大利益的驅動下，惡意扣費、隱私泄露、支付安全、系統破壞、詐騙欺詐等事件時有發生，使得智能終端軟件的質量問題特別是安全問題凸顯，不僅影響用戶的消費信心也制約了產業健康發展［8］。

工信部于去年年底出臺了《移動智能終端應用軟件（App）預置和分發管理暫行規定》，要求“生產企業和互聯網信息服務提供者所提供的移動智能終端應用軟件必須符合相關標準要求，不得調用與所提供服務無關的終端功能、強行捆綁推廣無關應用軟件，未經明示且經用戶同意，不得實施擅自收集使用用戶個人信息、強制開啟應用軟件、違規發送商業性電子信息等侵害用戶合法權益和危害網絡安全的行為?！薄吧a企業和互聯網信息服務提供者應確保除基本功能軟件外的移動智能終端應用軟件可卸載?！薄巴ㄐ胖鞴懿块T應組織專業檢測機構對生產企業預置的和互聯網信息服務提供者提供的應用軟件開展監督檢測和惡意應用軟件認定工作，相關企業應給予配合，并提供便捷的獲取應用軟件的條件?！痹诖吮尘跋拢疚膶⒕蛡鹘y系統和應用軟件質量與測試標準體系和智能終端應用軟件質量與測試標準體系的簡裝進行研究，并總結趨勢提出下一階段相關標準的制定思路。

2 傳統系統和應用軟件質量與測試標準體系

軟件產品如果缺乏測試標準，將會導致很多軟件存在缺陷，影響消費者使用。只有通過不斷測試，軟件的正常使用才能得到保障。軟件質量測試標準體系的建立無疑將提高軟件產業的競爭力、保護消費者權益。近年來，隨著國家和行業對軟件產品質量的重視，針對傳統應用軟件的質量與測試標準體系已逐漸完善（見表1）［2］。目前業界認知度比較高的主要是GB/T 16260系列標準和GB/T 25000系列標準。作為軟件測評和軟件度量標準，這兩個標準覆蓋國內各大軟件測評機構、國內軟件企業、信息系統研發單位，涵蓋航天、電力、金融、軍工等領域，都采用該標準進行內部測試和第三方評測［1］。

GB/T 16260系列標準等同采用了ISO/IEC 9126系列國際標準，建立了軟件產品質量模型，并從外部度量、內部度量和使用質量度量等方面規定了相應的標準（見圖1）。

GB/T 25000系列標準則等同采用ISO/IEC 25051，其標準使用范圍明確為商業現貨軟件（COTS），標準中增加了商業現貨軟件產品要求和基質量模型的質量要求，針對測試文檔，特別是測試計劃、測試規程、測試報告的編制作了要求。

圖1 外部和內部質量標準

而 2013年發布實施的 GB/T 29831、GB/T 29832、GB/T 29833、GB/T 29834、GB/T 29835、GB/T 29836一批國家標準（見表1）［4］，對系統與軟件的功能性、可靠性、可移植性、維護性、效率、易用性等重要質量指標均給出了詳細的指標體系、度量方法和測試方法，填補了原先相對空泛的質量模型，使得軟件測試更加有章可循。

此外，還有一批國家標準正在制定中（見表2）。值得注意的是，《網絡游戲測試規范》和《手機游戲測試規范》兩個早在2008年立項的國家標準，遲遲未見正式發布。

3 移動應用軟件質量與測試標準

逐漸增多的應用軟件為智能終端的擴展功能提供了方便，也為智能終端的發展提供了基礎。由于移動終端設備的多樣化、網絡狀態的多樣性與不穩定性、設備碎片化和操作系統平臺復雜度、應用程序類型的多樣性、測試工具的可用性等諸多原因，雖然關于移動應用的測試是近年來關注度較高的領域，但相比較傳統應用軟件的質量模型與測試標準相對成熟的狀況，目前移動終端軟件的質量模型尚未完全建立，相關的評測標準也相對缺失［9～10］。

郭文勝等人對質量模型進行了裁剪、調整和對部分指標重新定義，提出了移動智能終端應用軟件產品的質量模型、市場生命周期模型、階段節點質量控制策略，用于指導應用軟件產品供方提高產品質量、規范應用發布平臺對應用軟件產品對產品的符合性評價［3，6］。形成針對應用軟件產品的內部和外部質量模型、使用質量模型。具體調整包括：

表1 軟件質量和測試現行相關國家標準

1）智能終端應用可以不考慮源代碼屬性，因此整體刪除可維護性，并移除26個頁節點特性指標；

2）由于移動智能終端軟件涉及個人、社會和國家安全，因此向上提升了安全保密性和依從性一個層級，凸顯國家、社會對安全和內容合規性的重視。

3）由于只考慮移動端應用質量，刪除包括服務器端的可維護性、可靠性、多用戶并發性能，以及數據庫的適應性。組織環境的適應性、移植完整性等指標；

4）刪除可靠性中的部分指標；增加可信度特性指標，描述用戶對應用軟件產品質量信用的評價。目前該質量模型已被應用到四川省地方標準《移動智能終端應用軟件產品通用技術要求及測試規范》（DB51/T 1998-2015）。

智能終端信息安全也是未來研發的重點，接入網絡后，如何保證在智能終端上開展的各種業務的安全，如何保證智能終端上個人信息的安全，如何保證智能終端本身不被復制等一系列安全問題都十分重要。目前國內已經發布實施的移動終端軟件標準（見表3），主要關注安全性，且停留在移動行業標準的層級。同時，已立項正在制定階段的標準也主要圍繞安全性展開。

表2 軟件質量和測試相關國家標準（正在制定）

表3 移動終端軟件標準

4 移動應用軟件質量與測試標準建議

目前，與智能終端軟件質量評價體系相配套的測試標準也尚未出臺，相信未來將是關注的焦點。目前業界針對智能終端軟件開展的測試類型如表4所示，主要有：

1）功能性測試：交互操作性測試，包括安裝、啟用、注冊、登錄、卸載、覆蓋各種業務流程與分支等。主要有基本功能測試，新功能測試，重點功能測試，全量測試，網絡或業務功能撥測，規范符合性測試等。其中測試場景重點為菜單路徑，功能點，界面與操作流程，業務功能，角色權限等。

2）安全測試：主要包括黑盒安全性測試，采用模糊數據對被測對象進行攻擊測試的手段，具體包含數據安全、代碼安全、內存安全、漏洞掃描等。其測試重點為訪問限制、應用程序簽名、惡意程序安全、權限命名機制、協議通信安全和用戶數據隱私安全等。

表4 針對智能終端軟件的測試類型

3）性能測試，主要包括基準性能，性能指標測試/多地域性能撥測，性能對標測試，以及專項性能測試。其中專項性能測試包括時延測試、流量測試、功耗測試、觸控測試。其測試場景重點為對被測對象功耗、時延、響應時間、連接成功率、并發用戶數等核心性能指標進行測試。

4）兼容性測試：包括手機客戶端實質為終端適配性測試，web客戶端實質為瀏覽器兼容性測試，pc客戶端端實質為與主流用戶操作系統兼容性測試。其測試重點主要有終端適配：與不同分辨率、不同操作系統平臺版本、不同定制終端的兼容性；瀏覽器兼容：html5兼容；瀏覽器引擎兼容；pc客戶端兼容：主流windows桌面和linux桌面系統兼容性。

5）穩定性測試，包含極限負荷下穩定性基準，表征為持續無故障時間有多長等。其測試重點包括基本功能反復多次，基本功能長時間持續執行等。

6）用戶界面與易用性測試，主要包括核實用戶整體界面風格一致、圖形界面的對象和特征（例如，菜單、大小、位置、狀態和中心）都符合標準。其中易用性包括，業務符合性是指界面風格、表格設計、業務流程、數據加密機制等是否符合相關的法律法規、業界規劃以及使用人員的習慣；錯誤提示測試是指關鍵操作或數據刪除等操作前是否有明確的提示，或報錯時是否有給出足夠的出錯原因。用戶界面測試可分為整體界面測試和界面中的元素測試。界面整體測試是指對界面的規范性、一致性、合理性等進行測試和評估；界面中的元素測試主要包括窗口、菜單、圖標、文字、鼠標等。

這些類型的測試所使用的測試方法、所需要搭建的環境、使用的工具亟待用標準形成統一規范，為軟件評測提供依據，也為未來的質量認證與市場準入奠定基礎。

5 結語

隨著移動互聯網產業的迅猛發展，移動終端應用軟件已經融入了人們的日常工作、學習和生活，其產品質量問題也日顯突出。作為行業主管部門要監管應用軟件產品質量，從根本上保護消費者合法權益，必須建立一套準入機制，按照統一的質量模型和測試標準，使得移動終端應用產品在應用商店上架前通過自檢、他檢或者第三方檢測，與相關法律法規互相配套。