移動終端測試與質量評估體系的研究

亢 娟，李艷萍，廖 軍，安 崗

（1.太原理工大學 信息工程學院，山西 太原 030024；2.中國聯通集團研究院，北京 100032）

隨著移動通信技術的快速發展，3G業務逐漸展開，3G終端作為市場最終用戶的業務體驗載體，其性能與功能的優劣直接決定了用戶對3G業務的認可程度。因此，3G終端測評工作的重要性也逐漸凸顯。為充分了解這些終端的功能、性能、可用性、兼容性等情況，必須進行必要的終端測試。目前在移動終端測試及質量評估方面，無論是第三方測試機構、國家行業準入檢測機構，還是國際標準測試認證機構，其測試的目的、方法、體系、策略等都無法完全滿足運營商終端測試和質量評估的要求。因此很多國內外運營商紛紛結合自己終端和網絡發展的需求，建立（或者已經建立）面向移動終端的測試及質量評估體系和策略。該測評體系包含了終端測試和評價相關的測試規范、測試內容、測試流程和方法、終端測試支撐平臺、測試管理及終端評價策略等方面的研究、建設和實施。本文對運營商終端測試體系的測試標準、測試內容和評價策略三方面進行了深入的分析、研究，并提出了相應的建議。

1 移動終端測試的現狀分析

1.1 移動終端測試相關標準研究

為了保證第三代移動通信系統的安全以及維護廣大移動用戶的切身利益，歐洲、北美和日本都對WCDMA終端設備實行了強制性的管制和全面型號認證制度，各大運營商以及認證機構分別成立了相關標準組織及聯盟，主要有 GCF（Global Certification Forum）、PTCRB（PCS Type Certification Review Board）等，它們對于各種終端產品（GSM/GPRS/WCDMA）進行認可認證，這對終端產品的品質和安全起了非常重要的管制作用。

1.1.1 GCF標準

GCF是一個國際性的組織，英文全稱是Global Certification Forum（GCF），即全球認證論壇。GCF由全球多家運營商和手機廠家組成，同時測試機構和測試設備供應商作為觀察員參加。運營商和手機制造商為了確保終端在全球范圍內的互操作性，提出了協調一致性等測試標準，通過獨立的認證過程來確保終端的測試符合標準要求。GCF標準認證基于自愿原則，雖然它不是強制性要求，但對于目前來說，全球的一部分國家和地區都會要求終端廠商按照或參考GCF標準進行測試，因為通過GCF的認證標準，終端生產廠商可以確認其產品是否符合認證標準的要求。GCF標準主要適用于歐洲國家，GCF中GSM/WCDMA終端認證測試主要包括以下幾個方面：

1）一致性測試（Conformance Testing）：為了保證各個終端的相互兼容性和一致性[1]，GCF在一致性測試中的主要作用是提供協調一致的測試標準，它在整個測試體系中定義了用來保證手機滿足網絡的部署[2]，以此來判斷手機的行為是否和協議標準規定的內容一致。

2）外場測試（Field Trail）：GCF在外場測試中占有重要的角色，外場測試是將各個終端在實際的網絡環境下進行測試，以驗證網絡間的互通性以及其他性能，確保終端設備能夠安全地使用。

3）應用測試（Application Enabler）：目前GCF認證中的應用測試包括有彩信服務MMS、視頻通話Video Telephony、IMPS、PoC等方面的測試，這些應用測試都在認可認證之中[3]。

在通常情況下，GCF要求的一致性測試僅針對某一需求或功能的測試，只是關注測試是否一致性符合協議規范，它主要利用理想的參數進行一致性測試，而對于其他方面的性能指標GCF并不涉及，例如業務并發測試等[4]。

1.1.2 PTCRB標準

PCS型號認證委員會（PCS Type Certification Review Board，PTCRB），它的組成包括運營商和手機廠商等組織，同時，還包括一些認可實驗室。其認證的詳細內容及認證流程列于NAPRD.03中，而NAPRD.03-TC列出了參考3GPP標準和OMA標準而制定的測試項。PTCRB標準主要適用于北美地區，PTCRB對于北美地區的FDD II和FDD V終端的測試要求主要包括以下幾個方面：

1）一致性測試：PTCRB的一致性測試主要有射頻測試、無線資源管理（RRM）測試以及相關的協議測試，所有的測試項目都列在PTCRB的永久性參考文檔NAPRD.03_TC。

2）天線性能測試：除了認證各個終端的一致性和相互兼容性，PTCRB的測試認證也包括北美運營商和手機廠商同樣重視的OTA測試，即終端在實際工作的狀態下，測試終端天線工作的發射性能以及接收性能[5]。

總之，可以看出目前國內外的終端測試相關標準組織對一致性測試最為看重，可以說，一致性測試是運營商、手機廠家等非常關注的一項測試。然而，由于3G業務的復雜多變性，對于運營商所涉及的全部問題，單純依靠終端的一致性測試并不能達到要求。因此，運營商還需要根據自身網絡和業務發展情況，有針對性地制定其他終端測試規范。

1.2 國內運營商移動終端測試的現狀

對于國內運營商來說，根據業務的需求，目前對移動終端進行測試的范圍主要包括軟件測試、硬件測試、協議測試、智能卡測試以及應用測試等。但隨著3G業務的快速發展，用戶體驗度不斷提高，在移動終端測試及質量評估方面，以上測試的范圍并不能完全滿足運營商終端測試和質量評估的要求。運營商還必須根據自身的業務發展需求，具體規定對移動終端的測試內容和需求，實施過程中可以制定統一的測試規范以驗證各個設備制造商提供的終端是否達到運營商所要求的標準。目前，在入網測試的基礎上，國內大部分運營商進行網絡兼容性測試、天線性能測試、智能卡測試以及其他性能測試等，但測試內容并不完整，運營商還需要根據網絡和業務的發展，不斷補充和完善終端的測試內容。

1.3 運營商移動終端評價策略的現狀

從全球來看，很多國內外運營商結合了自己的評測需求，建立（或者已經建立）終端的評價及管理制度，使不同終端的評測結果可以進行直觀的比較。目前，某些國內外運營商采用的評價方案與以下方案類似[6]，具體如圖1所示。

圖1 移動終端評價方案

該方案對于終端的硬件和協議測試、業務和應用測試、智能卡測試、軟件測試作為基本的測試，這些測試項目的測試結果全部合格后，才能對終端進行整體性能的評測，終端整體性能評測的結果作為終端建模及評價子系統的輸入。建模及評價子系統通過對每個測試項目進行加權，對每個測試結果進行量化，并通過科學的建模計算出終端整體性能的評分。

此方案只對終端整機性能的測試結果進行建模和量化，對于其他的測試項目必須要全部合格后才能對終端整機性能測試結果進行量化評價，最終輸出的結果僅是對終端整機性能測試的得分。該方案無法對終端進行全面的量化評價，評價結果比較片面，但實施難度較低，對目前測試和評價流程改動較少，因此風險較小。

2 運營商移動終端測試與質量評估體系的建議

對3G運營商而言，目前的評測體系并不能完全滿足運營商終端測試和質量評估體系的要求，還必須根據現網和業務的開展情況，不斷動態調整其測試要求，有針對性地選擇測試范圍和內容，建立起一套客觀、公平、完備的評測體系，以更好地服務于運營商3G業務的開展。為更加充分地滿足運營商開展3G業務對終端測試的技術要求，本文對終端測試體系中的測試標準、測試內容和評價策略等三個方面加以分析和補充，并分別對其提出了建設性意見。

2.1 移動終端測試相關標準的建議

目前，對于移動終端測試相關標準的測試內容，如一致性測試等主要關注標準規范是否符合國際規范的要求，涵蓋面窄，無法體現終端的整體性能，測試結果更不能全面反映用戶感知。而隨著3G業務的逐漸展開，終端用戶體驗的重要性也逐漸凸顯，相關標準組織可對終端的關鍵性能指標和影響用戶感知的重要因素進行針對性的評測，測試范圍可以增加主觀體驗評估和客觀工具測試兩類。其中主觀體驗評估由人工實現，主要用于測試無法由工具判斷的用戶體驗項，如屏幕響應時間、滑動流暢性等。客觀工具測試主要用于CPU、GPU、2D/3D、I/O性能、電池續航性能等測試。具體可以分為硬件性能評測（CPU、GPU、Memory、I/O、屏幕性能、攝像頭性能等）、軟件性能評測（系統可靠性、數據性能、網頁瀏覽性能、語音質量等）、響應時間評測（開、關機時間，屏幕響應時間，應用程序啟動時間等）、綜合耗電和其他評測，如屏幕滑動流暢性等。以上的測試范圍可以最大程度反映用戶感知。國內外運營商也可聯合起來將此推向國際，建立并完善一套客觀、公平、完備的評測標準。

2.2 運營商終端測試內容的建議

目前，運營商終端測試內容包括網絡兼容性測試、增值業務的功能和性能測試、數據吞吐性能測試、天線性能測試、智能卡測試以及穩定性測試等。隨著網絡和業務的發展，終端測試內容并不全面，本文分析了目前的現狀，結合終端與網絡的發展，提出運營商終端測試內容的建議，詳細內容如圖2。

圖2 移動終端總體測試內容

本文建議，運營商終端測試應該分為五大部分：硬件和協議測試、業務和應用測試、智能卡測試、軟件測試、主觀及整機性能測試，其中，硬件和協議測試包括：一致性測試（射頻一致性、協議一致性、RRM）、IOT測試（外場兼容性、實驗室IOT）、元器件測試（藍牙、WiFi、USB、CPU和內存、屏幕、攝像頭）、音頻質量測試、OTA測試、電源及耗電測試等。業務和應用測試包括：基本功能測試（鬧鐘、電話薄、錄音、計算器、開關機等）、基本業務測試（短信、彩信、流媒體、WAP、Web、定位、可視電話、Java、Email等）、自有業務測試等。智能卡測試包括機卡接口協議測試、智能卡電特性測試、機卡兼容性測試、智能卡基本業務測試、智能卡新業務測試等。軟件測試包括操作系統評測、瀏覽器評測、Widget測試、應用商店軟件等。主觀及整機測試包括用戶體驗及可用性主觀測試、整機性能客觀測試（現網吞吐量、現網音頻質量、業務及頁面載入時間、綜合耗電、視頻性能等）。

以上是運營商對終端測試考慮比較全面的測試內容，但實際測試的內容不能要求面面俱到，運營商可根據實際的需求和質量要求，抓住重點，科學評測。

2.3 運營商終端測試評價策略的建議

運營商終端測試和評價不僅要有測試系統，還需要具備終端評價系統。對于運營商來說，終端測試的結果并不能直接用于終端的評價，需要建立一個終端評價系統將測試結果導入其中進行分析和計算。移動終端評價系統可以收集較為完備的測試過程數據，對測試案例和測試結果進行量化，使不同終端的評測結果可以進行直觀的橫向比較，并為運營商提供充分的測試分析依據。充分、科學、合理、高效地發揮測試環境的作用，便于建立完備的終端測試及質量評估體系。

本文建議的運營商移動終端評價系統總體實施方案如圖3所示。

圖3 移動終端評價系統總體實施方案

在該方案中，硬件和協議測試、業務和應用測試、智能卡測試、軟件測試、主觀及整機測試等所有測試類別下的測試結果全部輸入到建模及評價系統進行量化、建模、計算。最終得出終端總的評價結果和得分。它將所有的測試項目全部納入建模和評價，最終輸出的結果是對終端所有項目權衡后的總體得分。該方案可以對終端進行全面的量化評價，在科學設置各測試項目的權重和建模后，可以對終端進行總體的量化評價。

終端評價模型是移動終端評價系統中最為重要的部分，應包括量化、權重確定和綜合評價三個模塊。具體量化過程中，對于功能測試結果為達到某種預期動作時，成功得滿分，否則得0分；對于測試結果為達到預期數值時，設置預期數值的臨界點，達到基本數值時得基本分，數值越高，分數越高；權重確定時，根據終端類型的不同，各指標的權重應該有所調整。以用戶體驗為中心，根據基本功能和魅力質量設置權重、優先級，必測項權重高，可選項權重低，各測試項權重確定方法可分為主觀賦權法、客觀賦權法等；在上述兩個基礎模塊上，再通過合成法進行綜合評價，最終評分合成方法可以分為雷達圖算分、加權得分、累乘得分等。

終端評價模型應針對不同的功能類測試分別需制定相應的評價模型，同時由于針對不同終端機型其測試功能項組合各自不同，因此需要設計分層式評價模型，即可對功能評測按照分大類、小類逐層地進行評價。其設計上需實現如下的功能：1）權重參數與具體計算評價模型相分離的設計，模型分為基本計算流程和流程耦合控制參數兩部分，支持多種參數對評價模型進行微調。2）可擴展的模型，隨著新的功能測試項目的加入，模型能夠擴展支持新的功能測試項目。3）可自定義的用戶模型，用戶可以通過相應的操作或者腳本對計算模型流程和計算項進行調整和自定義，實現靈活擴展。終端分級管理與評價模塊中評價模型與參數采用分離式設計，參數可通過多種靈活的方式輸入到評價模塊中，包括：相關部門自主定義，交互式輸入到評價系統中；還可以通過若干自適應學習算法自動從關聯終端銷售數據庫中學習。

基于以上設計思路，可以得到如圖4所示具體實現方案。

圖4 移動終端評價系統具體架構圖

移動終端評價系統實際上是一個自適應的系統。上述架構圖主要包括了測試結果數據庫、終端銷售數據庫、數據解析層、終端測試評價參數和綜合分析評價模型五大部分。數據解析層對應上述的量化模塊，終端測試評價參數對應上述的權重確定模塊，綜合分析評價模型對應上述的綜合評價模塊。具體流程是：首先，終端測試完成后，將測試結果輸入到數據解析層并加以分析，對硬件和協議測試等五大測試內容進行量化，將各個量化結果和評價參數輸入到綜合分析評價模型中，通過合成法計算如加權平均法，進而得到評價結果。再將評價結果反饋給測試主管部門，測試相關人員可將結果與終端銷售數據庫中的歷年銷售情況進行分析比較，評價結果與銷售數據關聯后，依據關聯結果對評價模型和評價模型參數進行微調，應用微調后的評價模塊對新終端進行后續預測，然后跟據評測模型輸出結果和銷售數據，計算當前主流性能終端評測分值。通過這樣的負反饋自我學習的方式，對已經投放到市場上的終端進行評測學習，學習總結之后，當新的終端需要測試時，可以利用半年前的終端數據與之相比較，實時調整評價參數和評價模型，不斷學習和積累經驗，建立起一套客觀、公平、完備的評價體系。

3 總結

3G終端測試是一個較為復雜的系統性綜合工作，它將自始至終伴隨運營商3G業務的發展過程。運營商應當在標準組織的基礎上，結合自身實際情況，根據不同類型終端的上市需求來制定具體的測試和評測內容，收集較為完備的測試過程數據，建立科學的終端測試及質量評估體系，為運營商提供充分的測試分析依據，降低服務成本，提升品牌效應。從而在終端產品競爭越來越激烈的今天保持領先地位，更好地服務于運營商3G業務開展。

[1] 張敬敬.移動終端協議棧一致性測試研究[D].南京：南京航空航天大學，2008.

[2] 茍鯤鵬.3G移動終端一致性測試設計及其實現[D].北京：北京郵電大學，2008.

[3] 王陸瀟.WCDMA終端一致性認證測試及其發展[J].移動通信，2008（3）：73-77.

[4] 王湘寧.運營商WCDMA終端測試體系研究[J].通信世界：B，2009（27）：24-25.

[5] 魏蔚.基于AT4wireless射頻測試平臺的一致性測試方法和應用[D].北京：北京郵電大學，2009.

[6] 杜棟，龐慶華.現代綜合評價方法與案例精選[M].北京：清華大學出版社，2005.