軟件測試與IT系統的質量提升

中國聯通集團研究院 北京 100032

背景

隨著互聯網時代的來臨，電信行業的發展經歷了巨大的變革，作為企業核心競爭力的體現，信息系統的穩定性和可靠性已成為一家企業生存與發展的關鍵。新產品推廣周期的不斷縮短，使得行業競爭日趨激烈，為滿足中國聯通的業務發展需要，提高中國聯通在國內、國際的市場競爭水平，改善總部、各省公司系統間集成缺少整體意識、缺乏規范指導、重復投資等情況，中國聯通對IT系統進行了統一的規劃和建設，以適應“管理集中、系統集中、系統融合、規范統一”的發展思路。

統一的規劃建設給傳統的信息系統項目管理方法和質量帶來挑戰和壓力。聯通集團IT系統建設面臨著從單項目向多項目、甚至項目群組演進的過程。融合的業務需求、集中統一管理的需求，推動電信IT支撐系統逐步從省集中向總部集中演進，核心運營支撐系統的集中化趨勢越來越明顯，大多數的系統均需要具備一級架構，多點支撐的能力。

IT信息系統集中化有力地推動了企業發展，加快了技術的更新、提高了運營商的工作效率。但是，集中化給IT支撐帶來較大的風險。傳統的信息系統工程建設以最終驗收為目的的質量檢查，已經不能適應新形勢下的系統建設需求。如何完善和保障IT系統建設項目全生命周期質量管理是一個迫在眉睫的問題。

中國聯通集中化的信息系統建設，需要從項目式的質量管理轉化為精細化的、集中的、全面的質量管理。研究中國聯通IT系統建設全面質量管理，具有現實的意義。

對IT信息系統全面的質量管理，既適應中國聯通企業發展新形勢的需求，也為信息系統集中化過程中IT系統建設保駕護航、提供保障；同時，也是提升集中化項目(項目集群)管理水平的要求。

1 電信行業IT系統發展情況

當前，電信運營商的IT支持系統，包括業務支撐、財務、人力、采購、項目管理以及運營支撐等各項工作。從某種程度講，IT系統的質量決定了公司的戰略執行質量。

電信運營商I T系統已發展成為龐大的支撐體系，可分為三大類，即業務支撐系統BSS(Business Support System)、運營支撐系統OSS(Operation Support System)、管理支撐系統MSS(Management Support System)[1]。

在建設過程中，大型信息化系統建設，往往面臨時間緊、任務重的特點，IT系統的上線，是一個時間與質量的權衡過程。以犧牲質量為前提的建設工程不僅會給企業帶來高昂的維護費用，甚至可能丟失用戶，給企業造成難以彌補的經濟損失。中國聯通的IT信息系統建設，也面臨著同樣的問題和考驗。如何在保障質量的情況下提高效率，有效監理和管控IT系統工程建設質量、上線質量、運維質量，成為IT系統集中化過程中一個重要的課題。

縱觀IT系統項目特點，由于其集中系統自身和建設過程的復雜性，往往同時具有超大型、并發性、關聯性、創新性等明顯特點，導致在需求統一、標準統一、管控環節以及管控點檢測等方面的工作難度均大大增加(如圖1所示)。同時，中國聯通IT系統的架構還面臨一個由兩級架構過渡到集中架構的過程，建設壓力也從省分逐步向總部轉移；系統的集中化，也同時讓數據管理和運行維護職能集中，運維過程中的質量問題影響范圍從原先的一省或幾省瞬間擴展到全國，質量問題影響范圍呈幾何級數上升趨勢。可見，集中化的IT系統為企業帶來了快速的響應，同時，也要求企業對其建設維護響應速度升級，對質量管控的要求明顯提高[2-3]。

圖1 集中化IT系統項目特點及建設特點

2 中國聯通質量管控發展情況

為應對IT系統建設的快速發展，中國聯通在IT系統建設過程中采取了各種質量保障手段，遵循IT系統生命周期發展規律，從自行開展測試到引入第三方測試、從手工測試到自動化測試，從單項目測試到多項目協調統一管理，逐步建立了一套較為規范、完善的質量保障體系，服務于現有IT信息系統建設，為系統建設起到保駕護航的作用。

作為聯通IT測試主要支撐單位，聯通研究院終端與測試實驗室已經取得CNAS資質，具備了完整的質量管理體系及獨立的檢測實驗室能力。同時，為集團提供各類IT系統測試支撐服務，包括選型測試、新業務新技術POC驗證、體驗測試、性能測試及調優、安全性測試等。

依據IT質量管控5級模型(如圖2所示)，中國聯通目前已達到“已管理級”的水平，即具備了依據質量管控計劃順利完成項目的能力；但質量管控的流程和措施尚未形成統一要求和標準，未在各項目間復用；在質量的量化改進及數字化管控方面尚有較大的提升空間。

圖2 質量管控5級發展模型

3 測試是質量保障的最重要手段

IT系統的建設發展過程也是IT系統的質量保障發展過程。從各大電信運營商歷次的運營支撐系統建設發展過程來看，作為質量控制的最主要手段，測試對系統的質量起到極大的推動作用，測試的作用功不可沒，在建設過程中，可以看到從不同角度針對不同目的的測試形式，如入圍檢測、選型測試、驗收測試、上線前測試、維護過程質量跟蹤等，這些測試都從不同的角度和層次起到了保障項目質量的作用(如圖3所示)。

圖3 IT系統及測試發展趨勢

3.1 ISO/IEC9126質量模型

ISO正式推出的軟件質量模型是ISO/IEC 9126系列標準[4]，該模型是一個樹形結構，高層定義了6個質量特性，中間層定義了對應的質量子特性，第三層為度量。質量特性與質量子特性的對應關系如表1所示。

表1 ISO/IEC 9126模型中質量特性與質量子特性的對應關系

3.2 IT系統生命周期各個階段質量問題

IT系統的生命周期的各個階段均應有相應的質量保證，在軟件測試的V模型中，展示了測試在IT系統生命周期各個階段對應的內容(如圖4所示)。

圖4 軟件測試V模型

軟件測試的V模型中各個階段的測試，對應于軟件開發各個階段可能出現的問題列示如下。

1) 需求分析階段的問題。對用戶需求不合理的簡化，造成系統功能及性能方面出現重大缺陷；將用戶需求復雜化，造成系統冗余程度過高，降低系統運行效率，提高項目開發成本與使用成本。

2) 設計階段的問題。未能反應需求中的用戶要求，造成系統功能的遺漏；對需求的理解不準確，造成系統功能實現的錯誤；設計方法選擇不當，造成系統結構不合理，導致運行效率降低和穩定性下降。

3) 開發階段的問題。未按照設計進行編碼或編碼錯誤，造成系統功能錯誤、性能不滿足要求、業務流程產生斷點。

4) 用戶手冊及幫助的問題。對系統功能模塊描述不完整，與系統實際功能不一致；缺乏必要的操作示例；手冊版本與實際發行版本不一致等。

5) 測試發現缺陷的閉環問題。對問題嚴重程度分類不正確，對問題修改后未進行回歸測試。回歸測試在核查原有問題修改情況的同時，還需要檢查相關模塊是否產生新的問題，回歸測試工作可保證缺陷及時有效解決，從而實現對系統缺陷全過程跟蹤。

在完成系統的整體測試后，對系統的功能、性能、流程的測試結果進行分析并對系統整體情況進行評估，全面把握系統總體質量情況，為系統的后續開發、推廣和運行打下基礎。

3.3 軟件測試在電信行業的應用

以電信行業典型的IT系統為例，在其建設過程中都要經歷立項、需求分析、系統設計、編碼、系統測試、上線投產、運行維護幾個主要階段。

軟件開發過程中主要涉及需求開發、軟件實現和系統測試三個重要的環節(如圖5所示)。當軟件團隊大、軟件系統復雜時，為提高軟件質量，需要規范需求管理、配置管理和測試管理流程，并引入相應的支撐工具提高管理自動化水平。

圖5 測試推進全面質量管理

1)需求變更。需求管理主要是對需求進行分類量化，并對需求處理流程進行跟蹤。2)版本管理。對開發、測試、上線版本進行綜合統一管理，確保版本可追溯性，明確上線版本的變更情況。3)缺陷跟蹤。對測試過程、客戶反饋的問題進行跟蹤，通過缺陷狀態的流轉實現缺陷的閉環管理，確保不漏測、不漏發，降低系統上線風險。4)測試管理平臺。對測試過程各個階段進行統一數據庫的管理，測試過程實時統計、查詢，測試結果及用例形成知識庫；自動化測試體系構建和實施。

以上流程的整合使用，可完成從業務需求到上線決策整個過程的質量控制。需求的變更和版本的控制可以從根本上對廠商的開發行為、質量進行監控；各個過程的測試實施，可提交客觀的過程質量數據，配合KPI的制定和使用，使得IT系統質量真正做到事先可管、過程可控、測試監督的全面質量管理體系，提升整個IT系統支撐能力。

4 中國聯通IT系統質量管控

4.1 覆蓋IT系統全生命周期的質量管控體系

中國聯通在IT系統建設運維過程中，對于IT系統的質量管控內容，也經歷了從無到有的過程。聯通研究院終端與測試實驗室總結多年的測試支撐工作經驗，提出IT系統全生命周期質量管控的體系，并協助集團公司完成測試平臺搭建、規范管理、報表統計等多項工作。同時，也完成了自身的質量體系建設和運行，并通過中國合格評定委員會的審核，取得CNAS資質。這也意味著，聯通研究院已經具備領先于同行業的IT檢測技術和能力。

作為IT系統測試的重要支撐單位，聯通研究院終端與測試實驗室提出的IT系統全生命周期質量管控體系，對IT系統生命周期各個階段進行了分析，并對各階段所需的質量保障工作進行了定義和規范。同時，在支撐工作中，通過購置和自主研發搭建了一套完整的測試平臺，形成體系、規范、工具三位一體的測試研發和支撐平臺；其中有三個大的關鍵點，即國際規范的質量標準和評估體系、統一的驗證測試方法和流程以及規范專業的工作模板。

對應于軟件測試V模型，IT系統生命周期各個階段均會面臨不同的質量問題。作為運營商的IT系統，不僅需要關注系統建設本身的質量管控，還需關注準備階段、運維階段的實際問題。故根據電信行業IT建設的主要規律，將系統建設過程進行了重新劃分，主要分為規劃設計階段、采購階段、需求分析階段、研發測試階段、工程實施階段、上線運維階段等六大階段(如圖6所示)。

1) 規劃設計階段。是IT系統建設的準備階段，包括技術準備、資源準備等，在這個階段，對于新技術新業務有必要進行POC驗證或選型測試或軟硬件兼容性評估等各項工作，以確保新技術、新業務與已有業務或系統的兼容性和可擴展性。

2) 采購階段。主要組織選型入圍測試、軟件版本評估測試、硬件版本評估測試等類型的檢測活動。

3) 需求分析階段。需求的定義和變更始終是IT建設的重要環節，可以說，沒有明確的需求，就沒有成功的系統。對于需求分析階段常見的檢測活動，可以分為需求一致性評估、規范符合性分析以及需求后評估等工作。

4) 研發測試階段。在新的IT系統研發過程中，研發測試階段可能需要組織和實施多次各類檢測，包括對系統架構的評估、數據模型的測試、系統原型的體驗、安全性測試、UAT測試等等，如果項目過大，建議進行階段性版本接收測試，以降低長期研發后形成的版本與需求不符的風險。

圖6 中國聯通IT系統全生命周期質量管控

5) 工程實施階段。在時間緊、任務重的建設過程中，IT系統上線前必須要完成上線前系統測試，測試內容應涵蓋軟件六大質量特性，包括功能性、可靠性、易用性、效率、維護性和可移植性，并對必要的文檔進行檢查。IT系統上線前的測試至關重要，只要時間允許，就應進行充分的測試和驗證，以確保系統上線后的正常穩定。對于總部和省分兩級的支撐系統，需要組織端到端的業務驗證，以確保系統的完整性。

6) 上線運維階段。IT系統的生命周期必然伴隨著問題和缺陷，各階段的問題和缺陷，到運維階段都可能成為定時炸彈，影響用戶體驗和業務發展，因此，上線階段還需要對版本進行升級迭代，每次的版本升級迭代都必須進行版本驗證，對于核心業務流程，則需要自動回歸測試。同時，某些系統缺陷，如性能問題，在IT系統運行一段時間、積累一定的數據后才顯現出來，所以，系統上線后有必要進行性能優化工作。

4.2 自有團隊測試與開發廠家測試相結合，提升效益降低成本

質量目標是描述軟件產品質量特點的要求，因為可能要涉及到不同的人員，要執行的測試時機和實質也不盡相同，所以對測試階段進行了劃分。及時有效的測試有助于節約大量的產品開發費用、縮短IT系統上線時間，并可提升最終用戶的滿意度。

根據行業分析數據，在需求階段所引入的每一個缺陷，到了用戶驗收階段都會造成約7 000美元的損失，導致成本迅速增加。在項目結束時，可能出現預算已經用完卻還需要額外支出的情況，這也是許多IT項目失敗的原因。

中國聯通在軟件開發生命周期各階段進行分析，依據成本效益原則，對IT系統交付質量的管控策略進行定義，確定每一階段管控內容。由于大部分缺陷在用戶驗收及生產中才能被檢測出來，但實際卻出現在需求和設計階段，因此，需要在驗收前進行有效質量管控，以盡早識別缺陷，降低修復成本。圖7是在測試階段的管控策略，由開發廠家測試和自有測試團隊驗收相結合，并同時增加內部用戶、外部用戶的體驗性測試。

IT系統建設工程項目均較為復雜，工程實施時間長達1年或數年，因此，在工程領域一次性測試所有不同目標顯然不太現實；所以通常采用分類分段的方法實施，對每個測試階段都重點考量具有該階段特點的質量目標。

4.3 專業測試平臺的建設

針對聯通集團IT系統測試及質量管控的需求，聯通研究院搭建了專業的測試平臺，可支撐從測試管理到缺陷跟蹤等一系列質控工作的開展(如圖8所示)。同時，測試平臺可輸出測試數據，進行質控分析，為質量管控提供數據和依據。測試平臺集成多個專業的測試工具，為設計、研發、測試、版本發布、省分運維等相關人員提供一個及時交互的平臺，提升了測試效率，實現了對缺陷的實時跟蹤和管理。

圖7 聯通自有測試與開發廠家測試相結合的測試策略

圖8 測試平臺示意圖

從測試管理角度看，測試平臺實現了對測試需求、測試用例、測試執行、缺陷以及手工測試的管理，不僅可以對以往散落在個人手里的測試資產實現集中統一管理，也可以對測試的過程進行追溯。此外，測試平臺可以對其他自動化測試執行工具(性能、功能、安全、代碼審計等等)進行有效集成，提供統一項目測試報表。

目前，I T系統測試方向已擁有行業先進的測試工具(如測試管理工具ALM、性能測試工具LoadRunner、自動化功能測試工具QTP等)，能夠對基于UNIX系統、Windows系統、Linux系統、SUN Soloris的各種信息系統及產品進行測試，測試范圍主要涵蓋聯通集團核心業務支撐系統(BSS)、大ERP系統、綜合客服系統、網管系統、u-Cloud系統 、經營分析系統等重要IT系統，可對中間件、數據庫、應用服務器等進行自動化的功能及性能測試。

在此基礎上，聯通研究院根據檢測項目的需要，自主研發了包括“URL收集工具、IDC撥測工具、結果對比工具、測試靶站、輕量級DNS適配工具、IDC/ISP靶站關鍵字生成工具、IDC/ISP郵件自動發送工具”等多個測試工具，可以進行信息安全測試。此外，還有代碼檢測DTS白盒測試工具(合作研發)、動態性能分析及診斷、Web應用程序安全性檢測等測試工具。

4.4 常見測試類型及特點

針對聯通IT系統全生命周期質量管控體系，不同階段的IT系統面臨不同類型的問題，最有效的解決手段就是測試，可以說測試是質量保障的重要手段，鑒于篇幅有限，表2選取幾種常見測試進行說明。

表2 各類型測試服務特點和意義

5 IT系統質量評估

5.1 IT系統質量評估依賴于測試數據分析

長期的測試數據積累，有利于進行IT系統質量評估及質量改進。圖9展示了某一年度前十個月的IT項目測試效果分析圖，其數據共選取了某一年度主要IT系統的5個測試項目，對該年度每個測試項目10個月的功能點數量及缺陷數量進行了統計分析，在對其缺陷率進行分析的基礎上，將其趨勢進行了展示。通過對圖9的分析，可以清晰地看到該項目是否符合其所處生命周期的缺陷特征。其中，C平臺測試是年度新建項目，故其缺陷率處于上揚趨勢，而A系統測試項目，由于A系統已上線，處于穩定運行階段，故其缺陷率以及缺陷率趨勢均處于較低水平。

5.2 測試數據分析為質量監控與資源配置提供依據

測試數據的收集和分類整理，不僅展現了具體的工作進度和工作量，長期的數據積累也可以作為質量監控及資源配置的依據[5]。隨著質量管控體系的建設及測評數據的完善，質量分析與監控成為可能，管理人員可以通過質量數據的變更情況，來分析和預測可能存在的質量問題，從而提出質量監控的重點，形成質量監控的良性循環，同時，也有利于做到資源的有效配置。依賴于真實測試統計數據之上的管理決策更加準確、資源配置更為有效，資源利用率大幅增加，形成了良性循環。

圖10為某項目測試規模分析數據，可以看到在上線和發布階段需要部署大量的人力，但在系統穩定運行、進入運維階段后，測試人員數量等都穩定在一定的水平上。

6 下一代軟件測試的發展方向——全面的質量管理

經過多年的發展，中國聯通已經形成了一體化的質量管控能力，覆蓋了主要的IT系統建設、運維及終端采購、管理等各個階段或過程，基本進入初步質量管控的階段，各部門均開始有意識地進行質量管控工作，并且形成了交叉覆蓋；近年來，在大型的IT系統建設項目上，基于領導或項目負責人對IT系統的關注程度越來越大，在項目組織實施及質量管控方面，都進行了統籌考慮，形成了一體化的項目建設團隊，大型IT系統建設的統籌管理，非常有利于一體化的質量管控及測試團隊的成長。當形成了完善的事前評估、事后把關、過程監督之時，也意味著IT系統的測試能力及全面質量管控工作又邁進了一步。但是，比對國內外先進的質量管控手段，我們在測試技術、測試工具研發能力、質量體系運行情況方面，尚未形成完整的閉環管控，要想達到精細化的質量管控，尚需推進數據后管理，從標準、流程、方法論、工具集各方面進行努力和積累。

圖9 IT項目缺陷率趨勢分析

圖10 A項目測試規模分析圖(示例)

7 典型案例

典型案例1：uCLOUD平臺測試。本測試項目從配置管理(代碼及文檔)、自動化編譯發布、功能測試、性能調優、源代碼檢測等多個方面對平臺進行測試，應用黑盒、白盒等測試技術，對系統研發、版本發布、平臺上線、驗收等各階段設置關鍵管控點，管理層可實時了解被測系統的質量情況(如圖11所示)。

典型案例2：北方六省BSS系統測試項目缺陷跟蹤流程。本測試項目的被測系統需支撐總部、省分兩級系統，在測試策略制定過程中，考慮了總部、省分兩級測試的策略。即基線版本在總部集中測試后，流轉到省分測試環境，進行測試。兩級測試均通過后，方可進行生產環境的上線部署，以確保上線版本的穩定性，有效降低了系統上線風險(如圖12所示)。

圖11 uCLOUD平臺測試項目案例示意圖

圖12 北方六省BSS系統測試項目案例示意圖

參考文獻

[1]電信運營商的IT系統(MSS、BSS、OSS)介紹_百度文庫[EB/OL].[2015-05-18].http://wenku.baidu.com/view/d1d4f8235901020207409c1c.html

[2]中國聯通BSS域服務集規范[EB/OL].[2015-05-18].http://course.baidu.com/view/f562ae18a32d7375a4178074.html

[3]中國聯通IT系統總體技術體制[EB/OL].[2015-05-18].http://doc.mbalib.com/view/234bf2f9f983d4494e12ab53 f3a1cd91.html

[4]中華人民共和國國家標準GB/T16260.1-2006/ISO/IE C9 126-1[S].2001

[5]克洛彭格波,佩特拉克.項目質量管理[M].北京廣聯達慧中軟件技術有限公司,譯.北京:機械工業出版社,2005:15