互聯網思維在自動撥測中的創新運用

許光磊

【摘要】 筆者運用互聯網思維，并結合自己所處的行業和從事的工作，指出自動撥測才是適應互聯網時代特點的撥測方式，并提出了對新時代撥測模式的幾點設想，包括建立用戶體驗管理流程，以用戶體驗為核心開展真機端到端撥測；轉變思維，提升研發管理能力，以快速迭代的方式滿足軟件穩定性要求；開拓思路，利用智能終端實現 “跨界”復合型撥測，令撥測行業充滿想象空間；利用云撥測收集海量數據，開展云計算和大數據分析，提升撥測價值。

【關鍵詞】 自動撥測 互聯網思維 用戶體驗 快速迭代 大數據分析 云撥測 跨界思維

引言

艾瑞咨詢數據顯示，2014年中國移動互聯網市場規模達到2134.8億元人民幣，同比增長115.5%，同時未來依舊會保持高速增長，預計到2018年整體移動互聯網市場規模將突破1萬億大關。[1]移動互聯正在深刻影響人們的日常生活，移動互聯網市場進入高速發展通道。根據國內數據服務提供商TalkingData發布的《2014移動互聯網數據報告》，2014年我國移動智能終端用戶規模達10.6億，較2013年增長231.7%。[2]從應用方面來看，App Store應用數量在2014年達到121萬，Google Play應用數量更是突破143萬。[3]移動互聯網整體都呈現出一個爆發增長的態勢，人類真正進行了移動互聯網時代。

移動互聯網業務及智能終端的快速發展，將給人們的生產生活帶來翻天覆地的變化，而與之關系最為緊密的上下游產業，包括網絡等承載系統的布局和優化，終端等各類硬件的研發以及移動應用業務開發等也將在這一浪潮中蓬勃發展。而測試作為一個橫向覆蓋終端、業務和網絡，縱向貫穿研發、運營和更新的行業，如何在移動互聯網時代進行創新，成為一個非常重要的課題。

正文：

諸位讀者同筆者一樣，生在一個科技日新月異的時代。我們的先輩一直過著“通信基本靠吼”的生活，而現在，只需拿起手機輕輕撥出號碼，就可以聯系世界各地的任何人。特別是2007年1月9日，當Apple公司推出iPhone這款革命性的手機產品之后，更是標志著一個新的所謂移動互聯網時代的到來。

正如引言中所說，移動互聯網市場蓬勃發展、終端推陳出新，而移動網絡也已正式步入4G。在移動互聯網時代，誕生了無數的應用，通過網絡承載運行在各種各樣的智能終端上。生在這樣一個時代，社會飛速發展，科技日新月異，這是我們的幸運，但是也帶來一個問題：終端、網絡和業務如此紛繁復雜，如何保證終端、網絡和業務各自的質量呢？更進一步的，如何提高這三者的適配性和協同性，給用戶帶來最佳的用戶體驗呢？

最常見的方式是測試。投入大量的測試團隊，模擬用戶使用的各種場景，編寫各種場景下的測試用例，利用各類設備進行終端、網絡和業務測試。

筆者認為，一般的測試可以定義為在特定條件下，使用特定的方式，根據一定的流程對指定對象進行特定操作或使用，以找出該對象的缺陷的過程。傳統的測試一般采用人工方式進行。

以一般的手機軟件或手機業務測試為例，測試人員首先收集需求并制定測試計劃，然后根據需求及測試計劃制定測試用例，在用例通過評審后開始執行計劃，接下來要對測試中發現的問題進行反饋和跟蹤，問題解決后還要進行回歸測試以驗證問題是否確實被解決。這個過程中，執行測試是投入工作量最大的環節。測試人員需要嚴格按照測試用例中的步驟，一步步地對手機進行點擊操作，觀察操作得到的結果是否與用例的預期結果相符合。如果相符則測試通過，進入下一步，如果不符合，則要做好記錄并反饋跟蹤問題。通常，這些操作要不同的測試人員反復執行數十次甚至數百次，以消除偶然因素的影響，使測試結果更具代表性，最大限度地展現測試對象的客觀情況。

從上述描述大家可以看出，傳統的人工測試由于“人”的因素存在，至少有以下幾點問題，使得它在某些方面不合適在互聯網時代大量應用（尤其是在客觀性指標的測試上）。

人類受限于生理的原因，在現有的科技條件下，人的精力有限，只能通過經驗和熟練度的提高來提高測試頻率和測試質量，測試效率和質量無法得到突破性的提高。

人的精力有限還有另一個問題。人需要休息，單個測試員在時間跨度上覆蓋困難。若要時間7*24小時不間斷測試，需要人員數量的提高來實現。

由人工進行測試和記錄，測試過程和結果容易出現差錯，測試結果的準確性因測試人員的素質高低不同得不到保證。

人工測試員的測試質量不僅受到本身素質的影響，還受到他（她）的情緒等不可控的因素影響，導致測試過程和測試結果不受控。

人與人之間的差異性必然導致人與人測試過程的差異性，對測試結果標準判斷的差異性，這些差異性導致測試結果的差異性。測試結果無法達到標準化。

而互聯網時代的關鍵詞是快速、高效、標準，人工測試雖然在主觀性測試上暫時無法被取代，但是在客觀指標測試上顯然與這些特點存在矛盾，導致它在某些方面天然地不適合互聯網時代的要求。這就給測試領域提出了新的要求。筆者在此為互聯網撥測提出一點思路，以期達到拋磚引玉之效。

在互聯網時代，就要運用互聯網思維實現撥測模式的創新。

首先可以明確的一點是，互聯網的高效快速是人工測試無法滿足的，自動撥測就成為一個必然的選項，有其先進性。筆者以移動數據產品“和閱讀”為例，來簡單說明自動撥測系統的效益。“和閱讀”的人工撥測團隊5分鐘完成一輪客觀性指標撥測，每天工作8小時，那么一天總計撥測96次，每周共計撥測480次。若采用自動撥測，假設同樣5分鐘完成一輪客觀性指標撥測，每周7*24小時撥測，可以撥測2016次，是人工撥測效率的4倍以上。這中間還沒有計算人工撥測成員長期重復執行同一任務引起注意力和情緒變化等因素帶來的不穩定影響，自動撥測顯然沒有這方面的缺陷。若單純的將上述計算轉換為人工成本來計算，自動撥測可以減少撥測人工75%以上。即使將自動撥測系統的維護、執行等人員計算在內，自動撥測也將至少節約人力投入50%以上。筆者在東部某省移動工作，主要職責是數據產品的業務質量和用戶體驗管理，每年僅人工撥測一項就投入數百萬元，若是將其中客觀性指標以自動撥測形式開展，就可節約成本以百萬計，若在移動及運營商體系推廣，乃至拓展到全社會，帶來的社會經濟效益將不可估量。

相信行業內有識之士均已認識到自動撥測巨大的社會經濟效益，也正因此，現在行業內各種自動撥測模式和各類系統層出不窮，有通過軟件模擬用戶真實操作的端到端撥測系統，有使用探針獲取網絡層數據的仿真模式，還有使用硬件方式直接操作終端的機械手模式，各種撥測模式各有優劣，不一而足。整個自動撥測產業剛起步不久，目前尚處于成長期，各種模式均不成熟，整體來說還處于摸索階段，那么到底應該如何利用互聯網思維進行自動化撥測呢？筆者在此根據行業發展，結合自己多年的工作體會，簡單談談自己的一點想法。

用戶體驗至上

互聯網思維的一個最大特點是“用戶體驗至上”，互聯網時代到來之后，特別是隨著移動互聯網的蓬勃發展，用戶體驗成為衡量產品質量的重要因素。眾多的互聯網公司成立了用戶體驗研究團隊或用戶體驗研究部門，足見用戶體驗的重要性。因此，互聯網思維進行自動撥測應該是以用戶體驗為核心開展的工作。

所謂用戶體驗，ISO 9241-210標準將用戶體驗定義為 “人們對于針對使用或期望使用的產品、系統或者服務的認知印象和回應”。顯然，這一定義明確了用戶體驗的主體是人，客體是產品、系統或服務，因此，盡可能的運用真實的產品、系統或服務來作為測試的客體，是得到真實用戶體驗的前提條件。現在市場上較多的測試，都是以模擬產品、系統或服務的方式來運行，盡管現在的模擬系統比較先進，能夠在很大程度上模擬用戶使用的場景、終端和網絡等因素，但是畢竟用戶使用場景復雜，很難由一套模擬系統來完成所有用戶行為。基于上述原因，筆者認為以用戶體驗為核心的撥測，應該是基于真機的端到端撥測。在獲得端到端撥測數據的基礎上，再將手機當時所處的外部環境信息、手機本身的內部環境信息和撥測對象的網絡層甚至芯片層數據同時記錄，便于定位分析問題，提出優化建議，提升業務、網絡及終端質量。

據筆者了解，現在的技術手段已經完全能夠滿足上述的需求。通過對操作系統權限的破解，達到軟件對手機的控制，利用軟件操作手機來實現真實終端和真實網絡場景下模擬用戶的真實操作，并通過圖像、OCR及通信信令等信息比對判斷結果。同時，在操作系統上獲得手機的終端信息和網絡信息也不是難事，甚至通過與具備終端權限和網絡權限的第三方合作，獲取終端芯片和網絡空口層面的信息也是可以實現的。將終端、網絡和業務三者的信息相結合，不僅可以真實的再現用戶的操作場景和操作體驗，并且能夠深入定位和分析影響用戶體驗的因素，采取針對性的措施進行改善。

除了在技術上實現用戶體驗的測試，在管理上，將“用戶體驗至上”的理念融入到整個產品生命周期當中，并建立和引入一系列的方法和工具貫徹執行（如圖1）。在產品立項、開發、試點、試商用和商用的各個階段都充分注重用戶體驗，形成一套科學的用戶體驗管理流程。而測試在其中作為產品品質評估和控制的重要手段。

快速迭代

一般認為，快速迭代的概念最初是由互聯網公司提出來，用來應對互聯網時代的快速發展，本意指應用程序或web網站先以一個核心功能吸引用戶，再在用戶反饋基礎上，快速地完善和改進產品，在較短的時間內發布，不斷提升用戶體驗的過程。這一概念也成為互聯網思維的核心特點之一。

通過快速迭代的方式，縮短產品發布周期，軟件發布周期控制在兩周甚至一周以內，將電信級的穩定性要求通過軟件的快速更新換代來完成。并且，快速的軟件發布效率和及時的客戶需求反饋，也能給客戶帶來良好的服務體驗。小米是移動互聯網時代的佼佼者，也是快速迭代領域的佼佼者，短短5年時間從零開始成為了一家市值450億美元的巨頭。小米的MIUI系統，每周都發布版本更新，每兩周發布一個穩定版，MIUI作為手機操作系統尚且能做到快速迭代，相信一般的軟件開發都有快速迭代的能力和潛力。

當然，產品的快速迭代并不僅僅是技術或研發層面的提升，而是集管理和研發為一體的系統性工程，除了研發實力，還需要一系列的管理措施配合，如相應的組織架構搭建，敏捷開發制度的建設，用戶需求的完整采集，合適的開發工具以及完善的系統架構設計等等。這對于傳統撥測廠家的研發和管理能力提出了更高的要求。但是，這是適應移動互聯網時代的要求，是在這個時代生存所必須的要求，只有滿足這樣的要求，才能不被移動互聯網的浪潮所拋棄。

跨界思維

在傳統互聯網時代，生態圈內各測試服務提供商一般都有各自的領域，井水不犯河水，比如網絡優化服務提供商的專注于現場路測、室內分布優化及各層網元測試和優化等，終端測試服務商專注于終端功能、性能等方面的測試，而業務測試服務提供商則專注于業務測試和質量提升。

而到了移動互聯網時代，隨著智能終端，特別是智能手機的爆發式增長，各類測試通過智能手機整合集成成為一種可能。這與互聯網思維中的“跨界思維”不謀而合。隨著互聯網和新科技的發展，很多產業的邊界變得模糊，智能終端的觸角已無孔不入，如零售、圖書、金融、電信、娛樂、交通、媒體等。而李彥宏也指出“互聯網產業最大的機會在于發揮自身的網絡優勢、技術優勢、管理優勢等，去提升、改造線下的傳統產業，改變原有的產業發展節奏、建立起新的游戲規則”。

利用數億手機用戶隨身攜帶的手機或各類智能終端，在用戶知情且同意的情況下，收集匿名信息并上傳到云端服務器。這其中可以包括業務運行情況，網絡信號情況，終端性能情況等等，以往需要多個測試服務商多套專業設備才能完成的測試任務，現在只需要一部手機就可以勝任絕大部分工作，并且通過大量用戶的廣泛分布，可以比傳統方式測試更客觀、更準確、更有代表性。

大數據思想和云撥測

互聯網思維的一個重要產物是對數據的空前關注。而撥測正是一個產生數據的過程。特別是如前所述，撥測中會產生大量的數據，包括撥測結果、各種環境信息數據和其它需要的數據，這些數據可以利用自動撥測的優勢，直接上傳到云端服務器做記錄和存儲，對這些數據的深入挖掘和分析將遠遠超過此前人工撥測所能達到的程度。這就是大數據分析的優勢，仍以通信行業為例，這些結果的分析可以獲知業務在不同終端、不同地點、不同時間、不同網絡的業務質量；可以獲知終端與各種業務的適配性能；網絡與各種終端的適配性能；網絡資源在本網內的引入情況；網絡故障的溯源等等。總之，大數據分析帶給我們無限的想象空間。

筆者據此設計了一套適合大數據分析的自動云撥測系統網絡架構，如圖2所示。

左側的終端表示撥測目標業務所運行的真機環境，也即撥測終端，通過互聯網連接到撥測管理平臺，撥測產生的大數據全部上傳到撥測管理平臺，管理平臺對這些數據進行管理和分析。而右側的管理終端，可以是撥測管理人員的任何PC或智能終端，只要通過互聯網連接到管理平臺的Portal頁面，即可對撥測終端進行終端管理、撥測任務、數據分析管理、報表管理和告警管理等。

通過這樣的云撥測架構，管理人員可以隨時隨地對撥測系統進行管理和控制。撥測數據全部上傳到云端，分析人員可以利用數據挖掘的工具和手段對大數據進行更進一步的處理，這大大提升了撥測管理人員和數據分析人員的掌控力，無限擴展了管理和分析人員的執行空間，是對傳統撥測能力的一次全新變革。

應用：

筆者在上述思路基礎上，構建了本省移動數據產品自動撥測系統，目前項目已進展到第二期，并在集團公司領導下在全國移動公司范圍內進行推廣，從而組建了中國移動數據業務產品品質自動撥測系統

移動集團自動撥測系統二期目前在全國31省全面部署完畢，并已正常運行近2年時間。系統采用熱門終端和最新終端，覆蓋多個網絡，以此測試移動自有數據產品和相應競品，7*24小時不間斷撥測，每月生成撥測數據上千萬條，對業務問題自動預警，對移動各省公司的數據產品質量帶來了巨大的提升，是移動公司數據產品質量的重要抓手，成為保證數據產品質量的關鍵手段之一。

在系統規劃中，我們還利用跨界思維確立了單系統多用途的建設方向，在將來的幾期項目中將逐步建立整合業務、網絡和終端測試功能的復合型自動撥測系統。

結束語：

互聯網時代的到來使通信行業和上下游產業都面臨巨大的機遇，如何在這一機遇面前利用互聯網思維實現轉型是大家都在思索的問題。筆者以自己工作中的一隅之見，給出了自己對撥測模式轉變的一些拙見，一家之言，只求勿貽笑大方。