姜峰

一、背景

隨著移動互聯(lián)網(wǎng)時代的到來，產(chǎn)品質(zhì)量和用戶體驗水平已成為決定市場競爭成敗的關(guān)鍵要素。數(shù)據(jù)業(yè)務(wù)及智能終端的更新?lián)Q代也更加快捷，當前越來越需要收集和研究各類業(yè)務(wù)在不同網(wǎng)絡(luò)制式、不同終端、不同應(yīng)用場景下的質(zhì)量問題。目前撥測存在較多問題和不足，包括撥測終端老舊、功能機占較大比例，撥測手段落后、以人工為主、局限于性能指標，缺乏集中化、自動化的撥測管理能力等。傳統(tǒng)的終端適配技術(shù)一般是采用硬件解決方案，需要對手機進行拆機適配，費時費力，且通用性極低，每款終端都需要單獨適配。

本文提出了一種產(chǎn)品品質(zhì)自動化測試能力和方法，通過自動化的方式對數(shù)據(jù)業(yè)務(wù)產(chǎn)品品質(zhì)進行常態(tài)化測試，并嘗試使得產(chǎn)品品質(zhì)的內(nèi)涵也由產(chǎn)品客觀質(zhì)量向用戶主觀感知體驗延伸。

提升集中化、自動化撥測能力，確保撥測工作的覆蓋面、及時性和有效性的方法，。

在完成自動化測試能力的基礎(chǔ)上，，在業(yè)務(wù)層面上從用戶感知體驗角度出發(fā)，對各種增值業(yè)務(wù)質(zhì)量進行自動撥測、數(shù)據(jù)匯總上報，報表定制顯示等。并完成后續(xù)的測試數(shù)據(jù)提交及分析工作，為業(yè)務(wù)產(chǎn)品品質(zhì)提升提供有力支撐。

二、解決方案

數(shù)據(jù)業(yè)務(wù)產(chǎn)品品質(zhì)自動撥測系統(tǒng)采用獨立終端、軟件自動化工作的方式執(zhí)行，系統(tǒng)架構(gòu)分成三個層，數(shù)據(jù)采集層、數(shù)據(jù)處理層和應(yīng)用層，具體架構(gòu)如下：

1.數(shù)據(jù)采集層：負責采集終端測試結(jié)果的提取，同時保存原始數(shù)據(jù)信息。實現(xiàn)實時采集終端的測試結(jié)果，終端上執(zhí)行的每測試項目在完成后就將測試結(jié)果上報。當后臺系統(tǒng)負荷過高或發(fā)生網(wǎng)絡(luò)故障時，終端可以將測試結(jié)果暫時保存，在系統(tǒng)通信恢復(fù)后，自動實現(xiàn)測試結(jié)果的上傳同步。

2.數(shù)據(jù)處理層：數(shù)據(jù)處理層位于數(shù)據(jù)采集層和應(yīng)用功能層之間，實現(xiàn)采集數(shù)據(jù)處理、告警處理、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)合成、資源管理、數(shù)據(jù)上傳集團、接口服務(wù)等功能。

3.應(yīng)用功能層：負責測試任務(wù)管理、終端管理、腳本管理、告警管理、系統(tǒng)管理、統(tǒng)計報表等功能，從數(shù)據(jù)處理層獲取匯總整合好的數(shù)據(jù)，最終通過豐富多樣的呈現(xiàn)方式來予以展現(xiàn)。

考慮到可能測試的地點是分布在不同地理位置的，需要適配不同的應(yīng)用場景（商場、街道、辦公樓等）、網(wǎng)絡(luò)環(huán)境（2G、3G、4G、Wlan等）、不同速度（靜止、步行、車載等），系統(tǒng)架構(gòu)上采用“中央管理節(jié)點-撥測分節(jié)點”兩級架構(gòu)方式。具體運作模式如下：

1、中央管理節(jié)點向特定的撥測分節(jié)點下發(fā)測試計劃，其中測試計劃包括需要測試的業(yè)務(wù)指標要求、測試的頻次和時間要求、測試的終端要求。

2、撥測分節(jié)點根據(jù)測試計劃中的測試業(yè)務(wù)指標要求完成腳本的構(gòu)建工作，其中測試腳本采用軟件方式模擬并錄制用戶真實操作各項待測指標的全部使用過程，并標注出測試關(guān)鍵點，并將其代碼化，生成測試腳本。

3、撥測分節(jié)點根據(jù)測試計劃的測試頻次和時間要求制定好測試任務(wù)調(diào)度，發(fā)布到撥測分節(jié)點撥測管理模塊。

4、撥測分節(jié)點撥測管理模塊將測試腳本發(fā)送到終端上的測試模塊，測試模塊支持將代碼化的測試腳本予以解析，并可以模擬用戶操練自動化的執(zhí)行待測指標任務(wù)，并在測試關(guān)鍵點檢查腳本所攜帶的元素（例如圖片），或者從被測終端操作系統(tǒng)層獲取相關(guān)元素（例如網(wǎng)絡(luò)流量，內(nèi)存占用情況），從而判斷出待測指標是否完成，并生成測試結(jié)果。

5、其中，時延和成功率的測試采用元素比對法（例如比較腳本中的圖片與測試中獲取的圖片是否一致）進行測試，資源消耗（包括CPU、內(nèi)存）、電量消耗、網(wǎng)絡(luò)流量消耗類指標采用通過軟件方式從被測終端操作系統(tǒng)層獲取。

6、測試完成后，測試模塊將撥測結(jié)果實時上報到撥測分節(jié)點撥測管理模塊，并由撥測分節(jié)點實時或定時匯總到中央管理節(jié)點。

三、應(yīng)用方案

1、撥測系統(tǒng)架構(gòu)

數(shù)據(jù)產(chǎn)品品質(zhì)自動撥測系統(tǒng)可完成運營商全網(wǎng)的自有數(shù)據(jù)產(chǎn)品及相關(guān)競品在現(xiàn)網(wǎng)（2G/3G/4G/WLAN）中的自動化測試過程，并對測試返回的的數(shù)據(jù)進行分析和展示。

數(shù)據(jù)產(chǎn)品品質(zhì)自動撥測系統(tǒng)中，主要劃分為撥測管理中心和撥測分節(jié)點。

撥測管理中心主要承擔全網(wǎng)的測試任務(wù)的管控，測試數(shù)據(jù)的分析與展現(xiàn)等，主要功能包括：測試管理功能、測試指標管理功能、任務(wù)管理功能、報表管理功能等。

撥測分節(jié)點可以細分為撥測管理模塊和測試模塊。

撥測管理模塊主要承擔本地區(qū)內(nèi)測試任務(wù)和測試腳本的管理和下發(fā)，測試數(shù)據(jù)的匯集和上報等，包含測試任務(wù)管理、測試腳本管理、測試結(jié)果上報、測試失敗數(shù)據(jù)分析。

測試模塊主要承擔測試腳本的執(zhí)行，測試數(shù)據(jù)采集等功能，通過內(nèi)置軟件實現(xiàn)對智能終端的操作控制、結(jié)果識別以及邏輯判斷，對傳統(tǒng)業(yè)務(wù)形態(tài)（短、彩、WAP）及目前的APP客戶端都適用，支持真實終端可使用的各類業(yè)務(wù)指標，包括通話、短彩信等基礎(chǔ)功能以及頁面瀏覽、即時通信、流媒體、下載、閱讀、游戲等基于應(yīng)用客戶端的數(shù)據(jù)業(yè)務(wù)功能的測試。通過統(tǒng)一web門戶對系統(tǒng)的各項功能進行集中管理，包括測試終端、任務(wù)調(diào)度、結(jié)果報表及告警等進行管理。測試終端支持通過有線或無線方式接入管理平臺，包括USB、2G、3G、4G、Wifi等方式。測試終端安裝測試手機端軟件，實現(xiàn)任務(wù)接受、操作控制、結(jié)果識別及數(shù)據(jù)上傳等自動測試功能。

2、支持情況

（1）支持豐富的終端

該系統(tǒng)支持終端平臺包括Android全系列版本， IOS全系列版本，并能實現(xiàn)操作系統(tǒng)能更新測試腳本和自動分發(fā)升級、。

（2）業(yè)務(wù)支持情況

該撥測系統(tǒng)能夠支持對運營商各類數(shù)據(jù)產(chǎn)品及相關(guān)競品的性能指標進行完備的測試，測試范圍不限于包含時延，成功率，資源消耗，電量消耗以及網(wǎng)絡(luò)流量等。

（3）支持測試場景

該撥測系統(tǒng)支持全場景、全天候的終端智能撥測。

四、方案分析

1、多手段測試技術(shù)，保證測試結(jié)果準確細致

采用前后端結(jié)合的方式對網(wǎng)頁每個元素進行分析，可實時了解到專用設(shè)備訪問頁面過程中的各個環(huán)節(jié)，包括：元素類型、所在服務(wù)器地址、訪問時延、內(nèi)容大小等。

2、遠程終端控制，部署更靈活

專用設(shè)備無需通過PC或其他設(shè)備，可通過有線、蜂窩網(wǎng)或者WIFI就可連接到測試平臺進行網(wǎng)頁訪問、網(wǎng)絡(luò)測試等。

3、專用設(shè)備，測試多種網(wǎng)絡(luò)環(huán)境

使用專用設(shè)備，可同時支持有線、GSM、GPRS、WCDMA、TD-LTE、TD-SCDMA、CDMA2000等多種網(wǎng)絡(luò)環(huán)境，可以在第一時間模擬用戶使用場景。

4、業(yè)務(wù)測試功能豐富

可進行撥號測試、PING測試、HTTP測試、FTP測試、流媒體測試等多種測試功能，測試過程可跟蹤、可追溯。

5、實時告警機制，保證系統(tǒng)正常運行

系統(tǒng)實時監(jiān)測業(yè)務(wù)及設(shè)備運行情況，對于異常情況通過郵件、短信形式傳遞，及時發(fā)現(xiàn)業(yè)務(wù)故障，保證系統(tǒng)正常運行。

6、測試終端實時管理

基于位置的終端管理模式，可以隨時監(jiān)控在線的測試設(shè)備，便于及時了解終端狀態(tài)并進行實時管理。

7、測試結(jié)果細致，報表分析能力強。

測試失敗結(jié)果會通過圖形、信息等方式保存，便于問題跟蹤及故障排查。支持以測試成功率、性能進行統(tǒng)計，便于業(yè)務(wù)分析。