顏富甲

隨著移動互聯(lián)網(wǎng)技術的發(fā)展，福建省農(nóng)村信用社聯(lián)合社（以下簡稱福建農(nóng)信）也順應互聯(lián)網(wǎng)發(fā)展潮流，構建了手機銀行、微信銀行、福萬通掌上生活等移動金融渠道，為客戶提供安全、便捷的金融服務。2017年，福建農(nóng)信電子交易占比89.41%，手機銀行交易占比35.1%，雙雙位居全國農(nóng)信系統(tǒng)第一位。福建農(nóng)信手機銀行客戶數(shù)突破800萬，農(nóng)村金融服務更加便捷。

萬物智聯(lián)，體驗為上。隨著福建農(nóng)信手機銀行的不斷發(fā)展壯大，移動互聯(lián)網(wǎng)業(yè)務的不斷豐富，也對用戶體驗提出了更高的要求。如果用戶在使用過程中，出現(xiàn)崩潰、卡頓、UI顯示異常等問題，勢必影響用戶體驗，更有甚者會導致用戶直接選擇卸載，這就會給手機銀行業(yè)務開展帶來一定制約。因此，如何保證用戶的體驗質(zhì)量已成為福建農(nóng)信需要解決的痛點問題。而依賴于用戶反饋問題和意見收集的傳統(tǒng)體驗測試方法是一種被動且過程較長的質(zhì)量閉環(huán)，其實已經(jīng)傷害到了用戶體驗。基于此，福建農(nóng)信在建設完成的“福e測平臺”基礎上，開展移動應用自動化常態(tài)回歸測試，結合性能指標監(jiān)控、Monkey穩(wěn)定性測試、深度兼容性測試、遍歷測試等一系列的專項測試，進行移動應用主動式體驗測試的探索實踐。在開發(fā)測試階段定位影響用戶體驗的因子，從而使體驗測試前移，使影響用戶體驗的問題提早暴露，縮短移動應用項目質(zhì)量閉環(huán)，在提升項目質(zhì)量的同時，提高福建農(nóng)信移動應用用戶體驗。

“福e測平臺”介紹

福建農(nóng)信基于開源框架Appium，自主搭建了移動應用自動化測試平臺，即“福e測平臺”。福e測平臺實現(xiàn)了移動應用安裝包的上傳和批量安裝、遠程一鍵打包、移動設備管理、自動化回歸測試、Monkey穩(wěn)定性測試、遠程實時監(jiān)控、性能監(jiān)控、遍歷測試等功能，實現(xiàn)了測試數(shù)據(jù)、測試任務的配置和管理，實現(xiàn)了移動應用的自動化測試及專項測試。

平臺總體設計如圖1所示，平臺由管理子系統(tǒng)、調(diào)度子系統(tǒng)、執(zhí)行子系統(tǒng)組成，各個子系統(tǒng)之間通過socket進行通信，分別負責平臺的功能管理、任務調(diào)度和具體執(zhí)行。三個子系統(tǒng)各司其職、互相配合，完成平臺的自動化測試及專項測試功能。其中，管理子系統(tǒng)、調(diào)度子系統(tǒng)部署在內(nèi)部服務器，執(zhí)行子系統(tǒng)支持部署在內(nèi)部私有云及測試人員的電腦終端，由管理子系統(tǒng)下發(fā)測試任務，調(diào)度子系統(tǒng)分配執(zhí)行。

移動應用體驗測試

（一）總體介紹

依托福e測平臺，福建農(nóng)信開展移動應用體驗測試，包括自動化常態(tài)化回歸測試、性能指標監(jiān)控、Monkey穩(wěn)定性測試、遍歷測試、深度兼容性測試，并對回歸測試及各專項測試發(fā)現(xiàn)的問題進行復測驗證，如圖2所示。自動化常態(tài)化回歸測試每周執(zhí)行一遍案例基準庫，針對主要業(yè)務功能及異常提示進行回歸驗證；性能指標監(jiān)控在回歸測試的基礎上，定位移動應用性能瓶頸，監(jiān)控移動應用的性能狀況；Monkey穩(wěn)定性測試根據(jù)系統(tǒng)命令生成隨機事件，對移動應用進行隨機性探索測試，驗證移動應用的穩(wěn)定性狀況；遍歷測試對移動應用各個頁面進行深度遍歷，并與基準版本UI進行比對，驗證頁面的穩(wěn)定性情況；深度兼容性測試驗證移動應用對移動設備的兼容性狀況，以應對移動設備碎片化日益嚴重的趨勢；問題驗證對發(fā)現(xiàn)的問題進行復測，驗證問題的解決情況。

（二）自動化常態(tài)化回歸測試

在自動化常態(tài)化回歸測試的同時執(zhí)行Monkey穩(wěn)定性測試。Monkey測試是通過向系統(tǒng)發(fā)送偽隨機的用戶事件流（如按鍵輸入、觸屏輸入、手勢輸入等），實現(xiàn)對移動應用的穩(wěn)定性測試。安卓的Monkey測試基于安卓自帶的ADB命令實現(xiàn)，iOS基于SmartMonkey實現(xiàn)，通過模擬用戶事件流對移動應用進行隨機操作，達到監(jiān)控移動應用穩(wěn)定性的目的。

福建農(nóng)信互聯(lián)網(wǎng)銀行客戶端整合項目在準生產(chǎn)測試階段介入自動化常態(tài)化測試，每周執(zhí)行一次回歸測試，如圖3所示。針對私有云上8臺Android設備和2臺iOS設備，回歸測試涵蓋了主要業(yè)務功能和異常提示驗證等在內(nèi)的共170個測試案例基準庫。

福建農(nóng)信互聯(lián)網(wǎng)銀行客戶端整合項目自動化常態(tài)化回歸測試每周執(zhí)行一次，包括Android 8臺和iOS 2臺設備，對包括主要業(yè)務功能和異常提示驗證在內(nèi)的170個案例進行回歸驗證，執(zhí)行情況統(tǒng)計如圖4所示。從執(zhí)行結果可知，案例執(zhí)行成功率基本維持在95%以上，通過每周一次的回歸測試，維持項目版本的穩(wěn)定性，并在回歸測試過程中，不斷驗證自動化測試案例的執(zhí)行情況，對主要業(yè)務功能及異常提示進行回歸驗證。

（三）性能指標監(jiān)控

在自動化常態(tài)化測試的基礎上，基于安卓ADB（Android Debug Bridge）命令，進行移動應用性能指標的監(jiān)控。內(nèi)存、流量、電量、流暢度等指標，已經(jīng)成為移動應用體驗中用戶關注的幾類痛點。用戶往往會因為耗電快、卡頓等問題而選擇卸載，移動應用測試需要從基本的功能遍歷測試，升級到性能指標的專項監(jiān)控，通過對性能指標的監(jiān)控，從而定位性能問題，進一步構建“定位問題 → 優(yōu)化產(chǎn)品 → 持續(xù)監(jiān)控”的質(zhì)量閉環(huán)，提升移動應用質(zhì)量。

福建農(nóng)信互聯(lián)網(wǎng)銀行客戶端整合項目在自動化常態(tài)化測試基礎上，進行性能指標的監(jiān)控，包括內(nèi)存、CPU、流量指標、FPS（Frames per second，即顯示幀率）等指標。性能監(jiān)控結果如圖5所示（以SM-G9028為例），通過在每一個輪次的常態(tài)化測試進行性能專項測試并發(fā)現(xiàn)App運行過程中的性能問題，結合運行日志和截圖，從而定位性能缺陷，提升了移動應用的測試效率和質(zhì)量。

（四）深度兼容性測試

隨著移動設備的碎片化日益嚴重，用戶日益增長的體驗需求與移動設備碎片化日益嚴重的現(xiàn)狀之間的矛盾正逐漸突顯。移動設備的兼容性正是用戶體驗關注的一個痛點。福建農(nóng)信開展移動應用公有云測試服務，覆蓋Android TOP600和iOS TOP65主流機型的深度兼容性測試，提升用戶體驗?；ヂ?lián)網(wǎng)銀行客戶端整合項目正如火如荼的進行中，福建農(nóng)信適時啟動互聯(lián)網(wǎng)銀行客戶端整合項目的深度兼容性測試，在第二輪系統(tǒng)測試時介入，使體驗測試前移，更好的發(fā)揮體驗測試效能?；ヂ?lián)網(wǎng)銀行客戶端整合項目累計進行了三輪Android TOP600、四輪iOS TOP65機型的兼容性測試，遍歷覆蓋了互聯(lián)網(wǎng)銀行客戶端的安裝啟動、登錄、“我的資產(chǎn)”“我的負債”“轉(zhuǎn)賬匯款”“生活繳費”等業(yè)務模塊，覆蓋了幾乎所有頁面，實現(xiàn)了頁面全遍歷測試，腳本運行時間達10分鐘。深度兼容性測試總體通過情況如圖6所示。

從圖6可知，Android、iOS機型的兼容性總體通過率均有不同程度的提升，上線前最后一輪兼容性測試均趨近100.00%，高于行業(yè)平均水平。對各輪次兼容性測試結果的具體情況進行分析，Android、iOS失敗類型分布分別如圖7和圖8所示：

從以上失敗類型分布圖可知，Android、iOS每次失敗類型分布均有不同程度的下降。特別是“安裝失敗”“啟動失敗”“閃退”“無響應”“意外終止”“卡死”嚴重甚至致命級別的失敗類型，每次均有較大幅度的下降，兼容性效果提升明顯。

在互聯(lián)網(wǎng)銀行客戶端整合項目上線之前，對兼容性問題進行了復測驗證，Android、iOS整體通過率分別高達97.50%、100.00%。較之首次兼容性測試的通過率，提升效果明顯。

互聯(lián)網(wǎng)銀行客戶端整合項目的兼容性測試從系統(tǒng)測試第二輪時介入，一直持續(xù)到項目上線前，給項目組留有充足的時間改正修復兼容性問題，每輪兼容性復測通過率均有較大幅度的提升，并在上線前最后一輪兼容性測試的通過率趨近100%，保證了兼容性測試質(zhì)量，降低了項目上線風險，提升了移動應用用戶體驗。

（五）遍歷測試

在自動化常態(tài)化回歸測試中，實現(xiàn)了移動應用的主要功能的遍歷驗證、異常提示場景的測試等，但對于各版本的基本UI界面的可用性、新老版本的功能差異、遍歷驗證等問題驗證目前還存在較為明顯的短板。福建農(nóng)信基于AppCrawler自動遍歷工具，解決了Monkey測試等工具可控性差的缺點，發(fā)現(xiàn)深層次的UI兼容性問題，并通過新老版本的diff發(fā)現(xiàn)各個版本的UI變動情況，驗證移動應用界面的穩(wěn)定性。

基于實現(xiàn)的遍歷測試功能，在每個發(fā)布的版本進行遍歷驗證，包括UI遍歷、菜單遍歷等?；贏ppCrawler自動遍歷工具，通過設定引導規(guī)則、后退標記、黑白名單以及遍歷順序控制等規(guī)則，實現(xiàn)遍歷測試。在福建農(nóng)信互聯(lián)網(wǎng)銀行客戶端整合項目每個版本發(fā)布前，執(zhí)行遍歷測試驗證，提升遍歷測試效率。互聯(lián)網(wǎng)銀行客戶端遍歷測試結果如圖9所示（以SM-G9028為例）：

福建農(nóng)信基于自主搭建的福e測平臺，實現(xiàn)了自動化常態(tài)化回歸測試、性能指標監(jiān)控、遍歷測試等功能，并結合深度兼容性測試，探索實踐移動應用體驗測試。隨著福建農(nóng)信移動金融業(yè)務的不斷發(fā)展，也對移動應用的用戶體驗提出了更高的要求。在系統(tǒng)功能測試的基礎上，探索實踐主動式的體驗測試，為福建農(nóng)信移動業(yè)務的開展保駕護航。