全華斌，張宙

中移動(dòng)信息技術(shù)有限公司，廣東廣州，510640

0 引言

因?yàn)樵缙诘囊苿?dòng)終端測(cè)試依賴人工，所以人工在工作能力上的局限性對(duì)工作質(zhì)量、效率等造成了很大的影響，人工測(cè)試逐漸無法滿足人們的需求。這種現(xiàn)象在很長一段時(shí)間內(nèi)愈演愈烈，而相關(guān)組織也很早就意識(shí)到了問題的存在，并積極地探索擺脫人工模式的方法。在這樣的背景下，移動(dòng)終端自動(dòng)化測(cè)試概念應(yīng)運(yùn)而生，它的出現(xiàn)確實(shí)給測(cè)試工作帶來了很多幫助，使其對(duì)人工的依賴程度降低。但移動(dòng)終端自動(dòng)化測(cè)試也存在缺陷，例如只能根據(jù)標(biāo)準(zhǔn)流程運(yùn)作，無法隨實(shí)際情況來改變測(cè)試方式，說明自動(dòng)化測(cè)試依然對(duì)人工有依賴。從這一角度看，人工的局限性依然會(huì)在一定程度上對(duì)測(cè)試工作造成影響，也說明移動(dòng)終端自動(dòng)化測(cè)試并不盡善盡美，還有很大的發(fā)展空間。此時(shí)，人工智能技術(shù)的逐漸成熟與普及帶來了發(fā)展的契機(jī)。人工智能技術(shù)就是模擬人工思維邏輯進(jìn)行運(yùn)作的技術(shù)，說明其至少在部分場(chǎng)合下是能夠代替人工對(duì)問題進(jìn)行思考、再做出決策與行動(dòng)的，因此該項(xiàng)技術(shù)的運(yùn)用過程中無需人工插手，這樣人工能力的局限性就不會(huì)對(duì)實(shí)際工作造成影響。結(jié)合這一思路，測(cè)試領(lǐng)域開始關(guān)注人工智能技術(shù)，希望將其運(yùn)用到自動(dòng)化測(cè)試當(dāng)中，為實(shí)現(xiàn)這一點(diǎn)，有必要展開相關(guān)研究。

1 移動(dòng)終端自動(dòng)化測(cè)試概述及其與智能技術(shù)的關(guān)系

1.1 移動(dòng)終端自動(dòng)化測(cè)試概述

移動(dòng)終端自動(dòng)化測(cè)試是終端產(chǎn)品開發(fā)過程中的一個(gè)重要環(huán)節(jié)，目的是確認(rèn)產(chǎn)品是否合格、是否存在缺陷，以便不間斷地進(jìn)行調(diào)試，保障產(chǎn)品質(zhì)量。該環(huán)節(jié)又可以分為多個(gè)板塊，比較主要的是軟件測(cè)試、硬件測(cè)試、結(jié)構(gòu)測(cè)試等。以軟件測(cè)試為例，人工需要通過自動(dòng)化技術(shù)對(duì)軟件的性能進(jìn)行全面測(cè)試，一般包括功能測(cè)試、穩(wěn)定性測(cè)試、兼容性測(cè)試、壓力測(cè)試、啟動(dòng)時(shí)間測(cè)試、平滑性測(cè)試、跑分測(cè)試七個(gè)步驟，如果某步驟的測(cè)試結(jié)果不達(dá)標(biāo)，就說明軟件存在缺陷，需要進(jìn)行針對(duì)性的改進(jìn)，最終輸出高質(zhì)量軟件產(chǎn)品。在各步驟的測(cè)試當(dāng)中，自動(dòng)化測(cè)試端的基本流程共分為三個(gè)步驟：①模擬用戶行為進(jìn)行測(cè)試；②結(jié)合標(biāo)準(zhǔn)指標(biāo)判斷測(cè)試數(shù)據(jù)是否存在異常，任何不達(dá)標(biāo)數(shù)據(jù)都會(huì)被判定為異常；③采集測(cè)試數(shù)據(jù)，集成后通過數(shù)據(jù)可視化技術(shù)向人工輸出[1]。

移動(dòng)終端自動(dòng)化測(cè)試暴露出了兩方面的缺陷。首先，因?yàn)闇y(cè)試過程中經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)反復(fù)、測(cè)試周期長的現(xiàn)象，且移動(dòng)終端自動(dòng)化測(cè)試只負(fù)責(zé)輸出結(jié)果，并不負(fù)責(zé)對(duì)結(jié)果進(jìn)行判斷，判斷工作依賴人工，而人工面對(duì)龐大數(shù)據(jù)難免會(huì)出現(xiàn)錯(cuò)誤，所以人工能力的局限性會(huì)對(duì)工作造成影響。同時(shí)，普遍案例顯示自動(dòng)化測(cè)試在不斷的運(yùn)行當(dāng)中存在腳本維護(hù)時(shí)間過長、控件元素定位不準(zhǔn)確、上手使用難度較大等缺陷，還不具備大數(shù)據(jù)處理能力，運(yùn)作效率很低。其次，移動(dòng)終端自動(dòng)化測(cè)試過程中經(jīng)常會(huì)出現(xiàn)一些問題。例如因?yàn)椴粩嗟恼{(diào)試使得版本頻繁更新迭代，而每次版本更新都會(huì)導(dǎo)致上一次的坐標(biāo)點(diǎn)擊方案不適用，所以需要不斷地進(jìn)行適配；在UI界面為圖片時(shí)，因?yàn)樵貙傩圆荒茏R(shí)別而導(dǎo)致UI控制操作無法展開；模擬用戶行為時(shí)，主要使用的圖像匹配方法不能提取文字信息，導(dǎo)致結(jié)果分析難以進(jìn)行等?？梢钥闯?，移動(dòng)終端自動(dòng)化測(cè)試現(xiàn)已無法滿足人們的需求，需要得到改進(jìn)。

1.2 移動(dòng)終端自動(dòng)化測(cè)試與智能技術(shù)的關(guān)系

因?yàn)橐苿?dòng)終端自動(dòng)化測(cè)試存在缺陷，所以已經(jīng)有研究人員為了改進(jìn)缺陷而展開了研究工作，而多數(shù)研究工作都是圍繞人工智能技術(shù)展開的，根本目的是通過智能技術(shù)彌補(bǔ)自動(dòng)化測(cè)試的缺陷，但要做到這一點(diǎn)就必須了解兩者之間的關(guān)系?，F(xiàn)有研究得出了一些結(jié)論。例如，移動(dòng)終端自動(dòng)化測(cè)試在自身不斷運(yùn)作中會(huì)產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)可以作為輸入元進(jìn)入智能系統(tǒng)，使得智能系統(tǒng)得到訓(xùn)練，一段時(shí)間之后智能系統(tǒng)就能對(duì)實(shí)際情況進(jìn)行識(shí)別，并給出決策建議，說明兩者關(guān)系緊密，移動(dòng)終端自動(dòng)化測(cè)試是智能技術(shù)訓(xùn)練要素的來源，而智能技術(shù)則可以給自動(dòng)化測(cè)試相應(yīng)的邏輯支撐。在此基礎(chǔ)上，人工智能技術(shù)的介入將大幅降低移動(dòng)終端自動(dòng)化測(cè)試對(duì)人工的依賴度，因此人工能力的局限性對(duì)于測(cè)試工作的影響力會(huì)大幅降低，使得工作效率提升、工作質(zhì)量更加穩(wěn)定。同時(shí)，人工智能強(qiáng)大的數(shù)據(jù)信息分析能力，可以彌補(bǔ)移動(dòng)終端自動(dòng)化測(cè)試中的相關(guān)缺陷，解決當(dāng)前的重點(diǎn)問題，例如人工智能可以隨著軟件版本更新而自動(dòng)改變坐標(biāo)點(diǎn)擊方案，自主消除坐標(biāo)點(diǎn)擊方案不適配的影響，且方案的改變無需人工插手[2]。

2 移動(dòng)終端自動(dòng)化測(cè)試中人工智能技術(shù)的具體應(yīng)用

2.1 運(yùn)用準(zhǔn)備

為了發(fā)揮人工智能技術(shù)的作用，解決移動(dòng)終端自動(dòng)化測(cè)試中的問題，需要先做好自動(dòng)化測(cè)試中人工智能技術(shù)的運(yùn)用準(zhǔn)備工作。對(duì)此按照本文思路：以Python語言編程平臺(tái)為基礎(chǔ)，選擇卷積神經(jīng)網(wǎng)絡(luò)模型用于識(shí)別文字、圖像，展開了兩項(xiàng)準(zhǔn)備工作。①對(duì)卷積神經(jīng)網(wǎng)絡(luò)的輸入屬性（參數(shù)值、閾值等）進(jìn)行不斷調(diào)試，根據(jù)結(jié)果對(duì)每次調(diào)試后的模型有效性進(jìn)行判斷，即如果能輸出合格的結(jié)果，就說明神經(jīng)網(wǎng)絡(luò)調(diào)試完成；②使用Python語言進(jìn)行人工智能編程，即結(jié)合Python標(biāo)準(zhǔn)庫，使用Python開源庫requests等進(jìn)行編程，實(shí)現(xiàn)數(shù)據(jù)分析功能。在以上思路下，本文對(duì)人工智能技術(shù)下的移動(dòng)終端自動(dòng)化測(cè)試系統(tǒng)進(jìn)行了初步檢測(cè)，結(jié)果顯示在人工智能技術(shù)作用下，測(cè)試系統(tǒng)的數(shù)據(jù)處理能力大幅提升，可以在短時(shí)間內(nèi)處理海量數(shù)據(jù)，且處理輸出結(jié)果的準(zhǔn)確度很高，同時(shí)也具備提取文字信息、識(shí)別圖像信息等功能，解決了以往純粹自動(dòng)化測(cè)試的缺陷與問題[3]。

2.2 運(yùn)用優(yōu)勢(shì)

人工智能技術(shù)在移動(dòng)終端自動(dòng)化測(cè)試中的運(yùn)用優(yōu)勢(shì)主要體現(xiàn)在以下兩個(gè)方面。

（1）人工智能技術(shù)具有極強(qiáng)的數(shù)據(jù)處理能力，無論是性能還是功能都遠(yuǎn)超自動(dòng)化測(cè)試系統(tǒng)。人工智能最初的開發(fā)目標(biāo)就是用于處理大數(shù)據(jù)，而大數(shù)據(jù)的基本特征就是數(shù)據(jù)量級(jí)龐大，因此從技術(shù)開發(fā)初期，人們對(duì)該項(xiàng)技術(shù)的基本要求就是必須具備高效處理海量數(shù)據(jù)的能力。經(jīng)過長年累月的開發(fā)，該項(xiàng)技術(shù)早已具備了這種能力，能夠在幾十秒內(nèi)對(duì)百萬MB甚至億級(jí)的數(shù)據(jù)進(jìn)行處理，且能夠保障處理結(jié)果穩(wěn)定，之后的各項(xiàng)人工神經(jīng)網(wǎng)絡(luò)技術(shù)都保留了這一特性，而這些無論是人工還是自動(dòng)化系統(tǒng)都無法做到，這也是導(dǎo)致傳統(tǒng)自動(dòng)化測(cè)試存在缺陷的主要原因之一。

（2）人工智能技術(shù)具備自主學(xué)習(xí)能力，該能力是智能技術(shù)與自動(dòng)化技術(shù)最大的區(qū)別。自動(dòng)化技術(shù)不具備自主學(xué)習(xí)能力，因此只能按照預(yù)先設(shè)定好的流程運(yùn)作，但預(yù)先設(shè)定好的流程無法覆蓋所有應(yīng)用場(chǎng)景，每次遇到新場(chǎng)景就需要人工重新設(shè)計(jì)流程，這個(gè)過程非常繁瑣，會(huì)導(dǎo)致自動(dòng)化測(cè)試無法應(yīng)用于新場(chǎng)景；而智能技術(shù)將通過自主學(xué)習(xí)功能，快速分析新場(chǎng)景的特征，然后在不斷的訓(xùn)練當(dāng)中得出適合新場(chǎng)景的運(yùn)作邏輯、方案等，這樣就能生成符合當(dāng)下場(chǎng)景的邏輯，過程無需人工插手，且效率極高。

2.3 運(yùn)用方法

在移動(dòng)終端自動(dòng)化測(cè)試當(dāng)中，需要相關(guān)人員掌握人工智能技術(shù)的運(yùn)用方法，本文以圖像、文字識(shí)別為例，介紹一種以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的圖文識(shí)別方法，具體內(nèi)容如下。在移動(dòng)終端自動(dòng)化測(cè)試當(dāng)中會(huì)遇到很多產(chǎn)品類型，同時(shí)每一類產(chǎn)品都會(huì)不斷進(jìn)行版本更新，要對(duì)其進(jìn)行測(cè)試就要借助特定的技術(shù)手段。傳統(tǒng)的做法是通過UIdump去采集自動(dòng)化測(cè)試的界面控件元素，再根據(jù)各項(xiàng)控件元素的屬性提取其具體業(yè)務(wù)數(shù)值，這樣就能得到界面坐標(biāo)，然后執(zhí)行自動(dòng)化測(cè)試流程，過程中主要的模擬測(cè)試方法就是模擬用戶操作時(shí)的點(diǎn)擊，這種模擬測(cè)試方法被稱為坐標(biāo)點(diǎn)擊法，而該方法存在缺陷，適配性不好。同時(shí)，在測(cè)試當(dāng)中還要對(duì)UI元素的屬性進(jìn)行識(shí)別，識(shí)別方法為通過UIdump界面的元素屬性識(shí)別空間來進(jìn)行識(shí)別，但這個(gè)空間的適用性不強(qiáng)，在Octane、Basemark OS、Base Mark X等方面無法使用該方法進(jìn)行識(shí)別。

除此以外，針對(duì)傳統(tǒng)方法的不足，相關(guān)領(lǐng)域人員還提出過一些改進(jìn)方法。例如圖像匹配識(shí)別法，該方法主要通過Airtest測(cè)試框架，采用圖像匹配度原理來模擬用戶操作，這種方法確實(shí)能有效解決操作模擬中的缺陷，但加劇了文字信息識(shí)別上的缺陷，即該方法無法對(duì)圖像中的文字進(jìn)行數(shù)據(jù)采集。這一缺陷對(duì)于測(cè)試結(jié)果的質(zhì)量有很大的影響，原因在于要高效地進(jìn)行測(cè)試并得到準(zhǔn)確結(jié)果，就必須對(duì)文字進(jìn)行識(shí)別，否則在測(cè)試結(jié)果分析當(dāng)中就會(huì)出現(xiàn)局部無法識(shí)別的現(xiàn)象。對(duì)此，人們也嘗試過在圖像匹配識(shí)別法的輸出結(jié)果基礎(chǔ)上，使用圖像文字識(shí)別方法（如圖像匹配算法），一般是借助Open CV計(jì)算機(jī)視覺庫，使用其中的Python、Ruby等語言接口，對(duì)圖像中的文字進(jìn)行檢測(cè)，檢測(cè)原理是文字區(qū)域檢測(cè)、特征值提取等。該方法在現(xiàn)代自動(dòng)化測(cè)試中的應(yīng)用非常廣泛，但其存在識(shí)別準(zhǔn)確性不高的問題[4]。

可以看出，以往測(cè)試中的各種方法都存在缺陷，而在人工智能技術(shù)的基礎(chǔ)上，人們可以借助卷積神經(jīng)網(wǎng)絡(luò)模型來解決問題。卷積神經(jīng)網(wǎng)絡(luò)是人工智能的基礎(chǔ)邏輯支撐，屬于深度神經(jīng)網(wǎng)絡(luò)的一種，具有自動(dòng)化特征提取的特點(diǎn)，因此可以將其定義為自動(dòng)化提取數(shù)據(jù)特征的機(jī)器訓(xùn)練模型。在該模型基礎(chǔ)上采用Python編寫CNN文字圖像識(shí)別功能，再依靠Caffe、Torch等主流框架支撐模型運(yùn)作，促使其開始機(jī)器學(xué)習(xí)活動(dòng)，最終借助Keras神經(jīng)網(wǎng)絡(luò)庫獲得預(yù)訓(xùn)練權(quán)值來更新機(jī)器學(xué)習(xí)，使得模型能夠更加準(zhǔn)確地對(duì)數(shù)據(jù)進(jìn)行處理、識(shí)別。經(jīng)過測(cè)試，該模型能夠準(zhǔn)確識(shí)別圖像與文字，準(zhǔn)確率均值為98.9%。

2.4 功能實(shí)現(xiàn)方法

為實(shí)現(xiàn)以上功能，首先根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進(jìn)行功能開發(fā)。卷積神經(jīng)網(wǎng)絡(luò)是典型的前饋型神經(jīng)網(wǎng)絡(luò)，因此在模型結(jié)構(gòu)上可以分為輸入層、隱含層、卷積層、輸出層四個(gè)部分，下面先針對(duì)四個(gè)部分進(jìn)行作用定義。輸入層的主要作用是預(yù)處理原始圖像數(shù)據(jù)，預(yù)處理方式有去均值、歸一化、白化。隱含層的主要作用是支持局部關(guān)聯(lián)、窗口滑動(dòng)，促使各項(xiàng)輸入數(shù)據(jù)在該層中交互，形成密集、全面的數(shù)據(jù)關(guān)系，同時(shí)隱含層內(nèi)部有激勵(lì)機(jī)制，該機(jī)制能夠映射卷積層的輸出結(jié)果，映射形式為非線性。卷積層的主要作用是進(jìn)行資源池化與卷積運(yùn)動(dòng)，其中資源池化的主要作用是壓縮數(shù)據(jù)和參數(shù)量級(jí)，可避免擬合過小的現(xiàn)象發(fā)生，并賦予所有輸入數(shù)據(jù)權(quán)重值，使它們能夠按照權(quán)重進(jìn)行連接，且連接后會(huì)匯集在模型尾部，在此基礎(chǔ)上就能很好地對(duì)原始圖片進(jìn)行處理；處理方式是按照原始圖片的大小，設(shè)定一個(gè)大小相同的區(qū)域，然后將兩者重疊，重疊后將相關(guān)元素相乘并求和，每完成一個(gè)區(qū)域的計(jì)算后，就向其他區(qū)域移動(dòng)，直到完成全部區(qū)域的計(jì)算，這個(gè)過程就是卷積運(yùn)動(dòng)。輸出層的主要功能就是輸出卷積層中的結(jié)果，但在輸出數(shù)據(jù)之前會(huì)對(duì)圖片進(jìn)行特征識(shí)別，例如識(shí)別圖片、文字的邊界，并按照識(shí)別結(jié)果進(jìn)行輸出[5]。

然后可以開始設(shè)計(jì)圖像、文字的識(shí)別流程，本文的流程設(shè)計(jì)將在Keras中展開，共分為三個(gè)步驟：①優(yōu)先選擇符合現(xiàn)實(shí)要求的準(zhǔn)備庫，例如Keras、PIL等，同時(shí)考慮到這些庫的應(yīng)用要求，需要在Python3.5環(huán)境下進(jìn)行庫安裝；②庫安裝完畢后要導(dǎo)入PIL圖像處理標(biāo)準(zhǔn)庫，同時(shí)在標(biāo)準(zhǔn)庫中引入Keras卷積模塊，例如Dropout、Conv2D等；③要在數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)之前對(duì)數(shù)據(jù)進(jìn)行格式化處理，然后對(duì)格式化的數(shù)據(jù)進(jìn)行浮點(diǎn)數(shù)張量預(yù)處理，流程為讀取圖像文件→解碼RGB像素網(wǎng)格→轉(zhuǎn)換為浮點(diǎn)張數(shù)→像素縮放為0-1區(qū)間。同時(shí)，在預(yù)處理過程中應(yīng)當(dāng)選擇性能良好的處理工具，本文選擇的工具是Tensor Flow API Keras中的Image Data Generator，該工具具有自動(dòng)化特征，處理效率和結(jié)果準(zhǔn)確性都有保障。

最后，使用Keras來實(shí)現(xiàn)圖像、文字識(shí)別模型，該模型在自動(dòng)化測(cè)試中如果遇到自定義控件、圖片、懸浮界面等傳統(tǒng)方法可能無法準(zhǔn)確獲取文字信息的場(chǎng)合時(shí)，不會(huì)出現(xiàn)無法獲取文字信息的現(xiàn)象，反而會(huì)對(duì)圖像進(jìn)行深化處理，提高文字信息的清晰度，然后再獲取文字信息的基本特征，由此識(shí)別文字。在用戶模擬測(cè)試當(dāng)中，可以通過圖像獲取封裝文字，然后對(duì)其進(jìn)行識(shí)別，如果識(shí)別結(jié)果與截圖控件所得文本相符，那么就會(huì)進(jìn)行點(diǎn)擊操作，自動(dòng)生成全新的坐標(biāo)點(diǎn)擊方案，無需人工插手，完成后即可得到準(zhǔn)確的測(cè)試結(jié)果。

3 結(jié)語

綜上所述，因?yàn)橐酝囊苿?dòng)終端自動(dòng)化測(cè)試存在缺陷，所以相關(guān)人員應(yīng)當(dāng)積極改進(jìn)，而人工智能技術(shù)就可以作為測(cè)試改進(jìn)的手段之一，運(yùn)用該項(xiàng)技術(shù)可以消除以往的缺陷、解決相關(guān)問題，使終端測(cè)試效率提升、質(zhì)量得到保障，說明該項(xiàng)技術(shù)具有一定的應(yīng)用價(jià)值，值得推廣。