(中國(guó)軟件與技術(shù)服務(wù)股份有限公司，北京 100081)

0 引言

法律智能問(wèn)答系統(tǒng)[1]由于其專(zhuān)業(yè)知識(shí)強(qiáng)、涉及領(lǐng)域廣、用戶群體大、使用便捷、節(jié)約人力等優(yōu)點(diǎn)，近些年被各級(jí)法院積極用于滿足人民群眾對(duì)法律知識(shí)的咨詢需求。此類(lèi)系統(tǒng)設(shè)計(jì)[2-3]上對(duì)支持的用戶訪問(wèn)量，存儲(chǔ)的法律知識(shí)量，檢索速度，數(shù)據(jù)安全都提出較高要求。采用TLS1.2雙向認(rèn)證并混合使用http協(xié)議與WebSocket協(xié)議恰好滿足Web法律智能問(wèn)答系統(tǒng)以上幾點(diǎn)要求。在信息推送機(jī)制[4]上，作為較新的WebSocket協(xié)議相比于 Http協(xié)議，建立一次消息連接就可以實(shí)現(xiàn)多次消息傳輸?shù)臋C(jī)制很大程度地提高了網(wǎng)絡(luò)與服務(wù)器資源的利用率。采用TLS1.2協(xié)議對(duì)WebSocket協(xié)議進(jìn)行加密所形成的wss協(xié)議(即TLS協(xié)議加密的WebSocket協(xié)議)，又進(jìn)一步保證了傳輸數(shù)據(jù)的保密性和完整性，提高互聯(lián)網(wǎng)數(shù)據(jù)傳輸?shù)陌踩?。針?duì)這種新協(xié)議設(shè)計(jì)的系統(tǒng)的性能測(cè)試，在測(cè)試工具選取，測(cè)試腳本編制，性能測(cè)試場(chǎng)景設(shè)計(jì)幾方面必然會(huì)與傳統(tǒng)的基于http協(xié)議的Web應(yīng)用系統(tǒng)的性能測(cè)試有明顯的區(qū)別，本文將圍繞以上幾個(gè)方面系統(tǒng)地闡述此類(lèi)Web法律智能問(wèn)答系統(tǒng)[5]進(jìn)行性能測(cè)試的方法。

1 工具選擇

目前國(guó)內(nèi)主流性能測(cè)試工具是Loadrunner與Jmeter[6]。表1從不同角度分析了這兩種工具對(duì)Web法律智能問(wèn)答系統(tǒng)進(jìn)行性能測(cè)試的支持情況。

從表1的對(duì)比分析來(lái)看，兩種工具同時(shí)滿足此類(lèi)系統(tǒng)性能測(cè)試的情況下，從支持的并發(fā)用戶數(shù)量，安裝便捷性及測(cè)試成本方面比較，Jmeter3.1更適合作為此類(lèi)系統(tǒng)的性能測(cè)試工具。因此，下文將選用Jmeter3.1工具講述性能測(cè)試環(huán)境的搭建。

2 測(cè)試工具配置

2.1 向Jmeter添加WebSocket協(xié)議測(cè)試所需插件

Jmeter本身并不支持對(duì)Html5新增的WebSocket協(xié)議的測(cè)試，但它可以通過(guò)安裝插件的方式達(dá)到對(duì)WebSocekt性能測(cè)試的支持。為了支持wss協(xié)議測(cè)試，需要安裝的插件如下：

JMeterWebSocketSamplers-0.11.1.jar：插件中包含的WebSocket Open Connection、WebSocket Request-Response Sampler、WebSocket Close三個(gè)組件。

表1 性能測(cè)試工具比較

可以支持wss協(xié)議測(cè)試，將此jar包放置到Jmeter目錄的libext目錄下，重新啟動(dòng)jmeter可以在sampler中看到以上幾個(gè)組件。

2.2 雙向認(rèn)證的客戶端證書(shū)創(chuàng)建與配置

TLS協(xié)議分為單向認(rèn)證與雙向認(rèn)證。單向認(rèn)證，TLS握手階段只驗(yàn)證服務(wù)器證書(shū)的真實(shí)性。雙向認(rèn)證，TLS握手階段客戶端與服務(wù)器需要驗(yàn)證對(duì)方證書(shū)的真實(shí)性?；趯?duì)Jmeter的TLS1.2協(xié)議的支持，從Jmeter的源代碼分析HTTPHC4Impl類(lèi)中創(chuàng)建https調(diào)用的是LazySchemeSocketFactory類(lèi)，此類(lèi)又是調(diào)用HC4TrustAllSSLSocketFactory類(lèi)，這個(gè)類(lèi)中有明確注釋對(duì)X509Certificate的證書(shū)全部信任，Jmeter對(duì)于服務(wù)器端證書(shū)采用全部信任，因此對(duì)于單向認(rèn)證的情況，無(wú)需單獨(dú)創(chuàng)建證書(shū)文件，使用Jmeter自動(dòng)創(chuàng)建的證書(shū)即可。而對(duì)于雙向認(rèn)證，Jmeter需要配置客戶端證書(shū)。從PC端瀏覽器導(dǎo)出客戶端證書(shū)默認(rèn)是cer格式，移動(dòng)端使用的是p12格式，這兩種格式的證書(shū)要被Jmeter使用，都需要先轉(zhuǎn)換為jks或keystore格式。

2.2.1 轉(zhuǎn)換證書(shū)格式

轉(zhuǎn)換方法如下：

使用java的bin目錄下的keytool工具，然后分別使用如下命令：

keytool-importcert-file 原證書(shū)路徑原證書(shū)文件名.cer-alias 新證書(shū)別名-keystore 新證書(shū)路徑新證書(shū)文件名.jks

keytool -importkeystore-srckeystore 原證書(shū)路徑原證書(shū)文件名.p12 -srcstoretype PKCS12 -deststoretype JKS-destkeystore 新證書(shū)路徑新證書(shū)文件名.jks

輸入上述命令后，會(huì)繼續(xù)要求用戶輸入證書(shū)的訪問(wèn)密碼，此密碼會(huì)在Jmeter調(diào)用證書(shū)時(shí)使用，然后提示添加對(duì)證書(shū)信任選擇y添加證書(shū)信任，此時(shí)會(huì)在指定的目錄生成符合Jmeter格式要求的新證書(shū)。

查看新證書(shū)的詳細(xì)信息，使用如下命令：

keytool-list-v-keystore 證書(shū)路徑證書(shū)文件名.jks

2.2.2 Jmeter配置客戶端證書(shū)

對(duì)客戶端證書(shū)有兩種配置方法：一種是修改Jmeter的system.properties文件，一種是將證書(shū)配置信息寫(xiě)入Beanshell設(shè)置中。比較兩種配置方法，第一種方法證書(shū)的配置信息沒(méi)有寫(xiě)入腳本文件jmx中，當(dāng)Jmeter測(cè)試不同應(yīng)用，證書(shū)需要更改時(shí)，或者腳本發(fā)生遷移更換測(cè)試環(huán)境時(shí)都需要重新配置腳本，第2種方法配置信息寫(xiě)入腳本文件，避免上述需要修改system.properties文件的問(wèn)題，因而方便腳本遷移與Jmeter工具的管理，因此建議采用第2種配置方法。

Beanshell設(shè)置客戶端證書(shū)的具體方法如下：

在Jmeter的【測(cè)試計(jì)劃】的【線程組】中的添加【BeanShell Sampler】采樣器，在采樣器的script部分添加如下信息：

Importorg.apache.jmeter.util.SSLManager;

System.setProperty("javax.net.ssl.keyStore", "證書(shū)路徑證書(shū)名稱.jks");

System.setProperty("javax.net.ssl.keyStorePassword", "證書(shū)訪問(wèn)密碼");

SSLManager.reset();

SSLManager.getInstance();

后兩條SSLManager函數(shù)就是完成將證書(shū)加載到SSL管理器的操作。

由于Jmeter有緩存機(jī)制，Jmeter啟動(dòng)期間只需要運(yùn)行一次【BeanShell Sampler】采樣器即可完成對(duì)TLS1.2協(xié)議的客戶端證書(shū)配置，因此將【BeanShell Sampler】采樣器可以放置到【僅一次控制器】中。配置完上述信息后重新啟動(dòng)Jmeter，加載測(cè)試腳本完成客戶端證書(shū)的配置。對(duì)于同一應(yīng)用系統(tǒng)https與wss使用一套TLS1.2認(rèn)證證書(shū)，因此不需要為wss協(xié)議單獨(dú)配置證書(shū)。將客戶端證書(shū)安裝到錄制https腳本的瀏覽器的證書(shū)目錄中。

2.3 安裝PerfMon插件用于性能測(cè)試過(guò)程中服務(wù)器各項(xiàng)指標(biāo)監(jiān)控

PerfMon的使用主要包含兩部分：ServerAgent、PerfMon，ServerAgent放在監(jiān)控服務(wù)器上；PerfMon是在Jmeter上運(yùn)行的插件，用來(lái)收集并展示服務(wù)器端各項(xiàng)性能指標(biāo)。在jmeter-plugins-manage中下載安裝perfmon插件，此部分有成熟的配置方法，在本文中將不做詳細(xì)描述。

2.4 配置Jmeter分布式部署環(huán)境

Jmeter支持多壓力機(jī)分布式部署，用于解決性能測(cè)試中由于大并發(fā)用戶數(shù)、大數(shù)據(jù)量傳輸引起的壓力機(jī)本身資源及網(wǎng)絡(luò)帶寬的限制。

圖1 Jmeter分布式部署

圖1是Jmeter分布式部署的網(wǎng)絡(luò)拓?fù)鋱D，一臺(tái)裝有Jmeter的物理機(jī)作為控制臺(tái)，其它裝有Jmeter的物理機(jī)作為壓力機(jī)受控制臺(tái)調(diào)度。修改每臺(tái)壓力機(jī)的Jmeter的安裝目錄下的bin/jmeter.properties文件的remote_hosts屬性，添加本臺(tái)物理機(jī)的ip地址與jmeter端口號(hào)；修改控制臺(tái)的Jmeter的安裝目錄下的bin/jmeter.properties文件的remote_hosts屬性，添加本臺(tái)物理機(jī)與其他壓力機(jī)的ip地址與jmeter端口號(hào)，并用逗號(hào)隔開(kāi)。Windows環(huán)境下點(diǎn)擊jmeter-server.bat，完成壓力機(jī)的啟動(dòng)，運(yùn)行控制臺(tái)的jmeter腳本時(shí)可以選擇啟動(dòng)指定壓力機(jī)或者啟動(dòng)全部壓力機(jī)。

3 編制https與wss性能測(cè)試腳本

3.1 編寫(xiě)wss測(cè)試腳本

JMeterWebSocketSamplers-0.11.1.jar是2.1節(jié)Jmeter安裝的用于WebSocket測(cè)試的組件，它支持wss協(xié)議的主要采樣器如下：

1)WebSocket Open Connection；

2)WebSocket request-response Sampler；

3)WebSocket Close。

WebSocket Open Connection：支持握手階段，建立WebSocket連接，它只提供消息連接的建立而不負(fù)責(zé)消息傳輸。WebSocket Close：客戶端主動(dòng)關(guān)閉WebSocket請(qǐng)求。一般在WebSocket request-response Sampler后使用，用于關(guān)閉不需要的WebSocket連接，減少服務(wù)器連接池的占用。WebSocket request-response Sampler作為wss測(cè)試的核心組件，可以完成wss連接的創(chuàng)建與消息傳輸任務(wù)。因此本文重點(diǎn)講述此采樣器的使用方法。

WebSocket request-response Sampler支持wss與ws兩種協(xié)議。它的配置頁(yè)面如圖2所示，主要由三部分組成，分別是Connnection，Server URL，Data。Connection用于選擇創(chuàng)建連接的方式；Server URL配置測(cè)試的協(xié)議種類(lèi)，服務(wù)器的URL及訪問(wèn)端口；Data用于配置的測(cè)試數(shù)據(jù)，連接的超時(shí)時(shí)間。

圖2 websocket請(qǐng)求響應(yīng)采樣器

使用此采樣器進(jìn)行性能測(cè)試需要注意的地方是Connection部分的連接創(chuàng)建的方式的選擇，不同的選擇適用于不同的性能測(cè)試場(chǎng)景，下面將簡(jiǎn)述兩種選擇方式的區(qū)別。第1種是使用之前創(chuàng)建完成沒(méi)有關(guān)閉的Websocket連接，例如使用WebSocket Open Connection或者WebSocket request-response Sample在之前創(chuàng)建成功的Websocket通信鏈路，優(yōu)點(diǎn)是減少連接創(chuàng)建時(shí)間請(qǐng)求響應(yīng)時(shí)間更短，節(jié)約服務(wù)器的連接資源數(shù)；第2種創(chuàng)建新的Websocket連接，優(yōu)點(diǎn)是避免使用已有連接進(jìn)行請(qǐng)求時(shí)出現(xiàn)超時(shí)失敗的情況。分析以上兩種連接方式的優(yōu)點(diǎn)，選擇策略如下：當(dāng)測(cè)試的并發(fā)請(qǐng)求數(shù)較少，對(duì)響應(yīng)時(shí)間要求較短的情況，選擇第一種使用已創(chuàng)建的連接的方式；當(dāng)測(cè)試的并發(fā)請(qǐng)求較多，對(duì)響應(yīng)的成功率要求較高的情況，選擇第2種方式使用新創(chuàng)建連接。

另外，此采樣器Data部分配置測(cè)試數(shù)據(jù)時(shí)，支持參數(shù)變量的引用，可以將測(cè)試數(shù)據(jù)進(jìn)行參數(shù)化，使用不同的測(cè)試數(shù)據(jù)進(jìn)行性能測(cè)試能更好的模擬真實(shí)的用戶使用場(chǎng)景。

圖3是Jmeter測(cè)試結(jié)果樹(shù)控件返回的請(qǐng)求數(shù)據(jù)，圖4是Jmeter測(cè)試結(jié)果樹(shù)控件返回的響應(yīng)數(shù)據(jù)。檢查請(qǐng)求數(shù)據(jù)可以判斷請(qǐng)求數(shù)據(jù)參數(shù)化調(diào)用的正確性；抽取部分響應(yīng)數(shù)據(jù)做響應(yīng)斷言，可以判斷請(qǐng)求返回的結(jié)果的正確性判斷，如何選擇響應(yīng)斷言數(shù)據(jù)，將在4.2節(jié)詳述。

圖3 wss請(qǐng)求體

圖4 wss響應(yīng)體

3.2 使用HTTP代理服務(wù)器錄制https測(cè)試腳本

https腳本可以利用Jmeter的【HTTP代理服務(wù)器】，使用瀏覽器進(jìn)行錄制。此協(xié)議的腳本的錄制方法較為成熟，此文不予詳述。

3.3 在測(cè)試腳本中添加監(jiān)控組件

從監(jiān)聽(tīng)器中選擇【jp@gc - Transactions per Second】、【jp@gc - PerfMon Metrics Collector】與【jp@gc - Response Times Over Time】三個(gè)組件作為性能指標(biāo)監(jiān)控組件，【jp@gc - Transactions per Second】用于統(tǒng)計(jì)每秒的事務(wù)數(shù)，【jp@gc - PerfMon Metrics Collector】用于監(jiān)控服務(wù)器的CPU，內(nèi)存，I/O使用情況，【jp@gc - Response Times Over Time】用于監(jiān)控請(qǐng)求的響應(yīng)時(shí)間，同時(shí)添加【聚合報(bào)告】，用于統(tǒng)計(jì)每個(gè)事務(wù)與請(qǐng)求的響應(yīng)時(shí)間，錯(cuò)誤率，吞吐量等詳細(xì)信息。在腳本編制階段可以添加【察看結(jié)果樹(shù)】組件用于查看腳本運(yùn)行的正確性與輔助優(yōu)化測(cè)試腳本。

由于Jmeter自身的監(jiān)控插件存在局限性，為了獲取更詳細(xì)的服務(wù)器監(jiān)控?cái)?shù)據(jù)，Linux操作系統(tǒng)可以使用nmon監(jiān)控工具，Window操作系統(tǒng)可以使用系統(tǒng)自帶的資源監(jiān)視器，并配合Jave自帶的Jconsole工具，與各類(lèi)數(shù)據(jù)庫(kù)監(jiān)控工具。這些工具的綜合使用可以較為全面的監(jiān)控系統(tǒng)性能測(cè)試過(guò)程中服務(wù)器的各項(xiàng)指標(biāo)，查找分析系統(tǒng)的性能瓶頸。

4 性能測(cè)試設(shè)計(jì)

前3節(jié)主要是針對(duì)智能法律問(wèn)答系統(tǒng)使用的協(xié)議wss與https協(xié)議的特殊性，講述性能測(cè)試工具的選擇，測(cè)試工具的配置與腳本的編寫(xiě)。本章節(jié)將分析智能法律問(wèn)答系統(tǒng)的數(shù)據(jù)與業(yè)務(wù)特點(diǎn)，重點(diǎn)講述針對(duì)此類(lèi)系統(tǒng)的性能測(cè)試的設(shè)計(jì)方法。

4.1 測(cè)試數(shù)據(jù)的選取

分析智能法律問(wèn)答系統(tǒng)的設(shè)計(jì)特點(diǎn)，主要是由自然語(yǔ)言句型識(shí)別，分詞處理，關(guān)鍵詞檢索幾個(gè)主要步驟組成[7]。因此對(duì)測(cè)試數(shù)據(jù)的選取也是圍繞以上幾個(gè)步驟，將作為性能測(cè)試輸入數(shù)據(jù)的各類(lèi)法律問(wèn)題[8]按以下規(guī)則進(jìn)行分類(lèi)：

1)問(wèn)句中包含系統(tǒng)設(shè)定的關(guān)鍵詞在系統(tǒng)中的使用頻率；

2)問(wèn)句中包含的系統(tǒng)設(shè)定的關(guān)鍵詞的數(shù)量；

3)問(wèn)句句型的復(fù)雜度，分詞和關(guān)鍵詞提取的難易程度；

4)問(wèn)句所屬的業(yè)務(wù)領(lǐng)域占系統(tǒng)設(shè)定的全部業(yè)務(wù)領(lǐng)域的比例。

根據(jù)系統(tǒng)設(shè)計(jì)的性能指標(biāo)[9]，按每個(gè)規(guī)則將測(cè)試數(shù)據(jù)分為高中低三類(lèi)，根據(jù)不同的性能測(cè)試場(chǎng)景選取不同類(lèi)別的數(shù)據(jù)進(jìn)行測(cè)試可以保證數(shù)據(jù)覆蓋的全面性，真實(shí)性。

同時(shí)也需要考慮系統(tǒng)已存儲(chǔ)的問(wèn)答對(duì)數(shù)量對(duì)性能測(cè)試的影響，百萬(wàn)級(jí)數(shù)量的問(wèn)答對(duì)的檢索速度會(huì)明顯與萬(wàn)級(jí)數(shù)量的問(wèn)答對(duì)的檢索速度不同。所以也要將系統(tǒng)存儲(chǔ)的問(wèn)答對(duì)的數(shù)量級(jí)進(jìn)行等級(jí)劃分。

4.2 響應(yīng)結(jié)果正確性的驗(yàn)證

不同的法律領(lǐng)域的問(wèn)題答案顯然是不同的，但相同領(lǐng)域的法律問(wèn)題回答必然包含相同的法律詞匯，因此可以選取不同法律領(lǐng)域使用較多的法律詞匯作為問(wèn)題答案必須包含的關(guān)鍵詞，作為系統(tǒng)返回的答案的正確性的判斷[10]。將這些關(guān)鍵詞用正則表達(dá)式組合在一起，只要系統(tǒng)返回的答案滿足正則表達(dá)式的設(shè)定規(guī)則就判斷系統(tǒng)返回的結(jié)果是正確的。具體操作就是在wss請(qǐng)求體加上正則表達(dá)式抽取器，然后再加上此請(qǐng)求體的響應(yīng)斷言控件，響應(yīng)斷言判斷正則表達(dá)式抽取的內(nèi)容是否與包含此領(lǐng)域問(wèn)題設(shè)定的關(guān)鍵詞，包含則認(rèn)為系統(tǒng)返回問(wèn)題答案正確，不包含則認(rèn)為系統(tǒng)返回問(wèn)題答案錯(cuò)誤。

4.3 性能測(cè)試場(chǎng)景的設(shè)定

基于wss協(xié)議智能法律問(wèn)答系統(tǒng)的業(yè)務(wù)特點(diǎn)，性能測(cè)試主要選擇壓力測(cè)試與疲勞測(cè)試兩種類(lèi)型[11]。可選取系統(tǒng)的主要業(yè)務(wù)場(chǎng)景包括：

1)不同規(guī)則分類(lèi)的問(wèn)題響應(yīng)時(shí)間測(cè)試：使用4.1節(jié)分類(lèi)后的測(cè)試數(shù)據(jù)進(jìn)行壓力測(cè)試，用于測(cè)試系統(tǒng)在法律領(lǐng)域的廣度與問(wèn)句的復(fù)雜度下的性能表現(xiàn)。

2)不同用戶量的測(cè)試：不同數(shù)量級(jí)的用戶數(shù)使用同類(lèi)問(wèn)題進(jìn)行壓力測(cè)試，測(cè)試系統(tǒng)的響應(yīng)時(shí)間與用戶承載量。

3)不同問(wèn)答對(duì)存儲(chǔ)數(shù)量的壓力測(cè)試：向系統(tǒng)提前灌入預(yù)估出使用半年，2年，5年后問(wèn)答對(duì)數(shù)量，分別在系統(tǒng)存儲(chǔ)不同數(shù)量級(jí)的問(wèn)答對(duì)情況下，測(cè)試常規(guī)用戶量使用下系統(tǒng)的性能表現(xiàn)。

4)長(zhǎng)時(shí)間運(yùn)行穩(wěn)定性測(cè)試：常規(guī)數(shù)量用戶持續(xù)使用問(wèn)答系統(tǒng)，在12小時(shí)，24小時(shí)，3*24小時(shí)后系統(tǒng)的各項(xiàng)指標(biāo)的穩(wěn)定性。

5)長(zhǎng)時(shí)間待機(jī)可靠性測(cè)試：保持系統(tǒng)應(yīng)用啟動(dòng)，在7*24小時(shí)，31*24小時(shí)期間，利用測(cè)試工具間斷性的使用問(wèn)答系統(tǒng)，驗(yàn)證系統(tǒng)的可用性。

5 結(jié)束語(yǔ)

本文針對(duì)目前法律領(lǐng)域使用越來(lái)越廣泛的智能問(wèn)答系統(tǒng)，系統(tǒng)地闡述了對(duì)此類(lèi)系統(tǒng)進(jìn)行性能測(cè)試的完整方案。從性能測(cè)試的工具選擇，測(cè)試工具配置，腳本編寫(xiě)，測(cè)試數(shù)據(jù)準(zhǔn)備，測(cè)試結(jié)果驗(yàn)證及性能場(chǎng)景選取幾個(gè)方面，抽取各部分的重點(diǎn)與難點(diǎn)，提出有效的解決方案，為進(jìn)行此類(lèi)系統(tǒng)性能測(cè)試的人員提供必要的參考。