張金娟，陳 娜，胡 虹，徐歆壹

（中國(guó)電信股份有限公司廣東研究院 廣州 510630）

1 概述

OCS[1]（online charging system，在線計(jì)費(fèi)系統(tǒng)）是 3GPP（TS32.296）于2003年制定的。隨著移動(dòng)互聯(lián)網(wǎng)應(yīng)用內(nèi)容的日益豐富，業(yè)務(wù)種類的進(jìn)一步完善，用戶的需求越來越個(gè)性化。傳統(tǒng)的計(jì)費(fèi)系統(tǒng)采用后付費(fèi)或者準(zhǔn)實(shí)時(shí)計(jì)費(fèi)方式。用戶在完成使用業(yè)務(wù)和對(duì)計(jì)費(fèi)詳單的處理之間存在時(shí)間差，存在較大的欠費(fèi)風(fēng)險(xiǎn)。3GPP在關(guān)注后臺(tái)各類型新業(yè)務(wù)支撐方案的基礎(chǔ)上，提出OCS的參考架構(gòu)。在線計(jì)費(fèi)系統(tǒng)提供實(shí)時(shí)計(jì)費(fèi)模式，即業(yè)務(wù)使用之前，網(wǎng)元進(jìn)行OCS消息鑒權(quán)，通過計(jì)費(fèi)系統(tǒng)對(duì)賬戶、余額以及對(duì)應(yīng)的資費(fèi)信息進(jìn)行批價(jià)處理。網(wǎng)元獲得對(duì)應(yīng)的使用量后，用戶可以使用對(duì)應(yīng)的業(yè)務(wù)。

隨著我國(guó)電信業(yè)重組的完成，電信市場(chǎng)進(jìn)入一個(gè)全新的全業(yè)務(wù)運(yùn)營(yíng)競(jìng)爭(zhēng)格局，國(guó)內(nèi)OCS也迎來快速發(fā)展時(shí)期。以中國(guó)電信為例，其OCS經(jīng)過了技術(shù)研發(fā)階段、試點(diǎn)階段、部分商用階段，2009年開始步入現(xiàn)網(wǎng)部署階段[2]。然而日益劇增的互聯(lián)網(wǎng)應(yīng)用，對(duì)計(jì)費(fèi)模式和計(jì)費(fèi)處理過程提出了更加復(fù)雜的要求，如實(shí)時(shí)快速的響應(yīng)、準(zhǔn)確無誤的計(jì)費(fèi)、區(qū)分不同應(yīng)用的內(nèi)容計(jì)費(fèi)、支持靈活多變的資費(fèi)配置、不間斷運(yùn)營(yíng)等，這些都對(duì)OCS的功能和性能提出了更高的要求。在運(yùn)營(yíng)商進(jìn)行OCS部署之前以及在部署上線后的運(yùn)行過程中，都需要對(duì)OCS的性能進(jìn)行選型、評(píng)估、優(yōu)化等，因此制定一套全面可行的性能評(píng)估方案和完備的性能評(píng)估體系，對(duì)OCS的綜合性能進(jìn)行全面評(píng)價(jià)，是OCS實(shí)現(xiàn)高效運(yùn)營(yíng)的必備前提。

本文通過在實(shí)際評(píng)估工作中的研究和探索，設(shè)計(jì)出了一套可供全面檢測(cè)的OCS性能評(píng)估方案，提供了各種主要性能指標(biāo)參考值的估算方法；同時(shí)對(duì)不同測(cè)試場(chǎng)景的測(cè)試目的進(jìn)行分析，得出每種測(cè)試場(chǎng)景所關(guān)注的評(píng)估因子，并據(jù)此提出了不同測(cè)試場(chǎng)景下的性能指標(biāo)評(píng)估算法，形成了一套完整的性能指標(biāo)評(píng)估體系。在工程招標(biāo)中往往要對(duì)不同供應(yīng)商的系統(tǒng)進(jìn)行選型對(duì)比，本文選擇中國(guó)電信股份有限公司（以下簡(jiǎn)稱中國(guó)電信）在某省的OCS選型性能評(píng)估工程為例，對(duì)提出的綜合性能評(píng)估體系進(jìn)行驗(yàn)證。

2 OCS性能評(píng)估方案

2.1 性能評(píng)估需求

一般而言，用戶對(duì)IT系統(tǒng)的性能需求主要集中在并發(fā)處理能力、資源利用率、運(yùn)行穩(wěn)定性等方面[3]，性能評(píng)估測(cè)試首先必須根據(jù)用戶需求確定評(píng)估指標(biāo)和相應(yīng)的測(cè)試場(chǎng)景。在線計(jì)費(fèi)系統(tǒng)是一個(gè)業(yè)務(wù)復(fù)雜、應(yīng)用場(chǎng)景多的系統(tǒng)，相比其他離線業(yè)務(wù)處理系統(tǒng)，除常規(guī)IT系統(tǒng)具備的性能需求之外，OCS對(duì)計(jì)費(fèi)處理的時(shí)效性和準(zhǔn)確性有著更高的要求。結(jié)合運(yùn)營(yíng)商對(duì)計(jì)費(fèi)類系統(tǒng)的性能需求，對(duì)OCS的業(yè)務(wù)特點(diǎn)進(jìn)行分析，不難得出，對(duì)OCS進(jìn)行性能評(píng)估主要關(guān)注表1所列內(nèi)容。

運(yùn)營(yíng)商在制定IT系統(tǒng)技術(shù)規(guī)范時(shí)，會(huì)根據(jù)實(shí)際運(yùn)營(yíng)中的業(yè)務(wù)容量制定對(duì)某系統(tǒng)的性能指標(biāo)要求，在測(cè)試執(zhí)行和結(jié)果評(píng)估過程中，應(yīng)實(shí)際運(yùn)營(yíng)的需求及服務(wù)器硬件配置，為上述指標(biāo)制定參考值，如業(yè)界常用的CPU使用率預(yù)期值一般要求在系統(tǒng)達(dá)到最大處理能力時(shí)不得少于80%，否則認(rèn)為系統(tǒng)設(shè)計(jì)沒有最大程度地利用資源；對(duì)于OCS而言，其事務(wù)處理錯(cuò)誤率要求一般定義為≤0.01‰。

表1 OCS綜合性能評(píng)估需求

在上述指標(biāo)中，并發(fā)處理能力參考值的制定最復(fù)雜，需要結(jié)合各種因子進(jìn)行估算。由于目前各運(yùn)營(yíng)商都開展多種融合業(yè)務(wù)，因此要求OCS處理的話務(wù)類型應(yīng)包含話音類、短信類和數(shù)據(jù)類業(yè)務(wù)，也即OCS的業(yè)務(wù)模型由話音類、短信類和數(shù)據(jù)類業(yè)務(wù)組成。設(shè)某省OCS承載用戶數(shù)為M，每秒最大并發(fā)處理能力應(yīng)大于等于3大類業(yè)務(wù)忙時(shí)每秒建立的呼叫次數(shù)（CAPS）的總和。CAPS定義為：

式（1）中，忙時(shí)呼叫量（BHCA）的國(guó)際單位是 Erl（愛爾蘭，次/小時(shí)），由此可推導(dǎo)出OCS話音業(yè)務(wù)每秒的呼叫次數(shù)為：

話音業(yè)務(wù)忙時(shí)話務(wù)平均數(shù)可從OCS的日常運(yùn)營(yíng)統(tǒng)計(jì)數(shù)據(jù)中提取得出。

同理可推導(dǎo)出OCS點(diǎn)對(duì)點(diǎn)短信類業(yè)務(wù)每秒的呼叫次數(shù)為：

數(shù)據(jù)業(yè)務(wù)分為事件類數(shù)據(jù)業(yè)務(wù)和會(huì)話類數(shù)據(jù)業(yè)務(wù)，其種類繁多，會(huì)話計(jì)費(fèi)的主要業(yè)務(wù)類型包括：Internet上網(wǎng)業(yè)務(wù)、WAP業(yè)務(wù)（pull瀏覽）、流媒體業(yè)務(wù)（事件計(jì)費(fèi)）及其他業(yè)務(wù)；基于事件計(jì)費(fèi)的主要業(yè)務(wù)類型包括：應(yīng)用短信、WAP（短信方式 push）、流媒體（事件計(jì)費(fèi)）彩信、彩鈴、定位、KJava及其他業(yè)務(wù)。因此數(shù)據(jù)類的CAPS指標(biāo)參考值為各類數(shù)據(jù)業(yè)務(wù)的求和：

式（2）～式（4）求和即為OCS最大并發(fā)處理總數(shù)的預(yù)期值：

2.2 業(yè)務(wù)場(chǎng)景設(shè)計(jì)

為了獲取表1所述的性能表現(xiàn)，充分驗(yàn)證OCS的各方面性能，在性能測(cè)試執(zhí)行過程中，需要設(shè)計(jì)合理的測(cè)試場(chǎng)景，并利用測(cè)試工具模擬不同場(chǎng)景下的業(yè)務(wù)請(qǐng)求，對(duì)被測(cè)系統(tǒng)施壓，運(yùn)行完畢之后根據(jù)一定的評(píng)估算法對(duì)OCS的整體性能進(jìn)行分析。根據(jù)OCS在實(shí)際生產(chǎn)中的需求，可選取以下常見的、有代表性的業(yè)務(wù)場(chǎng)景作為其性能測(cè)試場(chǎng)景。

（1）極限測(cè)試

極限測(cè)試是在較短時(shí)間內(nèi)，通過虛擬一定數(shù)量的用戶，向被測(cè)系統(tǒng)并行發(fā)起各類業(yè)務(wù)請(qǐng)求，在這一過程中不斷增加并發(fā)請(qǐng)求數(shù)，直至觀察到被測(cè)系統(tǒng)單位時(shí)間內(nèi)的并發(fā)處理數(shù)不再增加。在極限測(cè)試中可獲取OCS的平均事務(wù)響應(yīng)時(shí)間、最大事務(wù)響應(yīng)時(shí)間、最小事務(wù)響應(yīng)時(shí)間、最大并發(fā)處理數(shù)、服務(wù)器主機(jī)資源（CPU、內(nèi)存）利用率、事務(wù)處理的成功率等性能指標(biāo)。

（2）過載測(cè)試

在節(jié)假日期間，OCS的話務(wù)量劇增，OCS將會(huì)有短時(shí)間內(nèi)處在超負(fù)荷的運(yùn)行狀態(tài)，因此過載測(cè)試是驗(yàn)證系統(tǒng)頑健性必不可少的一個(gè)環(huán)節(jié)。過載測(cè)試是在極限測(cè)試的基礎(chǔ)上，繼續(xù)增加并發(fā)請(qǐng)求數(shù)，直至并發(fā)請(qǐng)求數(shù)達(dá)到極限測(cè)試的120%，并保持在該壓力下運(yùn)行一段時(shí)間。通過過載測(cè)試可獲取OCS在高負(fù)荷運(yùn)行下的穩(wěn)定性和頑健性。

（3）疲勞測(cè)試

過載測(cè)試的并發(fā)請(qǐng)求數(shù)以極限測(cè)試的80%向被測(cè)系統(tǒng)發(fā)起請(qǐng)求，并且在一段較長(zhǎng)時(shí)間內(nèi)保持該壓力持續(xù)運(yùn)行，根據(jù)用戶需求，施壓時(shí)間可為8～72 h。通過疲勞測(cè)試，可考察系統(tǒng)長(zhǎng)時(shí)間無故障運(yùn)行的穩(wěn)定性，驗(yàn)證系統(tǒng)能否承受長(zhǎng)時(shí)間運(yùn)行，保證業(yè)務(wù)成功率以及執(zhí)行效率。

（4）水平擴(kuò)展能力

近年來，由于系統(tǒng)承載用戶數(shù)劇增，OCS的擴(kuò)容和性能提升亟待實(shí)施，水平擴(kuò)展能力測(cè)試通過增加服務(wù)器進(jìn)行橫向擴(kuò)展，測(cè)試OCS在不同數(shù)量機(jī)器集群情況下并發(fā)處理數(shù)（TPS）的增長(zhǎng)情況，以驗(yàn)證其水平擴(kuò)展是否呈線性增長(zhǎng)。

2.3 性能測(cè)試部署框架

確定了測(cè)試場(chǎng)景，在測(cè)試執(zhí)行之前，需要部署性能測(cè)試架構(gòu)，按照一定的業(yè)務(wù)比例，模擬出不同的測(cè)試場(chǎng)景，以獲取用戶所關(guān)心的性能指標(biāo)。通過分析測(cè)試執(zhí)行的各個(gè)環(huán)節(jié)，OCS的性能測(cè)試部署需要話務(wù)模擬器、外圍系統(tǒng)模擬器、監(jiān)控平臺(tái)和結(jié)果收集平臺(tái)協(xié)作完成，其框架設(shè)計(jì)如圖1所示。

話務(wù)模擬器按照一定的比例模擬用戶使用不同的業(yè)務(wù)（包括話音、短信、數(shù)據(jù)類等），向OCS發(fā)起請(qǐng)求，并接收OCS的響應(yīng)；外圍系統(tǒng)模擬器是OCS完成一筆話務(wù)處理所關(guān)聯(lián)到的其他業(yè)務(wù)系統(tǒng)，如余額管理系統(tǒng)、資料管理系統(tǒng)等，外圍模擬器根據(jù)OCS發(fā)起的不同業(yè)務(wù)請(qǐng)求返回應(yīng)答；監(jiān)控平臺(tái)對(duì)測(cè)試過程中各系統(tǒng)的狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，測(cè)試人員根據(jù)監(jiān)控結(jié)果、控制測(cè)試的啟停和動(dòng)態(tài)調(diào)整話務(wù)模擬器向OCS發(fā)送請(qǐng)求的速率、并發(fā)數(shù)等，以達(dá)到測(cè)試場(chǎng)景預(yù)期的并發(fā)壓力；結(jié)果收集平臺(tái)收集用戶所關(guān)心的各項(xiàng)性能評(píng)估指標(biāo)，并形成相應(yīng)的分析報(bào)表，供后續(xù)評(píng)估和比對(duì)。

圖1 OCS綜合性能評(píng)估測(cè)試部署框架

3 性能指標(biāo)評(píng)估體系

為了有效驗(yàn)證不同供應(yīng)商的OCS性能，需要制定合理的、切實(shí)可行的測(cè)試評(píng)估方法，通過評(píng)估結(jié)果界定參測(cè)OCS是否達(dá)標(biāo)，并對(duì)參測(cè)系統(tǒng)進(jìn)行有效排名。常規(guī)的性能結(jié)果評(píng)估方法一般是在獲取了最大并發(fā)處理數(shù)、響應(yīng)時(shí)間和資源利用率等評(píng)估因子的結(jié)果之后，根據(jù)客戶對(duì)系統(tǒng)的需求值取一個(gè)預(yù)期結(jié)果值，將各指標(biāo)值與預(yù)期結(jié)果進(jìn)行比較，評(píng)定某個(gè)系統(tǒng)的性能優(yōu)劣。

然而在實(shí)際的選型測(cè)試中，通常需要設(shè)計(jì)多種業(yè)務(wù)場(chǎng)景來驗(yàn)證系統(tǒng)在不同狀態(tài)下的性能表現(xiàn)，而根據(jù)各種測(cè)試場(chǎng)景測(cè)試目的的不同，其關(guān)注的性能表現(xiàn)因素也不同。單一的評(píng)價(jià)模式既沒有考慮到系統(tǒng)在不同應(yīng)用場(chǎng)景中對(duì)性能評(píng)估因子的需求變化，也沒有考慮到在同一應(yīng)用場(chǎng)景中不同性能評(píng)估因子對(duì)系統(tǒng)性能的影響程度，對(duì)于業(yè)務(wù)復(fù)雜、應(yīng)用場(chǎng)景多、對(duì)性能具有高要求的系統(tǒng)（如OCS），單一的評(píng)價(jià)方法無法體現(xiàn)系統(tǒng)綜合性能的優(yōu)勢(shì)和瓶頸，因而無法全面有效地驗(yàn)證不同供應(yīng)商的系統(tǒng)性能。本文對(duì)不同業(yè)務(wù)場(chǎng)景的測(cè)試目的進(jìn)行分析，從而得出每類場(chǎng)景關(guān)注的性能評(píng)估因子，并根據(jù)實(shí)際運(yùn)營(yíng)需求或經(jīng)驗(yàn)值為不同評(píng)估因子給出評(píng)估分?jǐn)?shù)分段建議取值，從而形成一套綜合指標(biāo)評(píng)估體系，應(yīng)用本評(píng)估體系可全面地評(píng)估OCS的綜合性能，有效地對(duì)不同供應(yīng)商的OCS進(jìn)行橫向評(píng)比工作。

3.1 極限測(cè)試

極限測(cè)試需要采用負(fù)載測(cè)試工具進(jìn)行，通過虛擬一定數(shù)量的用戶，向OCS并行發(fā)起各類業(yè)務(wù)請(qǐng)求。根據(jù)極限測(cè)試的定義[3]，可知極限測(cè)試的目的是探測(cè)系統(tǒng)極限的處理能力以及系統(tǒng)達(dá)到極限時(shí)的各種性能表現(xiàn)。

其中，對(duì)于系統(tǒng)極限的處理能力，可由測(cè)試得到的CAPS體現(xiàn)，它反映了OCS在單位時(shí)間內(nèi)的并發(fā)處理能力。設(shè)為整個(gè)場(chǎng)景運(yùn)行時(shí)間(或某段時(shí)間內(nèi))的平均值（各指標(biāo)的平均值一般取平穩(wěn)運(yùn)行后20 min的區(qū)間進(jìn)行計(jì)算，下同）性能評(píng)估需求分析中估算所得的對(duì)OCS最大并發(fā)處理能力的預(yù)期值越接近預(yù)期值，則越符合用戶的需求，設(shè)該項(xiàng)評(píng)估分值滿分為1分（下同），因此該項(xiàng)評(píng)估分值

對(duì)于達(dá)到極限時(shí)的各種性能表現(xiàn)，可由以下3個(gè)指標(biāo)來體現(xiàn)。

·事務(wù)處理的錯(cuò)誤率E：不同的業(yè)務(wù)系統(tǒng)的容錯(cuò)程度不同，因此對(duì)錯(cuò)誤率的要求各有不同（中國(guó)電信計(jì)費(fèi)類業(yè)務(wù)系統(tǒng)規(guī)定錯(cuò)誤率Er低于0.01‰），錯(cuò)誤率越小越好，因此該項(xiàng)評(píng)估分值

上述4項(xiàng)評(píng)估因子全面體現(xiàn)了用戶所關(guān)心的“系統(tǒng)極限的處理能力”以及“系統(tǒng)達(dá)到極限時(shí)的各種性能表現(xiàn)”，因此極限測(cè)試場(chǎng)景的評(píng)估結(jié)果應(yīng)由上述4個(gè)指標(biāo)的得分加權(quán)得出。不同用戶對(duì)于各項(xiàng)指標(biāo)的關(guān)注程度有所不同，可為每項(xiàng)指標(biāo)設(shè)置權(quán)重系數(shù) （設(shè)k1、k2、k3、k4為權(quán)重系數(shù)，下同），由此可推導(dǎo)出極限測(cè)試場(chǎng)景性能表現(xiàn)評(píng)估算法計(jì)算式如下：

3.2 過載測(cè)試

過載測(cè)試是在極限測(cè)試的基礎(chǔ)上，虛擬一定的用戶數(shù)，按極限測(cè)試并發(fā)請(qǐng)求數(shù)的120%向OCS發(fā)起請(qǐng)求，其目的是考核OCS在短時(shí)間超負(fù)荷情況下的穩(wěn)定度和頑健性。因此，過載測(cè)試結(jié)果評(píng)估算法主要關(guān)注在達(dá)到120%的并發(fā)壓力之后，穩(wěn)定運(yùn)行20 min，這個(gè)區(qū)間內(nèi)響應(yīng)時(shí)間的波動(dòng)情況以及事務(wù)處理的錯(cuò)誤率。由于只關(guān)注此兩項(xiàng)評(píng)估因子，因此只需將式（6）略做調(diào)整，即可推導(dǎo)出過載測(cè)試場(chǎng)景的評(píng)估算法計(jì)算式如下：

3.3 疲勞測(cè)試

由疲勞測(cè)試的定義可知，該場(chǎng)景的測(cè)試目的是有效檢驗(yàn)OCS的續(xù)航能力。因此，在疲勞測(cè)試中，不再關(guān)注某一指標(biāo)的瞬間值，而應(yīng)關(guān)注整個(gè)運(yùn)行過程中各種指標(biāo)的變化，這些變化包括：并發(fā)處理能力的衰減性與波動(dòng)性、響應(yīng)時(shí)間的波動(dòng)性、資源使用率的波動(dòng)性以及長(zhǎng)時(shí)間運(yùn)行過程中的處理錯(cuò)誤率等關(guān)鍵的考核因素。假設(shè)疲勞測(cè)試持續(xù)t h，下面對(duì)這些因子逐一進(jìn)行分析。

并發(fā)處理能力衰減性V1：在t h內(nèi)，每小時(shí)進(jìn)行數(shù)據(jù)采樣，可獲取每小時(shí)OCS的并發(fā)處理能力CAPSi，如果CAPSi+1≥CAPSi，則說明并發(fā)處理能力上升；如果CAPSi+1

并發(fā)處理能力峰谷差V2：峰谷差值越小，則說明長(zhǎng)時(shí)間運(yùn)行并發(fā)處理能力的波動(dòng)性越小，因此該項(xiàng)的評(píng)估分值

上述5項(xiàng)因子，綜合體現(xiàn)了長(zhǎng)時(shí)間運(yùn)行過程中系統(tǒng)的性能變化，因此，疲勞測(cè)試場(chǎng)景的評(píng)估結(jié)果應(yīng)由上述5個(gè)因子的得分加權(quán)得出，由此可推導(dǎo)出疲勞測(cè)試場(chǎng)景的評(píng)估算法計(jì)算式如下：

3.4 服務(wù)器資源擴(kuò)展測(cè)試

隨著業(yè)務(wù)發(fā)展和承載用戶數(shù)的增加，OCS亟需進(jìn)行性能優(yōu)化，增加集群服務(wù)器個(gè)數(shù)，對(duì)服務(wù)器進(jìn)行橫向擴(kuò)展是系統(tǒng)性能提升的必備手段之一。擴(kuò)展性良好的系統(tǒng)，其并發(fā)處理能力應(yīng)在水平擴(kuò)展之后具有明顯的提升，同時(shí)，對(duì)于集群中服務(wù)器的資源使用，必須做到均衡利用，以避免單點(diǎn)癱瘓?jiān)斐傻南到y(tǒng)運(yùn)行間斷。因此，以單機(jī)服務(wù)器擴(kuò)展為雙機(jī)服務(wù)器為例，服務(wù)器資源擴(kuò)展測(cè)試的評(píng)估算法應(yīng)體現(xiàn)出上述兩點(diǎn)原則。

·擴(kuò)展后處理能力提升：CAPSe為擴(kuò)展后測(cè)得的最大并發(fā)處理數(shù)，CAPSs為擴(kuò)展前的值，則處理能力提升的比例為

·擴(kuò)展后資源均衡利用：可由兩臺(tái)服務(wù)器的資源使用率差值的絕對(duì)值體現(xiàn)，差值越小，說明對(duì)擴(kuò)展后的資源利用越均衡，則越能避免單點(diǎn)癱瘓現(xiàn)象，因此該項(xiàng)得分為1-|R2-R1|。

上述因子能夠綜合體現(xiàn)被測(cè)的OCS是否能對(duì)擴(kuò)展的資源進(jìn)行充分和合理的利用，因此水平擴(kuò)展測(cè)試的性能指標(biāo)評(píng)估算法應(yīng)由其加權(quán)得出，具體如下：

為獲取不同場(chǎng)景評(píng)估算法中各項(xiàng)評(píng)估因子的統(tǒng)計(jì)結(jié)果，可設(shè)計(jì)相應(yīng)的測(cè)試程序或使用通用的性能測(cè)試軟件和監(jiān)控工具（如 LoadRunner、TeamQuest等）進(jìn)行自動(dòng)統(tǒng)計(jì)，在測(cè)試結(jié)束后將統(tǒng)計(jì)結(jié)果代入式（6）～式（10）中進(jìn)行計(jì)算，得出不同參測(cè)系統(tǒng)在各個(gè)測(cè)試場(chǎng)景下的評(píng)估分?jǐn)?shù)，根據(jù)各項(xiàng)評(píng)估因子的得分和總分，即可對(duì)不同供應(yīng)商參測(cè)系統(tǒng)的性能表現(xiàn)進(jìn)行橫行的綜合對(duì)比。

4 OCS綜合性能評(píng)估實(shí)例

中國(guó)電信OCS通過實(shí)時(shí)計(jì)費(fèi)協(xié)議與SCP、CCG與ISMP等網(wǎng)絡(luò)設(shè)備相連，通過在線計(jì)費(fèi)協(xié)議對(duì)基本話音業(yè)務(wù)、基本數(shù)據(jù)承載業(yè)務(wù)、增值業(yè)務(wù)等進(jìn)行在線計(jì)費(fèi)控制。在線計(jì)費(fèi)系統(tǒng)中統(tǒng)一實(shí)現(xiàn)了各種業(yè)務(wù)的交叉捆綁計(jì)費(fèi)與優(yōu)惠，從而實(shí)現(xiàn)了多業(yè)務(wù)多網(wǎng)絡(luò)融合的在線計(jì)費(fèi)。下面以中國(guó)電信某省OCS選型測(cè)試工程為例，驗(yàn)證本文提出的綜合性能評(píng)估體系。

4.1 性能評(píng)估方案設(shè)計(jì)

某省電信公司擬對(duì)供應(yīng)商A和B的OCS進(jìn)行選型比對(duì)，該省承載的移動(dòng)用戶數(shù)為100萬，根據(jù)OCS所承載的計(jì)費(fèi)業(yè)務(wù)類型，OCS性能評(píng)估的業(yè)務(wù)模型應(yīng)包含話音、點(diǎn)對(duì)點(diǎn)短信、會(huì)話類分組數(shù)據(jù)業(yè)務(wù)及事件類分組數(shù)據(jù)業(yè)務(wù)。由現(xiàn)網(wǎng)運(yùn)營(yíng)的統(tǒng)計(jì)數(shù)據(jù)可獲取4類業(yè)務(wù)的忙時(shí)平均話務(wù)數(shù)統(tǒng)計(jì)值，根據(jù)式（2）～式（5）進(jìn)行計(jì)算，可得出對(duì)該省不同業(yè)務(wù)的話務(wù)數(shù)需求的總數(shù)，見表2。

表2 OCS綜合性能評(píng)估業(yè)務(wù)模型及話務(wù)量需求

OCS的選型評(píng)估注重不同承建廠商系統(tǒng)之間的橫向比對(duì)，為了獲取各廠商OCS的綜合性能，共設(shè)計(jì)極限運(yùn)行、過載運(yùn)行、8 h疲勞運(yùn)行、應(yīng)用服務(wù)器雙機(jī)水平擴(kuò)展4個(gè)測(cè)試場(chǎng)景進(jìn)行測(cè)試。根據(jù)表2的計(jì)算結(jié)果及2.1節(jié)的分析結(jié)果可知，對(duì)OCS的最大處理能力要求應(yīng)不小于1 071。同時(shí)根據(jù)該省實(shí)際運(yùn)營(yíng)的需求，對(duì)資源使用率和錯(cuò)誤率的預(yù)期值進(jìn)行定義，見表3。

表3 某省OCS性能指標(biāo)預(yù)期值

按表2所列的4類業(yè)務(wù)組合設(shè)計(jì)本次測(cè)試的業(yè)務(wù)模型，利用測(cè)試軟件LoadRunner模擬極限運(yùn)行、過載運(yùn)行、8 h疲勞運(yùn)行、應(yīng)用服務(wù)器雙機(jī)水平擴(kuò)展4個(gè)測(cè)試場(chǎng)景，使用監(jiān)控工具TeamQuest監(jiān)控系統(tǒng)的資源使用率，對(duì)式（6）～式（10）中涉及的各項(xiàng)評(píng)估因子的統(tǒng)計(jì)值進(jìn)行自動(dòng)記錄。

4.2 綜合性能評(píng)估結(jié)果

測(cè)試結(jié)束后，從測(cè)試軟件和監(jiān)控工具中提取出各項(xiàng)評(píng)估因子的統(tǒng)計(jì)值，結(jié)合表5定義的預(yù)期值進(jìn)行計(jì)算（動(dòng)態(tài)系數(shù)k取均值，即假設(shè)該省對(duì)每種場(chǎng)景各項(xiàng)評(píng)估因子的關(guān)注度均等），可得出本次選型測(cè)試的評(píng)估分?jǐn)?shù)，見表4～表7。

由上述4種場(chǎng)景的綜合性能評(píng)估結(jié)果，可對(duì)供應(yīng)商A和B的OCS的性能優(yōu)劣得出表8所列的評(píng)估結(jié)論。

在極限及過載運(yùn)行狀態(tài)下穩(wěn)定性較差，響應(yīng)時(shí)間波動(dòng)較大，同時(shí)個(gè)別業(yè)務(wù)的錯(cuò)誤率較高，在節(jié)假日的繁忙時(shí)期可能出現(xiàn)系統(tǒng)響應(yīng)超時(shí)從而影響業(yè)務(wù)運(yùn)營(yíng)。

表4 極限運(yùn)行測(cè)試結(jié)果及評(píng)估得分

表5 過載運(yùn)行測(cè)試結(jié)果及評(píng)估得分

表6 疲勞運(yùn)行測(cè)試結(jié)果及評(píng)估得分

表7 水平資源擴(kuò)展測(cè)試結(jié)果及評(píng)估得分

表8 供應(yīng)商A和B綜合性能優(yōu)劣對(duì)比

由表8可見，依據(jù)本文提出的綜合性能評(píng)估方法，A供應(yīng)商和B供應(yīng)商的系統(tǒng)各有優(yōu)劣，而傳統(tǒng)的評(píng)估模式僅關(guān)注并發(fā)處理能力、響應(yīng)時(shí)間或者資源利用率等單項(xiàng)指標(biāo)的離散結(jié)果，容易得出A優(yōu)于B的片面定論，失去了性能評(píng)估的全面性和客觀性。通過本文提出的綜合性能評(píng)估方法，能夠發(fā)現(xiàn)系統(tǒng)的優(yōu)缺點(diǎn)，同時(shí)，運(yùn)營(yíng)單位可以根據(jù)自身需求調(diào)整不同評(píng)估因子的權(quán)重，進(jìn)行供應(yīng)商選型，選擇符合本省實(shí)際業(yè)務(wù)需求的OCS。結(jié)合本方法中不同場(chǎng)景的具體結(jié)果，還可以定位到系統(tǒng)的瓶頸，為選型確定之后的調(diào)優(yōu)上線等工作提供指導(dǎo)。

5 結(jié)束語

本文通過對(duì)OCS的性能評(píng)估需求分析，設(shè)計(jì)了一套可供全面檢測(cè)的性能評(píng)估方案，提供了各種主要性能指標(biāo)參考值的估算方法；同時(shí)針對(duì)不同的測(cè)試場(chǎng)景，提出了不同的性能指標(biāo)評(píng)估算法，形成了一套完整的性能指標(biāo)評(píng)估體系。本方法已成功應(yīng)用于中國(guó)電信OCS選型測(cè)試中，經(jīng)過實(shí)際的工程驗(yàn)證，本文所提出的評(píng)估方案和指標(biāo)評(píng)估體系，能夠全面地評(píng)估OCS的綜合性能，有效地指導(dǎo)OCS的性能評(píng)估和選型對(duì)比。本文提出的評(píng)估算法也具備一定的通用性，根據(jù)不同系統(tǒng)對(duì)各項(xiàng)指標(biāo)的需求對(duì)評(píng)估算法進(jìn)行適當(dāng)調(diào)整，可應(yīng)用于其他IT系統(tǒng)性能評(píng)估，在實(shí)際生產(chǎn)中，本方法已多次應(yīng)用于中國(guó)電信計(jì)費(fèi)業(yè)務(wù)網(wǎng)關(guān)系統(tǒng)、中國(guó)電信合作伙伴結(jié)算系統(tǒng)等多個(gè)系統(tǒng)的選型測(cè)試。同時(shí)，利用本評(píng)估方法能夠初步定位OCS的性能瓶頸，為性能調(diào)優(yōu)提供一定的參考價(jià)值。

1 3GPP TS 32.296-2009.The 3rd Generation Partnership Project，Online Charging System (OCS):Application and Interfaces,2009

2 王超.從OCS的發(fā)展探討下一代計(jì)費(fèi)系統(tǒng)的特點(diǎn).電信科學(xué),2011(10A)

3 于涌.軟件性能測(cè)試與Loadrunner實(shí)戰(zhàn).北京:人民郵電出版社,2008

4 淺談中國(guó)電信OCS的引入.資源決策網(wǎng),2007

5 陳能技,郭柏雅.性能測(cè)試診斷分析與優(yōu)化.北京:電子工業(yè)出版社,2012