楊豪杰，李 云，張玉忠

（中國(guó)電信股份有限公司廣東研究院 廣州 510630）

號(hào)碼百事通電子商務(wù)數(shù)據(jù)中心研究及實(shí)施

楊豪杰，李 云，張玉忠

（中國(guó)電信股份有限公司廣東研究院 廣州 510630）

針對(duì)目前號(hào)碼百事通電子商務(wù)平臺(tái)各個(gè)子系統(tǒng)相互獨(dú)立的情況，分析了建設(shè)數(shù)據(jù)中心的必要性和現(xiàn)實(shí)意義，梳理了數(shù)據(jù)中心與平臺(tái)主要系統(tǒng)間的關(guān)系，提出了一整套可實(shí)施的系統(tǒng)框架和方案，解決了異構(gòu)系統(tǒng)間數(shù)據(jù)共享的兼容性和安全性等問(wèn)題，開(kāi)創(chuàng)性地實(shí)現(xiàn)了數(shù)據(jù)中心與數(shù)據(jù)挖掘、客戶價(jià)值模型的融合應(yīng)用，最后針對(duì)電子商務(wù)移動(dòng)化的趨勢(shì)，提出了數(shù)據(jù)中心的移動(dòng)性擴(kuò)展。

數(shù)據(jù)中心；電子商務(wù)；分布式架構(gòu)；號(hào)碼百事通；移動(dòng)電子商務(wù)

1 前言

根據(jù)艾瑞2010中國(guó)電子商務(wù)年度發(fā)展報(bào)告，全年交易規(guī)模達(dá)4.8萬(wàn)億元人民幣，同比增長(zhǎng)33.5%；2013年有望突破10萬(wàn)億元人民幣[1]。正在向信息服務(wù)提供者轉(zhuǎn)變的電信運(yùn)營(yíng)商自然不愿錯(cuò)過(guò)如此龐大的市場(chǎng)。其實(shí)早在2007年，中國(guó)電信就在上海成立了號(hào)碼百事通（簡(jiǎn)稱“號(hào)百”）信息服務(wù)公司，推出了訂票、訂房等商旅服務(wù)，初步實(shí)現(xiàn)電子商務(wù)平臺(tái)功能。目前，號(hào)碼百事通的商品涵蓋機(jī)票、酒店、餐館、禮品、紅酒、小商品、電影票等，由于各種商品之間的差異較大，而與各個(gè)合作伙伴之間的合作方式不盡相同，導(dǎo)致不同的商品存在不同的訂購(gòu)系統(tǒng)，難以提供統(tǒng)一而融合的客戶業(yè)務(wù)體驗(yàn)；同時(shí)，隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，用戶的位置軌跡、終端類型等越來(lái)越成為電子商務(wù)的關(guān)鍵業(yè)務(wù)因素。因此，很有必要建設(shè)統(tǒng)一的數(shù)據(jù)中心，以實(shí)現(xiàn)各類數(shù)據(jù)的跨系統(tǒng)共享，以號(hào)碼百事通作為統(tǒng)一品牌為客戶提供統(tǒng)一而融合的業(yè)務(wù)體驗(yàn)。

2 應(yīng)用場(chǎng)景

圖1是數(shù)據(jù)中心在一個(gè)典型的電子商務(wù)流程中的應(yīng)用例子。

（1）王經(jīng)理出差，他撥打了“114”打算訂機(jī)票和酒店。

（2）電話進(jìn)入系統(tǒng)后，通過(guò)統(tǒng)一認(rèn)證和客戶管理系統(tǒng)實(shí)現(xiàn)了主叫鑒權(quán)并獲得了用戶基本信息，同時(shí)，從數(shù)據(jù)中心的信息發(fā)現(xiàn)王經(jīng)理是VIP客戶（數(shù)據(jù)挖掘的客戶價(jià)值模型），優(yōu)先接入話務(wù)專席。

（3）王經(jīng)理在機(jī)票訂購(gòu)系統(tǒng)專席完成機(jī)票預(yù)定，數(shù)據(jù)中心實(shí)時(shí)從機(jī)票訂購(gòu)系統(tǒng)中同步了機(jī)票信息，包括時(shí)間、地點(diǎn)等。王經(jīng)理還需要訂酒店，因此話務(wù)員把話務(wù)轉(zhuǎn)到了酒店訂購(gòu)系統(tǒng)專席。

（4）酒店專席可以看到王經(jīng)理的用戶信息，而且通過(guò)數(shù)據(jù)中心發(fā)現(xiàn)王經(jīng)理剛預(yù)定了后天到北京的機(jī)票，因此詢問(wèn)王經(jīng)理是不是要訂后天晚上北京的酒店。

圖1 應(yīng)用場(chǎng)景

（5）酒店訂購(gòu)?fù)瓿珊螅拕?wù)員通過(guò)數(shù)據(jù)中心發(fā)現(xiàn)王經(jīng)理是“電影發(fā)燒友”，同時(shí)，通過(guò)客戶管理系統(tǒng)可以發(fā)現(xiàn)王經(jīng)理有1000個(gè)積分，因此推薦王經(jīng)理兌換院線通電影票。

（6）王經(jīng)理兌換電影票后，院線通系統(tǒng)發(fā)送二維碼電影票到王經(jīng)理手機(jī)。

（7）王經(jīng)理到院線通二維碼終端機(jī)取票后，數(shù)據(jù)中心提取時(shí)間、地點(diǎn)等信息供主動(dòng)營(yíng)銷系統(tǒng)查詢。

（8）主動(dòng)營(yíng)銷系統(tǒng)主動(dòng)發(fā)短信給王經(jīng)理：距離電影開(kāi)場(chǎng)還有一個(gè)小時(shí)，您可以去商場(chǎng)的XX層看看打折的XX商品。

整個(gè)流程展示了號(hào)百電子商務(wù)如何通過(guò)數(shù)據(jù)中心實(shí)現(xiàn)了信息的實(shí)時(shí)跨業(yè)務(wù)系統(tǒng)共享、用戶關(guān)懷和交叉營(yíng)銷等電子商務(wù)的差異化經(jīng)營(yíng)。

3 系統(tǒng)架構(gòu)及實(shí)施

3.1 數(shù)據(jù)中心與外系統(tǒng)間關(guān)系

數(shù)據(jù)中心主要包括數(shù)據(jù)總線服務(wù)和數(shù)據(jù)存儲(chǔ)兩大塊。數(shù)據(jù)總線對(duì)外提供數(shù)據(jù)的同步和查詢服務(wù)，數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)了數(shù)據(jù)的持久化保存。數(shù)據(jù)中心不是一個(gè)獨(dú)立的系統(tǒng)，系統(tǒng)的實(shí)施和運(yùn)營(yíng)依賴于外部系統(tǒng)。圖2展示了數(shù)據(jù)中心與外系統(tǒng)間信息流轉(zhuǎn)的關(guān)系。

·數(shù)據(jù)中心從客戶管理系統(tǒng)同步客戶信息，從電子商務(wù)各個(gè)子系統(tǒng)收集客戶訂購(gòu)信息。

·數(shù)據(jù)挖掘系統(tǒng)從數(shù)據(jù)中心獲取相關(guān)數(shù)據(jù)，進(jìn)行挖掘。

·數(shù)據(jù)挖掘系統(tǒng)發(fā)布其成果，如客戶標(biāo)簽到數(shù)據(jù)中心。

·數(shù)據(jù)中心通過(guò)數(shù)據(jù)總線服務(wù)對(duì)外系統(tǒng)發(fā)布客戶信息、訂購(gòu)信息、數(shù)據(jù)挖掘成果等。

3.2 數(shù)據(jù)中心系統(tǒng)架構(gòu)

數(shù)據(jù)中心作為溝通各個(gè)子系統(tǒng)之間的橋梁，對(duì)于系統(tǒng)的信息安全、可用性、吞吐量、數(shù)據(jù)存儲(chǔ)等要求都比較高。在整個(gè)系統(tǒng)設(shè)計(jì)的過(guò)程中，筆者采用分布式系統(tǒng)設(shè)計(jì)框架。系統(tǒng)框架如圖3所示。

圖2 與外系統(tǒng)間的關(guān)系

圖3 系統(tǒng)架構(gòu)

（1）接口層

接口層提供了HTTP實(shí)時(shí)接口和文件方式非實(shí)時(shí)接口。以HTTP實(shí)時(shí)接口為主，以文件方式接口為輔。HTTP接口采用 RESTful （REpresentation state transfer）[2]Web service的方式對(duì)外提供，數(shù)據(jù)組織形式采用JSON[3]數(shù)據(jù)格式。

（2）訪問(wèn)控制層

不同的系統(tǒng)在數(shù)據(jù)中心的操作權(quán)限是不同的。需要對(duì)各個(gè)系統(tǒng)發(fā)送的請(qǐng)求進(jìn)行身份識(shí)別和權(quán)限控制。筆者采用HMAC-SHA1[4]算法對(duì)請(qǐng)求及請(qǐng)求的內(nèi)容進(jìn)行摘要，通過(guò)對(duì)比業(yè)務(wù)系統(tǒng)計(jì)算的摘要和數(shù)據(jù)中心計(jì)算的摘要，實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)的身份識(shí)別；識(shí)別各業(yè)務(wù)系統(tǒng)身份后，通過(guò)數(shù)據(jù)訪問(wèn)權(quán)限控制器，以確定所請(qǐng)求的操作能否執(zhí)行。

（3）數(shù)據(jù)緩存層

對(duì)于性能要求高的系統(tǒng)，數(shù)據(jù)緩存層的實(shí)現(xiàn)是提高性能的關(guān)鍵。從本文的應(yīng)用場(chǎng)景可以看到信息的實(shí)時(shí)跨業(yè)務(wù)系統(tǒng)共享、用戶關(guān)懷和交叉營(yíng)銷等電子商務(wù)的運(yùn)營(yíng)需求，會(huì)在短時(shí)間內(nèi)相對(duì)頻繁地訪問(wèn)某一部分?jǐn)?shù)據(jù)。因此，把這部分頻繁訪問(wèn)的數(shù)據(jù)保存在系統(tǒng)內(nèi)存中，能有效減少對(duì)數(shù)據(jù)庫(kù)的讀取，提高系統(tǒng)性能。在實(shí)現(xiàn)上，筆者采用Memcached分布式內(nèi)存對(duì)象緩存系統(tǒng)。

（4）數(shù)據(jù)訪問(wèn)控制層

數(shù)據(jù)中心的數(shù)據(jù)量龐大，如果集中存儲(chǔ)，數(shù)據(jù)庫(kù)很容易成為系統(tǒng)瓶頸，因此，對(duì)數(shù)據(jù)采用分布式存儲(chǔ)。號(hào)百電子商務(wù)的客戶具有明顯的運(yùn)營(yíng)商特色，大多數(shù)客戶可以通過(guò)電話號(hào)碼來(lái)綁定識(shí)別，因此根據(jù)客戶電話號(hào)碼所屬區(qū)域來(lái)分布式存儲(chǔ)客戶相關(guān)數(shù)據(jù)。

（5）數(shù)據(jù)持久層

數(shù)據(jù)中心處理的數(shù)據(jù)量巨大，性能要求高，因此對(duì)于SQL的性能要求比較高，為了便于實(shí)現(xiàn)SQL語(yǔ)句的性能優(yōu)化，在數(shù)據(jù)持久層，采用ibatis這種靈活的持久層方案。

（6）分布式數(shù)據(jù)庫(kù)層

由于數(shù)據(jù)的分布式存儲(chǔ)，對(duì)于數(shù)據(jù)庫(kù)的壓力相對(duì)分散，采用開(kāi)源的MySQL即能滿足性能要求，同時(shí)也能降低成本。對(duì)于每一個(gè)數(shù)據(jù)節(jié)點(diǎn)，筆者采用了Multi-Master Replication Manager for MySQL來(lái)管理數(shù)據(jù)的實(shí)時(shí)備份和復(fù)制以及數(shù)據(jù)庫(kù)的負(fù)載均衡。

圖4 已購(gòu)買商品數(shù)據(jù)模型

4 研究實(shí)施的難點(diǎn)及關(guān)鍵點(diǎn)

號(hào)百目前的各個(gè)訂購(gòu)系統(tǒng)都是已大規(guī)模上線運(yùn)營(yíng)的業(yè)務(wù)系統(tǒng)，而且由于系統(tǒng)由不同廠家提供，涉及的商品差異性極大，因此在數(shù)據(jù)中心的實(shí)施過(guò)程中，遇到的最大難題就是如何在確?，F(xiàn)有運(yùn)營(yíng)系統(tǒng)順利運(yùn)營(yíng)，并盡可能少改造的情況下，實(shí)現(xiàn)數(shù)據(jù)的跨系統(tǒng)共享。同時(shí)，需要確保數(shù)據(jù)的安全性。

4.1 可兼容的數(shù)據(jù)模型

各個(gè)訂購(gòu)系統(tǒng)是獨(dú)立的，對(duì)于訂單、商品等數(shù)據(jù)模型的定義存在很大差異。而且這些訂購(gòu)系統(tǒng)已經(jīng)上線運(yùn)營(yíng)，如果完全統(tǒng)一這些數(shù)據(jù)模型，涉及全部系統(tǒng)的大規(guī)模改造，并不現(xiàn)實(shí)。針對(duì)這種獨(dú)立系統(tǒng)的異構(gòu)性信息共享需求，筆者定義了可兼容的非嚴(yán)格統(tǒng)一的客戶、訂單、商品等模型。對(duì)于相對(duì)統(tǒng)一的字段嚴(yán)格定義，差異化的內(nèi)容以JSON字符串的方式保存。各個(gè)業(yè)務(wù)系統(tǒng)保留原有數(shù)據(jù)模型，從其他系統(tǒng)共享過(guò)來(lái)的數(shù)據(jù)采用數(shù)據(jù)中心的兼容數(shù)據(jù)模型。例已購(gòu)買商品數(shù)據(jù)模型如圖4所示。

4.2 數(shù)據(jù)的安全性

（1）認(rèn)證鑒權(quán)

為保證數(shù)據(jù)安全，各業(yè)務(wù)系統(tǒng)接入數(shù)據(jù)中心必須經(jīng)過(guò)認(rèn)證鑒權(quán)。數(shù)據(jù)中心向服務(wù)接口調(diào)用者頒發(fā)key（sys_id+‘_’+app_id）及 secret（通過(guò)線下方式頒發(fā)），key 是用于識(shí)別接口調(diào)用者的身份惟一標(biāo)識(shí)，secret是僅對(duì)應(yīng)于一個(gè)key的密鑰。

認(rèn)證流程：調(diào)用數(shù)據(jù)中心接口的業(yè)務(wù)系統(tǒng)，對(duì)調(diào)用請(qǐng)求使用HMAC-SHA1算法簽名，得到簽名摘要sig；業(yè)務(wù)系統(tǒng)發(fā)送請(qǐng)求時(shí)，把sig作為調(diào)用參數(shù)之一與其他參數(shù)一起發(fā)送到數(shù)據(jù)中心；數(shù)據(jù)中心收到請(qǐng)求后，對(duì)調(diào)用請(qǐng)求使用HMAC-SHA1算法簽名 （業(yè)務(wù)系統(tǒng)發(fā)送的sig參數(shù)不作為SBS），得到簽名摘要sig’，比較 sig與 sig’，完成認(rèn)證。

本方案采用簽名算法對(duì)接口調(diào)用進(jìn)行驗(yàn)證。簽名包括兩個(gè)步驟：對(duì)請(qǐng)求參數(shù)進(jìn)行正規(guī)化；對(duì)正規(guī)化后的請(qǐng)求參數(shù)進(jìn)行簽名。

參數(shù)正規(guī)化：所有參數(shù)名及參數(shù)值都使用RFC3986[5]定義的百分號(hào)編碼（%xx，即URLEncode）；參數(shù)以字典序排序，如果多個(gè)參數(shù)同名，則以參數(shù)值進(jìn)行排序；參數(shù)以順序串接為一個(gè)字符串，參數(shù)名與參數(shù)值之間采用“=”分隔，每個(gè)參數(shù)名-值對(duì)采用“&”分隔。

計(jì)算簽名：首先，將請(qǐng)求方法、除了參數(shù)以外的請(qǐng)求URL、正規(guī)化后的參數(shù)串接為一個(gè)簽名基礎(chǔ)字符串（signature base string，SBS）; 采 用 HMAC-SHA1 （參 考RFC2104）對(duì)SBS進(jìn)行摘要簽名，使用secret作為共享密鑰,Signature=URL-encode（BASE64（HMAC-SHA1(text=SBS,key=secret)））。

（2）權(quán)限控制

認(rèn)證鑒權(quán)解決了接入系統(tǒng)識(shí)別的問(wèn)題，權(quán)限控制則為了防止接入系統(tǒng)非法查詢和更改數(shù)據(jù)。建立了一個(gè)權(quán)限控制表，在訪問(wèn)控制層攔截非法的操作請(qǐng)求。

圖5的記錄，說(shuō)明來(lái)自ReqSysId系統(tǒng)的ReqAppId應(yīng)用可以對(duì)OpSysId系統(tǒng)的OpAppId應(yīng)用的Model數(shù)據(jù)模型的Attricbutes屬性進(jìn)行Operation操作。

圖5 記錄

5 與數(shù)據(jù)挖掘結(jié)合的客戶價(jià)值模型應(yīng)用

在業(yè)務(wù)應(yīng)用上，筆者開(kāi)創(chuàng)性地整合了數(shù)據(jù)中心的數(shù)據(jù)收集和分享流程與數(shù)據(jù)挖掘系統(tǒng)的分析挖掘流程，提出了綜合客戶價(jià)值評(píng)估模型，對(duì)客戶價(jià)值作出全面的評(píng)估，并把評(píng)估結(jié)果應(yīng)用到具體業(yè)務(wù)中。這也是在電信領(lǐng)域首次把數(shù)據(jù)中心、數(shù)據(jù)挖掘、客戶價(jià)值模型三者整合應(yīng)用。

在價(jià)值評(píng)估模型中，選取消費(fèi)近度R、消費(fèi)頻率F、消費(fèi)金額M，這3個(gè)維度多方位地描述了客戶價(jià)值的全景視圖，定義了綜合價(jià)值C的計(jì)算公式：

其中，C表示RFM 3個(gè)維度的綜合價(jià)值打分，W表示RFM 3個(gè)維度的權(quán)重比例。

整個(gè)應(yīng)用流程如圖2所示，數(shù)據(jù)中心歸集各個(gè)業(yè)務(wù)系統(tǒng)以及客戶管理系統(tǒng)的數(shù)據(jù)。由數(shù)據(jù)挖掘系統(tǒng)對(duì)用戶的RFM的3個(gè)維度進(jìn)行分析，得到客戶綜合價(jià)值。根據(jù)價(jià)值得分，為用戶標(biāo)上相應(yīng)標(biāo)簽定義，通過(guò)數(shù)據(jù)中心的總線服務(wù)，分享給各個(gè)業(yè)務(wù)系統(tǒng)。目前，客戶價(jià)值模型的分析結(jié)果通過(guò)數(shù)據(jù)中心已經(jīng)實(shí)時(shí)同步到號(hào)百坐席客戶端、號(hào)百客戶管理系統(tǒng)等系統(tǒng)平臺(tái)中。話務(wù)員和營(yíng)銷人員能實(shí)時(shí)地看到數(shù)據(jù)挖掘的分析結(jié)果，對(duì)接入的客戶進(jìn)行針對(duì)性的營(yíng)銷。

6 數(shù)據(jù)中心的移動(dòng)性信息擴(kuò)展及展望

隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展，用戶的電子化消費(fèi)行為可以發(fā)生在“Anywhere,Anywhen（任何地點(diǎn)，任何時(shí)間）[6]”，移動(dòng)電子商務(wù)越來(lái)越成為電子商務(wù)的發(fā)展趨勢(shì)。數(shù)據(jù)中心也需要相應(yīng)的發(fā)展以支持電子商務(wù)的移動(dòng)化。

（1）客戶位置信息的記錄與共享?？蛻舻南M(fèi)行為是與客戶當(dāng)前的位置息息相關(guān)的?？蛻粼诓叫薪指浇?，表示該用戶非常有可能需要逛街購(gòu)物。數(shù)據(jù)中心實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)地更新客戶的位置信息，各個(gè)業(yè)務(wù)系統(tǒng)分享到這些信息就可以向客戶推薦附近合作商家的優(yōu)惠活動(dòng)。

（2）客戶消費(fèi)記錄的位置性信息與時(shí)間性信息提取和共享。從一些客戶的消費(fèi)記錄可以預(yù)測(cè)到客戶在某段時(shí)間的位置和行為。如客戶預(yù)定了某天上午某家電影院的電影票，可以預(yù)測(cè)電影放映介紹后，客戶需要餐飲消費(fèi)。數(shù)據(jù)中心把這些信息整理并共享出來(lái)，能極大地提高主動(dòng)營(yíng)銷、交叉營(yíng)銷的成功率。

目前，已經(jīng)從客戶的訂購(gòu)電影票、訂購(gòu)機(jī)票等消費(fèi)記錄中，獲取了客戶的位置性和時(shí)間性信息。但如何吸引客戶愿意提供并主動(dòng)提供實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)的位置信息；同時(shí)數(shù)據(jù)中心如何與其他系統(tǒng)結(jié)合，合理有效地利用這些客戶的移動(dòng)性信息，也需要進(jìn)一步探索。

1 張艷平.2010年中國(guó)電子商務(wù)年度數(shù)據(jù)發(fā)布.艾瑞咨詢，http://ec.iresearch.cn/html/131667.shtml

2 Richardson,Leonard.RESTful Web Services.O'Reilly

3 Crockford D.The application/JSON media type for JavaScript object notation(JSON).RFC 4627,July 2006

4 Krawczyk H,Bellare M,Canetti R.HMAC:keyed-hashing for message authentication.RFC 2104,February 1997

5 Berners-Lee T,Fielding R,Masinter L.Uniform resource identifier(URI):generic syntax.RFC 2104,January 2005

6 Noel M E.Finding anyone,anywhere,anywhen.Firefly Books

7 金鐸，徐雄，梁冰，李云.號(hào)百電子商務(wù)平臺(tái)架構(gòu)建設(shè)探討.電信科學(xué)，2010，26（8）

8 羅志強(qiáng)，沈軍.移動(dòng)電子商務(wù)用戶溯源認(rèn)證技術(shù)研究與應(yīng)用.電信科學(xué)，2009，25（6）

Research and Implement of Data Center for Bestone e-Commerce

Yang Haojie,Li Yun,Zhang Yuzhong
(Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China)

In this paper,we analyze the need and the practical significance of data center construction,for the separation of subsystems of bestone e-commerce,and sort through the relationship between data center and Bestone’s major systems.And then we propose a set of system framework can be implemented,solve the model compatibility and data security issues of sharing information among heterogeneous systems,and apply integration of the data center,data mining and customer value model to beston’s business systems.Finally,for the trend of mobile e-commerce,we discuss the mobile expansion of data center.

data center,e-commerce,distributed architecture,bestone,mobile e-commerce

2011-05-13)