羅嘉龍 蘇毓洲 方健煒 陳正銘

摘要：隨著大數(shù)據(jù)時代多元化商業(yè)模式和細(xì)分市場的快速發(fā)展，眾多行業(yè)面臨著高昂獲客成本和流失率的雙重挑戰(zhàn)，如何精確獲取用戶行為數(shù)據(jù)成為重中之重。為解決問題，該文提出基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺，對用戶行為數(shù)據(jù)進行統(tǒng)計分析，優(yōu)化企業(yè)營銷策略，精細(xì)化運營。本項目通過測試，證實能更好地對任意網(wǎng)站進行用戶數(shù)據(jù)獲取和挖掘利用。

關(guān)鍵詞：大數(shù)據(jù);獲客成本;高流失率;用戶行為分析;精細(xì)化

中圖分類號：TP393 文獻標(biāo)識碼：A

文章編號：1009-3044（2019）35-0054-03

時至今日，大數(shù)據(jù)（big data）一詞頻繁出現(xiàn)在各信息領(lǐng)域。據(jù)預(yù)計，到2020年全球每天所產(chǎn)文件、圖片、視頻等各類信息數(shù)據(jù)量可達35ZB（240GB量級）[2]，并還在增長，這些龐大數(shù)據(jù)中包含著豐富的用戶行為信息。如何及時、精確地從這些信息中統(tǒng)計、分析出對企業(yè)有用的數(shù)據(jù)信息，挖掘出這些信息背后隱含規(guī)律和價值，已成為制約企業(yè)決策發(fā)展戰(zhàn)略，開拓市場和擴寬客戶群的重要因素[3]。目前企業(yè)主流做法是引入類似于諸葛IO，百度統(tǒng)計等第三方模塊，或者另外自行開發(fā)后臺統(tǒng)計模塊。為此，本文設(shè)計用戶行為分析平臺[4]，運用大數(shù)據(jù)分析技術(shù)、Lu-cene全文檢索交叉分析算法，自定義埋點技術(shù)，摒除接入第三方服務(wù)進行用戶分析所帶來的風(fēng)險，對數(shù)據(jù)進行用戶渠道轉(zhuǎn)化、新增、留存、多維度交叉分析，能很好地發(fā)現(xiàn)潛藏規(guī)律，預(yù)測數(shù)據(jù)未來走向，并以圖表可視化形式展示，很大程度上滿足了企業(yè)決策者需求。

1 存在問題描述

經(jīng)市場調(diào)研，傳統(tǒng)的企業(yè)開發(fā)網(wǎng)頁系統(tǒng)普遍存在問題如下：

1）性能問題：用戶在日常體驗過程，網(wǎng)頁往往會生成大量的新增留存數(shù)據(jù)。傳統(tǒng)企業(yè)開發(fā)網(wǎng)頁系統(tǒng)需要及時對其進行數(shù)據(jù)處理并分析數(shù)據(jù)所帶來的潛在信息，這一過程會極大消耗服務(wù)器大量性能，同時對系統(tǒng)性能造成一定損耗。

2）獲客成本問題：傳統(tǒng)網(wǎng)頁開發(fā)系統(tǒng)為了處理網(wǎng)頁用戶數(shù)據(jù)往往會消耗一定成本自行開發(fā)，或者接入第三方服務(wù)統(tǒng)計功能模塊，從而導(dǎo)致企業(yè)開發(fā)網(wǎng)頁獲客成本高昂，得不償失。

3）安全性問題：目前，部分企業(yè)會接入第三方服務(wù)來優(yōu)化數(shù)據(jù)統(tǒng)計模塊（如諸葛IO，百度統(tǒng)計等），雖然成本較低，但所有分析都將暴露給了第三方平臺，數(shù)據(jù)存在泄漏的可能，隱含著極大安全隱患。

4）用戶高流失率[1]問題：企業(yè)傳統(tǒng)網(wǎng)頁在開發(fā)過程中統(tǒng)計方式單一，數(shù)據(jù)處理與分析方面還做得不夠完善，如何提高用戶體驗感迫在眉睫，用戶流失高問題日漸體現(xiàn)。

5）市場營銷定位問題：一個精確、符合大眾用戶的營銷策略決定一個企業(yè)的盈利虧損。傳統(tǒng)網(wǎng)頁開發(fā)對在挖掘用戶數(shù)據(jù)潛在價值這一模塊缺乏重視，制約著決策者對市場營銷數(shù)據(jù)流動進行正確的價值評估，往往導(dǎo)致決策者無法作出精確營銷[5]，造成經(jīng)濟上不必要的損失。

2 系統(tǒng)設(shè)計理念與模塊

用戶行為分析平臺設(shè)計采用SSM+MAVEN框架進行開發(fā)，嚴(yán)格遵守著MVC思想，分析統(tǒng)計各個網(wǎng)站的瀏覽量，用戶群體訪問量，為用戶提供較好的決策方案，操作簡單、數(shù)據(jù)準(zhǔn)確，具有良好的個性化服務(wù)的特征其中本系統(tǒng)在事件的搜索上使用了全文檢索，提高了網(wǎng)站的查詢效率。由于在數(shù)據(jù)量龐大，基于大數(shù)據(jù)可視化的統(tǒng)計不可避免，為此，本系統(tǒng)做到了各種報表的導(dǎo)出與統(tǒng)計圖下載相結(jié)合，采用多維度細(xì)分時間分析，提供新增、活躍、留存訪客等分析數(shù)據(jù)，通過大數(shù)據(jù)精確分析[6]，同時還提供標(biāo)簽反向檢測，減少數(shù)據(jù)錯誤，為決策者、網(wǎng)站管理者提供幫助。平臺主要分為以下模塊：

3 系統(tǒng)實現(xiàn)

3.1系統(tǒng)架構(gòu)流程介紹

如下圖2所示，當(dāng)用戶對網(wǎng)站進行操作，用戶行為數(shù)據(jù)將會發(fā)送至本系統(tǒng)的接收器，接收器通過算法對數(shù)據(jù)進行篩選與過濾，進而把有效數(shù)據(jù)存儲進數(shù)據(jù)倉庫。當(dāng)數(shù)據(jù)倉庫接收到數(shù)據(jù)后，系統(tǒng)利用一系列如用戶活躍度、終端分析、地域分析等大數(shù)據(jù)用戶行為分析算法，根據(jù)用戶在網(wǎng)頁的瀏覽行為進行加權(quán)評分，然后全局比較，分析用戶活躍沉默用戶，同時會將計算后的結(jié)果趨勢分析，分析出用戶是否留存，最終以大數(shù)據(jù)分析圖表技術(shù)展示，并把結(jié)果返回給用戶。同時，基于數(shù)據(jù)量較大影響系統(tǒng)的檢索速度的不足，本系統(tǒng)采用全文檢索算法[7]，從根本上解決搜索檢索效率的問題，最后將會把數(shù)據(jù)回饋展示到系統(tǒng)頁面上，以提供用戶實時使用。同時，本系統(tǒng)為解決獲取的用戶數(shù)據(jù)可能因網(wǎng)站版本的迭代或傳輸過程中出現(xiàn)錯誤的問題，設(shè)計開發(fā)出驗證檢測模塊，該模塊利用爬蟲與標(biāo)簽遞歸算法檢查數(shù)據(jù)正確性，保證了統(tǒng)計數(shù)據(jù)的完整性。

3.2系統(tǒng)設(shè)計總流程

1）調(diào)查網(wǎng)上各類統(tǒng)計平臺的需求，設(shè)計平臺需求文檔，埋點方案[8]設(shè)計，不斷吸收大眾的意見，總結(jié)出明確的文檔。

2）設(shè)計系統(tǒng)Browser/Web/DataBase3層體系架構(gòu)：表示層（presentation）-Web瀏覽器、功能層（business logic）-具有應(yīng)用程序擴展功能的Web服務(wù)器、數(shù)據(jù)層（data service）-數(shù)據(jù)庫服務(wù)器。

3）對系統(tǒng)模塊進行劃分，明確各個模塊的功能和聯(lián)系。

4）設(shè)計后臺數(shù)據(jù)庫，規(guī)范設(shè)計出數(shù)據(jù)庫表，包含event、log、subpage、user、useraction、userdetail、web、webdetail等表。

5）編程和調(diào)試，完成前端頁面設(shè)計與實現(xiàn)和后端功能的開發(fā)，完成前后端數(shù)據(jù)交互。最后再完成移動端頁面的實現(xiàn)。

6）α測試：計算本機測試，采用不同瀏覽器和不同分辨率顯示器進行可用性測試。

7）項目部署到云端。

8）β測試：讓測試人員采用不同的設(shè)備進行測試，修改測試過程中發(fā)現(xiàn)的BUG。

9）調(diào)試修改代碼，根據(jù)測試結(jié)果，修改程序的不足之處。

3.3關(guān)鍵功能實現(xiàn)

前端埋點方案button按鈕標(biāo)簽數(shù)據(jù)獲取相關(guān)部分代碼：

$（'button'）.click（function （）{//前端Javascript代碼獲取所有button標(biāo)簽并進行點擊事件處理

if（$（this）.attr（'min'）==null）{//判斷植入頁面button是否具有min屬性

var label='button';//賦值該button為label

var value=this.value;//賦值該button標(biāo)簽value值為

var text=this.innerText;//賦值該button標(biāo)簽innerText為tex

var id=this.id;//賦值該button標(biāo)簽id為id

var classname=this.className;

//賦值該button標(biāo)簽className為classname

var name=this.name;//賦值該button標(biāo)簽name為name

label=label=="‖label==null？"：label;

//三元表達式判斷l(xiāng)abel值是否為空

id=id=="‖id==null？"：id;

//三元表達式判斷id值是否為空

classname=classname=="‖classname==null？"：class-name;

//三元表達式判斷classname值是否為空

name=name=="‖name==null？"：name;

//三元表達式判斷name值是否為空

text=text=="‖text==null？"：text;

//三元表達式判斷text值是否為空

value=value=="‖value==null？"：value;

//三元表達式判斷vallue值是否為空

var tab=this.outerHTML==null？""：this.outerHTML;

//三元表達式判斷outerHTML值是否為空

var message='Iabel='+label+'&id='+id+'&className='+

classname+'&name='+name+'&text='+text+'&value='+value+'&tab='+tab;//賦值message

console.log（message）;//后臺輸出message進行測試

if（tab！=null&&tab！="&&tab！='undefined'）{

//判斷tab是否為nun或undefined

sendMsg（message）;//發(fā)送到后端

}}}）;

當(dāng)頁面植入用戶行為平臺所下載的代碼，點擊任意button，即可輸出該button標(biāo)簽label名、value、innnerHTML、name、id、className等一系列標(biāo)簽屬性。如圖3所示，是button標(biāo)簽測試在后端輸出的結(jié)果。

當(dāng)用戶進行用戶行為，系統(tǒng)會自動監(jiān)控用戶行為所產(chǎn)生的數(shù)據(jù)，并對其進行訪客分析，以1小時實時記錄訪問者行為，在線時間、在線人數(shù)有多少個。分多時間緯度觀察近期訪問者數(shù)量通過折線圖展示，而訪問者詳細(xì)細(xì)節(jié)通過表格呈現(xiàn)（包括他們通過什么瀏覽器訪問、訪問時間、訪問的操作系統(tǒng)、訪問的頁面、訪問的IP），并對其進行地域分析，記錄訪問者的來源地，如圖4所示通過中國地圖形式展現(xiàn)出來。

4 結(jié)束語

隨著互聯(lián)網(wǎng)技術(shù)的進步和快速發(fā)展，精細(xì)化運營逐漸成為市場主流，而用戶行為數(shù)據(jù)分析的重要性日漸凸顯。本文講述基于大數(shù)據(jù)分析技術(shù)的用戶行為分析平臺設(shè)計與實現(xiàn)流程，致力于解決現(xiàn)有市場普遍存在的成本、安全等一系列問題，同時可以有效提高用戶體驗，很好的分擔(dān)決策者壓力。目前，本系統(tǒng)多次測試結(jié)果基本滿足設(shè)計需求。綜上所述，本文系統(tǒng)設(shè)計順應(yīng)社會發(fā)展趨勢，具有較好的商業(yè)實用性和較高的市場價值。

參考文獻：

[1]賴院根，劉敏健，王星.網(wǎng)絡(luò)環(huán)境下的信息用戶流失分析[J].情報科學(xué)，2011，29（11）：1736-1741.

[2]何運祺.基于Hadoop移動大數(shù)據(jù)的用戶行為分析[D].蘭州：蘭州理工大學(xué)，2017.

[3]陳恩紅，陳玉瑩，潘鎮(zhèn)，等.用戶序列行為分析研究與應(yīng)用綜述[J].安徽大學(xué)學(xué)報：自然科學(xué)版，2018，42（5）：39-51.

[4]郝增勇.基于Hadoop用戶行為分析系統(tǒng)設(shè)計與實現(xiàn)[D].北京：北京交通大學(xué)，2014.

[5]楊芮.Web用戶行為數(shù)據(jù)收集統(tǒng)計系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：北京交通大學(xué)，2015.

[6]閆朝陽.基于Web的大數(shù)據(jù)分析平臺交互設(shè)計研究[J].設(shè)計，2019（17）：94-97.

[7]王鵬.基于Hadoop全文檢索的研究與應(yīng)用[D].重慶：重慶郵電大學(xué)，2017.

[8]廖建軍.Web信息的無埋點精準(zhǔn)采集[D].北京：北京郵電大學(xué)，2019.

【通聯(lián)編輯：梁書】

收稿日期：2019-10-11

基金項目：韶關(guān)學(xué)院大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃立項項目（省級）（S201910576037）