馬　亮

（慧辰資訊，北京 100016）

傳統(tǒng)研究在大數(shù)據(jù)下業(yè)務流程的變化與調(diào)整

馬亮

（慧辰資訊，北京 100016）

在之前的文章中，我們討論了大數(shù)據(jù)空間下市場研究企業(yè)在基本的研究方法論與產(chǎn)品模式上應有的變化。與之對應，在實際工作中，原有的業(yè)務處理流程，也因大數(shù)據(jù)而有了較大的變化。本文將對這些內(nèi)容繼續(xù)進行相關分析。

大數(shù)據(jù)；業(yè)務流程；變化

數(shù)據(jù)是市場研究業(yè)務處理的主要目標，所以以數(shù)據(jù)處理流程來定義市場研究業(yè)務處理流程的關鍵環(huán)節(jié)，會更準確和直觀。在后文說明中，傳統(tǒng)模式代表傳統(tǒng)業(yè)務形態(tài)（問卷調(diào)研等非大數(shù)據(jù)源+傳統(tǒng)分析方法論）的數(shù)據(jù)處理流程，大數(shù)據(jù)模式代表大數(shù)據(jù)源+全部方法論（傳統(tǒng)方法論+大數(shù)據(jù)方法論）的處理流程。

1　基本業(yè)務環(huán)節(jié)的變化

首先，我們來看一下數(shù)據(jù)業(yè)務流程在兩種模式下的變化。從圖1可以發(fā)現(xiàn)，大數(shù)據(jù)下的業(yè)務流程，相比傳統(tǒng)模式，總體上有兩點重要的變化：一是數(shù)據(jù)融合代替數(shù)據(jù)收集，將成為數(shù)據(jù)來源的主要模式。傳統(tǒng)模式下，數(shù)據(jù)來源更多是研究公司自身采集（如問卷）或者客戶采集后提供，所以采集是核心。在大數(shù)據(jù)模式下，研究公司自身能力和資源有限，將會更多通過非采集方式（如各種外部渠道數(shù)據(jù)引入/交換，并進行整合）獲得分析的數(shù)據(jù)，此時融合是核心問題。二是數(shù)據(jù)管理能力成為一個新的要求。傳統(tǒng)模式因為業(yè)務數(shù)據(jù)量小，基本不存在對數(shù)據(jù)管理的較多要求，所以可以忽略。但大數(shù)據(jù)場景下，數(shù)據(jù)規(guī)模大而且多樣，且常常比較分散，其統(tǒng)一的管理（如存儲和檢索等）能力，是后續(xù)業(yè)務環(huán)節(jié)順利進行的基礎，有必要得到更多的重視。

圖1　數(shù)據(jù)業(yè)務流程模式

2　各業(yè)務環(huán)節(jié)的變化

為了便于說明，將兩種模式下的流程進行統(tǒng)一，整個業(yè)務流規(guī)范為了五個環(huán)節(jié)。圖2簡要說明了各環(huán)節(jié)下兩種模式各自在實施上的特點。

圖2　業(yè)務環(huán)節(jié)實施比較

（1）數(shù)據(jù)融合/采集

傳統(tǒng)模式下，數(shù)據(jù)采集的方式主要是問卷、座談會等。這是一種小規(guī)模的采樣，且對目標有直接影響（有交互）。數(shù)據(jù)本質(zhì)是某個時間點的靜態(tài)、快照式的截面數(shù)據(jù)，維度受采集方式所限也不可能太多。

而大數(shù)據(jù)下，數(shù)據(jù)融合代替采集成為市場研究獲取數(shù)據(jù)的主要方式，此時數(shù)據(jù)同步和ETL成為主要方式。在最初的源數(shù)據(jù)采集中，行為日志記錄、網(wǎng)絡Spider抓取、移動互聯(lián)網(wǎng)App基于Sdk采集等成為主要手段。這類方式仍然可認為是采樣（不過更大的規(guī)模），但作為一種監(jiān)聽/探針式的模式，用戶不會感知和受影響（所以數(shù)據(jù)會更加符合實際情況）。采集的數(shù)據(jù)在時間和空間上多是動態(tài)和持續(xù)性的，可記錄的維度也會大很多。

（2）數(shù)據(jù)管理

傳統(tǒng)模式下，數(shù)據(jù)通常為標準的結(jié)構化數(shù)據(jù)，且規(guī)模?。ㄍǔＨf級以下），此時PC單機的普通文檔（如Csv，Excel之類）足以勝任所有存儲和檢索要求。特定應用，百萬級的數(shù)據(jù)量用小型數(shù)據(jù)庫也都足夠。所以此時數(shù)據(jù)管理一直被忽略。

在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)量起點在億級以上，比傳統(tǒng)模式增加了成千上萬倍，格式也更加多樣，數(shù)據(jù)的管理難度呈幾何級數(shù)增加，原有方式已經(jīng)無能為力。此時，新的技術體系（多機、分布式文件系統(tǒng)/海量數(shù)據(jù)庫）和專業(yè)架構人員，確保了大數(shù)據(jù)的安全管理和快速檢索。相比之前，研究企業(yè)需要在該方面作出相當大的投入。

（3）數(shù)據(jù)計算

傳統(tǒng)模式下，計算主要是各種統(tǒng)計學的計算（比如總計、方差、均值等）為主，計算量不大，工具以Excel，SPSS，SAS為主流，處理多由DP完成。此時，DP人員更多是研究業(yè)務的輔助支持。

在大數(shù)據(jù)模式下，數(shù)據(jù)規(guī)模、維度和分析方法的變化對計算的要求大大加強。傳統(tǒng)的統(tǒng)計性計算仍然需要，但更大的變化是：計算工作更多樣化、更高復雜度和更具專業(yè)性，且與分析更深入的結(jié)合。許多新的計算理論成為主角，比如對網(wǎng)絡非結(jié)構化文本數(shù)據(jù)使用自然語言處理，大數(shù)據(jù)挖掘的機器學習處理（大部分是高維度向量計算），而社交網(wǎng)絡計算更多是圖計算。這些新的計算理論和方法，極大擴展了大數(shù)據(jù)分析洞察的能力，但也對相關人員的專業(yè)能力提出了很高的要求。

（4）分析

分析是研究過程中最重要的環(huán)節(jié)。傳統(tǒng)模式下，研究人員主要根據(jù)傳統(tǒng)方法論，對DP人員生成的指標性數(shù)據(jù)，考察全局性的分布與差異，歷史的變化等。

大數(shù)據(jù)模式下，除了傳統(tǒng)方法論的分析外，更多使用大數(shù)據(jù)方法論的思路（更關注個體，如何給用戶打標簽，個體/群體的匹配度是多少，對未來發(fā)展的預測期望）。同時，由于分析主要基于各種專業(yè)計算的結(jié)果，而研究人員并不具備相關技能，因此，必須與專業(yè)IT技術專家緊密配合，才可能完成有價值的分析。此時，相關IT專家成為本階段最重要的參與者。

（5）結(jié)論與呈現(xiàn)

傳統(tǒng)模式下，研究結(jié)論關注的是統(tǒng)計性指標的變化，對相關原因分析和建議是重要的內(nèi)容。結(jié)果更多是通過專項報告（以文檔而不是系統(tǒng)平臺）形式，在呈現(xiàn)方式上多采用表格和基本圖表。

大數(shù)據(jù)模式下，既有傳統(tǒng)的統(tǒng)計性結(jié)論，也有更多大數(shù)據(jù)方法論，比如基于個體特性之上的群體特性標簽化描述。結(jié)果更多地通過在線化系統(tǒng)來展示，新的可視化技術，在大數(shù)據(jù)的分析和結(jié)果展示上，越來越受到重視。

通過上面各環(huán)節(jié)的比較可以發(fā)現(xiàn)：在新的大數(shù)據(jù)業(yè)務生態(tài)下，市場研究的業(yè)務流程有以下變化：一是各環(huán)節(jié)的方式和支撐方法，都有較大的擴展/變化；二是IT技術能力（數(shù)據(jù)管理與專業(yè)數(shù)據(jù)計算分析能力），成為大數(shù)據(jù)業(yè)務實現(xiàn)過程中最重要的推動因素。

HCR（慧辰資訊）半年多來，已經(jīng)在相關環(huán)節(jié)進行了積極有效的調(diào)整和提升。市場研究公司業(yè)務產(chǎn)品各有所長，業(yè)務模式也不盡相同，所以對于大數(shù)據(jù)業(yè)態(tài)下的發(fā)展思路也不會完全一致。建議從自身的大數(shù)據(jù)業(yè)務規(guī)劃出發(fā)，結(jié)合現(xiàn)有情況，有針對性地調(diào)整和改進現(xiàn)有業(yè)務流程，以更好的適應未來大數(shù)據(jù)業(yè)務的發(fā)展。

在相關調(diào)整中，IT技術資源是傳統(tǒng)研究公司最需要投入的環(huán)節(jié)?？紤]大數(shù)據(jù)業(yè)務下相關資源（軟硬件和團隊）投入較大且專業(yè)性強，筆者后續(xù)將結(jié)合市場研究領域的業(yè)務特點，對市場研究涉及的大數(shù)據(jù)領域相關的主要技術理論、應用場景與常用的工具資源，專文進行說明。

Changes and Adjustments to the Service Flow of Traditional Market Research Industry in the Big Data Era

Ma Liang
（HCR Co.， Ltd， Beijing， 100016）

In the first essay we find that there are great changes on the basic researches and production modes when Big Data comes. With the corresponding， the intrinsic business process also has a great changing by Big Data. This article will do correlation analysis.

Big Data； Business Process； Changing

10.3969/J.ISSN.1672-7274.2015.03.014

TP3

B

1672-7274（2015）03-0060-03