祁鵬年

（長沙理工大學(xué)經(jīng)濟與管理學(xué)院，長沙 410114）

多層次數(shù)據(jù)分析

祁鵬年

（長沙理工大學(xué)經(jīng)濟與管理學(xué)院，長沙 410114）

對于專業(yè)的數(shù)據(jù)分析而言，一定要有很強的針對性，什么樣的需求就要提供與之層次相匹配的分析結(jié)果。否則就會造成不必要的信息價值浪費，也會大大增加需求者獲取信息的成本。就如何有效實現(xiàn)多層次的數(shù)據(jù)分析，以理論實例相結(jié)合的方式，做相應(yīng)的探討。

大數(shù)據(jù)；數(shù)據(jù)挖掘；數(shù)據(jù)分析；分布式數(shù)據(jù)庫

0 引言

“In God We Trust;All Others Use Data”。在美國企業(yè)流傳這樣一句話：除了毫無保留地信奉上帝，其他的一切均以數(shù)據(jù)說話。這句話足以揭示數(shù)據(jù)的價值，數(shù)據(jù)將是未來世界的主宰。首先，多層次的數(shù)據(jù)分析正改變著企業(yè)做決策的模式。在海量的數(shù)據(jù)中通過不同維度的鉆取，可以得到不同價值的信息，這些信息以不同比例的價值使得企業(yè)高層做出更精準的決策。其次，多層次的數(shù)據(jù)分析也改變著企業(yè)創(chuàng)造價值的方式，可以通過分析技術(shù)，把分析應(yīng)用于每一個領(lǐng)域，甚至每一件事情，由分析結(jié)果可以把更多相關(guān)的領(lǐng)域疊加起來再分析，又將產(chǎn)生新的價值。所以，多層次數(shù)據(jù)分析正在為企業(yè)創(chuàng)造著前所未有的價值。最后，多層次的數(shù)據(jù)分析將直接改變企業(yè)對每一個客戶提供價值的方式。數(shù)據(jù)分析可以幫助企業(yè)發(fā)現(xiàn)每一個潛在的用戶群，針對不同的用戶提供不同的個性化服務(wù)，無疑這將極大地提高營銷效率。

1 海量數(shù)據(jù)處理流程

1.1 數(shù)據(jù)采集

數(shù)據(jù)的采集是指利用傳感器、社交網(wǎng)絡(luò)以及移動互聯(lián)網(wǎng)等方式獲得的各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的海量數(shù)據(jù)，這是一切數(shù)據(jù)分析的基礎(chǔ)。數(shù)據(jù)的采集需要解決分布式高速高可靠數(shù)據(jù)的采集、高速數(shù)據(jù)全映像等數(shù)據(jù)收集技術(shù)。還要設(shè)計質(zhì)量評估模型，開發(fā)數(shù)據(jù)質(zhì)量技術(shù)。而數(shù)據(jù)采集一般分為大數(shù)據(jù)智能感知層：主要包括數(shù)據(jù)傳感體系、網(wǎng)絡(luò)通信體系、傳感適配體系、智能識別體系及軟硬件資源接入系統(tǒng)，實現(xiàn)對海量數(shù)據(jù)的智能化識別、定位、跟蹤、接入、傳輸、信號轉(zhuǎn)換、監(jiān)控、初步處理和管理等。

1.2 數(shù)據(jù)預(yù)處理

數(shù)據(jù)采集的過程本身就有會有很多數(shù)據(jù)庫，但如果想達到有效分析海量數(shù)據(jù)的目的，就必將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，而且在導(dǎo)入基礎(chǔ)上做一些簡單的辨析、抽取、清洗等操作。①抽?。阂驗槲覀兺ㄟ^各種途徑獲取的數(shù)據(jù)可能存在多種結(jié)構(gòu)和類型，而數(shù)據(jù)抽取過程可以有效地將這些復(fù)雜的數(shù)據(jù)轉(zhuǎn)換為單一的結(jié)構(gòu)或者便于處理的類型。以達到快速分析處理的目的。②清洗：對于海量數(shù)據(jù)而言，數(shù)據(jù)所處的價值層次不一樣，就必然存在由于價值低而導(dǎo)致開發(fā)成本偏大的數(shù)據(jù)，還有與數(shù)據(jù)分析毫無關(guān)系的數(shù)據(jù)，而另一些數(shù)據(jù)則是完全錯誤的干擾項，所以對數(shù)據(jù)通過過濾“去噪”從而提取出有效數(shù)據(jù)是十分重要的步驟。

1.3 數(shù)據(jù)的存儲與管理

當(dāng)我們采集數(shù)據(jù)完成后，就需要將其存儲起來統(tǒng)一管理，主要途徑就是建立相應(yīng)的數(shù)據(jù)庫，進行統(tǒng)一管理和調(diào)用。在此基礎(chǔ)上，需要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)葞讉€關(guān)鍵問題。還需開發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存儲、數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)；以及分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)、異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)、數(shù)據(jù)組織技術(shù)、研究大數(shù)據(jù)建模技術(shù)、索引、移動、備份、復(fù)制、可視化技術(shù)。

1.4 數(shù)據(jù)的統(tǒng)計分析

一般情況下，統(tǒng)計與分析主要就是利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結(jié)構(gòu)化數(shù)據(jù)的需求可以使用Hadoop。統(tǒng)計與分析這部分的主要特點和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。

1.5 數(shù)據(jù)分析與挖掘

所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫中的大量不完全的、有噪聲的、模糊的、隨機的實際應(yīng)用數(shù)據(jù)中，揭示出隱含的、先前未知的并有潛在價值的信息的過程。與前面統(tǒng)計和分析過程不同的是，數(shù)據(jù)挖掘一般不會有預(yù)先設(shè)計好的主題，主要是在現(xiàn)有數(shù)據(jù)上面進行基于各種算法的計算，從而起到預(yù)測（Predict）的效果，從而實現(xiàn)一些高級別數(shù)據(jù)分析的需求。比較典型的算法有用于聚類的K-means、用于統(tǒng)計學(xué)習(xí)的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。

2 數(shù)據(jù)分析的8個層次

2.1 標準化報告（Standard Reports）

標準化報告作為數(shù)據(jù)分析的第一個層次，要求相對較低，主要是借助相應(yīng)的統(tǒng)計工具對數(shù)據(jù)進行歸納總結(jié)，得出包含主要參數(shù)指標的標準化報告。類似于一個銷售企業(yè)每月或者每季度的財務(wù)報表。

2.2 即席查詢（Ad Hoc Reports）

用戶可以通過自己的需求，靈活地選擇查詢條件，系統(tǒng)就能夠根據(jù)用戶的需求選擇生成相應(yīng)的統(tǒng)計報表。即席查詢與普通應(yīng)用查詢最大的不同是普通的應(yīng)用查詢是定制開發(fā)的，而即席查詢所有的查詢條件都是用戶自己定義的。在面向高層的數(shù)據(jù)分析軟件中，用戶隨意添加想要查詢的指標按鈕再加上相應(yīng)的限制條件，就可以立即生成可視化的統(tǒng)計結(jié)果，不僅一目了然，而且沒有任何操作難度。

2.3 多維分析（Query Drilldown）

多維分析是指對具有多個維度和指標所組成的數(shù)據(jù)模型進行的可視化分析手段的統(tǒng)稱，常用的分析方式包括：下鉆、上卷、切片（切塊）、旋轉(zhuǎn)等各種分析操作。以便剖析數(shù)據(jù)，使分析者、決策者能從多個角度多個側(cè)面觀察數(shù)據(jù)，從而深入了解包含在數(shù)據(jù)中的信息和內(nèi)涵。上卷是在數(shù)據(jù)立方體中執(zhí)行聚集操作，通過在維級別中上升或通過消除某個或某些維來觀察更概括的數(shù)據(jù)。上卷的另外一種情況是通過消除一個或者多個維來觀察更加概括的數(shù)據(jù)。下鉆是在維級別中下降或者通過引入某個或者某些維來更細致地觀察數(shù)據(jù)。切片是在給定的數(shù)據(jù)立方體一個維上進行的選擇操作，切片的結(jié)果是得到了一個二維的平面數(shù)據(jù)（切塊是在給定的數(shù)據(jù)立方體的兩個或者多個維上進行選擇操作，而切塊的結(jié)果是得到了一個子立方塊）。轉(zhuǎn)軸相對比較簡單，就是改變維的方向。

2.4 儀表盤與模擬分析(Alerts)

儀表盤用于監(jiān)控一些關(guān)鍵指標。模擬分析是由操作者動態(tài)地加以調(diào)節(jié)的控件（如滑動塊、可調(diào)旋鈕、選擇框等），來控制管理決策模型行為某些參數(shù)。當(dāng)操作者通過控制面板對模型中的參數(shù)值或變量值進行調(diào)節(jié)時，圖形中的曲線、柱形組或分析指標等要素就會發(fā)生相應(yīng)的運動，而這種運動正好反映了該參數(shù)的變化對模型行為的影響，如果這種變動引起了模型中最優(yōu)解或其他關(guān)鍵數(shù)字的變化，能夠隨時將關(guān)于這種變化的結(jié)論正確地顯示出來。

2.5 統(tǒng)計分析（Statistically Analysis）

我們知道概率論是數(shù)理統(tǒng)計的基礎(chǔ)，數(shù)理統(tǒng)計是在其基礎(chǔ)上研究隨機變量，并應(yīng)用概率論的知識做出合理的估計、推斷與預(yù)測。概率論中討論的各種分布在數(shù)理統(tǒng)計中作為統(tǒng)計模型來分析處理帶有隨機誤差的數(shù)據(jù)。典型的數(shù)理統(tǒng)計方法有參數(shù)估計、假設(shè)檢驗和回歸分析。而統(tǒng)計分析主要是對用戶所關(guān)注的問題進行推斷、預(yù)測和控制的分析方法。具體可以分為以下三方面：

①描述統(tǒng)計：主要是集中趨勢、離散程度、分布形狀等，統(tǒng)計圖（方圖、箱線圖、散點圖等）；

②數(shù)據(jù)的分類匯總；

③基礎(chǔ)統(tǒng)計分析：方差分析、時間序列分析、相關(guān)和回歸分析、（主成分）因子分析等統(tǒng)計分析方法。

2.6 預(yù)測（Forecasting）

在統(tǒng)計分析和數(shù)據(jù)挖掘領(lǐng)域，對未來的預(yù)測已經(jīng)有了很多數(shù)學(xué)模型以及解決具體問題的相關(guān)算法。其核心思想便是從歷史數(shù)據(jù)中找出數(shù)據(jù)的發(fā)展模式，然后以這些模式為支點，就可以對未來進行預(yù)測。

2.7 預(yù)測模型（Predictive Modeling）

隨著數(shù)據(jù)分析學(xué)家對數(shù)據(jù)挖掘技術(shù)的不斷探索，出現(xiàn)了很多預(yù)測模型以及與之相對應(yīng)的算法，但是很難確定某個模型是最精確的，因為不同的領(lǐng)域，不同的條件，對應(yīng)的預(yù)測模型是不一樣的，所以沒有統(tǒng)一化的最優(yōu)模型，只存在有選擇性的最優(yōu)模型。下面介紹幾種典型的預(yù)測模型。

①回歸模型:回歸模型可以分為一元線性回歸模型和多元線性回歸模型。一元線性回歸模型可表示為yt=b0+b1xt+ut，該式表示變量yt和xt之間的真實關(guān)系。其中yt稱作被解釋變量（或相依變量、因變量），xt稱作解釋變量（或獨立變量、自變量），ut稱作隨機誤差項，b0稱作常數(shù)項（截距項），b1稱作回歸系數(shù)。b0+b1xt是非隨機部分，ut是隨機部分。而在很多情況下，回歸模型必包含兩個或更多自變量才能夠適應(yīng)地描述經(jīng)濟現(xiàn)象各相關(guān)量之間的聯(lián)系，這就是多元線性回歸模型需要解決的問題，其一般形式為：Y=a+b1X1+b2X2+…+bmXm，式中X1、X2、…、Xm是這個多元回歸問題的m個自變量，b1、b2、…、bm是回歸方程對應(yīng)于各自變量的系數(shù)，又稱偏回歸系數(shù)。

②貝葉斯網(wǎng)絡(luò)：貝葉斯網(wǎng)絡(luò)是基于概率推理的數(shù)學(xué)模型，而概率推理是通過一些產(chǎn)量的信息來獲取其他概率信息的過程。貝葉斯網(wǎng)絡(luò)會建立一個有向無環(huán)圖和一個概率表集合，有向無環(huán)圖中的每一個節(jié)點便是一個隨機變量，而有向邊表示隨機變量間的條件依賴，條件概率表中的每一個元素對應(yīng)有向無環(huán)圖中唯一的節(jié)點，存儲此節(jié)點對其所有直接前驅(qū)節(jié)點的條件概率。貝葉斯網(wǎng)絡(luò)是為了解決不定性與不完整性問題而提出的，在多個領(lǐng)域中獲得廣泛應(yīng)用。

③基于時間序列分析的指數(shù)平滑模型

在時間序列分析中指數(shù)平滑模型是最靈活和準確的方法，在經(jīng)濟領(lǐng)域也被證明是最有效的預(yù)測模型。在不同的時間序列下，指數(shù)平滑模型可以分為簡單指數(shù)平滑法、帶有趨勢調(diào)整的指數(shù)平滑法、帶有阻尼趨勢的指數(shù)平滑法、簡單季節(jié)指數(shù)平滑法、帶有趨勢和季節(jié)調(diào)整的指數(shù)平滑法五種不復(fù)雜度的模型。

2.8 最優(yōu)化（Optimization）

因為優(yōu)化問題往往可以帶來巨額的收益，通過一系列可行的優(yōu)化，可以使收益得到顯著提高。所謂最優(yōu)化就是從有限或者無限種可行的方案中選取最優(yōu)的方案。如果可以通過簡單的評判，就可以確定最優(yōu)方案那是最好的。但是事實不會那么簡單，所以優(yōu)化技術(shù)已經(jīng)發(fā)展出了一系列的理論來解決實際問題。其常用的優(yōu)化技術(shù)為：

①線性規(guī)劃：當(dāng)目標函數(shù)與約束函數(shù)都是線性函數(shù)時，就是一個線性規(guī)劃問題。而當(dāng)同時滿足約束函數(shù)和目標函數(shù)時，則可以認為是最優(yōu)解。

②整數(shù)規(guī)劃：要求決策變量取整數(shù)值的數(shù)學(xué)規(guī)劃。

③多目標規(guī)劃：指衡量一個決策優(yōu)劣的標準不止一個，也就是有多目標函數(shù)。

④動態(tài)規(guī)劃：將一個復(fù)雜的問題劃分為多個階段，逐段求解，最終求出全局最優(yōu)解。

3 用Excel實現(xiàn)簡單的數(shù)據(jù)分析

表1是某產(chǎn)品某季度的銷售數(shù)據(jù)，根據(jù)表中所給出的數(shù)據(jù)可以做出不同層次的分析。

①對于企業(yè)而言最重要的是利潤，所以管理者必須要從這張表中得到最關(guān)鍵也最容易得到的銷量和銷售額以及與其相關(guān)的一些數(shù)據(jù)，通常是用最基本的數(shù)理統(tǒng)計結(jié)果來直觀地反映該企業(yè)在某個期間的盈利情況。

②其次，我們必須要做進一步的分析。已經(jīng)對整體的情況有了一定的把握，所以就可以朝著不同的方向去挖掘一些有價值的信息，為企業(yè)高層做決策提供有力的依據(jù)。對產(chǎn)品銷售而言，客戶結(jié)構(gòu)能夠有效地反映客戶的地域分布，企業(yè)可以根據(jù)客戶的來源，在未開辟客戶的地域去尋找新的目標客戶群。而銷量結(jié)構(gòu)可以直觀地反映企業(yè)最大銷量來自哪個地區(qū)，對銷量較小的地區(qū)可以加大宣傳力度或者增加銷售網(wǎng)點來保持各地區(qū)銷售均衡。還可以及時地調(diào)整銷售方式來擴大市場份額，而對于銷量最小的地區(qū)考慮開辟新的市場。

表1

③圖3統(tǒng)計了各地區(qū)的銷售總額和平均銷售額以及兩者的對比關(guān)系。由此可以得出地區(qū)平均購買力大小，以及各地區(qū)總銷售額大小。借助圖表描述，管理者可以對企業(yè)在某段期間內(nèi)的銷售狀況有一個大概的把握，只有掌握了這些的信息，才能更細化地去研究具體的影響因素。

圖1

圖2

圖3

④一般以銷售為主的企業(yè)都需要對客戶的購買力劃分等級，對于經(jīng)常性大量購買的客戶必須要以最優(yōu)惠的價格和最好的服務(wù)讓其滿意，以形成一個穩(wěn)定的大客戶群。而對于那些少量購買的客戶，也要制定出相應(yīng)合適的方案來留住客戶。所以，分析銷售額的分布情況，可以掌握客戶的購買力度而且還能及時做一些留住大客戶的舉措。

4 用R語言實現(xiàn)數(shù)據(jù)多層次分析

R語言是一種自由軟件編程語言與操作環(huán)境，是一套完整的數(shù)據(jù)處理、計算和制圖軟件系統(tǒng)，它是一種用來進行數(shù)據(jù)探索、統(tǒng)計分析和作圖的解釋型語言。它可以提供一些集成的統(tǒng)計工具，但更大量的是它提供各種數(shù)學(xué)計算、統(tǒng)計計算的函數(shù)，從而使使用者能靈活機動地進行數(shù)據(jù)分析，甚至創(chuàng)造出符合需要的新的統(tǒng)計計算方法。而在使用R語言進行數(shù)據(jù)分析處理時，當(dāng)我們遇到很大的原始數(shù)據(jù)，但用來建模的數(shù)據(jù)較小，則可以先在數(shù)據(jù)庫中進行整理，然后通過R與數(shù)據(jù)庫的接口提取數(shù)據(jù)，數(shù)據(jù)庫適合存放和整理比較規(guī)整的數(shù)據(jù)，和R中的數(shù)據(jù)框有良好的對應(yīng)關(guān)系，這也是R中絕大多數(shù)統(tǒng)計模型的標準數(shù)據(jù)結(jié)構(gòu)。數(shù)據(jù)庫中大部分的運算都不需要消耗很大的內(nèi)存。

圖4

如今的社交平臺已經(jīng)做得相當(dāng)完善，我們可以隨時掌握朋友圈的一些動態(tài)，以及最近很熱的一些話題。下面我們以微博話題為例，用R語言實現(xiàn)相關(guān)的分析，并呈現(xiàn)出可視化的分析結(jié)果。

具體分析思路：

可以從新浪微博開放平臺：http://open.weibo.com中使用R函數(shù)抓取數(shù)據(jù)。獲取與“最新話題”相關(guān)的微博約10000條，對微博內(nèi)容進行分詞，構(gòu)造詞頻矩陣，即每條微博是一個觀測，語料庫中每個詞語出現(xiàn)的頻率是自變量，微博的主題為因變量，對因變量做回歸并進行變量選擇，找到那些最能將因變量區(qū)分開來的詞語。也可以通過訪問http://s.weibo.com/weibo/＜search_ content＞&rd=MjAxN&page=＜page_number＞抓取微博的HTML文本，注意抓取網(wǎng)頁的頻率限制，利用XML軟件包解析HTML，獲取微博的文本內(nèi)容，利用rmmseg4j軟件包進行中文分詞將數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫，進行簡單的處理(大寫轉(zhuǎn)小寫，刪去某些詞語)，利用ff軟件包讀取數(shù)據(jù)，并結(jié)合Matrix軟件包構(gòu)造稀疏詞頻矩陣，12147條微博，4711個詞語，完整的詞頻矩陣大小為0.97G，稀疏化后僅占據(jù)3.6M，使用Lasso對回歸進行變量選擇，核心算法用Rcpp軟件包和C++實現(xiàn)，結(jié)果使用wordcloud軟件包進行可視化展示如下：

圖5

5 結(jié)語

多層次數(shù)據(jù)分析在管理上有十分重要的意義，因為它所產(chǎn)生的價值是完全建立在真實的數(shù)據(jù)層面，而對一個企業(yè)而言搜集數(shù)據(jù)模式的改進是管理過程的完善，對企業(yè)符合時代潮流和規(guī)范管理過程是至關(guān)重要的。多層次數(shù)據(jù)分析能夠及時糾正企業(yè)錯誤的決策，能夠?qū)M度展開實時跟蹤，還能了解成本管制情況和人員思想動態(tài)等。

對于個人而言，數(shù)據(jù)分析可以幫助我們更好地去生活，消費者可以通過分析結(jié)果去選擇物美價廉的商品。還可以用數(shù)學(xué)模型來分析電影的票房，來減少不必要的損失等。

總之，大數(shù)據(jù)時代多層次數(shù)據(jù)分析的價值是無可估量的，它可以囊括我們能想到方方面面以及我們現(xiàn)在還想不到的一些領(lǐng)域。也許，在不久的將來數(shù)據(jù)分析技術(shù)會變成一個獨立的學(xué)科，而掌握數(shù)據(jù)分析技術(shù)是以后社會中人才必備的技能。

[1] 彭鴻濤,聶磊.發(fā)現(xiàn)數(shù)據(jù)之美-數(shù)據(jù)分析原理與實踐[M].北京:電子工業(yè)出版社,2014：1～200

[2] 劉蘭娟等.《經(jīng)濟管理中的計算機應(yīng)用（第二版）》[M].北京:清華大學(xué)出版社,2013：1～300

Multilevel Data Analysis

QI Peng-nian
（School of Economics and Management，Changsha University of Science&Technology,Changsha 410114）

As for the analysis of professional data,it must be very strong pertinence,the results of the analysis provides with what kind of demand. Otherwise it causes unnecessary waste of information value,which will greatly increase the cost for information acquisition.Makes a corresponding discussion about how to realize the multi-level analysis data by combining with examples of the way of theory.

Big Data;Data Mining;Data Analysis;Policy Desicion and Distributed Database

1007-1423（2015）02-0045-06

10.3969/j.issn.1007-1423.2015.02.012

祁鵬年（1992-），青海海東人，本科，研究方向Web開發(fā)、數(shù)據(jù)分析

2014-10-30

2014-12-24