夏黃晶

【摘 要】大數(shù)據(jù)具有規(guī)模大、種類(lèi)多、生成速度快、價(jià)值巨大但密度低的特點(diǎn)。大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法，從大數(shù)據(jù)中挖掘有效信息，為用戶(hù)提供輔助決策，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的過(guò)程。主要介紹了大數(shù)據(jù)定義，分析方法、應(yīng)用領(lǐng)域等相關(guān)問(wèn)題。

【關(guān)鍵詞】大數(shù)據(jù)；數(shù)據(jù)分析；應(yīng)用領(lǐng)域

1.大數(shù)據(jù)的定義

美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院對(duì)大數(shù)據(jù)做出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，或需要使用重要的水平縮放技術(shù)來(lái)實(shí)現(xiàn)高效處理的數(shù)據(jù)?！蔽覀冋J(rèn)為大數(shù)據(jù)價(jià)值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值鏈的最后也是最重要的階段，是大數(shù)據(jù)價(jià)值的實(shí)現(xiàn)，是大數(shù)據(jù)應(yīng)用的基礎(chǔ)，其目的在于提取有用的值，提供論斷建議或支持決策，通過(guò)對(duì)不同領(lǐng)域數(shù)據(jù)集的分析可能會(huì)產(chǎn)生不同級(jí)別的潛在價(jià)值。

可用于大數(shù)據(jù)分析的傳統(tǒng)數(shù)據(jù)分析方法：（1）聚類(lèi)分析。聚類(lèi)分析是劃分對(duì)象的統(tǒng)計(jì)學(xué)方法，指把具有某種相似特征的物體或者事物歸為一類(lèi)。聚類(lèi)分析的目的在于辨別在某些特性上相似（但是預(yù)先未知）的事物，并按這些特性將樣本劃分成若干類(lèi)（群），使在同一類(lèi)內(nèi)的事物具有高度的同質(zhì)性，而不同類(lèi)的事物則有高度的異質(zhì)性。聚類(lèi)分析是一種沒(méi)有使用訓(xùn)練數(shù)據(jù)的無(wú)監(jiān)督式學(xué)習(xí)。（2）因子分析。因子分析的基本目的就是用少數(shù)幾個(gè)因子去描述許多指標(biāo)或因素之間的聯(lián)系，即將相互比較密切的幾個(gè)變量歸在同一類(lèi)中，每一類(lèi)變量就成為一個(gè)因子（之所以稱(chēng)其為因子，是因?yàn)樗遣豢捎^測(cè)的，即不是具體的變量），以較少的幾個(gè)因子反映原數(shù)據(jù)的大部分信息。（3）相關(guān)分析。相關(guān)分析法是測(cè)定事物之間相關(guān)關(guān)系的規(guī)律性，并據(jù)以進(jìn)行預(yù)測(cè)和控制的分析方法。社會(huì)經(jīng)濟(jì)形象之間存在著大量的相互聯(lián)系、相互依賴(lài)、相互制約的數(shù)量關(guān)系。這種關(guān)系可分為兩種類(lèi)型。一類(lèi)是函數(shù)關(guān)系，它反映著現(xiàn)象之間嚴(yán)格的依存關(guān)系，也稱(chēng)確定性的依存關(guān)系。在這種關(guān)系中，對(duì)于變量的每一個(gè)數(shù)值，都有一個(gè)或幾個(gè)確定的值與之對(duì)應(yīng)。另一類(lèi)為相關(guān)關(guān)系，在這種關(guān)系中，變量之間存在著不確定、不嚴(yán)格的依存關(guān)系，對(duì)于變量的某個(gè)數(shù)值，可以有另一變量的若干數(shù)值與之相對(duì)應(yīng)，這若干個(gè)數(shù)值圍繞著它們的平均數(shù)呈現(xiàn)出有規(guī)律的波動(dòng)。（4）回歸分析?；貧w分析是研究一個(gè)變量與其他若干變量之間相關(guān)關(guān)系的一種數(shù)學(xué)工具，它是在一組實(shí)驗(yàn)或觀測(cè)數(shù)據(jù)的基礎(chǔ)上，尋找被隨機(jī)性掩蓋了的變量之間的依存關(guān)系。通過(guò)回歸分析，可以把變量間的復(fù)雜的、不確定的關(guān)系變得簡(jiǎn)單化、有規(guī)律化。

雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是它們?cè)谔幚硪?guī)模較大的數(shù)據(jù)集合時(shí)，效率無(wú)法達(dá)到用戶(hù)預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)。因此，出現(xiàn)了許多專(zhuān)門(mén)針對(duì)大數(shù)據(jù)的集成、管理及分析的技術(shù)和方法。

2.大數(shù)據(jù)分析方法

布隆過(guò)濾器：其實(shí)質(zhì)是一個(gè)位數(shù)組和一系列HASH函數(shù)。布隆過(guò)濾器的原理是利用位數(shù)組存儲(chǔ)數(shù)據(jù)的HASH值而不是數(shù)據(jù)本身，其本質(zhì)是利用HASH函數(shù)對(duì)數(shù)據(jù)進(jìn)行有損壓縮存儲(chǔ)的位圖索引。其優(yōu)點(diǎn)是具有較高的空間效率和查詢(xún)速率，缺點(diǎn)是有一定的誤識(shí)別率和刪除困難。布隆過(guò)濾器適用于允許低誤識(shí)別率的大數(shù)據(jù)場(chǎng)合。

HASH法，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)化為長(zhǎng)度更短的定長(zhǎng)的數(shù)值或索引值的方法。這種方法的優(yōu)點(diǎn)是具有快速的讀寫(xiě)和查詢(xún)速度，缺點(diǎn)是難以找到一個(gè)良好的HASH函數(shù)。

索引：無(wú)論是在管理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，還是管理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)中，索引都是一個(gè)減少磁盤(pán)讀寫(xiě)開(kāi)銷(xiāo)、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開(kāi)銷(xiāo)存儲(chǔ)索引文件，且需要根據(jù)數(shù)據(jù)的更新而動(dòng)態(tài)維護(hù)。

TRIE樹(shù)：又稱(chēng)為字典樹(shù)，是HASH樹(shù)的變種形式，多被用于快速檢索，和詞頻統(tǒng)計(jì)。TRIE樹(shù)的思想是利用字符串的公共前綴，最大限度地減少字符串的比較，提高查詢(xún)效率。

并行計(jì)算：相對(duì)于傳統(tǒng)的串行計(jì)算，并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問(wèn)題進(jìn)行分解，由若干個(gè)獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。

傳統(tǒng)數(shù)據(jù)分析方法，大多數(shù)都是通過(guò)對(duì)原始數(shù)據(jù)集進(jìn)行抽樣或者過(guò)濾，然后對(duì)數(shù)據(jù)樣本進(jìn)行分析，尋找特征和規(guī)律，其最大的特點(diǎn)是通過(guò)復(fù)雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計(jì)算能力和存儲(chǔ)能力的提升，大數(shù)據(jù)分析方法與傳統(tǒng)分析方法的最大區(qū)別在于分析的對(duì)象是全體數(shù)據(jù)，而不是數(shù)據(jù)樣本，其最大的特點(diǎn)在于不追求算法的復(fù)雜性和精確性，而追求可以高效地對(duì)整個(gè)數(shù)據(jù)集的分析?？傊?，傳統(tǒng)數(shù)據(jù)方法力求通過(guò)復(fù)雜算法從有限的數(shù)據(jù)集中獲取信息，其更加追求準(zhǔn)確性；大數(shù)據(jù)分析方法則是通過(guò)高效的算法、模式，對(duì)全體數(shù)據(jù)進(jìn)行分析。

3.大數(shù)據(jù)應(yīng)用領(lǐng)域

目前根據(jù)數(shù)據(jù)的生成方式和結(jié)構(gòu)特點(diǎn)不同，可以將數(shù)據(jù)分析劃分為6個(gè)關(guān)鍵技術(shù)領(lǐng)域：（1）結(jié)構(gòu)化數(shù)據(jù)。一直是傳統(tǒng)數(shù)據(jù)分析的重要研究對(duì)象，目前主流的結(jié)構(gòu)化數(shù)據(jù)管理工具，如關(guān)系型數(shù)據(jù)庫(kù)等，都提供了數(shù)據(jù)分析功能。（2）文本。是常用的存儲(chǔ)文字、傳遞信息的方式，也是最常見(jiàn)的非結(jié)構(gòu)化數(shù)據(jù)。一直演化到21世紀(jì)初新興的在線社交網(wǎng)絡(luò)分析。（3）WEB數(shù)據(jù)。WEB技術(shù)的發(fā)展，極大地豐富了獲取和交換數(shù)據(jù)的方式，WEB數(shù)據(jù)高速的增長(zhǎng)，使其成為大數(shù)據(jù)的主要來(lái)源。（4）多媒體數(shù)據(jù)。隨著通訊技術(shù)的發(fā)展，圖片、音頻、視頻等體積較大的數(shù)據(jù)，也可以被快速地傳播，由于缺少文字信息，其分析方法與其他數(shù)據(jù)相比，具有顯著的特點(diǎn)。（5）社交網(wǎng)絡(luò)數(shù)據(jù)。從一定程度上反映了人類(lèi)社會(huì)活動(dòng)的特征，具有重要的價(jià)值。（6）移動(dòng)數(shù)據(jù)。與傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)不同，具有明顯的地理位置信息、用戶(hù)個(gè)體特征等其他信息。

大數(shù)據(jù)未來(lái)的應(yīng)用領(lǐng)域和方向還包括以下幾個(gè)方面：（1）大數(shù)據(jù)可視化。在許多人機(jī)交互場(chǎng)景中，都遵循所見(jiàn)即所得的原則，例如文本和圖像編輯器等。在大數(shù)據(jù)應(yīng)用中，混雜的數(shù)據(jù)本身是難以輔助決策的，只有將分析后的結(jié)果以友好的形式展現(xiàn)，才會(huì)被用戶(hù)接受并加以利用。報(bào)表、直方圖、餅狀圖、回歸曲線等經(jīng)常被用于表現(xiàn)數(shù)據(jù)分析的結(jié)果，以后肯定會(huì)出現(xiàn)更多的新穎的表現(xiàn)形式，例如微軟的“人立方”社交搜索引擎使用關(guān)系圖來(lái)表現(xiàn)人際關(guān)系。（2）面向數(shù)據(jù)。程序是數(shù)據(jù)結(jié)構(gòu)和算法，而數(shù)據(jù)結(jié)構(gòu)就是存儲(chǔ)數(shù)據(jù)的。在程序設(shè)計(jì)的發(fā)展歷程中，也可以看出數(shù)據(jù)的地位越來(lái)越重要。在邏輯比數(shù)據(jù)復(fù)雜的小規(guī)模數(shù)據(jù)時(shí)代，程序設(shè)計(jì)以面向過(guò)程為主；隨著業(yè)務(wù)數(shù)據(jù)的復(fù)雜化，催生了面向?qū)ο蟮脑O(shè)計(jì)方法。如今，業(yè)務(wù)數(shù)據(jù)的復(fù)雜度已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)業(yè)務(wù)邏輯，程序也逐漸從算法密集型轉(zhuǎn)向數(shù)據(jù)密集型。可以預(yù)見(jiàn)，一定會(huì)出現(xiàn)面向數(shù)據(jù)的程序設(shè)計(jì)方法，如同面向?qū)ο笠粯樱谲浖こ?、體系結(jié)構(gòu)、模式設(shè)計(jì)等方面對(duì)IT技術(shù)的發(fā)展產(chǎn)生深遠(yuǎn)的影響。

4.結(jié)束語(yǔ)

大數(shù)據(jù)引發(fā)思維變革。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集、獲取和分析都更加快捷，這些海量的數(shù)據(jù)將對(duì)我們的思考方式產(chǎn)生深遠(yuǎn)的影響。分析數(shù)據(jù)時(shí)要盡可能地利用所有數(shù)據(jù)，而不只是分析少量的樣本數(shù)據(jù)。相比于精確的數(shù)據(jù)，我們更樂(lè)于接受紛繁復(fù)雜的數(shù)據(jù)。我們應(yīng)該更為關(guān)注事物之間的相關(guān)關(guān)系，而不是探索因果關(guān)系。大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更為有效。大數(shù)據(jù)的分析結(jié)果將減少?zèng)Q策中的草率和主觀因素，數(shù)據(jù)科學(xué)家將取代“專(zhuān)家”。 [科]

【參考文獻(xiàn)】

[1]鄔賀銓.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J].求是，2013（04）.

[2]黃曉斌，鐘輝新.基于大數(shù)據(jù)的企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)模型構(gòu)建[J].情報(bào)雜志，2013（03）.