趙淑芳 單桂娟
摘要:大數(shù)據(jù)應用就是利用數(shù)據(jù)分析的方法,從大數(shù)據(jù)中挖掘有效信息,為用戶提供輔助決策,實現(xiàn)大數(shù)據(jù)價值的過程。本文主要介紹了大數(shù)據(jù)概念、特點、應用現(xiàn)狀以及大數(shù)據(jù)的發(fā)展前景。
關鍵詞:大數(shù)據(jù);大數(shù)據(jù)應用現(xiàn)狀;數(shù)據(jù)發(fā)展前景
一、大數(shù)據(jù)概述
2013年5月10日淘寶十周年晚會上,阿里巴巴集團董事局主席馬云在其卸任集團CEO職位的演講中說到:“大家還沒搞清PC時代的時候,移動互聯(lián)網(wǎng)來了,還沒搞清移動互聯(lián)網(wǎng)的時候,大數(shù)據(jù)時代來了?!蹦敲吹降资裁词谴髷?shù)據(jù)?
目前關于大數(shù)據(jù)的概念眾說紛紜。科技企業(yè)研究學者、數(shù)據(jù)分析師和技術顧問們,由于各自的關注點不同,對于大數(shù)據(jù)有著不同的定義。
大數(shù)據(jù)及其研究領域極具影響力的領導者的國際數(shù)據(jù)公司(IDC)2011年公司發(fā)布的報告中(由EMC主辦)定義大數(shù)據(jù)為:“大數(shù)據(jù)技術描述了新一代的技術和架構體系,通過高速采集、發(fā)現(xiàn)或分析,提取各種各樣的大量數(shù)據(jù)的經(jīng)濟價值?!边@一定義是從大數(shù)據(jù)具備的體量浩巨大、類型繁多、生成快速和價值巨大但密度很低這4個特點,也就是所謂的4VS來描述大數(shù)據(jù)的,這種4VS定義得到了廣泛的認同,因為它指出了大數(shù)據(jù)的意義和必要性。
美國國家標準和技術研究院認為大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度,或數(shù)據(jù)表示限制了使用傳統(tǒng)關系型方法進行有效分析的能力,或需要使用重要的水平縮放技術來實現(xiàn)高效處理的數(shù)據(jù)。這是從學術角度對大數(shù)據(jù)的來定義的。
大數(shù)據(jù)究竟該如何定義,工業(yè)界和學術界已經(jīng)進行了不少討論 但是大數(shù)據(jù)的關鍵在于怎樣提取數(shù)據(jù)的價值,怎樣利用數(shù)據(jù),怎樣將“一堆數(shù)據(jù)”變?yōu)椤按髷?shù)據(jù)”。
二、大數(shù)據(jù)應用現(xiàn)狀
麥肯錫在其研究報告中指出:數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)和業(yè)務職能領域,逐漸成為重要的生產(chǎn)因素; 而人們對于海量數(shù)據(jù)的運用將預示著新一波生產(chǎn)率增長和消費者盈余浪潮的到來。大數(shù)據(jù)的研究與應用已經(jīng)在互聯(lián)網(wǎng)、商業(yè)智能、咨詢與服務以及醫(yī)療服務、零售業(yè)、金融業(yè)、通信等行業(yè)顯現(xiàn),并產(chǎn)生了巨大的社會價值和產(chǎn)業(yè)空間。目前典型的大數(shù)據(jù)應用領域有:
1、商業(yè)智能領域:互聯(lián)網(wǎng)和網(wǎng)站給各類組織機構通過對大數(shù)據(jù)技術的運用,使大量的產(chǎn)品和客戶信息均可以從網(wǎng)站上獲取。2008 年美國金融危機席卷全球之后,餐飲企業(yè)也受到了重創(chuàng)。在很多行業(yè)通過關閉分店以減輕經(jīng)濟危機的情況下,星巴克卻利用區(qū)位數(shù)據(jù)的數(shù)據(jù)分析方法方便地找到了最合適的地點開設新店成功地拓展了業(yè)務。
2、公共服務領域:一方面,公共機構可以利用大數(shù)據(jù)技術把積累的大量歷史數(shù)據(jù)進行挖掘利用,從而提供更為優(yōu)質(zhì)的公共服務,如交通領域的實時路況和交通引導。美國俄亥俄州運輸部(ODOT)利用INRIX 的云計算分析處理大數(shù)據(jù)來了解和處理惡劣天氣的道路狀況;另一方面,公共機構也可以通過對某些領域的大數(shù)據(jù)實時分析提高危機的預警能力,為實現(xiàn)更好、更科學的危機響應提供技術基礎。谷歌公司通過對人們在網(wǎng)上檢索的詞條與疾病中心的數(shù)據(jù)進行分析處理,有效及時地判斷出了流感的傳播來源,為公共衛(wèi)生機構提供了有價值的信息。
3、政府決策領域:通過對數(shù)據(jù)的挖掘,從而有效提高政府決策的科學性和時效性。通過對政府網(wǎng)站日志數(shù)據(jù)的整合集成,為政府相關領導提供可視化的科學決策數(shù)據(jù)支持服務。例如:日本大地震發(fā)生后僅僅9分鐘,美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預警,并且隨即NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行了計算機模擬,制定出詳細的應急方案,并將制作的海嘯影響模型實時發(fā)布在了YouTube等網(wǎng)站上。
三、大數(shù)據(jù)的發(fā)展趨勢
在經(jīng)歷了幾年的批判、質(zhì)疑、討論、炒作之后,大數(shù)據(jù)終于迎來了屬于它的時代。在我國,經(jīng)李克強總理簽批,2015年9月,國務院印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》(以下簡稱《綱要》),系統(tǒng)部署大數(shù)據(jù)發(fā)展工作。大數(shù)據(jù)這個“未來的新石油”除了本著以人為本的思想對我們的思考方式產(chǎn)生深遠的影響外,將會呈現(xiàn)以下的發(fā)展趨勢。
1、數(shù)據(jù)的資源化
大數(shù)據(jù)中蘊藏著巨大的價值,掌握大數(shù)據(jù)就掌握了資源。不同數(shù)據(jù)集的重組和整合,可以創(chuàng)造出更多的價值。例如,沃爾瑪通過數(shù)據(jù)分析發(fā)現(xiàn),在颶風襲擊某地之前,不但當?shù)貙κ蛛娡驳男枨髸仙?,果塔餅干的銷量也會隨之上升,沃爾瑪借此大賺了一筆。今后,掌控大數(shù)據(jù)資源的企業(yè),將數(shù)據(jù)使用權進行出租和轉(zhuǎn)讓就可以獲得巨大的利益。
2、規(guī)模更大、種類更多、結構更復雜
隨著大數(shù)據(jù)迅猛發(fā)展,以Hadoop 為代表的技術將會落伍甚至被淘汰。為了能更好地應對未來規(guī)模更大、種類更多、結構更復雜的數(shù)據(jù),很多研究者已經(jīng)開始關注此問題,谷歌的全球級的分布式數(shù)據(jù)庫 Spanner 可容錯可擴展的分布式關系型數(shù)據(jù)庫 F1尤為著名。未來,大數(shù)據(jù)的存儲技術將建立在分布式數(shù)據(jù)庫的基礎上,支持類似于關系型數(shù)據(jù)庫的事務機制,可以通過類 SQL 語法高效地操作數(shù)據(jù) 。
3、大數(shù)據(jù)可視化
在許多人機交互場景中,都遵循所見即所得的原則,在大數(shù)據(jù)應用中,混雜的數(shù)據(jù)本身是難以輔助決策的,只有將結果以報表、直方圖、餅狀圖等友好的形式展現(xiàn),用戶才能接受并加以利用,以后肯定會出現(xiàn)更好的表現(xiàn)形式。例如微軟的“ 人立方” 社交搜索引擎使用關系圖來表現(xiàn)人際關系。
4、面向數(shù)據(jù)
在程序設計的發(fā)展歷程中,可以看出數(shù)據(jù)的地位越來越重要。在小規(guī)模數(shù)據(jù)時代,程序設計以面向過程為主,隨著業(yè)務數(shù)據(jù)的復雜化,催生了面向?qū)ο蟮脑O計方法。可以預見,將來一定會出現(xiàn)面向數(shù)據(jù)的程序設計方法,像面向?qū)ο笠粯?,在軟件工程、模式設計、體系結構等方面對IT技術的發(fā)展產(chǎn)生深遠的影響。
5、促進多學科的交叉融合
大數(shù)據(jù)不僅促進了云計算、物聯(lián)網(wǎng)、計算中心、移動網(wǎng)絡等技術的充分融合,還催生了許多學科的交叉融合。美國基因組學家埃里克· 托普(Eri c J.Topol)在 《顛覆醫(yī)療:大數(shù)據(jù)時代的個人健康革命》 指出:“i Phone、云計算、D 打印、基因測序、無線傳感器、超級計算機,這些改變了我們生活的事物,將再一次地融合在一起,對醫(yī)學進行一次‘創(chuàng)造性破壞。大數(shù)據(jù)的發(fā)展,不僅要立足于信息科學也要從管理的角度探討大數(shù)據(jù)對現(xiàn)代企業(yè)生產(chǎn)管理和商務運營決策等方面帶來的變革與沖擊。在特定領域的大數(shù)據(jù)應用,更需要跨學科人才的參與。
四、結束語
大數(shù)據(jù)已被越來越多的人熟悉,在以后的日子里,大數(shù)據(jù)將會迎來一場激烈的競爭。我們應該抓住大數(shù)據(jù)的關鍵點,緊跟時代的步伐順應大數(shù)據(jù)時代的需求,從國家戰(zhàn)略制定、基礎技術的研究、人才的培養(yǎng)、信息安全保障等方面開展相應的工作。我們應致力于保護、存儲、分析數(shù)據(jù)并充分有效地利用和組織大數(shù)據(jù)推動社會的發(fā)展。
(作者單位:江西應用科技學院)
參考文獻:
[1]高明,金澈清,王曉玲等.數(shù)據(jù)世系管理技術研究綜述[J].計算機學報,2010,33.
[2]馮海超. 透視美國大數(shù)據(jù)爆發(fā)全景[ N].互聯(lián)網(wǎng)周刊,2013-01-14.
[3]大數(shù)據(jù)時代[J].中國電子科學研究院學報,2013,(1).
[4]梅宏,王千祥,張路等.軟件分析技術進展[J].計算機學報,2009,32
[5]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,50.
[6]陶雪嬌,胡曉峰,劉洋.大數(shù)據(jù)研究綜述[J].系統(tǒng)仿真學報,2013(S1).