◎ 本刊記者 于巧稚

全球經(jīng)濟(jì)形勢(shì)尚不明朗，對(duì)于新技術(shù)的投入，企業(yè)會(huì)越來(lái)越謹(jǐn)慎。那么，大數(shù)據(jù)是新技術(shù)嗎？Forrester Research研究機(jī)構(gòu)認(rèn)為大數(shù)據(jù)是某些技術(shù)或者能力能夠幫助企業(yè)迅速、敏捷地處理海量數(shù)據(jù)。大數(shù)據(jù)并不是一個(gè)全新的技術(shù)，大數(shù)據(jù)最主要是幫助企業(yè)能夠在企業(yè)現(xiàn)有的數(shù)據(jù)、已經(jīng)產(chǎn)生的數(shù)據(jù)做一些整合，相應(yīng)地做少量的投入得到更大的回報(bào)。他們認(rèn)為，從技術(shù)的投入角度來(lái)說(shuō)，雖然全球?qū)T投入持有更加謹(jǐn)慎的態(tài)度，但是這并不會(huì)影響業(yè)界對(duì)大數(shù)據(jù)的投資。

大數(shù)據(jù)的發(fā)展

大數(shù)據(jù)（Big data）最早出現(xiàn)于1980年代，美國(guó)有人提出了“大數(shù)據(jù)”的概念?！按髷?shù)據(jù)”中的“大”，更多的意義在于：人類(lèi)可以“分析和使用”的數(shù)據(jù)在大量增加。

全球知名的咨詢公司麥肯錫最早提出“大數(shù)據(jù)”時(shí)代已經(jīng)到來(lái)。在其研究報(bào)告中指出，數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)因素；而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)。

隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)也吸引了越來(lái)越多的關(guān)注。有分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢(qián)。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

為適應(yīng)新技術(shù)的發(fā)展趨勢(shì)，促進(jìn)大數(shù)據(jù)研究的學(xué)術(shù)交流，2012年10月，中國(guó)通信學(xué)會(huì)大數(shù)據(jù)專(zhuān)家委員會(huì)在北京成立。成立這一學(xué)術(shù)組織旨在跟蹤大數(shù)據(jù)的最新進(jìn)展，探討大數(shù)據(jù)發(fā)展與應(yīng)用的重點(diǎn)問(wèn)題，搭建學(xué)術(shù)性、行業(yè)性高端平臺(tái)，促進(jìn)國(guó)內(nèi)外通信企業(yè)、監(jiān)管部門(mén)、研究機(jī)構(gòu)、學(xué)術(shù)機(jī)構(gòu)的交流與合作，推動(dòng)中國(guó)大數(shù)據(jù)的科研與發(fā)展。

大數(shù)據(jù)的特點(diǎn)

IDC定義了大數(shù)據(jù)的四大特征——海量的數(shù)據(jù)規(guī)模（volume）、快速的數(shù)據(jù)流轉(zhuǎn)和動(dòng)態(tài)的數(shù)據(jù)體系（velocity）、多樣的數(shù)據(jù)類(lèi)型（variety）和巨大的數(shù)據(jù)價(jià)值（value）。

一、大數(shù)據(jù)不僅僅是要求其容量大，一般來(lái)說(shuō)，專(zhuān)家們普遍認(rèn)為PB級(jí)的數(shù)據(jù)為大數(shù)據(jù)的起點(diǎn),盡管這一指標(biāo)仍然是一個(gè)變化中的目標(biāo)。雖然容量這一因素是非常重要的，除此之外種類(lèi)和速度也是非常必要的。種類(lèi)是指許多不同的數(shù)據(jù)和文件類(lèi)型，對(duì)于管理和更深入的分析數(shù)據(jù)是至關(guān)重要的。這方面的例子包括各種聲音和電影文件、圖像、文檔、地理定位數(shù)據(jù)、網(wǎng)絡(luò)日志和文本字符串。速度是有關(guān)數(shù)據(jù)的變化率，以及其必須如何快速的被使用，以創(chuàng)造真正的價(jià)值。響應(yīng)速度越快，越有利于人們從大數(shù)據(jù)分析中獲取更多的機(jī)會(huì)。

二、大數(shù)據(jù)中主要應(yīng)用Hadoop、NoSQL和MPP（大規(guī)模并行處理）技術(shù)。Hadoop是Apache為大數(shù)據(jù)工作的開(kāi)源軟件框架。是來(lái)自于Google的技術(shù)加上雅虎的理念和其他理論，并付諸實(shí)踐得出的。Hadoop是一個(gè)軟件框架，這意味著它包括若干專(zhuān)門(mén)設(shè)計(jì)的組件，是專(zhuān)門(mén)設(shè)計(jì)來(lái)解決大規(guī)模分布式數(shù)據(jù)存儲(chǔ)，分析和檢索任務(wù)的。不是所有的Hadoop組件都是必要的，對(duì)于一個(gè)大的數(shù)據(jù)解決方案，其中一些組件可取代其他技術(shù)，更好地配合用戶的需求。一個(gè)例子是MapR的Hadoop，其中包括NFS作為HDFS的替代，并提供了一個(gè)完整的隨機(jī)存取，讀/寫(xiě)文件系統(tǒng)。

三、大數(shù)據(jù)是多層結(jié)構(gòu)。大數(shù)據(jù)更可能是被稱(chēng)為“多層結(jié)構(gòu)”，因?yàn)樗梢园谋咀址?、所有?lèi)型的文件、音頻和視頻文件、元數(shù)據(jù)、網(wǎng)頁(yè)、電子郵件、社交媒體供稿、表格數(shù)據(jù)等等。這些不同數(shù)據(jù)類(lèi)型一致的特點(diǎn)是不知道其數(shù)據(jù)架構(gòu)或不知道在這些數(shù)據(jù)被捕獲和存儲(chǔ)時(shí)如何定義。相反，一個(gè)數(shù)據(jù)模型經(jīng)常在數(shù)據(jù)被使用時(shí)進(jìn)行應(yīng)用。

四、產(chǎn)生巨大的數(shù)據(jù)價(jià)值。曾經(jīng)一段時(shí)間，人們陷入一定的誤區(qū)，認(rèn)為大數(shù)據(jù)只是分析社會(huì)媒體內(nèi)容和訪客情感分析。現(xiàn)在，由于迅速增長(zhǎng)的計(jì)算機(jī)電源（通常是基于云計(jì)算的）、開(kāi)源軟件（例如Apache的Hadoop發(fā)行版），以及如果利用得當(dāng)現(xiàn)代化對(duì)于數(shù)據(jù)可以產(chǎn)生經(jīng)濟(jì)價(jià)值的沖擊，大數(shù)據(jù)源源不斷地產(chǎn)生新的用途和應(yīng)用。大數(shù)據(jù)帶來(lái)了普通技術(shù)所無(wú)法實(shí)現(xiàn)的商業(yè)機(jī)會(huì)，也帶來(lái)了很多讓人欣喜的成果，其中包含了一些令人深思的用途，這在2013年年初曾經(jīng)在“福布斯”上的相關(guān)文章中報(bào)道過(guò)。

大數(shù)據(jù)為企業(yè)創(chuàng)造價(jià)值

有報(bào)道稱(chēng)，大數(shù)據(jù)的迅速增長(zhǎng)及相關(guān)技術(shù)的發(fā)展正在帶來(lái)全新的商業(yè)機(jī)遇。據(jù)《麻省理工學(xué)院斯隆管理評(píng)論》和IBM商業(yè)價(jià)值研究院聯(lián)合舉行的2011年新智能企業(yè)全球高管調(diào)查和研究項(xiàng)目指出，絕大多數(shù)企業(yè)都已抓住了這些機(jī)遇。2011年，58%的企業(yè)已經(jīng)將分析技術(shù)用于在市場(chǎng)或行業(yè)內(nèi)創(chuàng)造競(jìng)爭(zhēng)優(yōu)勢(shì)，而2010年這一比例僅為37%。值得注意的是，采用分析技術(shù)的企業(yè)持續(xù)超越同行的可能性要高兩倍。

中國(guó)石化股份有限公司副總工程師吳正宏在接受采訪時(shí)表示，大數(shù)據(jù)要想在企業(yè)中得到應(yīng)用，目前需要做三件事：找到適合的領(lǐng)域，形成可用的能力，在新技術(shù)條件下找到創(chuàng)新的業(yè)務(wù)模式。確定大數(shù)據(jù)這個(gè)技術(shù)要是否適用自身企業(yè)，能否保證安全，不同行業(yè)、不同企業(yè)對(duì)安全的要求不同，有些企業(yè)受一定限制，需要看政策法規(guī)是否允許實(shí)施云計(jì)算，這也是企業(yè)在進(jìn)行云計(jì)算、大數(shù)據(jù)時(shí)候要考慮的。CIO還要考慮自己的內(nèi)外部資源，一個(gè)新技術(shù)要想成功在企業(yè)中獲得應(yīng)用，CIO個(gè)人的能力也是非常重要的。新技術(shù)環(huán)境下，CIO要和業(yè)務(wù)部門(mén)共同探討如何才能讓新技術(shù)更好的推動(dòng)業(yè)務(wù)發(fā)展。CIO也要及時(shí)的將新技術(shù)介紹給業(yè)務(wù)部門(mén)，才能讓新技術(shù)健康發(fā)展，才能探討得出新的業(yè)務(wù)發(fā)展模式。

對(duì)于大多數(shù)企業(yè)來(lái)說(shuō)，數(shù)據(jù)都是其商業(yè)皇冠上最為耀眼奪目的那顆寶石。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應(yīng)用的拓展，商業(yè)決策已經(jīng)越來(lái)越依賴于數(shù)據(jù)。然而，傳統(tǒng)的商業(yè)智能系統(tǒng)中用以分析的數(shù)據(jù)，大都是企業(yè)自身信息系統(tǒng)中產(chǎn)生的運(yùn)營(yíng)數(shù)據(jù)，這些數(shù)據(jù)大都是標(biāo)準(zhǔn)化、結(jié)構(gòu)化的。事實(shí)上，這些數(shù)據(jù)只占到了企業(yè)所能獲取的數(shù)據(jù)中很小的一部分—不到15%。

中國(guó)氣象局國(guó)家氣象信息中心副總工程師沈文海認(rèn)為，氣象行業(yè)是一個(gè)標(biāo)準(zhǔn)的信息企業(yè)，從來(lái)都是以信息采集和信息處理、信息發(fā)布作為它的主要業(yè)務(wù)。改革開(kāi)放以來(lái)氣象行業(yè)發(fā)展的非常迅速，所有的主要建設(shè)投資是在信息設(shè)備采集以及信息使用方面，效果非常明顯。但是到了21世紀(jì)，信息化慢慢開(kāi)始發(fā)生變化。當(dāng)企業(yè)的基本設(shè)施都已經(jīng)建完，信息化進(jìn)入了溫飽狀態(tài)，信息化主管就應(yīng)該考慮新技術(shù)在本行業(yè)的適用問(wèn)題。大數(shù)據(jù)能夠降低用戶的使用門(mén)檻，大幅度提高效率，但是這些并不是氣象部門(mén)工作的重點(diǎn)，但是經(jīng)過(guò)對(duì)大數(shù)據(jù)的深入研究發(fā)現(xiàn)，目前自然災(zāi)害多發(fā)，各地氣象部門(mén)需要加強(qiáng)數(shù)據(jù)的采集，分析，增強(qiáng)業(yè)務(wù)能力。而各地建設(shè)水平參差不齊，如縣級(jí)和北、上、廣相比，差距太大，但是氣象災(zāi)害與經(jīng)濟(jì)發(fā)展水平又不成正比。最后，用“云”的方式，把系統(tǒng)和設(shè)備分開(kāi)，讓系統(tǒng)在云端運(yùn)行，縣局的預(yù)報(bào)員只要有終端設(shè)備，就能進(jìn)行氣象產(chǎn)品的制作。氣象部門(mén)采用服務(wù)化的方式把公共系統(tǒng)聚集在云端，讓功能普及的更加簡(jiǎn)化有條理。

大數(shù)據(jù)技術(shù)起源于互聯(lián)網(wǎng)、發(fā)展于互聯(lián)網(wǎng)。更多的CIO考慮的不是它是一種什么技術(shù)，而更關(guān)注大數(shù)據(jù)能解決什么問(wèn)題。未來(lái)CIO肯定要走在業(yè)務(wù)部門(mén)的前面，因?yàn)楫?dāng)業(yè)務(wù)部門(mén)找CIO的時(shí)候，很可能在競(jìng)爭(zhēng)中已經(jīng)落后了。

近日，IBM在京發(fā)布了白皮書(shū)《分析：大數(shù)據(jù)在現(xiàn)實(shí)世界中的應(yīng)用》，解析了最新的對(duì)大數(shù)據(jù)的“4V”定義理論，數(shù)量（Volume）、多樣性（Variety）、速度（Velocity）和真實(shí)性（Veracity），并為企業(yè)逐步開(kāi)展大數(shù)據(jù)舉措并從大數(shù)據(jù)中獲取最大商業(yè)價(jià)值提供了五項(xiàng)關(guān)鍵建議，包括：(1)以客戶為中心推動(dòng)初始舉措；(2)制定整個(gè)企業(yè)的大數(shù)據(jù)藍(lán)圖；(3)從現(xiàn)有數(shù)據(jù)開(kāi)始，實(shí)現(xiàn)近期目標(biāo)；(4)根據(jù)業(yè)務(wù)優(yōu)先級(jí)逐步建立分析能力；(5)基于可衡量的指標(biāo)制定投資回報(bào)分析。白皮書(shū)在實(shí)踐“大數(shù)據(jù)”的驅(qū)動(dòng)因素的調(diào)查中，除了“以客戶為中心”（49%的受訪者將其列為首要任務(wù)）之外，“大數(shù)據(jù)”在早期階段還用于實(shí)現(xiàn)其他的職能性目標(biāo)。近五分之一（18%）的受訪者把優(yōu)化運(yùn)營(yíng)列為首要目標(biāo)?！按髷?shù)據(jù)”的其它應(yīng)用則主要集中在風(fēng)險(xiǎn)和財(cái)務(wù)管理（15%）、實(shí)現(xiàn)新業(yè)務(wù)模式（14%）以及員工協(xié)作（4%）方面。由此可見(jiàn)，大數(shù)據(jù)正在走進(jìn)企業(yè)。

業(yè)務(wù)模式的發(fā)展歷史并不是一個(gè)存在于人們頭腦中虛無(wú)縹緲的概念，相反，它是一個(gè)不斷演變和進(jìn)化的生態(tài)系統(tǒng)?？v觀歷史上和現(xiàn)在的那些百年企業(yè)，他們的共同特點(diǎn)就是在于面對(duì)持續(xù)發(fā)生變化的環(huán)境，他們?cè)诔砷L(zhǎng)的過(guò)程中比其他企業(yè)擁有更為強(qiáng)大的進(jìn)化能力，能夠及時(shí)調(diào)整自己的戰(zhàn)略布局以適應(yīng)不斷變化著的商業(yè)生態(tài)。IBM的業(yè)務(wù)轉(zhuǎn)型已經(jīng)編撰成書(shū)，暢銷(xiāo)全球。因此，大數(shù)據(jù)在發(fā)展過(guò)程中，隨之帶來(lái)的企業(yè)業(yè)務(wù)模式的變化，正在悄然發(fā)生。

大數(shù)據(jù)時(shí)代的到來(lái)

全球范圍來(lái)看，大數(shù)據(jù)體現(xiàn)的巨大經(jīng)濟(jì)價(jià)值，成功地獲得了金融界和政界的親睞。據(jù)麥肯錫報(bào)道，大數(shù)據(jù)為美國(guó)的醫(yī)療服務(wù)業(yè)每年節(jié)省3000億美元，為歐洲的公共部門(mén)管理每年節(jié)省2500億歐元，為全球個(gè)人位置數(shù)據(jù)服務(wù)提供商貢獻(xiàn)1000億美元，幫助美國(guó)零售業(yè)凈利潤(rùn)增長(zhǎng)60%，幫助制造業(yè)在產(chǎn)品開(kāi)發(fā)、組裝等環(huán)節(jié)節(jié)省50%的成本。

此外，全新的、更具競(jìng)爭(zhēng)力的商業(yè)智能服務(wù)，這也是大數(shù)據(jù)最為吸引人的地方之一。傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的性能已無(wú)法應(yīng)付龐大的信息，但是大數(shù)據(jù)（Big Data）技術(shù)使我們能夠訪問(wèn)和使用這些寶貴的、大規(guī)模數(shù)據(jù)集以應(yīng)對(duì)越來(lái)越復(fù)雜的數(shù)據(jù)分析和更好的商業(yè)決策。制定大數(shù)據(jù)將改變商業(yè)智能 （BI）的布局，并能為企業(yè)提供一種有價(jià)值的數(shù)據(jù)源，這在當(dāng)下已經(jīng)成為了一種趨勢(shì)。

“大數(shù)據(jù)”所能帶來(lái)的巨大商業(yè)價(jià)值，將引領(lǐng)一場(chǎng)足以匹敵20世紀(jì)計(jì)算機(jī)革命的巨大變革這個(gè)結(jié)論并沒(méi)得到所有人的認(rèn)可，但似乎沒(méi)人否認(rèn)，大數(shù)據(jù)時(shí)代已經(jīng)“降臨”。