孫蕊

(中國財政雜志社)

隨著云時代的到來，大數據（Big Data）成為越來越多被提及的“熱詞”，被用來描述和定義今天如爆炸裂變般產生的海量信息以及與此次相關的技術等。這一“熱詞”占據了各類媒體的搶眼位置，風光地登上了《紐約時報》、《華爾街日報》的專欄封面，甚至被嗅覺靈敏的券商寫進投資推薦報告。面對如此火爆的場面，筆者不禁想問：大數據究竟指的是什么？如此炙手可熱的大數據又會給我們的思維方式帶來哪些變化？

“大數據”不只是數據

大數據從何而來？隨著計算機技術全面融入社會生活，信息爆炸由量變到質變，不僅信息總量增加，而且引起信息形態(tài)變化。最先經歷信息爆炸的天文學和基因學等學科，創(chuàng)造了“大數據”這一概念。如今，這一概念幾乎用在了所有領域中，大數據已經全方位地融入了我們的生活，不論你愿不愿意，不論你有沒有察覺，有沒有感覺到，大數據的性格就是這樣難以低調，讓你無法回避、不可無視！

那么大數據究竟是什么？是否有清晰明確的定義？關于大數據的定義，筆者簡單歸納了一下，比較常見的有這樣幾類描述：第一類是直接將大數據定義為信息或信息資產，比如：大數據是需要借助于新的處理技術或模式，才能具有更強的決策力、洞察力和流程優(yōu)化能力的，海量的、高速增長的和多樣化的信息資產。無獨有偶，類似的理解還有諸如：從數據的類別上看，“大數據”指的是無法依靠傳統(tǒng)流程或工具進行分析和處理的信息。相比第一類直接定義為信息或信息資產的說法，第二類是突出大數據的特點來理解其內涵。比如有人把大數據顧名思義籠統(tǒng)地解釋為“巨量資料”，強調其涉及的資料量規(guī)模極其巨大，究竟巨大到何種程度呢？具體來說，就是巨大到無法通過目前主流軟件工具，在合理時間內達到獲取、管理、處理并整理成為幫助企業(yè)經營決策更積極目的的資訊。實質上，這個定義只強調了資料規(guī)模巨大的程度，并未真正解釋大數據為何物。亞馬遜網絡服務（AWS）、大數據科學家JohnRauser給出的簡單說法似乎更為直觀，他認為大數據就是任何“超過了一臺計算機處理能力的龐大數據量”，這一說法雖然算不上定義，但也突出了大數據最顯著的特征——“大”。還有將大數據理解為“最大的宣傳技術”、“最時髦的技術”等說法。相比前兩類中這些含混晦澀的說法，在被譽為“大數據預言專家”的牛津大學網絡學院教授維克托·邁爾和《經濟學人》數據編輯肯尼思·庫克耶合著的《大數據時代》中，作者卻給出了更為坦誠的回答：“大數據并非一個確切的概念”，一語道破天機，這個沒有確切答案的回答反而讓我們對大數據的認識更清楚了一些。接著，作者又繼續(xù)闡釋，大數據概念的產生最初是由于信息量過大，超出了電腦的內存，從而催生了新的處理技術，例如谷歌的MapReduce和開源 Hadoop平臺（Hadoop最初源于雅虎，旨在通過一個高度可擴展的分布式批量處理系統(tǒng)，對大型數據集進行掃描，以獲取結果）。

綜合上述幾類理解不難發(fā)現(xiàn)，大數據可以說涵蓋了人類在大規(guī)模數據的基礎上能夠做到的所有事情，而這些事情是在小規(guī)模數據基礎上所無法完成的。從而我們可以得出結論：“大數據是人們獲得新的認知、創(chuàng)造新的價值的源泉；大數據還是改變市場、組織機構以及政府與公民關系的方法”。由此，離大數據的真面目，我們又近了一步，簡單來看，大數據并不只是數據，還包括“事情”、“技術”、“方法”等。雖然沒有明確界定，但我們是否也理解了“并非一個確切的概念”的涵義？

換句話說，大數據時代給我們帶來了前所未有的方式，讓我們可以通過對海量數據的分析，從中獲得有巨大價值的產品和服務或者深刻的洞見，最終產生推動變革的力量。

大數據之“大”

盡管沒有明確嚴格的定義，也不妨礙我們進一步了解大數據的特點。綜合前述各類關于大數據的說法，不難發(fā)現(xiàn)，它們都強調了一個共同點，那就是大數據之“大”，具體體現(xiàn)在大數據是一個體量特別巨大、數據類別極其繁多，數據來源非常廣泛、處理速度要求極高的數據集，因此無法用傳統(tǒng)的數據處理技術和數據庫管理工具(如目前企業(yè)普遍使用的關系型數據庫管理系統(tǒng))對其內容進行及時、有效的提取、管理和處理。業(yè)界把大數據的特點概括為4V，即Volume、Variety、Velocity、Veracity。特點之一，Volume指的是數據體量巨大，指的是一般規(guī)模達到10TB左右的大型數據集，但在企業(yè)的實際應用中，許多企業(yè)用戶通常把很多個數據集放在一起，從而躍升至PB級的數據量；特點之二，Variety指的是數據類別繁多，由于數據源多種多樣，使得數據的種類和格式也越來越豐富，已經突破了以往限定的結構化數據的范疇，從而將半結構化和非結構化數據也囊括其中；特點之三，Velocity指的是數據處理速度極快，如前所述，數據量的異常龐大超出了傳統(tǒng)處理技術和模式所能，從而要求并且能夠做到數據的實時處理；特點之四，Veracity指的是數據真實性強，隨著社交數據、企業(yè)交易與應用數據等新型數據源的產生和發(fā)展，突破了傳統(tǒng)數據源的局限，因而企業(yè)更加需要借助于準確有效的信息來確保數據的真實性和安全性。例如，亞馬遜建立的大數據系統(tǒng)，每天可以處理幾百萬的后臺業(yè)務操作和超過50萬次的第三方賣家查詢，其中包括三個基于Linux的數據庫系統(tǒng)，數據容量分別達到7.8TB、18.5TB和24.7TB。再如國際零售業(yè)巨頭沃爾瑪，其建立的大數據系統(tǒng)每小時可處理超過100萬次的客戶交易，存儲的數據量已經達到2560TB。

大數據帶來的思維變革

大數據起源于數據的充裕，大數據時代需要人們的思維發(fā)生三個重大的轉變，這三個轉變是相互聯(lián)系、相互作用的。

一是利用所有數據，而不是隨機樣本。過去，由于技術手段的局限，只能隨機抽取樣本，而且代價很高，費時費力。如今，云計算和數據庫的廣泛應用使得獲取和利用全部數據成為可能。

二是從精確到混雜。數據量的大幅增加導致結果的不準確性，同時，一些錯誤數據也會魚目混珠進入數據庫。小數據時代，我們要盡可能追求精確，而大數據時代，則要允許不精確，大數據通常用概率說話，而不是板著一副“確鑿無疑”的面孔。正如谷歌人工智能專家諾維格所說，大數據基礎上的簡單算法比小數據基礎上的復雜算法更加有效。這一點無疑對人類固有的傳統(tǒng)思維提出了嚴峻的挑戰(zhàn)，因為在過去的很多年里，“精確性”一直是我們深信不疑的標準，也是追求的目標，我們通常習慣于“釘是釘，鉚是鉚”的理念，仿佛只有如此才能帶給我們安全感。然而大數據時代要求我們必須做出改變，接受混亂、接受錯誤、接受不確定性。的確，很多問題不止有一種答案，只有認識到差異的存在、接受異己之見，人類才能真正進步，從而更加接近我們想要探索和尋求的真相。

三是尋求相關關系，而不是因果關系。這一認識可謂顛覆了千百年來人類的思維慣例，對人們的認知和與世界交流的方式提出了全新的挑戰(zhàn)。

這一點《大數據時代》的譯者并不贊同其作者的看法，我們且不去論誰是誰非，只去理解這一觀點想表達的意思。之所以強調相關關系，主要原因之一是“相關關系分析法更準確、更快，而且不易受偏見的影響”；更重要的是，這一觀點的提出是從大數據的核心價值出發(fā)，指出“建立在相關關系分析法基礎上的預測是大數據的核心”。明白了這一點，就不難理解維克托·邁爾為何反復強調不去問“為什么”、而要探究“是什么”了。例如，亞馬遜著名的推薦算法，能根據消費記錄來判斷用戶可能會喜歡什么，這些消費記錄有可能是別人的，也有可能是該用戶歷史上的，但不能說出用戶為什么會喜歡這些產品的原因。不能不承認，相關性的確很重要、很有用，但是否就意味著因果關系就毫無價值可言了呢？事實并非如此，維克托·邁爾也承認：“因果關系還是有用的，但是它將不再被看成是意義來源的基礎?！庇纱丝磥?，之所以強調相關關系分析是指其對于達到預測這一目的至關重要。

由上可見，大數據帶來的信息風暴可以說是為人類開啟了一次重大的時代轉型，不僅改變著人類的思維方式、行為方式，而且將給商業(yè)模式和管理模式帶來巨大的變革，如亞馬遜、蘋果、谷歌、微軟、Facebook、Twitter、IBM等這些大數據的先行者已經形成了許多頗具價值的應用案例，等待我們進一步研究、挖掘。大數據時代充滿挑戰(zhàn)，也帶來更多的機遇，誰能掌握海量的數據以及數據分析方法，誰就將在大數據時代勝出。因此，唯有認識大數據，了解大數據，適應大數據，才能掌控大數據，使大數據更好地為我們所用，我們也才能學會“用數據說話”！