岳曉寧, 丁 宇(沈陽大學 . 師范學院; . 信息工程學院, 遼寧 沈陽 110044)

?

大數(shù)據(jù)時代統(tǒng)計學重構(gòu)淺析

岳曉寧a, 丁 宇b
(沈陽大學 a. 師范學院; b. 信息工程學院, 遼寧 沈陽 110044)

基于大數(shù)據(jù)特征,統(tǒng)計學的抽樣理論和總體理論的存在價值、統(tǒng)計方法的重構(gòu)及統(tǒng)計結(jié)果評價標準的重建等成為統(tǒng)計學理論面臨解決的首要問題.為適應(yīng)大數(shù)據(jù)時代的發(fā)展,分析了大數(shù)據(jù)時代傳統(tǒng)統(tǒng)計學所面臨的機遇與挑戰(zhàn),對傳統(tǒng)統(tǒng)計學的繼承、發(fā)展和完善,重構(gòu)大數(shù)據(jù)時代新的統(tǒng)計理論有其重要意義.

大數(shù)據(jù); 統(tǒng)計學; 數(shù)據(jù)分析; 抽樣理論; 理論重構(gòu)

隨著信息科學技術(shù)的高速度發(fā)展,當代獲取和儲存數(shù)據(jù)信息的能力不斷增強而成本不斷下降,這為大數(shù)據(jù)的應(yīng)用提供了必要的技術(shù)環(huán)境和可能.應(yīng)用大數(shù)據(jù)技術(shù)的優(yōu)勢愈來愈明顯,它的應(yīng)用能夠幫助人類獲取真正有價值的數(shù)據(jù)信息.近年來,專家學者有關(guān)大數(shù)據(jù)技術(shù)問題進行了大量的研究工作[1],很多領(lǐng)域也都受到了大數(shù)據(jù)分析的影響.這個時代將大數(shù)據(jù)稱為未來的石油,它必將對這個時代和未來的社會經(jīng)濟以及科學技術(shù)的發(fā)展產(chǎn)生深遠的意義和影響.

目前對于大數(shù)據(jù)概念,主要是從數(shù)據(jù)來源和數(shù)據(jù)的處理工具與處理難度方面考慮,但國內(nèi)外專家學者各有各的觀點,并沒有給出一致的精確定義.麥肯錫全球數(shù)據(jù)分析研究所指出大數(shù)據(jù)是數(shù)據(jù)集的大小超越了典型數(shù)據(jù)庫工具集合、存儲、管理和分析能力的數(shù)據(jù)集,大數(shù)據(jù)被Gartner定義為極端信息管理和處理一個或多個維度的傳統(tǒng)信息技術(shù)問題[2-3].目前得到專家們認可的一種觀點,即:“超大規(guī)?！笔荊B級數(shù)據(jù),“海量”是TB級數(shù)據(jù),而“大數(shù)據(jù)”是PB及其以上級別數(shù)據(jù)[2].一些研究學者把大數(shù)據(jù)特征進行概括,稱其具有數(shù)據(jù)規(guī)模巨大、類型多樣、可利用價值密度低和處理速度快等特征,同時特別強調(diào)大數(shù)據(jù)區(qū)別于其他概念的最重要特征是快速動態(tài)變化的數(shù)據(jù)和形成流式數(shù)據(jù).大數(shù)據(jù)技術(shù)發(fā)展所面臨的問題是數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)分析、數(shù)據(jù)顯示和數(shù)據(jù)安全等.大數(shù)據(jù)的數(shù)據(jù)量大、多樣性、復(fù)雜性及實時性等特點,使得數(shù)據(jù)存儲環(huán)境有了很大變化[4-5],而大部分傳統(tǒng)的統(tǒng)計方法只適合分析單個計算機存儲的數(shù)據(jù),這些問題無疑增加了數(shù)據(jù)處理和整合的困難.數(shù)據(jù)分析是大數(shù)據(jù)處理的核心過程,同時它也給傳統(tǒng)統(tǒng)計學帶來了巨大的挑戰(zhàn)[6].產(chǎn)生大數(shù)據(jù)的數(shù)據(jù)源通常情況下具有高速度性和實時性,所以要求數(shù)據(jù)處理和分析系統(tǒng)也要有快速度和實時性特點,而傳統(tǒng)統(tǒng)計分析方法通常不具備快速和實時等特點.

基于大數(shù)據(jù)的特點,傳統(tǒng)的數(shù)據(jù)統(tǒng)計理論已經(jīng)不能適應(yīng)大數(shù)據(jù)分析與研究的范疇,傳統(tǒng)統(tǒng)計學面臨著巨大的機遇與挑戰(zhàn),然而為了適應(yīng)大數(shù)據(jù)這一新的研究對象,傳統(tǒng)統(tǒng)計學必須進行改進,以繼續(xù)和更好的服務(wù)于人類.目前國內(nèi)外將大數(shù)據(jù)和統(tǒng)計學相結(jié)合的研究文獻并不多.

本文對大數(shù)據(jù)時代這一特定環(huán)境背景,統(tǒng)計學的抽樣理論和總體理論的存在價值、統(tǒng)計方法的重構(gòu)及統(tǒng)計結(jié)果的評價標準的重建等問題進行分析與研究.

1 傳統(tǒng)意義下的統(tǒng)計學

廣泛的統(tǒng)計學包括三個類型的統(tǒng)計方法:①處理大量隨機現(xiàn)象的統(tǒng)計方法,比如概率論與數(shù)理統(tǒng)計方法.②處理非隨機非概率的描述統(tǒng)計方法,如指數(shù)編制、社會調(diào)查等方法.③處理和特定學科相關(guān)聯(lián)的特殊方法,如經(jīng)濟統(tǒng)計方法、環(huán)境科學統(tǒng)計方法等[7].

受收集、處理數(shù)據(jù)的工具和能力的限制,人們幾乎不可能收集到全部的數(shù)據(jù)信息,因此傳統(tǒng)的統(tǒng)計學理論和方法基本上都是在樣本上進行的.或者即使能夠得到所有數(shù)據(jù),但從實際角度出發(fā),因所需成本過大,也會放棄搜集全部數(shù)據(jù).然而,選擇最佳的抽樣方法和統(tǒng)計分析方法,也只能最大程度還原總體一個特定方面或某些方面的特征.事實上我們所察覺到的數(shù)據(jù)特征也只是總體大量特征中的一小部分,更多的其他特征尚待發(fā)掘.

總之,傳統(tǒng)統(tǒng)計學是建立在抽樣理論基礎(chǔ)上,以點帶面的統(tǒng)計分析方法,強調(diào)因果關(guān)系的統(tǒng)計分析結(jié)果,推斷所測對象的總體本質(zhì)的一門科學,是通過搜集、整理和分析研究數(shù)據(jù)從而探索數(shù)據(jù)內(nèi)部存在規(guī)律的一門科學.

2 統(tǒng)計學是大數(shù)據(jù)分析的核心

數(shù)的產(chǎn)生基于三個要素,分別是數(shù)、量和計量單位.在用數(shù)來表示事物的特征并采用了科學的計量單位后,就產(chǎn)生了真正意義上的數(shù)據(jù),即有根據(jù)的數(shù).科學數(shù)據(jù)是基于科學設(shè)計,通過使用觀察和測量獲得的數(shù)據(jù),認知自然現(xiàn)象和社會現(xiàn)象的變化規(guī)律,或者用來檢驗已經(jīng)存在的理論假設(shè),由此得到了具有實際意義和理論意義的數(shù)據(jù).從數(shù)據(jù)中獲得科學數(shù)據(jù)的理論,即統(tǒng)計學理論.科學數(shù)據(jù)是通過統(tǒng)計學理論獲得的,而統(tǒng)計學理論是為獲得科學數(shù)據(jù)而產(chǎn)生的一門科學.

若說數(shù)據(jù)是傳達事物特征的精確語言,進行科學研究的必備條件,認知世界的重要工具,那么大數(shù)據(jù)分析就是讓數(shù)據(jù)最大限度地發(fā)揮功能,充分表達并有效滿足不同需求的基本要求.基于統(tǒng)計學的發(fā)展史及在數(shù)據(jù)分析中的作用,完成將數(shù)據(jù)轉(zhuǎn)化為知識、挖掘數(shù)據(jù)內(nèi)在規(guī)律、通過數(shù)據(jù)發(fā)現(xiàn)并解決實際問題、預(yù)測可能發(fā)生的結(jié)果等是研究大數(shù)據(jù)的任務(wù),而這必然離不開統(tǒng)計學.以大數(shù)據(jù)為研究對象,通過數(shù)據(jù)挖掘、提取、分析等手段探索現(xiàn)象內(nèi)在本質(zhì)的數(shù)據(jù)科學必須在繼承或改進統(tǒng)計學理論的基礎(chǔ)上產(chǎn)生.

統(tǒng)計數(shù)據(jù)的發(fā)展變化經(jīng)歷了一系列過程,從只能收集到少量的數(shù)據(jù)到盡量多地收集數(shù)據(jù),到科學利用樣本數(shù)據(jù),再到綜合利用各類數(shù)據(jù),以至于發(fā)展到今天的選擇使用大數(shù)據(jù)的過程.而統(tǒng)計分析為了適應(yīng)數(shù)據(jù)可觀察集的不斷增大,也經(jīng)歷了相應(yīng)的各個不同階段,產(chǎn)生了統(tǒng)計分組法、大量觀察法、歸納推斷法、綜合指標法、模型方程法和數(shù)據(jù)挖掘法等分析方法,并且借助計算機以及其他軟件的程度也越來越深.300多年來,隨著數(shù)據(jù)量以指數(shù)速度的不斷增長,統(tǒng)計學圍繞如何搜集、整理和分析數(shù)據(jù)而展開,合理構(gòu)建了應(yīng)用方法體系,幫助各個學科解決了許多復(fù)雜問題.現(xiàn)在進入了大數(shù)據(jù)時代,統(tǒng)計學依舊是數(shù)據(jù)分析的靈魂,大數(shù)據(jù)分析是數(shù)據(jù)科學賦予統(tǒng)計學的新任務(wù).對于統(tǒng)計學而言,來自新時代的數(shù)據(jù)科學挑戰(zhàn)有可能促使新思想、新方法和新技術(shù)產(chǎn)生,這一挑戰(zhàn)也意味著對于統(tǒng)計學理論將面臨巨大的機遇.

3 統(tǒng)計學在大數(shù)據(jù)時代下必須改革

傳統(tǒng)統(tǒng)計學是通過對總體進行抽樣來搜索數(shù)據(jù),對樣本數(shù)據(jù)進行整理、分析、描述等,從而推斷所測對象的總體本質(zhì),甚至預(yù)測總體未來的一門綜合性學科.從研究對象到統(tǒng)計結(jié)果的評判標準都是離不開樣本的抽取,完全不能適應(yīng)大數(shù)據(jù)的4V特點,所以統(tǒng)計學為適應(yīng)大數(shù)據(jù)技術(shù)的發(fā)展,必須進行改革.

從學科發(fā)展角度出發(fā),大數(shù)據(jù)對海量數(shù)據(jù)進行存儲、整合、處理和分析,可以看成是一種新的數(shù)據(jù)分析方法.數(shù)據(jù)關(guān)系的內(nèi)在本質(zhì)決定了大數(shù)據(jù)和統(tǒng)計學之間必然存在聯(lián)系,大數(shù)據(jù)對統(tǒng)計學的發(fā)展提出了挑戰(zhàn),體現(xiàn)在大樣本標準的調(diào)整、樣本選取標準和形式的重新確定、統(tǒng)計軟件有待升級和開發(fā)及實質(zhì)性統(tǒng)計方法的大數(shù)據(jù)化.但是也提供了一個機遇,體現(xiàn)在統(tǒng)計質(zhì)量的提高、統(tǒng)計成本的下降、統(tǒng)計學作用領(lǐng)域的擴大、統(tǒng)計學科體系的延伸以及統(tǒng)計學家地位的提升[7].

3.1 大數(shù)據(jù)時代抽樣和總體理論存在價值

傳統(tǒng)統(tǒng)計學中的樣本數(shù)據(jù)來自總體,而總體是客觀存在的全體,可以通過觀測到的或經(jīng)過抽樣而得到的數(shù)據(jù)來認知總體.但是在大數(shù)據(jù)時代,不再是隨機樣本,而是全部的數(shù)據(jù),還需要假定一個看不見摸不著的總體嗎?如果將大數(shù)據(jù)看成一個高維度的大樣本集合,針對樣本大的問題,按照傳統(tǒng)統(tǒng)計學的方法,可以采用抽樣的方法來減少樣本容量,并且可以達到需要的精度;對于維度高的問題,可以采取對變量進行選擇、降維、壓縮、分解等方法來降低數(shù)據(jù)的復(fù)雜程度.但實際上很難做得到,大數(shù)據(jù)涵蓋多學科領(lǐng)域、多源、混合的數(shù)據(jù),各學科之間的數(shù)據(jù)融合,學科邊界模糊,各范疇的數(shù)據(jù)集互相重疊,合成一體,而且大數(shù)據(jù)涉及到各種數(shù)據(jù)類型.因此想要通過抽樣而使數(shù)據(jù)量達到傳統(tǒng)統(tǒng)計學的統(tǒng)計分析能力范圍是一件相當困難或是一件不可能的事.大量的結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)交織在一起,系統(tǒng)首先要認清哪個是有價值的信息,哪個是噪聲,以及哪些不同類型的數(shù)據(jù)信息來自于同一個地址的數(shù)據(jù)源,等等,傳統(tǒng)的統(tǒng)計學是無法做到的.

在大數(shù)據(jù)時代下,是否需要打破傳統(tǒng)意義的抽樣理論、總體及樣本等概念和關(guān)系,是假設(shè)“樣本=總體”,還是“樣本趨近于總體”,還是不再使用總體和樣本這兩個概念,而重新定義一個更合適的概念,等等.人們該怎樣“安排”抽樣、總體及樣本等理論,或人們該怎樣修正抽樣、總體、樣本的“公理化”定義,這個問題是大數(shù)據(jù)時代下,傳統(tǒng)統(tǒng)計學面臨改進的首要問題.

3.2 統(tǒng)計方法在大數(shù)據(jù)時代下的重構(gòu)問題

在大數(shù)據(jù)時代下,傳統(tǒng)的高維度表達、結(jié)構(gòu)描述和群體行為分析方法已經(jīng)不能精確表達大數(shù)據(jù)在異構(gòu)性、交互性、時效性、突發(fā)性等方面的特點,傳統(tǒng)的“假設(shè)-模型-檢驗”的統(tǒng)計方法受到了質(zhì)疑,而且從“數(shù)據(jù)”到“數(shù)據(jù)”的統(tǒng)計模式還沒有真正建立,急切需要一個新的理論體系來指引,從而建立新的分析模型.去除數(shù)據(jù)噪聲、篩選有價值的數(shù)據(jù)、整合不同類型的數(shù)據(jù)、快速對數(shù)據(jù)做出分析并得出分析結(jié)果等一系列問題都有待于研究.

大數(shù)據(jù)分析涉及到三個維度,即時間維度、空間維度和數(shù)據(jù)本身的維度,怎樣才能全面、深入地分析大數(shù)據(jù)的復(fù)雜性與特性,掌握大數(shù)據(jù)的不確定性,構(gòu)建高效的大數(shù)據(jù)計算模型,變成了大數(shù)據(jù)分析的突破口.

科學數(shù)據(jù)的演變是一個從簡單到復(fù)雜的各種形式不斷豐富、相互包容的過程,是一個循序漸進的過程,而不是簡單的由一種形式取代另一種形式.研究科學數(shù)據(jù)的統(tǒng)計學理論也是一樣,也是由簡單到復(fù)雜的各種形式相互包容、不斷豐富的發(fā)展過程,而絕不是完全否定一種理論、由另一種理論形式所代替.大數(shù)據(jù)時代的到來統(tǒng)計學理論必須要進行不斷的完善和發(fā)展,以適應(yīng)呈指數(shù)增長的數(shù)據(jù)量的大數(shù)據(jù)分析的需要.

3.3 如何構(gòu)建大數(shù)據(jù)時代下統(tǒng)計結(jié)果的評價標準框架

大數(shù)據(jù)時代下,統(tǒng)計分析評價的標準又該如何變化? 傳統(tǒng)統(tǒng)計分析的評價標準有兩個方面,一是可靠性評價,二是有效性評價,然而這兩種評價標準都因抽樣而生.

可靠性評價是指用樣本去推斷總體有多大的把握程度,一般用概率來衡量.可靠性評價有時表現(xiàn)為置信水平,有時表現(xiàn)為顯著性水平[8].怎么確定顯著性水平一直是個存在爭議的問題,特別是在模型擬合度評價和假設(shè)檢驗中,因為各自參照的分布類型不一樣,其統(tǒng)計量就不一樣,顯著性評價的臨界值也就不一樣,可是臨界值又與顯著性水平的高低直接相關(guān).而大數(shù)據(jù)在一定程度上是全體數(shù)據(jù),因此不存在以樣本推斷總體的問題,那么在這種情況下,置信水平、可靠性問題怎么確定?依據(jù)是什么?

有效性評價指的是真實性,即為誤差的大小,它與準確性、精確性有關(guān).通常準確性是指觀察值與真實值的吻合程度,一般是無法衡量的,而精確性用抽樣分布的標準差來衡量.顯然,精確性是針對樣本數(shù)據(jù)而言的,也就是說樣本數(shù)據(jù)有精確性問題,同時也有準確性問題.抽樣誤差和非抽樣誤差都可能存在于樣本數(shù)據(jù)中,抽樣誤差可以計算和控制,但是非抽樣誤差只能通過各種方式加以識別或判斷[9-10].大多數(shù)情況下,對于樣本量不是太大的樣本,非抽樣誤差可以得到較好的防范,然而對于大數(shù)據(jù)的全體數(shù)據(jù)而言,沒有抽樣誤差問題,只有非抽樣誤差問題,也就是說大數(shù)據(jù)的真實性只表現(xiàn)為準確性.但是由于大數(shù)據(jù)特有的種種特性,使得大數(shù)據(jù)的非抽樣誤差很難進行防范、控制,也很難對其進行準確性評價.

總之,對于大數(shù)據(jù)分析來說,有些統(tǒng)計分析理論是否還有意義,確切說有哪些統(tǒng)計學中的理論可以適用于大數(shù)據(jù)分析,而哪些統(tǒng)計學中的理論需要改進,哪些統(tǒng)計學中的理論已不再適用于大數(shù)據(jù)統(tǒng)計研究,等等,都有待于研究.所以大數(shù)據(jù)時代的統(tǒng)計學必是在繼承中求改進,改進中求發(fā)展,重構(gòu)適應(yīng)大數(shù)據(jù)時代的新統(tǒng)計學理論.

4 結(jié) 論

來自于社會各種數(shù)據(jù)源的數(shù)據(jù)量呈指數(shù)增長,大數(shù)據(jù)對社會發(fā)展的推動力呈指數(shù)效應(yīng),大數(shù)據(jù)已是生命活動的主要承載者.一個新事物的出現(xiàn),必然導致傳統(tǒng)觀念和傳統(tǒng)技術(shù)的變革.對傳統(tǒng)統(tǒng)計學來說,大數(shù)據(jù)時代的到來無疑是一個挑戰(zhàn),雖然傳統(tǒng)統(tǒng)計學必須做出改變,但是占據(jù)主導地位的依然會是統(tǒng)計學,它會引領(lǐng)人類合理分析利用大數(shù)據(jù)資源.

大數(shù)據(jù)給統(tǒng)計學帶來了機遇和挑戰(zhàn),統(tǒng)計學家們應(yīng)該積極學習新事物,適應(yīng)新環(huán)境,努力為大數(shù)據(jù)時代創(chuàng)造出新的統(tǒng)計方法,擴大統(tǒng)計學的應(yīng)用范圍.

[ 1 ] 陳冬玲,曾文. 頻繁模式挖掘中基于CFP的應(yīng)用模型[J]. 沈陽大學學報(自然科學版), 2015,27(4):296-300. (CHEN D L,ZENG W. Application model based on CFP in mining frequent patterns[J]. Journal of Shenyang University(Natural Science), 2015,27(4):296-300.)

[ 2 ] STEPHEN K,FRANK A J,ALBERO E,et al. Big data: issues and chalenegers moving forward[C]∥Proceedings of the 46thAnnual Hawaii International Conference on System Sciences, HICCSS 2013. Washington: IEEE Computer Society, 2013:995-1004.

[ 3 ] 卞友江. “大數(shù)據(jù)”概念考辨[J]. 新聞研究導刊, 2013,35(5):25-28. (BIAN Y J. Research on the concept of "big data"[J]. News Herald, 2013,35(5):25-28.)

[ 4 ] Committee on the Analysis of Massive Data. Frontiers in massive data analysis[M]. Washington: National Academies Press, 2013.

[ 5 ] 靳小龍,王元卓,程學旗. 大數(shù)據(jù)的研究體系與現(xiàn)狀[J]. 信息通信技術(shù), 2013(6):35-43. (JIN X L,WANG Y Z,CHENG X Q. Research system and status of big data[J]. Information and Communication Technology, 2013(6):35-43.)

[ 6 ] 覃雄派,王會舉,杜小勇,等. 大數(shù)據(jù)分析: Rdbms與Mapreduce的競爭與共生[J]. 軟件學報, 2012,23(1):32-45. (QIN X P,WANG H J,DU X Y,et al. Big data analysis: competition and symbiosis of Rdbms and Mapreduce[J]. Journal of Software, 2012,23(1):32-45.)

[ 7 ] 游士兵,張佩,姚雪梅. 大數(shù)據(jù)對統(tǒng)計學的挑戰(zhàn)和機遇[J]. 珞珈管理評論, 2013(2):165-171. (YOU S B,ZHANG P,YAO X M. The challenge and opportunity of statistics under the age of big data[J]. Luojia Management Review, 2013(2):165-171.)

[ 8 ] 李金昌. 大數(shù)據(jù)與統(tǒng)計新思維[J]. 統(tǒng)計研究, 2014,31(1):10-17. (LI J C. Big data and new mine on statistics[J]Statistical Research, 2014,31(1):10-17.)

[ 9 ] CHAPMAN A,ALLEN M D,BLAUSTEIN B. It’s about the data: provenance as a tool for assessing data fitness[C]∥The 4thUSENIX Workshop on the Theory and Practice of Provenance. Berkclcy, CA: USENIX Association, 2012:8.

[10] 付凱. 詢問法市場調(diào)研中的非抽樣誤差研究[D]. 南京:南京航空航天大學, 2005. (FU K. Research ofnon-sampling error on marketing research based on inquiry approach[D]. Nanjing: Nanjing University of Aeronautics and Astronautics, 2005.)

【責任編輯: 肖景魁】

Brief Analysis of Statistical Reconstruction in Big Data Era

YueXiaoninga,DingYub

(a. Nomal College, b. School of Information Engineering, Shenyang University, Shenyang 110044, China)

Based on the characteristics of big data, it has became the statistical theoretical primary problem that they are the existential value of the statistical sampling theory and the general theory, the refactor of statistical methods and the reconstruction of evaluation criterion for statistical results. In order to accommodate the development of the big data era, the opportunities and challenges of traditional statistics in this era are analyzed. It is of great significance to inherit, develop and perfect the traditional statistics, and reconstruct the new statistical theory in the era of large data.

big data; statistics; data analysis; sampling theory; theoretical reconstruction

2016-10-27

沈陽市科技計劃資助項目(F14-129-9-00).

岳曉寧(1962-),女,遼寧沈陽人,沈陽大學教授,博士.

2095-5456(2017)03-0250-04

O 236

A