魏濤

【摘要】本文首先介紹了在當今大數(shù)據(jù)背景下，存儲與復制材料資料，從實體到數(shù)據(jù)信息的轉(zhuǎn)變到管理資料數(shù)據(jù)的方式等這些方面皆有大數(shù)據(jù)有關技術(shù)的引入與幫助；然后解釋了參考大數(shù)據(jù)技術(shù)方向和具體內(nèi)容來管理資料數(shù)據(jù)的方法和注意事項。

【關鍵詞】重要性；大數(shù)據(jù)之應用；資料數(shù)據(jù)管理；方法

一、引入大數(shù)據(jù)相關技術(shù)在資料分析中是不可或缺的

2012年5月29日，國家土地管理有關部門公布了國家首批近百個智慧城市試點，所謂智慧城市，很大一方面就是指應用新技術(shù)在大數(shù)據(jù)背景下革新管理和統(tǒng)計數(shù)據(jù)資料，然后合理規(guī)劃和發(fā)展城鄉(xiāng)建設，提高人民生活水平，促進城鎮(zhèn)發(fā)展達到一定的成績。這也說明國家非常重視該方面的建設與運用和重要性，國家也在穩(wěn)步推行和鼓勵該型城市的發(fā)展，推行聰明城市、聰明建設等方向，運用大數(shù)據(jù)等新型方法方式等等。之所以被稱作智慧城市，就是要遵循以下幾個原則，分別是：多用數(shù)據(jù)少用資源、多用數(shù)據(jù)多干活、多用數(shù)據(jù)少犯錯誤等原則。

（一）現(xiàn)在電子文件急需大數(shù)據(jù)技術(shù)做支撐。當今時代背景下，電子文件增長迅速，應對這些大量的電子類文件，我國長期以來往往采用直接鑒定的方式，但這種方式往往已經(jīng)不能適應時代的需求，將受到嚴重的挑戰(zhàn)。相關人員逐一鑒定每一份文件的原始文件有些不太現(xiàn)實了，所以此方面也向我們提出了更高的要求。此后，有人提出宏觀鑒定的方法。但困難的是無法快速的篩選出有價值的有用的文件類型與種類和具體內(nèi)容。還有怎么對這些電子文件進行快速分類是個棘手的問題，怎樣保存有用的文件也是個重要的問題。

為了解決上述問題，檔案工作者除了革新管理方法之外，還可以應用大數(shù)據(jù)的相關技術(shù)，創(chuàng)新式大膽使用最新的方式方法。在通常的設備設施上安裝升級數(shù)據(jù)傳感器，就可以海量的接受和處理數(shù)據(jù)，擴大儲存數(shù)據(jù)的存量。這個量級的大小可以達到每天TB，甚至每天PB的大小，是非?？捎^的。

（二）大數(shù)據(jù)技術(shù)同樣需要應用于非電子類文件的處理與應用。大數(shù)據(jù)包括很多種類，其中有結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)類型，當然還有非結(jié)構(gòu)類型的數(shù)據(jù)。非結(jié)構(gòu)型數(shù)據(jù)的應用目前有大幅增長的趨勢，尤其是在互聯(lián)網(wǎng)普遍應用的今天。至 2012 年末，非結(jié)構(gòu)類型的數(shù)據(jù)已經(jīng)超過一般，并有增長的趨勢。同時，數(shù)據(jù)不是單獨存在的。長期以來，人們對資料文件管理采用的是有關系類型的資料庫，IOE是最有代表性的之一：（I指IBM的硬件設施，O指Oracle的資料庫，E指EMC的存放方式）的方法，這同樣適用于檔案資料的管理行業(yè)，這種模式，指IOE似乎有些不能適應當今大數(shù)據(jù)處理的方式方法，顯得有些力不從心。這是因為大數(shù)據(jù)處理不僅僅指的是數(shù)據(jù)數(shù)量巨大，數(shù)據(jù)類型繁多，同時文件的數(shù)量也是空前的數(shù)不勝數(shù)，不再是隨隨便便幾個簡單的文件了，這就對傳統(tǒng)技術(shù)提出了挑戰(zhàn)。為此，怎樣處理文件相關系統(tǒng)層存下的元數(shù)據(jù)是一個問題，如果處理不好，會直接影響文件的處理效果和硬件的性能。為了應對快速增加的非結(jié)構(gòu)化數(shù)據(jù)資料，相關資料工作人員在進行電子或非電子資料處理應用時出現(xiàn)了很大的問題，但當下基于應用大數(shù)據(jù)相關技術(shù)數(shù)據(jù)庫的優(yōu)勢，如SQ L等數(shù)據(jù)處理方法不僅僅可以處理簡單的相關數(shù)據(jù)，同樣也應用于空間數(shù)據(jù)資料、數(shù)據(jù)流、圖形等相關方面，并且基本應用于相關內(nèi)容的存下結(jié)構(gòu)能夠在一個系統(tǒng)中處理十億等級別資料的相關數(shù)據(jù)，并且還不能類似于以前常用的存儲那樣遇見的原始數(shù)據(jù)處理的麻煩，大數(shù)據(jù)相關技術(shù)作為相關工作人員處理非結(jié)構(gòu)化的電子或非電子資料的麻煩提出了解決方法。

二、檔案管理運用大數(shù)據(jù)的策略

（一）資料數(shù)據(jù)需要備份復制和統(tǒng)一管理。依據(jù)計劃，灃東大數(shù)據(jù)產(chǎn)業(yè)園區(qū)將會實行數(shù)據(jù)的大規(guī)模統(tǒng)一化集中吸收發(fā)出、深度的整理處理、逐步變成國家政務材料幕后整理與復制中心。當前，中國聯(lián)通公司、中國移動公司和中國電信公司三大通信商家和國家人口數(shù)量數(shù)據(jù)產(chǎn)生與復制（古城西安）中心，這個例子對檔案資料管理部門及相關人員提供了很大的啟發(fā)。當今前檔案中心采取的是資料用電子設備備份，這樣既安全又方便。

（二）要積極尋找和尋求大數(shù)據(jù)相關技術(shù)公司。爭取與它們合作，從而積極發(fā)明開展適合資料檔案分析整理的工具技術(shù)。大數(shù)據(jù)相關技術(shù)內(nèi)容涉及很廣，很寬泛，包括很多方面，如果某個行業(yè)想要應用大數(shù)據(jù)相應技術(shù)，就要打破傳統(tǒng)思想，不要受專業(yè)限制的束縛，積極尋求合作，尤其是和大公司合作專業(yè)大數(shù)據(jù)業(yè)務，避免許多事。比如一家石油相關的公司，采油探油是他們的特長，但是對石油行業(yè)也有不懂的方面，到最后不得不請來一位北京大學的博士，他既懂石油，又知道未來發(fā)展的前景，最終構(gòu)成了三方合作三足鼎立的狀況，如果缺少開放、協(xié)同創(chuàng)造，共同創(chuàng)新的思想，想達到這樣的目的，得到這樣的結(jié)果太難了。

三、檔案處理用大數(shù)據(jù)相關技術(shù)一定要有明確的目標和標準

在運用大數(shù)據(jù)相關技術(shù)時，在整理和處理相關檔案數(shù)據(jù)時，一定要清楚自己需要什么，需要在數(shù)據(jù)中提取什么，否則就是純屬浪費時間和精力來處理數(shù)據(jù)。因此，首先要定義使用大數(shù)據(jù)的目標和標準，此后再找到合適的工具技術(shù)來處理數(shù)據(jù)、分析數(shù)據(jù)。

【參考文獻】

[1]張欣.解讀大數(shù)據(jù)時代下檔案管理的價值提升[J].理論觀察，2014（01）：108-109.