施利萍

摘 要 隨著自媒體社會(huì)網(wǎng)絡(luò)的快速發(fā)展，大量網(wǎng)絡(luò)數(shù)據(jù)的產(chǎn)生，給網(wǎng)絡(luò)輿情監(jiān)控帶來了嚴(yán)峻的挑戰(zhàn)。本文分析了大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)輿情的現(xiàn)狀和特點(diǎn)，通過對(duì)大數(shù)據(jù)的主要技術(shù)Hadoop技術(shù)的研究，結(jié)合突發(fā)公共事件的特點(diǎn)，探索了如何構(gòu)建基于Hadoop平臺(tái)的突發(fā)公共事件網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)。

關(guān)鍵詞 突發(fā)公共事件 網(wǎng)絡(luò)輿情 Hadoop

中圖分類號(hào)：C91 文獻(xiàn)標(biāo)識(shí)碼：A

1大數(shù)據(jù)時(shí)代對(duì)網(wǎng)絡(luò)輿情監(jiān)控的影響

隨著近年來我國網(wǎng)民數(shù)量的激增和移動(dòng)智能設(shè)備的普及，社交網(wǎng)絡(luò)等新媒體工具逐漸滲透到人們的生活當(dāng)中，突發(fā)公共事件在網(wǎng)上傳播的速度越來越快，人們對(duì)突發(fā)公共事件的關(guān)注度越來越高。網(wǎng)絡(luò)傳播中的各類信息，既有積極的、正面的，也有虛假的、反動(dòng)的不良言論。部分社會(huì)矛盾在網(wǎng)民的關(guān)注下，會(huì)急劇放大、集聚、引爆，一旦失去控制將進(jìn)一步危害國家安全和社會(huì)穩(wěn)定。因此針對(duì)網(wǎng)絡(luò)輿論的管理及監(jiān)控，政府部門需要進(jìn)行有效的引導(dǎo)和治理，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)輿情的實(shí)時(shí)監(jiān)控，防止事態(tài)惡化。而借助大數(shù)據(jù)技術(shù)的優(yōu)勢(shì)，輿情信息工作部門可以從網(wǎng)上海量的、多樣的信息數(shù)據(jù)中迅速分析、挖掘出有價(jià)值的輿情信息，大數(shù)據(jù)將在突發(fā)公共事件網(wǎng)絡(luò)輿情信息工作中發(fā)揮重要的作用。

2大數(shù)據(jù)在網(wǎng)絡(luò)輿情中的應(yīng)用

2.1突發(fā)公共事件輿情監(jiān)控系統(tǒng)

突發(fā)公共事件網(wǎng)絡(luò)輿情監(jiān)測(cè)系統(tǒng)主要通過在線收集定位網(wǎng)絡(luò)信息，識(shí)別有害消息，利用統(tǒng)計(jì)分析進(jìn)行輿情識(shí)別發(fā)現(xiàn)，然后發(fā)布預(yù)警公告。該類系統(tǒng)一般具有信息采集、信息預(yù)處理和分析與輿情服務(wù)三大功能。信息采集部分實(shí)現(xiàn)自動(dòng)抓取數(shù)據(jù)源（論壇、博客、網(wǎng)站、微信、微博等）上新聞、帖子發(fā)布及回復(fù)、聊天記錄等信息；通過網(wǎng)頁去重、標(biāo)準(zhǔn)化、關(guān)鍵詞篩選、主題分析等工作對(duì)信息預(yù)處理后識(shí)別出有價(jià)值的信息，分析事件的背景和特征，分析事件的關(guān)聯(lián)性、背后隱藏的規(guī)律和發(fā)展趨勢(shì)，提供突發(fā)公共事件預(yù)警支持；最后將輿情信息用圖表方式直觀化、拓寬報(bào)送及發(fā)送渠道，利用移動(dòng)互聯(lián)技術(shù)實(shí)現(xiàn)輿情信息集納和推送。

2.2關(guān)鍵技術(shù)Hadoop技術(shù)

當(dāng)前國內(nèi)外許多機(jī)構(gòu)開展了關(guān)于云計(jì)算技術(shù)的研究，其中最為著名的是由Apache 開發(fā)，基于Google文件系統(tǒng)設(shè)計(jì)思想的Hadoop開源框架。Hadoop是當(dāng)前較為流行的分布式計(jì)算框架，它為處理海量數(shù)據(jù)，充分發(fā)揮集群的處理能力以及存儲(chǔ)能力提供了方案。Hadoop平臺(tái)基礎(chǔ)架構(gòu)由三大核心組件組成，分別是分布式計(jì)算模型MapReduce、分布式文件系統(tǒng)HDFS（Hadoop Distrubuted File System）、數(shù)據(jù)倉庫工具Hive和分布式數(shù)據(jù)庫HBase。

3基于Hadoop平臺(tái)的突發(fā)公共事件網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)

3.1輿情信息采集和存儲(chǔ)

將來自于網(wǎng)站、微信、微博、論壇等國內(nèi)外著名網(wǎng)站的輿情數(shù)據(jù)，采用網(wǎng)頁抽取技術(shù)，可進(jìn)行關(guān)鍵詞采集、語義話題采集，通過關(guān)鍵詞管理、URL管理、過濾詞典及分類管理等系統(tǒng)管理配置，同時(shí)進(jìn)行網(wǎng)頁解析，利用Dom 解析html 和抽取信息。

Hadoop平臺(tái)上，通過HDFS就能實(shí)現(xiàn)文件的讀寫，但為了使數(shù)據(jù)更清晰、程序更簡便，選擇將數(shù)據(jù)寫入HBase。完全分布模式下HBase的運(yùn)行基于HDFS文件系統(tǒng)，HBase處在HDFS和MapReduce的中間，可通過MapReduce實(shí)現(xiàn)算法對(duì)HBase進(jìn)行操作，系統(tǒng)將經(jīng)過預(yù)處理的用戶數(shù)據(jù)上傳到HBase分布式數(shù)據(jù)庫中。HDFS作為面向大數(shù)據(jù)應(yīng)用的分布式文件系統(tǒng)，在底層提供高性能的硬件資源管理和存儲(chǔ)管理支持，實(shí)現(xiàn)輿情大數(shù)據(jù)的高效存取和交換。Hive作為建立數(shù)據(jù)倉庫模型的ETL工具，對(duì)信息數(shù)據(jù)進(jìn)行提?。‥xtract）、轉(zhuǎn)換（Transform）、加載（Load）等處理過程，形成數(shù)據(jù)索引和輿情詞匯庫，建立輿情數(shù)據(jù)倉庫，將這些信息數(shù)據(jù)加載到Hbase數(shù)據(jù)庫中，Hbase采用面向列的稀疏存儲(chǔ)模式，以非關(guān)系型數(shù)據(jù)庫N0SQL替代傳統(tǒng)關(guān)系型數(shù)據(jù)庫，解決當(dāng)前web2.0社交網(wǎng)絡(luò)大規(guī)模、高并發(fā)的數(shù)據(jù)處理問題。

3.2輿情監(jiān)控分析

輿情監(jiān)控分析是系統(tǒng)的關(guān)鍵模塊，主要完成最新消息、熱點(diǎn)話題、活躍人物追蹤、熱點(diǎn)區(qū)域追蹤、傳播途徑分析、走勢(shì)分析、網(wǎng)絡(luò)社會(huì)關(guān)系分析等功能。利用Hadoop框架中的HDFS 分布式文件系統(tǒng)和MapReduce編程模型進(jìn)行開發(fā)，根據(jù)專家?guī)熘薪⒌妮浨樗阉饕?guī)則及存儲(chǔ)的URL地址，實(shí)現(xiàn)抓取的新輿情信息分類，對(duì)熱點(diǎn)話題追蹤，并進(jìn)行情感偏好分析，標(biāo)記出信息的情感屬性，統(tǒng)計(jì)分析輿情情感歸屬分類，進(jìn)行詞性（正面、負(fù)面、中立）的判斷，預(yù)測(cè)出輿情未來的發(fā)展形勢(shì)及走向趨勢(shì)。最終通過事件趨勢(shì)圖、觀點(diǎn)百分比餅圖、頻率分布網(wǎng)狀圖、負(fù)面輿情度直方圖等豐富的圖表形式發(fā)布展示到用戶界面，為更進(jìn)一步的輿情分析和研判提供更直觀的決策參考。

4結(jié)語

本文分析了大數(shù)據(jù)時(shí)代網(wǎng)絡(luò)輿情的現(xiàn)狀和特點(diǎn)，以及當(dāng)前網(wǎng)絡(luò)輿情信息工作存在的問題，通過對(duì)大數(shù)據(jù)的主要技術(shù)Hadoop技術(shù)的研究，結(jié)合突發(fā)公共事件的特點(diǎn)，探索了如何構(gòu)建基于Hadoop平臺(tái)的突發(fā)公共事件網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)。

參考文獻(xiàn)

[1] 史玉珍，單冬紅.基于Hadoop的網(wǎng)絡(luò)輿情監(jiān)控平臺(tái)的研究[J].電子測(cè)試，2015（05）：71-73.

[2] 張寧熙.大數(shù)據(jù)在突發(fā)公共事件網(wǎng)絡(luò)輿情信息工作中的應(yīng)用[J].現(xiàn)代情報(bào)，2015（06）：38-42.