劉尊

【摘要】本文對(duì)公司項(xiàng)目進(jìn)行了簡單的介紹，闡述了大數(shù)據(jù)計(jì)算及分析系統(tǒng)的建設(shè)目標(biāo)，包括兩方面，一方面為建設(shè)目標(biāo)，另一方面為功能目標(biāo)，重點(diǎn)探討了這一系統(tǒng)的功能模塊，包括系統(tǒng)間接口能力、大數(shù)據(jù)計(jì)算平臺(tái)及數(shù)據(jù)應(yīng)用，此外，論述了建設(shè)方案，包括系統(tǒng)安全、軟件與硬件方案、服務(wù)器配置及網(wǎng)絡(luò)交換機(jī)配置等方案，以期拋磚引玉，為相關(guān)人士提供參考與借鑒。

【關(guān)鍵詞】大數(shù)據(jù);系統(tǒng)建設(shè);軟件;硬件;配置

中圖分類號(hào)：TN94 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A ? ? ? ? ? ? ? 文章編號(hào)：1673-0348（2020）016-087-03

Construction scheme of big data calculation and analysis system in radio and television network company

Liu Zun

（Shandong Radio and Television Network Co.， Ltd. Linyi Branch， Linyi， Shandong 276000）

Abstract： this paper briefly introduces the project of the company and expounds the construction objectives of big data computing and analysis system， including two aspects， on the one hand， for the construction goal， on the other hand， for the function goal， and focuses on the functional modules of the system， including inter-system interface capability， big data computing platform and data application. in addition， it discusses the construction scheme， including system security， software and hardware scheme， server configuration and network switch configuration， with a view to providing reference and reference for relevant people.

Keywords： big data; system construction; software; hardware; configuration

1.項(xiàng)目介紹

目前公司直播平臺(tái)、互動(dòng)平臺(tái)、客服系統(tǒng)以及BOSS系統(tǒng)等不斷產(chǎn)生大量的用戶行為數(shù)據(jù)、客服數(shù)據(jù)及營業(yè)數(shù)據(jù)，在這些數(shù)據(jù)背后，隱藏著能帶動(dòng)公司發(fā)展的大量有價(jià)值的信息，通過發(fā)掘這些有價(jià)值的信息，可以找到更符合用戶興趣的產(chǎn)品，進(jìn)行更精確的營銷，建立更完善的客服體系，以及提供更精準(zhǔn)、及時(shí)的決策依據(jù)，從而指導(dǎo)企業(yè)更良性發(fā)展。

公司通過業(yè)務(wù)生產(chǎn)系統(tǒng)的搭建，我們已經(jīng)實(shí)現(xiàn)了基礎(chǔ)的生產(chǎn)經(jīng)營數(shù)據(jù)分析，但是對(duì)于其他系統(tǒng)所產(chǎn)生的海量大數(shù)據(jù)的整合、分析和挖掘還仍未進(jìn)行。

2.建設(shè)目標(biāo)

2.1業(yè)務(wù)目標(biāo)

面向公司的各級(jí)管理、市場(chǎng)、客服及數(shù)據(jù)分析人員，以現(xiàn)有業(yè)務(wù)系統(tǒng)產(chǎn)生的海量數(shù)據(jù)資源為基礎(chǔ)，利用大數(shù)據(jù)技術(shù)，實(shí)現(xiàn)對(duì)數(shù)據(jù)的深加工和智能化分析挖掘，為企業(yè)運(yùn)營決策和精準(zhǔn)營銷提供完整、及時(shí)、準(zhǔn)確、科學(xué)的信息支撐與指導(dǎo)。

2.2功能目標(biāo)

系統(tǒng)間接口能力。具備實(shí)時(shí)采集公司其他系統(tǒng)數(shù)據(jù)的接口，同時(shí)提供數(shù)據(jù)解析、計(jì)算、入庫的能力。計(jì)算結(jié)果可供公司其他系統(tǒng)或第三方分析應(yīng)用實(shí)時(shí)調(diào)用，包括主動(dòng)推送的接口功能。各功能模塊布局圖（圖1）

3.1系統(tǒng)間接口能力

南向接口是大數(shù)據(jù)計(jì)算及分析系統(tǒng)接收外部系統(tǒng)數(shù)據(jù)的接口，通過南向接口為大數(shù)據(jù)計(jì)算及分析系統(tǒng)提供數(shù)據(jù)源。

北向接口是大數(shù)據(jù)計(jì)算及分析系統(tǒng)提供給外部系統(tǒng)數(shù)據(jù)服務(wù)的接口，通過北向接口為各外部系統(tǒng)提供計(jì)算結(jié)果和所需數(shù)據(jù)。

3.2大數(shù)據(jù)計(jì)算平臺(tái)

數(shù)據(jù)分層：總體按照三層進(jìn)行建設(shè)，接口層、整合層、匯總層，分層進(jìn)行數(shù)據(jù)存儲(chǔ)和模型建設(shè)。

平臺(tái)組件：采用Hadoop，HDFS等分布式存儲(chǔ)技術(shù)，極大提高系統(tǒng)的存儲(chǔ)能力以及擴(kuò)容、災(zāi)備、海量數(shù)據(jù)運(yùn)算能力。同時(shí)為了提高系統(tǒng)即時(shí)運(yùn)算能力，將引入Spark等內(nèi)存計(jì)算技術(shù)。為了降低開發(fā)門檻，將引入Hive等類SQL技術(shù)。

平臺(tái)組件穩(wěn)定，平臺(tái)關(guān)鍵組件不能存在單點(diǎn)隱患，平臺(tái)建成后全年連續(xù)運(yùn)行性達(dá)到99.99%。

3.3數(shù)據(jù)應(yīng)用

（1）收視行為分析（包含機(jī)頂盒、APP）

A.直播分析：

統(tǒng)計(jì)觀看各個(gè)直播頻道的收視次數(shù)、用戶總數(shù)量，并通過報(bào)表和圖表展示，統(tǒng)計(jì)的時(shí)間段可以是當(dāng)前、當(dāng)日，或某一指定時(shí)間段;統(tǒng)計(jì)各頻道收視率、市場(chǎng)占有率、排名;統(tǒng)計(jì)單個(gè)頻道的實(shí)時(shí)流入流出統(tǒng)計(jì)分析，并可以分析自定義時(shí)間段內(nèi)單個(gè)頻道流入流出情況以及頻道組的用戶情況。

B.點(diǎn)播分析：

統(tǒng)計(jì)當(dāng)前觀看點(diǎn)播節(jié)目的用戶數(shù);

統(tǒng)計(jì)當(dāng)前時(shí)間各點(diǎn)播節(jié)目觀看總數(shù)量及排行。

C.互動(dòng)、回看分析：

統(tǒng)計(jì)當(dāng)前觀看互動(dòng)、回看節(jié)目的用戶數(shù);

統(tǒng)計(jì)當(dāng)前時(shí)間各互動(dòng)、回看節(jié)目觀看總數(shù)量及排行，按頻道+EPG方式統(tǒng)計(jì)。

4.建設(shè)方案

4.1系統(tǒng)部署方案

大數(shù)據(jù)平臺(tái)采用開源組件進(jìn)行設(shè)計(jì)，包括平臺(tái)層和應(yīng)用層。平臺(tái)層將一些共性、核心的服務(wù)抽取出來，作為平臺(tái)服務(wù)提供，本期平臺(tái)層含數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)共享、數(shù)據(jù)服務(wù)開放;平臺(tái)層既可以實(shí)現(xiàn)高可用，同時(shí)也可以支持應(yīng)用橫向擴(kuò)展，當(dāng)業(yè)務(wù)處理要求不高時(shí)，僅需少量線程處理，以節(jié)約服務(wù)器性能，當(dāng)業(yè)務(wù)處理能力不足時(shí)，不需要升級(jí)版本，支持平臺(tái)層進(jìn)行橫向擴(kuò)展。橫向擴(kuò)展支持技術(shù)為系統(tǒng)將來的拓展給予了技術(shù)上的保障，可根據(jù)實(shí)時(shí)需要進(jìn)行容量和性能的擴(kuò)展。應(yīng)用層關(guān)注業(yè)務(wù)功能的實(shí)現(xiàn)、用戶交互和用戶體驗(yàn);應(yīng)用和平臺(tái)服務(wù)之間通過服務(wù)治理互聯(lián)，保障服務(wù)的無縫銜接，實(shí)現(xiàn)平臺(tái)服務(wù)集群的容量管理。

4.2硬件方案

項(xiàng)目一期將采用10臺(tái)兩路服務(wù)器構(gòu)建Hadoop大數(shù)據(jù)集群，其中2臺(tái)是管理節(jié)點(diǎn)，8臺(tái)為計(jì)算節(jié)點(diǎn)。大數(shù)據(jù)平臺(tái)總存儲(chǔ)容量為240T左右，在滿足大數(shù)據(jù)平臺(tái)存儲(chǔ)的同時(shí)解決目前經(jīng)分系統(tǒng)的歷史數(shù)據(jù)備份問題。網(wǎng)絡(luò)側(cè)將采用萬兆光纖交換機(jī)，保證集群內(nèi)部各服務(wù)器之間的良好通訊。

參考文獻(xiàn)：

[1]楊榮霞.河北廣電大數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)踐[J].有線電視技術(shù)，2018，v.25;No.342（06）：104-105.

[2]方靜.淺談廣電新媒體大數(shù)據(jù)分析及應(yīng)用系統(tǒng)[J].電視工程，2018，000（001）：P.21-22.

[3]李曉麗.基于大數(shù)據(jù)分析的數(shù)字電視智能終端精準(zhǔn)消息推送系統(tǒng)[D].2019.