楊繼偉

摘 要：隨著互聯(lián)網技術的發(fā)展，網絡視頻的需求日益增加，而云計算的興起，極大地推動了網絡視頻業(yè)務的發(fā)展，視頻云服務越來越重要。該文介紹了云點播生產平臺的現(xiàn)狀，針對不能及時監(jiān)控異常數據、缺少數據分析等問題，提出了智能分析系統(tǒng)。智能分析系統(tǒng)包括4個子模塊：數據中心、數據分析、監(jiān)控中心、報表中心。該文重點對各個子模塊的功能、系統(tǒng)架構及實現(xiàn)方式進行了闡述。智能分析系統(tǒng)為優(yōu)化生產平臺提供了數據支撐，為生產平臺正常運行提供保障，也為后續(xù)業(yè)務擴展提供決策依據。

關鍵詞：云計算 視頻 智能分析 數據挖掘

中圖分類號：TP31 文獻標識碼：A 文章編號：1674-098X（2015）12（a）-0143-03

云計算是一種基于互聯(lián)網的新興商業(yè)計算模型，它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能根據需要獲取計算力、存儲空間和各種軟件服務。云點播是基于云計算的視頻平臺，集合了拍攝、視頻上傳、存儲備份、多碼率轉碼、CDN分發(fā)、視頻播放六大核心基礎功能于一身，為用戶提供優(yōu)質的視頻一站式服務。云點播的核心技術是多碼率轉碼，將云點播平臺中的上傳、存儲、轉碼、分發(fā)過程抽取出來，形成云點播視頻的生產平臺，生產平臺負責對各個子模塊進行統(tǒng)一調度，統(tǒng)一管理。

1 云點播生產平臺及現(xiàn)狀

云點播生產平臺是進行視頻生產的平臺，一個視頻的生產流程大致如下。

生產平臺的編輯人員把需要進行轉碼的視頻片源上傳至生產平臺中，生產平臺調用存儲模塊，將視頻保存在云端存儲；生產平臺生成轉碼任務，調用轉碼模塊，由轉碼模塊完成后續(xù)的視頻轉碼、截圖等；生產平臺調用分發(fā)模塊，將轉碼成功的視頻分發(fā)到CDN節(jié)點上。最終用戶可以通過生產平臺返回的播放頁地址進行視頻觀看。

隨著生產平臺業(yè)務量的增長，以及各類需求的提出，生產平臺逐漸暴露出一些問題。例如，生產平臺在與各個子模塊交互過程中，如果出現(xiàn)問題，不能快速定位，也不能及時通知到相關負責人；各類角色人員無法了解到生產平臺的運行狀況、平臺轉碼能力、網絡設備使用情況等。

2 智能分析系統(tǒng)概述

智能分析系統(tǒng)負責監(jiān)控生產平臺和各個子模的交互細節(jié)，通過預警，使開發(fā)人員及時發(fā)現(xiàn)生產平臺的問題，確保了生產平臺的穩(wěn)定性和容錯率；通過對生產平臺的歷史數據、現(xiàn)有數據、情景、性能的分析，全方位地統(tǒng)計生產平臺的運行情況，包括平臺的穩(wěn)定性、轉碼失敗率、平臺的吞吐量以及各業(yè)務線的服務請求量等，同時決策者還可以得到有價值的洞察力，使他們能夠預測未來趨勢，做出更優(yōu)的決策。

智能分析系統(tǒng)在設計時，需要考慮兩點。

第一，監(jiān)控響應實時性。生產平臺肩負著支撐視頻點播業(yè)務的重任，一旦某個子模塊出現(xiàn)問題，需要能及時預警，并反饋給相關人員。

第二，數據準確性。智能分析系統(tǒng)提供各類監(jiān)控數據及報表數據，它是生產平臺優(yōu)化的依據，也是后續(xù)運營決策的依據，由于業(yè)務數據的復雜性，在數據處理時，務必要將數據誤差控制在合理范圍內，保證數據的準確性。

3 智能分析系統(tǒng)架構

智能分析系統(tǒng)由4個模塊組成：數據中心、數據分析、監(jiān)控中心、報表中心。架構圖如圖1。

3.1 數據中心

數據中心主要負責采集視頻生產過程中的各類數據，并將數據匯總至數據倉庫。數據采集的數據來源包括以下幾方面。

第一，業(yè)務數據庫。為保證正常業(yè)務不受影響，采集系統(tǒng)對業(yè)務數據庫進行主從備份，做到數據隔離，在從庫中進行數據采集，保證了數據的安全性，采集過程使用ETL實現(xiàn)。

第二，消息。業(yè)務系統(tǒng)使用異步消息隊列發(fā)送數據，例如轉碼狀態(tài)數據，數據采集模塊收到消息后對消息進行解析，將數據匯總至數據倉庫。

第三，接口。對實時性要求較高的數據，業(yè)務系統(tǒng)采用接口上報方式，將數據上報至數據采集模塊，采集模塊收到數據后將數據匯總至數據倉庫。例如對于轉碼環(huán)節(jié)的數據，需要轉碼機實時上報轉碼軌跡數據。

第四，日志文件。采集模塊創(chuàng)建定時任務，定期從業(yè)務日志文件中采集數據。

數據采集過程中，需要對數據源的數據進行預處理，預處理過程包括數據整合、數據清洗、數據變換、數據約簡。其中，數據整合是指從數據源中收集相關數據，過濾不必要的部分，找出必要的數據和變量。數據清洗是識別數據集中的值，填補空缺值，減少數據噪聲，消除不一致性。數據變換是將數據標準化、離散化。數據約簡是將數據進行降維，減少數據的質量。

通過以上預處理，將數據匯總至數據倉庫，供后續(xù)數據分析使用。

3.2 數據分析

數據分析包括3個層次。

第一，描述性分析。了解企業(yè)正在發(fā)生什么，并理解潛在的趨勢和事件發(fā)生的原因。

第二，預測性分析。分析未來可能會發(fā)生什么。例如使用聚類分析算法將客戶細分為不同的類別，按照不同類別針對性地提供不同的服務。

第三，規(guī)范性分析。目的是認識到正在發(fā)生什么，并對未來做出可能的預測，同時制定決策獲得最大收益。

根據實際業(yè)務需求，數據分析模塊采用聯(lián)機分析處理（OLAP）技術，利用各種模型對數據進行分析，確定事實表的粒度、相關維度、屬性、指標等。OLAP技術使數據倉庫能夠快速響應重復而復雜的分析查詢，從而使數據倉庫能有效地用于聯(lián)機分析。OLAP的多維數據模型和數據聚合技術可以組織并匯總大量的數據，以便能夠利用聯(lián)機分析和圖形工具迅速對數據進行評估，最終形成多維的數據集，供監(jiān)控中心和報表中心使用。用到的分析算法有加權平均算法、K均值聚類算法等，例如轉碼耗時的估算。

3.3 監(jiān)控中心

監(jiān)控的任務就是第一時間發(fā)現(xiàn)、定位并記錄異常，通過掌握生產環(huán)境下的多個維度數據，按照一定的監(jiān)控模型或規(guī)則，對影響運營質量的諸多要素和運營過程的各個環(huán)節(jié)進行監(jiān)控、采集、建模、展現(xiàn)，通過監(jiān)控來量化產品運營狀況和確保最佳用戶體驗。對于運維人員，通過各個層次的數據的展示和告警設置，可以快速、直觀地發(fā)現(xiàn)和定位故障。對于研發(fā)、測試人員，通過各層次數據的展示來反映業(yè)務的容量和性能，通過設置閾值來對業(yè)務的容量和性能進行管理。監(jiān)控中心的主要模塊包括以下幾方面。

第一，監(jiān)控規(guī)則。對各個業(yè)務、環(huán)節(jié)制定監(jiān)控規(guī)則，實時監(jiān)控運行狀況，對符合規(guī)則的數據進行報警。根據業(yè)務的不同，監(jiān)控規(guī)則也有所不同，例如文件上傳失敗規(guī)則、轉碼失敗規(guī)則等。

第二，自動重試。監(jiān)控中心需要對失敗的請求進行智能重試，智能重試后仍失敗的請求需要報警通知相關人員。

第三，報警。監(jiān)控中心支持電話、短信、郵件方式進行報警。

第四，頁面展示。通過圖表，形象地展現(xiàn)任務的執(zhí)行情況以及異常任務。

3.4 報表中心

報表中心主要對數據進行統(tǒng)計，并進行可視化展現(xiàn)。主要模塊包括以下幾方面。

第一，緩存數據。為了提高報表查詢的響應速度，對常用數據以及查詢過的數據進行緩存，提高用戶體驗。

第二，權限控制。在視頻生產環(huán)節(jié)，涉及到的人員有視頻編輯人員、運營人員、開發(fā)人員、部門負責人等，由于不同角色看到的數據不同，報表中心需要設置權限，以便不同人員查看不同的報表。

第三，各類報表。不同角色人員根據不同的需求，需要了解不同層面、不同維度的數據，報表中心將數據分為6種，供相關人員查看。

第四，頁面展示。使用折線圖、餅圖、地圖、氣泡圖等將結果展現(xiàn)出來，使數據更生動、更具人性化。

4 智能分析系統(tǒng)實現(xiàn)

4.1 負載均衡集群

數據中心、監(jiān)控中心、報表中心的應用服務器均采用負載均衡集群架構。負載均衡是將負載壓力根據某種算法合理分配到集群中的每一臺計算機上，以減輕主服務器的壓力，降低對主服務器的硬件和軟件要求，當集群中的某個服務器出現(xiàn)了故障，該服務器的負載將轉移到其他服務器，從而實現(xiàn)服務器不間斷地提供高質量的服務。負載均衡加強了網絡數據處理能力，同時提高了應用的靈活性和可用性。

數據中心的數據庫服務器也采用集群模式，服務器間通過數據同步，保證每臺服務器數據的一致性。

4.2 緩存

分布式集群架構，需要解決session共享問題，即保證session可以在多個服務器之間共享http會話的狀態(tài)。例如，報表中心有用戶登錄頁面，需要在session中保存用戶登錄的信息，為此，系統(tǒng)引入了緩存技術。緩存技術使用的是CouchBase，將部分數據信息保存在CouchBase集群服務器中，可以大大提高數據讀取速度。CouchBase集群中所有點都是對等的，集群中的任何節(jié)點失效，集群對外提供服務完全不會中斷。

4.3 數據同步

數據中心在進行數據采集時，要將數據從業(yè)務數據庫采集到數據倉庫，由于多臺服務器同時在運行，需要保持數據的一致性，為此，數據中心使用Zookeeper解決這一問題。Zookeeper是一個分布式的，開放源碼的分布式應用程序協(xié)調服務，它的核心是原子廣播，這個機制保證了集群中服務器間的同步，Zookeeper中的角色主要有領導者、學習者、客戶端。系統(tǒng)啟動時，集群中的服務器會選舉出一臺服務器為領導者，其他的服務器為學習者，由擔任領導者角色的服務器進行數據采集，保證數據只采集一次。

4.4 監(jiān)控中心

監(jiān)控中心只監(jiān)測最近兩周的數據，包括如下內容。

（1）上傳過程監(jiān)控：監(jiān)控上傳環(huán)節(jié)失敗、上傳節(jié)點故障等信息。

（2）轉碼過程監(jiān)控：監(jiān)控轉碼各個環(huán)節(jié)的失敗信息。

（3）分發(fā)過程監(jiān)控：監(jiān)控分發(fā)環(huán)節(jié)失敗信息。

4.5 報表中心

報表中心功能模塊包括以下幾方面。

（1）運營數據報表。統(tǒng)計不同用戶和業(yè)務線的上傳、轉碼數據量，以及各環(huán)節(jié)成功率、失敗率走勢，上傳用戶地域分布等信息。

（2）生產過程數據。統(tǒng)計上傳、轉碼、分發(fā)各子模塊狀態(tài)數據、失敗詳細信息。

（3）資源利用率。統(tǒng)計轉碼機利用率、轉碼容量利用率及各環(huán)節(jié)耗時速度比。

（4）用戶行為數據。統(tǒng)計上傳視頻的用戶類型以及用戶活躍時間段。

（5）媒體信息數據。統(tǒng)計視頻碼率分析、時長分析、視頻內容分析。

（6）性能報表。統(tǒng)計上傳、轉碼、分發(fā)速度數據。

5 結語

綜上所述，通過智能分析系統(tǒng)，完成了對生產平臺的實時監(jiān)控，保證了生產平臺的良好運轉；報表數據的分析，為優(yōu)化生產平臺提供了依據，大大提高了平臺的吞吐量；對海量數據中隱含的商業(yè)價值的挖掘，也為企業(yè)的經營決策提供了支撐。

參考文獻

[1] 金怡虹.商務智能在現(xiàn)代企業(yè)ERP系統(tǒng)中的應用[J].科技信息，2014（1）：285-286.

[2] 周競亮，李照，余丹.基于數據倉庫和BI技術的關鍵績效指標系統(tǒng)在大型集團企業(yè)的建設實踐[J].軟件，2014（7）：89-92.

[3] 馬斌，周平，張建業(yè)，等.大數據時代的數據挖掘[J].中國科技信息，2014（23）：117-118.

[4] 袁凡，唐國華.數據挖掘在電子商務中的應用研究[J].江西科學，2015（6）：921-924.

[5] Ramesh Sharda，Dursun Delen，Efraim Turban，等，著.商務智能數據分析的管理視角[M].趙衛(wèi)東，譯.北京：機械工業(yè)出版社，2015.

[6] 王繼民.Web用戶查詢日志挖掘與應用[M].北京：知識產權出版社，2014.