黃啟雄

【摘要】 隨著社會(huì)信息化的發(fā)展，業(yè)務(wù)經(jīng)營(yíng)數(shù)據(jù)價(jià)值與日俱增，對(duì)運(yùn)營(yíng)信息分析的及時(shí)性要求也不斷提升。本方案運(yùn)用數(shù)據(jù)復(fù)制產(chǎn)品，通過(guò)數(shù)據(jù)庫(kù)日志實(shí)時(shí)捕獲業(yè)務(wù)變動(dòng)導(dǎo)致的數(shù)據(jù)變化，采用了流轉(zhuǎn)換技術(shù)以及流處理方法進(jìn)行實(shí)時(shí)數(shù)據(jù)處理，并使用了內(nèi)存數(shù)據(jù)庫(kù)做進(jìn)一步的分析，有效提升了業(yè)務(wù)數(shù)據(jù)的獲取效率。實(shí)現(xiàn)對(duì)生產(chǎn)運(yùn)營(yíng)信息的及時(shí)分析，以更短的時(shí)間進(jìn)行實(shí)時(shí)決策的目的。

【關(guān)鍵詞】 數(shù)據(jù)庫(kù)日志 流處理 內(nèi)存數(shù)據(jù)庫(kù)信息化社會(huì)對(duì)業(yè)務(wù)運(yùn)營(yíng)分析及時(shí)性要求越來(lái)越高，亟需一種實(shí)時(shí)或準(zhǔn)實(shí)時(shí)監(jiān)控業(yè)務(wù)受理數(shù)據(jù)的方法，實(shí)現(xiàn)高速分析，以達(dá)到輔助快速?zèng)Q策的目的。傳統(tǒng)的經(jīng)營(yíng)分析，一般在原有業(yè)務(wù)系統(tǒng)上直接進(jìn)行統(tǒng)計(jì)分析，或者建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)用于分析。前者可能占用業(yè)務(wù)系統(tǒng)大量的資源，對(duì)正常運(yùn)營(yíng)造成極大影響，通常在繁忙的業(yè)務(wù)系統(tǒng)上不允許常態(tài)化應(yīng)用。后者一般在業(yè)務(wù)系統(tǒng)閑時(shí)從數(shù)據(jù)庫(kù)表中按日、按月抽取數(shù)據(jù)，存放在數(shù)據(jù)倉(cāng)庫(kù)中，能進(jìn)行復(fù)雜的分析，但也難以及時(shí)運(yùn)營(yíng)分析，導(dǎo)致問(wèn)題發(fā)現(xiàn)時(shí)間延遲。因此，設(shè)計(jì)一套新的方案，通過(guò)讀寫(xiě)分離技術(shù)將對(duì)源系統(tǒng)的影響降到最低，并具備高性能、低延遲，適應(yīng)復(fù)雜業(yè)務(wù)環(huán)境，滿(mǎn)足實(shí)時(shí)、準(zhǔn)實(shí)時(shí)的運(yùn)營(yíng)監(jiān)控分析需求。

一、目標(biāo)

本方案提供了一種基于數(shù)據(jù)庫(kù)日志，通過(guò)結(jié)合使用數(shù)據(jù)實(shí)時(shí)復(fù)制產(chǎn)品如GoldenGate、流處理產(chǎn)品如Stream和內(nèi)存庫(kù)如Timesten，實(shí)現(xiàn)對(duì)業(yè)務(wù)受理數(shù)據(jù)進(jìn)行及時(shí)監(jiān)控的方法。主要目標(biāo)是：

1、解決了數(shù)據(jù)獲取的時(shí)效性問(wèn)題。提供了一種基于數(shù)據(jù)庫(kù)日志的實(shí)時(shí)數(shù)據(jù)獲取方法，數(shù)據(jù)處理與存儲(chǔ)采用流技術(shù)與內(nèi)存技術(shù)，全過(guò)程不寫(xiě)磁盤(pán)，在低生產(chǎn)系統(tǒng)開(kāi)銷(xiāo)的情況下提升整體數(shù)據(jù)獲取跟分析的性能。2、實(shí)時(shí)與準(zhǔn)實(shí)時(shí)數(shù)據(jù)應(yīng)用能力。提供高效的實(shí)時(shí)統(tǒng)計(jì)、實(shí)時(shí)監(jiān)控與準(zhǔn)實(shí)時(shí)分析能力，將數(shù)據(jù)應(yīng)用的響應(yīng)時(shí)間由傳統(tǒng)的天級(jí)提升到分鐘、小時(shí)級(jí)。3、輔助快速?zèng)Q策。實(shí)時(shí)與準(zhǔn)實(shí)時(shí)的數(shù)據(jù)，能提供了更廣闊的應(yīng)用場(chǎng)景，如基于異常業(yè)務(wù)銷(xiāo)售、辦理波動(dòng)，迅速變更渠道資源如人員排班等工作，又如庫(kù)存變更與物流配送時(shí)間點(diǎn)合理安排，提升廳店效率，實(shí)現(xiàn)減員增效。最終實(shí)現(xiàn)將傳統(tǒng)的業(yè)務(wù)分析從輔助決策長(zhǎng)期目標(biāo)向提供實(shí)時(shí)運(yùn)營(yíng)，協(xié)助提高企業(yè)管控能力，從而提升了企業(yè)數(shù)據(jù)信息的價(jià)值。

二、技術(shù)方案

本方案主要組成部分包括數(shù)據(jù)獲取模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)應(yīng)用模塊、系統(tǒng)管理模塊五個(gè)部分。各模塊的功能具體說(shuō)明如下：

1、數(shù)據(jù)獲取模塊。數(shù)據(jù)獲取模塊包括數(shù)據(jù)實(shí)時(shí)獲取和數(shù)據(jù)實(shí)時(shí)加載兩個(gè)子模塊。當(dāng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)因業(yè)務(wù)受理、業(yè)務(wù)回退等種種原因產(chǎn)生數(shù)據(jù)變動(dòng)時(shí)，數(shù)據(jù)獲取子模塊根據(jù)預(yù)定義需要監(jiān)控的表，通過(guò)數(shù)據(jù)復(fù)制產(chǎn)品實(shí)時(shí)捕獲數(shù)據(jù)庫(kù)相關(guān)變化LOG并轉(zhuǎn)化成可識(shí)別的數(shù)據(jù)格式，傳遞到流處理模塊或內(nèi)存庫(kù)。數(shù)據(jù)加載子模塊獲取的數(shù)據(jù)按既定邏輯要求加載到數(shù)據(jù)存儲(chǔ)模塊，過(guò)濾清洗掉與實(shí)時(shí)分析需求無(wú)關(guān)的數(shù)據(jù)，降低數(shù)據(jù)存儲(chǔ)的壓力，并保證目標(biāo)系統(tǒng)與源系統(tǒng)的數(shù)據(jù)一致性。

2、數(shù)據(jù)存儲(chǔ)模塊。數(shù)據(jù)存儲(chǔ)模塊采用內(nèi)存數(shù)據(jù)庫(kù)作為存儲(chǔ)介質(zhì)，對(duì)數(shù)據(jù)的進(jìn)行集中存儲(chǔ)與管理，一方面避免了數(shù)據(jù)在處理過(guò)程中的大數(shù)據(jù)量交易數(shù)據(jù)落地寫(xiě)磁盤(pán)對(duì)分析性能的影響，保障了處理過(guò)程的及時(shí)性；另一方面內(nèi)存數(shù)據(jù)庫(kù)也為外部頻繁的數(shù)據(jù)實(shí)時(shí)讀取、調(diào)用與分析提供了高效的響應(yīng)能力。

3、數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊包括實(shí)時(shí)數(shù)據(jù)匯總與準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析兩個(gè)子模塊。實(shí)時(shí)數(shù)據(jù)匯總依托流處理的強(qiáng)大在線(xiàn)匯總能力，獲取并提交展示對(duì)及時(shí)性要求最高、邏輯相對(duì)簡(jiǎn)單的信息。準(zhǔn)實(shí)時(shí)數(shù)據(jù)分析基于內(nèi)存數(shù)據(jù)庫(kù)，按照既定的周期如每10分鐘，對(duì)加載的數(shù)據(jù)做輕度匯總，并進(jìn)一步的分析挖掘，最終提交邏輯相對(duì)復(fù)雜的分析結(jié)果。

4、數(shù)據(jù)應(yīng)用模塊數(shù)據(jù)應(yīng)用模塊在獲取數(shù)據(jù)處理模塊的結(jié)果，并構(gòu)建各類(lèi)業(yè)務(wù)場(chǎng)景，如實(shí)時(shí)統(tǒng)計(jì)，實(shí)時(shí)監(jiān)控，準(zhǔn)實(shí)時(shí)分析等。實(shí)時(shí)統(tǒng)計(jì)面向業(yè)務(wù)量、收入等最核心的指標(biāo)，展示當(dāng)前累計(jì)發(fā)展量，尤其在短期促銷(xiāo)時(shí)可更顯性查看成果。實(shí)時(shí)監(jiān)控通過(guò)監(jiān)控波動(dòng)率，設(shè)定閥值門(mén)限等，及時(shí)掌握收入風(fēng)險(xiǎn)、渠道交易異常、庫(kù)存情況等，用于管控風(fēng)險(xiǎn)。準(zhǔn)實(shí)時(shí)分析不僅對(duì)業(yè)務(wù)數(shù)據(jù)做簡(jiǎn)單的匯總，還可以通過(guò)設(shè)定多個(gè)維度，實(shí)現(xiàn)更細(xì)致的分析，如各渠道橫向?qū)Ρ龋跁r(shí)間序列的縱向?qū)Ρ鹊取?/p>

5、系統(tǒng)管理模塊。系統(tǒng)管理模塊是系統(tǒng)穩(wěn)定、高效運(yùn)行的有效保障，包括調(diào)度管理、負(fù)載均衡、異?？刂频?。調(diào)度管理具備任務(wù)管理、依賴(lài)管理、并發(fā)管理等功能，按時(shí)間定時(shí)生成或者按照事件觸發(fā)任務(wù)，在滿(mǎn)足系統(tǒng)能力或優(yōu)先級(jí)要求時(shí)派發(fā)，控制整個(gè)系統(tǒng)程序有條不紊執(zhí)行。負(fù)載均衡主要對(duì)主機(jī)集群的管理，將應(yīng)用均衡分配到各主機(jī)節(jié)點(diǎn)，充分發(fā)揮集群的性能，以應(yīng)對(duì)實(shí)時(shí)、準(zhǔn)實(shí)時(shí)分析帶來(lái)的高并發(fā)、高負(fù)荷分析與訪(fǎng)問(wèn)。異?？刂苿t在系統(tǒng)出現(xiàn)異常時(shí)，如設(shè)備故障、程序故障時(shí)，提供臨時(shí)解決方案，確保系統(tǒng)的高可用性。

三、結(jié)語(yǔ)

本方案使用數(shù)據(jù)實(shí)時(shí)復(fù)制技術(shù)，通過(guò)抓取數(shù)據(jù)庫(kù)日志，實(shí)時(shí)獲取生產(chǎn)數(shù)據(jù)并通過(guò)流處理轉(zhuǎn)換技術(shù)，對(duì)業(yè)務(wù)受理數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算，或直接輸出到內(nèi)存數(shù)據(jù)庫(kù)中進(jìn)行準(zhǔn)實(shí)時(shí)分析，最終交付直觀(guān)展現(xiàn)業(yè)務(wù)信息。在此基礎(chǔ)上能有效提升企業(yè)信息的價(jià)值，為實(shí)時(shí)決策提供更快捷的依據(jù)。