賀曉勇

（中國人民公安大學，北京　100038）

基于Web的大型數(shù)據(jù)預覽系統(tǒng)的設計與改進

賀曉勇

（中國人民公安大學，北京100038）

由于傳統(tǒng)的大型數(shù)據(jù)預覽系統(tǒng)無法有效掌控復雜多變的大型數(shù)據(jù)，數(shù)據(jù)預覽效果差。因此，提出基于Web的大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)由大型數(shù)據(jù)預覽模塊、大型數(shù)據(jù)監(jiān)管模塊、統(tǒng)計報表模塊和計算機組成。大型數(shù)據(jù)預覽模塊由瀏覽器、服務器和大型數(shù)據(jù)庫組成，用戶選擇所需查詢數(shù)據(jù)的標題后，瀏覽器會將該標題的指令傳輸給服務器，服務器根據(jù)指令進行大型數(shù)據(jù)的壓縮處理，并反饋到瀏覽器中進行顯示。大型數(shù)據(jù)監(jiān)管模塊可將大型數(shù)據(jù)預覽模塊中抽象的大型數(shù)據(jù)變換為直觀圖像進行調(diào)整，調(diào)整后的圖像會被轉(zhuǎn)換成大型數(shù)據(jù)格式并傳輸給統(tǒng)計報表模塊，統(tǒng)計報表模塊將整個系統(tǒng)的大型數(shù)據(jù)匯總成各類報表并顯示在計算機上。系統(tǒng)的軟件設計部分給出了大型數(shù)據(jù)節(jié)點分布的調(diào)節(jié)算法和流程，以保證Web大型數(shù)據(jù)預覽系統(tǒng)的正常運行。實驗結(jié)果表明所設計的系統(tǒng)具有較高的穩(wěn)定性和準確性。

Web；數(shù)據(jù)預覽；數(shù)據(jù)顯示；系統(tǒng)設計

0　引　言

大型數(shù)據(jù)預覽系統(tǒng)可以增強網(wǎng)絡的實用性，使用戶能夠準確獲取到所需信息。隨著數(shù)字技術的迅猛發(fā)展，用戶對大型數(shù)據(jù)預覽系統(tǒng)功能的需求與日俱增［1?4］。由于大型數(shù)據(jù)具有復雜多變性，傳統(tǒng)的大型數(shù)據(jù)預覽系統(tǒng)無法對其進行有效掌控，用戶滿意度較低［5?6］。因此，構(gòu)建出穩(wěn)定性和準確性較高的大型數(shù)據(jù)預覽系統(tǒng)，已成為目前國際數(shù)字技術協(xié)會的重點研究項目。

以往研究的大型數(shù)據(jù)預覽系統(tǒng)均存在一定缺陷，如文獻［7］提出CBL大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)以生物實驗室大型數(shù)據(jù)預覽系統(tǒng)為基礎，在大型數(shù)據(jù)庫中合并了其他學科的大型數(shù)據(jù)。此系統(tǒng)的穩(wěn)定性雖高，但大型數(shù)據(jù)庫的針對性卻不強，準確率較低。文獻［8］提出仿真大型數(shù)據(jù)預覽系統(tǒng)，利用仿真技術模擬用戶需求，以實現(xiàn)用戶對所需大型數(shù)據(jù)的預覽，但其模擬出的仿真大型數(shù)據(jù)占用內(nèi)存率較高，影響了整個系統(tǒng)的穩(wěn)定性。文獻［9］提出AMT大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)可為用戶提供多種服務，極具創(chuàng)造性，用戶可根據(jù)自身特點自主定制所需功能。但由于系統(tǒng)開放性太大，用戶隱私無法得到保證，因此用戶滿意度并不高。文獻［10］提出了集成大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)能夠不斷整合網(wǎng)絡共享資源并完美匹配用戶需求，但其開發(fā)經(jīng)費較大，不利于大規(guī)模推廣。為了解決以上問題，提出了基于Web的大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)能夠?qū)崿F(xiàn)用戶對所需大型數(shù)據(jù)的自主查詢，并通過算法軟件完善系統(tǒng)大型數(shù)據(jù)的節(jié)點分布。實驗結(jié)果表明，所設計的系統(tǒng)具有較高穩(wěn)定性和準確性。

1　基于Web的大型數(shù)據(jù)預覽系統(tǒng)的設計

1.1系統(tǒng)總體結(jié)構(gòu)設計

Web大型數(shù)據(jù)預覽系統(tǒng)由大型數(shù)據(jù)預覽模塊、大型數(shù)據(jù)監(jiān)管模塊、統(tǒng)計報表模塊和計算機組成，其結(jié)構(gòu)圖如圖1所示。

圖1　系統(tǒng)總體設計結(jié)構(gòu)圖

該系統(tǒng)能夠?qū)崿F(xiàn)用戶對所需大型數(shù)據(jù)的自主查詢，并加入了各種調(diào)節(jié)組件，使得系統(tǒng)運行中產(chǎn)生的問題能夠在第一時間得到改進。由于Web大型數(shù)據(jù)預覽系統(tǒng)所需處理的大型數(shù)據(jù)量較為繁重，故需要Web控制人員在后臺進行實時監(jiān)控，令整個系統(tǒng)能夠安全穩(wěn)定的運行。

1.2大型數(shù)據(jù)預覽模塊

大型數(shù)據(jù)預覽模塊可使用戶熟悉Web大型數(shù)據(jù)預覽系統(tǒng)的整體功能，并能夠?qū)λ璐笮蛿?shù)據(jù)進行準確查詢。大型數(shù)據(jù)預覽模塊由瀏覽器、服務器和大型數(shù)據(jù)庫組成，如圖2所示。

圖2　大型數(shù)據(jù)預覽模塊工作原理圖

圖2是大型數(shù)據(jù)預覽模塊工作原理圖，其工作流程為：瀏覽器作為Web大型數(shù)據(jù)預覽系統(tǒng)的最初工作端，是整個大型數(shù)據(jù)預覽模塊的核心，其可以實現(xiàn)大型數(shù)據(jù)的形態(tài)變換、解析、鏡面化以及預覽，兼容性較高，為用戶與Web控制人員提供了極大的便利。用戶輸入所需查詢的數(shù)據(jù)后，瀏覽器會給出該數(shù)據(jù)的初始標題，當用戶選定某一標題，被選定的標題會變換顏色，以防止用戶進行不必要的重復操作。由于瀏覽器對大型數(shù)據(jù)的存儲量有限，無法滿足用戶需求，故用戶所選擇的標題數(shù)據(jù)會經(jīng)由瀏覽器生成指令并傳輸于服務器進行處理。

服務器首先將瀏覽器下達的指令轉(zhuǎn)化為大型數(shù)據(jù)，由于大型數(shù)據(jù)所占內(nèi)存量較大，故服務器為大型數(shù)據(jù)提供了壓縮功能。當瀏覽器單次傳輸指令達到特定數(shù)值時，服務器將對大型數(shù)據(jù)進行壓縮，存儲于大型數(shù)據(jù)庫的特定區(qū)域，并從大型數(shù)據(jù)庫端獲取訪問權(quán)限，訪問權(quán)限提供給服務器隨時調(diào)用大型數(shù)據(jù)的功能。同時，服務器也會將查詢到大型數(shù)據(jù)存入大型數(shù)據(jù)庫，其存儲位置與壓縮大型數(shù)據(jù)的存儲位置并不相同，進而防止數(shù)據(jù)量過多而產(chǎn)生亂碼。由于用戶沒有權(quán)限查看服務器中的大型數(shù)據(jù)，故需將處理后的大型數(shù)據(jù)反饋至瀏覽器，該反饋方法稱為大型數(shù)據(jù)鏡面化。大型數(shù)據(jù)鏡面化的內(nèi)存占用率非常小，不會影響瀏覽器的穩(wěn)定性。

大型數(shù)據(jù)庫也為服務器提供了瀏覽頁面的個性化縮放和移動變換操作功能，這些功能都將通過大型數(shù)據(jù)鏡面化的形式反饋至瀏覽器，以供用戶查看。由于大型數(shù)據(jù)庫中的大型數(shù)據(jù)過于繁雜，不利于Web控制人員對其進行有效監(jiān)管，故在將大型數(shù)據(jù)反饋到服務器之前，需事先將其交由大型數(shù)據(jù)監(jiān)管模塊進行處理。

1.3大型數(shù)據(jù)監(jiān)管模塊

大型數(shù)據(jù)監(jiān)管模塊是整個Web大型數(shù)據(jù)預覽系統(tǒng)的管理層，其工作內(nèi)容直接受用戶委托，即用戶需要系統(tǒng)提供的功能均可在此模塊設定并實現(xiàn)。大型數(shù)據(jù)監(jiān)管模塊能夠?qū)崟r調(diào)用大型數(shù)據(jù)預覽模塊中的大型數(shù)據(jù)，并為大型數(shù)據(jù)提供合理規(guī)劃，以提高整個Web大型數(shù)據(jù)預覽系統(tǒng)的工作效率，圖3是大型數(shù)據(jù)監(jiān)管模塊工作原理圖。

圖3　大型數(shù)據(jù)監(jiān)管模塊工作原理圖

由圖3可知，大型數(shù)據(jù)監(jiān)管模塊的工作原理為：首先對大型數(shù)據(jù)傳輸來的大型數(shù)據(jù)進行分類篩選，其篩選類別包括教育類、體育類、娛樂類等，隨后進行大型數(shù)據(jù)的圖像轉(zhuǎn)換操作。圖像能夠更為直觀的將Web大型數(shù)據(jù)預覽系統(tǒng)中的大型數(shù)據(jù)缺陷呈現(xiàn)出來。圖像轉(zhuǎn)換操作開始后，不同類別的大型數(shù)據(jù)將進入不同的轉(zhuǎn)換頁面，在轉(zhuǎn)換頁面中，大型數(shù)據(jù)會根據(jù)自身的存儲大小自動到達指定坐標進行轉(zhuǎn)換。由于圖像轉(zhuǎn)換的工作量較大，因此大型數(shù)據(jù)監(jiān)管模塊會提前設定好圖像轉(zhuǎn)換工作故障狀態(tài)下的故障調(diào)節(jié)指令，當調(diào)節(jié)指令無法將系統(tǒng)恢復成正常狀態(tài)時，大型數(shù)據(jù)監(jiān)管模塊會將故障信息發(fā)送給Web控制人員以進行故障排除，進而確保圖像轉(zhuǎn)換工作的平穩(wěn)進行。

圖像缺陷被調(diào)節(jié)到理想狀態(tài)后，大型數(shù)據(jù)監(jiān)管模塊會將理想狀態(tài)下的圖像轉(zhuǎn)換成大型數(shù)據(jù)的原始格式，并回傳于大型數(shù)據(jù)預覽模塊，實現(xiàn)對大型數(shù)據(jù)的監(jiān)管。同時，大型數(shù)據(jù)監(jiān)管模塊會將監(jiān)管后的大型數(shù)據(jù)備份并傳輸?shù)浇y(tǒng)計報表模塊，以進行大型數(shù)據(jù)的再分析。

1.4統(tǒng)計報表模塊

統(tǒng)計報表模塊是Web大型數(shù)據(jù)預覽系統(tǒng)的后期數(shù)據(jù)處理模塊，整個系統(tǒng)的大型數(shù)據(jù)均在該模塊中進行匯總，并以報表的形式顯示在計算機上。該模塊由用戶大型數(shù)據(jù)解析、進程大型數(shù)據(jù)解析和調(diào)節(jié)大型數(shù)據(jù)解析三部分組成。其中，用戶大型數(shù)據(jù)解析主要由用戶指標解析、用戶反饋解析和用戶等級解析等組成；進程大型數(shù)據(jù)解析主要由變異系數(shù)增減解析、變異系數(shù)年度解析、進程調(diào)節(jié)方式解析和進程調(diào)節(jié)綜合解析等組成；調(diào)節(jié)大型數(shù)據(jù)解析主要由調(diào)節(jié)指標解析、調(diào)節(jié)案例解析和調(diào)節(jié)等級解析等組成，如圖4所示。

圖4　統(tǒng)計報表模塊結(jié)構(gòu)圖

Web控制人員在統(tǒng)計報表模塊中能夠獲取到各種類型的信息，包括編碼和大型數(shù)據(jù)的名稱、分類、時間以及評估標準等，并可以通過建立函數(shù)表達式的方法對該模塊中未提供的報表進行二次生成。統(tǒng)計報表模塊擁有記憶功能，Web控制人員的歷史查詢信息均會在歷史報表中匯總。統(tǒng)計報表模塊中的大型數(shù)據(jù)也可以輸出成Excel，PDF等文件，方便Web控制人員不斷改善Web大型數(shù)據(jù)預覽系統(tǒng)的性能。

2　系統(tǒng)軟件設計

合理安排大型數(shù)據(jù)的節(jié)點分布是實現(xiàn)Web大型數(shù)據(jù)預覽的關鍵。若大型數(shù)據(jù)節(jié)點間的分布距離不合理，Web大型數(shù)據(jù)預覽系統(tǒng)便會對用戶大型數(shù)據(jù)過于依賴，導致系統(tǒng)無法進行故障的自動調(diào)節(jié)。利用C++軟件對大型數(shù)據(jù)的節(jié)點分布層次進行了定義，圖5是大型數(shù)據(jù)節(jié)點分布調(diào)節(jié)流程圖。

圖5　大型數(shù)據(jù)節(jié)點分布調(diào)節(jié)流程圖

圖5給出的調(diào)節(jié)流程是基于二維空間的節(jié)點調(diào)節(jié)。從初始大型數(shù)據(jù)開始，向水平和垂直兩個方向分別進行節(jié)點數(shù)量統(tǒng)計，并通過計算確定大型數(shù)據(jù)的節(jié)點中心。以節(jié)點中心為原點進行二維空間預覽，構(gòu)建母、子節(jié)點，確定母、子節(jié)點的各自中心點，大型數(shù)據(jù)節(jié)點將圍繞母、子節(jié)點的中心點進行排列，進而實現(xiàn)大型數(shù)據(jù)節(jié)點的平均分布。軟件給出的節(jié)點分布算法如下：

3　實驗分析

為驗證基于Web的大型數(shù)據(jù)預覽系統(tǒng)的準確性和穩(wěn)定性，實驗構(gòu)建了粒子群模型（粒子數(shù)量即為用戶預覽過的大型數(shù)據(jù)群，一個粒子表示1 000個數(shù)據(jù)）。

實驗在不存在干擾因素情況下，對本文系統(tǒng)與仿真大型數(shù)據(jù)預覽系統(tǒng)分別進行實驗，通過對比粒子分布規(guī)律與粒子量分析兩種系統(tǒng)的數(shù)據(jù)預覽效果。

圖6和圖7分別是仿真大型數(shù)據(jù)預覽系統(tǒng)粒子分布規(guī)律圖和本文系統(tǒng)粒子分布圖。圖6、圖7中黑色實心圓表示用戶節(jié)點，空心圓表示標準粒子，也就是用戶預覽的數(shù)據(jù)節(jié)點。經(jīng)分析可得：仿真大型數(shù)據(jù)預覽系統(tǒng)的粒子分布規(guī)律較為雜亂，每個標準粒子與用戶節(jié)點粒子距離均不相同，單片排列區(qū)域內(nèi)粒子數(shù)量最大值和最小值分別是3和0，即系統(tǒng)為每個用戶所分配的大型數(shù)據(jù)量不平均，用戶的數(shù)據(jù)預覽效果較差。而本文系統(tǒng)的粒子分布規(guī)律則較為合理，且與每個粒子與用戶節(jié)點粒子的距離大致相等，說明本文系統(tǒng)為每個用戶分配的大型數(shù)據(jù)量均衡，確保用戶對大型數(shù)據(jù)進行平穩(wěn)預覽，預覽效果較好。

圖6　無干擾情況下仿真大型數(shù)據(jù)預覽系統(tǒng)粒子分布圖

圖7　無干擾情況下本文系統(tǒng)粒子分布圖

為了排除上述結(jié)論的偶然性，實驗再次引入了6個干擾粒子，圖7和圖8分別是有干擾情況下，仿真大型數(shù)據(jù)預覽系統(tǒng)粒子分布圖和本文系統(tǒng)粒子分布圖，圖8、圖9中虛線空心圓即為實驗中加入的干擾粒子，也就是干擾數(shù)據(jù)。

理論上，后加入干擾粒子應分布在標準粒子之后，也就是干擾數(shù)據(jù)應在合理數(shù)據(jù)后，確保向用戶提供合理數(shù)據(jù)。由圖8可看出，仿真大型數(shù)據(jù)預覽系統(tǒng)在加入干擾粒子后，粒子的分布規(guī)律并不合理，干擾粒子未完全排列在標準粒子之后，導致用戶預覽到干擾數(shù)據(jù)，使得數(shù)據(jù)預覽準確性降低。而圖9中的干擾粒子分布較為平穩(wěn)，并且都在標準粒子后面，確保用戶能夠預覽到合理數(shù)據(jù)，數(shù)據(jù)預覽準確性較高。

圖8　有干擾情況下仿真大型數(shù)據(jù)預覽系統(tǒng)粒子分布圖

圖9　有干擾情況下本文系統(tǒng)粒子分布圖

4　結(jié)　論

本文提出了基于Web的大型數(shù)據(jù)預覽系統(tǒng)，該系統(tǒng)由大型數(shù)據(jù)預覽模塊、大型數(shù)據(jù)監(jiān)管模塊、統(tǒng)計報表模塊和計算機組成。大型數(shù)據(jù)預覽模塊由瀏覽器、服務器和大型數(shù)據(jù)庫組成，用戶選擇所需查詢數(shù)據(jù)的標題后，瀏覽器會將該標題的指令傳輸于服務器，服務器根據(jù)指令進行大型數(shù)據(jù)的壓縮處理，并反饋到瀏覽器中進行顯示。大型數(shù)據(jù)庫為瀏覽器和服務器提供大型數(shù)據(jù)的存儲、調(diào)用和個性化操作功能。大型數(shù)據(jù)監(jiān)管模塊可將大型數(shù)據(jù)預覽模塊中抽象的大型數(shù)據(jù)變換為直觀圖像進行調(diào)整，調(diào)整后的圖像會被轉(zhuǎn)換成大型數(shù)據(jù)格式并傳輸于統(tǒng)計報表模塊，統(tǒng)計報表模塊將整個系統(tǒng)的大型數(shù)據(jù)匯總成各類報表并顯示在計算機上。系統(tǒng)的軟件設計部分給出了大型數(shù)據(jù)節(jié)點分布的調(diào)節(jié)算法和流程，以保證Web大型數(shù)據(jù)預覽系統(tǒng)的正常運行。實驗結(jié)果表明，所設計的系統(tǒng)具有較高穩(wěn)定性和準確性。

［1］楊永語，戴毅茹，王堅.基于Web的能耗數(shù)據(jù)管理系統(tǒng)部分設計與實現(xiàn)［J］.機電產(chǎn)品開發(fā)與創(chuàng)新，2015，28（1）：78?80.

［2］王祥，仲梁維，黃政，等.基于Web的建筑設計數(shù)據(jù)協(xié)同管理系統(tǒng)的設計與實現(xiàn)［J］.通信電源技術，2015，32（6）：132?134.

［3］徐鵬，王杰，付先武，等.基于Web的切削數(shù)據(jù)庫系統(tǒng)設計［J］.工具技術，2014，48（2）：48?52.

［4］張倩，李明昊.基于Web服務和MOM的數(shù)據(jù)交換系統(tǒng)設計與應用［J］.指揮信息系統(tǒng)與技術，2015，6（1）：70?74.

［5］朱飛虎.基于WebService的自動貼標機數(shù)據(jù)交互系統(tǒng)的設計與實現(xiàn)［J］.工業(yè)控制計算機，2015，28（6）：53?54.

［6］景永霞，茍和平，朱亞玲.基于Web Services的數(shù)據(jù)挖掘系統(tǒng)設計與實現(xiàn)［J］.蘭州文理學院學報，2014，28（2）：54?57.

［7］戴貴龍，譚新華，龍明雄，等.基于Web技術網(wǎng)絡數(shù)據(jù)庫端系統(tǒng)的設計研究［J］.九江學院學報（自然科學版），2015，30（4）：61?63.

［8］楊春來，李劍鋒，李帥華，等.基于STM32和Web服務的數(shù)據(jù)監(jiān)控系統(tǒng)設計［J］.河北電力技術，2015，34（5）：43?45.

［9］張慧明，姜秀杰，陳志敏.基于Web技術的探空火箭試驗任務可視化設計［J］.電子設計工程，2014，22（11）：141?144.

［10］施榮華，嚴愷，彭春華.基于Windows Azure云計算的移動醫(yī)療健康系統(tǒng)［J］.電子設計工程，2015，23（5）：37?40.

Design and improvement of large data preview system based on Web

HE Xiaoyong
（Chinese People′s Public Security University，Beijing 100038，China）

Because the traditional large data preview system cannot effectively control complicated large data，and its data preview effect is poor，a large data preview system based on Web is put forward.The system consists of large data preview mod?ule，large data monitoring module，statistics report module and computer.The large data preview module is composed of brows?er，server and large database.While a user selects the title of query data required，the browser will transmit a query command of the title to the server，the server compresses the large data according to the instruction，and then feedback to the browser for display.The large data monitoring module converts the abstract large data in large data preview module into visual image for ad?justment.The adjusted image is converted into large data format and transmitted into statistics report module.The statistics re?port module makes the large data summarization of the whole system into all kinds of report forms and displays them on the com?puter.As for the system software design，the distribution adjustment algorithm and process of the large data nodes are given to ensure the normal operation of large data preview system based on Web.The experimental result shows that the system has high stability and accuracy.

Web；data preview；data display；system design

TN911?34；TP393

A

1004?373X（2016）18?0017?04

10.16652/j.issn.1004?373x.2016.18.005

賀曉勇（1973—），男，內(nèi)蒙古人，中國人民公安大學圖書館館長，碩士。主要研究方向為圖書情報、大數(shù)據(jù)應用。

10.16652/j.issn.1004?373x.2016.18.007

2016?01?09

北京市自然科學基金（4151001）