海量數(shù)據(jù)
- 基于客戶分類的海量數(shù)據(jù)動(dòng)態(tài)路由存儲(chǔ)策略研究
電商行業(yè)的海量數(shù)據(jù)存儲(chǔ)，多采用以客戶為切分鍵進(jìn)行分庫(kù)分表的策略，但由于大客戶和普通客戶數(shù)據(jù)體量差距巨大，往往會(huì)導(dǎo)致數(shù)據(jù)在各庫(kù)表中分布嚴(yán)重不均。本文基于分布式數(shù)據(jù)庫(kù)存儲(chǔ)，設(shè)計(jì)了區(qū)分大客戶和普通客戶的分庫(kù)分表策略、能夠及時(shí)識(shí)別客戶數(shù)據(jù)變化的實(shí)時(shí)數(shù)據(jù)監(jiān)控，以及基于客戶分類動(dòng)態(tài)選擇存儲(chǔ)策略的動(dòng)態(tài)路由組件，可有效保障數(shù)據(jù)的均勻分布。關(guān)鍵詞： 客戶分類； 海量數(shù)據(jù)； 分庫(kù)分表； 動(dòng)態(tài)路由策略； 實(shí)時(shí)數(shù)據(jù)監(jiān)控中圖分類號(hào)：TP311.1? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A
計(jì)算機(jī)時(shí)代 2023年6期2023-06-15
- 基于云計(jì)算技術(shù)的分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)構(gòu)建
于分布式網(wǎng)絡(luò)海量數(shù)據(jù)處理系統(tǒng)的構(gòu)建中，能充分發(fā)揮云計(jì)算技術(shù)與分布式網(wǎng)絡(luò)的優(yōu)勢(shì)，從而提高海量數(shù)據(jù)的處理效率。關(guān)鍵詞：云計(jì)算技術(shù)；分布式網(wǎng)絡(luò)；海量數(shù)據(jù);處理系統(tǒng)中圖分類號(hào)：TM73中圖分類號(hào)? 文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼0 引言隨著我國(guó)互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，截止到2020年，我國(guó)的互聯(lián)網(wǎng)用戶已經(jīng)超過(guò)了10億，互聯(lián)網(wǎng)技術(shù)進(jìn)入千家萬(wàn)戶，成為人們?nèi)粘Ｉ畹谋貍涔ぞ?，這也為網(wǎng)絡(luò)技術(shù)的發(fā)展帶來(lái)了新的機(jī)遇［1］。龐大的互聯(lián)網(wǎng)用戶中的大部分會(huì)參與到網(wǎng)絡(luò)購(gòu)物中，以淘寶、拼多多、
無(wú)線互聯(lián)科技 2023年2期2023-06-15
- 基于HHS的離線數(shù)據(jù)分析平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
adopp；海量數(shù)據(jù)；離線業(yè)務(wù)分析中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2023）10-0075-030 引言如今，計(jì)算機(jī)和信息技術(shù)發(fā)展迅猛，并且得到了普遍應(yīng)用，各大行業(yè)的數(shù)據(jù)量都在以爆炸性的速度增長(zhǎng)，全球已經(jīng)進(jìn)入了“大數(shù)據(jù)”時(shí)代[1]。在大數(shù)據(jù)時(shí)代下，企業(yè)可以從龐大繁雜的數(shù)據(jù)背后挖掘和分析用戶的行為習(xí)慣和愛好，其創(chuàng)造的價(jià)值和人們的生活息息相關(guān)。在實(shí)際的商業(yè)案例，信用卡公司VISA需要處理兩年中730億單的交易，由于采用了Ha
電腦知識(shí)與技術(shù) 2023年10期2023-06-03
- 一種分布式數(shù)據(jù)存儲(chǔ)方案設(shè)計(jì)與實(shí)現(xiàn)
可以有效實(shí)現(xiàn)海量數(shù)據(jù)的分布式存儲(chǔ)。關(guān)鍵詞：關(guān)系型數(shù)據(jù)庫(kù)；分布式存儲(chǔ)；分布式ID；海量數(shù)據(jù)中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2022）33-0068-031 引言目前比較常用的分布式數(shù)據(jù)存儲(chǔ)[1]方案，主要是在關(guān)系型數(shù)據(jù)庫(kù)中間加一層數(shù)據(jù)庫(kù)分庫(kù)中間件，通過(guò)將查詢鍵值作為拆分字段，用一定的路由算法，將原始SQL進(jìn)行解析后構(gòu)建出新的SQL路由到指定的分節(jié)點(diǎn)，最后對(duì)結(jié)果集進(jìn)行歸并。比較常用的中間件有dble[2]、Sh
電腦知識(shí)與技術(shù) 2022年33期2022-04-02
- 人工智能數(shù)據(jù)恢復(fù)關(guān)鍵技術(shù)研究
法有效地處理海量數(shù)據(jù)集合中發(fā)生的數(shù)據(jù)災(zāi)難。本文探索以人工智能數(shù)據(jù)技術(shù)應(yīng)用于數(shù)據(jù)恢復(fù)領(lǐng)域，提升傳統(tǒng)數(shù)據(jù)恢復(fù)算法的計(jì)算能力，對(duì)海量數(shù)據(jù)進(jìn)行實(shí)時(shí)、高效、準(zhǔn)確地處理，實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)確、高效的重構(gòu)和恢復(fù)。關(guān)鍵詞：人工智能; 數(shù)據(jù)恢復(fù); 海量數(shù)據(jù); 重構(gòu);0 引言大數(shù)據(jù)時(shí)代的到來(lái)，標(biāo)志著數(shù)據(jù)將成為人類發(fā)展的關(guān)鍵。隨著大數(shù)據(jù)、5G技術(shù)、互聯(lián)網(wǎng)技術(shù)、人工智能技術(shù)、區(qū)塊鏈技術(shù)的不斷完善和發(fā)展，對(duì)傳統(tǒng)的數(shù)據(jù)恢復(fù)技術(shù)帶來(lái)了變革和挑戰(zhàn)，傳統(tǒng)的數(shù)據(jù)恢復(fù)技術(shù)已經(jīng)無(wú)法有效地處理海量數(shù)據(jù)集合
科學(xué)與生活 2021年20期2021-11-18
- 基于Kubernetes的海量網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方法研究
，從而實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)。對(duì)比實(shí)驗(yàn)結(jié)果顯示，該存儲(chǔ)方法相比能夠減少約62%的運(yùn)算內(nèi)存占用，并且存儲(chǔ)操作速度快，更能滿足實(shí)際需求。關(guān)鍵詞：Kubernetes;海量數(shù)據(jù);網(wǎng)絡(luò)數(shù)據(jù);數(shù)據(jù)存儲(chǔ)中圖分類號(hào)：TP392? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2021）27-0028-02Kubernetes是用于管理云平臺(tái)中多個(gè)主機(jī)上的容器應(yīng)用部署方式[1]。相比于傳統(tǒng)系統(tǒng)綁定并通過(guò)插件、腳本或者沉重的虛擬機(jī)來(lái)安裝應(yīng)用的應(yīng)用部署方式，Kuberne
電腦知識(shí)與技術(shù) 2021年27期2021-11-08
- 基于VS的FTP文件傳輸設(shè)計(jì)與實(shí)現(xiàn)
宋毅摘要：海量數(shù)據(jù)時(shí)代，文件傳輸需要解決準(zhǔn)確率與傳輸速度問(wèn)題，通常的網(wǎng)絡(luò)下載速度有些不能滿足用戶需求，為適應(yīng)用戶海量下載需求，為此開發(fā)FTP文件傳輸系統(tǒng)，該系統(tǒng)基于Visual Studio環(huán)境開發(fā)，功能具有訪問(wèn)ftp、文件上傳、文件下載、刪除、顯示目錄等功能，給用戶提供方便快捷的文件傳輸下載。關(guān)鍵詞：海量數(shù)據(jù);FTP;文件傳輸中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1009-3044（2020）32-0232-03Abstract：
電腦知識(shí)與技術(shù) 2020年32期2020-12-29
- 用電檢查與反竊電在線智能分析系統(tǒng)設(shè)計(jì)
;智能分析;海量數(shù)據(jù)引言在我國(guó)經(jīng)濟(jì)高速增長(zhǎng)，科學(xué)技術(shù)飛速發(fā)展的同時(shí)，一些不法分子利用先進(jìn)的技術(shù)手段，巧妙、隱蔽地減少表計(jì)計(jì)算量，從而少繳納電費(fèi)，不僅使供電企業(yè)的合法權(quán)益受到損害，還擾亂了正常供電秩序，造成電力故障和安全事故。針對(duì)竊電問(wèn)題，供電企業(yè)需采取科學(xué)有效的對(duì)策，提高用電安全和反竊電能力。1用電檢查的重要性用電檢查是指根據(jù)電力公司的規(guī)定，主要對(duì)電力系統(tǒng)計(jì)量、設(shè)施性能、安全等進(jìn)行監(jiān)測(cè)和評(píng)價(jià)。這可以保證電力系統(tǒng)用電正常，也可以查處違章用電、節(jié)電或盜竊等一系
錦繡·下旬刊 2020年7期2020-12-23
- 基于大數(shù)據(jù)背景下的貴州旅游數(shù)據(jù)分析與研究
;數(shù)據(jù)倉(cāng)庫(kù);海量數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);旅游發(fā)展1旅游業(yè)格局在近幾年中國(guó)經(jīng)濟(jì)的高速發(fā)展，國(guó)民生活水平的提高，人們的物資生活得到了滿足的背景下，逐步開始了建立精神生活。開始尋找放松與緩解壓力的方式，而到國(guó)內(nèi)各地旅行，看國(guó)內(nèi)各處的美麗風(fēng)景與體驗(yàn)國(guó)內(nèi)各地的風(fēng)土人情不僅能開闊自身的眼界，更是緩解自身精神壓力與疲勞的放松方式，尤其是近幾年來(lái)，隨著國(guó)內(nèi)旅游業(yè)的發(fā)展，國(guó)內(nèi)各省對(duì)旅游行業(yè)越來(lái)越重視。由于旅游行業(yè)所具備的三大動(dòng)力效應(yīng)，使得旅游行業(yè)在發(fā)展的過(guò)程中，促使當(dāng)?shù)氐囊幌盗?/div>
科學(xué)與信息化 2020年30期2020-11-30
- 面向電力電纜狀態(tài)監(jiān)測(cè)綜合云計(jì)算平臺(tái)架構(gòu)設(shè)計(jì)
理方式在應(yīng)對(duì)海量數(shù)據(jù)增長(zhǎng)時(shí)也暴露出很多不足，本文在傳統(tǒng)數(shù)據(jù)處理分析方法的基礎(chǔ)上，面向電力電纜的故障數(shù)據(jù)監(jiān)測(cè)的應(yīng)用場(chǎng)景，設(shè)計(jì)出一種能夠滿足全方位實(shí)時(shí)需求的綜合云平臺(tái)架構(gòu)，能夠滿足海量數(shù)據(jù)的處理和存儲(chǔ)要求，為故障的及時(shí)發(fā)現(xiàn)與處理提供支持。關(guān)鍵詞：電力安全;海量數(shù)據(jù);云平臺(tái)1、引言電力電纜作為電力傳輸?shù)闹匾d體，一旦出故障，對(duì)于人民的生產(chǎn)生活將造成極大影響。為了保障電力傳輸?shù)陌踩?，?duì)電纜的狀態(tài)信息進(jìn)行實(shí)時(shí)監(jiān)測(cè)分析，及時(shí)發(fā)現(xiàn)電纜故障意義十分重大。隨著網(wǎng)絡(luò)技術(shù)和傳感裝備維修技術(shù) 2020年15期2020-11-28
- 基于大數(shù)據(jù)背景下的食堂服務(wù)平臺(tái)研究
服務(wù)系統(tǒng)中的海量數(shù)據(jù)為研究對(duì)象，基于大數(shù)據(jù)背景下的食堂服務(wù)平臺(tái)的研究展開討論。該系統(tǒng)應(yīng)用HTML5，JavaScript，MySQL，Hadoop集群數(shù)據(jù)處理等技術(shù)，實(shí)現(xiàn)了在線訂餐功能并生成數(shù)據(jù)分析。實(shí)驗(yàn)結(jié)果表明：該平臺(tái)方便了師生訂餐的同時(shí)也減少了食堂管理成本，解決了學(xué)生就餐難，排隊(duì)久的難題;系統(tǒng)通過(guò)大數(shù)據(jù)分析來(lái)了解消費(fèi)者的需求，從而更好地提高食堂服務(wù)水平。關(guān)鍵詞：大數(shù)據(jù);線上訂餐;校園食堂;Hadoop集群;海量數(shù)據(jù);數(shù)據(jù)處理中圖分類號(hào)：TP391.7文物聯(lián)網(wǎng)技術(shù) 2020年9期2020-10-09
- 一種考慮句子結(jié)構(gòu)的移動(dòng)客服對(duì)話文本建模方法
法。關(guān)鍵詞：海量數(shù)據(jù);智能化;建模方法中圖分類號(hào)：TP391.1? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2020）03-0033-03Abstract：With the development and application of machine learning and deep learning methods in various fields，more and more industries begin to explore th現(xiàn)代信息科技 2020年3期2020-07-04
- 基于海量數(shù)據(jù)優(yōu)化管理的分布式文件存儲(chǔ)系統(tǒng)應(yīng)用研究
的優(yōu)勢(shì)實(shí)現(xiàn)對(duì)海量數(shù)據(jù)資源處理的水平和能力，讓企業(yè)數(shù)據(jù)資源發(fā)揮了最有效的價(jià)值。關(guān)鍵詞：海量數(shù)據(jù);分布式文件存儲(chǔ);優(yōu)化管理中圖分類號(hào)：TP311.1? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）18-0181-02Abstract： The data of big data era has become a very valuable resource for enterprises， and it has becom科技創(chuàng)新與應(yīng)用 2020年18期2020-06-22
- 新能源汽車充電樁海量數(shù)據(jù)分析研究
車;充電樁;海量數(shù)據(jù);數(shù)據(jù)分析【中圖分類號(hào)】F426.61 【文獻(xiàn)標(biāo)識(shí)碼】A 【文章編號(hào)】1674-0688（2020）01-0040-040 引言隨著新能源汽車使用人數(shù)的增長(zhǎng)，電動(dòng)汽車充電需求迅速提升，截至2019年4月，全國(guó)充電基礎(chǔ)設(shè)施累計(jì)數(shù)量已達(dá)到95.3萬(wàn)臺(tái)。然而，由于布局不合理、維護(hù)不到位、缺乏平臺(tái)管理等問(wèn)題，可充電設(shè)施的利用率卻長(zhǎng)期偏低。2015年10月9日，國(guó)家發(fā)展改革委、國(guó)家能源局、工業(yè)和信息化部、住房城鄉(xiāng)建設(shè)部共同印發(fā)了《電動(dòng)汽車充電基礎(chǔ)企業(yè)科技與發(fā)展 2020年1期2020-05-22
- 協(xié)同過(guò)濾算法在位置推薦上的運(yùn)用
據(jù)時(shí)代。面對(duì)海量數(shù)據(jù)，如何尋找感興趣的信息已經(jīng)成為困擾用戶的問(wèn)題。由于每個(gè)人的興趣愛好不太相同，使用一個(gè)大眾版的排行榜并不能滿足每個(gè)人的需求。位置推薦算法就是在大量數(shù)據(jù)作為支撐的情況下，對(duì)用戶進(jìn)行相似性計(jì)算，最后根據(jù)相似用戶的簽到地點(diǎn)做出推薦。本文主要通過(guò)經(jīng)典的協(xié)同過(guò)濾方式實(shí)現(xiàn)一個(gè)位置推薦算法。關(guān)鍵詞：海量數(shù)據(jù);位置推薦;協(xié)同過(guò)濾隨著移動(dòng)互聯(lián)網(wǎng)的興起，用戶可以方便快捷地記錄當(dāng)前的位置坐標(biāo)，產(chǎn)生了許多有名的軟件，比如微博、forsqure、ins等。Four發(fā)明與創(chuàng)新·職業(yè)教育 2020年2期2020-04-07
- 基于Elasticsearch的HBase海量數(shù)據(jù)二級(jí)索引方案
器）不穩(wěn)定及海量數(shù)據(jù)檢索速度較慢等問(wèn)題，設(shè)計(jì)了一種新的基于Elasticsearch的HBase二級(jí)索引方案ELHBase（ElasticsearchIndexing HBase）。該方案借助Flume、Kafka、HBase及Elastic-search搭建了一套數(shù)據(jù)采集、高速解析和錄入大數(shù)據(jù)處理框架，使用Flume自定義Sink采集數(shù)據(jù)同時(shí)生成相應(yīng)ID存入到Kafka，通過(guò)解析技術(shù)分別把數(shù)據(jù)存儲(chǔ)到HBase，相應(yīng)ID作為索引存儲(chǔ)到ElasticSear電腦知識(shí)與技術(shù) 2020年1期2020-03-30
- 應(yīng)用Hbase高效存儲(chǔ)海量數(shù)據(jù)的實(shí)現(xiàn)
基礎(chǔ)有效解決海量數(shù)據(jù)存儲(chǔ)過(guò)程中服務(wù)器均衡負(fù)載問(wèn)題，并通過(guò)構(gòu)建文件索引二進(jìn)制碼序列的方式實(shí)現(xiàn)數(shù)據(jù)信息的高效存儲(chǔ)效果，應(yīng)用Hbase協(xié)處理器實(shí)現(xiàn)分布式序列記錄單提交多表插入等功能效率，最終多種方式結(jié)合實(shí)現(xiàn)分布式多格式高效存儲(chǔ)?！娟P(guān)鍵詞】Hbase;分布式序列;高效存儲(chǔ);海量數(shù)據(jù)引言Hbase作為一種開源的非關(guān)系型分布式數(shù)據(jù)庫(kù)，其模型參考了谷歌的BigTable建模，因此Hbase不僅具有分布式、版本化、可拓展等特性，而且還與MapReduce、Spark等分布理論與創(chuàng)新 2020年23期2020-03-08
- 基于pHash分塊局部探測(cè)的海量圖像查重算法
復(fù)圖片檢測(cè);海量數(shù)據(jù);感知Hash;局部探測(cè);傳遞性中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：ADeduplication for massive images based on pHash block detectionDuplicate detection algorithm for massive images based on pHash block detectionTANG Linchuan， DENG Siyu， WU Yanxue， WEN Liu計(jì)算機(jī)應(yīng)用 2019年9期2019-10-31
- 基于Hadoop的海量數(shù)據(jù)處理平臺(tái)的架構(gòu)與研究
來(lái)臨，成就了海量數(shù)據(jù)的衍生，但如何快速聚類高價(jià)值數(shù)據(jù)，深度挖掘電商行業(yè)客戶和服務(wù)數(shù)據(jù)，搭建海量數(shù)據(jù)服務(wù)著陸平臺(tái)，監(jiān)測(cè)行業(yè)數(shù)據(jù)輿情，提升公共服務(wù)水平，拓寬數(shù)據(jù)資源應(yīng)用市場(chǎng)是“互聯(lián)網(wǎng)+”行業(yè)轉(zhuǎn)型的關(guān)鍵。借助Hadoop分布式存儲(chǔ)與計(jì)算平臺(tái)，以高效、可靠、可伸縮的方式維護(hù)數(shù)據(jù)精確度、緩解數(shù)據(jù)冷啟動(dòng)問(wèn)題，增強(qiáng)數(shù)據(jù)多樣化推薦?！娟P(guān)鍵詞】Hadoop平臺(tái);海量數(shù)據(jù);服務(wù)處理平臺(tái);HDFS架構(gòu)中圖分類號(hào)： TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 2095-2457（2科技視界 2019年20期2019-08-29
- 基于海量數(shù)據(jù)的HBase寫入性能測(cè)試與優(yōu)化
，實(shí)驗(yàn)表明在海量數(shù)據(jù)應(yīng)用條件下采用MapReduce計(jì)算框架能夠利用HBase集群的計(jì)算性能，相比傳統(tǒng)的單線程和多線程數(shù)據(jù)寫入方式具有更好的實(shí)用性和有效性，同時(shí)結(jié)合這三類數(shù)據(jù)寫入方式的性能特征提出了以寫入數(shù)據(jù)量為依據(jù)的選擇策略。關(guān)鍵詞：MapReduce，Hadoop，HBase，海量數(shù)據(jù)中圖分類號(hào)：TP392 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2019）06-0009-05Testing and optimization of HBase w電腦知識(shí)與技術(shù) 2019年6期2019-05-22
- 基于海量數(shù)據(jù)的企業(yè)營(yíng)銷資源優(yōu)化研究與分析
于此，本文對(duì)海量數(shù)據(jù)視角下企業(yè)單位營(yíng)銷資源優(yōu)化進(jìn)行研究分析，期望能夠?yàn)槲覈?guó)企業(yè)單位提供借鑒。關(guān)鍵詞：海量數(shù)據(jù);企業(yè);營(yíng)銷資源優(yōu)化信息技術(shù)以及網(wǎng)絡(luò)技術(shù)的廣泛應(yīng)用使得我國(guó)企業(yè)單位的信息環(huán)境發(fā)生了根本上的轉(zhuǎn)變，企業(yè)單位營(yíng)銷資源繼續(xù)進(jìn)行整合優(yōu)化，借此有效改善企業(yè)單位營(yíng)銷資源未能得到充分利用的問(wèn)題，同時(shí)有效加快信息資源效用的實(shí)現(xiàn)。雖然傳統(tǒng)資源整合平臺(tái)為企業(yè)單位提供了許多資源整合引擎，但是由于檢索渠道比較單一，耗費(fèi)時(shí)間較長(zhǎng)以及被動(dòng)相應(yīng)企業(yè)單位需求等多方面的不足之處，導(dǎo)商場(chǎng)現(xiàn)代化 2019年2期2019-03-21
- 大數(shù)據(jù)時(shí)代下企業(yè)管理模式創(chuàng)新研究
；管理模式；海量數(shù)據(jù)；創(chuàng)新思考互聯(lián)網(wǎng)的高速發(fā)展改變?nèi)藗儏⑴c信息交流的方式，也對(duì)企業(yè)整體管理帶來(lái)不一樣的挑戰(zhàn)，需要對(duì)其發(fā)展進(jìn)行思考。大數(shù)據(jù)給企業(yè)發(fā)展帶來(lái)更多的智能終端以及視頻監(jiān)控等數(shù)據(jù)，讓人們感受到不同的發(fā)展數(shù)據(jù)?？梢哉f(shuō)，大數(shù)據(jù)給企業(yè)發(fā)展提供更多的發(fā)展空間，也帶來(lái)更多的發(fā)展?jié)撃埽o企業(yè)帶來(lái)更多的洞察力。但是，大數(shù)據(jù)也給企業(yè)發(fā)展帶來(lái)數(shù)據(jù)整合以及保障海量數(shù)據(jù)安全等挑戰(zhàn)。企業(yè)要想在該時(shí)代下實(shí)現(xiàn)更好地發(fā)展，就應(yīng)該改變之前的管理思維，運(yùn)用全新的視角對(duì)其進(jìn)行思考，促使企商場(chǎng)現(xiàn)代化 2018年19期2018-12-26
- 基于VBA的石油地質(zhì)數(shù)據(jù)處理
利摘 要： 海量數(shù)據(jù)處理是石油地質(zhì)項(xiàng)目開展過(guò)程中的重要工作，若依靠純手工處理工作量巨大。文章提出了基于VBA數(shù)據(jù)批量處理方法，以氣藏?cái)?shù)值模擬工藝改造數(shù)據(jù)的處理為例，在EXCEL中運(yùn)用VBA進(jìn)行編程，實(shí)現(xiàn)海量射孔數(shù)據(jù)的提取與標(biāo)準(zhǔn)化處理。首先從井史數(shù)據(jù)出發(fā)，借助文件對(duì)象打開對(duì)應(yīng)井單的射孔數(shù)據(jù)文件，然后循環(huán)提取射孔數(shù)據(jù)中的相關(guān)數(shù)據(jù)信息，進(jìn)行標(biāo)準(zhǔn)化處理后寫入工藝改造數(shù)據(jù)表格中，生成氣藏?cái)?shù)值模擬的基礎(chǔ)數(shù)據(jù)體。針對(duì)示范工區(qū)數(shù)據(jù)處理表明，該方法不但極大地提高了氣藏?cái)?shù)值模計(jì)算機(jī)時(shí)代 2018年9期2018-10-25
- 淺談數(shù)據(jù)挖掘技術(shù)及其應(yīng)用
據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過(guò)程。數(shù)據(jù)挖掘技術(shù)現(xiàn)已廣泛應(yīng)用于零售業(yè)、金融業(yè)、電信、網(wǎng)絡(luò)安全分析、農(nóng)業(yè)、醫(yī)療衛(wèi)生等領(lǐng)域，研究十分廣泛。關(guān)鍵詞： 海量數(shù)據(jù)；數(shù)據(jù)挖掘；應(yīng)用研究【中圖分類號(hào)】 TP311.1 【文獻(xiàn)標(biāo)識(shí)碼】 A【文章編號(hào)】 2236-1879（2018）14-0178-01一、數(shù)據(jù)挖掘概念數(shù)據(jù)挖掘比較公認(rèn)的定義是由U.M.Fayyad等人提出的：數(shù)據(jù)挖掘就是從海量數(shù)據(jù)中提取潛在有趣模式的過(guò)程[1]。還有一些術(shù)語(yǔ)，具有和數(shù)據(jù)挖掘類似但稍- 煙支重量反饋控制系統(tǒng)相關(guān)參數(shù)的海量數(shù)據(jù)分析
的多項(xiàng)指標(biāo)的海量數(shù)據(jù)。首先，對(duì)海量數(shù)據(jù)進(jìn)行預(yù)處理，并通過(guò)假設(shè)檢驗(yàn)得出數(shù)據(jù)服從正態(tài)分布。其次，計(jì)算各項(xiàng)指標(biāo)間的灰關(guān)聯(lián)度，得到各項(xiàng)指標(biāo)間的關(guān)聯(lián)度矩陣。最后，通過(guò)逐步回歸分析得到各項(xiàng)指標(biāo)間具有顯著相關(guān)性的最優(yōu)回歸方程，并給出能夠根據(jù)各監(jiān)測(cè)指標(biāo)的變化對(duì)煙支重量進(jìn)行反饋調(diào)節(jié)的控制系統(tǒng)模型。關(guān)鍵詞：海量數(shù)據(jù)；正態(tài)分布；灰關(guān)聯(lián)度分析；逐步回歸分析中圖分類號(hào)：TS47 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2018）21-0012-04Abstract： In t科技創(chuàng)新與應(yīng)用 2018年21期2018-09-14
- 大型輸水工程網(wǎng)絡(luò)三維場(chǎng)景建設(shè)關(guān)鍵技術(shù)研究
的無(wú)縫集成及海量數(shù)據(jù)的流暢加載問(wèn)題，實(shí)現(xiàn)了大型輸水工程三維場(chǎng)景的網(wǎng)絡(luò)在線快速瀏覽和三維分析應(yīng)用。該技術(shù)在南水北調(diào)中線一期工程三維場(chǎng)景建設(shè)中取得良好應(yīng)用效果，為類似長(zhǎng)距離大范圍輸水工程網(wǎng)絡(luò)三維場(chǎng)景建設(shè)及分析應(yīng)用提供參考。關(guān)鍵詞：長(zhǎng)距離輸水工程：三維場(chǎng)景；Skyline；海量數(shù)據(jù)；無(wú)縫集成；南水北調(diào)中線工程中圖分類號(hào)：TV68；TV222.1文獻(xiàn)標(biāo)志碼：Adoi：10.3969/j.issn. 1000- 1379.2018.06.031水資源分布不均勻性和人人民黃河 2018年6期2018-09-10
- 基于Spark的數(shù)據(jù)抽取整合決策分析系統(tǒng)設(shè)計(jì)
層無(wú)法快速?gòu)?span id="syggg00" class="hl">海量數(shù)據(jù)中獲得有效的決策數(shù)據(jù)支持。因此如何有效的數(shù)據(jù)收集，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)抽取，整合不同來(lái)源的基礎(chǔ)數(shù)據(jù)是當(dāng)前我們需要解決的主要問(wèn)題。關(guān)鍵詞：海量數(shù)據(jù)；決策；spark；數(shù)據(jù)抽取背景隨著數(shù)據(jù)量的不斷增加各企業(yè)對(duì)如何實(shí)現(xiàn)海量數(shù)據(jù)的收集存儲(chǔ)抽取整合為一體系統(tǒng)需求比較強(qiáng)烈，因?yàn)楹Ａ康臄?shù)據(jù)只有合理有效的被利用才能發(fā)揮出數(shù)據(jù)本身的最大價(jià)值，為了能夠準(zhǔn)確快速高效的為企業(yè)管理者提供決策支撐，解決數(shù)據(jù)源分散、數(shù)據(jù)冗雜等特點(diǎn)，并對(duì)海量數(shù)據(jù)集整合，實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)可視化查信息技術(shù)時(shí)代·下旬刊 2018年4期2018-09-10
- 大數(shù)據(jù)視域下的高校英語(yǔ)教學(xué)模式創(chuàng)新分析
。【關(guān)鍵詞】海量數(shù)據(jù)；英語(yǔ)教學(xué)；模式創(chuàng)新；云計(jì)算【作者簡(jiǎn)介】程啟榮，廊坊師范學(xué)院。大數(shù)據(jù)時(shí)代下帶來(lái)的影響已經(jīng)滲透在國(guó)內(nèi)的高等教育中，使其面臨著全面信息化的發(fā)展機(jī)遇。而在當(dāng)下，高?，F(xiàn)有的英語(yǔ)課程教學(xué)開始融入了大數(shù)據(jù)技術(shù)的運(yùn)用，使其教學(xué)模式必須得到優(yōu)化與創(chuàng)新，才能充分發(fā)揮大數(shù)據(jù)技術(shù)的支撐性優(yōu)勢(shì)作用。一、大數(shù)據(jù)背景下的教學(xué)變化分析大數(shù)據(jù)融入到教學(xué)工作中，其帶來(lái)的教學(xué)變化可以歸結(jié)為三點(diǎn)。其一，大數(shù)據(jù)背景下的教學(xué)模式呈現(xiàn)出靈活性的特點(diǎn)，強(qiáng)調(diào)開放學(xué)生的思維，利于鍛煉其校園英語(yǔ)·中旬 2018年8期2018-09-08
- 大數(shù)據(jù)技術(shù)在電網(wǎng)運(yùn)營(yíng)管理中的應(yīng)用研究
智能電網(wǎng) 海量數(shù)據(jù)1 引言智能電網(wǎng)的理念是通過(guò)獲取更多電能信息，來(lái)優(yōu)化電的生產(chǎn)、傳輸、調(diào)度、分配以及消費(fèi)。未來(lái)智能電網(wǎng)將承載電力流、信息流、業(yè)務(wù)流，在傳輸能源的同時(shí)實(shí)現(xiàn)數(shù)據(jù)的采集、深度挖掘和分析，最終實(shí)現(xiàn)清潔發(fā)電、高效輸電、動(dòng)態(tài)配電、合理用電的智慧電力的目標(biāo)。在本質(zhì)上，智能電網(wǎng)是大數(shù)據(jù)在電力上的應(yīng)用。隨著堅(jiān)強(qiáng)智能電網(wǎng)的建設(shè)，電力行業(yè)產(chǎn)生了一大批面向電力各個(gè)領(lǐng)域的信息采集與管理系統(tǒng)，包括：用電信息采集系統(tǒng)、營(yíng)銷系統(tǒng)、電網(wǎng)運(yùn)營(yíng)管理系統(tǒng)等。這些系統(tǒng)構(gòu)成了電力大電子技術(shù)與軟件工程 2018年5期2018-04-09
- 基于Hadoop的海量數(shù)據(jù)存儲(chǔ)平臺(tái)設(shè)計(jì)與開發(fā)
，特別是在對(duì)海量數(shù)據(jù)進(jìn)行繁雜處理期間，部分無(wú)序信息的智能化分析及就顯得尤為重要，通過(guò)智能化分析能了解到網(wǎng)絡(luò)海量數(shù)據(jù)信息的高度異構(gòu)性特點(diǎn)，在多項(xiàng)海量數(shù)據(jù)信息異構(gòu)結(jié)構(gòu)使用中，提出新的云計(jì)算數(shù)據(jù)存儲(chǔ)管理模式。根據(jù)對(duì)其研究，能初步獲悉，系統(tǒng)開設(shè)的海量數(shù)據(jù)管理任務(wù)分析能讓整個(gè)管理的效率更高、安全性更好、維護(hù)性更強(qiáng)?！娟P(guān)鍵詞】海量數(shù)據(jù) 平臺(tái)設(shè)計(jì) 開發(fā)由于數(shù)據(jù)信息開始從GB、TB持續(xù)到PB的量級(jí)爆炸式模式進(jìn)行增長(zhǎng)，所以數(shù)據(jù)的整體變化具有多樣性，特別是地理上分散性極好，能電子技術(shù)與軟件工程 2017年16期2018-03-30
- 海量數(shù)據(jù)的支持向量機(jī)優(yōu)化挖掘方法
度較大。提出海量數(shù)據(jù)的支持向量機(jī)優(yōu)化挖掘方法，構(gòu)造靜態(tài)粒子空間，局限海量數(shù)據(jù)挖掘離散程度，形成小規(guī)模的、多簇團(tuán)的粒子挖掘數(shù)據(jù)集；將單粒子挖掘數(shù)據(jù)進(jìn)行離散性擬合，以多簇團(tuán)粒子整合離散運(yùn)算，保證挖掘計(jì)算進(jìn)行周期性運(yùn)行；對(duì)同軌挖掘計(jì)算進(jìn)行條件約束，實(shí)現(xiàn)小離散程度的數(shù)據(jù)挖掘。仿真實(shí)驗(yàn)驗(yàn)證結(jié)果表明，支持向量機(jī)優(yōu)化挖掘方法在復(fù)雜多變環(huán)境下具有較高的穩(wěn)定性，并且挖掘離散度小、挖掘信息精度較高。關(guān)鍵詞： 海量數(shù)據(jù)； 支持向量機(jī)； 多簇團(tuán)粒子； 數(shù)據(jù)擬合； 整合運(yùn)算； 挖掘現(xiàn)代電子技術(shù) 2018年6期2018-03-13
- 海量數(shù)據(jù)挖掘過(guò)程相關(guān)技術(shù)研究進(jìn)展
平不斷提升，海量數(shù)據(jù)的復(fù)雜性與多樣性對(duì)數(shù)據(jù)挖掘形成了較大困難?；诖髷?shù)據(jù)環(huán)境下，為了更深入、充分地掌握是數(shù)據(jù)挖掘相關(guān)技術(shù)的研究進(jìn)展與應(yīng)用，可以從海量數(shù)據(jù)挖掘過(guò)程的技術(shù)框架、算法、理論、模式等方面進(jìn)行嘗試。綜上所述，該文將對(duì)海量數(shù)據(jù)挖掘過(guò)程相關(guān)技術(shù)研究進(jìn)展進(jìn)行分析。關(guān)鍵詞：海量數(shù)據(jù);數(shù)據(jù)挖掘技術(shù);研究進(jìn)展;討論中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A? ? ? ? 文章編號(hào)：1009-3044（2018）36-0001-02數(shù)據(jù)挖掘的過(guò)程是在海量電腦知識(shí)與技術(shù) 2018年36期2018-03-04
- 大數(shù)據(jù)時(shí)代的計(jì)算機(jī)信息處理技術(shù)
生了待處理的海量數(shù)據(jù)信息，目前計(jì)算機(jī)信息處理水平難以達(dá)到對(duì)大數(shù)據(jù)處理的要求，這對(duì)于計(jì)算機(jī)技術(shù)革新具有一定的促進(jìn)作用。本研究針對(duì)計(jì)算機(jī)信息處理技術(shù)在大數(shù)據(jù)時(shí)代的發(fā)展及計(jì)算機(jī)信息處理技術(shù)有關(guān)問(wèn)題進(jìn)行初步探討，并分析了計(jì)算機(jī)信息處理技術(shù)在大數(shù)據(jù)時(shí)代的的機(jī)遇與挑戰(zhàn)?！娟P(guān)鍵詞】信息處理 海量數(shù)據(jù) 大數(shù)據(jù)時(shí)代1 前言大規(guī)模的數(shù)據(jù)共享隨著計(jì)算機(jī)技術(shù)的日益普及而成為一項(xiàng)重要的信息處理工作，數(shù)據(jù)總量近年來(lái)高速增長(zhǎng)，增大了數(shù)據(jù)信息處理的難度。高效應(yīng)用數(shù)據(jù)的基礎(chǔ)就是不斷發(fā)展的計(jì)電子技術(shù)與軟件工程 2018年15期2018-02-26
- 城市海量數(shù)據(jù)實(shí)時(shí)流通技術(shù)框架
。[關(guān)鍵詞]海量數(shù)據(jù) 技術(shù)框架 共享交換 智慧城市智慧城市建設(shè)涉及規(guī)模龐大的數(shù)據(jù)交換與共享，面對(duì)如此海量的數(shù)據(jù)，如何做到實(shí)時(shí)流通已經(jīng)成為了智慧城市建設(shè)的關(guān)鍵。就我國(guó)對(duì)城市海量數(shù)據(jù)實(shí)時(shí)流通的處理現(xiàn)狀來(lái)看，眾多數(shù)據(jù)、信息與資源未得到充分的開發(fā)，在數(shù)據(jù)利用與資源共享等各方面都受到了不同程度的限制，由此也浪費(fèi)了大量資源大量浪費(fèi)，這給智慧城市的建設(shè)和發(fā)展帶來(lái)了嚴(yán)重的阻礙。本文結(jié)合城市級(jí)海量數(shù)據(jù)實(shí)時(shí)共享交換的背景和總體需求，就城市海量數(shù)據(jù)實(shí)時(shí)流通技術(shù)框架進(jìn)行了深入研究電子技術(shù)與軟件工程 2018年11期2018-02-25
- 基于海量數(shù)據(jù)消息隊(duì)列的性能比較及其優(yōu)化
速發(fā)展促進(jìn)了海量數(shù)據(jù)的產(chǎn)生，而實(shí)時(shí)處理海量數(shù)據(jù)離不開具有良好性能的分布式消息隊(duì)列，可明顯提高數(shù)據(jù)處理的效率，海量數(shù)據(jù)采用何種消息隊(duì)列進(jìn)行傳輸是關(guān)鍵問(wèn)題之一。分析研究應(yīng)用最頻繁的Apache Kafka、Rocket-MQ及Rabbit-MQ三種消息隊(duì)列特點(diǎn)及實(shí)現(xiàn)原理，在實(shí)時(shí)大數(shù)據(jù)計(jì)算場(chǎng)景下基于此對(duì)消息隊(duì)列分別搭建集群測(cè)試環(huán)境，比較有關(guān)結(jié)果后實(shí)現(xiàn)對(duì)消息隊(duì)列的性能設(shè)計(jì)優(yōu)化。關(guān)鍵詞 海量數(shù)據(jù)；消息隊(duì)列；大數(shù)據(jù)時(shí)代中圖分類號(hào) G2 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 167科技傳播 2018年3期2018-02-09
- 物聯(lián)網(wǎng)海量異構(gòu)傳感器采樣數(shù)據(jù)存儲(chǔ)與查詢處理
詞：物聯(lián)網(wǎng)；海量數(shù)據(jù)；異構(gòu)數(shù)據(jù)；海量數(shù)據(jù)；數(shù)據(jù)查詢DOIDOI：10.11907/rjdk.172023中圖分類號(hào)：TP392文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）012-0182-02Abstract：The datas in the IoT are massive and heterogeneous， the good storage strategy has been a research hotspot. The storage軟件導(dǎo)刊 2017年12期2018-01-09
- 基于Spark的大數(shù)據(jù)分析工具Hive的研究
數(shù)據(jù)倉(cāng)庫(kù)為海量數(shù)據(jù)分析提供了方便的操作。隨著實(shí)時(shí)查詢需求的增加，基于Spark的Hive操作得到了很好的應(yīng)用。文章主要介紹了Hive on Spark的整合步驟以及與Hadoop運(yùn)行模式的比較。對(duì) MovieLens 數(shù)據(jù)集的實(shí)驗(yàn)測(cè)試顯示，新模式的執(zhí)行速度提高了17.42-46.35倍，這對(duì)進(jìn)一步了解Hive的運(yùn)行機(jī)制及海量數(shù)據(jù)的實(shí)時(shí)分析具有重要的意義。關(guān)鍵詞： Hadoop； Hive； Spark； 海量數(shù)據(jù)； 實(shí)時(shí)分析中圖分類號(hào)：TP399 文獻(xiàn)標(biāo)計(jì)算機(jī)時(shí)代 2018年11期2018-01-04
- 海量數(shù)據(jù)環(huán)境下可破壞性數(shù)據(jù)定位算法研究
提出一種新的海量數(shù)據(jù)環(huán)境下可破壞性數(shù)據(jù)定位算法。在不同信道NAV任務(wù)的優(yōu)先排隊(duì)模型狀態(tài)空間中，針對(duì)局部性交叉項(xiàng)信息量，在計(jì)算吞吐量下，建立信道數(shù)據(jù)傳輸模型。構(gòu)造可破壞性數(shù)據(jù)信號(hào)模型，將相空間重構(gòu)與非線性時(shí)間序列分析法結(jié)合在一起，對(duì)可破壞性數(shù)據(jù)產(chǎn)生的原因進(jìn)行分析，完成可破壞性數(shù)據(jù)特征提取。把數(shù)據(jù)符號(hào)屬性值映射為數(shù)字值，完成對(duì)所有數(shù)字特征的歸一化處理。對(duì)原始可破壞性數(shù)據(jù)特征進(jìn)行改進(jìn)，通過(guò)Fisher線性分析法在改進(jìn)后特征空間中對(duì)可破壞性數(shù)據(jù)特征進(jìn)行分類，實(shí)現(xiàn)可計(jì)算機(jī)時(shí)代 2018年11期2018-01-04
- 基于知識(shí)圖譜的人員關(guān)系預(yù)測(cè)方法研究
技術(shù)路線，在海量數(shù)據(jù)中，實(shí)現(xiàn)實(shí)體的顯性關(guān)系和隱性關(guān)系的深度挖掘和關(guān)系拓展。關(guān)鍵詞：知識(shí)圖譜；公安業(yè)務(wù)；海量數(shù)據(jù)；關(guān)系預(yù)測(cè)中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2018）28-0176-03Research on Prediction Method of Personnel Relationship Based on Knowledge MapZHU Zhen-hua， YU Xiao-yun，LI Chao（The First電腦知識(shí)與技術(shù) 2018年28期2018-01-04
- “分布式”存儲(chǔ)結(jié)構(gòu)存儲(chǔ)方法研究
分布式存儲(chǔ)；海量數(shù)據(jù)；存儲(chǔ)算法中圖分類號(hào) TP3 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708（2017）198-0142-021 常見的分布式存儲(chǔ)算法1.1 NFS網(wǎng)絡(luò)文件系統(tǒng)早期的分布式文件系統(tǒng)，多數(shù)都是基于NFS的[1]。NFS的設(shè)計(jì)，主要是對(duì)硬件和操作系統(tǒng)提供異構(gòu)支持，即容許不同操作系統(tǒng)的終端接入NFS系統(tǒng)，訪問(wèn)同一個(gè)共享存儲(chǔ)區(qū)，進(jìn)行文件的共享。它的適用范圍包括局域網(wǎng)和廣域網(wǎng)，而且NFS還形成了Internet標(biāo)準(zhǔn)-NFS協(xié)議。被大多數(shù)企業(yè)構(gòu)建局域科技傳播 2017年21期2017-11-27
- 大數(shù)據(jù)下的安防存儲(chǔ)研究
防；非結(jié)構(gòu)；海量數(shù)據(jù)；云存儲(chǔ)；智慧中圖分類號(hào)：TP309 文獻(xiàn)標(biāo)識(shí)碼：A0.概述視頻監(jiān)控安防其主要特點(diǎn)是圖像信息量大，所以對(duì)存儲(chǔ)空間需求明顯。視頻監(jiān)控步入高清化時(shí)代，存儲(chǔ)與安防的存在著緊密結(jié)合，存儲(chǔ)容量的有限與信息容量的巨大， 而海量的非結(jié)構(gòu)化視頻、特征數(shù)據(jù)，帶動(dòng)了大數(shù)據(jù)的存儲(chǔ)、管理、分析等一系列問(wèn)題，存在不少的矛盾需要解決，吸引著更多人的關(guān)注與研究。1.當(dāng)前存儲(chǔ)存在的問(wèn)題1.1后端存儲(chǔ)技術(shù)當(dāng)前，在安防監(jiān)控中，后端存儲(chǔ)系統(tǒng)從“模擬時(shí)代”到”數(shù)字時(shí)代”到如今中國(guó)新技術(shù)新產(chǎn)品 2017年22期2017-10-30
- 基于WebGIS的暴雨災(zāi)害決策系統(tǒng)設(shè)計(jì)與應(yīng)用
；暴雨災(zāi)害；海量數(shù)據(jù)；GP；及時(shí)率中圖分類號(hào)：S422 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：2095-2945（2017）24-0111-021 概述近年來(lái)，暴雨災(zāi)害頻繁發(fā)生，造成嚴(yán)重的經(jīng)濟(jì)損失和社會(huì)影響，成為各界普遍關(guān)注的自然災(zāi)害問(wèn)題。政府各級(jí)防汛部門高度重視暴雨及其引發(fā)的山洪地質(zhì)災(zāi)害防御工作，為了有效地預(yù)測(cè)災(zāi)害并減少造成的損失，迫切需要建立一個(gè)科學(xué)合理的暴雨決策服務(wù)指揮系統(tǒng)。隨著氣象監(jiān)測(cè)與預(yù)報(bào)技術(shù)的發(fā)展、應(yīng)急部門對(duì)各防汛部門的統(tǒng)一組織協(xié)調(diào)的力度加強(qiáng)，對(duì)暴雨災(zāi)害的科技創(chuàng)新與應(yīng)用 2017年24期2017-09-08
- 基于神經(jīng)網(wǎng)絡(luò)與MapReduce的科技云數(shù)據(jù)清洗模型
。關(guān)鍵詞： 海量數(shù)據(jù)； 數(shù)據(jù)清洗； 神經(jīng)網(wǎng)絡(luò)模型； 多任務(wù)優(yōu)化； MapReduce中圖分類號(hào)：TP399 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2017）07-06-03Data cleaning model of the science and technology cloud based onneural networks and MapReduceYang Shuo， Yang Wei， Tao Li， Jin Fengfei（Zhejia計(jì)算機(jī)時(shí)代 2017年7期2017-07-20
- 在線地圖服務(wù)中的地理信息價(jià)值提升研究
求。關(guān)鍵詞：海量數(shù)據(jù) 在線地圖 提升價(jià)值 不切片 司南超擎中圖分類號(hào)：TP701 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）06（c）-0028-03在線方式提供的地理信息數(shù)據(jù)主要是通過(guò)WMTS提供地圖服務(wù)、通過(guò)WFS提供矢量服務(wù)，響應(yīng)速度和數(shù)據(jù)量、服務(wù)器、網(wǎng)絡(luò)環(huán)境相關(guān)性大，而且地圖服務(wù)還存在事先切片費(fèi)時(shí)費(fèi)力，切片后屬性信息缺失而無(wú)法支持空間分析和在線編輯兩個(gè)主要問(wèn)題，嚴(yán)重制約了地理信息數(shù)據(jù)價(jià)值的共享與應(yīng)用。因此，發(fā)展快速、有效的海量地理信息科技資訊 2017年18期2017-07-19
- 基于云計(jì)算的大數(shù)據(jù)處理技術(shù)研究
作都會(huì)接觸到海量數(shù)據(jù)，已然進(jìn)入了大數(shù)據(jù)時(shí)代。對(duì)于海量數(shù)據(jù)信息，如果采用傳統(tǒng)的數(shù)據(jù)處理辦法，很難保證數(shù)據(jù)信息傳輸?shù)陌踩?、快速性。云?jì)算的出現(xiàn)為大數(shù)據(jù)存儲(chǔ)、傳輸提供了便利，也為數(shù)據(jù)處理提供了重要保障。文中首先對(duì)大數(shù)據(jù)與云計(jì)算之間的關(guān)系進(jìn)行分析，然后探討了云計(jì)算及其關(guān)鍵技術(shù)，最后提出云計(jì)算背景下的大數(shù)據(jù)處理技術(shù)，希望能夠?yàn)橄嚓P(guān)人員提供參考。關(guān)鍵詞：云計(jì)算；大數(shù)據(jù)；處理技術(shù)；海量數(shù)據(jù)中圖分類號(hào)：TP274 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2095-1302（2017）物聯(lián)網(wǎng)技術(shù) 2017年6期2017-06-23
- 云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)設(shè)計(jì)
設(shè)計(jì)云平臺(tái)下海量數(shù)據(jù)沖擊中的可視化調(diào)度平臺(tái)，其由海量數(shù)據(jù)采集模塊、云平臺(tái)模塊和可視化調(diào)度模塊組成。海量數(shù)據(jù)采集模塊中的天線開始對(duì)海量數(shù)據(jù)進(jìn)行采集和調(diào)頻，并傳遞給數(shù)字信號(hào)處理器進(jìn)行處理，其處理結(jié)果將傳遞給云平臺(tái)模塊。云平臺(tái)模塊利用Hadoop分布式計(jì)算技術(shù)，對(duì)海量數(shù)據(jù)采集模塊的處理結(jié)果進(jìn)行分析和計(jì)算，給出調(diào)度方案。調(diào)度方案將傳遞給可視化調(diào)度模塊進(jìn)行調(diào)度方案的可視化，以及調(diào)度工作的具體實(shí)施。平臺(tái)軟件對(duì)云平臺(tái)模塊中調(diào)度方案的產(chǎn)生流程進(jìn)行設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，所設(shè)計(jì)現(xiàn)代電子技術(shù) 2017年8期2017-05-09
- 海量教育多媒體數(shù)據(jù)高效分類存儲(chǔ)技術(shù)研究
。關(guān)鍵詞： 海量數(shù)據(jù)； 教育多媒體數(shù)據(jù)庫(kù)； 分類存儲(chǔ)； 數(shù)據(jù)檢索中圖分類號(hào)： TN911?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）08?0042?04Research on efficient classification and storage technology of mass datain educational multimediaYUAN Yanxing1， GUO Xianzhou2（1. Guangd現(xiàn)代電子技術(shù) 2017年8期2017-05-09
- 函數(shù)局部掃描解決在線題庫(kù)海量數(shù)據(jù)讀取
析了局部掃描海量數(shù)據(jù)庫(kù)方法，實(shí)現(xiàn)了基于函數(shù)局部掃描解決在線題庫(kù)海量數(shù)據(jù)讀取的問(wèn)題。給出了不同類型利用函數(shù)實(shí)現(xiàn)局部范圍掃描的SQL語(yǔ)句寫法，總結(jié)了函數(shù)使用需要注意的問(wèn)題。關(guān)鍵詞：函數(shù)；局部掃描；SOL；海量數(shù)據(jù)中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）29-0014-031概述在數(shù)據(jù)處理過(guò)程中，最苦悶的事情是，很難找到提高大范圍數(shù)據(jù)處理執(zhí)行速度的對(duì)策，處理少量數(shù)據(jù)時(shí)，不論怎樣都能夠輕易地獲得較快的執(zhí)行速度；但對(duì)于大范圍的電腦知識(shí)與技術(shù) 2016年29期2017-04-27
- 基于云計(jì)算的海量高校體育數(shù)據(jù)建模與分析
云計(jì)算； 海量數(shù)據(jù)； 數(shù)據(jù)挖掘； K均值中圖分類號(hào)： TN911.1?34； TP391 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）07?0105?04Mass college sports data modeling and analysis based on cloud computingWANG Ningtao（Zhongzhou University， Zhengzhou 450044， China）Abstract： In o現(xiàn)代電子技術(shù) 2017年7期2017-04-14
- 海量數(shù)據(jù)機(jī)器單詞中關(guān)鍵語(yǔ)義篩選方法研究
義信息抽取的海量數(shù)據(jù)機(jī)器單詞中關(guān)鍵語(yǔ)義篩選方法。首先構(gòu)建海量數(shù)據(jù)機(jī)器單詞的文本語(yǔ)義主題詞概念決策樹模型，采用語(yǔ)義信息轉(zhuǎn)換方式計(jì)算機(jī)器單詞中關(guān)鍵語(yǔ)義的利用規(guī)則、聚類中心等信息參量；然后采用主題詞表自然語(yǔ)義信息抽取方法進(jìn)行語(yǔ)義評(píng)估和翻譯可靠性測(cè)試，實(shí)現(xiàn)關(guān)鍵語(yǔ)義自動(dòng)篩選控制；最后進(jìn)行仿真測(cè)試。結(jié)果表明，采用該方法進(jìn)行機(jī)器單詞中關(guān)鍵語(yǔ)義篩選， 提高了文本機(jī)器翻譯的自適應(yīng)配準(zhǔn)能力，翻譯的準(zhǔn)確性得到有效提高。關(guān)鍵詞： 海量數(shù)據(jù)； 機(jī)器翻譯； 單詞； 語(yǔ)義篩選中圖分類號(hào)現(xiàn)代電子技術(shù) 2017年6期2017-04-10
- 云存儲(chǔ)服務(wù)端海量數(shù)據(jù)安全存儲(chǔ)的加密解決方案
儲(chǔ)服務(wù)端； 海量數(shù)據(jù)； 安全存儲(chǔ)； 數(shù)據(jù)加密解決方案中圖分類號(hào)： TN915.08?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）03?0079?03Encryption solution for mass data secure storage of cloud storage serverZHU Rong1， ZHOU Cailan2， GAO Rui1（1. Hanjiang Normal University， Shiyan 4現(xiàn)代電子技術(shù) 2017年3期2017-03-04
- 基于海量數(shù)據(jù)的校園公共安全管理研究
術(shù)逐漸成熟使海量數(shù)據(jù)應(yīng)用成為可能，也為校園公共安全管理提供了新思路。校園公共安全管理應(yīng)在海量數(shù)據(jù)新技術(shù)應(yīng)用基礎(chǔ)上，解決數(shù)據(jù)收集、加工處理難題，轉(zhuǎn)變事后“應(yīng)對(duì)”模式，具有公共安全“預(yù)防”思維，從各部門的協(xié)同聯(lián)動(dòng)構(gòu)建公共安全管理機(jī)制。[關(guān)鍵詞]海量數(shù)據(jù)；“預(yù)防”思維；校園；公共安全管理機(jī)制doi：10.3969/j.issn.1673 - 0194.2016.24.154[中圖分類號(hào)]G647 [文獻(xiàn)標(biāo)識(shí)碼]A [文章編號(hào)]1673-0194（2016）24-中國(guó)管理信息化 2016年24期2017-02-04
- 基于HADOOP集群的數(shù)據(jù)采集和清洗
果。關(guān)鍵詞：海量數(shù)據(jù)；Hadoop；hive；數(shù)據(jù)采集；數(shù)據(jù)清洗中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A1 引言（Introduction）Hadoop框架本身大多是用Java編程語(yǔ)言編寫的，一些本地代碼是使用C語(yǔ)言編寫的，命令行實(shí)用程序?qū)懗蓅hell腳本，同時(shí)隨著不同公司的工作需要，隨之產(chǎn)生了許多不同的版本，極大的豐富了Hadoop的內(nèi)容，如同后續(xù)出現(xiàn)的Hive、Zookeeper。截至2013年，已經(jīng)有超過(guò)一半的世界500強(qiáng)企業(yè)采用Hadoop。Hado軟件工程 2016年11期2017-01-17
- 商業(yè)銀行海量金融數(shù)據(jù)分析中數(shù)據(jù)分析技術(shù)的實(shí)踐探究
商業(yè)銀行 海量數(shù)據(jù) 數(shù)據(jù)分析技術(shù) 實(shí)踐應(yīng)用當(dāng)前計(jì)算機(jī)技術(shù)已經(jīng)滲透到生產(chǎn)生活中的方方面面，并且隨著計(jì)算機(jī)技術(shù)的發(fā)展和成熟，出現(xiàn)了越來(lái)越多的新型計(jì)算機(jī)技術(shù)，推動(dòng)社會(huì)進(jìn)入了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)時(shí)代的到來(lái)，對(duì)商業(yè)銀行來(lái)說(shuō)是把雙刃劍，在帶來(lái)發(fā)展機(jī)遇的同時(shí)，使得商業(yè)銀行面臨著更大的挑戰(zhàn)。多種網(wǎng)絡(luò)平臺(tái)的出現(xiàn)，極大地豐富了商業(yè)銀行的在線支付方式，催生了虛擬交易體系，在這個(gè)過(guò)程中所產(chǎn)生的金融數(shù)據(jù)量是非常龐大的。為了更好地迎接發(fā)展機(jī)遇和挑戰(zhàn)，就需要充分發(fā)揮數(shù)據(jù)分析技術(shù)優(yōu)勢(shì)，快經(jīng)營(yíng)者 2016年19期2016-12-23
- 海量數(shù)據(jù)庫(kù)的設(shè)計(jì)與優(yōu)化
的高速發(fā)展，海量數(shù)據(jù)庫(kù)的設(shè)計(jì)成為大型軟件系統(tǒng)不得不面對(duì)的棘手難題。在一個(gè)每天數(shù)千萬(wàn)甚至數(shù)億條數(shù)據(jù)量的軟件系統(tǒng)中，海量的數(shù)據(jù)對(duì)于系統(tǒng)的平穩(wěn)運(yùn)行造成了非常大的問(wèn)題。關(guān)鍵詞：海量數(shù)據(jù)；設(shè)計(jì)；優(yōu)化中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）28-0024-01數(shù)據(jù)庫(kù)技術(shù)是信息技術(shù)的基礎(chǔ)和核心，隨著各種應(yīng)用的數(shù)據(jù)量飛速增長(zhǎng)，海量數(shù)據(jù)不斷產(chǎn)生，在對(duì)穩(wěn)定性，實(shí)時(shí)性要求高的系統(tǒng)中，良好的數(shù)據(jù)庫(kù)設(shè)計(jì)變得非常迫切。1 數(shù)據(jù)庫(kù)設(shè)計(jì)在軟件系統(tǒng)處電腦知識(shí)與技術(shù) 2016年28期2016-12-21
- 太湖流域水資源信息管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
的工作，存在海量數(shù)據(jù)存儲(chǔ)、查詢和處理的問(wèn)題，針對(duì)這些困難，應(yīng)用GIS和數(shù)據(jù)庫(kù)技術(shù)進(jìn)行二次開發(fā)，設(shè)計(jì)并實(shí)現(xiàn)太湖流域水資源信息管理系統(tǒng)，從而解決了海量數(shù)據(jù)的管理問(wèn)題，提高了數(shù)據(jù)管理能力和工作效率。關(guān)鍵詞：GIS、海量數(shù)據(jù)、信息管理系統(tǒng)1、引言太湖流域河流縱橫交錯(cuò)，湖泊星羅棋布，形成江南水網(wǎng)，是全國(guó)河道密度最大的地區(qū)。流域內(nèi)河道水系以太湖為中心，分上游水系和下游水系兩個(gè)部分。近年來(lái)，太湖流域水污染嚴(yán)重，湖泊富營(yíng)養(yǎng)化嚴(yán)重，已造成太湖流域供水水源的嚴(yán)重污染，對(duì)此，應(yīng)科學(xué)與財(cái)富 2016年9期2016-10-21
- 基于hadoop平臺(tái)海量數(shù)據(jù)的快速查詢與實(shí)現(xiàn)
rk；查詢；海量數(shù)據(jù) 中圖分類號(hào)：TP31 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2016）21-0003-03 Abstract： With the development of Internet technology， The amount of data generated by humans is growing exponentially. Hadoop as a common tool in the field of big dat電腦知識(shí)與技術(shù) 2016年21期2016-10-18
- 基于海量POI數(shù)據(jù)的城市小學(xué)教育資源信息的提取與分析
詞：POI；海量數(shù)據(jù)；城市小學(xué)教育資源；可達(dá)性；數(shù)據(jù)挖掘大數(shù)據(jù)在近幾年是一個(gè)熱門話題。大數(shù)據(jù)(bigdata)是體量巨大(volume)、多種多樣(variety)、高速變化(velocity)、真實(shí)質(zhì)差(veracity)、價(jià)值密度低(value)的復(fù)雜數(shù)據(jù)集合[1-3]。這種定義指出大數(shù)據(jù)最為核心的問(wèn)題就是如何從規(guī)模巨大、種類繁多、生成快速的數(shù)據(jù)集中挖掘出有用的信息，進(jìn)而轉(zhuǎn)變成知識(shí)，為用戶提供決策服務(wù)，實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值。大數(shù)據(jù)中約有80%的數(shù)據(jù)是與空間測(cè)繪工程 2016年10期2016-08-02
- 基于MPI的高性能UVFITS數(shù)據(jù)合成研究與應(yīng)用*
VFITS；海量數(shù)據(jù)；MPI；并行計(jì)算；高性能計(jì)算中國(guó)明安圖超寬頻譜射電日像儀(Mingantu Ultrawide Spectral Radioheliograph, MUSER)是同時(shí)以高時(shí)間、空間和頻率分辨率對(duì)太陽(yáng)進(jìn)行射電頻譜成像的設(shè)備[1]。隨著進(jìn)入系統(tǒng)聯(lián)調(diào)和試觀測(cè)階段，當(dāng)前迫切需要實(shí)現(xiàn)試觀測(cè)結(jié)果的存儲(chǔ)、處理，以推進(jìn)設(shè)備誤差修正、設(shè)備定標(biāo)等一系列工作。這其中，需要應(yīng)用當(dāng)前射電天文領(lǐng)域的相關(guān)軟件，如天文應(yīng)用軟件公共包(Common Astronomy天文研究與技術(shù) 2016年2期2016-07-09
- 面向電力電纜狀態(tài)監(jiān)測(cè)綜合云計(jì)算平臺(tái)架構(gòu)設(shè)計(jì)