国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

大數(shù)據(jù)基準(zhǔn)測(cè)試流程與測(cè)試工具

2014-05-18 08:12:04姜春宇孟苗苗
信息通信技術(shù) 2014年6期
關(guān)鍵詞:測(cè)試工具數(shù)據(jù)量數(shù)據(jù)處理

姜春宇 孟苗苗

1 工業(yè)和信息化部電信研究院標(biāo)準(zhǔn)所,云計(jì)算標(biāo)準(zhǔn)與測(cè)試驗(yàn)證北京市重點(diǎn)實(shí)驗(yàn)室 北京 100191

2 中國聯(lián)合網(wǎng)絡(luò)通信有限公司 北京 100033

引言

互聯(lián)網(wǎng)的普及已經(jīng)連接了全世界近30億人口,目前,互聯(lián)網(wǎng)上的網(wǎng)頁數(shù)目已經(jīng)突破10億[1],大量的數(shù)據(jù)在網(wǎng)絡(luò)中產(chǎn)生,而新的互聯(lián)網(wǎng)技術(shù)和應(yīng)用的結(jié)合形成了豐富的數(shù)據(jù)源,并帶來數(shù)據(jù)量爆發(fā)式的增長。大數(shù)據(jù)在數(shù)據(jù)量、數(shù)據(jù)類型和處理時(shí)效性等方面帶來了新的挑戰(zhàn),應(yīng)運(yùn)而生的大數(shù)據(jù)處理技術(shù)采用分布式文件系統(tǒng)、分布式并行計(jì)算框架等模型以低廉的價(jià)格解決大數(shù)據(jù)的挑戰(zhàn)。新的計(jì)算框架和數(shù)據(jù)庫系統(tǒng)層出不窮,大數(shù)據(jù)產(chǎn)品和系統(tǒng)不斷推陳出新,催生出對(duì)這些產(chǎn)品和技術(shù)進(jìn)行基準(zhǔn)對(duì)比的需求。

大數(shù)據(jù)基準(zhǔn)測(cè)試從具體應(yīng)用中抽象出有代表性的負(fù)載,根據(jù)真實(shí)數(shù)據(jù)的特征和分布生成可擴(kuò)展的數(shù)據(jù)集,以相應(yīng)的指標(biāo)衡量負(fù)載處理數(shù)據(jù)集的效果,以此來比較大數(shù)據(jù)處理系統(tǒng)的性能。本文結(jié)合大數(shù)據(jù)處理系統(tǒng)的特點(diǎn),闡述大數(shù)據(jù)基準(zhǔn)測(cè)試的要素和構(gòu)建流程,最后從數(shù)據(jù)、負(fù)載和軟件棧等方面比較現(xiàn)有基準(zhǔn)測(cè)試工具,并展望未來基準(zhǔn)測(cè)試工具的發(fā)展方向。

1 大數(shù)據(jù)起源和特點(diǎn)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展,產(chǎn)生了越來越多的數(shù)據(jù)來源?;ヂ?lián)網(wǎng)應(yīng)用記錄著用戶每天在網(wǎng)上的行為數(shù)據(jù),用戶的社交數(shù)據(jù)、搜索數(shù)據(jù)、購物數(shù)據(jù)都被一一記錄下來。而線下的生活也處處與網(wǎng)絡(luò)相關(guān),通話記錄、醫(yī)療數(shù)據(jù)、環(huán)境數(shù)據(jù)、財(cái)務(wù)數(shù)據(jù)也通過網(wǎng)絡(luò)留存下來。工業(yè)互聯(lián)網(wǎng)中的機(jī)器配備了傳感器和網(wǎng)絡(luò)傳輸裝置,積累了大量機(jī)器數(shù)據(jù)。物聯(lián)網(wǎng)連接地球上所有的人和物,感知并跟蹤著物體和人的狀態(tài)。據(jù)IDC預(yù)測(cè),從2005年到2020年,全球數(shù)據(jù)量將會(huì)從130EB增長到40ZB[2]。

隨著數(shù)據(jù)源種類的激增,新的數(shù)據(jù)不僅在數(shù)據(jù)量上有了很大的體量,其數(shù)據(jù)結(jié)構(gòu)也不同于以往的關(guān)系型數(shù)據(jù)結(jié)構(gòu),智能設(shè)備、傳感器和各種應(yīng)用的興起,視頻、圖片、音頻、文檔、網(wǎng)頁和日志等大量非結(jié)構(gòu)化的數(shù)據(jù)蜂擁而來,為當(dāng)前的數(shù)據(jù)處理帶來新的挑戰(zhàn)?;ヂ?lián)網(wǎng)服務(wù)的進(jìn)化,使得用戶對(duì)數(shù)據(jù)處理的速度有了更高要求,數(shù)據(jù)量規(guī)模和數(shù)據(jù)類型復(fù)雜性的增加對(duì)大數(shù)據(jù)處理速度帶來挑戰(zhàn)。IBM從四個(gè)維度定義大數(shù)據(jù),即數(shù)量(Volume)、種類(Variety)、速度(Velocity)、真實(shí)性(Veracity)[3]。大數(shù)據(jù)具備大體量、多樣性、高時(shí)效性和真實(shí)性等特征。

2 大數(shù)據(jù)處理平臺(tái)的構(gòu)成

大數(shù)據(jù)的大體量、多樣性和處理的時(shí)效性是傳統(tǒng)單設(shè)備縱向擴(kuò)展無法解決的,這種挑戰(zhàn)首先在互聯(lián)網(wǎng)搜索中體現(xiàn)出來,搜索引擎需要檢索和存儲(chǔ)的網(wǎng)站數(shù)量龐大,以非結(jié)構(gòu)化數(shù)據(jù)為主,為此谷歌率先于2004年提出一套分布式數(shù)據(jù)處理的技術(shù)體系,即能夠橫向擴(kuò)展的分布式文件系統(tǒng)(GFS)、分布式計(jì)算系統(tǒng)(MapReduce)和分布式數(shù)據(jù)庫(BigTable)等技術(shù),以較低成本很好地解決了大數(shù)據(jù)面臨的困境,奠定了大數(shù)據(jù)技術(shù)的基礎(chǔ)。受谷歌論文啟發(fā),Apache Hadoop實(shí)現(xiàn)了自己的分布式文件系統(tǒng)(HDFS)、分布式計(jì)算系統(tǒng)(MapReduce)和分布式數(shù)據(jù)庫(Hbase),并將其開源,從而加速了大數(shù)據(jù)技術(shù)和應(yīng)用的發(fā)展。大數(shù)據(jù)處理平臺(tái)主要由分布式文件系統(tǒng)、分布式計(jì)算平臺(tái)、分布式存儲(chǔ)系統(tǒng)等構(gòu)成。以Hadoop為例,其基本組件如圖1所示。

圖1 Hadoop基本組件

3 大數(shù)據(jù)基準(zhǔn)測(cè)試要素

基于Hadoop和Spark原理的大數(shù)據(jù)處理平臺(tái)在工業(yè)界和學(xué)術(shù)界都得到了廣泛應(yīng)用,谷歌、Facebook、百度、阿里巴巴等互聯(lián)網(wǎng)公司早已研發(fā)部署了大數(shù)據(jù)處理系統(tǒng),越來越多的中級(jí)企業(yè)開始在大數(shù)據(jù)基礎(chǔ)平臺(tái)之上開發(fā)大數(shù)據(jù)應(yīng)用,IDG調(diào)研了751家企業(yè),其中49%的企業(yè)反饋已經(jīng)或正在實(shí)現(xiàn)大數(shù)據(jù)項(xiàng)目[4]。盡管大數(shù)據(jù)的平臺(tái)和應(yīng)用發(fā)展迅速,但缺少基準(zhǔn)來衡量大數(shù)據(jù)平臺(tái)的性能,而且大數(shù)據(jù)系統(tǒng)的復(fù)雜性、多樣性和變化性為評(píng)估帶來很大困難。

大數(shù)據(jù)基準(zhǔn)測(cè)試能夠評(píng)估和比較大數(shù)據(jù)系統(tǒng)和架構(gòu),其主要作用有三個(gè)方面。1)它能提升大數(shù)據(jù)領(lǐng)域的技術(shù)、理論和算法,并挖掘出大數(shù)據(jù)的潛在價(jià)值和知識(shí)。2)它能幫助系統(tǒng)開發(fā)人員設(shè)計(jì)系統(tǒng)功能、調(diào)優(yōu)系統(tǒng)性能、提升部署方法[5]。3)它容許用戶比較不同系統(tǒng)的性能,幫助選購產(chǎn)品。

設(shè)計(jì)大數(shù)據(jù)基準(zhǔn)測(cè)試通常包含以下考慮。1)選擇數(shù)據(jù)和生成數(shù)據(jù),確定數(shù)據(jù)集的大小、類型以及覆蓋的應(yīng)用場(chǎng)景,提供數(shù)據(jù)集或者數(shù)據(jù)生成的工具。2)確定測(cè)試負(fù)載,負(fù)載需要覆蓋不同的應(yīng)用場(chǎng)景,具有代表性,能夠較全面地反應(yīng)系統(tǒng)的特性。3)明確測(cè)試指標(biāo),大數(shù)據(jù)基準(zhǔn)測(cè)試主要從性能、能效、性價(jià)比、可靠性等角度衡量大數(shù)據(jù)系統(tǒng)和架構(gòu)。4)確定基準(zhǔn)測(cè)試所針對(duì)的軟件系統(tǒng)和框架,不同框架處適用的場(chǎng)景不同。

4 測(cè)試流程

大數(shù)據(jù)基準(zhǔn)測(cè)試主要有三個(gè)流程,即數(shù)據(jù)生成、負(fù)載選擇和指標(biāo)選擇。簡要來說,數(shù)據(jù)生成主要生成不同的數(shù)據(jù)類型并滿足大數(shù)據(jù)的四V特點(diǎn);負(fù)載選擇主要是選擇合適的負(fù)載以運(yùn)行數(shù)據(jù)產(chǎn)生結(jié)果;指標(biāo)選擇確定衡量的維度,以便從不同方面評(píng)估大數(shù)據(jù)框架。

4.1 數(shù)據(jù)生成

大數(shù)據(jù)基準(zhǔn)測(cè)試通常要么采用現(xiàn)實(shí)數(shù)據(jù),要么合成數(shù)據(jù)。使用現(xiàn)實(shí)數(shù)據(jù)存在兩個(gè)困難,首先,大多數(shù)情況下數(shù)據(jù)都是企業(yè)比較敏感的部分,企業(yè)通常不愿意公開提供數(shù)據(jù);其次,現(xiàn)實(shí)數(shù)據(jù)只適應(yīng)于特定應(yīng)用場(chǎng)景,有其局限性,無法適應(yīng)所有負(fù)載;所以,用數(shù)據(jù)生成工具合成數(shù)據(jù)成為大數(shù)據(jù)基準(zhǔn)測(cè)試通常采用的方法。數(shù)據(jù)生成分為數(shù)據(jù)篩選、數(shù)據(jù)處理、數(shù)據(jù)生成和格式轉(zhuǎn)換四步。

4.1.1 生成步驟

1)數(shù)據(jù)篩選。在篩選數(shù)據(jù)時(shí),①需要考慮數(shù)據(jù)和負(fù)載的匹配性,數(shù)據(jù)類型應(yīng)該符合特定負(fù)載的要求,數(shù)據(jù)集需要來源于特定的大數(shù)據(jù)應(yīng)用場(chǎng)景,如電子商務(wù)、搜索引擎、社交網(wǎng)絡(luò)等,并符合真實(shí)數(shù)據(jù)的數(shù)據(jù)特征和分布特征;②根據(jù)測(cè)試機(jī)器的數(shù)量和應(yīng)用的特點(diǎn),評(píng)估數(shù)據(jù)量的大小。2)數(shù)據(jù)處理。待處理的數(shù)據(jù)是建立在能保持原始數(shù)據(jù)的特性并能消除其中敏感信息的基礎(chǔ)上進(jìn)行相關(guān)操作的。針對(duì)不同的數(shù)據(jù)類型,應(yīng)該采用該類領(lǐng)域中有代表性的數(shù)據(jù)建模方法對(duì)真實(shí)數(shù)據(jù)進(jìn)行建模,抽取出數(shù)據(jù)的特征,并將這些特征存儲(chǔ)在模型文件中。3)數(shù)據(jù)生成。數(shù)據(jù)生成通常需要特定的生成工具來完成,生成工具依據(jù)不同類型的數(shù)據(jù)處理過程來設(shè)計(jì)。首先需要提出數(shù)據(jù)的模型特征,基于提取出的模型和所需的數(shù)據(jù)量生成測(cè)試數(shù)據(jù)。除了需要保證所選用建模方法的模型特性外,還要滿足在數(shù)據(jù)生成過程中通過參數(shù)來控制數(shù)據(jù)生成的并發(fā)量和大小,不同的參數(shù)可以模擬出不同的應(yīng)用場(chǎng)景;不同的數(shù)據(jù)生成工具通過建模步驟,保證生成的測(cè)試數(shù)據(jù)保持原有數(shù)據(jù)的數(shù)據(jù)特征,并且可以縮放至大數(shù)據(jù)規(guī)模。4)數(shù)據(jù)格式轉(zhuǎn)換。這個(gè)流程保證生成數(shù)據(jù)能通過格式轉(zhuǎn)換工具生成符合特定應(yīng)用的輸入格式。

4.1.2 示例

例如,通過分析應(yīng)用和負(fù)載需求,假設(shè)現(xiàn)在要生成1T左右的文本數(shù)據(jù)。首先選擇網(wǎng)絡(luò)上開放維基百科的數(shù)據(jù)源,以此數(shù)據(jù)源為樣本,利用開源的數(shù)據(jù)生成工具并提取出數(shù)據(jù)的特征,數(shù)據(jù)生成工具根據(jù)數(shù)據(jù)特征和需要擴(kuò)展的數(shù)據(jù)量(這里是1T)來生成數(shù)據(jù)集,這樣就能得到基于實(shí)際應(yīng)用中數(shù)據(jù)擴(kuò)展的數(shù)據(jù)集。最后,根據(jù)負(fù)載需要的輸入格式再對(duì)數(shù)據(jù)集的格式進(jìn)行轉(zhuǎn)化。

4.2 負(fù)載選擇

負(fù)載是大數(shù)據(jù)基準(zhǔn)需要執(zhí)行的具體任務(wù),用來處理數(shù)據(jù)并產(chǎn)生結(jié)果,負(fù)載將大數(shù)據(jù)平臺(tái)的應(yīng)用抽象成一些基本操作。由于行業(yè)和領(lǐng)域的不同,其應(yīng)用有很多不同的特點(diǎn),從系統(tǒng)資源消耗方面負(fù)載可分為計(jì)算密集型、I/O密集型和混合密集型的任務(wù)。例如運(yùn)營商的話單查詢需要多次調(diào)用數(shù)據(jù)庫,是典型的I/O密集型任務(wù);而互聯(lián)網(wǎng)的聚類過程需要大量的迭代計(jì)算,是典型的計(jì)算密集型任務(wù);搜索引擎中的PageRank算法既需要數(shù)據(jù)交換又要不斷地迭代計(jì)算,屬于混合型任務(wù)。

選擇負(fù)載有兩種策略。第一種是從企業(yè)應(yīng)用的場(chǎng)景出發(fā),模擬企業(yè)應(yīng)用流程,采用應(yīng)用中的真實(shí)數(shù)據(jù)進(jìn)行測(cè)試。例如一家從事搜索的企業(yè),其應(yīng)用場(chǎng)景可以基本抽象為Nutch、Index和PageRank三種負(fù)載;銀行的典型應(yīng)用主要是賬單查詢、帳目的更改等,可以抽象為對(duì)數(shù)據(jù)庫表的查詢和更改。第二種是從通用的角度來考量,從測(cè)試整個(gè)大數(shù)據(jù)平臺(tái)的角度出發(fā),選擇負(fù)載時(shí)需要覆蓋大數(shù)據(jù)處理平臺(tái)主要組件即分布式計(jì)算框架、分布式文件系統(tǒng)和分布式存儲(chǔ)的能力。以Hadoop平臺(tái)為例,負(fù)載主要需要測(cè)試Hadoop(包括HDFS和MapReduce)、數(shù)據(jù)倉庫(Hive)和NoSQL數(shù)據(jù)庫的能力。測(cè)試負(fù)載需要覆蓋多種應(yīng)用類型和任務(wù)的資源特點(diǎn)。如表1所示,選取TeraSort、PageRank和Na?ve Bayes來測(cè)試Hadoop,這三個(gè)算法分別屬于I/O資源密集、混合和計(jì)算資源密集的任務(wù);選取Join Query來測(cè)試Hive組件,Read/Write/Scan負(fù)載來測(cè)試HBase組件,它們分別屬于計(jì)算密集和I/O密集負(fù)載。

表1 測(cè)試負(fù)載示例

4.3 指標(biāo)

測(cè)試指標(biāo)主要分為兩類,一類是從用戶角度出發(fā)的指標(biāo),這類指標(biāo)注重于直觀化,讓用戶容易理解[6];第二類指標(biāo)是從架構(gòu)的角度出發(fā)的,主要考量系統(tǒng)架構(gòu)的能力。第一類的指標(biāo)主要有每秒執(zhí)行的請(qǐng)求數(shù),請(qǐng)求延遲和每秒執(zhí)行的操作數(shù);第二類指標(biāo)注重比較系統(tǒng)性能間的差異,主要有每秒浮點(diǎn)計(jì)算速度和每秒數(shù)據(jù)吞吐量等。在實(shí)際測(cè)試中,為比較不同平臺(tái)之間的差異,可以從以下四個(gè)維度來評(píng)估大數(shù)據(jù)平臺(tái):性能、能耗、性價(jià)和可靠性,具體介紹和計(jì)算方式見表2。

表2 測(cè)試指標(biāo)

5 大數(shù)據(jù)測(cè)試工具

當(dāng)前大數(shù)據(jù)基準(zhǔn)工具有很多,主要分為三種類型。一類屬于微型負(fù)載,這類負(fù)載測(cè)試只測(cè)試大數(shù)據(jù)平臺(tái)的某個(gè)特定組件或應(yīng)用,例如GridMix是面向Hadoop集群的測(cè)試基準(zhǔn);TeraSort只針對(duì)文本數(shù)據(jù)的排序;雅虎開發(fā)的YCSB對(duì)比NoSQL數(shù)據(jù)庫的性能,其目的是評(píng)估鍵值和云數(shù)據(jù)庫[7];Facebook的LinkBench專門用于測(cè)試存儲(chǔ)社交圖譜和網(wǎng)絡(luò)服務(wù)的數(shù)據(jù)庫[8]。第二類是綜合類的測(cè)試工具,模擬幾類典型應(yīng)用,覆蓋大數(shù)據(jù)軟件平臺(tái)的多個(gè)功能組件,比如英特爾的Hibench是針對(duì)Hadoop和Hive平臺(tái)的基準(zhǔn)測(cè)試工具,其負(fù)載按照業(yè)務(wù)能分為微型負(fù)載、搜索業(yè)務(wù)、機(jī)器學(xué)習(xí)和分析請(qǐng)求等四類[9];BigDataBench是中科院計(jì)算所提出的大數(shù)據(jù)測(cè)試工具,覆蓋了結(jié)構(gòu)數(shù)據(jù)、半結(jié)構(gòu)數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù),其負(fù)載模擬了搜索引擎、社交網(wǎng)絡(luò)和電子商務(wù)等業(yè)務(wù)模型[6]。第三類測(cè)試工具是具體應(yīng)用領(lǐng)域端到端的大數(shù)據(jù)測(cè)試工具,這類的測(cè)試工具主要有BigBench,是基于TPC-DS開發(fā)的端到端大數(shù)據(jù)測(cè)試工具,面向零售業(yè)務(wù),模擬電子商務(wù)的整個(gè)流程,主要測(cè)試MapReduce和并行DBMS[10],其優(yōu)點(diǎn)是應(yīng)用場(chǎng)景結(jié)合非常緊密,行業(yè)針對(duì)性很強(qiáng)。

這三類測(cè)試工具各有其應(yīng)用場(chǎng)景,微型測(cè)試工具測(cè)試的應(yīng)用較單一,效率高、成本低,但無法通體衡量大數(shù)據(jù)平臺(tái)的性能,綜合類測(cè)試工具覆蓋面比較廣,考慮到應(yīng)用類型和不同平臺(tái)組件,能夠較全面考量大數(shù)據(jù)平臺(tái)執(zhí)行不同類型任務(wù)的性能,通用性好。端到端的大數(shù)據(jù)測(cè)試工具滿足了對(duì)企業(yè)特定業(yè)務(wù)的模擬,與企業(yè)應(yīng)用場(chǎng)景結(jié)合緊密,覆蓋了企業(yè)大數(shù)據(jù)業(yè)務(wù)全流程的模擬和測(cè)試,是未來大數(shù)據(jù)測(cè)試工具發(fā)展的趨勢(shì)。

6 總結(jié)

大數(shù)據(jù)基準(zhǔn)測(cè)試負(fù)載、數(shù)據(jù)、指標(biāo)的選擇都應(yīng)該基于企業(yè)具體業(yè)務(wù)場(chǎng)景和應(yīng)用需求,對(duì)于業(yè)務(wù)種類較多、覆蓋多個(gè)平臺(tái)組件的企業(yè)應(yīng)該考慮抽象一些共性的負(fù)載,選擇通用性的測(cè)試工具。對(duì)于行業(yè)領(lǐng)域比較明確,業(yè)務(wù)種類比較集中的企業(yè),應(yīng)該多考慮抽象出特定的場(chǎng)景的負(fù)載,選用實(shí)際數(shù)據(jù)進(jìn)行擴(kuò)展,最好定制端到端的測(cè)試工具。目前來看,大數(shù)據(jù)測(cè)試工具都屬于微型工具,其負(fù)載均模擬真實(shí)業(yè)務(wù)中的一些簡單操作,主要從性能角度衡量大數(shù)據(jù)基礎(chǔ)平臺(tái)(Hadoop或者Spark平臺(tái)),目前比較缺少端到端的面向具體業(yè)務(wù)場(chǎng)景的測(cè)試負(fù)載和測(cè)試數(shù)據(jù)。隨著企業(yè)的大數(shù)據(jù)應(yīng)用的逐步發(fā)展,企業(yè)更加了解自身需求,未來大數(shù)據(jù)基準(zhǔn)測(cè)試的發(fā)展將注重以下兩點(diǎn)。1)面向具體行業(yè)的應(yīng)用場(chǎng)景,模擬典型的應(yīng)用類型,針對(duì)特定行業(yè)端到端的測(cè)試工具,比如模擬搜索引擎、社交網(wǎng)絡(luò)、上網(wǎng)流量查詢、銀行賬單查詢等業(yè)務(wù)的負(fù)載。2)簡化測(cè)試部署、執(zhí)行的復(fù)雜性,提供更好的可視化工具。

[1]Total Number of Websites.Internetlivestats[EB/OL].[2014-10-11].http://www.internetlivestats.com/total-number-ofwebsites/

[2]John Gantz,David Reinsel.The Digital Universe In 2020:Big Data,Bigger Digital Shadows,and Biggest Growth in the Far East[R/OL].[2014-10-11].http://www.emc.com/leadership/digital-universe/2014iview/executivesummary.htm

[3]The Four V's of Big Data[EB/OL].[2014-10-11].http://www.ibmbigdatahub.com/infographic/four-vs-big-data

[4]The 2014 IDG Enterprise Big Data research[R/OL].[2014-10-11].http://www.idgenterprise.com/report/bigdata-2

[5]Rui Han,Xiaoyi Lu.On Big Data Benchmarking[C]//The Fourth workshop on Big Data Benchmarks,Performance Optimization,and Emerging Hardware.Salt Lake City,Utah,USA,2014:3-18

[6]Wang L,Zhan J,Luo C,et al.BigDataBench:a Big Data Benchmark Suit from Internet Services[C]//The 20th IEEE International Symposium On High Performance Computer Architecture.Orlando,USA,2014

[7]Brian F.Cooper,Adam Silberstein,Erwin Tam,et al. Benchmarking Cloud Serving Systems with YCSB[C]//The 1st ACM symposium on Cloud computing,SoCC'10.Indianapolis,Indiana,USA,2010:143-153

[8]Timothy G.Armstrong,Vamsi Ponnekanti,DhrubaBorthaku.LinkBench:a Database Benchmark Based on the Facebook Social Graph[C]//SIGMOD,ACM,USA,2013:1185-1196

[9]Shengsheng Huang,Jie Huang,Jinquan Dai,et al.The HiBench Benchmark Suit:Characterization of the MapReduce-Based Data Analysis[C]//Data Engineering Workshops.I IEEE 26th International Conferenace on IEEE,2010:41-51

[10]Ahmad Ghazal,TilmannRabl,Minqing Hu,el al.BigBench:Towards an Industry Standard Benchmark for Big Data Analytics[C]//SIGMOD ACM.NewYork,2013:197-208

猜你喜歡
測(cè)試工具數(shù)據(jù)量數(shù)據(jù)處理
邊緣智力兒童及其智力測(cè)試工具的研究進(jìn)展
認(rèn)知診斷缺失數(shù)據(jù)處理方法的比較:零替換、多重插補(bǔ)與極大似然估計(jì)法*
ILWT-EEMD數(shù)據(jù)處理的ELM滾動(dòng)軸承故障診斷
基于大數(shù)據(jù)量的初至層析成像算法優(yōu)化
計(jì)算Lyapunov指數(shù)的模糊C均值聚類小數(shù)據(jù)量法
高刷新率不容易顯示器需求與接口標(biāo)準(zhǔn)帶寬
寬帶信號(hào)采集與大數(shù)據(jù)量傳輸系統(tǒng)設(shè)計(jì)與研究
電子制作(2019年13期)2020-01-14 03:15:18
Http并發(fā)連接測(cè)試工具
基于希爾伯特- 黃變換的去噪法在外測(cè)數(shù)據(jù)處理中的應(yīng)用
福祿克推出先進(jìn)的連接式測(cè)試工具系統(tǒng)
宣武区| 额敏县| 大同县| 中西区| 济源市| 泊头市| 南郑县| 讷河市| 修武县| 安岳县| 龙里县| 宕昌县| 临猗县| 慈溪市| 万载县| 滕州市| 额尔古纳市| 四会市| 乐昌市| 井冈山市| 安吉县| 邯郸市| 简阳市| 东至县| 河北省| 贵州省| 津市市| 海安县| 志丹县| 诏安县| 治多县| 鹤山市| 栾城县| 万载县| 平远县| 工布江达县| 松原市| 榆树市| 金山区| 定兴县| 堆龙德庆县|