国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于Hadoop的電梯安全大數(shù)據(jù)挖掘算法研究

2018-04-28 02:54:19
關(guān)鍵詞:數(shù)據(jù)挖掘電梯關(guān)聯(lián)

常 姍

(西安理工大學(xué),西安710048)

截至2016年底,我國(guó)電梯保有量已達(dá)到470萬(wàn)臺(tái)。電梯成為繼飛機(jī)、火車、汽車之后的第四大交通工具。在電梯數(shù)量快速增加的同時(shí),電梯安全面臨著生產(chǎn)質(zhì)量下降、維保質(zhì)量下降、安全意識(shí)不足的嚴(yán)峻形勢(shì)[1]。2014年1月1日起施行的《中華人民共和國(guó)特種設(shè)備安全法》規(guī)定:電梯必須保持電梯緊急報(bào)警裝置和通話裝置完好,保證聯(lián)絡(luò)暢通。支持并鼓勵(lì)建立電梯安全遠(yuǎn)程監(jiān)管系統(tǒng),實(shí)現(xiàn)電梯安全網(wǎng)絡(luò)監(jiān)控管理。[2]目前,電梯五方通話裝置或電梯應(yīng)急通信系統(tǒng)基本做到了國(guó)內(nèi)全覆蓋;全國(guó)已有20多個(gè)省、市、自治區(qū)建立了電梯安全監(jiān)管系統(tǒng)。但是,電梯緊急報(bào)警裝置屬于被動(dòng)呼救方式,只在乘客被困時(shí)才用;而電梯安全監(jiān)管系統(tǒng)雖然可以實(shí)時(shí)主動(dòng)報(bào)警,但并不能實(shí)現(xiàn)電梯事故的預(yù)警預(yù)報(bào)。本文以電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)作為數(shù)據(jù)源構(gòu)建電梯安全大數(shù)據(jù)挖掘平臺(tái),著重研究了聚類算法K-Means和關(guān)聯(lián)算法Apriori,進(jìn)而實(shí)現(xiàn)電梯安全事故的預(yù)警預(yù)報(bào)。

1 電梯安全大數(shù)據(jù)來(lái)源

電梯主要由三大部分組成:轎廂、曳引機(jī)和控制柜,其中曳引機(jī)和控制柜均安置在機(jī)房。[3]電梯安全大數(shù)據(jù)來(lái)源于電梯安全遠(yuǎn)程監(jiān)管系統(tǒng),該系統(tǒng)由硬件和軟件兩部分構(gòu)成:硬件部分安裝在電梯機(jī)房,從電梯控制板上實(shí)時(shí)提取電梯狀態(tài)信號(hào)并利用GPRS網(wǎng)絡(luò)推送到服務(wù)器,如圖1所示;軟件部分通過(guò)對(duì)電梯的運(yùn)行數(shù)據(jù)進(jìn)行分析,實(shí)時(shí)顯示電梯運(yùn)行狀態(tài)。[3]故障發(fā)生時(shí)迅速將故障電梯位置、故障現(xiàn)象、人員被困信息等通過(guò)短信、互聯(lián)網(wǎng)PC終端以及移動(dòng)互聯(lián)網(wǎng)終端等方式報(bào)告給值班室和維保人員,具有24小時(shí)電梯運(yùn)行參數(shù)在線監(jiān)測(cè)、電梯故障實(shí)時(shí)報(bào)警、電梯維保質(zhì)量評(píng)估等功能。

圖1 電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)示意圖

電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)使用的數(shù)據(jù)庫(kù)是SQL Server 2005,包括以下數(shù)據(jù)類型:

(1)電梯狀態(tài)數(shù)據(jù):運(yùn)行/檢修模式、上行、下行、上平層、下平層、門鎖、安全回路、電源等8路信號(hào)。[3]

(2)基礎(chǔ)數(shù)據(jù):電梯基本信息、注冊(cè)登記信息、電梯廠家資料、使用單位資料、維保公司資料、安裝信息、維保工人信息等。

(3)日常維保管理數(shù)據(jù):維保時(shí)間、維保項(xiàng)目、維保公司、維保人員信息、年檢記錄等。

(4)故障數(shù)據(jù):電梯位置、維保公司名稱、電梯用戶、電梯注冊(cè)登記號(hào)、電梯故障狀態(tài)等。

(5)違章數(shù)據(jù):維保公司、維保人員信息的違章信息、違章類型、違章描述等。

圖2 電梯安全大數(shù)據(jù)平臺(tái)構(gòu)架圖

2 電梯安全大數(shù)據(jù)平臺(tái)

電梯安全大數(shù)據(jù)平臺(tái)包括電梯安全大數(shù)據(jù)采集模塊、預(yù)處理模塊、數(shù)據(jù)挖掘模塊及數(shù)據(jù)展示模塊,其構(gòu)架圖如圖2所示。

數(shù)據(jù)采集模塊不間斷地收集與電梯相關(guān)的運(yùn)行狀態(tài)、日常維保、基礎(chǔ)、故障、報(bào)警、救援等數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)的大容量、多樣性、真實(shí)性和快速性。預(yù)處理模塊進(jìn)行統(tǒng)一標(biāo)準(zhǔn)的整理,包括數(shù)據(jù)導(dǎo)入、數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換、數(shù)據(jù)規(guī)約等過(guò)程。數(shù)據(jù)挖掘模塊主要通過(guò)數(shù)學(xué)模型、經(jīng)驗(yàn)公式、聚類算法、相關(guān)算法、模糊算法、遺傳算法、回歸分析等方式對(duì)海量數(shù)據(jù)信息進(jìn)行處理,實(shí)現(xiàn)從數(shù)據(jù)倉(cāng)庫(kù)獲取有用信息,如:預(yù)測(cè)電梯故障多發(fā)期,評(píng)判電梯維保質(zhì)量;通過(guò)電梯故障類型、頻率、零部件更換情況等預(yù)測(cè)電梯的運(yùn)行狀況等。數(shù)據(jù)展示模塊將大數(shù)據(jù)分析的結(jié)果用直觀的方式展示出來(lái),如:關(guān)聯(lián)關(guān)系圖、熱點(diǎn)分布圖、時(shí)空時(shí)序圖、模擬推演圖等,便于指導(dǎo)實(shí)際的電梯監(jiān)管工作。由此形成一個(gè)“收集—分析—反饋—優(yōu)化”的循環(huán)過(guò)程,在這個(gè)過(guò)程中維保人員不斷地學(xué)習(xí)、優(yōu)化,使電梯的安全管理工作真正做到事前預(yù)警準(zhǔn)確、事中處理有效、事后分析合理[4-5]。

3 電梯安全大數(shù)據(jù)挖掘算法研究

電梯安全大數(shù)據(jù)挖掘時(shí)采用了分布式處理分析軟件——Hadoop,它依靠“Map(映射)”和“Reduce(規(guī)約)”并行運(yùn)算大數(shù)據(jù)集編程模型。[6]數(shù)據(jù)挖掘的分析方法有很多種,本文主要研究聚類算法K-Means和關(guān)聯(lián)分析算法Apriori。

圖3 改進(jìn)的K-Means聚類算法過(guò)程流程圖

3.1 一種改進(jìn)的K-means聚類算法

K-means聚類算法需要實(shí)現(xiàn)確定k值和初始聚類中心,改進(jìn)的K-means算法思想是Canopy聚類算法對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理,確定k值和去除離群點(diǎn)[7]。在初始聚類的選擇問題上則放棄Canopy算法,依然使用了傳統(tǒng)K-Means算法,即從數(shù)據(jù)集合中任意選擇k個(gè)聚類中心,不同之處在于初始聚類中心由一組變成多組,再通過(guò)準(zhǔn)則函數(shù)計(jì)算出最優(yōu)的初始聚類中心。MapReduce并行化總體分為Canopy算法并行化和K-Means算法并行化,如圖3所示,這兩部分的共同點(diǎn)是對(duì)其在確定數(shù)據(jù)對(duì)象與聚類中心距離的階段進(jìn)行并行化操作[8]。

3.2 一種改進(jìn)的Apriori關(guān)聯(lián)算法

Apriori算法在計(jì)算時(shí)采用迭代的方法,簡(jiǎn)單易行,但其缺點(diǎn)是多次掃描事務(wù)數(shù)據(jù)庫(kù),需要很大的I/O負(fù)載,對(duì)每次k循環(huán),候選集C[k]中的每個(gè)元素都必須通過(guò)掃描數(shù)據(jù)庫(kù)來(lái)驗(yàn)證其是否加入L[k]。由此可能產(chǎn)生龐大的候選集,由L[k-1]產(chǎn)生k-候選集C[k]是指數(shù)增長(zhǎng)。采用MapReduce分而治之的思想對(duì)傳統(tǒng)的Apriori算法進(jìn)行改進(jìn),減少算法的運(yùn)行時(shí)間,將數(shù)據(jù)庫(kù)劃分為n個(gè)大小相同的數(shù)據(jù)塊,分別發(fā)送不同的工作節(jié)點(diǎn),并設(shè)每個(gè)數(shù)據(jù)塊的最小支持度閾值不變;執(zhí)行Map函數(shù),數(shù)據(jù)塊經(jīng)過(guò)各自節(jié)點(diǎn)的掃描,產(chǎn)生局部頻繁k-項(xiàng)集。Map函數(shù)先利用類似頻率統(tǒng)計(jì)的方法產(chǎn)生局部頻繁1項(xiàng)集,然后利用傳統(tǒng)Apriori算法的方法產(chǎn)生頻繁k-項(xiàng)集;利用Reduce函數(shù)合并所有的局部頻繁k-項(xiàng)集,具體合并方法為計(jì)算所有數(shù)據(jù)塊相同候選集的數(shù)目,得到全局候選頻繁k-項(xiàng)集;對(duì)數(shù)據(jù)庫(kù)進(jìn)行第二次掃描,計(jì)算全局候選頻繁項(xiàng)集的支持度并與最小支持度閾值進(jìn)行比較,找出最后的全局頻繁項(xiàng)集;不斷迭代,直至算法結(jié)束,[9]如圖4所示。改進(jìn)后的算法進(jìn)行的是并行運(yùn)算,其優(yōu)點(diǎn)是各節(jié)點(diǎn)之間的工作過(guò)程相互獨(dú)立互不影響,而且對(duì)于數(shù)據(jù)庫(kù)的掃描只需要2次,減少了算法執(zhí)行的時(shí)間開銷。

圖4 改進(jìn)的Apriori關(guān)聯(lián)算法優(yōu)化流程圖

3.3 改進(jìn)算法性能評(píng)估

分別從加速比與可擴(kuò)展性兩方面評(píng)估算法性能,實(shí)驗(yàn)數(shù)據(jù)來(lái)自電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)數(shù)據(jù)庫(kù)中的故障數(shù)據(jù)。

(1)改進(jìn)的K-Means算法加速比分析:體現(xiàn)并行算法性能的主要標(biāo)準(zhǔn)之一就是加速比,它所描述的算法性能是通過(guò)減少運(yùn)行算法的時(shí)間而得到的[10]。若用S表示加速比,TS為單個(gè)節(jié)點(diǎn)聚類所用的時(shí)間,TP表示P個(gè)節(jié)點(diǎn)同時(shí)工作所用的時(shí)間,則S=TS/TP。分別在Hadoop測(cè)試環(huán)境3個(gè)節(jié)點(diǎn)上進(jìn)行對(duì)比實(shí)驗(yàn),結(jié)果如圖5(a)所示[9]。由圖5(a)可以直觀地看出,改進(jìn)后的K-Means算法加速比較大。同時(shí),隨著節(jié)點(diǎn)數(shù)的增加折線圖有變緩的趨勢(shì),這是因?yàn)镠adoop平臺(tái)各節(jié)點(diǎn)之間相互通信時(shí)的時(shí)間開銷隨著節(jié)點(diǎn)數(shù)的增加而增加,導(dǎo)致加速比的增長(zhǎng)率減小。[11]

(2)改進(jìn)的K-Means算法可擴(kuò)展性分析:節(jié)點(diǎn)數(shù)的增加限制了加速比的增長(zhǎng),導(dǎo)致加速比無(wú)法很好地體現(xiàn)集群利用率,若用E代表擴(kuò)展性,則E=S/P,其中S為上文提到的加速比,P為節(jié)點(diǎn)數(shù)目[12]。同樣分別在Hadoop測(cè)試環(huán)境的3個(gè)節(jié)點(diǎn)上進(jìn)行實(shí)驗(yàn),結(jié)果如圖5(b)所示。分析圖5(b)可知,K-Means算法改進(jìn)后的折線圖整體呈下降趨勢(shì),但是改進(jìn)后的算法效率要明顯高于改進(jìn)前的算法效率[13]。

(3)改進(jìn)的Apriori算法加速比分析:以1G、2G、4G的數(shù)據(jù)規(guī)模,使其分別運(yùn)行在Hadoop測(cè)試環(huán)境的3個(gè)節(jié)點(diǎn)上,觀察它們的運(yùn)行時(shí)間[14],如圖5(c)所示。圖5(c)所示的結(jié)果是Hadoop平臺(tái)分別對(duì)3個(gè)數(shù)據(jù)規(guī)模在1、2、3共3個(gè)節(jié)點(diǎn)上所做的9次實(shí)驗(yàn)的結(jié)果,[9]可以看出,節(jié)點(diǎn)數(shù)越多,Hadoop處理數(shù)據(jù)所用的時(shí)間就越少。由此可以說(shuō)明改進(jìn)后的Apriori算法在Hadoop平臺(tái)上的加速比較好。[15]

(4)改進(jìn)的Apriori算法可擴(kuò)展性分析:若將1G數(shù)據(jù)用1個(gè)節(jié)點(diǎn)處理,2G數(shù)據(jù)用2個(gè)節(jié)點(diǎn)處理,3G數(shù)據(jù)用3個(gè)節(jié)點(diǎn)處理,結(jié)果如圖5(d)所示。分析圖5(d)中的運(yùn)行時(shí)間發(fā)現(xiàn),當(dāng)數(shù)據(jù)量與節(jié)點(diǎn)數(shù)目按相同比例同時(shí)增加時(shí),Hadoop運(yùn)行所需要的時(shí)間相差無(wú)異,這說(shuō)明改進(jìn)后的Apriori算法在Hadoop平臺(tái)上的擴(kuò)展性很好[16]。

圖5 改進(jìn)算法性能比較圖

綜上所述,改進(jìn)后的K-Means聚類算法和Apriori關(guān)聯(lián)算法在大數(shù)據(jù)集的處理上具有更好的性能。

4 基于Hadoop的電梯安全大數(shù)據(jù)挖掘算法結(jié)果分析

用以下幾個(gè)例子簡(jiǎn)要說(shuō)明改進(jìn)算法在電梯安全大數(shù)據(jù)平臺(tái)中的應(yīng)用。

(1)以小區(qū)為單位,各小區(qū)電梯故障情況分析:以每部電梯故障次數(shù)為觀測(cè)值,其聚類結(jié)果如表1所示。由于數(shù)據(jù)量大,小區(qū)數(shù)量眾多,本文只選取電梯數(shù)量較大的5個(gè)小區(qū)進(jìn)行分析,其電梯數(shù)量分別為60、56、52、48、42。通過(guò)表1可以看出:對(duì)于每個(gè)小區(qū)來(lái)說(shuō),第1聚類中的電梯故障次數(shù)明顯少于第2聚類和第3聚類,對(duì)于不同聚類中的電梯,維保人員可以有不同的維保策略,對(duì)于第3聚類中的電梯,維保人員應(yīng)加強(qiáng)其檢修頻率,從而降低小區(qū)的電梯故障率。[9]

(2)各品牌電梯的電梯故障次數(shù)聚類結(jié)果分析:本文所使用的數(shù)據(jù)中,三菱、芬蘭通力、巨人通力和日立電梯占所有品牌電梯的70%以上,故著重對(duì)這4個(gè)品牌電梯進(jìn)行分析[17]。以品牌電梯為單位,以每部電梯故障次數(shù)為觀測(cè)值,觀測(cè)結(jié)果見表2。[9]通過(guò)表2可以看出,對(duì)于各品牌電梯來(lái)說(shuō),每個(gè)聚類中的電梯故障率均不相同,第3聚類中的電梯故障率明顯高于前兩個(gè)聚類,各品牌電梯應(yīng)著重排查故障率較高的電梯,發(fā)現(xiàn)電梯自身潛在的危險(xiǎn)性。

表1 各小區(qū)每部電梯故障次數(shù)聚類結(jié)果

表2 各品牌電梯每部電梯故障次數(shù)最終聚類結(jié)果

表3 各故障類型與小區(qū)之間的關(guān)聯(lián)規(guī)則表

(3)各故障類型與小區(qū)之間的關(guān)聯(lián)規(guī)則結(jié)果分析:將最小置信度設(shè)置為30%,最小支持度設(shè)置為10%,得出的故障類型與小區(qū)之間的關(guān)聯(lián)規(guī)則見表3。通過(guò)表3的關(guān)聯(lián)規(guī)則能夠發(fā)現(xiàn)某特定小區(qū)的頻發(fā)故障,如小區(qū)3最可能發(fā)生的故障為沖頂或蹲底,概率超過(guò)了54%。結(jié)合聚類分析的結(jié)果,小區(qū)3的第3聚類中的電梯故障率最高,維保人員應(yīng)該重點(diǎn)檢修故障率較高的電梯的沖頂或蹲底故障,排除故障原因,確保電梯安全運(yùn)行[18]。

(4)各品牌電梯與故障類型之間的關(guān)聯(lián)規(guī)則結(jié)果分析:將最小置信度設(shè)置為10%,最小支持度同樣設(shè)置為10%,得出的故障類型與品牌電梯之間的關(guān)聯(lián)規(guī)則見表4。從表4關(guān)聯(lián)規(guī)則的結(jié)果能夠發(fā)現(xiàn)某品牌電梯的常見故障,如三菱電梯有20%的可能性發(fā)生短接門鎖運(yùn)行故障,同樣結(jié)合聚類分析的結(jié)果,三菱電梯的第3聚類電梯故障高發(fā),應(yīng)著重對(duì)這些電梯進(jìn)行短接門鎖運(yùn)行故障原因分析。

表4 各故障類型與電梯品牌之間的關(guān)聯(lián)規(guī)則表

5 結(jié)語(yǔ)

本文以電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)作為數(shù)據(jù)源構(gòu)建電梯安全大數(shù)據(jù)平臺(tái),著重研究了改進(jìn)后的K-Means聚類算法和Apriori關(guān)聯(lián)算法,同時(shí)根據(jù)電梯故障數(shù)據(jù)對(duì)改進(jìn)前后的算法進(jìn)行了實(shí)驗(yàn)驗(yàn)證,結(jié)果表明兩種改進(jìn)算法的加速比與可擴(kuò)展性更好。利用改進(jìn)的聚類算法分析了各小區(qū)、各電梯品牌的電梯故障情況以及各維保公司的故障修復(fù)率,利用關(guān)聯(lián)算法分析了小區(qū)及品牌電梯的特定頻發(fā)故障,對(duì)電梯安全管理及事故預(yù)警預(yù)報(bào)有指導(dǎo)意義。

參考文獻(xiàn):

[1]張貞貞,檀吳.基于大數(shù)據(jù)的電梯監(jiān)管新模式[J].電子技術(shù)與軟件工程,2017(22):164-165.

[2]全國(guó)人民代表大會(huì)常務(wù)委員會(huì)公報(bào).中華人民共和國(guó)特種設(shè)備安全法[M].北京:法律出版社,2014.

[3]李文峰,李志華,韓非.基于GSM網(wǎng)絡(luò)的電梯五方通話技術(shù)研究[J].電子器件,2013,36(1):76-79.

[4]劉榮燦.電梯安全遠(yuǎn)程監(jiān)管系統(tǒng)終端的研制[D].西安:西安科技大學(xué)碩士學(xué)位論文,2014.

[5]Dean J,Ghemawat S.MapReduce:Simplified data processingon large Clusters[J].Communication of the Acm,2008,51(1):107-113.

[6]徐斌,李琳,鐘珞.面向大數(shù)據(jù)的智慧電梯分析預(yù)警平臺(tái)[J].武漢理工大學(xué)學(xué)報(bào)(交通科學(xué)與工程版),2017,41(2):359-362.

[7]周仁,任海鵬.復(fù)雜網(wǎng)絡(luò)系統(tǒng)的拓?fù)浣Y(jié)構(gòu)辨識(shí)方法[J].西安理工大學(xué)學(xué)報(bào),2017,33(1):80-85.

[8]丁梓恒.電梯安全管理淺見[J].管理觀察,2016(33):62-63.

[9]馮永明.基于Hadoop的電梯安全大數(shù)據(jù)挖掘研究[D].西安:西安科技大學(xué)碩士學(xué)位論文,2017.

[10]陳吉榮,樂嘉錦.基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述[J].計(jì)算機(jī)工程與科學(xué),2013,35(10):25-35.

[11]張偉.電梯安全評(píng)價(jià)探析[J].現(xiàn)代商貿(mào)工業(yè),2014,26(9):175.

[12]蘇蓉.基于Hadoop平臺(tái)的安全日志聚類挖掘算法研究與應(yīng)用[D].西安:西北大學(xué)碩士學(xué)位論文,2015.

[13]Jiang Q S,Ye J P,Zhang J F.Research on Car-Rail Coupling Dynamics of Ascending Hatchway of Elevator Safety Device Test Tower[J].Advanced Materials Research,2014,978:135-138.

[14]Zarikas V,Loupls M,Papanikolaou N,et al.Statistical survey of elevator accidents in Greece[J].Safety Science,2013,59:98-102.

[15]Mcconnell N C,Boyce K E,Shields J,et al.The UK 9/11 evacuation study:Analysis of survivors’recognition and response phase in WTC1[J].Fire Safety Journal,2010,45(1):21-34.

[16]陳兆芳,張岐山.基于熵權(quán)和灰色關(guān)聯(lián)方法的電梯安全評(píng)價(jià)及其應(yīng)用[J].安全與環(huán)境工程,2016,23(4):109-112.

[17]Hieu D V,Meesad P.Fast K-Means Clustering for Very Large Datasets Based on MapReduce Combined with a New Cutting Method[J].Knowledge and Systems Engineering,2015,326:287-298.

[18]趙莉,候興哲,胡君,等.基于改進(jìn) K-means算法的海量智能用電數(shù)據(jù)分析[J].電網(wǎng)技術(shù),2014,38(10):2715-2720.

猜你喜歡
數(shù)據(jù)挖掘電梯關(guān)聯(lián)
探討人工智能與數(shù)據(jù)挖掘發(fā)展趨勢(shì)
“一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
奇趣搭配
被困電梯以后
基于并行計(jì)算的大數(shù)據(jù)挖掘在電網(wǎng)中的應(yīng)用
電力與能源(2017年6期)2017-05-14 06:19:37
智趣
讀者(2017年5期)2017-02-15 18:04:18
電梯不吃人
被困電梯,我不怕
一種基于Hadoop的大數(shù)據(jù)挖掘云服務(wù)及應(yīng)用
乘電梯
梨树县| 临高县| 榆林市| 马尔康县| 大悟县| 行唐县| 渭南市| 平阳县| 乃东县| 综艺| 滨海县| 宁河县| 长春市| 万载县| 定结县| 互助| 辛集市| 健康| 昌江| 威宁| 普格县| 始兴县| 大竹县| 梅州市| 通榆县| 甘孜县| 苏尼特左旗| 于都县| 崇礼县| 南召县| 扬中市| 望谟县| 五原县| 三门峡市| 临城县| 新沂市| 黑水县| 玉龙| 景泰县| 宁夏| 工布江达县|