侯洪鳳,任 意,張澤宇
(大連科技學(xué)院,遼寧大連116052)
骨干裝備制造企業(yè)大數(shù)據(jù)平臺構(gòu)建
侯洪鳳,任 意,張澤宇
(大連科技學(xué)院,遼寧大連116052)
如今,制造業(yè)正進入大數(shù)據(jù)時代,因此,針對遼寧省裝備制造業(yè)兩化融合的現(xiàn)狀,探討大數(shù)據(jù)平臺構(gòu)建的必要性和可行性,并嘗試構(gòu)建企業(yè)級大數(shù)據(jù)平臺,幫助骨干裝備制造企業(yè)開辟創(chuàng)新轉(zhuǎn)型途徑。
裝備制造業(yè);兩化融合;大數(shù)據(jù)平臺
大數(shù)據(jù)不僅指海量數(shù)據(jù)資源,也指能從海量異構(gòu)數(shù)據(jù)資源中有效抽取出富含價值的信息前沿技術(shù)。大數(shù)據(jù)通常具有數(shù)據(jù)類型繁多、數(shù)據(jù)體量巨大、價值密度低、處理速度快等特點[1-3]。近幾年,大數(shù)據(jù)受到廣泛關(guān)注,在互聯(lián)網(wǎng)、醫(yī)療、金融、電信等行業(yè)引發(fā)了應(yīng)用熱潮。相較而言,制造業(yè)對大數(shù)據(jù)的利用水平明顯落后于其他行業(yè)[4]。
遼寧省骨干裝備制造企業(yè)經(jīng)過前期兩化融合前期成果的積累,已經(jīng)成功部署企業(yè)資源計劃(ERP)、產(chǎn)品數(shù)據(jù)管理系統(tǒng)(PDM)、產(chǎn)品生命周期管理(PLM)等諸多信息化系統(tǒng),單項應(yīng)用已經(jīng)非常普遍,部分企業(yè)已經(jīng)實現(xiàn)綜合集成。這些系統(tǒng)應(yīng)用涵蓋了產(chǎn)品的整個生命周期,從而積累了大量的傳統(tǒng)數(shù)據(jù)。另外,制造企業(yè)通過內(nèi)嵌入產(chǎn)品中的傳感器及時獲取機器運轉(zhuǎn)中產(chǎn)生的大量實時監(jiān)測數(shù)據(jù)。最后,隨著互聯(lián)網(wǎng)和工業(yè)深度融合發(fā)展,來自于外部互聯(lián)網(wǎng)的數(shù)據(jù),如聲音、符號、圖形、圖像、視頻等非結(jié)構(gòu)化數(shù)據(jù)也在急劇增長。上述數(shù)據(jù)都是在工業(yè)領(lǐng)域信息化相關(guān)應(yīng)用中所產(chǎn)生的海量數(shù)據(jù),因此也被稱為工業(yè)大數(shù)據(jù)。由于工業(yè)大數(shù)據(jù)來源廣泛、數(shù)據(jù)量巨大、類型復(fù)雜、信息冗余,給處理和應(yīng)用工業(yè)大數(shù)據(jù)帶來了極大的挑戰(zhàn)[5]。
第一,從企業(yè)自身發(fā)展需求來看,遼寧省骨干裝備制造企業(yè)兩化融合卓有成效,如沈飛、沈機、鞍鋼、大連機床,大連重工等企業(yè)兩化融合已經(jīng)具有較高水平,進入了集成提升和創(chuàng)新突破的發(fā)展階段,借助大數(shù)據(jù)可以打造出信息化環(huán)境下的新型能力,實現(xiàn)企業(yè)跨越式發(fā)展。
第二,新形勢下,裝備制造企業(yè)面臨巨大的外部壓力。首先,客戶需求多樣化和緊迫性的要求,對于產(chǎn)品研制的周期要求越來越高;其次,產(chǎn)品體系復(fù)雜,對產(chǎn)品質(zhì)量要求日益增高,全面質(zhì)量控制越來越受重視;最后,隨著土地、勞動力等要素成本的快速上漲,以及資源環(huán)境約束的進一步增強,我國制造業(yè)傳統(tǒng)的低成本競爭優(yōu)勢不斷減弱[6]。這些挑戰(zhàn)根據(jù)傳統(tǒng)方式很難解決,因此需要通過大數(shù)據(jù)來驅(qū)動創(chuàng)新,加快上市周期,提升產(chǎn)品質(zhì)量,降低研制成本。
技術(shù)可行性分析:在Hadoop、Spark、Storm等開源技術(shù)的影響下,大數(shù)據(jù)的技術(shù)壁壘越來越低,使得開展大數(shù)據(jù)業(yè)務(wù)的裝備制造企業(yè)無需擔憂技術(shù)實現(xiàn)問題,而是重點放到對需求的挖掘、分析和滿足上。
社會可行性分析:國務(wù)院先后出臺了《中國制造2025》、《國務(wù)院關(guān)于積極推進“互聯(lián)網(wǎng)+”行動的指導(dǎo)意見》,遼寧省政府非常重視大數(shù)據(jù),先后出臺了《遼寧省促進大數(shù)據(jù)發(fā)展行動實施方案》等政策文件。遼寧省計劃通過3—5年的探索,培育一批大數(shù)據(jù)骨干企業(yè),通過大數(shù)據(jù)提升工業(yè)能力,推動老東北工業(yè)基地轉(zhuǎn)型升級。
管理可行性分析:兩化程度較高的裝備制造企業(yè)采用大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算等技術(shù)實現(xiàn)企業(yè)現(xiàn)有信息系統(tǒng)的集成化和智能物聯(lián)網(wǎng)化有著迫切的需求,希望形成產(chǎn)品全生命周期數(shù)據(jù)化管理和全局數(shù)據(jù)優(yōu)化分析。企業(yè)的需求為這些核心技術(shù)的落地應(yīng)用提供了良好的環(huán)境[7]。
大數(shù)據(jù)平臺的總體目標是搭建一個匯聚、存儲、管理企業(yè)海量數(shù)據(jù)的平臺,解決數(shù)據(jù)量暴增所帶來的存儲與計算問題,提供海量數(shù)據(jù)處理和分析能力,為產(chǎn)品全生命周期和企業(yè)生產(chǎn)經(jīng)營各環(huán)節(jié)提供有價值的信息。
企業(yè)級大數(shù)據(jù)平臺基于Hadoop平臺,能提供海量數(shù)據(jù)的分布式存儲和處理。它通盤考慮各種類型的數(shù)據(jù)采集、分級存儲管理問題,以滿足不同數(shù)據(jù)需求[8]。
大平臺架構(gòu)如圖1所示,包括采集層、數(shù)據(jù)層和能力層,具體介紹如下。
圖1 大數(shù)據(jù)平臺架構(gòu)
采集層負責(zé)多渠道、多層面、快速、準確的收集數(shù)據(jù)。通過ETL(抽取、轉(zhuǎn)換、清洗、裝載)過程,采集加工操作環(huán)境中各信息系統(tǒng)中的數(shù)據(jù);利用網(wǎng)絡(luò)爬蟲Nutch、Crawler、scrapy從互聯(lián)網(wǎng)上收集數(shù)據(jù);利用大數(shù)據(jù)框架下的Flume+Kofko技術(shù)實時收集海量日志;利用第三方數(shù)據(jù)采集技術(shù)獲取客戶、競爭對手等數(shù)據(jù);利用數(shù)據(jù)接入技術(shù)實現(xiàn)多源異構(gòu)海量監(jiān)控數(shù)據(jù)的采集和融合。
大數(shù)據(jù)平臺架構(gòu)在數(shù)據(jù)層采用數(shù)據(jù)分級存儲的原則,可根據(jù)情況開放不同的數(shù)據(jù)開放接口滿足不同需求。
1.將來自于各企業(yè)信息系統(tǒng)的數(shù)據(jù),通過ETL工具進行清洗、轉(zhuǎn)換,不做關(guān)聯(lián)操作,將設(shè)計資源、制造資源、工程數(shù)據(jù)等基礎(chǔ)數(shù)據(jù)加載到公共基礎(chǔ)數(shù)據(jù)庫,將事務(wù)數(shù)據(jù)、運營數(shù)據(jù)加載到ODS中。
2.利用網(wǎng)絡(luò)爬蟲、第三方數(shù)據(jù)采集、監(jiān)控數(shù)據(jù)接入等技術(shù)將海量的流量話單數(shù)據(jù)、網(wǎng)頁內(nèi)容數(shù)據(jù)、上網(wǎng)日志數(shù)據(jù)等數(shù)據(jù)加載入Hadoop做長久保存。Hadoop進行非結(jié)構(gòu)化數(shù)據(jù)分析,產(chǎn)生的結(jié)果加載到企業(yè)數(shù)據(jù)倉庫中。
3.清洗、轉(zhuǎn)換后的ODS數(shù)據(jù),按照某一主題(生產(chǎn)管理、項目管理)構(gòu)造數(shù)據(jù)間的關(guān)聯(lián)映射關(guān)系,經(jīng)過輕度匯總加載到主題分析庫中。主題分析庫經(jīng)過深度匯總,生成綜合數(shù)據(jù)加載到企業(yè)數(shù)據(jù)倉庫中。
在數(shù)據(jù)匯聚基礎(chǔ)上利用強大的挖掘技術(shù)、分析技術(shù)、高維可視化技術(shù)等對數(shù)據(jù)進行有效跨域整合,對上層應(yīng)用提供各種跨域數(shù)據(jù)處理和分析能力。
對裝備制造企業(yè)來說,大數(shù)據(jù)代表的不僅是一種先進的數(shù)據(jù)處理技術(shù),而更多的是一種管理理念的變革。所以,工業(yè)大數(shù)據(jù)從量的積累到價值的突破,從讓決策層認識工業(yè)大數(shù)據(jù)到利用大數(shù)據(jù)技術(shù)重塑核心競爭力和加快制造業(yè)轉(zhuǎn)型升級,還需要很長的路[5]。不同的企業(yè)有不同的基礎(chǔ)和目標,裝備制造業(yè)應(yīng)該根據(jù)自身情況選擇由不同應(yīng)用場景驅(qū)動大數(shù)據(jù)開發(fā),循序漸進,逐步建設(shè),直到形成服務(wù)于產(chǎn)品全生命周期的實時的、整體聯(lián)動的IT解決方案。
[1]孟小峰,慈祥.大數(shù)據(jù)管理:概念、技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,(1).
[2]王元卓,靳小龍,程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù):技術(shù)與挑戰(zhàn)[J].計算機研究與發(fā)展,2013,(6).
[3] 鄔賀銓.大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J].求是,2013,(4).
[4] 宮夏屹,等.大數(shù)據(jù)平臺技術(shù)綜述[J].系統(tǒng)仿真學(xué)報,2014,(3).
[5]高嬰勱.工業(yè)大數(shù)據(jù)價值挖掘路徑[J].中國工業(yè)評論,2015,(3).
[6]張翔,趙群.大數(shù)據(jù)時代中國制造業(yè)創(chuàng)新發(fā)展試述[J].中國制造,2015,(8).
[7]張潔.大數(shù)據(jù)助力裝備制造業(yè)的智能化[J].電器工業(yè),2016,(2).
[8]陳娜,等.基于Hadoop的電信BSS大數(shù)據(jù)平臺建設(shè)研究[J].電信科學(xué),2013,(3).
F426.61
A
1673-291X(2017)35-0026-02
2017-09-23
遼寧省教育廳科學(xué)研究一般項目(W2015076),遼寧省教育科學(xué)“十三五”規(guī)劃項目(JG16DB061),遼寧省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項目(201613207000035)
侯洪鳳(1979-),女,山東萊州人,博士研究生,副教授,從事企業(yè)信息化建設(shè),車間調(diào)度研究。
[責(zé)任編輯 張宇霞]