張冬,劉旭波

(南昌大學(xué)先進(jìn)制造學(xué)院,江西 南昌 330031)

隨著大數(shù)據(jù)技術(shù)與新一代信息技術(shù)的發(fā)展,全球制造業(yè)都面臨著新的挑戰(zhàn)與機(jī)遇。從國(guó)家層面,2015年,我國(guó)提出要搭建智能制造平臺(tái)[1];2020年,中央深改委提出要加快提升制造業(yè)數(shù)字化、智能化水平[2]。從市場(chǎng)方面,全球每天產(chǎn)生的數(shù)據(jù)量已經(jīng)超過(guò)了1 000億GB,國(guó)際數(shù)據(jù)公司預(yù)計(jì)到2025年全球數(shù)據(jù)規(guī)模將達(dá)到175 ZB,其中制造業(yè)數(shù)據(jù)所占比例遠(yuǎn)超其他行業(yè)。調(diào)查顯示,越來(lái)越多的制造企業(yè)也愿意采取大數(shù)據(jù)技術(shù)來(lái)指導(dǎo)產(chǎn)品的設(shè)計(jì)研發(fā)[3]。因此,不管是從國(guó)家的政策還是企業(yè)內(nèi)部尋求發(fā)展轉(zhuǎn)型,制造業(yè)數(shù)據(jù)化、智能化都不可避免。

隨著制造業(yè)智能化、信息化的不斷發(fā)展,各類工業(yè)傳感器和各種信息系統(tǒng)的應(yīng)用,產(chǎn)品開(kāi)發(fā)過(guò)程中產(chǎn)生的數(shù)據(jù)也越來(lái)越多[4]。如制造執(zhí)行系統(tǒng)(manufacturing execution system,MES)產(chǎn)生大量不同結(jié)構(gòu)類型的生產(chǎn)數(shù)據(jù),產(chǎn)品質(zhì)量信息系統(tǒng)產(chǎn)生的產(chǎn)品質(zhì)量數(shù)據(jù)。這些海量的數(shù)據(jù)中隱藏著許多對(duì)產(chǎn)品開(kāi)發(fā)有價(jià)值的信息,可以驅(qū)動(dòng)企業(yè)管理以及幫助設(shè)計(jì)師在產(chǎn)品設(shè)計(jì)研發(fā)時(shí)做出正確的決策[5]。在智能制造的大環(huán)境下,將大數(shù)據(jù)技術(shù)與產(chǎn)品開(kāi)發(fā)管理系統(tǒng)相結(jié)合,實(shí)現(xiàn)了產(chǎn)品開(kāi)發(fā)全生命周期數(shù)據(jù)的管理和分析,提高了產(chǎn)品開(kāi)發(fā)的效率。

1 需求分析

產(chǎn)品的開(kāi)發(fā)流程主要有設(shè)計(jì)研發(fā)、生產(chǎn)制造、質(zhì)量檢測(cè)等,每個(gè)流程產(chǎn)生的數(shù)據(jù)都具有來(lái)源多樣、實(shí)時(shí)性高、數(shù)據(jù)信息復(fù)雜的特點(diǎn)[6]。各個(gè)流程數(shù)據(jù)特點(diǎn)如表1所示。要想從這些來(lái)源不同、結(jié)構(gòu)不同的數(shù)據(jù)中發(fā)現(xiàn)對(duì)產(chǎn)品開(kāi)發(fā)有用的數(shù)據(jù),就需要對(duì)這些數(shù)據(jù)進(jìn)行綜合研究[7],即對(duì)多源異構(gòu)數(shù)據(jù)的處理。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)是按照結(jié)構(gòu)化的方法來(lái)存儲(chǔ)數(shù)據(jù)的,不能滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)要求,并且產(chǎn)品開(kāi)發(fā)過(guò)程中的許多數(shù)據(jù)具有很高的時(shí)效性,因此需要使用大數(shù)據(jù)的數(shù)據(jù)庫(kù)組件進(jìn)行存儲(chǔ)。

表1 產(chǎn)品開(kāi)發(fā)各階段數(shù)據(jù)特點(diǎn)

目前在制造業(yè)應(yīng)用的信息系統(tǒng)大多是獨(dú)立的,各個(gè)系統(tǒng)都有自己的數(shù)據(jù)庫(kù)以及存儲(chǔ)格式,因此不能對(duì)整個(gè)產(chǎn)品生命周期的數(shù)據(jù)進(jìn)行共享分析,導(dǎo)致生產(chǎn)制造系統(tǒng)、產(chǎn)品質(zhì)量信息系統(tǒng)等系統(tǒng)的數(shù)據(jù)不能有效指導(dǎo)產(chǎn)品的設(shè)計(jì)研發(fā)。同時(shí),產(chǎn)品開(kāi)發(fā)的設(shè)計(jì)方案如何進(jìn)行優(yōu)化也不能通過(guò)數(shù)據(jù)分析得到反饋。因此,要想提高產(chǎn)品研發(fā)效率、優(yōu)化成本,就需要對(duì)產(chǎn)品整個(gè)生命周期的大數(shù)據(jù)進(jìn)行管理分析,從而作出正確的決策。基于大數(shù)據(jù)的產(chǎn)品開(kāi)發(fā)管理系統(tǒng)針對(duì)目前存在的問(wèn)題可滿足以下需求:

1)滿足產(chǎn)品開(kāi)發(fā)過(guò)程中全生命周期各類數(shù)據(jù)的采集分類存儲(chǔ)。

2)完成對(duì)產(chǎn)品生產(chǎn)制造數(shù)據(jù)和產(chǎn)品質(zhì)量數(shù)據(jù)的分析處理,優(yōu)化產(chǎn)品的設(shè)計(jì)研發(fā)。

3)實(shí)現(xiàn)產(chǎn)品開(kāi)發(fā)數(shù)據(jù)的圖形展示。

4)擁有完善的權(quán)限管理機(jī)制,幫助加強(qiáng)企業(yè)管理。

5)產(chǎn)品設(shè)計(jì)開(kāi)發(fā)方案的評(píng)價(jià)。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)架構(gòu)設(shè)計(jì)

基于大數(shù)據(jù)的產(chǎn)品開(kāi)發(fā)管理系統(tǒng)的大數(shù)據(jù)架構(gòu)分為4層,分別為數(shù)據(jù)采集層、數(shù)據(jù)存儲(chǔ)層、數(shù)據(jù)分析層和應(yīng)用層。基于大數(shù)據(jù)的系統(tǒng)架構(gòu)如圖1所示。

1)數(shù)據(jù)采集層。

產(chǎn)品生命周期各個(gè)環(huán)節(jié)數(shù)據(jù)的采集是實(shí)現(xiàn)系統(tǒng)功能的前提[8]。產(chǎn)品開(kāi)發(fā)大數(shù)據(jù)主要有歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)2種。實(shí)時(shí)數(shù)據(jù)一般是生產(chǎn)制造系統(tǒng)中的數(shù)據(jù),當(dāng)實(shí)時(shí)數(shù)據(jù)導(dǎo)入系統(tǒng)時(shí)可能會(huì)產(chǎn)生數(shù)據(jù)堆積,所以采用Kafka來(lái)進(jìn)行數(shù)據(jù)緩存。該系統(tǒng)通過(guò)API接口實(shí)現(xiàn)生產(chǎn)制造系統(tǒng)、產(chǎn)品質(zhì)量信息系統(tǒng)數(shù)據(jù)的導(dǎo)入。關(guān)系型數(shù)據(jù)庫(kù)MySql中的數(shù)據(jù)則通過(guò)Sqoop與本系統(tǒng)完成數(shù)據(jù)的相互轉(zhuǎn)移。產(chǎn)品設(shè)計(jì)圖紙則通過(guò)CAD的集成人工進(jìn)行上傳。

2)數(shù)據(jù)存儲(chǔ)層。

數(shù)據(jù)存儲(chǔ)層主要是完成對(duì)產(chǎn)品開(kāi)發(fā)全生命周期的不同類型數(shù)據(jù)的多級(jí)別存儲(chǔ),尤其是產(chǎn)品生產(chǎn)制造數(shù)據(jù)的存儲(chǔ)[9]。HDFS文件系統(tǒng)作為系統(tǒng)的底層存儲(chǔ),實(shí)現(xiàn)對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ),采用NoSql數(shù)據(jù)庫(kù)HBase和Hive數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)對(duì)各種類型數(shù)據(jù)的管理。系統(tǒng)日志、人員信息等數(shù)據(jù)則采用關(guān)系型數(shù)據(jù)庫(kù)MySql進(jìn)行存儲(chǔ)。

3)數(shù)據(jù)分析層。

數(shù)據(jù)分析層用于完成對(duì)產(chǎn)品全生命周期數(shù)據(jù)的分析處理和數(shù)據(jù)挖掘,以此指導(dǎo)產(chǎn)品的設(shè)計(jì)研發(fā)。制造業(yè)的數(shù)據(jù)挖掘已經(jīng)在航空航天方面得到應(yīng)用[10]。數(shù)據(jù)處理大致分為2類:一類是對(duì)數(shù)據(jù)的批處理,采用MapReduce框架計(jì)算;一類是數(shù)據(jù)流處理,采用Spark框架計(jì)算。數(shù)據(jù)的分析匯總主要通過(guò)MapReduce的檢索查詢實(shí)現(xiàn),Spark框架主要為聚類分析、關(guān)聯(lián)分析等算法應(yīng)用提供計(jì)算,實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)的優(yōu)化和成本優(yōu)化。

4)應(yīng)用層。

大數(shù)據(jù)技術(shù)在制造業(yè)領(lǐng)域已經(jīng)有著多方面的應(yīng)用[11],本文設(shè)計(jì)的應(yīng)用層為基于Vue框架開(kāi)發(fā)的Web平臺(tái),用于實(shí)現(xiàn)產(chǎn)品設(shè)計(jì)開(kāi)發(fā)的功能。產(chǎn)品開(kāi)發(fā)每個(gè)流程的審批、設(shè)計(jì)圖紙的上傳下載以及經(jīng)過(guò)分析層處理后產(chǎn)品數(shù)據(jù)的展示等功能都是在應(yīng)用層得到體現(xiàn)。

2.2 系統(tǒng)功能設(shè)計(jì)

2.2.1 系統(tǒng)管理功能設(shè)計(jì)

本系統(tǒng)采用JWT(JSON web token)來(lái)實(shí)現(xiàn)用戶的登錄認(rèn)證,JWT是一種基于Token的認(rèn)證授權(quán)機(jī)制,安全性更高。權(quán)限設(shè)計(jì)采用的是業(yè)界主流的RBAC(role-based access control)模型,通過(guò)給用戶角色授予相關(guān)的權(quán)限,實(shí)現(xiàn)用戶的權(quán)限管理。

2.2.2 產(chǎn)品開(kāi)發(fā)功能設(shè)計(jì)

產(chǎn)品開(kāi)發(fā)是一個(gè)流程復(fù)雜且需要多人參與的工作,主要分為策劃階段和設(shè)計(jì)階段。策劃階段包括市場(chǎng)調(diào)研、可行性分析、項(xiàng)目立項(xiàng)、任務(wù)分組和項(xiàng)目計(jì)劃制定5個(gè)部分。設(shè)計(jì)階段分為總體方案設(shè)計(jì)、零部件設(shè)計(jì)、工藝設(shè)計(jì)、工裝設(shè)計(jì)4個(gè)部分。每個(gè)階段都需要經(jīng)過(guò)相關(guān)人員審批后,才能進(jìn)入下一個(gè)階段。產(chǎn)品開(kāi)發(fā)設(shè)計(jì)的流程如圖2所示。

圖2 產(chǎn)品開(kāi)發(fā)設(shè)計(jì)流程圖

2.2.3 產(chǎn)品設(shè)計(jì)開(kāi)發(fā)方案評(píng)價(jià)設(shè)計(jì)

只有經(jīng)過(guò)對(duì)產(chǎn)品全生命周期數(shù)據(jù)的分析驗(yàn)證,才能發(fā)現(xiàn)產(chǎn)品設(shè)計(jì)方案的優(yōu)缺點(diǎn),進(jìn)而根據(jù)需求作出優(yōu)化。本系統(tǒng)通過(guò)采集獲取產(chǎn)品試制階段在生產(chǎn)制造系統(tǒng)和產(chǎn)品質(zhì)量信息系統(tǒng)的數(shù)據(jù),經(jīng)過(guò)聚類分析得到評(píng)價(jià)指標(biāo)數(shù)據(jù)[12],并采用模糊層次分析法對(duì)產(chǎn)品設(shè)計(jì)研發(fā)方案進(jìn)行評(píng)價(jià)。模糊層次分析法即模糊評(píng)價(jià)與層次分析法的結(jié)合,已有相關(guān)學(xué)者對(duì)其進(jìn)行研究應(yīng)用[13-14]。

假如從n維角度對(duì)產(chǎn)品設(shè)計(jì)方案進(jìn)行綜合評(píng)價(jià),產(chǎn)品設(shè)計(jì)研發(fā)方案可表示為:G=f(X1,X2,…,Xn,t)。其中,G為設(shè)計(jì)方案,f是關(guān)于X1,X2,…,Xn和t的函數(shù),Xi為關(guān)于設(shè)計(jì)方案的第i維度的屬性值,t是時(shí)間維度。具體的評(píng)價(jià)過(guò)程如下:

1)建立評(píng)價(jià)因素集。將產(chǎn)品設(shè)計(jì)方案所有的評(píng)價(jià)指標(biāo)放在一個(gè)集合中。用公式表示為

U={u1,u2,…,ui,…,un}

式中:ui(i=1,2,…,n)為第i個(gè)評(píng)價(jià)指標(biāo)。

2)基于評(píng)價(jià)集,依次對(duì)產(chǎn)品設(shè)計(jì)方案的各評(píng)價(jià)因素ui進(jìn)行量化,得出模糊關(guān)系矩陣R。

3)建立評(píng)價(jià)指標(biāo)的權(quán)重集。對(duì)各指標(biāo)因素ui賦予對(duì)應(yīng)的權(quán)數(shù)ai,進(jìn)而進(jìn)行歸一化處理:

A=(a1,a2,…,an)

4)進(jìn)行模糊層次綜合評(píng)價(jià)。R矩陣中的每一行代表著評(píng)價(jià)方案的各種單一因素對(duì)處于不同層次的模糊子集的相關(guān)隸屬度。那么綜合評(píng)價(jià)B可表示為:

(b1,b2,…,bj,…,bn)

式中:bj表示從整體上看評(píng)價(jià)對(duì)象對(duì)不同層次的模糊層次評(píng)價(jià)子集的隸屬程度,j=1,2,…,m。

5)對(duì)模糊層次綜合評(píng)價(jià)結(jié)果的分析。將評(píng)價(jià)對(duì)象的每一個(gè)糊層次綜合評(píng)價(jià)結(jié)果都視為一個(gè)模糊向量,最終結(jié)果就包含了評(píng)價(jià)完整的信息。然后對(duì)不同層次的綜合評(píng)價(jià)權(quán)重進(jìn)行排序。

3 關(guān)鍵技術(shù)及系統(tǒng)實(shí)現(xiàn)

3.1 關(guān)鍵技術(shù)分析

3.1.1 NoSQL數(shù)據(jù)庫(kù)HBase

HBase是一個(gè)非關(guān)系型的分布式數(shù)據(jù)庫(kù)。它是Google公司Big Table的開(kāi)源實(shí)現(xiàn),主要用來(lái)存儲(chǔ)異構(gòu)數(shù)據(jù),采用的是key-value數(shù)據(jù)模型。HBase在Hadoop生態(tài)體系中是通過(guò)其他組件為其提供服務(wù)的,例如HBase利用ZooKeeper來(lái)分配數(shù)據(jù)庫(kù)資源。HBase的結(jié)構(gòu)圖如圖3所示。

圖3 HBase結(jié)構(gòu)圖

3.1.2 Spark計(jì)算框架

Spark是一種通用、快速、專門處理大規(guī)模數(shù)據(jù)的計(jì)算框架。它是為了解決大數(shù)據(jù)領(lǐng)域的各種計(jì)算要求而被設(shè)計(jì)出來(lái)。Spark不僅具有Hadoop框架下MapReduce的優(yōu)點(diǎn),而且還具有能夠進(jìn)行交互式查詢和優(yōu)化迭代工作負(fù)載的優(yōu)點(diǎn),Spark是基于內(nèi)存的計(jì)算框架,不提供存儲(chǔ)的功能,只涉及到計(jì)算,因此計(jì)算速度非?？靃15]。Spark具有4個(gè)核心組件,如圖4所示,用于滿足不同計(jì)算要求。

圖4 Spark核心組件

Spark SQL主要用于結(jié)構(gòu)化數(shù)據(jù)的處理。Spark Streaming主要用于快速構(gòu)建高吞吐量、高容錯(cuò)的流處理程序。MLlib是Spark的機(jī)器學(xué)習(xí)庫(kù),提供了多種算法和模型。Graphx主要用于圖形計(jì)算。

3.2 大數(shù)據(jù)平臺(tái)搭建

本系統(tǒng)使用3臺(tái)服務(wù)器搭建集群,其中1臺(tái)為主節(jié)點(diǎn),其他2臺(tái)為從節(jié)點(diǎn)。在搭建集群之前已經(jīng)根據(jù)系統(tǒng)需求確定了集群模式方案,明確使用哪些組件,使集群能夠更有效地運(yùn)行。具體的集群搭建方案如表2所示。

表2 大數(shù)據(jù)集群搭建方案

3.3 主要功能實(shí)現(xiàn)

3.3.1 產(chǎn)品開(kāi)發(fā)功能實(shí)現(xiàn)

用戶經(jīng)過(guò)系統(tǒng)身份驗(yàn)證后,進(jìn)入功能主頁(yè)面。身份權(quán)限不同,能夠操作的頁(yè)面也不相同。系統(tǒng)主要的產(chǎn)品開(kāi)發(fā)功能模塊有項(xiàng)目立項(xiàng)、總體設(shè)計(jì)、零部件設(shè)計(jì)、工藝設(shè)計(jì)、工裝設(shè)計(jì)和項(xiàng)目管理6個(gè)子模塊。項(xiàng)目立項(xiàng)子模塊顯示的是項(xiàng)目準(zhǔn)備階段的功能頁(yè)面,具有市場(chǎng)調(diào)研報(bào)告、可行性分析報(bào)告的上傳下載,項(xiàng)目審批狀態(tài)的顯示等功能。項(xiàng)目管理子模塊是對(duì)歷史項(xiàng)目的匯總。其他4個(gè)模塊是設(shè)計(jì)階段的功能顯示,總體設(shè)計(jì)、零部件設(shè)計(jì)、工藝設(shè)計(jì)、工裝設(shè)計(jì)每個(gè)流程對(duì)應(yīng)一個(gè)子模塊,產(chǎn)品在該階段的具體信息以及該階段的審批進(jìn)度都會(huì)在對(duì)應(yīng)頁(yè)面顯示,并提供查詢、下載等功能。圖5為零部件設(shè)計(jì)的界面圖。

圖5 零部件設(shè)計(jì)界面圖

3.3.2 產(chǎn)品設(shè)計(jì)研發(fā)方案評(píng)價(jià)

產(chǎn)品設(shè)計(jì)研發(fā)方案評(píng)價(jià)是基于大數(shù)據(jù)技術(shù)完成的,將分析計(jì)算后的指標(biāo)數(shù)據(jù)注入模糊層次模型,得到產(chǎn)品設(shè)計(jì)方案的評(píng)分,進(jìn)而對(duì)產(chǎn)品設(shè)計(jì)方案作出優(yōu)化,評(píng)價(jià)結(jié)果是不能人為修改。產(chǎn)品設(shè)計(jì)研發(fā)方案具體評(píng)價(jià)指標(biāo)如表3所示。

表3 產(chǎn)品設(shè)計(jì)方案評(píng)價(jià)指標(biāo)

4 結(jié)語(yǔ)

本文針對(duì)產(chǎn)品開(kāi)發(fā)管理系統(tǒng)存在的問(wèn)題,研究并設(shè)計(jì)了基于大數(shù)據(jù)的產(chǎn)品開(kāi)發(fā)管理系統(tǒng),系統(tǒng)以產(chǎn)品開(kāi)發(fā)的全生命周期數(shù)據(jù)為出發(fā)點(diǎn),圍繞產(chǎn)品開(kāi)發(fā)設(shè)計(jì)、分析、管理、優(yōu)化等需求,構(gòu)建了集系統(tǒng)管理、產(chǎn)品開(kāi)發(fā)設(shè)計(jì)管理、產(chǎn)品設(shè)計(jì)方案評(píng)價(jià)于一體的產(chǎn)品開(kāi)發(fā)管理系統(tǒng),通過(guò)大數(shù)據(jù)技術(shù)實(shí)現(xiàn)對(duì)產(chǎn)品開(kāi)發(fā)全生命周期各類數(shù)據(jù)的存儲(chǔ)分析,優(yōu)化了產(chǎn)品開(kāi)發(fā)設(shè)計(jì)流程,提高了產(chǎn)品開(kāi)發(fā)的效率。