李卓航，荀亞玲，薛曉鵬，李元慶

(太原科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，太原 030024)

制造業(yè)作為國民經(jīng)濟的支柱產(chǎn)業(yè)、作為一個國家綜合國力的象征，依靠傳統(tǒng)低成本戰(zhàn)略的發(fā)展方式已經(jīng)走到了可持續(xù)發(fā)展的盡頭。全球市場競爭不斷加劇，高質(zhì)量的產(chǎn)品成為保證企業(yè)立于不敗之地的關(guān)鍵，因此，企業(yè)必須實施全面質(zhì)量管理[1-2]，而企業(yè)在生產(chǎn)運營過程中積累的大量數(shù)據(jù)為企業(yè)進行有效的質(zhì)量管理提供了新的機遇。尤其是近年來物聯(lián)網(wǎng)技術(shù)和移動技術(shù)的發(fā)展，使制造業(yè)產(chǎn)品整個價值鏈都“生產(chǎn)”了海量數(shù)據(jù)，數(shù)據(jù)急劇膨脹，制造業(yè)面臨著工業(yè)大數(shù)據(jù)時代帶來的新挑戰(zhàn)[3-5]。且制造業(yè)數(shù)據(jù)具有多源、大體量、異構(gòu)、不確定和高噪聲等特征，如此龐大和復(fù)雜數(shù)據(jù)背后隱藏的價值是不可估量的，對這些數(shù)據(jù)的有效挖掘?qū)⒊蔀閷崿F(xiàn)我國制造業(yè)在工業(yè)大數(shù)據(jù)環(huán)境下向智能制造轉(zhuǎn)型的必要手段。

數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)集中存在的一類重要的知識，關(guān)聯(lián)規(guī)則挖掘作為數(shù)據(jù)挖掘的關(guān)鍵技術(shù)之一是發(fā)現(xiàn)該類知識的有效手段[6]。關(guān)聯(lián)規(guī)則的挖掘可以在不知道或數(shù)據(jù)間的關(guān)聯(lián)函數(shù)或模型無法確定時，發(fā)現(xiàn)數(shù)據(jù)中不同屬性取值之間存在的某種關(guān)聯(lián)性和規(guī)律性，從而發(fā)掘隱藏在其背后的、對用戶有用的關(guān)聯(lián)知識。

Spark是繼Hadoop之后的又一高效的并行計算框架[7]，其是基于內(nèi)存計算的，這正是Spark相比Hadoop更獲取更大性能優(yōu)勢的原因所在。Spark盡量將數(shù)據(jù)及中間結(jié)果保存在內(nèi)存中，而不需要讀寫底層的HDFS，因此，Spark能更好地適用于具有復(fù)雜迭代的算法。而Fp-Growth頻繁項集挖掘正是一個不斷迭代的過程。本文充分利用Spark對Fp-Growth具有復(fù)雜迭代過程數(shù)據(jù)處理的支持，設(shè)計并實現(xiàn)了一種高負載均衡的并行頻繁模式挖掘算法HBPFP(High Balanced parallel Fp-Growth)；并將其應(yīng)用到產(chǎn)品加工質(zhì)量分析過程中：利用關(guān)聯(lián)規(guī)則挖掘產(chǎn)品加工過程中積累的大量“噪聲”數(shù)據(jù)中包含的相關(guān)性知識，同時以生產(chǎn)加工順序為約束，發(fā)現(xiàn)工序質(zhì)量對產(chǎn)品質(zhì)量及對后續(xù)工序質(zhì)量的影響與規(guī)律，從而對加工過程的異常趨勢提出預(yù)警，實現(xiàn)對質(zhì)量影響因素的有效監(jiān)控。從而為企業(yè)開展有效的產(chǎn)品質(zhì)量控制提供新的方法和解決思路質(zhì)量的影響與規(guī)律，從而對加工過程的異常趨勢提出預(yù)警，實現(xiàn)對質(zhì)量影響因素的有效監(jiān)控。從而為企業(yè)開展有效的產(chǎn)品質(zhì)量控制提供新的方法和解決思路。

1 相關(guān)工作

關(guān)聯(lián)規(guī)則在制造業(yè)中的應(yīng)用已經(jīng)滲透各個部門和各個階段，從原料供應(yīng)商管理、客戶需求關(guān)系管理到生產(chǎn)過程控制，再到產(chǎn)品銷售和售后服務(wù)等產(chǎn)品的全生命周期階段及相關(guān)部門[8-10]。

產(chǎn)品質(zhì)量的提高是企業(yè)生存的根本，近年來，為應(yīng)對傳統(tǒng)統(tǒng)計學(xué)方法對海量數(shù)據(jù)處理的不適應(yīng)性，關(guān)聯(lián)規(guī)則挖掘已被廣泛應(yīng)用到企業(yè)產(chǎn)品質(zhì)量管理和控制過程中。目前，快速識別那些最有可能導(dǎo)致產(chǎn)品質(zhì)量問題且具有高產(chǎn)出的機組已經(jīng)被很多尤其是規(guī)模較大的企業(yè)關(guān)注，孫廣建等將關(guān)聯(lián)規(guī)則用于企業(yè)質(zhì)量信息流的管理，其主要是通過挖掘車身制造企業(yè)加工過程的各個環(huán)節(jié)與產(chǎn)品質(zhì)量間的密切關(guān)聯(lián)，并最終開發(fā)了企業(yè)質(zhì)量信息流管理系統(tǒng)[11]；段桂江等通過對質(zhì)量成本數(shù)據(jù)的挖掘，尋找隱含的質(zhì)量成本動態(tài)數(shù)據(jù)之間的相互聯(lián)系，并基于此，將企業(yè)加工過程中的特征數(shù)據(jù)實現(xiàn)了模糊化處理，最后再利用模糊神經(jīng)網(wǎng)絡(luò)完成最終的質(zhì)量成本預(yù)測性分析[12]；文獻[13]將關(guān)聯(lián)規(guī)則挖掘應(yīng)用到裝配序列對產(chǎn)品質(zhì)量的影響過程中，其研究結(jié)果表明，即使在有噪聲的情況下，對產(chǎn)品質(zhì)量產(chǎn)生影響的裝配序列故障源也能通過關(guān)聯(lián)規(guī)則被發(fā)現(xiàn)，從而免有風(fēng)險的裝配序列對裝配操作質(zhì)量造成的不良影響；郭鈞等先通過分析確定影響產(chǎn)品質(zhì)量的主要因素，然后利用關(guān)聯(lián)規(guī)則挖掘這些因素之間的相互影響，從而將對管理者最有幫助的質(zhì)量特性與其影響因素之間的相關(guān)性反饋到制造過程控制活動中[14]；譚軍利用關(guān)聯(lián)規(guī)則發(fā)現(xiàn)不同部門的輸入流程參數(shù)組合與產(chǎn)品最終質(zhì)量特性之間的相關(guān)性，然后運用遺傳算法對這些規(guī)則進行優(yōu)化，從而輔助流程工程師對流程參數(shù)的設(shè)置進行調(diào)整[15]；璩晶磊等將關(guān)聯(lián)規(guī)則挖掘應(yīng)用到制造過程質(zhì)量監(jiān)控過程，整個過程利用了有監(jiān)督學(xué)習(xí)的思想，在規(guī)則中無論是前件還是后件，均以加工工序的先后順序為約束，同時將工序質(zhì)量信息定為規(guī)則的輸入變量約束，而產(chǎn)品質(zhì)量信息則為輸出變量，最終獲取生產(chǎn)加工工序間的隱含規(guī)則，在該挖掘結(jié)果的基礎(chǔ)上，該研究采用復(fù)雜事件處理技術(shù)實施其整個離散制造過程的質(zhì)量控制與管理[16]。

總之，智能挖掘方法的應(yīng)用在制造業(yè)還是相對落后，很難從海量的復(fù)雜的與產(chǎn)品質(zhì)量相關(guān)的數(shù)據(jù)中提取有效改善產(chǎn)品質(zhì)量的信息。

2 Spark集群下負載均衡的Fp-Growth算法

2.1 基于Spark的Fp-Growth并行過程

經(jīng)典的Fp-Growth算法將數(shù)據(jù)集壓縮到一顆樹結(jié)構(gòu)中—Fp-tree，然后基于該樹來挖掘所有的頻繁項目，其執(zhí)行效率遠高于Apriori算法。Fp-Growth在Spark集群下的并行化過程主要分為五步(執(zhí)行流程如圖1所示):

圖1 基于Spark的Fp-Growth并行過程Fig.1 Spark-based Fp-Growth parallel process

(1)數(shù)據(jù)集分布存儲。RDD是Spark可操作的記錄分區(qū)的集合，因此，第一步需要將數(shù)據(jù)集上傳至RDD；(2)并行計算F_list.這一步通過一對Map-Reduce完成，首先利用flatMap將原始數(shù)據(jù)集的每條事物映射成的格式，接下來reduceByKey操作將具有相同key(即item)的對應(yīng)value值累加，最終得到所有頻繁1-項集，并將不滿足支持度要求的項目過濾后存儲到F_list中；(3)項目分組。將上述F_list中的項目分成若干個分組，即每個組是一組item的集合，每個分組用一個GID標識，第i個分組標記為GListi；(4)并行執(zhí)行Fp_Growth.該過程也需要一對Map-Reduce完成，針對某個分組的新RDD數(shù)據(jù)分區(qū)形成后，完成Fp-Growth算法,產(chǎn)生局部頻繁模式；(5)結(jié)果聚合。將不同節(jié)點上的頻繁模式聚合并采用Actions 操作將聚合結(jié)果轉(zhuǎn)換成最終輸出格式。

2.2 負載均衡的分組優(yōu)化策略

在上述并行挖掘過程中Step3的項目分組對算法性能有明顯影響，因為項目進行分組后，每個節(jié)點負責一個分組相關(guān)數(shù)據(jù)的計算任務(wù)，分組的好壞直接決定了各節(jié)點的計算負載。為了獲取均衡負載的項目分組策略，本文提出一個節(jié)點計算量預(yù)估模型。

Zhou等人針對該問題提出了一種負載均衡的分組優(yōu)化方法[17]，認為針對每個項目的挖掘負載取決于挖掘過程遞歸數(shù)，該算法將項目在F_list中的位置作為遞歸次數(shù)的判斷依據(jù)，見式(1).

Cost(i)=log(P(i,F_list))

(1)

其中，P(i，F(xiàn)_list) 為項目i在F_list中的位置。

這種估算方式顯然是不準確的。本研究旨在項目分組之前，建立更為精確的計算量預(yù)估模型，具體過程如下：

當在Step2中生成F_list后，每條事物Ti會基于F_list進行裁剪(刪掉非頻繁項)與重排(按照支持度降序排列)，被處理后的事務(wù)被記作Ti′。本文提出的HBPFP(High Balanced parallel Fp-Growth)算法通過將每個項目的后綴長度信息作為該項的計算量估值。事物Ti′的后綴長度信息提取過程為：(1)遍歷Ti′中各項到root的每條路徑長度；(2)將各項的每條路徑長度依次累加后產(chǎn)生該項最終的后綴長度信息。因此，該項對應(yīng)的計算負載估值為：

(2)

在獲取到每個項目的計算負載估值后，Step3中的項目分組策略將依據(jù)式(2)計算負載估值進行分組，以保證各計算節(jié)點分配任務(wù)的均衡化。

3 基于關(guān)聯(lián)規(guī)則的產(chǎn)品加工質(zhì)量控制模型

在生產(chǎn)制造過程中，每一道工序質(zhì)量都會對產(chǎn)品質(zhì)量形成產(chǎn)生直接或間接的影響，因此，工序質(zhì)量成為了保證產(chǎn)品質(zhì)量最基本的環(huán)節(jié)，也是產(chǎn)品加工過程質(zhì)量控制的核心。企業(yè)在其生產(chǎn)加工過程中積累了大量的、雜亂的、分散的、類型復(fù)雜的、組織不一致的數(shù)據(jù)，且企業(yè)的生產(chǎn)模式也逐漸轉(zhuǎn)化為多品種、變批量生產(chǎn)模式，致使影響產(chǎn)品質(zhì)量的因素大大增加且動態(tài)多變，從而極大地增加了產(chǎn)品工序質(zhì)量控制難度?；谠摤F(xiàn)狀，提出一種基于關(guān)聯(lián)規(guī)則的加工質(zhì)量控制模型，如圖2所示。

圖2 基于關(guān)聯(lián)規(guī)則的質(zhì)量控制模型Fig.2 Quality control model based on association rules

該模型主要包括以下幾部分：①數(shù)據(jù)的采集：通過傳感器實時采集各工序上的質(zhì)量指標參數(shù)及可能來自原始信息系統(tǒng)積累的數(shù)據(jù)；②關(guān)聯(lián)規(guī)則生成：對上述采集的數(shù)據(jù)先進行預(yù)處理操作(例如：數(shù)據(jù)清洗、轉(zhuǎn)換、離散化等)形成歷史質(zhì)量數(shù)據(jù)集，然后利用關(guān)聯(lián)規(guī)則挖掘算法挖掘工序間的、工序與產(chǎn)品質(zhì)量之間的相關(guān)性知識；③規(guī)則過濾：事實上，并不是所有直接挖掘出來的結(jié)果都是有意義的，因此，在生成規(guī)則的過程中，需要根據(jù)實際應(yīng)用領(lǐng)域的背景知識提供一個過濾機制，以篩選出有用規(guī)則供進一步的質(zhì)量監(jiān)控分析；④反饋與調(diào)整：基于關(guān)聯(lián)規(guī)則的質(zhì)量監(jiān)控模型將客戶需求轉(zhuǎn)化為產(chǎn)品加工過程中的關(guān)鍵工序及工序質(zhì)量控制目標后，形成工序信息及質(zhì)量過程控制參數(shù)與規(guī)范，然后將挖掘出來的相關(guān)性知識與每道工序的質(zhì)量控制目標進行對比分析后，將決策信息反饋給產(chǎn)品加工過程，從而進一步幫助企業(yè)有針對性地調(diào)整生產(chǎn)過程參數(shù)和加工工藝。

4 應(yīng)用案例

4.1 冷軋輥生產(chǎn)管理特點及系統(tǒng)架構(gòu)

冷軋輥是典型的多工序制造過程，工序繁多且各工序間連續(xù)性很強、質(zhì)量控制點多，整個生產(chǎn)過程50多道工序。冷軋輥的每道工序都有多個檢測指標，比如精車外圓工序就涉及輥頸長度、輥身外圓直徑、輥頸直徑、直線度等多項指標，且加工過程會受到各種因素的影響，包括：加工過程中的人為因素、環(huán)境因素；組成工藝系統(tǒng)的各要素，比如機床、夾具、工件和量具等。當其中某個工序的一個或多個指標出現(xiàn)異常時，需要及時給予反饋，以避免產(chǎn)品加工工序之間誤差傳播的影響。在冷軋輥加工過程中，不同加工環(huán)節(jié)會存在若干關(guān)鍵工序，例如：鍛造中的球化退火，鑄造中的熔煉，熱處理中的濕度和溫度控制等。另外，在冷軋輥加工過程中，鑄造和熱處理屬于更為特殊的加工工序，因為這些工序的質(zhì)量反應(yīng)具有某種程度上的時滯性，也就是說該類工序監(jiān)測指標的合格并不意味著真正意義上合格，因為其對產(chǎn)品質(zhì)量的影響只有在稍后的工序中才能體現(xiàn)出來，因此，該類工序也應(yīng)是質(zhì)量管理過程中需要重點關(guān)注的對象。

鑒于上述冷軋輥的產(chǎn)品加工特性和質(zhì)量控制特點，基于關(guān)聯(lián)規(guī)則的冷軋輥質(zhì)量管理系統(tǒng)，通過關(guān)聯(lián)規(guī)則挖掘其加工過程中加工工序間的隱含規(guī)則，及影響產(chǎn)品質(zhì)量的關(guān)鍵工序，這樣企業(yè)實施質(zhì)量控制時將不再無的放矢。其系統(tǒng)架構(gòu)圖如圖3所示：

圖3 系統(tǒng)架構(gòu)圖Fig.3 System architecture diagram

圖3中最底層為數(shù)據(jù)源層，數(shù)據(jù)可以來自應(yīng)用程序、傳統(tǒng)關(guān)系數(shù)據(jù)庫、傳感器等，為完成數(shù)據(jù)的并行處理過程，其經(jīng)預(yù)處理后需要導(dǎo)入分布式文件系統(tǒng)HDFS中；HDFS中的數(shù)據(jù)一方面可以直接采用Hadoop并行計算框架的MapReduce編程模型來直接處理，也可以利用Spark從HDFS上創(chuàng)建RDD數(shù)據(jù)源并對其進行分析處理；經(jīng)處理后的數(shù)據(jù)將通過數(shù)據(jù)訪問接口呈現(xiàn)給最終用戶。

4.2 系統(tǒng)實現(xiàn)與運行結(jié)果分析

企業(yè)獲取的原始數(shù)據(jù)進行相應(yīng)的預(yù)處理后，該系統(tǒng)將加工過程的關(guān)鍵過程參數(shù)作為系統(tǒng)輸入，以產(chǎn)品質(zhì)量或后續(xù)工序過程參數(shù)作為系統(tǒng)輸出，抽取兩者之間復(fù)雜的非線性關(guān)系，用以發(fā)掘問題產(chǎn)品的關(guān)鍵影響因素，并將得到的知識反饋到加工質(zhì)量控制過程，進而實現(xiàn)產(chǎn)品加工過程質(zhì)量的持續(xù)改進。其中為了保證規(guī)則的有效性一方面需要用戶確定有效的置信度約束，另一方面需要對規(guī)則的前件和后件進行合理的限制，以避免產(chǎn)生毫無實用價值的規(guī)則。圖4為原型系統(tǒng)的最終運行結(jié)果。

圖4 質(zhì)量分析結(jié)果Fig.4 Quality analysis result

5 總結(jié)

工業(yè)大數(shù)據(jù)時代，如何有效地利用這些數(shù)據(jù)，將這些數(shù)據(jù)背后隱藏價值轉(zhuǎn)化成生產(chǎn)力，已成為一個企業(yè)提升企業(yè)競爭力、搶占新一輪先機的必要手段。本文在工業(yè)大數(shù)據(jù)環(huán)境下將關(guān)聯(lián)規(guī)則應(yīng)用于產(chǎn)品加工質(zhì)量控制過程，以為企業(yè)在實際質(zhì)量控制和生產(chǎn)決策過程提供依據(jù)。首先提出一種基于Spark并行計算平臺的負載均衡的關(guān)聯(lián)規(guī)則挖掘算法，并基于此構(gòu)建了一個通用的產(chǎn)品加工質(zhì)量控制模型，最后將其應(yīng)用到某鋼鐵制造企業(yè)的冷軋輥生產(chǎn)過程，有效提高了產(chǎn)品加工直通率。