丁世來,羅劍武,葛智君,曹宇,李浩波
(1.工業(yè)和信息化部電子第五研究所,廣東 廣州 511370 2.工業(yè)裝備質量大數據工業(yè)和信息化部重點實驗室,廣東 廣州 511370)
近年來,全球掀起以智能制造為主導的工業(yè)革命新浪潮,工業(yè)智能化將成為未來工業(yè)體系的關鍵點。數據作為工業(yè)智能化時代新驅動要素的作用日益凸顯,對海量異構的工業(yè)現場數據和信息進行智能分析并處理,可以推動制造業(yè)企業(yè)向基于工業(yè)大數據分析與應用智能化的產品需求、設計、制造、銷售和服務的轉型[1]。
在工業(yè)互聯網環(huán)境下,對于工業(yè)大數據的處理與分析中仍存在著數據建模難度系數高,建立的模型在精度、適用范圍和知識面等方面不盡人意,模型的投入率低等問題,因此其容易很快地被邊緣化,甚至被放棄。
圍繞上述問題與挑戰(zhàn),亟需開展工業(yè)互聯網大數據處理與分析平臺技術研究,提出一種基于大數據平臺的可視化建模分析機制,充分地挖掘工業(yè)大數據的價值,結合行業(yè)知識,構建可移植、可擴展的知識型大數據分析平臺,賦能面向“雙跨” “行業(yè)” “區(qū)域”和“特定領域”的工業(yè)互聯網平臺,支撐工業(yè)智能化升級改造,為企業(yè)由傳統(tǒng)制造業(yè)向數字化、智能化、網絡化的工業(yè)企業(yè)戰(zhàn)略轉型提供驅動力,實現資源優(yōu)化配置。
隨著工業(yè)互聯網平臺的發(fā)展初具雛形,國內外很多行業(yè)開展了大數據處理與分析技術,結合工業(yè)互聯網平臺,形成基于工業(yè)互聯網平臺的大數據處理與分析技術研究工作。以美國、歐洲和亞太地區(qū)為首的國家和地區(qū)積極布局并持續(xù)地帶動工業(yè)互聯網平臺技術創(chuàng)新,雖然已經取得了一定的成果,但是也面臨著許多的困難與挑戰(zhàn)[2]。工業(yè)互聯網大數據在數據建模方面具有局限性,缺乏與面向工業(yè)互聯網應用場景的行業(yè)領域知識的緊密結合力,以及缺乏數據建模手段,造成數據分析深度和維度不足,嚴重地浪費了工業(yè)互聯網大數據的價值。
國外主流的工業(yè)互聯網大數據處理與分析技術在支持多框架、多語言方面雖已取得了一定的成果[3],但是在領域知識的工業(yè)互聯網大數據處理與分析方面、工業(yè)大數據分析微服務化封裝、調用和發(fā)布方面,其技術研究和產業(yè)化應用尚未成熟。
以通用電氣(GE)公司Predix云平臺為代表的美國工業(yè)互聯網大數據處理與分析平臺具有工業(yè)大數據處理和分析、Digital Twin快速建模和工業(yè)應用快速開發(fā)等各個方面的能力,應用開發(fā)者能夠使用Java、.NET、Python、R等編程語言快速地編寫大數據/數據科學和移動應用。平臺雖然提供一系列可以快速地實現集成的貨架式微服務,但是,在基于微服務化的工業(yè)大數據可視化建模分析方面能力不足,以及分析算法動態(tài)組合的能力不足。
以西門子公司Mind-sphere平臺為代表的德國工業(yè)互聯網大數據處理與分析平臺具有對垂直市場有深度理解的能力,幫助用戶實現從產品設計到仿真、生產規(guī)劃、生產制造、再到最后維護服務設備全生命周期的能力,形成一個數據的閉環(huán)。但是,在將數據轉化為高價值的工業(yè)互聯網分析模型時,尚存在結合領域知識能力方面不足,以及工業(yè)大數據可視化建模分析能力不足。
我國的工業(yè)化需求持續(xù)地促進工業(yè)互聯網平臺發(fā)展,從而使工業(yè)互聯網環(huán)境下大數據處理與分析平臺技術也正在積極地開展探索性研究工作,但局限于垂直細分領域,工業(yè)互聯網大數據可視化建模分析和微服務化封裝的技術研究也尚處于探索性階段。
航天科工集團的航天云網大數據平臺具有建模微服務、工業(yè)可視化、工業(yè)模型微服務、組態(tài)工具、報表工具和工業(yè)知識組件等微服務等能力,但是在分析算法動態(tài)組合能力方面仍有欠缺,工業(yè)互聯網大數據可視化建模分析方面尚未成熟[4]。
昆侖數據的KMX機器大數據管理分析平臺具有機器大數據湖(MDL:Machine Data Lake)、機器數據全生命周期生產線(MDR:Machine Data Refinery)和資產模型框架(AMF:Asset Model Framework)等功能,可以支持機器大數據分析應用的快速開發(fā)和擴展,但是不支持圖形化的工業(yè)互聯網大數據可視化分析建模應用。
三一重工股份有限公司的裝備工況大數據平臺具有面向特定工業(yè)應用場景下大數據分析,以及實時地監(jiān)測并可視化地顯示設備運行情況等功能,但是在工業(yè)互聯網大數據可視化分析建模方面,其技術研究尚未開展。
為了解決上述存在的問題與挑戰(zhàn),亟需開展工業(yè)互聯網大數據處理與分析技術研究,提出一種基于大數據平臺的可視化建模分析機制,重點突破工業(yè)大數據可視化建模分析能力,基于領域知識的建模分析能力、可移植和可擴展性能力等關鍵難點,為企業(yè)從傳統(tǒng)制造業(yè)向數字化、智能化和網絡化的企業(yè)戰(zhàn)略轉型提供驅動力,實現資源優(yōu)化配置。
當前,工業(yè)互聯網大數據采集、集成、分析和應用已初具規(guī)模,但仍難以考慮不同任務剖面的領域知識對工業(yè)互聯網大數據可視化建模分析結果的影響,以及缺乏工業(yè)互聯網大數據的微服務化封裝、調用和發(fā)布手段,已經嚴重地影響工業(yè)大數據的高效、深度應用,造成工業(yè)大數據的價值流失,無法實現可觀的業(yè)務價值[5]。因此,亟需研究工業(yè)互聯網大數據處理與分析技術,提出一種基于大數據平臺的工業(yè)互聯網大數據可視化建模分析機制,總體框架由用戶交互層、業(yè)務邏輯層、系統(tǒng)模型層和模型微服務化層組成,如圖1所示。
圖1 工業(yè)互聯網大數據可視化建模分析機制總體框架
工業(yè)互聯網大數據可視化建模分析機制是以“自外而內”和“自內而外”這兩種方式進行數據分析。其中, “自外而內”方式是指從用戶交互層→業(yè)務邏輯層→模型微服務化層中,將用戶面向工業(yè)特定應用場景的不同業(yè)務需求轉換為對應的工業(yè)互聯網大數據可視化建模需求,并逐層地向底層模型微服務化層尋求模型服務; “自內而外”方式是指從模型微服務化層→業(yè)務邏輯層→用戶交互層中,將大量的工業(yè)技術原理、行業(yè)知識、基礎工藝、模型工具規(guī)則化、軟件化和模塊化,并封裝為可重復使用的微服務組件,逐層地向上層用戶應用服務層提供模型服務。這種雙向交互方式,可以提高生產制造的效率,降低庫存,為智能制造的個性化生產提供基礎。
在工業(yè)互聯網大數據應用的開發(fā)運維一體化(Devops)環(huán)境的基礎上,搭建微服務架構環(huán)境、可視化分析建模環(huán)境和領域知識圖譜構建環(huán)境等開發(fā)環(huán)境,實現快速構建和部署定制化的工業(yè)互聯網大數據處理分析微服務組件,形成可擴展、可移植的應用框架,可適用于多系統(tǒng)、多平臺環(huán)境下進行工業(yè)互聯網大數據可視化建模分析。以圖2所示工業(yè)互聯網大數據可視化建模分析微服務組件持續(xù)地部署分布過程為例,開發(fā)人員將借助DevOps工具鏈能力減少重復性工作,加快研發(fā)速度,當工業(yè)互聯網大數據分析服務源代碼提交到源代碼倉庫后立即觸發(fā)微服務化封裝過程[6],通過技術自動構建、自動測試生成工業(yè)互聯網大數據分析微服務組件,一方面結果將反饋給開發(fā)人員,另一方面微服務組件將繼續(xù)組件測試、預發(fā)布、交付等持續(xù)部署的過程,以多種發(fā)布方式動態(tài)地更新對應的工業(yè)互聯網大數據可視化建模分析微服務組件。
圖2 可視化建模分析微服務組件的持續(xù)集成/部署示意圖
在微服務架構下,將多元化的工業(yè)互聯網大數據分析工作內容,按照微服務最佳實踐原則,以適當的服務粒度拆分,形成一系列的可復用的工業(yè)互聯網大數據可視化建模分析微服務組件庫[7],所提供的多種大數據可視化建模分析微服務包括以下幾種組件。
a)分析算法模型微服務組件
包括KNN模型、擬合回歸模型、LSVM模型、類神經網絡模型和主成分分析/因子模型等算法模型微服務。
b)數據處理微服務組件
包括數據融合、數據類型轉換、數據集成、數據排序、數據過濾和數據填充等數據處理微服務。
c)數據采集微服務組件
包括MySQL數據庫、SQL Server數據庫、Oracle數據庫、MongoDB數據庫和文本文檔等數據采集接口微服務。
在此基礎上,最終形成以微服務組件形式存在的工業(yè)互聯網大數據可視化建模分析組件庫。該組件庫提供其微服務組件的復用支持和通信接口模型,開發(fā)者和使用者能夠依照特定的工業(yè)互聯網大數據可視化建模分析應用場景的實際需求,將相應的工業(yè)互聯網大數據可視化建模分析微服務組件組合起來,以容器化部署微服務組件的方式,快速地構建出面向特定工業(yè)互聯網大數據分析場景的定制化大數據可視化建模分析模型,形成可擴展、可移植的應用框架,可適用于多系統(tǒng)環(huán)境下進行工業(yè)互聯網大數據可視化建模分析,如圖3所示。
圖3 工業(yè)互聯網大數據可視化建模分析微服務化架構
以圖3所示的工業(yè)互聯網大數據可視化建模分析為例,工業(yè)企業(yè)業(yè)務信息系統(tǒng)(ERP、MES、OA、PDM和QMS等)具有零散化特點。首先,用戶通過工業(yè)互聯網大數據可視化建模分析機制,在應用界面內拖拽可視化建模分析微服務組件,通過數據采集接口微服務組件獲取生產環(huán)境信息數據、設備故障運維數據、產品零部件裝配工序參數和生產執(zhí)行系統(tǒng)設備信息數據等多源異構數據;其次,通過數據集成、數據類型轉換和數據融合等微服務組件對多源異構數據進行數據處理;然后,通過KNN算法模型、擬合回歸模型和LSVM算法模型等算法模型組件對處理后的數據進行數據建模分析;最后,通過模型結果可視化微服務組件對工業(yè)互聯網大數據進行可視化展現。
可視化建模分析機制主要包括用戶交互層、業(yè)務邏輯層、系統(tǒng)模型層和模型微服務化層,具體的內容如下所述。
a)用戶交互層
用戶交互層主要包括可視化建模應用界面、建模組件映射規(guī)則和建模組件庫。用戶在基于可任意拖拽布局的可視化建模界面內通過拖拽建模組件進行可視化建模分析時,使用到的建模組件按對應關聯規(guī)則從建模組件庫內自動地匹配出對應組件的模型,該建模組件庫內含有多種可視化建模分析組件,如數據采集、數據處理和算法模型等微服務組件。
b)業(yè)務邏輯層
業(yè)務邏輯層主要包括業(yè)務鏈與數據鏈關聯映射實例,通過基于機器學習的自動關聯匹配方法,首先抽取出組件模型與業(yè)務邏輯層中實例內模板模型間的關鍵特征值,再通過機器學習算法處理,最后形成組件模型庫內的模型與實例之間的關聯映射關系,根據所選取的組件模型種類及個數,自動地優(yōu)化匹配出實例庫內對應的實例模板模型。
在這一過程中,若實例庫內有滿足用戶個性化需求的實例模板模型,則自動地從實例庫內調用并生成滿足用戶個性化需求的實例模板模型;若實例庫內無滿足用戶個性化需求的實例模板模型,則用戶可自行建立實例模型,實例模型會經過封裝、調用、發(fā)布的方法處理后入庫,更新原有的實例模型庫,最終形成一個不斷迭代更新的實例模板模型庫。
c)系統(tǒng)模型層
系統(tǒng)模型層主要涉及到的實例模型包括業(yè)務鏈模型和數據鏈模型,分別從不同的角度來描述企業(yè)的業(yè)務與數據。其中,業(yè)務鏈模型描述為完成某一業(yè)務目標所需要進行的一系列活動,常用的業(yè)務鏈建模方法有IDEF3、UML的活動圖和BPEL4WS。數據鏈模型描述為企業(yè)的靜態(tài)數據、數據聯系、數據語義和一致性約束,常用的數據鏈建模方法有ER、對象模型和IDWF1[8]。
在企業(yè)業(yè)務鏈中,涉及到大量的數據傳遞與訪問操作。因此,首先,在業(yè)務鏈模型的構建過程中,建立抽象流程模型,再進一步地修改、精化,得到可執(zhí)行的業(yè)務鏈;然后,提取出業(yè)務鏈模型與數據鏈模型中的關鍵屬性,通過自上而下的領域知識圖譜方法建立起業(yè)務鏈模型與數據鏈模型間的關聯映射關系,從而自動化地構建出業(yè)務鏈模型與數據鏈模型間的關聯領域知識模型;最后,將面向特定應用場景的領域知識模型優(yōu)化并形成領域知識庫[9]。
d)模型微服務化層
模型微服務化層主要為系統(tǒng)模型層領域知識庫內提供微服務化封裝好的底層應用模型,將Java、Python和R等編程語言研發(fā)的工業(yè)機理模型,以及領域知識模型等工業(yè)分析模型微服務化封裝,把技術、知識、經驗等質量特性設計資源固化為可移植、可復用的微服務組件,形成通用的模型微服務組件庫。
在我所已建的“賽寶質云”工業(yè)互聯網大數據平臺的基礎上,面向電子、機電等行業(yè)的產品設計、工藝優(yōu)化等場景中開展應用驗證。
用戶梳理與分析面向機電、電子等行業(yè)的業(yè)務需求,選擇企業(yè)項目的業(yè)務需求中某個業(yè)務環(huán)節(jié)(如總裝部分)進行可視化建模分析,選擇該業(yè)務環(huán)節(jié)后會自動地打開可視化建模分析應用界面及其與業(yè)務環(huán)節(jié)匹配的現有可視化建模分析的實例。
用戶進入基于拖拽式布局的可視化建模分析應用界面后,對生成的可視化建模分析實例與業(yè)務需求進行比較,對滿足業(yè)務需求的實例中的可視化建模組件僅需要修改參數,而對不滿足的組件需進行組件替換并重新配置參數,依據機器學習流程以任意拖拽的形式拖拽建模組件放置于可視化建模程序框內,然后重新連線組件以構建出工業(yè)互聯網大數據的可視化分析模型,最后將形成的具有特定應用場景的工業(yè)互聯網大數據分析新實例,加入到實例庫進行迭代更新,不斷豐富實例庫內的工業(yè)互聯網大數據可視化建模分析實例量。這樣可以極大地節(jié)省用戶進行建模分析的時間成本,提升建模分析的效率。
結合需求分析及工業(yè)互聯網大數據體系中梳理的可見的、不可見的影響因素分析情況,本文提出了一種基于大數據平臺的可視化建模分析機制,研發(fā)工業(yè)互聯網環(huán)境下基于大數據的可視化建模分析應用工具,實現對工業(yè)大數據分析服務的封裝、調用、發(fā)布,并建立工業(yè)大數據的領域知識庫,形成在領域知識前提下進行可視化建模分析機制,加速了工業(yè)數據分析方式的創(chuàng)新突破,提升工業(yè)互聯網大數據分析平臺賦能效果。未來將主要在領域知識庫建設方面開展工作,提升領域知識庫在精度、適用范圍、知識面的性能,向更多的單位進行應用與推廣。