吳應(yīng)樺 趙雯桐 閻翔

摘要：隨著物聯(lián)網(wǎng)以及5G網(wǎng)絡(luò)的逐漸普及，大數(shù)據(jù)技術(shù)的重要性顯得越來越高，并且深入了社會的方方面面，機(jī)械制造行業(yè)作為工業(yè)的基礎(chǔ)，也受到了深遠(yuǎn)的影響，由此而來產(chǎn)生的數(shù)據(jù)也出現(xiàn)了幾何級別的增長，于是大數(shù)據(jù)技術(shù)也成為了各種領(lǐng)域研究的熱點(diǎn)。大數(shù)據(jù)技術(shù)為了和機(jī)械制造領(lǐng)域的應(yīng)用緊密的結(jié)合起來，則需要一系列系統(tǒng)完整科學(xué)的理論和方法來應(yīng)對當(dāng)前局面下所遇到的挑戰(zhàn)。

Abstract： With the gradual popularization of the Internet of things and 5G network， the importance of big data technology is becoming higher and higher， and it has penetrated into all aspects of the society. As the foundation of industry， the machinery manufacturing industry has also been deeply affected. The data generated from this has also increased at a geometric level， so big data technology has become a hot spot in various fields. In order to combine big data technology with the application of mechanical manufacturing field， it needs a series of systematic， complete and scientific theories and methods to meet the challenges in the current situation.

關(guān)鍵詞：大數(shù)據(jù);云計(jì)算;數(shù)據(jù)挖掘;機(jī)械制造

Key words： big data;cloud computing;data mining;mechanical manufacturing

中圖分類號：F426.4? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼：A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文章編號：1006-4311（2020）31-0164-02

0? 引言

隨著全人類進(jìn)入了數(shù)字化信息時代以來，出現(xiàn)了萬物皆可數(shù)據(jù)化的趨勢。在先前的發(fā)展歷程中，由于數(shù)據(jù)的應(yīng)用受到采集手段、傳輸手段以及處理速度等瓶頸制約的限制，并沒有完全發(fā)揮出來數(shù)據(jù)應(yīng)有成效。而隨著最近幾年我國的移動設(shè)備端基礎(chǔ)建設(shè)日趨完善，硬件軟件平臺的不斷加強(qiáng)，特別是4G網(wǎng)絡(luò)全世界第一的覆蓋率和全世界最龐大數(shù)量的智能機(jī)的使用群體這兩項(xiàng)，使得我國的大數(shù)據(jù)技術(shù)飛速發(fā)展，并且由于較高的技術(shù)投入回報，使得騰訊阿里京東等獨(dú)角獸級的信息產(chǎn)業(yè)新興公司紛紛入局，也大大促進(jìn)了大數(shù)據(jù)的技術(shù)的提升，對國家企業(yè)和社會的發(fā)展也有著很大的促進(jìn)作用。而近一年國家和社會在5G技術(shù)應(yīng)用中的布局，則反過來對大數(shù)據(jù)的技術(shù)提出了更高更先進(jìn)的要求，在這個大背景之下，如何把新技術(shù)和機(jī)械制造更好的結(jié)合起來使兩者發(fā)揮出來一加一大于二的效果，以更好的滿足我國的工業(yè)升級更新?lián)Q代的需求，成為了擺在我們面前的重要課題。

1? 大數(shù)據(jù)的特征

概括性的看，大數(shù)據(jù)有著5V的特性，分別是Volume、Velocity、Veracity、Veriety、Value五大特性。

Volume含義為數(shù)據(jù)量極大，甚至是ZB或者PB級別的海量數(shù)據(jù);Velocity含義為對數(shù)據(jù)的響應(yīng)處理時間要求低;Veracity的含義是數(shù)據(jù)的模糊性，由于大數(shù)據(jù)的特殊性，采集來的數(shù)據(jù)往往充滿了噪聲以及數(shù)據(jù)的不連貫和一些模棱兩可無法歸類的數(shù)據(jù);Veriety的含義為數(shù)據(jù)類型和數(shù)據(jù)源多元化，文本、音頻、圖片甚至視頻等等都有著一定的比例;Value的含義是數(shù)據(jù)所蘊(yùn)含的價值，價值一方面很高，否則也無法如此大規(guī)模的應(yīng)用，另一方面數(shù)據(jù)所蘊(yùn)含的價值很稀疏，單位數(shù)據(jù)量價值含量極低，含有大量的冗余和無效的數(shù)據(jù)。

相對應(yīng)這幾大特性，機(jī)械制造業(yè)的大數(shù)據(jù)還包含有以下的很多特性：

數(shù)據(jù)質(zhì)量低下：由于機(jī)械制造行業(yè)的生產(chǎn)環(huán)境的限制，生產(chǎn)流程中的環(huán)境很復(fù)雜，傳感器攝像頭等收集到的數(shù)據(jù)都比一般的數(shù)據(jù)有著更高的噪聲比。

數(shù)據(jù)的實(shí)時性高：由于生產(chǎn)線的檢測數(shù)據(jù)都是采用的連續(xù)的采樣數(shù)據(jù)，有著嚴(yán)格的次序比例，并且間隔時間極短，一旦數(shù)據(jù)處理不及時，會導(dǎo)致出現(xiàn)的結(jié)果有著一定的滯后性，這樣再得到的分析處理方案就顯得意義不大了。

數(shù)據(jù)的信息復(fù)雜：由于機(jī)械制造行業(yè)門類眾多，上下游的企業(yè)的數(shù)據(jù)化程度和普及度也有著參差不齊的現(xiàn)實(shí)情況，有一些信息化程度高的企業(yè)機(jī)器產(chǎn)生的數(shù)據(jù)比例較高，而一些信息化程度低的小型企業(yè)則甚至大量依賴人工輸入的原始方法，所以對于機(jī)械制造業(yè)來說數(shù)據(jù)情況會更加復(fù)雜同時數(shù)據(jù)的來源也多種多樣，錯誤的比例會更高。

綜上所述，在機(jī)械制造業(yè)中的大數(shù)據(jù)分析要力求提高數(shù)據(jù)的質(zhì)量和精度的同時，還需要根據(jù)應(yīng)用場景來自我完善分析數(shù)據(jù)的建模流程，這個建模的流程則是需要設(shè)計(jì)出一套對實(shí)時性要求很高的分析算法，最終使用這個分析結(jié)果來知道企業(yè)對生產(chǎn)的流程做出管理和優(yōu)化。

2? 技術(shù)體系分析

大數(shù)據(jù)的技術(shù)體系，主要的側(cè)重點(diǎn)是針對如何在很短的時間內(nèi)面對海量的包含大量冗余無效的數(shù)據(jù)中挖掘分析提煉出有效的數(shù)據(jù)然后以用戶要求的可視化的模式呈現(xiàn)出來，以及總體的來說流程如圖1所示。

2.1 數(shù)據(jù)采集? 由于面對的數(shù)據(jù)類型多種多樣，這里會先按照數(shù)據(jù)結(jié)構(gòu)的不同對數(shù)據(jù)進(jìn)行初步的分類，先分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。其中結(jié)構(gòu)化數(shù)據(jù)采用傳統(tǒng)的二維表的結(jié)構(gòu)來構(gòu)建，非結(jié)構(gòu)化的數(shù)據(jù)則采用文件系統(tǒng)存儲的方式來進(jìn)行。在實(shí)際應(yīng)用中，以數(shù)字文本等為主體的結(jié)構(gòu)化數(shù)據(jù)占據(jù)少數(shù)，大量的以圖片視頻等為主體的非結(jié)構(gòu)化數(shù)據(jù)占據(jù)了主要地位并隨著時間的推移呈幾何倍數(shù)增長。而在我們機(jī)械制造行業(yè)中，比較容易作為結(jié)構(gòu)化數(shù)據(jù)出現(xiàn)的則是訂單、尺寸、產(chǎn)量以及供需關(guān)系等比較單一的參數(shù);而非結(jié)構(gòu)化的例如故障診斷、營銷策略、售后數(shù)據(jù)以及物聯(lián)網(wǎng)和感應(yīng)器的數(shù)據(jù)等，都是以視頻或者圖片的形式為主。

2.2 數(shù)據(jù)存儲? 數(shù)據(jù)的存儲方面則根據(jù)數(shù)據(jù)的類型劃分，比如針對關(guān)系型數(shù)據(jù)庫的SQL，非關(guān)系數(shù)據(jù)庫的NoSQL 以及新型數(shù)據(jù)庫 NewSQL，這些數(shù)據(jù)庫都可以針對大數(shù)據(jù)的查詢進(jìn)行簡單的處理需求。當(dāng)數(shù)據(jù)規(guī)模達(dá)到一定的數(shù)量級的時候，則需要使用分布式數(shù)據(jù)庫存儲集群，而隨著網(wǎng)絡(luò)帶寬設(shè)備的逐步完善，云環(huán)境下的數(shù)據(jù)存儲則占據(jù)了越來越重要的地位。嚴(yán)格意義上來說，云存儲并不是一種存儲，而是一種多個服務(wù)的集合體，它將數(shù)據(jù)存于各種分布式的設(shè)備中并提供給用戶在任何時間地點(diǎn)和網(wǎng)絡(luò)設(shè)備中對數(shù)據(jù)皆可進(jìn)行訪問的服務(wù)。

2.3 數(shù)據(jù)處理與計(jì)算? 在不同類型的領(lǐng)域中，數(shù)據(jù)處理的需求的分類也不同。在互聯(lián)網(wǎng)行業(yè)中，按照處理的要求時間分類，則分為毫秒級的在線模式、小時分鐘級的近線模式以及天級別的離線模式三大類。早期的計(jì)算機(jī)網(wǎng)絡(luò)處理模式依靠單獨(dú)的計(jì)算機(jī)，但是隨著技術(shù)的發(fā)展和數(shù)據(jù)量的不斷龐大，逐漸轉(zhuǎn)變?yōu)榉植际降挠?jì)算模式，最終在最近幾年孕育出了云計(jì)算這一新產(chǎn)物，云計(jì)算在將來會成為極為重要的計(jì)算模式。

2.4 數(shù)據(jù)挖掘? 數(shù)據(jù)挖掘的復(fù)雜度高，計(jì)算量大的特點(diǎn)對于信息提煉的技術(shù)提出了更高的要求，在實(shí)際應(yīng)用中則主要通過以下幾種方法進(jìn)行處理：數(shù)據(jù)預(yù)處理技術(shù)，是通過一些特殊的算法技術(shù)，通過一定的規(guī)則對原始的流式數(shù)據(jù)篩選出具有一個特征的子集，使用該子集來代替原始數(shù)據(jù)以達(dá)到減少存儲量對數(shù)據(jù)進(jìn)行初步預(yù)處理的功能;另一種方法則是通過滑動窗口、輸出粒度等算法，基于任務(wù)進(jìn)行優(yōu)化，在空間上減少整個數(shù)據(jù)流的計(jì)算規(guī)模，這是一種對數(shù)據(jù)進(jìn)行壓縮的思路。

非向量數(shù)據(jù)挖掘，相對應(yīng)傳統(tǒng)的向量數(shù)據(jù)為主的數(shù)據(jù)庫，大數(shù)據(jù)總體數(shù)據(jù)類型更加多樣化多元化，半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)占據(jù)了很大的比例，所以提高非向量數(shù)據(jù)挖掘的能力可以使得大數(shù)據(jù)的數(shù)據(jù)處理技術(shù)上升一個臺階，但是由于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)具有很大的不確定性，所以數(shù)據(jù)的價值性也呈現(xiàn)出一種不穩(wěn)定的狀態(tài)，對數(shù)據(jù)挖掘能力提出了更高的要求和巨大的挑戰(zhàn)。

可拓展的大數(shù)據(jù)挖掘算法，為了面對大數(shù)據(jù)在使用過程中數(shù)據(jù)依舊不停的增長的特性，大數(shù)據(jù)挖掘算法應(yīng)具備可拓展性。在實(shí)際應(yīng)用中通常通過使用不同的并行策略以及云服務(wù)來增強(qiáng)算法的可拓展性，并且實(shí)現(xiàn)數(shù)據(jù)的聚類，例如將樹構(gòu)建的子任務(wù)并行分配與若干進(jìn)程，從而減少大數(shù)據(jù)的挖掘響應(yīng)時間。

3? 大數(shù)據(jù)的影響

大數(shù)據(jù)技術(shù)可以通過數(shù)據(jù)挖掘分析出來機(jī)械制造生產(chǎn)的各種上下游產(chǎn)業(yè)的產(chǎn)品特點(diǎn)和需求特征，然后針對結(jié)果制定出與之相對應(yīng)的生產(chǎn)策略和方針，生產(chǎn)出更好的產(chǎn)品的同時也能反過來推動上下游的一系列產(chǎn)業(yè)鏈的發(fā)展和進(jìn)步，從而實(shí)現(xiàn)國家層面上總體機(jī)械制造業(yè)的大轉(zhuǎn)型。同時大數(shù)據(jù)技術(shù)也能大大的提高機(jī)械制造和其他各個行業(yè)的結(jié)合，企業(yè)在大數(shù)據(jù)的利用背景中，可以提高自身的競爭力，促進(jìn)企業(yè)的發(fā)展，為機(jī)械制造行業(yè)帶來創(chuàng)新和變革。首先大數(shù)據(jù)技術(shù)會影響總體人類社會的思維模式，將思維模式從計(jì)算為中心逐步轉(zhuǎn)變?yōu)閿?shù)據(jù)為中心的思維模式;其次大數(shù)據(jù)技術(shù)同樣會改變?nèi)藗兩畹姆绞剑?G、傳感技術(shù)以及物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展，影響到了我們生活的方方面面，直接改變了我們獲取信息資源的模式，而云計(jì)算的發(fā)展則改變了我們應(yīng)用信息資源做出決策的方式，從或許信息到應(yīng)用信息做出決策的過程，更加強(qiáng)調(diào)人、機(jī)和物的融合，而伴隨著技術(shù)的進(jìn)步和發(fā)展，人們也對這些提出了更高的需求;第三則會直接改變生產(chǎn)方式，例如德國提出了工業(yè)4.0的智能加工制造的概念，即第四次工業(yè)革命，它的目的是通過網(wǎng)絡(luò)系統(tǒng)采集產(chǎn)品和零部件以及產(chǎn)量耗材耗時等信息，然后通過算法實(shí)現(xiàn)決策過程非人為干預(yù)的職能方式來實(shí)現(xiàn)自動化處理。

4? 結(jié)論

大數(shù)據(jù)技術(shù)在機(jī)械制造業(yè)中還面臨著更多的挑戰(zhàn)，很多技術(shù)層面的成果還正處在實(shí)驗(yàn)和推廣階段，另外，數(shù)據(jù)建模和算法部署的場景還需要考慮很多不同的因素在內(nèi)。而管理者還需要考慮在企業(yè)的日常管理中如何將大數(shù)據(jù)的分析結(jié)果并產(chǎn)生的方案融合到生產(chǎn)和實(shí)際中去。大數(shù)據(jù)技術(shù)作為未來的重要構(gòu)成，引起個各個國家各個領(lǐng)域以及機(jī)構(gòu)部門的廣泛重視，并且成為未來市場以及國家之間技術(shù)領(lǐng)域競爭的重要手段和砝碼。在未來的競爭中，必然會掀起一股更加猛烈的技術(shù)革新和科技創(chuàng)新的潮流，推動生產(chǎn)力和人類社會的進(jìn)一步發(fā)展。

參考文獻(xiàn)：

[1]彭宇，龐景月，劉大同，彭喜元.大數(shù)據(jù)：內(nèi)涵、技術(shù)體系與展望[J].電子測量與儀器學(xué)報，2015，4.

[2]梁志宇，王宏志，李建中，高宏.制造業(yè)中大數(shù)據(jù)分析技術(shù)應(yīng)用研究綜述[J].機(jī)械，2018，6.

[3]劉康寧.淺析大數(shù)據(jù)時代的機(jī)械設(shè)計(jì)發(fā)展趨勢[J].山洞工業(yè)技術(shù)，2019，6.