楊承志，張偉，尹麗君

（交通運(yùn)輸部水運(yùn)科學(xué)研究院，北京 100088）

近年來，隨著港口智能化和信息化的不斷建設(shè)與發(fā)展，越來越多的傳感器、測量儀表和監(jiān)控設(shè)備被安裝和應(yīng)用于碼頭各處，以實(shí)現(xiàn)對碼頭設(shè)備的監(jiān)測與控制。隨著這些監(jiān)測和控制設(shè)備的大范圍、大規(guī)模應(yīng)用，會產(chǎn)生大量的生產(chǎn)運(yùn)行數(shù)據(jù)并匯集到碼頭監(jiān)控調(diào)度中心，給港口碼頭的數(shù)據(jù)存儲、分析與處理工作提出了新的挑戰(zhàn)。面對如此巨大的生產(chǎn)運(yùn)行數(shù)據(jù)流，傳統(tǒng)平臺和算法已無法滿足數(shù)據(jù)處理的實(shí)際需求，研究和推廣大數(shù)據(jù)分析技術(shù)在港口碼頭的應(yīng)用十分必要。

1 碼頭設(shè)備運(yùn)行數(shù)據(jù)特點(diǎn)

隨著碼頭信息化、智能化進(jìn)程的不斷發(fā)展，監(jiān)測設(shè)備的大范圍應(yīng)用，碼頭生產(chǎn)作業(yè)和設(shè)備運(yùn)行過程中產(chǎn)生的各項(xiàng)數(shù)據(jù)都呈現(xiàn)指數(shù)級增長。這些連續(xù)產(chǎn)生、實(shí)時(shí)變化的海量生產(chǎn)運(yùn)行數(shù)據(jù)，對于正在以信息化手段加速轉(zhuǎn)型升級，提升港口智能化水平的港口企業(yè)來說，既是挑戰(zhàn)，也是財(cái)富。目前碼頭運(yùn)行數(shù)據(jù)的特征可歸結(jié)為如下幾點(diǎn)：一是數(shù)據(jù)量大；二是數(shù)據(jù)類型多；三是價(jià)值大。

根據(jù)碼頭運(yùn)行數(shù)據(jù)產(chǎn)生的方式不同，相關(guān)運(yùn)行數(shù)據(jù)可以分為以下兩種類型，即碼頭設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)和碼頭生產(chǎn)作業(yè)統(tǒng)計(jì)數(shù)據(jù)。

（1）碼頭設(shè)備運(yùn)行狀態(tài)數(shù)據(jù)。通過設(shè)備上配置的相關(guān)傳感器以及智能電表等監(jiān)測設(shè)備可對設(shè)備自身運(yùn)行狀態(tài)的數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，對皮帶機(jī)張緊和跑偏，電機(jī)電壓電流、設(shè)備溫度等運(yùn)行參數(shù)進(jìn)行監(jiān)測。這些數(shù)據(jù)可以實(shí)時(shí)反映碼頭設(shè)備當(dāng)前的運(yùn)行效率和運(yùn)行狀態(tài)，具有巨大的使用價(jià)值。通過對這些運(yùn)行數(shù)據(jù)的深入挖掘與利用，可以為碼頭制定科學(xué)合理的生產(chǎn)流程和運(yùn)行維護(hù)方案提供有效的數(shù)據(jù)支撐。

（2）碼頭生產(chǎn)作業(yè)管理數(shù)據(jù)。碼頭生產(chǎn)作業(yè)過程中，各個(gè)部門會對碼頭設(shè)備運(yùn)行時(shí)間、輸送流量、工作效率、故障情況等系統(tǒng)運(yùn)行數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，此類數(shù)據(jù)即為生產(chǎn)作業(yè)管理數(shù)據(jù)。這類數(shù)據(jù)是在碼頭設(shè)備運(yùn)行的特定范圍和時(shí)間內(nèi)自動統(tǒng)計(jì)生成，從而對碼頭設(shè)備的總體運(yùn)行狀態(tài)予以反映。通過對這些生產(chǎn)作業(yè)管理數(shù)據(jù)的分析利用，碼頭可以精確掌握設(shè)備負(fù)載率在時(shí)間和空間上的分布情況，從而制定科學(xué)有效的生產(chǎn)計(jì)劃和生產(chǎn)調(diào)度。

2 碼頭設(shè)備運(yùn)行狀態(tài)大數(shù)據(jù)分析流程

通過對碼頭生產(chǎn)運(yùn)營數(shù)據(jù)的深入挖掘與分析，可以詳細(xì)深入了解碼頭生產(chǎn)作業(yè)運(yùn)行狀態(tài)，掌握各個(gè)設(shè)備和系統(tǒng)的運(yùn)行效率，從而制定科學(xué)合理的生產(chǎn)流程和運(yùn)行維護(hù)方案，降低設(shè)備故障發(fā)生率，提高生產(chǎn)效率。因此采用大數(shù)據(jù)平臺深入分析碼頭運(yùn)行數(shù)據(jù)十分必要。

碼頭設(shè)備運(yùn)行狀態(tài)的大數(shù)據(jù)分析處理流程為：

（1）數(shù)據(jù)采集層。通過傳感器、測量儀表、監(jiān)控終端等元器件對碼頭現(xiàn)場設(shè)備的氣壓、張緊、跑偏、電壓、電流、功率等機(jī)械與電氣數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，構(gòu)建設(shè)備運(yùn)行的大數(shù)據(jù)基礎(chǔ)。與這些數(shù)據(jù)一起被采集的還有監(jiān)測地點(diǎn)、所屬區(qū)域和設(shè)備編號等基礎(chǔ)信息數(shù)據(jù)。

（2）物理層。通過現(xiàn)場總線、光纖通信、無線通信等技術(shù)手段將采集到的數(shù)據(jù)上傳到服務(wù)器集群等物理機(jī)架上進(jìn)行儲存，完成物理層面的數(shù)據(jù)保留。

（3）大數(shù)據(jù)層。采用Hadoop 分布式計(jì)算平臺對儲存在物理機(jī)架上的數(shù)據(jù)進(jìn)行分析計(jì)算。

（4）分析展示層。通過Hadoop 平臺端對數(shù)據(jù)計(jì)算結(jié)果進(jìn)行可視化查看和在線展示。

Hadoop 平臺大數(shù)據(jù)處理流程見圖1。

圖1 Hadoop 平臺大數(shù)據(jù)處理流程

綜上所述，利用Hadoop 平臺處理碼頭設(shè)備運(yùn)行數(shù)據(jù)的流程是：首先通過HDFS 相關(guān)命令將采集到碼頭設(shè)備運(yùn)行數(shù)據(jù)存入系統(tǒng)中，然后在YARN 框架平臺上對數(shù)據(jù)進(jìn)行Map Reduce 并行計(jì)算，最后再將運(yùn)算結(jié)果通過HDFS 命令下載到本地進(jìn)行后續(xù)處理分析和展示。

3 基于Hadoop 的大數(shù)據(jù)分析系統(tǒng)框架

本文采用Hadoop 作為基礎(chǔ)技術(shù)框架，對碼頭設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析。Hadoop 平臺的核心模塊主要包括有分布式文件系統(tǒng)HDFS、分布式并行計(jì)算框架Map Reduce、分布式資源管理框架YARN 和基礎(chǔ)工具集Hadoop Common。其中HDFS 用于提供高效快速的數(shù)據(jù)存儲與讀?。籑ap Reduce 用于進(jìn)行大規(guī)模數(shù)據(jù)集的并行運(yùn)算；YARN 用于為上層應(yīng)用提供資源管理、調(diào)度和協(xié)調(diào)；Hadoop Common 用于為Hadoop 平臺上的其它組件和程序提供運(yùn)行環(huán)境和支持。

Hadoop 生態(tài)系統(tǒng)框架結(jié)構(gòu)見圖2。

圖2 Hadoop 生態(tài)系統(tǒng)框架結(jié)構(gòu)圖

在分布式存儲模式下，多個(gè)數(shù)據(jù)節(jié)點(diǎn)的使用可以有效保障數(shù)據(jù)安全，客戶端的識別功能則可以提高數(shù)據(jù)讀取效率。通過使用操作日志文件與數(shù)據(jù)鏡像文件，可以實(shí)現(xiàn)操作更新記錄，從而大大減少系統(tǒng)崩潰帶來的數(shù)據(jù)丟失風(fēng)險(xiǎn)。利用分布式并行處理系統(tǒng)，則可以同時(shí)完成電機(jī)電流電壓、轉(zhuǎn)速、皮帶流量等不斷變化數(shù)據(jù)的處理。當(dāng)任何一個(gè)map 出現(xiàn)故障時(shí)，都不會影響其余節(jié)點(diǎn)的運(yùn)行，從而保障整個(gè)框架能夠更加順暢和穩(wěn)定地運(yùn)行。此外，利用Map Reduce 還可以實(shí)現(xiàn)大數(shù)據(jù)的挖掘，通過構(gòu)建相關(guān)性模型，可以有效地挖掘設(shè)備故障、故障區(qū)域、影響因素等數(shù)據(jù)之間的內(nèi)在關(guān)聯(lián)度，從而有效地規(guī)避風(fēng)險(xiǎn)，以防代修，提升碼頭設(shè)備運(yùn)行穩(wěn)定性。

4 碼頭設(shè)備運(yùn)行的大數(shù)據(jù)處理方法

4.1 設(shè)備運(yùn)行狀態(tài)函數(shù)方程分析

由于碼頭作業(yè)和物料輸送過程中，碼頭設(shè)備的運(yùn)行過程是一個(gè)典型的大規(guī)模非線性系統(tǒng)，因此，在分析碼頭設(shè)備運(yùn)行狀態(tài)的相關(guān)數(shù)據(jù)時(shí)，可以將用于表示碼頭設(shè)備運(yùn)行動態(tài)過程的非線性微分方程組，通過某一個(gè)給定的穩(wěn)定運(yùn)行參數(shù)，將該方程組線性化，從而得到一個(gè)可以用于反映碼頭設(shè)備在該穩(wěn)定運(yùn)行模式下狀態(tài)變化情況的線性微分方程組。

通過該方程組求出相應(yīng)的特征值，然后依據(jù)該特征值在根平面上的分布情況，可以判斷碼頭相關(guān)設(shè)備的運(yùn)行狀態(tài)。在碼頭各個(gè)設(shè)備的正常運(yùn)行過程中，可以將碼頭的設(shè)備運(yùn)行和物料輸送過程整體看做一個(gè)動態(tài)的運(yùn)行過程，利用微分函數(shù)可將其描述為：

上述公式中，x 代表描述該設(shè)備動態(tài)運(yùn)行過程中動態(tài)特性的狀態(tài)變量向量，y 代表該設(shè)備動態(tài)運(yùn)行過程中的運(yùn)行變量向量。當(dāng)碼頭設(shè)備整體處于穩(wěn)定運(yùn)行狀態(tài)時(shí)，狀態(tài)變量和運(yùn)行變量均不隨時(shí)間變化，此時(shí)可得出如下公式（2）：

在上式（2）所確定的設(shè)備穩(wěn)定運(yùn)行狀態(tài)下，如果某一時(shí)刻，運(yùn)行點(diǎn)xe，ye處發(fā)生一個(gè)變動，即：

將該變動代入上式（1）中，可得：

利用泰勒公式可以將上式（4）在變動發(fā)生點(diǎn)xe，ye處展開。當(dāng)碼頭設(shè)備的運(yùn)行狀態(tài)變動較小，即、非常小時(shí)，此時(shí)可忽略二次以上項(xiàng)，由此可得到：

由上式（2）可知，當(dāng)設(shè)備穩(wěn)定運(yùn)行時(shí)，存在如下公式：

因此可以得到碼頭設(shè)備在穩(wěn)定運(yùn)行狀態(tài)點(diǎn)的線性方程為：

當(dāng)碼頭設(shè)備的運(yùn)行狀態(tài)變動較大時(shí)，則可通過歐拉積分、中值積分、隱式積分等分析方法，對上式（4）展開后的泰勒級數(shù)高次項(xiàng)進(jìn)行計(jì)算分析，從而得到對應(yīng)的線性增量方程。

4.2 碼頭設(shè)備運(yùn)行狀態(tài)大數(shù)據(jù)分析處理步驟

（1）采用Hadoop 平臺分布式管理碼頭設(shè)備運(yùn)行狀態(tài)的監(jiān)控?cái)?shù)據(jù)，同時(shí)利用Map Reduce 模型函數(shù)設(shè)計(jì)碼頭設(shè)備運(yùn)行狀態(tài)的相關(guān)規(guī)約函數(shù)。

（2）根據(jù)碼頭設(shè)備運(yùn)行監(jiān)測中得到的相關(guān)設(shè)備穩(wěn)定運(yùn)行狀態(tài)數(shù)據(jù)，來確定各個(gè)變量的穩(wěn)定值。

（3）對碼頭設(shè)備運(yùn)行中出現(xiàn)的各種不穩(wěn)定狀態(tài)的非線性方程進(jìn)行轉(zhuǎn)化，將其簡化近似為線性方程。

（4）將碼頭設(shè)備和系統(tǒng)運(yùn)行過程中的不穩(wěn)定狀態(tài)數(shù)據(jù)帶入對應(yīng)狀態(tài)方程，分析碼頭設(shè)備運(yùn)行情況和狀態(tài)變化趨勢。

（5）根據(jù)碼頭設(shè)備運(yùn)行狀態(tài)變化趨勢確定碼頭設(shè)備的運(yùn)行狀態(tài)和相關(guān)的操作處理措施，進(jìn)行快速響應(yīng)，或根據(jù)碼頭設(shè)備運(yùn)行變化趨勢制定檢修維護(hù)計(jì)劃。

5 結(jié)語

隨著港口碼頭智能化和信息化建設(shè)的不斷深入，碼頭設(shè)備運(yùn)行數(shù)據(jù)的種類和數(shù)量也越來越多。為了充分利用這些數(shù)據(jù)資源，提高設(shè)備運(yùn)行效率，本文通過引入大數(shù)據(jù)分析技術(shù)，結(jié)合碼頭設(shè)備運(yùn)行數(shù)據(jù)的特點(diǎn)，研究了碼頭設(shè)備運(yùn)行數(shù)據(jù)的分析方法，建立了碼頭設(shè)備運(yùn)行狀態(tài)的大數(shù)據(jù)分析流程和系統(tǒng)框架，為碼頭精準(zhǔn)掌握各個(gè)設(shè)備以及系統(tǒng)的運(yùn)行效率和運(yùn)行狀態(tài)，制定科學(xué)合理的生產(chǎn)流程和運(yùn)行維護(hù)方案提供了技術(shù)支撐和參考。