鐘 偉, 陸錦輝

(1.海軍駐上海七一一所軍事代表室，上海 201108；2.上海船舶運(yùn)輸科學(xué)研究所，上海 200135)

0 引 言

隨著智能船舶系統(tǒng)的功能日趨多樣化、復(fù)雜化，船舶數(shù)據(jù)呈現(xiàn)出海量、高維的特點(diǎn)，使得傳統(tǒng)的船舶數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái)已不能滿足現(xiàn)代船舶的應(yīng)用需求。此外，網(wǎng)絡(luò)化、精細(xì)化和智能化的管理已成為海上運(yùn)輸業(yè)賴以生存和發(fā)展的必備條件，而這種發(fā)展趨勢(shì)的基礎(chǔ)和關(guān)鍵是對(duì)船舶數(shù)據(jù)的合理管理與運(yùn)用，進(jìn)而推動(dòng)船舶數(shù)據(jù)管理模式的不斷發(fā)展創(chuàng)新。本文提出一種適用于智能船舶的分布式數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái),結(jié)合智能船舶系統(tǒng)固有的特點(diǎn)和船舶應(yīng)用需求的多樣性，為船舶數(shù)據(jù)獲取、處理和分析建立良好的平臺(tái)，大大提高船舶數(shù)據(jù)的管理效率。

1 智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)架構(gòu)

船舶數(shù)據(jù)信息具有異構(gòu)性和多源性，包括船位、航速、航向、風(fēng)向、風(fēng)速、水深、舵角指令、主機(jī)工作狀態(tài)、主機(jī)報(bào)警、貨物的溫度和濕度等。這些數(shù)據(jù)信息對(duì)應(yīng)于船上的全球定位系統(tǒng)(Global Positioning System,GPS)、陀螺羅經(jīng)、計(jì)程儀、測(cè)深儀、主機(jī)監(jiān)控系統(tǒng)和冷藏集裝箱傳感器等設(shè)備。這些設(shè)備的型號(hào)和接口種類繁多，給數(shù)據(jù)采集帶來(lái)很大困難。此外，對(duì)于必須獲取的主機(jī)狀態(tài)參數(shù)和報(bào)警信息及與貨物有關(guān)的信息，不同船舶的信號(hào)數(shù)量和信號(hào)類型差別很大，且存在空間距離大、通信距離遠(yuǎn)、信號(hào)點(diǎn)多和電纜數(shù)量多等問(wèn)題。由此，為有效解決上述問(wèn)題，對(duì)智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)進(jìn)行研究。智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)集數(shù)據(jù)采集、融合、分析和遠(yuǎn)程傳輸于一體，通過(guò)對(duì)采集的數(shù)據(jù)進(jìn)行分析，實(shí)現(xiàn)船舶的智能網(wǎng)絡(luò)平臺(tái)管理、智能能效管理、智能航行管理和智能機(jī)艙管理等綜合性管理。

智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)采用三層四級(jí)結(jié)構(gòu)，從數(shù)據(jù)的角度可分為數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)應(yīng)用等4部分(見(jiàn)圖1)。

圖1 智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)整體架構(gòu)

數(shù)據(jù)采集主要利用傳感器技術(shù)、無(wú)線接入技術(shù)、嵌入式數(shù)據(jù)采集模塊和視頻監(jiān)控設(shè)備等對(duì)船舶系統(tǒng)進(jìn)行全方位的數(shù)據(jù)采集，具體的采集對(duì)象和內(nèi)容包括船舶航行參數(shù)(船舶位置信息、航速、航跡、風(fēng)速、風(fēng)向、操舵命令和回應(yīng)、回聲測(cè)探等)、機(jī)艙監(jiān)控信息(主機(jī)系統(tǒng)、燃油系統(tǒng)、滑油系統(tǒng)、冷卻水系統(tǒng)、排氣系統(tǒng)、空氣系統(tǒng)、舵機(jī)系統(tǒng)、錨機(jī)系統(tǒng)、鍋爐系統(tǒng)和副機(jī)系統(tǒng)等)、船舶當(dāng)前所處的環(huán)境信息(臺(tái)風(fēng)路徑、海況等)及冷藏集裝箱溫度信息、視頻監(jiān)控信息等。以機(jī)艙為例，船舶機(jī)艙作為船舶系統(tǒng)設(shè)備最集中的部分，對(duì)其數(shù)據(jù)進(jìn)行采集和處理是一項(xiàng)相對(duì)繁重的工作，往往需同時(shí)處理上千個(gè)來(lái)自機(jī)艙各傳感器的數(shù)字信號(hào)、模擬信號(hào)和頻率信號(hào)等,并對(duì)其進(jìn)行報(bào)警和發(fā)出相應(yīng)的控制指令。該平臺(tái)通過(guò)數(shù)據(jù)接口,直接從智能機(jī)艙管理應(yīng)用中獲取機(jī)艙監(jiān)測(cè)數(shù)據(jù)，并以標(biāo)準(zhǔn)的格式輸出，存儲(chǔ)到數(shù)據(jù)庫(kù)中。對(duì)于智能航行，傳感器將氣象數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)采集器所需的數(shù)字信號(hào)，以便進(jìn)行測(cè)量。數(shù)據(jù)采集模塊通過(guò)總線掛接各種功能板來(lái)采集和處理分散配置的各傳感器信號(hào)，經(jīng)過(guò)處理的數(shù)據(jù)用有線的方式傳輸至數(shù)據(jù)庫(kù)。

船端各設(shè)備之間的數(shù)據(jù)傳輸和各服務(wù)器之間的數(shù)據(jù)傳輸主要通過(guò)有線和無(wú)線局域網(wǎng)的方式實(shí)現(xiàn)；船舶近岸時(shí)采用無(wú)線局域網(wǎng)、無(wú)線電和3G/4G接入互聯(lián)網(wǎng)等方式通信；遠(yuǎn)洋船舶與岸基主要依靠海事衛(wèi)星通信系統(tǒng)通信，經(jīng)過(guò)船端應(yīng)用服務(wù)器的分析和處理，將數(shù)據(jù)包通過(guò)Web服務(wù)器、船舶海事衛(wèi)星通信設(shè)備和海事通信衛(wèi)星發(fā)送到衛(wèi)星地面站，由衛(wèi)星地面站中轉(zhuǎn)，經(jīng)Internet傳輸?shù)桨抖藬?shù)據(jù)網(wǎng)絡(luò)平臺(tái)。

為提高船舶數(shù)據(jù)的存儲(chǔ)容量和安全性，該數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)建立有分布式數(shù)據(jù)庫(kù)，船舶各系統(tǒng)數(shù)據(jù)被采集之后經(jīng)數(shù)據(jù)傳輸網(wǎng)絡(luò)存儲(chǔ)到各存儲(chǔ)節(jié)點(diǎn)，進(jìn)行合理的數(shù)據(jù)備份和數(shù)據(jù)預(yù)處理。為提高數(shù)據(jù)的利用效率，對(duì)各存儲(chǔ)節(jié)點(diǎn)進(jìn)行原始數(shù)據(jù)的合理保留及對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行分層，在基礎(chǔ)應(yīng)用層存儲(chǔ)基礎(chǔ)應(yīng)用(如機(jī)艙設(shè)備故障檢測(cè)等)數(shù)據(jù)模型所需的數(shù)據(jù)，在高級(jí)應(yīng)用層存儲(chǔ)高級(jí)應(yīng)用(如船舶調(diào)度等)數(shù)據(jù)模型所需的數(shù)據(jù)。

數(shù)據(jù)應(yīng)用主要分為船端應(yīng)用和公司端應(yīng)用2部分，其中船端利用感知層采集的信息，經(jīng)過(guò)網(wǎng)絡(luò)層傳輸，可開(kāi)展對(duì)船舶航行和貨物監(jiān)測(cè)管理相關(guān)的應(yīng)用。公司端應(yīng)用可分為二級(jí)公司和總公司2部分，其中：各二級(jí)公司通過(guò)網(wǎng)絡(luò)層接收船端傳輸?shù)男畔ⅲ_(kāi)展船舶動(dòng)態(tài)監(jiān)控和調(diào)度、貨物監(jiān)控、應(yīng)急處置、遠(yuǎn)程醫(yī)療及船舶油耗管理等操作層面的應(yīng)用；集團(tuán)總公司系統(tǒng)除了可實(shí)現(xiàn)二級(jí)公司的功能之外，還可開(kāi)展綜合分析和輔助決策等宏觀管理應(yīng)用。

對(duì)于智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái)，數(shù)據(jù)存儲(chǔ)是至關(guān)重要的環(huán)節(jié)，數(shù)據(jù)存儲(chǔ)的優(yōu)化程度很大程度上決定著數(shù)據(jù)管理和應(yīng)用的效率。

2 船舶數(shù)據(jù)分布式存儲(chǔ)

分布式數(shù)據(jù)庫(kù)是船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)的重要組成部分，其優(yōu)化程度對(duì)船舶數(shù)據(jù)管理效率有關(guān)鍵性影響。常見(jiàn)的應(yīng)用于船舶上的分布式數(shù)據(jù)庫(kù)是一種關(guān)系型數(shù)據(jù)庫(kù)，具有使用方便、易于維護(hù)和可用于復(fù)雜查詢等特點(diǎn)。隨著船舶數(shù)據(jù)量的不斷增大，這種關(guān)系型數(shù)據(jù)庫(kù)逐漸暴露出很多難以克服的問(wèn)題。例如，隨著船舶功能應(yīng)用服務(wù)的多樣化和精細(xì)化，數(shù)據(jù)庫(kù)運(yùn)行過(guò)程中的并發(fā)負(fù)載逐漸增大，若數(shù)據(jù)庫(kù)無(wú)法承受如此高的并發(fā)量，可能會(huì)崩潰，導(dǎo)致用戶數(shù)據(jù)丟失或受損。為滿足智能船舶系統(tǒng)數(shù)據(jù)安全存儲(chǔ)和管理的需求，數(shù)據(jù)庫(kù)應(yīng)具有高可用性、高性能、自治與集中相結(jié)合的控制結(jié)構(gòu)等特點(diǎn)。

智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)采用分布式數(shù)據(jù)庫(kù)，其架構(gòu)見(jiàn)圖2，包括分布式數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)和數(shù)據(jù)庫(kù)引擎2部分。分布式數(shù)據(jù)庫(kù)引擎是系統(tǒng)的核心，負(fù)責(zé)SQL解析、重寫(xiě)和執(zhí)行等操作，同時(shí)對(duì)底層的眾多存儲(chǔ)節(jié)點(diǎn)進(jìn)行管理。分布式存儲(chǔ)節(jié)點(diǎn)采用關(guān)系型數(shù)據(jù)庫(kù)，主要負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、處理和同步。在船舶數(shù)據(jù)管理過(guò)程中，可靈活構(gòu)建不同規(guī)模的數(shù)據(jù)庫(kù)集群，通過(guò)將業(yè)務(wù)數(shù)據(jù)分片到不同的數(shù)據(jù)庫(kù)存儲(chǔ)節(jié)點(diǎn)中，極大地降低普通數(shù)據(jù)庫(kù)面對(duì)海量數(shù)據(jù)時(shí)的壓力；通過(guò)將用戶的SQL請(qǐng)求分發(fā)到各節(jié)點(diǎn)子工作站上執(zhí)行，充分利用各節(jié)點(diǎn)的計(jì)算資源，從而提高船舶系統(tǒng)服務(wù)器集群的運(yùn)行效率。

圖2 分布式數(shù)據(jù)庫(kù)的架構(gòu)

基于分布式數(shù)據(jù)庫(kù)基礎(chǔ)架構(gòu)，對(duì)分布式數(shù)據(jù)庫(kù)集群下的各數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)進(jìn)行應(yīng)用分層劃分，數(shù)據(jù)庫(kù)的2層應(yīng)以相同的標(biāo)準(zhǔn)配置，船舶設(shè)備數(shù)據(jù)采集網(wǎng)絡(luò)采集到的數(shù)據(jù)經(jīng)預(yù)處理之后分別保存到實(shí)時(shí)庫(kù)、時(shí)序庫(kù)和關(guān)系庫(kù)中。分區(qū)的關(guān)系庫(kù)只保存本區(qū)的歷史數(shù)據(jù);時(shí)序數(shù)據(jù)庫(kù)屬于內(nèi)存中實(shí)時(shí)庫(kù)的擴(kuò)展，主要保存具有快速順序變化特點(diǎn)的數(shù)據(jù)序列，即對(duì)某些量，保存其在某段時(shí)間內(nèi)產(chǎn)生的歷史信息。在數(shù)據(jù)庫(kù)的2層中，一層向下服務(wù)于船舶基礎(chǔ)應(yīng)用，如主機(jī)速度控制、艙室溫度調(diào)節(jié)等；另一層服務(wù)于主站或岸基用戶的高級(jí)應(yīng)用，如貨物狀態(tài)查詢、岸基船舶調(diào)度和應(yīng)急指揮等。這種劃分方式可實(shí)現(xiàn)對(duì)船舶系統(tǒng)數(shù)據(jù)更精細(xì)化、高效化的分類管理，實(shí)現(xiàn)對(duì)系統(tǒng)安全的差別化處理和對(duì)專業(yè)業(yè)務(wù)、高級(jí)應(yīng)用及業(yè)務(wù)分析的快速響應(yīng)。

該設(shè)計(jì)的優(yōu)越性是在子站服務(wù)器、主服務(wù)器和應(yīng)用服務(wù)器等相關(guān)服務(wù)器配置好各類應(yīng)用對(duì)應(yīng)的數(shù)據(jù)模型的前提下，當(dāng)岸基用戶或船舶工作站有應(yīng)用請(qǐng)求時(shí)，可快速、高效地從分布式數(shù)據(jù)庫(kù)中準(zhǔn)確提取數(shù)據(jù)，避免遍歷數(shù)據(jù)造成船舶數(shù)據(jù)網(wǎng)絡(luò)擁堵、耗時(shí)等。

3 船舶數(shù)據(jù)的預(yù)處理

船舶數(shù)據(jù)監(jiān)測(cè)采集設(shè)備將采集到的數(shù)據(jù)經(jīng)前置數(shù)據(jù)采集網(wǎng)絡(luò)和SQL引擎存儲(chǔ)到分布式數(shù)據(jù)庫(kù)的各存儲(chǔ)節(jié)點(diǎn)中。受船舶監(jiān)測(cè)設(shè)備固有的問(wèn)題和數(shù)據(jù)傳輸通道的雜質(zhì)因素影響，各存儲(chǔ)節(jié)點(diǎn)不可避免地存在“臟數(shù)據(jù)”。船舶“臟數(shù)據(jù)”主要有缺失數(shù)據(jù)和冗余數(shù)據(jù)2種，這2種數(shù)據(jù)的存在會(huì)導(dǎo)致數(shù)據(jù)集呈現(xiàn)出不完整性和重復(fù)性，在浪費(fèi)數(shù)據(jù)存儲(chǔ)空間的同時(shí),會(huì)使船舶故障診斷等應(yīng)用產(chǎn)生較大的偏差。

對(duì)于船舶數(shù)據(jù)缺失問(wèn)題，目前相對(duì)簡(jiǎn)單有效的一種解決方法是基于聚類分析的最近鄰填補(bǔ)算法，將馬氏距離與灰色分析法相結(jié)合計(jì)算K個(gè)近鄰，從而提高數(shù)值填補(bǔ)的準(zhǔn)確性，減少記錄屬性的限制，擴(kuò)大應(yīng)用范圍。對(duì)于船舶數(shù)據(jù)冗余問(wèn)題，目前普遍采用的相似重復(fù)記錄檢測(cè)方法大多基于對(duì)數(shù)據(jù)庫(kù)中的記錄進(jìn)行排序的思想，主要有生成關(guān)鍵字對(duì)記錄進(jìn)行排序、N-Gram方法和優(yōu)先權(quán)對(duì)列算法等。為滿足后續(xù)應(yīng)用對(duì)原始數(shù)據(jù)的需求，數(shù)據(jù)預(yù)處理過(guò)程不對(duì)原始數(shù)據(jù)進(jìn)行完全覆蓋，而是在經(jīng)數(shù)據(jù)預(yù)處理得到完整性和有效性較高的數(shù)據(jù)之后對(duì)原始數(shù)據(jù)進(jìn)行選擇性覆蓋，應(yīng)用服務(wù)器將根據(jù)需求從分布式數(shù)據(jù)庫(kù)中進(jìn)行針對(duì)性的提取。船舶“臟數(shù)據(jù)”預(yù)處理過(guò)程見(jiàn)圖3。

對(duì)于智能船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)而言，合理的數(shù)據(jù)預(yù)處理不僅能提高船舶數(shù)據(jù)的存儲(chǔ)量，而且能較大地提高數(shù)據(jù)的利用效率。例如智能能效管理，由于能效管理數(shù)據(jù)模型影響因子的復(fù)雜性，直接對(duì)相關(guān)原始數(shù)據(jù)進(jìn)行提取和管理不僅會(huì)耗費(fèi)數(shù)據(jù)庫(kù)管理資源,而且會(huì)大大降低能效管理方案的可靠性。因此，合理的數(shù)據(jù)預(yù)處理也是智能船舶數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)必不可少的環(huán)節(jié)，將其與分布式數(shù)據(jù)庫(kù)相結(jié)合,共同助力智能船舶數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái)的高效發(fā)展。

4 結(jié) 語(yǔ)

本文以船舶應(yīng)用需求為根本出發(fā)點(diǎn)，提出船舶分布式數(shù)據(jù)網(wǎng)絡(luò)管理平臺(tái)，根據(jù)智能船舶系統(tǒng)的固有特點(diǎn)進(jìn)行針對(duì)性研究。該平臺(tái)不僅能彌補(bǔ)傳統(tǒng)數(shù)據(jù)管理平臺(tái)的缺陷，而且具有全面感知、可靠傳遞和智能應(yīng)用的優(yōu)勢(shì)，應(yīng)用于遠(yuǎn)洋船舶運(yùn)輸管理中，可建立集航運(yùn)企業(yè)各部門和遠(yuǎn)洋船舶于一體的安全監(jiān)控平臺(tái)。此外，船舶分布式數(shù)據(jù)網(wǎng)絡(luò)平臺(tái)可大大提高船岸定時(shí)交互數(shù)據(jù)和協(xié)作管理業(yè)務(wù)的效率，增強(qiáng)遠(yuǎn)洋船舶物資運(yùn)輸、航行、機(jī)務(wù)系統(tǒng)和油耗監(jiān)測(cè)管理等方面的安全性、可靠性和高效性，為船舶智能管理業(yè)務(wù)和應(yīng)用提供有力的數(shù)據(jù)支撐。