徐建峰 胡 靜

上海振華重工（集團(tuán)）股份有限公司 上海 200125

0 引言

自動(dòng)化集裝箱碼頭是指通過(guò)智能化技術(shù)實(shí)現(xiàn)碼頭作業(yè)自動(dòng)化、信息化和智能化，提高碼頭作業(yè)效率和安全性的現(xiàn)代化碼頭。自動(dòng)化集裝箱碼頭涉及多種類型的設(shè)備和系統(tǒng)，例如：自動(dòng)化堆場(chǎng)、自動(dòng)化門式起重機(jī)、自動(dòng)化軌道車、車輛位置系統(tǒng)、貨物跟蹤系統(tǒng)、人員定位系統(tǒng)等。這些設(shè)備和系統(tǒng)生成的數(shù)據(jù)涉及多個(gè)領(lǐng)域和業(yè)務(wù)，例如：物流、安全、質(zhì)量、成本等。因此，如何將多源異構(gòu)數(shù)據(jù)進(jìn)行有效的融合，提高數(shù)據(jù)的集成、共享和應(yīng)用的效率，成為自動(dòng)化集裝箱碼頭智能化建設(shè)的重要技術(shù)問(wèn)題。

本文提出了一種基于自動(dòng)化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合[1-5]技術(shù)，包括管理配置服務(wù)、設(shè)備數(shù)據(jù)服務(wù)、數(shù)據(jù)庫(kù)數(shù)據(jù)服務(wù)、數(shù)據(jù)融合服務(wù)、網(wǎng)關(guān)服務(wù)、核心模塊和公用類模塊。

1 多源異構(gòu)數(shù)據(jù)融合平臺(tái)功能模塊

在多源異構(gòu)數(shù)據(jù)融合平臺(tái)中，主要包含管理配置服務(wù)模塊、設(shè)備數(shù)據(jù)服務(wù)和數(shù)據(jù)庫(kù)數(shù)據(jù)服務(wù)、數(shù)據(jù)融合服務(wù)、網(wǎng)關(guān)服務(wù)以及監(jiān)控和管理模塊等核心模塊。管理配置服務(wù)模塊負(fù)責(zé)用戶管理、系統(tǒng)配置以及其他方面的操作；設(shè)備數(shù)據(jù)服務(wù)和數(shù)據(jù)庫(kù)數(shù)據(jù)服務(wù)從不同的數(shù)據(jù)源提取數(shù)據(jù)；數(shù)據(jù)融合服務(wù)對(duì)原始數(shù)據(jù)進(jìn)行清洗、處理、存儲(chǔ)以及分析等操作，并處理不同數(shù)據(jù)源之間的數(shù)據(jù)不一致問(wèn)題；網(wǎng)關(guān)服務(wù)負(fù)責(zé)加密、權(quán)限控制和安全檢查等操作；監(jiān)控和管理模塊負(fù)責(zé)對(duì)數(shù)據(jù)融合平臺(tái)的各個(gè)組件進(jìn)行監(jiān)控和管理。

該平臺(tái)采用了微服務(wù)架構(gòu)，各個(gè)服務(wù)通過(guò)Restful API 進(jìn)行通信，實(shí)現(xiàn)了松耦合、易于擴(kuò)展和維護(hù)等優(yōu)點(diǎn)。此外，該平臺(tái)還使用消息隊(duì)列技術(shù)進(jìn)行數(shù)據(jù)的異步處理和分發(fā)，采用前端框架和其他技術(shù)實(shí)現(xiàn)了數(shù)據(jù)的可視化展示和用戶交互，為數(shù)據(jù)集成、共享和應(yīng)用效率的提升做出了貢獻(xiàn)。在實(shí)驗(yàn)結(jié)果的驗(yàn)證下，該平臺(tái)已經(jīng)成功地應(yīng)用于自動(dòng)化集裝箱碼頭的智能化建設(shè)，為碼頭的運(yùn)營(yíng)和管理提供了有力的技術(shù)支持。

2 多源異構(gòu)數(shù)據(jù)融合平臺(tái)技術(shù)選型

采用多種技術(shù)來(lái)實(shí)現(xiàn)多源異構(gòu)數(shù)據(jù)融合平臺(tái)。其中，關(guān)鍵技術(shù)包括微服務(wù)框架、消息隊(duì)列和前端框架。采用Spring Cloud 作為微服務(wù)框架，其提供了豐富的微服務(wù)開發(fā)工具，可以更加便捷地進(jìn)行微服務(wù)的開發(fā)和管理。采用RabbitMQ 作為消息隊(duì)列，實(shí)現(xiàn)對(duì)多源數(shù)據(jù)的采集、處理、存儲(chǔ)和傳輸。采用Vue.js 作為前端框架，有助快速、高效地進(jìn)行前端開發(fā)。

此外，采用Spring Boot、MyBatis、Docker、Jenkins、Canal、Camel 等輔助技術(shù)進(jìn)行開發(fā)，并使用了數(shù)據(jù)壓縮技術(shù)來(lái)降低存儲(chǔ)和傳輸成本。這些技術(shù)在多源異構(gòu)數(shù)據(jù)融合平臺(tái)中發(fā)揮著重要的作用，提升了系統(tǒng)的靈活性、可擴(kuò)展性和可靠性。

3 多源異構(gòu)數(shù)據(jù)融合平臺(tái)核心

由于多源異構(gòu)數(shù)據(jù)的差異性和復(fù)雜性，實(shí)現(xiàn)其有效地融合并非易事。以往研究中，存在著許多問(wèn)題，例如數(shù)據(jù)來(lái)源不明確、數(shù)據(jù)質(zhì)量不可靠、數(shù)據(jù)一致性難以保障等。故如何完成對(duì)多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合成為當(dāng)前研究的一個(gè)關(guān)鍵問(wèn)題。

為了解決這一問(wèn)題，本文提出了一個(gè)多源異構(gòu)數(shù)據(jù)融合平臺(tái)的核心實(shí)現(xiàn)方法，并展示了其在真實(shí)場(chǎng)景下的性能和效果。平臺(tái)核心采用了開放式架構(gòu)設(shè)計(jì)，支持?jǐn)?shù)據(jù)集成、轉(zhuǎn)換和管理，并通過(guò)采用高性能的融合算法和模型，實(shí)現(xiàn)了多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合。此外，還為平臺(tái)提供了完善的數(shù)據(jù)質(zhì)量控制和管理功能，以確保所融合數(shù)據(jù)的準(zhǔn)確性和可用性。

3.1 開放式架構(gòu)設(shè)計(jì)

為了克服多源異構(gòu)數(shù)據(jù)的差異性和復(fù)雜性，采用開放式架構(gòu)設(shè)計(jì)，即：將多個(gè)數(shù)據(jù)源整合到一個(gè)融合平臺(tái)中，并允許用戶根據(jù)自身的需求自由定制和擴(kuò)展。平臺(tái)核心包括：

1）數(shù)據(jù)源 平臺(tái)核心支持從多種數(shù)據(jù)源（例如關(guān)系型數(shù)據(jù)庫(kù)、非關(guān)系型數(shù)據(jù)庫(kù)、Web 服務(wù)、OPC DA、OPC UA[6-8]、文件系統(tǒng)等）中獲取數(shù)據(jù)，并將其轉(zhuǎn)換為統(tǒng)一的格式和結(jié)構(gòu)。

2）數(shù)據(jù)采集與轉(zhuǎn)換 平臺(tái)核心支持針對(duì)不同的數(shù)據(jù)類型和語(yǔ)義，定義多種轉(zhuǎn)換規(guī)則和模板，以便將數(shù)據(jù)映射到統(tǒng)一的語(yǔ)義空間中。

3）數(shù)據(jù)層 平臺(tái)核心提供全面的數(shù)據(jù)質(zhì)量監(jiān)控和管理功能，包括數(shù)據(jù)采集、清洗、去重、歸檔、備份等，并提供配置式的數(shù)據(jù)融合機(jī)制，采用高性能融合算法將多種數(shù)據(jù)源數(shù)據(jù)組合成自定義數(shù)據(jù)對(duì)象發(fā)布給客戶端應(yīng)用。

4）數(shù)據(jù)接口層 平臺(tái)核心提供統(tǒng)一Restful API 接口服務(wù)，提供多種數(shù)據(jù)源數(shù)據(jù)以及融合組合后的數(shù)據(jù)對(duì)象，同時(shí)提供基礎(chǔ)數(shù)據(jù)分析、實(shí)時(shí)分析、自助分析等功能。

5）數(shù)據(jù)應(yīng)用層 平臺(tái)提供的數(shù)據(jù)可以應(yīng)用到監(jiān)控、數(shù)字孿生、報(bào)表、統(tǒng)計(jì)分析等應(yīng)用，同時(shí)還提供歷史數(shù)據(jù)記錄和查詢接口。

通過(guò)這樣的設(shè)計(jì)，可以將各種異構(gòu)數(shù)據(jù)源整合在一起，形成一個(gè)統(tǒng)一的融合平臺(tái)，進(jìn)而實(shí)現(xiàn)多源數(shù)據(jù)的深度融合和智能分析。系統(tǒng)架構(gòu)如圖1 所示。

圖1 多源異構(gòu)數(shù)據(jù)融合平臺(tái)的架構(gòu)

3.2 高性能融合算法

針對(duì)多源異構(gòu)數(shù)據(jù)的精確匹配和深度融合問(wèn)題，采用一系列高性能的融合算法和模型。主要采用基于特征匹配的融合算法和基于語(yǔ)義解析的融合算法2 種算法。

3.2.1 基于特征匹配的融合算法

該算法主要針對(duì)結(jié)構(gòu)化數(shù)據(jù)，通過(guò)對(duì)不同數(shù)據(jù)特征（例如屬性名稱、數(shù)據(jù)類型、數(shù)據(jù)范圍等）的匹配，實(shí)現(xiàn)數(shù)據(jù)的深度融合。實(shí)現(xiàn)的方式為：1）確定融合目標(biāo)和數(shù)據(jù)源 明確融合信息數(shù)據(jù)源，在自動(dòng)化碼頭中需要融合各種感應(yīng)器、視頻監(jiān)控、RFID 等設(shè)備采集到的信息。2）特征提取 對(duì)于每個(gè)數(shù)據(jù)源，需要選擇合適的特征提取方法來(lái)提取相關(guān)信息。例如：從視頻監(jiān)控?cái)?shù)據(jù)中可以提取SURF、SIFT 等視覺(jué)特征；從感應(yīng)器數(shù)據(jù)中可以提取時(shí)間戳、傳感器類型、數(shù)值大小等特征。3）特征匹配 通過(guò)對(duì)多個(gè)數(shù)據(jù)源提取的特征進(jìn)行匹配，確定關(guān)信息。這個(gè)過(guò)程涉及計(jì)算機(jī)視覺(jué)、信號(hào)處理、時(shí)間序列分析等多個(gè)領(lǐng)域的知識(shí)，根據(jù)具體情況選擇合適的匹配方法。4）加權(quán)處理 根據(jù)匹配結(jié)果以及已有的先驗(yàn)知識(shí)，對(duì)不同數(shù)據(jù)源的信息進(jìn)行加權(quán)處理，以反映它們?cè)谌诤辖Y(jié)果中的貢獻(xiàn)。例如：可以將來(lái)自視頻監(jiān)控的信息賦予更高的權(quán)重，因?yàn)檫@些信息通常更直觀、準(zhǔn)確。5）融合輸出 根據(jù)加權(quán)后的匹配結(jié)果，將各個(gè)數(shù)據(jù)源中的信息融合成一個(gè)完整的、具有更高精度和魯棒性的數(shù)據(jù)集。對(duì)于碼頭自動(dòng)化來(lái)說(shuō)，這可能包括船只位置、貨物數(shù)量和種類、設(shè)備狀態(tài)、工作人員分布等信息。使用平均值、混合模型等方法將數(shù)據(jù)源結(jié)合起來(lái)。

在項(xiàng)目應(yīng)用中，平臺(tái)慮到各種情況下的特征提取、匹配、加權(quán)和融合方法，進(jìn)行相應(yīng)的調(diào)整和優(yōu)化，以提高融合效果和計(jì)算速度，實(shí)現(xiàn)全面自動(dòng)化的多源異構(gòu)數(shù)據(jù)融合。

3.2.2 基于語(yǔ)義解析的融合算法

該算法主要針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，通過(guò)對(duì)文本、圖片等語(yǔ)義信息的解析，實(shí)現(xiàn)數(shù)據(jù)的深度融合。融合算法和模型具有高效、準(zhǔn)確、可擴(kuò)展等優(yōu)點(diǎn)，能夠滿足大規(guī)模、多樣化、復(fù)雜性強(qiáng)的數(shù)據(jù)融合需求。實(shí)現(xiàn)的方式為：

1）確定融合目標(biāo)和數(shù)據(jù)源 和基于特征匹配的融合算法相似，明確需要融合的信息以及從數(shù)據(jù)源中獲取信息。但是對(duì)于基于語(yǔ)義解析的融合算法來(lái)說(shuō)，需要考慮每個(gè)數(shù)據(jù)源中的各種信息之間的語(yǔ)義關(guān)系。

2）語(yǔ)義解析 選擇合適的自然語(yǔ)言處理技術(shù)，對(duì)文字、語(yǔ)音等語(yǔ)言形式的數(shù)據(jù)源進(jìn)行語(yǔ)義解析。例如：可以使用詞向量模型將自然語(yǔ)言轉(zhuǎn)換成高維特征空間中的向量表示，再根據(jù)向量之間的相似度計(jì)算出它們之間的語(yǔ)義關(guān)系。

3）實(shí)體識(shí)別和鏈接 從語(yǔ)義解析的結(jié)果中識(shí)別出相關(guān)實(shí)體，在不同數(shù)據(jù)源中對(duì)實(shí)體進(jìn)行鏈接。例如：識(shí)別AGV、Container、設(shè)備類型等實(shí)體，并確定它們?cè)诓煌瑪?shù)據(jù)源中的對(duì)應(yīng)關(guān)系。

4）語(yǔ)義推理 通過(guò)對(duì)鏈接后的實(shí)體進(jìn)行語(yǔ)義推理，提取更豐富的信息以及實(shí)體之間的關(guān)聯(lián)關(guān)系。例如：可以基于規(guī)則或知識(shí)圖譜來(lái)推斷出當(dāng)前AGV 的位置、帶箱狀態(tài)、任務(wù)執(zhí)行狀態(tài)等信息。

5）融合輸出 根據(jù)語(yǔ)義推理的結(jié)果，將各個(gè)數(shù)據(jù)源中的信息融合成一個(gè)完整的、具有更高精度和魯棒性的數(shù)據(jù)集。同樣可以使用平均值、混合模型等方法結(jié)合數(shù)據(jù)源來(lái)完成數(shù)據(jù)統(tǒng)計(jì)。

3.3 數(shù)據(jù)質(zhì)量控制和管理

為了確保所融合數(shù)據(jù)的準(zhǔn)確性和可用性，平臺(tái)提供了完善的數(shù)據(jù)質(zhì)量控制和管理功能。具體而言，主要采用數(shù)據(jù)一致性檢測(cè)和數(shù)據(jù)質(zhì)量評(píng)估2 種方法。數(shù)據(jù)一致性檢測(cè)是通過(guò)對(duì)不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一致性檢測(cè)，發(fā)現(xiàn)并消除可能產(chǎn)生的錯(cuò)誤。數(shù)據(jù)質(zhì)量評(píng)估是通過(guò)對(duì)融合后的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，識(shí)別出存在問(wèn)題的數(shù)據(jù)，以便用戶調(diào)整和處理。這些功能的實(shí)現(xiàn)有效提高了數(shù)據(jù)融合的效率和精度，進(jìn)而支持各種數(shù)據(jù)應(yīng)用領(lǐng)域的智能分析和決策。

3.4 數(shù)據(jù)應(yīng)用

在真實(shí)場(chǎng)景下驗(yàn)證提出的多源異構(gòu)數(shù)據(jù)融合平臺(tái)核心的性能和效果。使用一組包括關(guān)系型數(shù)據(jù)庫(kù)、Web 服務(wù)、OPC DA、文件系統(tǒng)等多個(gè)來(lái)源的數(shù)據(jù)集，并通過(guò)創(chuàng)建AGV 模板、實(shí)現(xiàn)AGV 模板實(shí)例，經(jīng)過(guò)多源異構(gòu)數(shù)據(jù)融合平臺(tái)處理后精確的數(shù)據(jù)信息，給到GUI 監(jiān)控顯示系統(tǒng)。模板應(yīng)用界面如圖2 所示。

圖2 對(duì)象模板實(shí)例與多源數(shù)據(jù)連接管理界面

4 系統(tǒng)部署

系統(tǒng)采用微服務(wù)架構(gòu)，使用Spring Cloud 作為微服務(wù)框架。同時(shí)，系統(tǒng)使用了Docker 容器技術(shù)進(jìn)行部署，實(shí)現(xiàn)了快速、高效的部署和擴(kuò)展。在部署過(guò)程中，本系統(tǒng)采用容器編排工具Kubernetes，實(shí)現(xiàn)了容器的自動(dòng)化部署和管理。同時(shí)，還采用TFS 進(jìn)行代碼管理和CI/CD流程的自動(dòng)化部署，實(shí)現(xiàn)了TFS 代碼管理、編譯、在線自動(dòng)發(fā)布部署流程。

5 應(yīng)用案例

截至目前，該數(shù)據(jù)融合平臺(tái)已經(jīng)在最近實(shí)施的自動(dòng)化碼頭項(xiàng)目中投入應(yīng)用，其中A、B 自動(dòng)化碼頭使用數(shù)據(jù)融合平臺(tái)。2 個(gè)項(xiàng)目的實(shí)施情況如表1 所示。

表1 性能提升百分比表

表1 中，優(yōu)化前數(shù)據(jù)點(diǎn)數(shù)和數(shù)據(jù)表數(shù)是指未使用數(shù)據(jù)融合平臺(tái)每個(gè)GUI 訂閱的設(shè)備數(shù)據(jù)點(diǎn)數(shù)和數(shù)據(jù)庫(kù)業(yè)務(wù)數(shù)據(jù)表數(shù)；優(yōu)化前GUI 可常開數(shù)量是指未使用數(shù)據(jù)融合平臺(tái)前，前端GUI 從多個(gè)數(shù)據(jù)源獲取數(shù)據(jù)，因數(shù)據(jù)源限制、處理限制、性能限制下最多可以常開的客戶端數(shù)量；優(yōu)化后數(shù)據(jù)融合對(duì)象數(shù)是指應(yīng)用數(shù)據(jù)融合平臺(tái)后每個(gè)GUI 訂閱的數(shù)據(jù)融合對(duì)象數(shù)，該對(duì)象包含了設(shè)備數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)；優(yōu)化后GUI 可常開數(shù)量是指基于數(shù)據(jù)融合平臺(tái)可常開的客戶端數(shù)量；性能提升百分比是指客戶端GUI 可常開數(shù)量提升百分比。引入數(shù)據(jù)融合平臺(tái)后，數(shù)據(jù)處理、數(shù)據(jù)帶寬、客戶端處理效率得到大幅提升，因而常開GUI 數(shù)量得到較大的提升。

由表1 可知，由于數(shù)據(jù)融合平臺(tái)的引入，A 碼頭可常開GUI 的數(shù)量增加了28 臺(tái)，性能提升百分比約233%；B 碼頭可常開GUI 的數(shù)量增加了27 臺(tái)，效率提升百分比為245%。以上2 個(gè)案例說(shuō)明，數(shù)據(jù)融合平臺(tái)的投入使用，在同等服務(wù)器硬件資源條件下，能夠極大提升自動(dòng)化碼頭客戶端GUI 的常開數(shù)量，既提升了處理性能，也降低了客戶端的重復(fù)的數(shù)據(jù)處理工作量，大大降低了硬件投入成本和項(xiàng)目定制實(shí)施成本。

6 結(jié)語(yǔ)

本文基于自動(dòng)化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合技術(shù)進(jìn)行了研究，提出了一種基于微服務(wù)架構(gòu)的數(shù)據(jù)融合方案。本系統(tǒng)采用Spring Cloud 微服務(wù)框架，選用Docker容器技術(shù)進(jìn)行部署，通過(guò)開發(fā)數(shù)據(jù)管理平臺(tái)、設(shè)備數(shù)據(jù)服務(wù)、數(shù)據(jù)庫(kù)數(shù)據(jù)服務(wù)、數(shù)據(jù)融合服務(wù)等核心模塊，實(shí)現(xiàn)了不同數(shù)據(jù)源之間的數(shù)據(jù)交互和融合，極大方便了客戶端對(duì)多種數(shù)據(jù)的組合應(yīng)用，也為碼頭管理部門提供了一種高效的數(shù)據(jù)管理和應(yīng)用模式。

該研究在技術(shù)選型上充分考慮了業(yè)務(wù)需求和技術(shù)特點(diǎn)，使用了消息隊(duì)列和微服務(wù)架構(gòu)，通過(guò)分布式部署和模塊化設(shè)計(jì)，保證了系統(tǒng)的高可用性和可擴(kuò)展性。同時(shí)，使用SnowFlakeId 算法進(jìn)行ID 生成，避免了數(shù)據(jù)ID 沖突的問(wèn)題。

綜上所述，本文研究開發(fā)的自動(dòng)化集裝箱碼頭多源異構(gòu)數(shù)據(jù)融合技術(shù)，為自動(dòng)化碼頭項(xiàng)目的實(shí)施提供了強(qiáng)有力的支撐，可以有效地提高數(shù)據(jù)管理和應(yīng)用的效率，同時(shí)也為類似領(lǐng)域的研究提供了一定的參考和借鑒。