陶凱 郭奇園 代春平

1.中國鐵道科學(xué)研究院集團(tuán)有限公司基礎(chǔ)設(shè)施檢測研究所，北京100081；2.北京鐵科英邁技術(shù)有限公司，北京100081

世界各國鐵路系統(tǒng)正積極探索利用大數(shù)據(jù)、人工智能等新一代信息技術(shù)，期望大幅提升鐵路運(yùn)輸組織效率效益、優(yōu)化客貨運(yùn)輸服務(wù)品質(zhì)和提高鐵路運(yùn)輸安全水平。德國提出鐵路數(shù)字化戰(zhàn)略（鐵路4.0），以提升乘客滿意度為目標(biāo)，通過建設(shè)統(tǒng)一的數(shù)據(jù)服務(wù)平臺實現(xiàn)對經(jīng)營狀況和設(shè)備故障的精準(zhǔn)分析。瑞士提出SmartRail4.0戰(zhàn)略，意圖進(jìn)一步提高鐵路系統(tǒng)運(yùn)輸能力和安全性，有效維護(hù)和利用基礎(chǔ)設(shè)施，長期保持瑞士鐵路的競爭力［1］。荷蘭利用物聯(lián)網(wǎng)技術(shù)監(jiān)測鐵路基礎(chǔ)設(shè)施運(yùn)營狀況，綜合運(yùn)用大數(shù)據(jù)和人工智能技術(shù)預(yù)測基礎(chǔ)設(shè)施服役狀態(tài)的變化趨勢，提出預(yù)防和修理建議［2-3］。提高檢測監(jiān)測數(shù)據(jù)的資產(chǎn)管理和深度挖掘能力，持續(xù)優(yōu)化基礎(chǔ)設(shè)施運(yùn)營維護(hù)管理體系，實現(xiàn)基礎(chǔ)設(shè)施運(yùn)營安全和維護(hù)成本可控，已成為世界各國鐵路基礎(chǔ)設(shè)施運(yùn)營維護(hù)可持續(xù)發(fā)展的共識和必由之路。

隨著我國鐵路運(yùn)營維護(hù)技術(shù)的快速發(fā)展，逐漸構(gòu)建了移動周期檢測、固定在線監(jiān)測、現(xiàn)場人工檢查等方式于一體的鐵路基礎(chǔ)設(shè)施檢測監(jiān)測技術(shù)體系。近十年積累了海量的基礎(chǔ)設(shè)施運(yùn)營狀態(tài)檢測監(jiān)測數(shù)據(jù)，涵蓋軌道、鋼軌、橋梁、路基、隧道、接觸網(wǎng)、通信、信號等專業(yè)，包括非結(jié)構(gòu)化原始數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)對于鐵路基礎(chǔ)設(shè)施健康管理具有很高的應(yīng)用價值，但其存儲管理和分析應(yīng)用的技術(shù)不夠完善，導(dǎo)致無法完全發(fā)揮出其應(yīng)用價值［4］。因此，有必要面向鐵路基礎(chǔ)設(shè)施綜合一體化檢測監(jiān)測體系構(gòu)建統(tǒng)一的檢測監(jiān)測數(shù)據(jù)管理分析服務(wù)平臺，提供檢測監(jiān)測數(shù)據(jù)的統(tǒng)一接入（傳輸）、存儲、治理、共享等數(shù)據(jù)管理業(yè)務(wù)，同時基于標(biāo)準(zhǔn)化算法的注冊管理和調(diào)度應(yīng)用支持檢測監(jiān)測數(shù)據(jù)的自動化處理和智能化分析，為檢測監(jiān)測數(shù)據(jù)分析技術(shù)創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

1 技術(shù)架構(gòu)

在數(shù)據(jù)存儲管理方面，既有業(yè)務(wù)系統(tǒng)相對獨立，形成了專業(yè)范圍的信息孤島，且傳統(tǒng)采用文件傳輸協(xié)議（File Transfer Protocol，F(xiàn)TP）的文件管理模式不能適應(yīng)海量數(shù)據(jù)高效、安全的共享服務(wù)，導(dǎo)致數(shù)據(jù)資源難以共享，綜合應(yīng)用難以展開，整體效益難以發(fā)揮。

在數(shù)據(jù)分析效率方面，各專業(yè)管理信息系統(tǒng)眾多且相互獨立，數(shù)據(jù)訪問接口、分析算法、結(jié)果展示功能重復(fù)開發(fā)；數(shù)據(jù)處理分析算法版本管理困難，針對不同系統(tǒng)業(yè)務(wù)需求的算法接口不一致；非結(jié)構(gòu)化數(shù)據(jù)缺少批量處理能力，數(shù)據(jù)分析時效性難以保證；不能有效支持非結(jié)構(gòu)化數(shù)據(jù)的共享開放，權(quán)限及數(shù)據(jù)安全無法得到保障［5-6］。

鑒于以上問題，以模塊化、標(biāo)準(zhǔn)化、服務(wù)化、平臺化、架構(gòu)易擴(kuò)展為指導(dǎo)方針，以構(gòu)建共享服務(wù)生態(tài)為中心思想，采用分層設(shè)計，堅持高內(nèi)聚、低耦合、漸進(jìn)性原則，設(shè)計了鐵路基礎(chǔ)設(shè)施檢測監(jiān)測數(shù)據(jù)管理分析服務(wù)平臺（簡稱平臺）。平臺包括數(shù)據(jù)層和服務(wù)層，技術(shù)架構(gòu)如圖1所示。

圖1 平臺技術(shù)架構(gòu)

數(shù)據(jù)層對接各專業(yè)檢測監(jiān)測數(shù)據(jù)系統(tǒng)，具備靈活、可伸縮拓展的數(shù)據(jù)接收能力；將各專業(yè)信息系統(tǒng)數(shù)據(jù)和外部相關(guān)數(shù)據(jù)進(jìn)行分類存儲和有效組織，完成多渠道數(shù)據(jù)信息整合；不僅存儲管理時序數(shù)據(jù)、圖像數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等各類檢測監(jiān)測數(shù)據(jù)，還引入基礎(chǔ)臺賬數(shù)據(jù)、外部數(shù)據(jù)（維修數(shù)據(jù)、運(yùn)輸數(shù)據(jù)、環(huán)境數(shù)據(jù)等），為數(shù)據(jù)集成分析提供全業(yè)務(wù)、全類型的數(shù)據(jù)信息資源。服務(wù)層為各業(yè)務(wù)應(yīng)用提供數(shù)據(jù)批量處理、智能化數(shù)據(jù)處理、算法模型管理、標(biāo)準(zhǔn)化數(shù)據(jù)服務(wù)接口等能力，全面支撐基礎(chǔ)設(shè)施檢測監(jiān)測數(shù)據(jù)統(tǒng)計、故障診斷、趨勢預(yù)警、狀態(tài)評價、維修決策等工作。

2 關(guān)鍵技術(shù)

在數(shù)據(jù)分類存儲、高效檢索、大數(shù)據(jù)組件整合、平臺界面優(yōu)化、資源利用與部署等方面采用高新且成熟穩(wěn)定的信息技術(shù)，構(gòu)建新一代數(shù)據(jù)管理平臺，便于日后進(jìn)行平臺升級改造，保證平臺的長久運(yùn)轉(zhuǎn)。平臺關(guān)鍵技術(shù)如圖2所示。

圖2 平臺關(guān)鍵技術(shù)

2.1 數(shù)據(jù)分類存儲技術(shù)

平臺支持多源異構(gòu)的數(shù)據(jù)存儲。采用關(guān)系型數(shù)據(jù)庫（OracleDB）存儲結(jié)構(gòu)化原始數(shù)據(jù)；采用分布式文件存儲非結(jié)構(gòu)化原始數(shù)據(jù)；采用NoSQL數(shù)據(jù)庫（MongoDB）存儲非結(jié)構(gòu)化分析結(jié)果文件；采用基于Hadoop分布式文件系統(tǒng)（Hadoop Distributed File System，HDFS）的數(shù)據(jù)倉庫（Hive）存儲面向主題的結(jié)構(gòu)化分析結(jié)果數(shù)據(jù)；采用關(guān)系型數(shù)據(jù)庫（MySQL）存儲面向分析的結(jié)構(gòu)化分析結(jié)果數(shù)據(jù)；采用時序數(shù)據(jù)庫（InfluxDB）存儲時間序列的高頻分析結(jié)果數(shù)據(jù)［7-8］。

2.2 數(shù)據(jù)高效檢索技術(shù)

通過Elasticsearch解決分布式、高擴(kuò)展、高實時的搜索與數(shù)據(jù)分析需求，使大量檢測監(jiān)測數(shù)據(jù)具有搜索、分析、探索能力，實現(xiàn)平臺檢測監(jiān)測數(shù)據(jù)全生命周期管理及高效全文檢索。充分利用Elasticsearch的水平伸縮性，提高數(shù)據(jù)的價值。Elasticsearch的實現(xiàn)原理為：首先用戶將數(shù)據(jù)提交到Elasticsearch數(shù)據(jù)庫中，再通過分詞控制器將對應(yīng)的語句分詞，將其權(quán)重和分詞結(jié)果一并存入數(shù)據(jù)庫；用戶搜索數(shù)據(jù)時，再根據(jù)權(quán)重將結(jié)果排名、打分；最后將返回結(jié)果呈現(xiàn)給用戶［9］。

2.3 大數(shù)據(jù)組件整合技術(shù)

通過Spring Cloud對平臺開發(fā)過程中使用的大數(shù)據(jù)相關(guān)組件進(jìn)行有效整合，實現(xiàn)服務(wù)的高可用性，提高平臺穩(wěn)定性。Spring Cloud為平臺提供了微服務(wù)開發(fā)所需的配置管理、服務(wù)發(fā)現(xiàn)、斷路器、智能路由、微代理、控制總線、全局鎖、決策競選、分布式會話、集群狀態(tài)管理等組件。與Spring Boot框架一同使用可以使開發(fā)微服務(wù)架構(gòu)的云服務(wù)非常便捷［10］。

2.4 平臺界面優(yōu)化技術(shù)

通過Vue構(gòu)建用戶界面的漸進(jìn)式框架，優(yōu)化平臺界面展示效果，提升用戶體驗。與其他重量級框架不同，Vue作為漸進(jìn)式框架，采用自底向上增量開發(fā)的設(shè)計。Vue的核心庫只關(guān)注視圖層，易學(xué)習(xí)，易與其他庫或已有項目整合；Vue完全有能力驅(qū)動采用單文件組件和Vue生態(tài)系統(tǒng)支持的庫開發(fā)的復(fù)雜單頁應(yīng)用，通過簡單的API（Application Programming Interface）實現(xiàn)響應(yīng)的數(shù)據(jù)綁定和組合視圖組件［11］。

2.5 平臺資源利用與部署技術(shù)

采用K8S+Docker的容器化管理策略和基于YARN（Yet Another Resource Negotiator）的資源調(diào)度管理器實現(xiàn)應(yīng)用負(fù)載及平臺資源調(diào)度管理，實現(xiàn)更高效的平臺資源利用、更便捷的可持續(xù)部署工作。Docker在容器的基礎(chǔ)上進(jìn)行了平臺功能組件的進(jìn)一步封裝，從文件系統(tǒng)、網(wǎng)絡(luò)互聯(lián)到進(jìn)程隔離等，極大地簡化了容器的創(chuàng)建和維護(hù)［12］。

3 主要功能

平臺支持多源異構(gòu)數(shù)據(jù)歸集、存儲、治理和共享能力，以及數(shù)據(jù)處理分析算法的注冊管理和調(diào)度應(yīng)用，為故障診斷、趨勢預(yù)測、狀態(tài)評價等智能分析業(yè)務(wù)提供平臺支撐。平臺功能架構(gòu)如圖3所示。

圖3 平臺功能架構(gòu)

3.1 數(shù)據(jù)匯聚

平臺支持多源異構(gòu)數(shù)據(jù)、多類型的數(shù)據(jù)接入及多種協(xié)議的數(shù)據(jù)接入；支持?jǐn)?shù)據(jù)匯聚過程的日志管理，對日志進(jìn)行可視化展示，以便監(jiān)控采集的整個過程。數(shù)據(jù)歸集涵蓋基礎(chǔ)設(shè)施臺賬（主數(shù)據(jù)）和檢測監(jiān)測數(shù)據(jù)，后者按照數(shù)據(jù)來源可分為移動檢測數(shù)據(jù)、固定在線監(jiān)測數(shù)據(jù)、現(xiàn)場小型儀器檢查或人工觀測數(shù)據(jù)。

3.2 數(shù)據(jù)存儲

對于結(jié)構(gòu)化數(shù)據(jù)（結(jié)構(gòu)化檢測監(jiān)測數(shù)據(jù)、偏差數(shù)據(jù)、臺賬數(shù)據(jù)、元數(shù)據(jù)等），其中結(jié)構(gòu)化檢測監(jiān)測數(shù)據(jù)、偏差數(shù)據(jù)、元數(shù)據(jù)等通常會有修改要求，要具備事務(wù)處理能力，采用關(guān)系型數(shù)據(jù)庫（如Oracle、MySQL）進(jìn)行數(shù)據(jù)存儲。對于半結(jié)構(gòu)化二進(jìn)制文件，如各類檢測車檢測的原始波形文件，會有高頻處理分析需求，采用時序數(shù)據(jù)庫（InfluxDB）進(jìn)行數(shù)據(jù)存儲。對于圖像、視頻、文檔類非結(jié)構(gòu)化數(shù)據(jù)，由于數(shù)據(jù)量較大，采用分布式文件存儲和NoSQL數(shù)據(jù)庫（MongoDB）進(jìn)行存儲。

3.3 數(shù)據(jù)治理

通過匯聚各類型檢測監(jiān)測數(shù)據(jù)生成元數(shù)據(jù)信息，形成檢測監(jiān)測數(shù)據(jù)資產(chǎn)目錄。根據(jù)不同數(shù)據(jù)源的特點，規(guī)范化數(shù)據(jù)文件格式、編碼規(guī)則，配合元數(shù)據(jù)實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化治理。以后續(xù)自動化分析能夠使用質(zhì)量良好的數(shù)據(jù)源為最終目標(biāo)進(jìn)行數(shù)據(jù)治理和質(zhì)量評價，主要包括完整性、規(guī)范性、有效性和可用性等［13］。

3.4 數(shù)據(jù)共享

基于對檢測監(jiān)測數(shù)據(jù)的權(quán)限控制、設(shè)置檢測監(jiān)測數(shù)據(jù)的更新策略和頻次，實現(xiàn)信息資源同步。通過數(shù)據(jù)的訪問、下載和標(biāo)準(zhǔn)化API服務(wù)接口等方式為各部門間信息共享交換和業(yè)務(wù)協(xié)同提供數(shù)據(jù)支撐服務(wù)。

3.5 算法注冊

提供數(shù)據(jù)處理分析算法的封裝、配置、發(fā)布的統(tǒng)一管理。封裝帶有業(yè)務(wù)邏輯的組合算法、獨立算法和數(shù)據(jù)服務(wù)接口；基于算法的最小單位提供注冊、創(chuàng)建、配置算法運(yùn)行所需資源環(huán)境；變更、發(fā)布、監(jiān)控算法全生命周期管理。保存算法組件的元數(shù)據(jù)，包括調(diào)用方式、請求協(xié)議、功能介紹、參數(shù)配置、版本、算法倉庫地址等信息。各部門根據(jù)不同業(yè)務(wù)需求在權(quán)限范圍內(nèi)調(diào)用平臺上已注冊算法，實現(xiàn)靈活可控的算法共享。

3.6 任務(wù)調(diào)度

對數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)分析等大量任務(wù)單元執(zhí)行順序進(jìn)行配置，并完成各任務(wù)的調(diào)度執(zhí)行。

3.7 資源監(jiān)控

實現(xiàn)對數(shù)據(jù)接入、數(shù)據(jù)存儲和數(shù)據(jù)服務(wù)全面監(jiān)控，同時對CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)等狀況進(jìn)行底層服務(wù)集群的主機(jī)級監(jiān)控。

3.8 安全服務(wù)

使 用HTTPS（Hyper Text Transfer Protocol over Secure Socket Layer）安 全 協(xié) 議 和SFTP（Secret File Transfer Protocol）進(jìn)行業(yè)務(wù)信息的安全傳輸與文件機(jī)密性保護(hù)；對數(shù)據(jù)進(jìn)行完整性驗證，對缺失和異常數(shù)據(jù)進(jìn)行記錄跟蹤與恢復(fù)，對敏感數(shù)據(jù)進(jìn)行加密與脫敏；通過WebService接口和XML文件，與第三方系統(tǒng)進(jìn)行集成和數(shù)據(jù)交互，同時保存收發(fā)數(shù)據(jù)的消息日志，禁止第三方系統(tǒng)直接訪問數(shù)據(jù)庫［14］；采用雙機(jī)部署拓?fù)?，確保關(guān)鍵節(jié)點發(fā)生故障時能迅速進(jìn)行服務(wù)節(jié)點切換及故障節(jié)點恢復(fù)；審核并記錄針對平臺數(shù)據(jù)進(jìn)行的業(yè)務(wù)邏輯操作及事件的詳細(xì)描述；通過單點登錄、密碼強(qiáng)口令等方式控制用戶登錄，按照業(yè)務(wù)職能進(jìn)行角色劃分，對于平臺功能細(xì)化至菜單級，控制用戶權(quán)限粒度。

3.9 應(yīng)用服務(wù)

通過對數(shù)據(jù)“入-存-管-出”全過程管理和數(shù)據(jù)處理分析算法管理，為業(yè)務(wù)應(yīng)用提供檢測監(jiān)測數(shù)據(jù)與數(shù)據(jù)分析算法方面的支撐，支持各業(yè)務(wù)應(yīng)用實現(xiàn)數(shù)據(jù)展示、故障診斷、趨勢預(yù)警、狀態(tài)評價和綜合展示，為檢測監(jiān)測數(shù)據(jù)分析技術(shù)創(chuàng)新提供開放的孵化生態(tài)環(huán)境。

4 結(jié)語

本文面向鐵路基礎(chǔ)設(shè)施檢測監(jiān)測數(shù)據(jù)資產(chǎn)化管理、自動化和智能化分析要求，設(shè)計并實現(xiàn)了鐵路基礎(chǔ)設(shè)施檢測監(jiān)測數(shù)據(jù)管理分析服務(wù)平臺。平臺提供檢測監(jiān)測數(shù)據(jù)的接入、存儲、治理、共享等專業(yè)化管理服務(wù)；整合檢測監(jiān)測數(shù)據(jù)資源，打破各專業(yè)、各應(yīng)用系統(tǒng)間的數(shù)據(jù)壁壘，形成檢測監(jiān)測數(shù)據(jù)資源的全景視圖；支持?jǐn)?shù)據(jù)資產(chǎn)的精細(xì)加工和價值管理，為檢測監(jiān)測數(shù)據(jù)融合分析、深度挖掘等智能化分析提供平臺支撐和數(shù)據(jù)服務(wù)。

平臺在成都鐵路局正式投入使用，已完成2019—2020年度軌道幾何檢測數(shù)據(jù)的資產(chǎn)化管理和檢測里程校正自動化處理，充分驗證了平臺的可行性與實用性。

后續(xù)將利用5G無線通信技術(shù)，將檢測監(jiān)測數(shù)據(jù)自動接入數(shù)據(jù)管理服務(wù)平臺，逐步形成數(shù)據(jù)驅(qū)動的基礎(chǔ)設(shè)施故障診斷與健康管理分析能力；同時完善檢測監(jiān)測數(shù)據(jù)管理分析服務(wù)平臺的兼容性，為算法研發(fā)提供開放的測試驗證和應(yīng)用孵化生態(tài)環(huán)境。