黃莜 武斌 李明明

[摘 要]本文以實驗室中的原始檢測數(shù)據(jù)為研究對象，分析和設(shè)計檢測過程原始數(shù)據(jù)的自動采集功能，實現(xiàn)檢測儀器設(shè)備的原始數(shù)據(jù)自動獲取、自動數(shù)據(jù)解析、自動數(shù)據(jù)存儲。系統(tǒng)根據(jù)具體的文件進行不同的分析，提取文件內(nèi)容及圖片等，解決數(shù)據(jù)源的多樣性、數(shù)據(jù)協(xié)議復(fù)雜與多變等問題，實現(xiàn)采集數(shù)據(jù)、系統(tǒng)管理等數(shù)據(jù)展示，滿足檢測機構(gòu)對數(shù)據(jù)安全性和海量存儲等要求。

[關(guān)鍵詞]實驗室;原始檢測數(shù)據(jù);自動采集;數(shù)據(jù)共享

doi：10.3969/j.issn.1673 - 0194.2020.18.087

[中圖分類號]TP315[文獻標(biāo)識碼]A[文章編號]1673-0194（2020）18-0-04

1? ? ?實驗室儀器數(shù)據(jù)自動采集系統(tǒng)概述

近年來，國內(nèi)各監(jiān)測機構(gòu)不同程度地使用了實驗室信息管理系統(tǒng)（LIMS），將檢測工作質(zhì)量保障的各種要素，如人、機、料、法、環(huán)整合在一個系統(tǒng)平臺上。LIMS系統(tǒng)業(yè)務(wù)流程上的標(biāo)準(zhǔn)化和信息化大幅度提高了檢測機構(gòu)的業(yè)務(wù)能力，但也暴露了儀器設(shè)備原始數(shù)據(jù)收集方式傳統(tǒng)、效率低、錯誤率高、易篡改等問題，制約了檢測機構(gòu)持續(xù)高速發(fā)展。然而縱觀檢測行業(yè)，儀器設(shè)備數(shù)量之多、種類之繁，即使針對同一項目進行檢測的儀器設(shè)備，由于制造商不同，輸出的數(shù)據(jù)也千差萬別，導(dǎo)致儀器設(shè)備數(shù)據(jù)采集難度大、費用居高不下，甚至形成了有價無市的局面。

實驗室儀器數(shù)據(jù)自動采集系統(tǒng)（Automatic Data Acquisition System，ADAS）是為檢測領(lǐng)域提供的儀器設(shè)備數(shù)據(jù)自動采集及應(yīng)用系統(tǒng)，致力于檢測領(lǐng)域中各類儀器設(shè)備數(shù)據(jù)自動采集，提供統(tǒng)一數(shù)據(jù)采集接入接口，全面覆蓋所有數(shù)據(jù)源，通過構(gòu)建智能數(shù)據(jù)解析服務(wù)中心，使各類儀器設(shè)備數(shù)據(jù)協(xié)議簡單化、標(biāo)準(zhǔn)化，為數(shù)據(jù)使用方提供規(guī)范統(tǒng)一的目標(biāo)數(shù)據(jù)，讓整個數(shù)據(jù)采集過程更便捷、更高效、更準(zhǔn)確、更安全。實驗室儀器數(shù)據(jù)自動采集系統(tǒng)以常用的計算機和通信技術(shù)為基礎(chǔ)，實現(xiàn)實驗室設(shè)備的采集數(shù)據(jù)信息交換和共享。實驗室儀器數(shù)據(jù)自動采集系統(tǒng)只收集實驗室儀器設(shè)備結(jié)果數(shù)據(jù)，不控制設(shè)備檢測實驗行為。通過對實驗室儀器設(shè)備檢測樣品后輸出的原始報告文件進行二次采集，或者進行數(shù)據(jù)直采完成原始文檔歸檔，通過對歸檔文檔進行數(shù)據(jù)挖掘，分析并提取實驗結(jié)果數(shù)據(jù)，為生成電子原始記錄提供實驗項目相關(guān)數(shù)據(jù)。

2? ? ?數(shù)據(jù)自動采集系統(tǒng)功能

2.1? ?功能需求分析

2.1.1? ?數(shù)據(jù)采集及數(shù)據(jù)分析

對于實驗室而言，數(shù)據(jù)自動采集系統(tǒng)最基礎(chǔ)的功能要求是：把數(shù)據(jù)從儀器設(shè)備采集到數(shù)據(jù)庫中，對數(shù)據(jù)進行分析加工，進而可被第三方系統(tǒng)（如實驗室信息管理系統(tǒng)LIMS）調(diào)用。對于自身不帶工作站的設(shè)備，涉及對儀器設(shè)備硬件的直接采集。通信協(xié)議和接口類型包括：TCP/IP、RS-232、RS-485、USB;DeviceNet、ControlNet、Profibus、FOUNDATION fieldbus。對于自帶工作站的設(shè)備，涉及對設(shè)備產(chǎn)生數(shù)據(jù)的二次采集。數(shù)據(jù)類型包括：ACCESS、Excel、TXT、XML、SQLServer、DB類。其中，數(shù)據(jù)可能包括譜圖。當(dāng)完成數(shù)據(jù)采集后，用戶希望系統(tǒng)提供數(shù)據(jù)分析和計算能力。常見的計算規(guī)則包括：加減乘除、平均數(shù)、四舍五入、最大值/最小值、IF判斷等，同時也涉及“奇進偶不進”等修約方法和不確定度分析。實驗室類數(shù)據(jù)采集不同于工控類數(shù)據(jù)采集的顯著特征是：與樣品的關(guān)聯(lián)性、與原始記錄的關(guān)聯(lián)性以及采樣數(shù)和頻率。

2.1.2? ?遠(yuǎn)程監(jiān)控和遠(yuǎn)程操控

①遠(yuǎn)程監(jiān)控。智能儀器在設(shè)計時，會根據(jù)需要設(shè)計遠(yuǎn)程監(jiān)控功能，比如，實驗環(huán)節(jié)有污染或過大噪音等都可以監(jiān)控得到。這里的遠(yuǎn)程監(jiān)控，指在第三方系統(tǒng)的界面上（比如在2樓）遠(yuǎn)程監(jiān)控儀器工作站的界面（比如在1樓）。②遠(yuǎn)程操控。有些設(shè)備一次性出結(jié)果，而有的則需要在過程中操控和調(diào)整設(shè)備或更換樣品等，主要分為3種情況（圖1）：某設(shè)備自帶工作站和軟件，有效實現(xiàn)遠(yuǎn)程監(jiān)控;某設(shè)備沒有工作站和軟件，但有接口，此時需要單獨開發(fā)此設(shè)備，形成工作站和軟件;有些設(shè)備沒有外帶的工作站和軟件，但能夠向外服務(wù)器傳遞數(shù)據(jù)，具有接受控制的能力。

2.1.3? ?管理性需求

管理性需求包括以下兩點：①對接入設(shè)備的授權(quán)、對使用者的授權(quán)、記錄日志和歷史等;②保護原始數(shù)據(jù)和原始記錄，防止人為非法篡改。

2.2? ?功能設(shè)計

實驗室儀器數(shù)據(jù)自動采集系統(tǒng)的應(yīng)用服務(wù)包括客戶端數(shù)據(jù)收集、數(shù)據(jù)智能分析以及數(shù)據(jù)綜合應(yīng)用幾個大類。每個部分都提供了高度靈活的配置功能以適應(yīng)常規(guī)情況下的應(yīng)用需求，同時也開放了外部二次開發(fā)接口。

2.2.1? ?數(shù)據(jù)收集

采集組件將獲取的數(shù)據(jù)按照系統(tǒng)定義的原始數(shù)據(jù)固定格式分別拆分成一個個采集項數(shù)據(jù)，生成原始數(shù)據(jù)JSON字符串，傳遞給客戶端，再由采集客戶端交付給采集服務(wù)器。

2.2.2? ?數(shù)據(jù)分析

收集采集客戶端發(fā)送的數(shù)據(jù)包，將數(shù)據(jù)包發(fā)送到服務(wù)器端，按照相應(yīng)的配置規(guī)則進行運算處理。

2.2.3? ?數(shù)據(jù)存儲

提供數(shù)據(jù)庫和數(shù)據(jù)文件兩種方式存儲并需要保存以下數(shù)據(jù)：①業(yè)務(wù)管理層數(shù)據(jù)存儲;②元數(shù)據(jù)層數(shù)據(jù)存儲，包括自定義頻率的原始數(shù)據(jù)存儲及解析后的原始記錄數(shù)據(jù)存儲;③其他數(shù)據(jù)存儲，如服務(wù)端軟件通信日志文件儲存等

2.2.4? ?數(shù)據(jù)安全

系統(tǒng)可以部署在內(nèi)網(wǎng)中，可以利用離線數(shù)據(jù)包的方法，與云端外網(wǎng)系統(tǒng)進行數(shù)據(jù)傳遞，有效保障內(nèi)網(wǎng)數(shù)據(jù)的安全;系統(tǒng)可以設(shè)計用戶授權(quán)管理方式，以保障數(shù)據(jù)安全。

3? ? ?數(shù)據(jù)自動采集建設(shè)

3.1? ?邏輯關(guān)系

實驗室檢測過程中以樣品為中心，涉及標(biāo)準(zhǔn)、檢驗項目、檢驗條件、標(biāo)準(zhǔn)值/技術(shù)要求、實測值、自動判斷相關(guān)算法、判定條件、判定結(jié)論等。而與儀器設(shè)備關(guān)聯(lián)產(chǎn)生的數(shù)據(jù)如果能實現(xiàn)自動采集，則可以提高工作效率。在實驗室檢測過程中，最原始的數(shù)據(jù)來自儀器設(shè)備或人工觀察。而現(xiàn)代化實驗室中，大部分?jǐn)?shù)據(jù)則來自實驗儀器，其中，數(shù)據(jù)采集、分析和計算對實驗結(jié)果產(chǎn)生重要影響。數(shù)據(jù)采集與其他實驗環(huán)節(jié)中各組成要素的邏輯關(guān)系圖2所示。

3.2? ?技術(shù)分析

數(shù)據(jù)采集系統(tǒng)涉及多個學(xué)科范疇，包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和數(shù)據(jù)分析。當(dāng)該系統(tǒng)應(yīng)用于檢測類實驗室的業(yè)務(wù)時，有許多成功的經(jīng)驗可供參考。其中，難點在于怎樣將這些技術(shù)應(yīng)用于實驗室獨特的應(yīng)用場景和業(yè)務(wù)模式中。

3.2.1? ?接口的定義

目前，技術(shù)分析模塊存在諸多問題，如設(shè)備供應(yīng)商、軟件供應(yīng)商和集成商各自為政，缺乏統(tǒng)一的、公共的規(guī)范和接口等，但設(shè)計這些規(guī)范和接口并非易事。接口設(shè)計和實現(xiàn)的難點來自3個方面：①怎樣集成和兼容目前市場上主要的成果;比如：智能化儀器設(shè)備已有公共的硬件通信協(xié)議（RS232/485、USB、TCP/IP等）以及常用的文件格式規(guī)范（TXT、Excel、DB類等），各大廠商也有各自的規(guī)范和行業(yè)規(guī)范;②時間因素：隨著技術(shù)的進步，定義各個系統(tǒng)間接口后，如果不能在未來發(fā)展過程中向下兼容，則在過程中積累的設(shè)備特征庫等成果將面臨災(zāi)難性破壞;③接口一旦定義后，應(yīng)易于被其他廠商調(diào)用和集成。從整個平臺的系統(tǒng)布局看，這些接口包括多個方面：儀器設(shè)備及設(shè)備特征庫與數(shù)據(jù)采集客戶端之間、數(shù)據(jù)采集客戶端與服務(wù)器端之間、數(shù)據(jù)采集服務(wù)器與第三方應(yīng)用系統(tǒng)之間。

3.2.2? ?數(shù)據(jù)分析

面向科學(xué)實驗的工程領(lǐng)域，長期的測試分析和試驗產(chǎn)生并積累了大量的數(shù)據(jù)資料。這些數(shù)據(jù)通常存儲在分布異構(gòu)的環(huán)境中，以印刷文稿、電子文檔的形式存在，或者由專業(yè)技術(shù)人員建立的、以關(guān)系數(shù)據(jù)庫為依托的聯(lián)機事務(wù)處理（On- Line Transaction Processing，OLTP）系統(tǒng)管理。數(shù)據(jù)類型復(fù)雜多變，缺乏統(tǒng)一的結(jié)構(gòu)描述，數(shù)據(jù)匯集綜合需要經(jīng)過一連串繁瑣的轉(zhuǎn)換操作，有時還需要手工處理操作。傳統(tǒng)的數(shù)據(jù)集成技術(shù)無法消除實驗數(shù)據(jù)之間的不一致性，數(shù)據(jù)管理分散、數(shù)據(jù)處理各自為政、不加控制的數(shù)據(jù)選擇導(dǎo)致對同一問題的實驗結(jié)果不同，甚至產(chǎn)生截然相反的結(jié)果。

在設(shè)計整個數(shù)據(jù)采集系統(tǒng)時，存在兩種不同的觀點或選擇：其一，數(shù)據(jù)采集僅考慮采和控的問題，而放棄與實驗業(yè)務(wù)場景的具體結(jié)合，不考慮諸如數(shù)據(jù)分析等問題，而是交由第三方系統(tǒng)實現(xiàn);其二，數(shù)據(jù)采集服務(wù)器中包含數(shù)據(jù)分析時常見的或公共的算法庫，并通過開放API等方法被第三方系統(tǒng)調(diào)用。其中，第一種方法從理論上看是一個可行的選擇，可以降低系統(tǒng)的復(fù)雜度，易于實現(xiàn)。但過去的實踐案例證明，這種方法局限性大，在具體工作中存在諸多問題。因此，第二種方法便成為“更好”的選擇。第二種方法的難點在于：實驗類型千變?nèi)f化無法統(tǒng)一，各種算法和分析方法不可能一致。針對實驗數(shù)據(jù)的特點，可以將一種基于數(shù)據(jù)實例和數(shù)據(jù)模式松散耦合的模型驅(qū)動方式運用到數(shù)據(jù)分析和集成管理中，將各種異構(gòu)的數(shù)據(jù)源中，包括儀器設(shè)備后臺的數(shù)據(jù)系統(tǒng)、LIMS等軟件的文件系統(tǒng)，甚至WWW上的HTML文件數(shù)據(jù)，成功地集成到ADAS Server中，進而被第三方系統(tǒng)有效調(diào)用和反饋。對于一個具體的實驗而言，數(shù)據(jù)分析與樣品結(jié)果間的層級邏輯關(guān)系如圖3所示。

3.2.3? ?原始記錄及樣品的關(guān)聯(lián)性

數(shù)據(jù)采集在工業(yè)控制領(lǐng)域早已有非常成熟的解決方案，在工廠環(huán)境中的SCADA系統(tǒng)與MES系統(tǒng)在國內(nèi)外也早已普及多年。其中，有很多方法、思路和成果可被參考。但是，測控實驗室中的數(shù)據(jù)采集與工控類數(shù)據(jù)采集最大的不同在于其結(jié)合了實驗室業(yè)務(wù)特征的獨特性，其中，兩個關(guān)鍵點是樣品的關(guān)聯(lián)性和原始記錄的關(guān)聯(lián)性。樣品作為實驗對象，在系統(tǒng)中需要充分考慮。當(dāng)數(shù)據(jù)采集系統(tǒng)作為中間層輸入輸出，并被第三方系統(tǒng)調(diào)用和反饋時，需要相關(guān)的樣品標(biāo)識。實驗類型不同，則樣品不同，比如：機械類檢測業(yè)務(wù)中，同一個樣品可能涉及樣品拆分、聚合，甚至與流程相關(guān)，這些可能導(dǎo)致實驗結(jié)果不同。系統(tǒng)需要找到一種通用且簡潔的方式，解決樣品關(guān)聯(lián)性的問題。

3.3? ?設(shè)計原理

ADAS系統(tǒng)模塊由以下幾部分組成。①ADAS.Cloud（云端數(shù)據(jù)集控中心），主要將種類繁多的設(shè)備及設(shè)備數(shù)據(jù)解析的解決方案統(tǒng)一管理，以達到設(shè)備的數(shù)據(jù)解析方案復(fù)用的效果。系統(tǒng)采用BS方式實現(xiàn)，部署于公司局域網(wǎng)或公網(wǎng)，每實施新的數(shù)據(jù)采集項目時，只需要在線或離線更新數(shù)據(jù)即可，所有數(shù)據(jù)維護工作集中到數(shù)據(jù)服務(wù)工作站。②ADAS.Service.Api（數(shù)據(jù)接口服務(wù)），主要是數(shù)據(jù)間傳輸提供服務(wù)。③ADAS.App.DataMonitor數(shù)據(jù)采集中心，主要是發(fā)現(xiàn)并收集符合當(dāng)前綁定設(shè)備數(shù)據(jù)收集規(guī)則的數(shù)據(jù)源，讀取并提交至數(shù)據(jù)分析中心。其中，數(shù)據(jù)具有以下幾種類型：ADAS.App.FileMonitor（文件采集器）;ADAS.App.DBMonitor（數(shù)據(jù)庫文件采集器）;ADAS.App.ComMonitor（串口采集器）;其他數(shù)據(jù)采集終端和腳本編輯調(diào)試工具，主要根據(jù)實驗室人員對設(shè)備檢測結(jié)果需求，制定文件內(nèi)容獲取位置規(guī)則，生成解析腳本。ADAS.App.Analysiser（數(shù)據(jù)分析中心），主要處理采集終端提交的文件、數(shù)據(jù)，響應(yīng)設(shè)備關(guān)注的焦點事件等。數(shù)據(jù)服務(wù)器工作站，主要是基礎(chǔ)數(shù)據(jù)以及最終檢驗結(jié)果的原始記錄生成操作管理，包括電子原始記錄ELN等。第三方接口服務(wù)，主要支持LIMS系統(tǒng)與ADAS系統(tǒng)的數(shù)據(jù)授權(quán)接入。

3.4? ?系統(tǒng)延伸

3.4.1? ?監(jiān)視類數(shù)據(jù)采集系統(tǒng)

這類系統(tǒng)采集的數(shù)據(jù)是設(shè)備實時產(chǎn)生的，且是持續(xù)的，通常來說，數(shù)據(jù)內(nèi)容相對簡單，但與時間關(guān)聯(lián)，強調(diào)過程監(jiān)控與變化，大多數(shù)研究的是數(shù)據(jù)變化趨勢或預(yù)警，比較典型的應(yīng)用是溫濕度監(jiān)控。

3.4.2? ?數(shù)據(jù)采集與監(jiān)視控制系統(tǒng)

這類系統(tǒng)屬于工業(yè)系統(tǒng)范疇，除過程數(shù)據(jù)監(jiān)控、預(yù)警外，還需要對過程數(shù)據(jù)進行程式化干預(yù)（自動或人為輔助）;應(yīng)用比較多的場景一般在電力、化工、能源等領(lǐng)域的生產(chǎn)環(huán)節(jié);有這樣需求的客戶一般發(fā)生在電池檢測領(lǐng)域。

4? ? ?結(jié) 語

本文以儀器設(shè)備數(shù)據(jù)自動采集系統(tǒng)為基礎(chǔ)，以功能需求分析為設(shè)計目標(biāo)，提出系統(tǒng)的設(shè)計原理。首先，針對檢測行業(yè)數(shù)據(jù)采集功能需求進行了深刻分析，包括數(shù)據(jù)采集、分析、遠(yuǎn)程監(jiān)控、數(shù)據(jù)管理等涉及的內(nèi)容。其次，根據(jù)需求設(shè)計模塊，實現(xiàn)儀器設(shè)備數(shù)據(jù)自動采集系統(tǒng)功能。

主要參考文獻

[1]張秋菊，郭祖鵬，崔世勇，等.實驗室信息管理系統(tǒng)（LIMS）——降低實驗室風(fēng)險的有效方法之一[J].中國衛(wèi)生檢驗雜志，2011（8）：

2080-2081.

[2]鄭毅，陳洪波.質(zhì)檢實驗室數(shù)據(jù)自動化處理系統(tǒng)的設(shè)計與研究[J].信息系統(tǒng)工程，2014（3）：134-135.

[3]孟祥艷，張建正.分析儀器實驗室信息管理系統(tǒng)的設(shè)計與實現(xiàn)[J].微計算機信息，2010（21）：24-25.

[4]張智勇，楊勇，飛云川.煙草實驗室數(shù)據(jù)采集模塊的設(shè)計與集成應(yīng)用[J].自動化與儀器儀表，2016（1）：42-44.

[5]丁海飛，王紅亮，張會新，等.基于ADS8365的多路數(shù)據(jù)采集存儲系統(tǒng)設(shè)計[J].化工自動化及儀表，2012（1）：81-84.

[6]封龍，王艷平，汪竟龍，等.環(huán)境監(jiān)測實驗室管理系統(tǒng)中的數(shù)據(jù)庫設(shè)計與分析[J].儀器儀表與分析監(jiān)測，2012（4）：39-40.