郭曙超，龔方，*，昃向君，周保華，于仕超

（1.山東出入境檢驗檢疫局，山東青島 266000；2.煙臺出入境檢驗檢疫局，山東煙臺 264000）

食品安全問題作為全世界范圍內(nèi)普遍關(guān)注的問題，得到了各國政府及相關(guān)機(jī)構(gòu)的高度重視，各國相繼開展食品安全監(jiān)測和預(yù)警系統(tǒng)的研究[1]，提高食品安全監(jiān)管效率。同時，食品安全問題是一個多學(xué)科交叉的既廣泛又深入的科學(xué)技術(shù)問題，提升食品安全水平必須依靠科學(xué)技術(shù)的發(fā)展和應(yīng)用。我國正處于食品安全風(fēng)險高發(fā)期和矛盾凸顯期，研究如何發(fā)揮相關(guān)技術(shù)支撐在保障食品安全方面的作用，對有效提升我國食品安全監(jiān)管水平具有十分重要的意義。

本文主要以山東地區(qū)進(jìn)出口食品檢測實(shí)驗室的數(shù)據(jù)為分析對象，研究食品安全檢測數(shù)據(jù)倉庫技術(shù)，并對構(gòu)建食品安全進(jìn)出口食品農(nóng)產(chǎn)品安全風(fēng)險預(yù)警與檢測數(shù)據(jù)挖掘分析平臺打好了基礎(chǔ)，從而為實(shí)現(xiàn)進(jìn)出口食品安全問題的早發(fā)現(xiàn)、早預(yù)警、早控制和早處理提供準(zhǔn)確的數(shù)據(jù)信息參考。

1 食品安全檢測數(shù)據(jù)信息與風(fēng)險預(yù)警

食品質(zhì)量安全檢測數(shù)據(jù)是食品安全風(fēng)險研判和實(shí)施食品安全科學(xué)監(jiān)管的重要技術(shù)依據(jù)，如何對各級食品安全檢驗實(shí)驗室產(chǎn)生的各類檢驗數(shù)據(jù)進(jìn)行系統(tǒng)的信息化管理，為食品安全風(fēng)險預(yù)警和科學(xué)監(jiān)管提供有效的數(shù)據(jù)和信息支持，已成為逐漸引起我國食品安全監(jiān)管部門和食品安全檢測機(jī)構(gòu)關(guān)注的技術(shù)難題。

全國各級食品檢測實(shí)驗室每天要開展大量的食品檢測工作，也就是說每天都在產(chǎn)生大量的食品檢測數(shù)據(jù)，近幾年以來已經(jīng)形成了一個巨大的食品安全數(shù)據(jù)倉庫，單個數(shù)據(jù)都只說明被檢測的樣品中某個項目（危害物）的殘留情況，但大量數(shù)據(jù)的集合包含了豐富的食品安全信息。如何利用這些數(shù)據(jù)進(jìn)行分析，為食品安全監(jiān)管提供決策依據(jù)，是食品安全監(jiān)管部門迫切需要解決的問題，如何在這些數(shù)據(jù)海洋中找到隱藏的有價值信息，用于輔助政府對食品安全的管理與決策，是非常具有實(shí)際意義的。

1.1 食品安全檢測數(shù)據(jù)的特點(diǎn)

在構(gòu)建用于數(shù)據(jù)分析的數(shù)據(jù)倉庫時，從源系統(tǒng)中采集到的數(shù)據(jù)往往存在著來源眾多、種類繁雜以及數(shù)據(jù)不規(guī)范等現(xiàn)象，這些源數(shù)據(jù)可能存在兩種情況：第一種是有些列的數(shù)據(jù)對數(shù)據(jù)分析毫無意義，第二種是對那些有意義的數(shù)據(jù)，存在數(shù)據(jù)值定義不完整、數(shù)據(jù)冗余等情況、這種不規(guī)范、不完整的數(shù)據(jù)會影響后續(xù)數(shù)據(jù)分析的結(jié)果[2]。

食農(nóng)產(chǎn)品檢測結(jié)果是數(shù)據(jù)分析中最關(guān)鍵的部分，食品檢測項目種類較多，參考標(biāo)準(zhǔn)也有出入，使得檢測結(jié)果和項目信息存在很多的不規(guī)范，如限量類項目本應(yīng)為數(shù)值型結(jié)果，而錄入的檢測結(jié)果經(jīng)常包含字符；對結(jié)果的描述不統(tǒng)一，例如對陰性結(jié)果的描述包括了“未檢出”、“陰性”和“ND”等；檢測項目的名稱不統(tǒng)一，如“DDT”和“滴滴涕”為同一個項目。

由于食品檢測數(shù)據(jù)本身的復(fù)雜性和原始錄入的不規(guī)范，導(dǎo)致數(shù)據(jù)源較為雜亂，必須建立一整套針對性的規(guī)則和標(biāo)簽對檢測數(shù)據(jù)進(jìn)行清洗。數(shù)據(jù)的清洗處理工作是建立數(shù)據(jù)倉庫的基礎(chǔ)，數(shù)據(jù)的分析在屬性上具備不同的層次。對于實(shí)驗室檢測數(shù)據(jù)來說，需要考慮的有樣品種類、項目類別、國別地區(qū)、檢測結(jié)果等。比如時間上從年到季度到月到日，要實(shí)現(xiàn)這些不同層次的挖掘分析都需要對屬性進(jìn)行概念分層?？茖W(xué)的概念分層的意義：一是可以為構(gòu)建數(shù)據(jù)倉庫提供支持；二是要考慮與限量標(biāo)準(zhǔn)專家知識庫有效關(guān)聯(lián)；三是要反過來對生產(chǎn)數(shù)據(jù)庫（實(shí)驗室業(yè)務(wù)系統(tǒng)）的基礎(chǔ)分類設(shè)置提供建議參考。

1.2 實(shí)驗室數(shù)據(jù)規(guī)范是食品安全信息化的基礎(chǔ)

信息是有用的數(shù)據(jù)，數(shù)據(jù)是信息的表現(xiàn)形式，信息是通過數(shù)據(jù)符號來傳播的，數(shù)據(jù)如果不具有知識性和有用性則不能稱其為信息，也就沒有價值。數(shù)據(jù)處理和分析就是討論如何對這些紛繁復(fù)雜的數(shù)據(jù)進(jìn)行分析，揭示其中隱含的內(nèi)在規(guī)律、發(fā)掘有用的信息，為決策者的正確決策提供理論依據(jù)，它最大的特點(diǎn)就是“讓數(shù)據(jù)說話”。而數(shù)據(jù)規(guī)范是數(shù)據(jù)分析的依據(jù)和工具，只有建立切實(shí)可行的數(shù)據(jù)規(guī)則，對實(shí)驗室檢測的數(shù)據(jù)進(jìn)行統(tǒng)一和規(guī)范，才有可能使得“數(shù)據(jù)能夠說話”，從中發(fā)掘有價值的食品安全信息。

2 食品安全檢測數(shù)據(jù)倉庫

2.1 數(shù)據(jù)倉庫的概念應(yīng)用

數(shù)據(jù)倉庫技術(shù)[3]是近年來出現(xiàn)的、發(fā)展迅速的一種技術(shù)，它通過把大量的歷史數(shù)據(jù)整理集中到一個中央倉庫中，將數(shù)據(jù)加以分析并呈現(xiàn)給用戶來支持管理者的決策。數(shù)據(jù)倉庫是一個整合式的、面向主題的、歷史性的以及只讀性的數(shù)據(jù)集合，其主要目的是提供給管理者作為管理決策的參考依據(jù)。

對于數(shù)據(jù)倉庫的概念我們可以從3 個層次予以理解[4]：

1）數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于實(shí)驗室現(xiàn)有的操作型數(shù)據(jù)庫。

2）數(shù)據(jù)倉庫是對多個異構(gòu)數(shù)據(jù)源的有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)。

3）數(shù)據(jù)倉庫不是靜態(tài)的概念，只有把信息及時交給需要這些信息的使用者，供他們作出監(jiān)管和改進(jìn)的決策，信息才能發(fā)揮作用，信息才有意義。而把信息加以整理、歸納和重組，并及時提供給相應(yīng)的管理決策人員是數(shù)據(jù)倉庫的根本任務(wù)。

2.2 食品安全數(shù)據(jù)倉庫的技術(shù)框架

數(shù)據(jù)倉庫與傳統(tǒng)的數(shù)據(jù)庫不同，數(shù)據(jù)庫是未經(jīng)整理后的一大堆數(shù)據(jù)集；而數(shù)據(jù)倉庫是從數(shù)據(jù)庫中萃取出來經(jīng)過整理、規(guī)劃、建構(gòu)而成的有系統(tǒng)的數(shù)據(jù)庫的集合。數(shù)據(jù)倉庫所含數(shù)據(jù)是干凈無誤的，完整的而且是經(jīng)過整合的，數(shù)據(jù)倉庫的順利建立并有效率的運(yùn)行是進(jìn)行數(shù)據(jù)分析挖掘有價值信息的基礎(chǔ)。傳統(tǒng)數(shù)據(jù)庫在日常的管理事務(wù)處理中獲得了巨大的成功，但是對管理人員的決策分析要求卻無法滿足。因為，管理人員常常希望能夠通過對組織中的大量數(shù)據(jù)進(jìn)行分析，了解業(yè)務(wù)的發(fā)展趨勢。而傳統(tǒng)數(shù)據(jù)庫只保留了當(dāng)前的業(yè)務(wù)處理信息，缺乏決策分析所需要的大量的歷史信息。

為滿足管理人員的決策分析需要，就需要在數(shù)據(jù)庫的基礎(chǔ)上產(chǎn)生適應(yīng)決策分析的數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫（Data Warehouse）。

本文主要在山東省各級進(jìn)出口食品檢測機(jī)構(gòu)的日常食品安全檢測數(shù)據(jù)的基礎(chǔ)上，建立食品安全數(shù)據(jù)倉庫，實(shí)現(xiàn)對食品安全整體狀態(tài)的實(shí)時監(jiān)測與預(yù)警。通過統(tǒng)計分析與數(shù)據(jù)挖掘，評價食品安全狀態(tài)，分析和預(yù)測食品安全發(fā)展趨勢，為食品安全管理與控制提供科學(xué)的決策依據(jù)。主要技術(shù)框架和流程如下。

3 食品安全檢測數(shù)據(jù)倉庫建立研究和技術(shù)應(yīng)用

3.1 數(shù)據(jù)處理

存放這些檢測數(shù)據(jù)的數(shù)據(jù)庫中通常包含的信息有：食品的名稱、種類、產(chǎn)地、抽檢樣品號、檢測時間、檢測項目、檢測結(jié)果及單位、進(jìn)出口國家、生產(chǎn)企業(yè)等等。數(shù)據(jù)分析主要關(guān)注的是食品的種類、產(chǎn)地、檢測時間、檢測項目及結(jié)果，在數(shù)據(jù)庫中分布較分散，在數(shù)據(jù)分析之前需將這些單獨(dú)提取出來。

食品檢測數(shù)據(jù)有其自身的特點(diǎn)[5]，處理過程中主要發(fā)現(xiàn)的問題有：

1）同類樣品所檢測項目分布不均，每個樣品通常檢測多個項目。

2）檢測的項目中限量類危害物是主要的關(guān)注對象，主要是指有著最大殘留規(guī)定的危害物，其類別涉及到農(nóng)藥殘留、獸藥殘留、食品添加劑、有害元素、毒素等，在所有的危害物中其數(shù)量占據(jù)了相當(dāng)大的比例，對這類項目要進(jìn)行概念分層。

3）錄入的檢測結(jié)果不規(guī)范，這主要表現(xiàn)在限量類項目本應(yīng)為數(shù)值型的項目檢測結(jié)果經(jīng)常包含字符，如“＞3 000”、“＜10”、“ND”、“未檢出”等，或結(jié)果值空缺，還包括進(jìn)出口國和產(chǎn)地錄入的不規(guī)范等等。本文以山東地區(qū)進(jìn)出口食品檢測數(shù)據(jù)為研究對象，分類整理檢測數(shù)據(jù)中的信息，科學(xué)的進(jìn)行樣品類別、項目類別、國別地域的概念分層，即建立規(guī)范的樣品類別多級分類、項目類別多級分類、地域、國別字典表和閾值判定對照表等規(guī)則，逐步進(jìn)行數(shù)據(jù)集中、處理、清洗、離散和概念分層，為統(tǒng)計數(shù)據(jù)設(shè)計數(shù)據(jù)標(biāo)簽。設(shè)計方向見下圖。

3.2 數(shù)據(jù)離散分層規(guī)則的建立

搜集整理2006 年～2012 年連續(xù)6 年的食品農(nóng)產(chǎn)品檢測數(shù)據(jù)，通過以上數(shù)據(jù)清洗處理的方法和步驟，進(jìn)行數(shù)據(jù)轉(zhuǎn)換，建立數(shù)據(jù)標(biāo)簽和清洗規(guī)則，形成了山東口岸進(jìn)出口食品農(nóng)產(chǎn)品檢測數(shù)據(jù)的數(shù)據(jù)字典系列，包括了項目字典表、產(chǎn)品字典表和國別地域字典表等一整套用于實(shí)驗室食品農(nóng)產(chǎn)品檢測數(shù)據(jù)關(guān)鍵屬性的概念分層與編碼規(guī)則體系。

1）產(chǎn)品字典表

產(chǎn)品字典表共分為動物、動物產(chǎn)品、植物、植物產(chǎn)品和食品5 個大類，每類有三層分級，共細(xì)分為130 余項小類。以植物產(chǎn)品大類為例，下分蔬菜、豆類、花生及制品等12 種中類，每個中類下分小類，以蔬菜為例，下分保鮮蔬菜、脫水蔬菜、速凍蔬菜、鹽漬蔬菜4 個小類，各小類下一級即為具體檢測商品的名稱。

2）項目字典表

梳理食品農(nóng)產(chǎn)品檢測風(fēng)險物質(zhì)的主要種類，結(jié)合國際標(biāo)準(zhǔn)上通用的規(guī)則，對上千項檢測項目（除動植物疫病以外）進(jìn)行分類，建立規(guī)則。共建立涉及微生物、農(nóng)藥殘留、獸藥殘留、理化檢測、轉(zhuǎn)基因、元素、毒素、添加劑8 個大類的檢測項目字典庫，每個大類下設(shè)兩級分類。以獸藥殘留大類為例，下分磺胺類、類固醇類、四環(huán)素族等近30 個中類，每個中類下分小類，以四環(huán)素族為例，下分金霉素、強(qiáng)力霉素、四環(huán)素及土霉素4種常見的檢測項目。

3）地域國別字典表

結(jié)合山東口岸進(jìn)出口食品農(nóng)產(chǎn)品的區(qū)域分布情況，設(shè)計地域國別字典表，結(jié)合地理經(jīng)緯度建立地圖模式，分別對不同國家和地區(qū)，山東地區(qū)17 個地級市進(jìn)行展現(xiàn)，直觀簡潔。

3.3 食品安全檢測數(shù)據(jù)倉庫的應(yīng)用

食品安全檢測數(shù)據(jù)倉庫建立的根本目的在于對決策的支持，即為提高檢驗監(jiān)管的效率和決策提供數(shù)據(jù)信息方面的支持。高層的風(fēng)險分析者、中層的業(yè)務(wù)處理和監(jiān)管人員和基層的實(shí)驗室檢測人員等不同層次的管理人員均可以利用數(shù)據(jù)倉庫進(jìn)行決策分析，提高管理決策的質(zhì)量。數(shù)據(jù)倉庫體系結(jié)構(gòu)[6]如圖1 所示。

圖1 數(shù)據(jù)倉庫體系結(jié)構(gòu)Fig.1 Data warehouse architecture

在圖1 表現(xiàn)層中，我們研究了多種形式對建立的數(shù)據(jù)倉庫進(jìn)行分析利用，主要體現(xiàn)在以下三個方面：

1）研究數(shù)據(jù)分析結(jié)果的可視化展示

實(shí)驗室的大量檢測數(shù)據(jù)被利用起來，實(shí)現(xiàn)檢測情況和檢出情況的直觀化分析，為支持領(lǐng)導(dǎo)決策提供第一手資料，完善決策依據(jù)，優(yōu)化決策方法，使決策更加科學(xué)化；實(shí)現(xiàn)信息處理、報表展現(xiàn)、預(yù)警、和輔助決策的功能，具有動態(tài)性、綜合性和人—機(jī)系統(tǒng)的特點(diǎn)；利用管理信息系統(tǒng)，將進(jìn)出口食品檢驗中的實(shí)驗室檢測數(shù)據(jù)整合成一個有機(jī)整體，實(shí)現(xiàn)數(shù)據(jù)分析的可靠性和準(zhǔn)確性，提高了工作效率。

2）利用數(shù)據(jù)挖掘工具實(shí)現(xiàn)價值信息的提取

采用科學(xué)數(shù)據(jù)挖掘算法[7]，如關(guān)聯(lián)規(guī)則、聚類分析，自動預(yù)測等。在建立食品農(nóng)產(chǎn)品檢測數(shù)據(jù)倉庫的基礎(chǔ)上發(fā)掘有價值的信息，幫助決策者掌握和分析進(jìn)出口食品安全當(dāng)前的和歷史的、多層次的數(shù)據(jù)情況，并以較直觀的、易于理解的形式給出分析結(jié)論，以便于掌握食品安全變化規(guī)律，預(yù)測發(fā)展趨勢，更好的提高決策的科學(xué)性和預(yù)見性。

3）數(shù)理統(tǒng)計趨勢分析方法對檢測數(shù)據(jù)進(jìn)行動態(tài)分析

食品安全趨勢分析是指通過對食品檢測的歷史數(shù)據(jù)和有關(guān)信息的統(tǒng)計分析，對食品安全未來發(fā)展前景作出預(yù)測。食品安全趨勢分析是食品安全控制決策科學(xué)化的工具，是食品安全管理部門編制計劃、預(yù)見計劃執(zhí)行情況、加強(qiáng)計劃指導(dǎo)的依據(jù)。在食品實(shí)驗室檢測數(shù)據(jù)庫的基礎(chǔ)上，選擇移動平均線趨勢分析、回歸分析、時間序列分析法等工具，在大量歷史數(shù)據(jù)的基礎(chǔ)上獲得接近危害物未來分布的趨勢，從而將預(yù)警控制前移到陽性風(fēng)險出現(xiàn)之前，由“被動”預(yù)警轉(zhuǎn)為“主動”，并對預(yù)警的有效觸發(fā)和解除進(jìn)行了驗證。

4 結(jié)語

目前，隨著食品安全問題越來越得到大眾的關(guān)注，食品安全風(fēng)險預(yù)警和監(jiān)測體系也亟待加強(qiáng)與完善，而數(shù)據(jù)倉庫作為風(fēng)險信息中最為基礎(chǔ)和關(guān)鍵的一環(huán)，也得到了更多的研究與重視[8]，其中本文所建立的進(jìn)出口食品安全檢測數(shù)據(jù)倉庫就是對這一技術(shù)的具體研究與應(yīng)用，其建立的山東地區(qū)進(jìn)出口食品檢測數(shù)據(jù)倉庫為進(jìn)一步的食品安全預(yù)警分析提供了保障。

[1]王海明,鄭培,潘海虹.食品安全風(fēng)險監(jiān)測預(yù)警系統(tǒng)研究[J].中國衛(wèi)生監(jiān)督雜志,2010,17(6)：106-110

[2]李聰,黃逸民.食品安全監(jiān)測與預(yù)警系統(tǒng)[M].北京：化學(xué)工業(yè)出版社,2006：200-246

[3]何玉潔,張俊超.數(shù)據(jù)倉庫與OLAP 實(shí)踐教程[M].北京：清華大學(xué)出版社,2008：10-56

[4]Tom Hammergren.數(shù)據(jù)倉庫技術(shù)[M].曹增強(qiáng),王備戰(zhàn),岳曉奎,等譯.武漢：中國水利水電出版社,1998：88-256

[5]唐曉純.食品安全預(yù)警體系框架構(gòu)建研究[J].食品科學(xué),2005,26(12)：246-249

[6]C J Date.數(shù)據(jù)庫系統(tǒng)導(dǎo)論[M].孟曉峰,王珊,姜芳艽,等譯.北京：機(jī)械工業(yè)出版社,2000：103-355

[7]王曙燕,耿國華,周明全.數(shù)據(jù)倉庫與數(shù)據(jù)挖掘技術(shù)的研究與應(yīng)用[J].計算機(jī)應(yīng)用研究,2005,11(9)：194-196

[8]宋國杰,楊冬青,林子雨,等.實(shí)時主動數(shù)據(jù)倉庫的概念、問題及應(yīng)用[J].計算機(jī)研究與發(fā)展,2007,44(Suppl.)：441-446