文｜廣州市建設(shè)工程質(zhì)量安全信息化管理行業(yè)協(xié)會(huì) 黃儉 廣州粵建三和軟件有限公司 萬普華

1.前言

工程質(zhì)量安全事關(guān)人民群眾切身利益和經(jīng)濟(jì)社會(huì)發(fā)展。由于工程項(xiàng)目建設(shè)時(shí)間跨度大、施工工序多、責(zé)任主體和相關(guān)單位多、質(zhì)量安全影響因素復(fù)雜、管理難度高，任何一個(gè)環(huán)節(jié)或要素的疏忽都可能對工程質(zhì)量和安全造成影響，因而加強(qiáng)工程建設(shè)過程中的信息共享和信息交流就成為有效控制工程質(zhì)量和安全的重要條件之一。廣州市建設(shè)行業(yè)近年來大力推進(jìn)工程質(zhì)量安全管理信息化工作，先后建立了工程質(zhì)量檢測監(jiān)管系統(tǒng)、混凝土質(zhì)量追蹤和動(dòng)態(tài)監(jiān)管系統(tǒng)、地下工程和深基坑監(jiān)測預(yù)警系統(tǒng)、起重機(jī)械安全監(jiān)測監(jiān)管系統(tǒng)、高支模安全監(jiān)測系統(tǒng)等，將工程質(zhì)量安全管理的主要關(guān)鍵節(jié)點(diǎn)基本都納入了信息化管理，取得了較好的應(yīng)用效果。但由于各系統(tǒng)是由不同職能部門負(fù)責(zé)并陸續(xù)建成投入運(yùn)行的，各系統(tǒng)數(shù)據(jù)的完整性、一致性和實(shí)時(shí)性都不一樣，對系統(tǒng)運(yùn)用效果形成了制約，尤其是在處理跨部門或跨區(qū)域的質(zhì)量安全問題時(shí)更難以形成監(jiān)管合力。因而，利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)全行業(yè)信息充分共享和管理聯(lián)動(dòng)已是迫在眉睫。

2.大數(shù)據(jù)技術(shù)與工程管理

大數(shù)據(jù)技術(shù)是指從體量大、類型復(fù)雜的數(shù)據(jù)中快速獲得有價(jià)值信息的技術(shù)，具有體量大(volumes) 、數(shù)據(jù)類別復(fù)雜(variety)、數(shù)據(jù)處理速度快（Velocity）和數(shù)據(jù)真實(shí)性高（Veracity）等4V特點(diǎn)。其關(guān)鍵技術(shù)主要包括數(shù)據(jù)采集、數(shù)據(jù)預(yù)處理、數(shù)據(jù)存儲(chǔ)及管理和數(shù)據(jù)分析及挖掘等：

1)大數(shù)據(jù)采集技術(shù)：通過利用RFID、二維碼、傳感器等物聯(lián)網(wǎng)及移動(dòng)互聯(lián)等方式獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化（或稱之為弱結(jié)構(gòu)化）及非結(jié)構(gòu)化的海量數(shù)據(jù)。

2)大數(shù)據(jù)預(yù)處理技術(shù)：對已接收的具有多種結(jié)構(gòu)和類型數(shù)據(jù)的辨析、抽取、清洗等操作，從而提取出有效數(shù)據(jù)。

3)大數(shù)據(jù)存儲(chǔ)及管理技術(shù)：把采集到的數(shù)據(jù)有序、高效地存儲(chǔ)起來。

4)大數(shù)據(jù)分析及挖掘技術(shù)：利用數(shù)據(jù)挖掘算法從海量數(shù)據(jù)中分析并獲得有價(jià)值信息。

目前，廣州市建設(shè)行業(yè)已建成并在運(yùn)行的信息系統(tǒng)有幾十個(gè)，其中多個(gè)系統(tǒng)都與工程質(zhì)量安全管理相關(guān)，僅在最新投入運(yùn)行的“廣州市建設(shè)工程一張圖管理信息系統(tǒng)”就分別從各系統(tǒng)中抽取了十六類有關(guān)工程管理信息，基本覆蓋了全市2000多個(gè)工程、3000多家企業(yè)，而且大部分?jǐn)?shù)據(jù)均自動(dòng)采集、實(shí)時(shí)更新，其中僅就起重機(jī)械安全監(jiān)測監(jiān)管系統(tǒng)一個(gè)數(shù)據(jù)源來看，每天通過安裝在工地現(xiàn)場各起重機(jī)械上的傳感器自動(dòng)采集的數(shù)據(jù)量就達(dá)到2G，并且這些海量的、來自不同信息系統(tǒng)、結(jié)構(gòu)各異的數(shù)據(jù)不是簡單地匯總，而是要從中找出關(guān)聯(lián)性并為行政主管部門和各類企業(yè)提供有價(jià)值的信息服務(wù)。因此，工程管理本身所具有的特點(diǎn)就決定了工程質(zhì)量安全數(shù)據(jù)服務(wù)平臺所面臨的數(shù)據(jù)處理要求完全符合大數(shù)據(jù)技術(shù)的4V特點(diǎn)。

根據(jù)ESM國際電子商情針對2013年大數(shù)據(jù)應(yīng)用現(xiàn)狀和趨勢的調(diào)查，結(jié)果顯示：被調(diào)查者最關(guān)注的大數(shù)據(jù)技術(shù)中，排在前五位的分別是大數(shù)據(jù)分析（12.91%）、云數(shù)據(jù)庫（11.82%）、Hadoop（11.73%）、內(nèi)存數(shù)據(jù)庫（11.64%）以及數(shù)據(jù)安全（9.21%），大數(shù)據(jù)分析成為最被關(guān)注的技術(shù)。大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，即利用各種統(tǒng)計(jì)方法深入數(shù)據(jù)內(nèi)部，挖掘出隱藏在海量數(shù)據(jù)背后的有價(jià)值信息。因而，利用大數(shù)據(jù)技術(shù)，尤其是各類數(shù)據(jù)挖掘算法，實(shí)現(xiàn)工程管理領(lǐng)域的智能化具有重要的現(xiàn)實(shí)意義。

3.平臺的體系架構(gòu)

平臺以大數(shù)據(jù)技術(shù)為核心支撐，以工程質(zhì)量安全數(shù)據(jù)服務(wù)為主線，體系架構(gòu)如圖1所示。平臺由應(yīng)用層、數(shù)據(jù)服務(wù)接口層、數(shù)據(jù)推送引擎層、大數(shù)據(jù)存儲(chǔ)和索引層、實(shí)時(shí)流挖掘?qū)?、大?shù)據(jù)收集層和質(zhì)量安全數(shù)據(jù)源層等組成。

圖1 平臺體系架構(gòu)圖

工程質(zhì)量安全數(shù)據(jù)源包括一切可獲得的工程質(zhì)量安全相關(guān)數(shù)據(jù)，典型的數(shù)據(jù)包括工程項(xiàng)目基本數(shù)據(jù)、工程形象進(jìn)度數(shù)據(jù)、分部驗(yàn)收數(shù)據(jù)、安全評價(jià)數(shù)據(jù)、深基坑監(jiān)控?cái)?shù)據(jù)及數(shù)據(jù)分析結(jié)果數(shù)據(jù)、高支模實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)及安全狀況判斷結(jié)果數(shù)據(jù)、起重機(jī)械實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)及安全狀況判斷結(jié)果數(shù)據(jù)、混凝土生產(chǎn)和施工質(zhì)量數(shù)據(jù)、工程檢測數(shù)據(jù)、綠色施工評價(jià)數(shù)據(jù)、揚(yáng)塵噪音監(jiān)控?cái)?shù)據(jù)、日常監(jiān)督執(zhí)法數(shù)據(jù)以及企業(yè)獎(jiǎng)懲記錄數(shù)據(jù)和誠信評價(jià)數(shù)據(jù)等，其中還包括了RFID、二維碼、GPS定位、影像和視頻等各類復(fù)雜數(shù)據(jù)。這些海量的數(shù)據(jù)由大數(shù)據(jù)收集器負(fù)責(zé)收集，收集器的功能包括來源認(rèn)證、快速接受、預(yù)處理以及快速持久化等。收集的數(shù)據(jù)形成實(shí)時(shí)流，為了提高數(shù)據(jù)服務(wù)的及時(shí)性，會(huì)使用過濾、規(guī)則匹配、分類和聚類等算法對流數(shù)據(jù)進(jìn)行挖掘。預(yù)處理的數(shù)據(jù)和挖掘的數(shù)據(jù)會(huì)進(jìn)行全文索引，在分布式的集群環(huán)境下存儲(chǔ)、查詢和檢索。數(shù)據(jù)推送引擎使用協(xié)同推送、內(nèi)容推送、上下文推送和社會(huì)化推送等推送算法對存儲(chǔ)的大數(shù)據(jù)進(jìn)行搜索和分析處理，形成精準(zhǔn)的推送數(shù)據(jù)。這些數(shù)據(jù)通過普適的接口推送各類建設(shè)工程質(zhì)量安全領(lǐng)域的應(yīng)用或系統(tǒng)，并最終展現(xiàn)給用戶。數(shù)據(jù)推送接口層的功能主要包括應(yīng)用認(rèn)證、應(yīng)用授權(quán)、數(shù)據(jù)推送和效用評價(jià)等功能。

4.平臺的關(guān)鍵技術(shù)

4.1 面向?qū)崟r(shí)流的大數(shù)據(jù)挖掘

數(shù)據(jù)服務(wù)平臺的數(shù)據(jù)來源為所收集的工程質(zhì)量安全的實(shí)時(shí)或非實(shí)時(shí)數(shù)據(jù)，具有無限性、實(shí)時(shí)響應(yīng)性、和不可再現(xiàn)性等特征，因此，實(shí)時(shí)流處理框架和規(guī)則匹配、貝葉斯分類、頻繁項(xiàng)挖掘等流式挖掘算法尤為重要。例如深基坑監(jiān)控?cái)?shù)據(jù)、高支模監(jiān)控?cái)?shù)據(jù)以及起重機(jī)械監(jiān)控?cái)?shù)據(jù)均為實(shí)時(shí)自動(dòng)采集，系統(tǒng)要求根據(jù)數(shù)據(jù)的實(shí)際情況做出實(shí)時(shí)響應(yīng)，一旦根據(jù)規(guī)則匹配判斷出安全隱患狀況需及時(shí)作出預(yù)警響應(yīng)。圖2為起重機(jī)械監(jiān)控系統(tǒng)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)采集界面。

圖2 起重機(jī)械監(jiān)控系統(tǒng)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)采集圖

4.2 基于大樣本的大數(shù)據(jù)挖掘

數(shù)據(jù)挖掘主要是利用各種統(tǒng)計(jì)方法深入數(shù)據(jù)內(nèi)部進(jìn)行分析，很多算法的應(yīng)用依賴于大樣本的前提。例如利用ABC分類法，我們可以在通過工程質(zhì)量檢測監(jiān)管系統(tǒng)和混凝土質(zhì)量追蹤系統(tǒng)采集的大樣本數(shù)據(jù)基礎(chǔ)上，對各施工企業(yè)的混凝土工程施工質(zhì)量控制水平作出評價(jià)，即按時(shí)間段（年度或季度）匯總統(tǒng)計(jì)不同施工企業(yè)所有同條件養(yǎng)護(hù)試塊的強(qiáng)度值低于設(shè)計(jì)強(qiáng)度值的組數(shù)，按照組數(shù)由大到小進(jìn)行排列并計(jì)算出累計(jì)頻數(shù)和累計(jì)頻率，其中累計(jì)頻率在0%～80%的施工企業(yè)為質(zhì)量控制水平偏低企業(yè)，列為重點(diǎn)監(jiān)督對象，對其加強(qiáng)檢查并督促整改；累計(jì)頻率在80%～90%的施工企業(yè)為質(zhì)量控制一般企業(yè)，按正常監(jiān)督管理即可；累計(jì)頻率在90%～100%的施工企業(yè)為質(zhì)量控制優(yōu)秀企業(yè)，可適當(dāng)放寬檢查力度。

4.3 基于全文索引的大數(shù)據(jù)搜索

數(shù)據(jù)服務(wù)平臺的關(guān)鍵之一是快速準(zhǔn)確的從海量數(shù)據(jù)中搜索出所需要的信息。本平臺采用基于全文索引的大數(shù)據(jù)搜索。索引就是將數(shù)據(jù)中具有檢索意義的詞項(xiàng)按一定的方式有序排列起來，以方便檢索。索引是檢索的前提和基礎(chǔ)，實(shí)現(xiàn)某種檢索功能，應(yīng)先建立對應(yīng)的索引機(jī)制。索引技術(shù)影響著信息檢索的效率，是支持文本有效檢索的關(guān)鍵技術(shù)。索引性能的優(yōu)劣直接影響檢索的質(zhì)量。因此，全文索引技術(shù)在搜索引擎中起著至關(guān)重要的作用。本平臺建立了工程質(zhì)量安全關(guān)鍵詞庫，通過倒排索引方式建立了全文索引，實(shí)現(xiàn)了對各類專項(xiàng)施工組織設(shè)計(jì)方案及審查意見、質(zhì)量安全整改通知及回復(fù)等非結(jié)構(gòu)化文件的大數(shù)據(jù)搜索。

4.4 基于NoSQL的大數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)服務(wù)平臺以海量的數(shù)據(jù)為信息來源，依賴于對海量數(shù)據(jù)的有效存儲(chǔ)和查詢。為了能夠滿足海量數(shù)據(jù)容錯(cuò)存儲(chǔ)、高效地訪問、高并發(fā)的讀寫以及高可擴(kuò)展性，本平臺采用基于NoSQL列式數(shù)據(jù)模型的數(shù)據(jù)庫來存儲(chǔ)、查詢和管理數(shù)據(jù)，充分吸取了Google Big table和Amazon dynamo二者的優(yōu)良基因在數(shù)據(jù)模型上采用了Big table的基于列集（Column Family）的模型，在數(shù)據(jù)的分布式存儲(chǔ)上，使用了 dynamo 的模式，將數(shù)據(jù)散列在節(jié)點(diǎn)環(huán)上，節(jié)點(diǎn)數(shù)據(jù)的復(fù)制采用隱式傳送（Hinted Handoff）的方式，節(jié)點(diǎn)成員和節(jié)點(diǎn)錯(cuò)誤探測采用稱為 Gossip的協(xié)議。通過這些技術(shù)的應(yīng)用，本平臺實(shí)現(xiàn)了日增量數(shù)據(jù)近TB級的大數(shù)據(jù)存儲(chǔ)。

5 結(jié)語

國家住房和城鄉(xiāng)建設(shè)部于2014年9月1日印發(fā)了《工程質(zhì)量治理兩年行動(dòng)方案》，明確要求健全工程質(zhì)量監(jiān)督機(jī)制，創(chuàng)新工程質(zhì)量安全監(jiān)督檢查方式，對工程質(zhì)量安全實(shí)施有效監(jiān)督，并提出要在2015年底前完成建筑市場和工程質(zhì)量安全監(jiān)管一體化工作平臺建設(shè)，實(shí)現(xiàn)“數(shù)據(jù)一個(gè)庫、監(jiān)管一張網(wǎng)、管理一條線”的信息化監(jiān)管目標(biāo)。本文所探討的應(yīng)用大數(shù)據(jù)技術(shù)對質(zhì)量安全數(shù)據(jù)進(jìn)行一致的整合、分析處理和應(yīng)用，可將企業(yè)和行政主管部門的信息化成本降到最低，為工程質(zhì)量各相關(guān)方的協(xié)同工作和監(jiān)管提供支撐和保障，必定能大大加快行業(yè)的信息化進(jìn)程，真正落實(shí)《工程質(zhì)量治理兩年行動(dòng)方案》。