（唐山學(xué)院，唐山 063000）

0 引言

隨著人民群眾生活水平的日益提高，近20年來，我國(guó)建筑衛(wèi)生陶瓷行業(yè)得到飛速發(fā)展，從20世紀(jì)90年代初開始，其產(chǎn)量一直處于世界第一的位置。并且還創(chuàng)造了中國(guó)世界紀(jì)錄協(xié)會(huì)世界建筑衛(wèi)生陶瓷產(chǎn)生產(chǎn)量最多的國(guó)家新的世界紀(jì)錄。特別是2010年，隨著大規(guī)模的工業(yè)化生產(chǎn)，我國(guó)建筑陶瓷行業(yè)已經(jīng)出現(xiàn)了廣東、福建、四川、江西等幾大陶瓷產(chǎn)區(qū)，我國(guó)也成為世界上建筑陶瓷生產(chǎn)和出口大國(guó)。衛(wèi)生陶瓷作為一種有釉的陶瓷制品，在燒制上釉的過程中，也會(huì)出現(xiàn)開裂、缺釉、色差等缺陷[1]。在機(jī)器視覺的檢測(cè)過程中，常用高清工業(yè)相機(jī)進(jìn)行拍攝，然后利用相應(yīng)算法進(jìn)行檢測(cè)[2,3]。

這些機(jī)器視覺的檢測(cè)方法大多采用的是單處理器的方式，對(duì)應(yīng)于數(shù)量龐大的待測(cè)高清圖像集來說，存在處理數(shù)據(jù)量大，處理速度較慢的問題，且無法并行運(yùn)算處理。在大數(shù)據(jù)時(shí)代，工業(yè)產(chǎn)品機(jī)器視覺檢測(cè)領(lǐng)域，待測(cè)圖像的數(shù)量不計(jì)其數(shù)。隨著云計(jì)算、大數(shù)據(jù)技術(shù)的發(fā)展，使得高效、快速進(jìn)行工業(yè)產(chǎn)品檢測(cè)成為可能。

Hadoop是目前采用的一種并行、分布式的數(shù)據(jù)處理平臺(tái)[4]。在圖像處理相關(guān)領(lǐng)域有著廣泛的應(yīng)用前景。例如趙進(jìn)超[5]等在Hadoop平臺(tái)實(shí)現(xiàn)了圖像紋理特征的提??；余征等[6]利用Hadoop平臺(tái)進(jìn)行了人臉識(shí)別算法的應(yīng)用，運(yùn)行速度及效率較高；白靈[7]在Hadoop平臺(tái)下進(jìn)行SVM圖像識(shí)別，進(jìn)而實(shí)現(xiàn)了對(duì)圖像進(jìn)行快速分類；夏曉云等[8]使用Hadoop里的MapReduce技術(shù)結(jié)合圖像檢測(cè)算法對(duì)液晶屏幕缺陷進(jìn)行檢測(cè)，提高了檢測(cè)效率。

1 相關(guān)技術(shù)

Hadoop是Apache基金會(huì)所開發(fā)的一種分布式基礎(chǔ)架構(gòu)，具有高可靠性、高拓展性、高效性、高容錯(cuò)性、低成本等一系列特性，用戶可以輕松地在Hadoop上開發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序。Hadoop框架最核心的設(shè)計(jì)HDFS與MapReduce分別可以實(shí)現(xiàn)海量數(shù)據(jù)存儲(chǔ)與海量數(shù)據(jù)計(jì)算[9]。作為大數(shù)據(jù)時(shí)代的衍生物，Hadoop云計(jì)算平臺(tái)在海量數(shù)據(jù)并行處理方面效果顯著。Hadoop云計(jì)算平臺(tái)的核心技術(shù)為HDFS（Hadoop Distributed File System）和MapReduce（映射-歸一），分別表示分布式存儲(chǔ)技術(shù)和并行分布式計(jì)算技術(shù)。Hadoop最初是由Nutch項(xiàng)目的開發(fā)團(tuán)隊(duì)，在Google的GFS技術(shù)和MapReduce的基礎(chǔ)上，研發(fā)出了NDFS系統(tǒng)，這個(gè)系統(tǒng)是個(gè)開源系統(tǒng)。并逐漸被谷歌、微軟、阿里等大廠商認(rèn)可，后來更名為HDFS。Hadoop的底層是由Java編寫，也就是說可以直接使用Java語言進(jìn)行編程，也可以用其他語言編寫相關(guān)函數(shù)封裝使用。

HDFS負(fù)責(zé)海量數(shù)據(jù)的分布存儲(chǔ)，由一個(gè)主節(jié)點(diǎn)和若干從節(jié)點(diǎn)的典型主從結(jié)構(gòu)組成。其中主節(jié)點(diǎn)為主控服務(wù)器，用于管理協(xié)調(diào)從節(jié)點(diǎn)的分布作業(yè)調(diào)度。Hadoop在運(yùn)行過程中主要有兩個(gè)運(yùn)行階段，每個(gè)階段都使用鍵值作為作業(yè)處理的輸入和輸出。并且采用了標(biāo)準(zhǔn)的函數(shù)編程的模式，分別對(duì)應(yīng)了mapper( )和reducer( )兩個(gè)Hadoop自帶的函數(shù)。mapper( )函數(shù)對(duì)應(yīng)著輸入數(shù)據(jù)的分片映射處理，而reducer( )函數(shù)實(shí)現(xiàn)了mapper( )處理后數(shù)據(jù)的統(tǒng)計(jì)重構(gòu)。從而實(shí)現(xiàn)了數(shù)據(jù)分布式并行處理的過程。

2 海量衛(wèi)生陶瓷圖像的并行檢測(cè)

圖像處理技術(shù)經(jīng)過幾十年的發(fā)展，雖然有很多研究人員在算法的執(zhí)行效率方面進(jìn)行研究，但目前的圖像處理工作存在處理量大，算法較為復(fù)雜的特點(diǎn)，在處理研究上已經(jīng)遇到瓶頸。因此將圖像處理算法引入到云計(jì)算平臺(tái)中是有重要意義的。因?yàn)镠adoop云平臺(tái)自身也帶了處理小文件的技術(shù)方案。Hadoop在HDFS中存儲(chǔ)塊的大小為64MB，小于64MB這種的文件統(tǒng)稱為Hadoop小文件。該方案稱為組合分片技術(shù)，在此不用考慮文件怎樣被組合分片的。通過對(duì)大量Hadoop小文件的合并大大減少了Map映射任務(wù)的啟動(dòng)次數(shù)，從而提升了文件處理的速度。云計(jì)算平臺(tái)的并行集群化計(jì)算，能在時(shí)間性能上得到顯著的提升。本文提出的衛(wèi)生陶瓷缺陷檢測(cè)云平臺(tái)處理步驟如下，其框架如圖1所示。

圖1 衛(wèi)生陶瓷缺陷檢測(cè)云平臺(tái)的框架圖

第一步：將待測(cè)的衛(wèi)生陶瓷圖像集合分成若干split，在這里每幅圖像即為一個(gè)split；

第二步：各從節(jié)點(diǎn)調(diào)用mapper( )函數(shù)，接收split傳入后的數(shù)據(jù)，并行提取每幅圖像的特征，生成相應(yīng)的特征矩陣；

第三步：利用灰色關(guān)聯(lián)算法[6]對(duì)選取的關(guān)鍵點(diǎn)進(jìn)行關(guān)聯(lián)處理，判斷是否有缺陷區(qū)域；

第四步：主節(jié)點(diǎn)調(diào)用reducer( )函數(shù)將mapper( )函數(shù)處理的結(jié)果進(jìn)行合并，由RecordWriter類寫回指定的HDFS中。

3 衛(wèi)生陶瓷缺陷檢測(cè)云平臺(tái)系統(tǒng)設(shè)計(jì)

3.1 Hadoop云平臺(tái)的搭建

1）硬件平臺(tái)

本文搭建的衛(wèi)生陶瓷缺陷檢測(cè)的Hadoop云平臺(tái)由5臺(tái)普通的PC機(jī)組成。其中主節(jié)點(diǎn)采用的是Intel酷睿i5 4460四核心，3.2GHz主頻，6M三級(jí)緩存，內(nèi)存8GB，硬盤2TB；4個(gè)從節(jié)點(diǎn)采用的是酷睿i3 6100四核心，3.7GHz主頻，6M三級(jí)緩存，內(nèi)存4GB，硬盤1TB。

2）軟件平臺(tái)

操作系統(tǒng)：5臺(tái)PC機(jī)都安裝Ubuntu14.04，32位linux操作系統(tǒng)；

Hadoop版本：Hadoop 2.7.1；

軟件框架：Eclipse和JDK 1.8。

3）Hadoop網(wǎng)絡(luò)平臺(tái)的搭建

該云平臺(tái)分布并行系統(tǒng)中的主、從節(jié)點(diǎn)都通過千兆以太網(wǎng)進(jìn)行連接，配置Java語言實(shí)現(xiàn)映射、歸一化。該Hadoop云平臺(tái)的各主從節(jié)點(diǎn)都屬于同一個(gè)局域網(wǎng)，具體網(wǎng)絡(luò)配置如表1所示。

表1 Hadoop云平臺(tái)網(wǎng)絡(luò)配置

3.2 灰色關(guān)聯(lián)算法

灰色決策系統(tǒng)關(guān)聯(lián)就是利用所研究對(duì)象的“部分信息已知，部分信息未知”的“小樣本”、“貧信息”，通過一定的方式和技巧對(duì)“部分”已知信息的生成、開發(fā)，提取有價(jià)值的信息，實(shí)現(xiàn)對(duì)研究對(duì)象的確切描述和認(rèn)識(shí)，對(duì)未來的行動(dòng)作出決定[10,11]。對(duì)于所提取的具有缺陷的衛(wèi)生陶瓷制品圖像來說，要么有缺陷，要么沒有缺陷，因此可以將陶瓷制品缺陷圖像轉(zhuǎn)化為本文算法的灰色系統(tǒng)，也就是可以使用灰色理論中非常重要的灰色關(guān)聯(lián)度算法進(jìn)行缺陷區(qū)域提取[12,13]。

1）設(shè)m×n系統(tǒng)一個(gè)參考序列的初值像值，如式(1)所示。

2）參考序列差，如式(2)所示。

3）求解兩極端的最大差以及最小差，如式(3)所示。

5）求解關(guān)聯(lián)度，如式(5)所示。

首先，對(duì)原始待測(cè)圖像按照灰色關(guān)聯(lián)理論提取出顏色特征N種，即利用上述算法簡(jiǎn)化圖像所需計(jì)算的范圍，也就是將m×n的待測(cè)圖像，使用式(1)～式(5)分行進(jìn)行關(guān)聯(lián)度R0i的計(jì)算，分成N類。然后加入確定好的缺陷特征顏色，構(gòu)成N+1個(gè)參考序列，最后將圖像中的所有像素與N+1種顏色計(jì)算其灰色關(guān)聯(lián)度，取出關(guān)聯(lián)度最大者將其歸為該類，最后判斷歸為缺陷特征的顏色像素點(diǎn)的真?zhèn)?。這樣就可以把缺陷目標(biāo)區(qū)域與正常圖像進(jìn)行本質(zhì)分割，達(dá)到預(yù)期的效果。

3.3 缺陷檢測(cè)算法描述

本系統(tǒng)平臺(tái)所使用的缺陷檢測(cè)算法，是對(duì)缺陷衛(wèi)生陶瓷的開裂、顏色、形狀和尺寸等參數(shù)，利用機(jī)器視覺算法進(jìn)行特征提取，然后進(jìn)行相應(yīng)的計(jì)算識(shí)別，具體步驟如下：

舞蹈作品是由舞蹈動(dòng)作組成舞句再連成舞段再由舞段銜接成一個(gè)舞蹈作品的這樣一個(gè)過程，音樂是由音符組成小節(jié)再連成一句繼續(xù)延伸到一段再銜接成一首曲子的這樣一個(gè)過程，所以音樂與舞蹈的創(chuàng)編過程是相似的，音樂是由單個(gè)的音符、舞蹈是由單個(gè)的動(dòng)作這樣往后繼續(xù)延續(xù)形成的一個(gè)作品，而且都是具有行進(jìn)與推動(dòng)性的，在時(shí)間值上也都具有變化，因此音樂與舞蹈都是具有節(jié)奏的這便是它們的基礎(chǔ)與共性，也因此決定了音樂與舞蹈不可分割的藝術(shù)表演形式。

1）建立衛(wèi)生陶瓷缺陷特征模型，主要包括顏色、形狀和尺寸等幾個(gè)方面，使用基于灰色理論的圖像處理方法，主要根據(jù)衛(wèi)生陶瓷缺陷的顏色特征進(jìn)行檢測(cè)，形狀和尺寸特征作為缺陷判別的輔助手段。

2）采集衛(wèi)生陶瓷圖像，這里使用彩色圖像。

3）對(duì)圖像進(jìn)行常規(guī)處理，這里主要是彩色圖形的濾波處理，為了提高效率濾波算法也使用基于灰色理論的圖像處理方法[14]。

4）對(duì)衛(wèi)生陶瓷圖像按照像素的顏色值進(jìn)行分類，為了便于處理和提高效率，這項(xiàng)操作選在RGB空間進(jìn)行。

5）搜索與缺陷顏色特征隸屬度高的像素[15]，然后通過其形狀和尺寸特征給出最終判斷。

6）為了用戶能夠?qū)θ毕莘奖悴炜?，所以?duì)判斷出的缺陷區(qū)域，按照標(biāo)定算法對(duì)缺陷區(qū)域進(jìn)行標(biāo)定。

3.4 基于Hadoop云平臺(tái)的衛(wèi)生陶瓷缺陷圖像區(qū)分

如圖1所示，mapper( )函數(shù)映射后的圖像數(shù)據(jù)，經(jīng)過灰色關(guān)聯(lián)算法進(jìn)行并行處理運(yùn)算，有缺陷的使用標(biāo)定算法在原圖像進(jìn)行標(biāo)定。然后將處理結(jié)果使用Hadoop自帶的API函數(shù)ImageRecordReader（此函數(shù)繼承于RecordReader類），把輸入的圖像split轉(zhuǎn)化為＜key，value＞對(duì)的形式。在這里經(jīng)過Java語言編程，將有缺陷的value標(biāo)為1，將沒有缺陷的value標(biāo)為0。然后將處理結(jié)果交由用戶自定義的reducer方法進(jìn)行處理，并將結(jié)果傳入預(yù)先指定的Hbase區(qū)域，進(jìn)行數(shù)據(jù)的存儲(chǔ)。最后將檢測(cè)結(jié)果，匯聚到主節(jié)點(diǎn)上，給用戶進(jìn)行反饋輸出。用戶既可以得到檢測(cè)結(jié)果，又可以根據(jù)檢測(cè)結(jié)果找到已測(cè)圖像從而進(jìn)行科學(xué)分析。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證本文提出的方法能夠并行檢測(cè)出衛(wèi)生陶瓷圖像的缺陷，筆者以4幅分辨率640×480的存在缺陷的衛(wèi)生陶瓷圖像為例，進(jìn)行基于Hadoop的MapReduce的分布式并行缺陷檢測(cè)實(shí)驗(yàn)和單機(jī)檢測(cè)實(shí)驗(yàn)，待測(cè)圖像和相應(yīng)處理結(jié)果如圖2和圖3所示。

圖2 Hadoop并行處理前待測(cè)圖像

圖2(a)表示了衛(wèi)生陶瓷正面開裂的缺陷，圖2(b)表示了衛(wèi)生陶瓷垂直面開裂的缺陷，圖2(c)表示了衛(wèi)生陶瓷側(cè)面開裂的圖像，圖2(d)表示了衛(wèi)生陶瓷側(cè)面開裂的情況。通過分析可知，圖2中各圖像的亮度和對(duì)比度有所不同，是因?yàn)樾l(wèi)生陶瓷的立體特性，從而導(dǎo)致工業(yè)相機(jī)在拍攝時(shí)得到的圖像效果不同。如果用傳統(tǒng)的直方圖以及色差處理方法，很容易將沒有缺陷的圖像誤判為有缺陷。由圖3可知，灰色關(guān)聯(lián)算法很好的解決了這個(gè)問題。因?yàn)樾l(wèi)生陶瓷缺陷區(qū)域在衛(wèi)生陶瓷生產(chǎn)過程中由于工藝的原因，占比很小，所以只需在拍攝的區(qū)域進(jìn)行缺陷檢測(cè)，利用灰色關(guān)聯(lián)算法的歸類特性進(jìn)行缺陷檢測(cè)。

表2 單機(jī)和Hadoop平臺(tái)檢測(cè)效率對(duì)比

圖3 Hadoop并行處理后標(biāo)定的結(jié)果

采用傳統(tǒng)的圖像缺陷檢測(cè)大都是單機(jī)運(yùn)算，也就是說一次只能處理一幅待測(cè)圖像，檢測(cè)系統(tǒng)的吞吐率很低。而采用Hadoop平臺(tái)的并行缺陷圖像處理系統(tǒng)，一次能處理多幅圖像，程序的吞吐率得到較大提升。筆者對(duì)比了單機(jī)和Hadoop平臺(tái)的系統(tǒng)圖像檢測(cè)的效率，如表2所示。由表2可知，單機(jī)系統(tǒng)處理這四幅待測(cè)圖像需要0.688秒，Hadoop平臺(tái)處理這四幅待測(cè)圖像需要0.181s。在處理單幅待測(cè)圖像時(shí)單機(jī)系統(tǒng)要比Hadoop平臺(tái)要快0.007s，這是因?yàn)?，Hadoop平臺(tái)在MapReduce執(zhí)行階段要耗費(fèi)一些時(shí)間；在處理4幅待測(cè)圖像的情況下，Hadoop平臺(tái)要比單機(jī)系統(tǒng)快0.507s。經(jīng)過大量實(shí)驗(yàn)，當(dāng)待測(cè)圖像數(shù)量大于4時(shí)甚至達(dá)到海量級(jí)別，基于Hadoop平臺(tái)的檢測(cè)系統(tǒng)就能滿負(fù)荷工作，檢測(cè)效率最高。

5 結(jié)論

本文提出了基于Hadoop平臺(tái)的衛(wèi)生陶瓷缺陷檢測(cè)方案。此方案包括5臺(tái)PC機(jī)，1臺(tái)作為主節(jié)點(diǎn)，4臺(tái)作為從節(jié)點(diǎn)。并部署了Hadoop的MapReduce框架，在Mapper( )映射過程中，用Java編寫了基于灰色關(guān)聯(lián)的衛(wèi)生陶瓷缺陷檢測(cè)系統(tǒng)。該系統(tǒng)能夠?qū)πl(wèi)生陶瓷缺陷圖像進(jìn)行并行檢測(cè)，在滿負(fù)荷工作下，效率大大高于普通單PC機(jī)搭建的檢測(cè)系統(tǒng)。本文為工業(yè)產(chǎn)品的并行機(jī)器視覺檢測(cè)提供了相應(yīng)解決方案，有一定參考價(jià)值。