葉　浩，詹國(guó)敏，吳　亮，張華濤，李中偉

(1.華中科技大學(xué) 材料成形與模具技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430000;2.新疆北疆果蔬發(fā)展有限責(zé)任公司，新疆 博樂(lè) 833400)

?

基于圖像分割的葡萄果粒粒徑快速測(cè)量技術(shù)

葉浩1，詹國(guó)敏1，吳亮2，張華濤2，李中偉1

(1.華中科技大學(xué) 材料成形與模具技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430000;2.新疆北疆果蔬發(fā)展有限責(zé)任公司，新疆 博樂(lè) 833400)

隨著我國(guó)現(xiàn)代農(nóng)業(yè)的發(fā)展，對(duì)農(nóng)產(chǎn)品檢測(cè)技術(shù)的要求越來(lái)越高。在葡萄采收分類過(guò)程中，葡萄果粒粒徑大小是影響葡萄果品質(zhì)量等級(jí)的重要因素。通過(guò)采用視覺(jué)測(cè)量方法，利用工業(yè)相機(jī)采集成穗葡萄樣品圖像，結(jié)合圖像分割技術(shù)和圖形擬合技術(shù)處理樣品圖片，獲得葡萄果粒的尺寸信息，從而實(shí)現(xiàn)葡萄果粒粒徑的自動(dòng)等級(jí)分類。該方法與人工檢測(cè)相比，具有檢測(cè)效率高、檢測(cè)穩(wěn)定性好和檢測(cè)客觀性強(qiáng)等優(yōu)勢(shì)。

圖形擬合；圖像分割；視覺(jué)測(cè)量

目前，國(guó)內(nèi)市場(chǎng)上對(duì)各類單體水果的分級(jí)技術(shù)較為成熟，但對(duì)成穗葡萄的分級(jí)技術(shù)一直沒(méi)有取得突破，其分級(jí)技術(shù)在國(guó)內(nèi)相關(guān)領(lǐng)域尚屬空白。對(duì)于葡萄外觀分級(jí)技術(shù)研發(fā)和分級(jí)標(biāo)準(zhǔn)制定，我國(guó)都落后于歐美等發(fā)達(dá)國(guó)家，這導(dǎo)致我國(guó)在葡萄采購(gòu)時(shí)不能做到優(yōu)質(zhì)優(yōu)價(jià)，阻礙了葡萄商品質(zhì)的提高，制約了整個(gè)葡萄產(chǎn)業(yè)的可持續(xù)發(fā)展和相關(guān)產(chǎn)業(yè)的轉(zhuǎn)型升級(jí)。開(kāi)發(fā)符合我國(guó)國(guó)情,快速、準(zhǔn)確和可靠性強(qiáng)的葡萄分級(jí)智能裝置及系統(tǒng)已迫在眉睫[1]。

通過(guò)對(duì)我國(guó)葡萄主產(chǎn)區(qū)新疆等地調(diào)研可知，目前我國(guó)葡萄等級(jí)分類主要依靠人工檢測(cè)完成。檢測(cè)效率低，檢測(cè)穩(wěn)定性差，檢測(cè)質(zhì)量難以保證。本文采用視覺(jué)測(cè)量方法，利用基于ELSD算法的圖形分割技術(shù)，成功實(shí)現(xiàn)對(duì)葡萄果粒的分割，將分割后的圖像數(shù)據(jù)進(jìn)行圖像擬合，以獲取葡萄果粒粒徑的像素長(zhǎng)度，最后通過(guò)像素尺寸轉(zhuǎn)換到實(shí)際尺寸計(jì)算出所需的分類參數(shù)信息，實(shí)現(xiàn)對(duì)成穗葡萄等級(jí)的自動(dòng)分類檢測(cè)。

1　葡萄果粒粒徑檢測(cè)原理

1.1圖像分割

圖像分割是圖像處理領(lǐng)域中的關(guān)鍵問(wèn)題之一[2-3]，本文檢測(cè)的對(duì)象是成穗的葡萄，檢測(cè)對(duì)象形狀不規(guī)則，并且葡萄果粒間色澤差別小、相互重疊，這些特點(diǎn)使得利用傳統(tǒng)圖像分割方法難以正確提取葡萄果粒的輪廓，為圖像分割帶來(lái)了很大挑戰(zhàn)。為此，本文采用基于ELSD(Ellipse and Line Segment Detector)圖像的分割算法[4]，即橢圓和線段檢測(cè)器?？傮w步驟包括搜索候選對(duì)象和驗(yàn)證候選對(duì)象。

1.1.1搜索候選對(duì)象

圖像中葡萄果粒邊緣與其他區(qū)域的灰度值存在一定差異，利用該差異能提取出葡萄果粒邊緣。本文采用的算法是將葡萄果粒邊緣細(xì)分成若干個(gè)長(zhǎng)度較小的線段，然后對(duì)線段進(jìn)行拼合，組成更長(zhǎng)的直線段或圓弧。

在選取直線段的過(guò)程中，使用搜索方式來(lái)尋找候選對(duì)象。例如，該算法從一個(gè)種子像素開(kāi)始向四周搜索，通過(guò)迭代過(guò)程將具有相同梯度方向的像素點(diǎn)連接聚集起來(lái)，形成一個(gè)矩形像素區(qū)[5](圖見(jiàn)1)。

圖1　直線段選取

基于對(duì)直線段搜索的結(jié)果，該算法以直線段的2個(gè)端點(diǎn)作為種子像素點(diǎn)，交替進(jìn)行像素區(qū)域生長(zhǎng)和像素區(qū)域連接過(guò)程，以獲取圓弧對(duì)象。在像素區(qū)域生長(zhǎng)過(guò)程中，像素梯度相同的像素點(diǎn)將聚集到一起；在像素區(qū)域連接過(guò)程中，相鄰的像素區(qū)域?qū)?shí)現(xiàn)拼接。通過(guò)圓弧段的連續(xù)性和凸面性等約束條件，得到符合應(yīng)用場(chǎng)景的圓弧對(duì)象(見(jiàn)圖2)。

圖2　弧線段的選取

1.1.2驗(yàn)證候選對(duì)象

對(duì)于直線段對(duì)象，利用直線段法線方向與像素梯度方向的夾角作為驗(yàn)證參數(shù)；對(duì)于圓弧段對(duì)象，利用圓弧上某點(diǎn)外法線方向與該點(diǎn)像素梯度方向間的夾角作為驗(yàn)證參數(shù)，滿足式1或式2為有效對(duì)象。

Angle(▽x(p),dir⊥(s))≤σπ

(1)

Angle(▽x(p),dir⊥(tan(p)))≤σπ

(2)

式中，▽x(p)是圖像x中像素點(diǎn)p的梯度方向；dir⊥是直線段s的法線方向；σ是精度要求；dir⊥(tana(p))是圓弧上p點(diǎn)的法線方向。式1和式2的幾何模型分別如圖3a和圖3b所示。

圖3　對(duì)象模型

對(duì)于離散性較高的像素點(diǎn)難以通過(guò)搜索對(duì)象提取，若將這類像素點(diǎn)忽略，會(huì)帶來(lái)較大的測(cè)量誤差。該算法利用Desolneux等[6]根據(jù)不相容原理推導(dǎo)出的模型，對(duì)離散的像素點(diǎn)進(jìn)行處理。利用該模型可以推導(dǎo)出誤差函數(shù)NFA(Number of Fault Alarm)。直線段、圓弧和橢圓弧對(duì)象的表達(dá)式如下：

(3)

NAFcircle=(mn)3B(l,k,σ)≤1

(4)

NAFellipes=(mn)4B(l,k,σ)≤1

(5)

若離散性較高的像素點(diǎn)集滿足上述某個(gè)表達(dá)式，則該點(diǎn)集所構(gòu)成的形狀具有相應(yīng)幾何外形，其幾何模型如圖4所示。

圖4　幾何模型

利用不相容模型對(duì)驗(yàn)證有效的對(duì)象進(jìn)行模型匹配，即為有效對(duì)象匹配一個(gè)最符合其特征的幾何模型，并計(jì)算相應(yīng)的幾何參數(shù)。該算法有3種幾何模型，分別是直線段、圓弧和橢圓弧。最終計(jì)算得到一系列的直線段、圓弧和橢圓弧[7]。

1.2圖像擬合

對(duì)該算法處理后的數(shù)據(jù)進(jìn)行過(guò)濾處理，濾除葡萄根莖和懸掛葡萄裝置等輪廓的幾何信息，消除該類垃圾數(shù)據(jù)對(duì)分級(jí)結(jié)果的干擾。本文通過(guò)設(shè)置一系列過(guò)濾參數(shù)(如弧的軸長(zhǎng)、圓弧角度)，達(dá)到良好的過(guò)濾效果。

在圖像分割過(guò)程中，葡萄果粒輪廓被分成多個(gè)圓弧段，給葡萄果粒幾何尺寸的提取造成了困難。圓弧長(zhǎng)度與葡萄果粒真實(shí)形態(tài)成正相關(guān)，圓弧中心點(diǎn)間距與圓弧的同源性成反相關(guān)。本文通過(guò)設(shè)置一系列聚類參數(shù)(如圓弧中心點(diǎn)間距、圓弧長(zhǎng)度)，提取出與葡萄果粒幾何形狀相似度最高的圓弧，并濾除其他圓弧。

利用提取出的圓弧擬合出橢圓，再提取橢圓的短軸獲取葡萄果粒分類參數(shù)，并將擬合出的橢圓顯示在檢測(cè)窗口中，實(shí)現(xiàn)檢測(cè)過(guò)程可視化，以保證檢測(cè)過(guò)程公正性。

1.3距離轉(zhuǎn)換

圖像擬合出的分類參數(shù)是像素尺度上的，并非葡萄果粒實(shí)際尺寸。葡萄分類檢測(cè)過(guò)程中采用的是葡萄果粒實(shí)際尺寸，因此要將圖像擬合出的分類參數(shù)轉(zhuǎn)化為實(shí)際尺寸，為葡萄果粒分類提供有效的分類依據(jù)[8]。

本文介紹的分類技術(shù)是利用工業(yè)相機(jī)作為圖像采集模塊的輸入設(shè)備，其采用的基本原理是小孔成像(見(jiàn)圖5)。

圖5　成像原理圖

如圖5所示，光路通過(guò)相機(jī)鏡頭照射在相機(jī)感光芯片上，根據(jù)相機(jī)相關(guān)參數(shù)計(jì)算出每個(gè)像素所對(duì)應(yīng)的距離，將橢圓擬合出的葡萄果粒像素尺寸轉(zhuǎn)化為成像平面上的實(shí)際尺寸。根據(jù)小孔成像原理，通過(guò)像素尺寸與實(shí)際尺寸間的關(guān)系得到分級(jí)參數(shù)的實(shí)際尺寸，其數(shù)學(xué)表達(dá)式如下：

(6)

式中，dp是像素尺寸；μ是單位像素尺寸；s是測(cè)量系統(tǒng)物距；f是測(cè)量系統(tǒng)焦距；da是所測(cè)葡萄果粒實(shí)際尺寸。

2　試驗(yàn)驗(yàn)證

2.1硬件和軟件平臺(tái)

為驗(yàn)證所提出檢測(cè)葡萄果粒粒徑的方法，設(shè)計(jì)了硬件和軟件平臺(tái)，以保證驗(yàn)證試驗(yàn)順利地實(shí)施。

2.1.1硬件平臺(tái)

本文采用鋁合金型材作為整個(gè)試驗(yàn)裝置的骨架，各根型材間通過(guò)螺栓聯(lián)接，以方便裝卸。檢測(cè)裝置為長(zhǎng)方體，在檢測(cè)裝置兩端搭載工業(yè)相機(jī)和檢測(cè)光源。裝置中部布置了3個(gè)光源，以保障檢測(cè)時(shí)裝置中良好的光照環(huán)境。裝置頂部裝有滑桿，滑桿上裝有吊鉤，以便于懸掛測(cè)試葡萄，調(diào)節(jié)測(cè)試系統(tǒng)物距。裝置四周裝有反光板，為檢測(cè)過(guò)程創(chuàng)造相對(duì)封閉的環(huán)境，避免環(huán)境光的影響。試驗(yàn)裝置示意圖如圖6所示。

圖6　檢測(cè)裝置示意圖

2.1.2軟件平臺(tái)

本文基于QT平臺(tái)搭建軟件交互界面，利用C++編程語(yǔ)言來(lái)完成整個(gè)軟件編寫(xiě)。整個(gè)軟件界面由菜單欄、工具欄和多個(gè)子窗口構(gòu)成，其中包括顯示圖片的4個(gè)子窗口，分別顯示原始圖片、過(guò)濾處理后的圖片、聚類處理后的圖片和最終的檢測(cè)結(jié)果。圖片顯示窗口的右邊是參數(shù)設(shè)置窗口和檢測(cè)結(jié)果顯示窗口，檢測(cè)人員能在此設(shè)置各類檢測(cè)參數(shù)，查看檢測(cè)結(jié)果。各功能窗口如圖7中矩形框所示。

圖7　軟件界面圖

2.2驗(yàn)證結(jié)果與分析

對(duì)測(cè)試的葡萄樣品分別利用人工測(cè)試方法和本文論述的方法進(jìn)行測(cè)試，分析果粒識(shí)別和粒徑提取情況，測(cè)試葡萄原始圖片與最終檢測(cè)圖片分別如圖8a和圖8b所示，其中，圖8b中的十字為擬合圖形圓心，矩形框標(biāo)記了測(cè)量誤差。葡萄果粒檢測(cè)分級(jí)結(jié)果見(jiàn)表1。 與人工檢測(cè)對(duì)比的檢測(cè)誤差圖如圖9所示。

圖8　檢測(cè)效果

序號(hào)直徑/mm人工檢測(cè)系統(tǒng)檢測(cè)誤差是否提取127.6127.47-0.14是225.5825.42-0.16是327.9229.061.14是428.1428.370.23是528.4928.650.16是626.7027.971.27是724.5023.86-0.64是825.3725.930.56是929.4830.150.67是1024.9124.72-0.20是1128.9529.130.17是1227.2326.30-0.93是1329.9829.06-0.92是1424.4724.550.08是1526.6627.230.58是1624.6424.710.07是1729.7729.24-0.53是1824.0324.180.15是1928.6528.58-0.07是2028.9027.36-1.55是2129.2128.86-0.35是2224.5123.07-1.44是2326.4027.070.67是2425.5624.85-0.71是2528.8028.880.08是2626.5926.15-0.44是平均值(絕對(duì))27.0427.030.53最大值1.55顆粒準(zhǔn)確率100%分級(jí)準(zhǔn)確一級(jí)一級(jí)是

圖9　葡萄果粒檢測(cè)誤差圖

由表1和圖9可以看出，采用本文所論述的葡萄果粒分級(jí)系統(tǒng)檢測(cè)穗狀葡萄精確度好、效率高。其中，顆粒提取成功率為100%，尺寸檢測(cè)平均絕對(duì)誤差為0.53 mm，最大誤差為1.55 mm，分級(jí)準(zhǔn)確。

分析誤差較大的顆粒，發(fā)現(xiàn)錯(cuò)誤主要集中在弧度比較短，葡萄顆粒及背景和葡萄顆粒間邊緣灰度值差距不明顯、梯度小的區(qū)域(如圖8中矩形框所示)?？梢酝ㄟ^(guò)重新設(shè)置弧度最短過(guò)濾閾值和改變光源布設(shè)方法來(lái)進(jìn)行改進(jìn)。

3　結(jié)語(yǔ)

本文論述了基于機(jī)器視覺(jué)的葡萄等級(jí)自動(dòng)分級(jí)系統(tǒng)，該系統(tǒng)檢測(cè)精度好，效率高，質(zhì)量穩(wěn)定，解決了傳統(tǒng)人工檢測(cè)過(guò)程中檢測(cè)效率低和檢測(cè)精度差等問(wèn)題。與國(guó)外類似檢測(cè)設(shè)備相比，該檢測(cè)系統(tǒng)生產(chǎn)成本低，易于在我國(guó)推廣，有利于促進(jìn)葡萄行業(yè)的健康快速發(fā)展。

[1] Brosnan T, Sun D W. Inspection and grading of agricultural and food products by computer vision systems-a review[J].Comp and Electr in Agr,2002,36:193.

[2] Gonzalez R C，Woods R E. 數(shù)字圖像處理[M]. 阮秋琦,阮字智,譯.2版.北京：電子工業(yè)出版社，2011.

[3] 孫希婕，胡威偉.基于均值漂移的紅外艦船圖像分割算法[J].新技術(shù)新工藝，2014(5)：16-18.

[4] Pǎtrǎuccan V, Gurdjos P, von Gioi R G. A parameterless line segment and elliptical arc detector with enhanced ellipse fitting[C]//Proceeding of the 12th European Conforence on Computer Vision.2012,2:572-585.

[5] Rafael Grompone von Gioi, Jérémie Jakubowicz, Jean-Michel Morel, et al. LSD: A fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2010,32(4):4.

[6] Desolneux A， Moisan L， Morel J M. From gestalt theory to image analysis: A probabilistic approach[M].Berlin: Springer, 2008.

[7] Duda R O, Hart P E, Stork D G. Pattern classification [M]. 2nd.edition. New York:John Wiley & Sons, 2001.

[8] 張廣軍.機(jī)器視覺(jué)[M].北京:科學(xué)出版社,2005.

責(zé)任編輯馬彤

Rapid Measuring Technology for the Size of Grape based on Image Segmentation

YE Hao1， ZHAN Guomin1, WU Liang2, ZHANG Huatao2, LI Zhongwei1

(1.Huazhong University of Science and Technology State Key Laboratory of Processing and Die & Mould Technology,Wuhan 430000, China;2.Xinjiang Beijiang Fruit and Vegetable Industry Development Co., Ltd., Bole 833400, China)

With the booming development of modern agriculture, there is more of a requirement to the agricultural products. During the picking process, the size of the grape is the crucial factor for the grape quality. Through the vision measuring technology, this rapid measuring technique applies industries camera adopt image of grape to test, combining image segmentation and fitting technology to process the picture, for getting the size of grape to achieve grape classifying. Compared with the traditional way, this method gets many advantages, such as high efficiency, high stability, and high quality.

image fitting, image segmentation, vision measurement

TN 202

A

葉浩 (1991-)，男，碩士研究生，主要從事三維測(cè)量等方面的研究。

2016-01-08