国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于OpenMV的水果篩選系統(tǒng)設(shè)計(jì)

2022-01-26 12:19駱紹燁張長(zhǎng)佳蔡榮貴
關(guān)鍵詞:成熟度攝像頭閾值

駱紹燁,張長(zhǎng)佳,周 超,蔡榮貴

(莆田學(xué)院 機(jī)電與信息工程學(xué)院,福建 莆田 351100)

我國(guó)國(guó)土經(jīng)緯跨度大,東南西北所產(chǎn)的水果品種不可枚舉,在水果產(chǎn)品競(jìng)爭(zhēng)愈演愈烈的今天,如何提高水果品質(zhì)、生產(chǎn)效率就尤其重要.而水果篩選分級(jí)是提高水果品質(zhì)的一個(gè)重要環(huán)節(jié).國(guó)內(nèi)目前在水果篩選分級(jí)上還主要依靠人工或借助部分簡(jiǎn)易的篩選裝置完成,由此帶來(lái)了勞動(dòng)量大、生產(chǎn)率低等諸多缺點(diǎn)[1].借助機(jī)器分類方法具有耗時(shí)短、高效率、契合水果品種不容易受損等特點(diǎn),彌補(bǔ)了人工篩選的缺陷,因此研究和開(kāi)發(fā)高效的水果篩選系統(tǒng)十分必要.

計(jì)算機(jī)通過(guò)效仿人眼所看到的圖像場(chǎng)景,在圖像或圖像隊(duì)列中獲取有效信息,對(duì)物理世界的三維景物進(jìn)行形態(tài)與運(yùn)動(dòng)識(shí)別,即計(jì)算機(jī)視覺(jué)[2].隨著計(jì)算機(jī)技術(shù)的提升和新型算法的提出,計(jì)算機(jī)視覺(jué)技術(shù)已開(kāi)始逐漸在包括農(nóng)業(yè)在內(nèi)的各個(gè)領(lǐng)域中得到廣泛應(yīng)用.針對(duì)水果篩選問(wèn)題,本文在OpenMV微型機(jī)器視覺(jué)模塊的基礎(chǔ)上,以PC端為載體,運(yùn)用計(jì)算機(jī)視覺(jué)相關(guān)技術(shù)實(shí)現(xiàn)水果篩選.

1 系統(tǒng)結(jié)構(gòu)設(shè)計(jì)及初始化

1.1 系統(tǒng)硬件結(jié)構(gòu)

基于OpenMV的水果篩選系統(tǒng)主要包括了OpenMV微型機(jī)器視覺(jué)模塊和計(jì)算機(jī)兩部分.OpenMV的核心是STM 32 CPU芯片,并在體積小巧的硬件模塊上集成了OV7725攝像頭芯片,從而使核心機(jī)器視覺(jué)算法能夠高效地實(shí)現(xiàn)[3].OpenMV還提供了基于Python的編程接口,這樣就可以方便使用Python來(lái)進(jìn)行二次開(kāi)發(fā).系統(tǒng)硬件結(jié)構(gòu)設(shè)計(jì)如圖1所示.

圖1 系統(tǒng)硬件結(jié)構(gòu)圖

攝像頭用來(lái)拍攝水果圖像,STM 32 CPU負(fù)責(zé)圖像的預(yù)處理以及機(jī)器識(shí)別過(guò)程,計(jì)算機(jī)則用于OpenMV系統(tǒng)中攝像頭、視覺(jué)模塊的參數(shù)設(shè)置和水果模板的輸入.系統(tǒng)通過(guò)在OpenMV微型機(jī)器視覺(jué)模塊上的攝像頭獲取實(shí)時(shí)圖像,在對(duì)圖像進(jìn)行預(yù)處理后,利用形狀識(shí)別和邊緣檢測(cè)等相關(guān)算法完成目標(biāo)水果識(shí)別與篩選.

1.2 OpenMV參數(shù)設(shè)置

OpenMV運(yùn)用的是小孔成像這一種理想模型,在實(shí)際應(yīng)用時(shí)鏡頭會(huì)存在場(chǎng)曲和畸變等[4],可以通過(guò)在標(biāo)定過(guò)程中引入畸變參數(shù)(sensor)解決.下面是OpenMV攝像頭相關(guān)參數(shù)的設(shè)置代碼.

import sensor #引入感光元件的模塊

# 設(shè)置攝像頭參數(shù)

sensor.reset() #初始化感光元件

sensor.set_pixformat(sensor.RGB565) #設(shè)置攝像頭顏色模式sensor.set_pixformat(sensor.GRAYSCALE) # 設(shè)置為灰度圖模式

sensor.set_framesize(sensor.QVGA) #設(shè)置圖像像素的大小

sensor.set_auto_gain(False) #關(guān)閉自動(dòng)增益

sensor.set_auto_whitebal(False) #關(guān)閉白平衡

sensor.set_windowing(roi) #設(shè)置窗口中的興趣區(qū)

針對(duì)傳統(tǒng)的ATM機(jī)上遮擋人臉檢測(cè)算法時(shí)間復(fù)雜度高與魯棒性差的問(wèn)題,提出了一種快速地遮擋人臉判別方法,通過(guò)訓(xùn)練YOLO人臉檢測(cè)網(wǎng)絡(luò)模型,定位出人臉?biāo)趨^(qū)域,再結(jié)合改進(jìn)的DLIB多角度人臉關(guān)鍵點(diǎn)檢測(cè)算法對(duì)該區(qū)域的人臉進(jìn)行遮擋判別,若為遮擋人臉,則禁止其進(jìn)一步操作。將其運(yùn)用到實(shí)時(shí)場(chǎng)景下ATM機(jī)遮擋人臉判別上,實(shí)驗(yàn)證明該方法達(dá)到了較好的判別效果,與傳統(tǒng)的算法相比,檢測(cè)速度更快,魯棒性更好,具有一定的使用價(jià)值。下一步工作將針對(duì)ATM機(jī)實(shí)時(shí)場(chǎng)景中出現(xiàn)的新問(wèn)題,進(jìn)一步優(yōu)化算法的性能,使其在大量復(fù)雜的樣本中也能表現(xiàn)出較高的判別率。

while(True):

img = sensor.snapshot() #拍攝照片

2 系統(tǒng)功能方案設(shè)計(jì)

基于OpenMV的水果篩選系統(tǒng)主要包括水果類別篩選、水果尺寸篩選和水果成熟度篩選3個(gè)主要功能.這些功能主要依靠對(duì)攝像頭所拍攝的水果圖像分析實(shí)現(xiàn).

2.1 水果類別篩選

水果類別篩選主要通過(guò)模板匹配來(lái)實(shí)現(xiàn).模板匹配就是提前得知一張圖像,然后在一片大區(qū)域中搜索已知圖像的過(guò)程[5].其識(shí)別判別的依據(jù)是找到與同模板有相同的方向、長(zhǎng)短和圖像元素的目標(biāo),通過(guò)編寫好的Python程序在區(qū)域中定位到目標(biāo),并確定其坐標(biāo)位置,最后以某種方式框選出來(lái).前期通過(guò)錄入不同水果的模板圖像,建立一個(gè)模板庫(kù),然后讓OpenMV進(jìn)行模板匹配,從而分辨水果.理論上只要模板庫(kù)足夠大,就可以識(shí)別很多種類的水果.模板匹配流程如圖2所示.

圖2 模板匹配流程圖

這一過(guò)程中最為核心的任務(wù)是建立模板庫(kù).首先需要在幀緩存區(qū)中創(chuàng)建或?qū)胍粋€(gè)指定大小的pgm格式模板.通過(guò)直接從OpenMV里面截取一個(gè)模板圖像,通過(guò)格式轉(zhuǎn)換工具,將png轉(zhuǎn)成pgm格式,保存在OpenMV的SD卡文件夾里面,就形成了模板庫(kù).識(shí)別篩選功能則由OpenMV自動(dòng)完成.

2.2 水果尺寸篩選

利用攝像頭物體測(cè)距的基本原理借助參照物進(jìn)行反推,從而得到水果大小.OpenMV是采用單攝像頭,選取恰當(dāng)?shù)膮⒄瘴?,并依照參照物的?shí)際長(zhǎng)短與成像后的百分比就能夠計(jì)算出物體之間的間距.OpenMV測(cè)距原理如圖3所示.

由圖3可知,L為OpenMV攝像頭到水果的距離尺寸,Apix為整個(gè)畫面的像素值,Bpix為水果在鏡頭中所占的像素,即水果直徑的像素.R是水果真實(shí)的直徑,∠α是視角的一半,∠β是水果半徑視角,H是攝像頭覆蓋的實(shí)際寬度半徑.

圖3 測(cè)距原理圖

(1)

(2)

所以得出以下正切比例公式:

(3)

從右側(cè)現(xiàn)實(shí)環(huán)境里的幾何聯(lián)系可以得到:

(4)

代入上述正切比例公式中,可得水果尺寸計(jì)算公式:

(5)

由L、Apix、tan (β)在系統(tǒng)中均為固定值可知:水果現(xiàn)實(shí)尺寸R與像頭里的像素Bpix成反比,通過(guò)測(cè)量水果成像大小即可計(jì)算出其真實(shí)大小.

2.3 水果成熟度篩選

OpenMV采用Lab顏色模型能夠準(zhǔn)確識(shí)別各種顏色,而顏色是判斷大部分水果是否成熟的主要因素.Lab顏色模型是CIE組織于1931年擬定的用來(lái)衡量顏色的國(guó)際標(biāo)準(zhǔn)[6].其中Lab表示:L(亮度);a(+:紅色,-:綠色);b(+:黃色,-:藍(lán)色),讓圖像顏色顯示接近人類視覺(jué).Lab模型不依賴光線和顏料,在理論上包括了我們眼睛看到并識(shí)別出全部色彩的一種強(qiáng)大模式.它彌補(bǔ)了CMYK和RGB兩種色彩模式的不足,用數(shù)字化方法展示出人眼看到的視覺(jué)感應(yīng).因此可根據(jù)水果的顏色來(lái)判斷水果是否成熟,水果成熟度篩選流程如圖4所示.

圖4 水果成熟度篩選流程圖

在篩選之前首先要設(shè)置顏色的閾值(導(dǎo)入thresholds),thresholds是一個(gè)參數(shù)列表,里面可以包含多個(gè)顏色的參數(shù)設(shè)定.若要識(shí)別多個(gè)顏色,就需要在這個(gè)列表中添加對(duì)應(yīng)的顏色閾值.為了識(shí)別更精準(zhǔn),選擇OpenMV IDE閾值工具進(jìn)行閾值調(diào)試.通過(guò)滑動(dòng)3個(gè)通道的最大值以及最小值,使綠色芒果(未成熟)區(qū)域變成純白,其他地方全黑即可得出綠色的閾值.當(dāng)然,在工業(yè)生產(chǎn)線上,考慮到一些水果需要長(zhǎng)距離運(yùn)輸,完全成熟就會(huì)容易損壞,可以根據(jù)實(shí)際情況去設(shè)置芒果閾值,從而更好地去篩選.

閾值測(cè)試效果如圖5所示.

圖5 閾值測(cè)試效果(芒果)

成熟度閾值設(shè)置好后就可以進(jìn)行水果成熟度篩選.通過(guò)OpenMV的攝像頭模塊拍攝水果照片,對(duì)水果圖片進(jìn)行圖像預(yù)處理.預(yù)處理完成的水果圖像利用之前設(shè)置的顏色閾值進(jìn)行色塊查找識(shí)別,再將獲得的色塊進(jìn)行合并,合并過(guò)程中過(guò)小的色塊將會(huì)被過(guò)濾掉.合并完成后與設(shè)置的色塊面積閾值做比較,如果面積超過(guò)閾值表示該水果達(dá)到了預(yù)設(shè)的成熟度,否則表示未達(dá)到成熟度要求.

3 系統(tǒng)測(cè)試與分析

為了驗(yàn)證系統(tǒng)的水果篩選效果,本文選取芒果、香蕉、沃柑和蘋果4種常見(jiàn)水果進(jìn)行測(cè)試.首先進(jìn)行水果不同模板相似度閾值下的識(shí)出率測(cè)試.每種水果的測(cè)試數(shù)量為100次,統(tǒng)計(jì)能識(shí)別出水果的次數(shù),由此獲得識(shí)出率.測(cè)試結(jié)果如表1所列.

表1 水果在不同相似度閾值下的識(shí)出率

從表1可以看出不同水果由于本身的形狀和顏色差異導(dǎo)致在相同的模板和相同的相似度閾值下識(shí)出率具有一定的差異.沃柑因?yàn)樾螤畋容^規(guī)則,顏色相對(duì)均勻,識(shí)出率相對(duì)較高.香蕉的形狀最為不規(guī)則,在同等條件下的識(shí)出率是最低的,特別是在相似度閾值為0.9時(shí),其識(shí)出率僅有65%.隨著相似度閾值的提高,水果的檢出率呈現(xiàn)下降趨勢(shì).相似度閾值要求越高,對(duì)于水果模板匹配的相似率就越高,水果就越難以被識(shí)別出.但這并不意味著越低的相似率閾值越有利于水果的類別篩選,過(guò)低的閾值將導(dǎo)致大量非水果或其他類別的水果被誤識(shí)別.通常情況下,80%-90%的水果識(shí)出率是比較適宜的,即0.7-0.8的水果模板相似度閾值在水果類別篩選時(shí)具有較好的效果.

為了測(cè)試系統(tǒng)對(duì)水果尺寸測(cè)量的準(zhǔn)確性,選取一種外形相對(duì)規(guī)則的水果(沃柑)作為測(cè)試水果進(jìn)行大小測(cè)試,并與手工多次測(cè)量平均尺寸進(jìn)行對(duì)比.測(cè)試分為6組,為了保證測(cè)量的準(zhǔn)確性,每組測(cè)量次數(shù)為50次.測(cè)試結(jié)果如表2所列.

由表2可知,系統(tǒng)平均測(cè)量值與手工平均測(cè)量值的誤差絕對(duì)值最大為0.14 cm,最小僅為0.01 cm,平均偏差率大部分(5組)低于1.1%,最高為2.12%,兩者的偏差較小,表明系統(tǒng)測(cè)量的準(zhǔn)確性較高.這些偏差主要來(lái)源于水果形狀的不規(guī)則性、測(cè)量位置的不同及系統(tǒng)和手工測(cè)量誤差.

表2 水果(沃柑)尺寸測(cè)量結(jié)果

系統(tǒng)的水果成熟度篩選主要依據(jù)水果的顏色篩選,不同的水果具有不同的顏色篩選閾值,所以水果顏色篩選主要針對(duì)于顏色均勻且成熟前后顏色差異較大的水果.系統(tǒng)選取芒果、香蕉、沃柑和蘋果進(jìn)行成熟度測(cè)試,通過(guò)調(diào)整系統(tǒng)中的閾值編輯器獲得最佳的顏色閾值.水果篩選時(shí)通常是剔除不合格的水果,所以該閾值范圍為不成熟水果的閾值范圍,結(jié)果如表3所列.

表3 水果成熟度篩選閾值范圍

從表3可以看出,各水果L分量的閾值跨度相對(duì)都較大,且主要都在L分量取值范圍(0-100)的中間區(qū)域.L分量是亮度分量,適中的亮度有利于進(jìn)行篩選,不同水果的特異性并不明顯.a分量表示的是紅色到綠色的范圍,而大部分水果未成熟時(shí)以綠色居多,因此該分量的閾值范圍主要在綠色區(qū)域范圍(負(fù)數(shù)).b分量表示的是從黃色到藍(lán)色的范圍,不成熟水果中通常在綠色中還會(huì)摻雜著部分黃色,所以該分量的閾值范圍主要在淺黃色區(qū)域.水果的成熟度篩選與水果本身的顏色密切相關(guān),成熟前后顏色差異大的水果在篩選時(shí)準(zhǔn)確率較高,而一些成熟前后顏色差距較小的水果就難以利用顏色判斷.

4 結(jié)論

本文通過(guò)利用OpenMV微型機(jī)器視覺(jué)模塊結(jié)合計(jì)算機(jī)編程設(shè)置設(shè)計(jì)實(shí)現(xiàn)了一款基于OpenMV的水果篩選系統(tǒng).系統(tǒng)通過(guò)計(jì)算機(jī)預(yù)先輸入水果模板,利用模板匹配來(lái)區(qū)別水果的品種.運(yùn)用物體測(cè)距原理來(lái)測(cè)定圖像中的水果尺寸,以便篩選不合規(guī)格的水果.在Lab色系下,設(shè)置不成熟水果的顏色閾值范圍并提取對(duì)比水果顏色特征來(lái)實(shí)現(xiàn)水果成熟度的篩選.實(shí)驗(yàn)結(jié)果表明,系統(tǒng)具有較高的水果識(shí)出率和尺寸測(cè)量準(zhǔn)確率,并能根據(jù)相應(yīng)的顏色閾值設(shè)定篩選水果成熟度.該設(shè)計(jì)有助于提高水果篩選的智能水平和效率,降低水果篩選成本,具有較好的應(yīng)用前景.

猜你喜歡
成熟度攝像頭閾值
浙江首試公路非現(xiàn)場(chǎng)執(zhí)法新型攝像頭
攝像頭連接器可提供360°視角圖像
產(chǎn)品制造成熟度在型號(hào)批生產(chǎn)風(fēng)險(xiǎn)管理中的應(yīng)用
整機(jī)產(chǎn)品成熟度模型研究與建立
小波閾值去噪在深小孔鉆削聲發(fā)射信號(hào)處理中的應(yīng)用
基于自適應(yīng)閾值和連通域的隧道裂縫提取
不同成熟度野生水茄果實(shí)的種子萌發(fā)差異研究
剛好夠吃6天的香蕉
比值遙感蝕變信息提取及閾值確定(插圖)
室內(nèi)表面平均氡析出率閾值探討