選繭試驗是桑蠶繭質(zhì)量檢驗的主要試驗之一,同時還是開展切剖、解舒、公量、清潔潔凈等試驗的必要條件。目前選繭試驗均是由試驗人員憑借對相關(guān)標(biāo)準(zhǔn)的理解和經(jīng)驗等進行人工判定,由于人工判定存在受人員技術(shù)水平限制大、人員間水平差異大、人員狀態(tài)波動大等缺點,試驗結(jié)果的準(zhǔn)確性、一致性和穩(wěn)定性受到明顯影響。
機器視覺技術(shù)在諸多行業(yè)中已得到越來越多的應(yīng)用,將機器視覺技術(shù)應(yīng)用到蠶繭質(zhì)量檢驗中,可以克服人工判定的諸多弊端,并大大提高繭絲質(zhì)量檢驗的智能化水平。近年來,國內(nèi)已有學(xué)者在將機器視覺技術(shù)應(yīng)用于繭絲綢行業(yè)方面做了一些研究,比如在織物瑕疵檢測[1]、蠶繭自動計數(shù)[2]、生絲黑板檢測系統(tǒng)[3]、選繭輔助檢驗[4]等方面。這些應(yīng)用的一個共同特點是將數(shù)碼相機、攝像機等作為圖像采集設(shè)備,不僅對應(yīng)用場所有較高要求,在可移動性和便攜性等方面限制也較大。為此,本文擬以智能手機為載體、以無線網(wǎng)絡(luò)為信息傳輸媒介、以MATLAB為程序開發(fā)平臺,研究設(shè)計一套基于智能手機的手持式桑蠶繭選繭試驗裝置。
利用當(dāng)前智能手機高度的普及率、優(yōu)良的便攜性、操作的簡便性和強大的功能性獲取桑蠶繭樣品的圖像信息,通過無線網(wǎng)絡(luò)傳輸方式將采集到的數(shù)字圖像便捷地傳輸至本地計算機或云端,借助計算機強大的運算能力,使用MATLAB軟件對接收到的圖像進行適當(dāng)處理,提取樣品的諸多圖像特征后,依據(jù)GB/T 9111《桑蠶干繭試驗方法》等相關(guān)標(biāo)準(zhǔn)要求自動得出檢驗結(jié)果。
硬件包括手機(華為,KNT-AL20,Android系統(tǒng))、電腦(聯(lián)想啟天 M6500-D756,Windows 7 操作系統(tǒng)),背景板(白色A4紙,中間為邊長78.7mm的正方形區(qū)域)、標(biāo)定物(白色A4紙,中間為邊長78.7mm的正方形區(qū)域,區(qū)域內(nèi)有半徑13.5mm圓形圖案)。軟件包括MATLAB(PC版和Android版)和DroidCamX (PC版和Android版)。
1.3.1 圖像采集
在圖像包含的顏色特征、形狀特征、紋理特征中,根據(jù)GB/T 9111相關(guān)術(shù)語和定義,可將黃斑繭、油繭、異色繭、印頭繭、霉繭、爛繭、繭色等與污斑面積有關(guān)的特征歸為顏色特征,雙宮繭、癟繭、畸形繭、繭形、繭幅度等特征歸為形狀特征,柴印繭、綿繭、縮皺等特征可歸為紋理特征。為有效提取不同樣品的圖像特征,根據(jù)目前國內(nèi)桑蠶繭主要為白色繭的情況,確定在采集樣品顏色特征時使用主要工作區(qū)域為白色的背景板,在采集形狀特征和紋理特征時使用主要工作區(qū)域為黑色的背景板。
1.3.2 圖像處理
使用手機作為圖像采集設(shè)備在帶來極大便捷性和靈活性的同時,每次采集圖像時手機的方位角、仰俯角、翻滾角、物距等均為隨機參數(shù),根據(jù)近大遠小的透視原理,使用手機拍攝的同一樣品在不同參數(shù)下各特征會發(fā)生變化,如圖1所示。因此,為還原樣品的特征,首先需要將采集的圖像進行透視變換以得到樣品的正視圖,本文中進行透視變換的主要方法為:自動確定圖像中背景板中的正方形4個頂點1、2、3、4的坐標(biāo),并規(guī)定與這4個頂點一一對應(yīng)的1’、2’、3’、4’4個頂點的坐標(biāo),根據(jù)透視變換矩陣,將源圖像轉(zhuǎn)換為正視圖,透視變換示意圖見圖2。
圖1 透視現(xiàn)象示意圖
圖2 透視變換示意圖
1.3.3 特征提取
根據(jù)需要提取的桑蠶繭樣品不同圖像特征,經(jīng)透視變換后的圖像需首先經(jīng)過圖像轉(zhuǎn)換、圖像增強、噪聲消除 、形態(tài)學(xué)處理、空間濾波、顏色空間轉(zhuǎn)換等圖像處理方式。
1.3.3.1 顏色特征
需要提取的污斑顏色通常與我國目前白色繭的整體顏色有差異。為有效提取樣品的顏色特征,將透視變換后的圖像轉(zhuǎn)換為HSV顏色空間,并提取飽和度分量。在獲得圖像中污斑部分的像素數(shù)與圖像總像素數(shù)的比值、背景板正方形內(nèi)區(qū)域的物理尺寸后,將二者相乘可得污斑部分的物理尺寸。
1.3.3.2 形狀特征
雙宮繭、癟繭、畸形繭等與上車?yán)O在外部形狀上有明顯差別,通過計算圖像中蠶繭樣品的圓形度、曲率等指標(biāo)后,與正常上車?yán)O的相關(guān)參數(shù)進行比較并判定。繭幅度的測定為通過獲取圖像中每粒蠶繭的最小外接矩形,利用矩形的4個頂點坐標(biāo)計算得出矩形各邊的像素數(shù),再根據(jù)透視變換后圖像的像素數(shù)和物理尺寸可得到蠶繭的繭幅度指標(biāo)。
1.3.3.3 紋理特征
由于熟蠶吐絲順序有前后,先結(jié)成的繭層在干燥后,其里面緊貼的繭層在干燥收縮時會導(dǎo)致已干的外層產(chǎn)生縮皺。蠶繭的縮皺一般以細、齊、淺為好[5],其內(nèi)在質(zhì)量相對較好,而柴印繭的印痕處、綿繭的整體等均與上車?yán)O的縮皺有明顯不同。利用Tamura紋理特征提取方法分別提取粗糙度、對比度和方向度3個分量,通過分析這3個分量的大小進行縮皺粗細程度的判定。
利用上述研究方法,分別對油繭的顏色特征、雙宮繭和繭幅度的形狀特征、平板柴印繭的紋理特征進行試驗,試驗結(jié)果和試驗效果同時顯示在手機屏幕中。試驗結(jié)果見圖3至圖6,試驗效果見圖7至圖10。
圖3 油繭試驗結(jié)果
圖4 雙宮繭試驗結(jié)果
圖5 繭幅度試驗結(jié)果
圖6 柴印繭試驗結(jié)果
圖7 油繭試驗效果
圖8 雙宮繭試驗效果
圖9 繭幅度試驗效果
圖10 柴印繭試驗效果
通過拍攝一組手機處于不同方位角、仰俯角、翻滾角等狀態(tài)下的標(biāo)定物的圖像,再經(jīng)過透視變換、圖像轉(zhuǎn)換與增強、噪聲消除、形態(tài)學(xué)處理、空間濾波和顏色空間轉(zhuǎn)換等方式處理后,根據(jù)對比標(biāo)定物圓形圖案與背景板正方形區(qū)域二者的實際物理尺寸關(guān)系、數(shù)字圖像中像素數(shù)關(guān)系對本文方法進行驗證。
本文中標(biāo)定物面積572.56mm2,背景板工作區(qū)域正方形面積6193.69mm2,標(biāo)定物與背景板工作區(qū)域面積之比為0.0924,方位角、仰俯角、翻滾角等數(shù)據(jù)來源于圖像采集時獲取的手機相關(guān)傳感器數(shù)據(jù)。各驗證圖像的相關(guān)參數(shù)和驗證結(jié)果見表1。
表1 驗證結(jié)果
3.1 本研究中圖像處理后的標(biāo)定物圓形圖案與背景板正方形區(qū)域二者像素數(shù)平均比值為0.0917,與物理尺寸的比值相差為7×10-4,12幅圖像標(biāo)定物與背景板像素數(shù)比值的方差為1.3×10-6。本研究的準(zhǔn)確度較高。
3.2 本研究的使用方法簡單,操作人員無需進行專門培訓(xùn)即可輕松掌握。設(shè)備輕巧靈便,易于隨身攜帶。使用地點靈活,有效解除或降低常規(guī)儀器設(shè)備對使用地點的限制。
3.3 本研究是利用本地計算機強大的計算能力對采集的圖像進行處理,運行效率較高,如果采用連接到MathWorks Cloud的方式則運行速度會受到影響,而且不論采用何種方式,都必須在有無線網(wǎng)絡(luò)覆蓋的范圍內(nèi)才可使用。