朱書德 李少波 王錚 楊靜 董豪 段仲靜 王軍
摘 要:針對單一角度采集的圖像檢測樣本存在的高誤檢率、錯誤率等問題,文章提出一種特殊的打光方案及相機安裝方案,實現(xiàn)對膠囊360°全方位的缺陷檢測,利用彩色相機填補了膠囊異色點、黑點,印字、小切口以及混批等缺陷不能檢測的空白。在膠囊有序傳送的前提下,提出“隔組間排”原理,以更多時間和空間使電磁鐵伸縮桿完成踢廢動作,平衡“傳送效率”“檢測效率”“踢廢效率”三者之間的矛盾,提高設(shè)備的處理能力,實現(xiàn)膠囊的缺陷檢測。
關(guān)鍵詞:機器視覺;膠囊缺陷;檢測裝置
中圖分類號:TH132
文獻標(biāo)識碼: A
以膠囊形式生產(chǎn)的藥品和保健品,在人們生活中伴有重要的角色[1]。為避免不合格的膠囊流向市場,對膠囊生產(chǎn)線上的缺陷進行檢測與分類具有重要意義。傳統(tǒng)人工分揀具有主觀性強、成本高和易產(chǎn)生視覺疲勞的缺點,已不能滿足市場對膠囊在線檢測的需求。因此,膠囊檢測過程中,如何高效率、高精度、高速度地對膠囊圖像進行采集,逐漸成為膠囊生產(chǎn)企業(yè)的首要任務(wù)。
在膠囊缺陷檢測裝置的前期研究中,文獻[2]提出機器視覺是目前膠囊缺陷檢測的主流技術(shù)。其中,通過鏡面成像原理、觸發(fā)琉璃板、機械變焦原理、霍夫圓變換、分模塊理論設(shè)計、可見/紅外光譜理論、微波諧振振腔微擾法是目前獲取膠囊表面缺陷圖像的常見方式[3-11]。主要利用頻譜分析、模板匹配技術(shù)、位置傳感器、貝葉斯分類器、回路電流階躍理論、輪廓跟蹤算法和擁堵缺陷檢測算法實現(xiàn)膠囊表面缺陷特征的提取、識別和定位。但功能單一,實時性差[12-22]。
綜上,在膠囊圖像精準(zhǔn)識別領(lǐng)域,針對圖像背景、噪聲等對膠囊識別率的影響,通過過濾背景噪聲、利用聚類特征加快目標(biāo)的檢測速度和準(zhǔn)確率是目前的主流檢測裝置,所關(guān)注的也主要集中在設(shè)備對產(chǎn)品有無缺陷和具有什么樣的缺陷的內(nèi)容功能上,對產(chǎn)品排列、缺陷定位、三維檢測、產(chǎn)品分類、踢廢等裝置的研究較少?;诖?,論文提出一種特殊的光照條件及相機安裝方式,實現(xiàn)對膠囊360°全方位的缺陷檢測方案。同時,利用彩色相機填補了膠囊異色點、黑點,印字、小切口以及混批等缺陷不能檢測的空白。在膠囊傳送中,提出“隔組間排”原理,以更多時間使電磁鐵伸縮桿完成踢廢動作,平衡了“傳送效率”“檢測效率”“踢廢效率”三者之間的矛盾,以期為缺陷檢測、產(chǎn)品質(zhì)量追溯、產(chǎn)品分揀以及故障診斷提供借鑒和參考。
1 檢測裝置組成及工作原理
基于機器視覺的膠囊缺陷檢測裝置,其硬件部分主要包括供料裝置、排序裝置、傳送與觸發(fā)裝置和圖像采集裝置。其中圖像采集裝置主要由工業(yè)相機、鏡頭、光源組成[23]。本文立足檢測需求,設(shè)計了一種基于機器視覺的膠囊缺陷檢測結(jié)構(gòu)。如圖1所示,為凸顯結(jié)構(gòu)功能,將虛線上方進行剖視,其中供料裝置通過振動器震動,將膠囊傳送到排序裝置后,利用直流電機同時驅(qū)動排序機構(gòu)與傳送裝置工作,保證膠囊能相對固定地有序傳送到圖像采集裝置,利用傳送帶末端對射型光電傳感器發(fā)出脈
沖信號,觸發(fā)相機1對膠囊端面圖像進行拍攝。接著利用膠囊與傳送底板的滾動摩擦,相機2實現(xiàn)膠囊柱面360°的全方位拍攝。添設(shè)復(fù)采相機3,保證膠囊缺陷無死角拍攝。最后通過彩色相機4對顏色類缺陷進行分揀,經(jīng)過計算機相應(yīng)的圖像處理單元進行處理,通過串口命令踢除裝置——電磁鐵伸縮桿對不合格的膠囊進行分揀。
本文主要從膠囊缺陷檢測裝置的供料排序裝置、傳送觸發(fā)裝置、圖像采集裝置、光源供給裝置的設(shè)計進行分析。
2 供料排序裝置設(shè)計
傳統(tǒng)的供料方式有隨機供料和有序供料兩大類型。雖然隨機供料可以適合各種規(guī)格的藥品,且傳送效率高,機械結(jié)構(gòu)簡單,但由于膠囊本身的結(jié)構(gòu)特點,因無法固定而在傳送主體上堆積和隨機滾動,對后續(xù)圖像采集和計算機圖像處理能力提出了更高的要求,同時也提高了踢廢機構(gòu)執(zhí)行動作的難度。因此本文采用有序供料的方式[24]。
利用直流電機同時帶動膠囊傳送主體和排序機構(gòu)(圖2)工作,使膠囊能經(jīng)過排序機構(gòu)有序地落在傳送裝置對應(yīng)的膠囊槽中。
3 傳送觸發(fā)裝置設(shè)計
待檢膠囊經(jīng)過供料、排序裝置規(guī)則整齊地由傳送裝置送到圖像采集中心獲取圖像信息后,發(fā)送給計算機軟件進行分析處理,通過串行接口控制踢廢機構(gòu)對缺陷膠囊進行分揀,其余正常膠囊進一步傳送到成品箱。因此,傳送裝置的優(yōu)劣對膠囊缺陷檢測系統(tǒng)能否實現(xiàn)自動化起到舉足輕重的作用。
由于常規(guī)傳送帶和鏈板的不透明性,使采集到的膠囊邊緣出現(xiàn)陰影暗區(qū),為后續(xù)計算機的處理能力提出了更高的要求。通過查閱資料, PU傳送帶剛好滿足這一要求,其不但具有普通傳送帶輕、薄、韌及曲繞性好的特點,而且抗拉強度高,重要的是無毒、衛(wèi)生,不產(chǎn)生二次污染。如圖3所示,考慮到膠囊供料排序裝置、光源供給裝置、圖像采集裝置、踢廢裝置以及成品收集箱的區(qū)域分布,設(shè)計出以PU傳送帶為主體的傳送裝置,其中為防止PU傳送帶左右移動,加裝1個糾偏輪。
3.1 傳送裝置的設(shè)計
為能定向360°全方位地獲取膠囊圖像信息,實現(xiàn)定向無誤地對缺陷膠囊進行剔除,本文對傳送主體——PU傳送帶進行系列優(yōu)化設(shè)計。
傳送裝置主要由PU傳送帶、嵌有光源的底板、直流電機組成。為實現(xiàn)膠囊360°全方位的拍攝需求,充分利用膠囊易滾動的特點,在傳送帶上加工一系列的膠囊槽,依靠其與底板的滾動摩擦向前運動,同時膠囊在傳送過程中的位置也得到相對固定。但膠囊會與槽邊框接觸甚至全部貼合,從而讓膠囊與邊框之間的摩擦力與底面之間的摩擦力形成合力效應(yīng),減弱甚至抵消其有利的滾動摩擦力,導(dǎo)致膠囊無法滾動,相機也就無法獲取完整的膠囊表面圖像。本文提出一種如圖4所示的形狀優(yōu)化槽邊框,即在槽兩側(cè)邊框均加工出兩個凸起的小山堡,同時在槽上下兩端均加工出1個方形的凹槽。該優(yōu)化方案很大程度地減少或消除因膠囊與槽邊框接觸產(chǎn)生的“點連接”和“線連接”,輕松實現(xiàn)膠囊圖像提取過程中膠囊圖像和其背景的分離,降低了后續(xù)圖像處理的復(fù)雜度。
為便于對圖像中膠囊所處區(qū)域進行定位,我們讓膠囊每滾動1個槽的位置,相機采集1次圖像。同時膠囊槽之間的距離決定了膠囊每次滾動的角度,也決定了相機在其視場內(nèi)拍攝的次數(shù),最終歸結(jié)到相機能否獲取到完整的膠囊表面圖像。雖然滾動方式對膠囊端面拍攝沒有任何影響,可以采用特殊的照明方式和檢測方法實現(xiàn)膠囊360°全方位檢測,但膠囊柱面圖像拍攝則需要其柱面完全展開。為此,根據(jù)膠囊360°拍攝的需求,以及每個膠囊的圖像采集次數(shù)與膠囊轉(zhuǎn)動的角度關(guān)系,合理計算PU傳送帶上相鄰兩個膠囊槽的中心距離,就特別重要。
根據(jù)膠囊每轉(zhuǎn)動角度α?xí)r,所對應(yīng)膠囊槽的中心距離s滿足以下關(guān)系:
s=αc360=απd360。 (1)
本文以同濟堂“仙靈骨葆”膠囊為例進行介紹,其外徑d=7.8 mm,若分3次采集圖像,理論上膠囊每次滾動120°,根據(jù)式(1)計算出膠囊滾動距離約為8.16 mm??鄢齼蓚€半徑后,間距為0.36 mm。現(xiàn)實工業(yè)生產(chǎn)中,無法實現(xiàn)該條件。因此本系統(tǒng)只能考慮兩次采集的情況,確定膠囊槽中心距離。根據(jù)膠囊滾動180°需求,可根據(jù)式(1)計算出膠囊滾動距離:
s=180×π×7.8360=12.25 mm。
扣除兩個半徑后,膠囊的間距為4.45 mm。滿足工業(yè)加工需求。
3.2 傳送裝置的隔組間排方法
為平衡系統(tǒng)“傳輸效率”“檢測效率”“踢廢效率”之間的矛盾關(guān)系,提高設(shè)備的處理能力,本文提出1種“隔組間排”方法。機器視覺檢測系統(tǒng)實現(xiàn)膠囊缺陷檢測時,相機每次采集和計算機處理圖像的時間是一定的,每次處理1個膠囊和同時處理幾個膠囊的時間也并非線性增加。正因為這樣,充分利用相機視場優(yōu)勢,將膠囊以“分組”的形式進行拍攝處理,節(jié)省了單個膠囊拍攝、傳輸和處理時間??紤]到踢除機構(gòu)為電磁鐵伸縮桿接觸式剔除,需要足夠的反應(yīng)時間,將膠囊縱向以“間排”方式進行拍攝處理,使組內(nèi)和組間膠囊間隔排布,提高其綜合效率。原理如圖5。
3.3 觸發(fā)裝置
根據(jù)要求:直流電機帶動PU傳送帶工作,使膠囊每移動1個槽的位置時,相機完成1次圖像拍攝。
我們利用同軸角速度相同原理,在直流電機轉(zhuǎn)軸上加裝1個特制的齒盤,使傳送帶每移動1個槽距時,齒盤跟隨轉(zhuǎn)動1個齒。并在齒盤兩端設(shè)置型號為TP808的對射式光電傳感器,利用其產(chǎn)生的脈沖信號,使處于外觸發(fā)模式的相機拍攝1次膠囊圖像。因此,傳送帶無論在什么速度下運行,都能讓相機的圖像拍攝頻率和PU傳送帶速度同步。圖6為TELESKY品牌下TP808對射型傳感器。
即將特制的齒盤放在該對射型光電傳感器中間,當(dāng)齒盤遮擋發(fā)射器發(fā)出的光線時,表示膠囊正在傳送過程中,不發(fā)出信號;當(dāng)待檢膠囊到達下1個槽位置時,此時發(fā)射器光線剛好通過齒間間隙,進而向相機觸發(fā)信號,完成1次圖像拍攝。
4 圖像采集裝置設(shè)計
圖像采集裝置是搭建機器視覺檢測系統(tǒng)的重要部分,主要包括相機的選型與安裝方式。為得到較為直觀的圖像以及二維信息,立足于成像效果,結(jié)合圖像的明銳度、通透性、色彩還原以及抗干擾能力,我們選擇面陣型CCD成像元件,同時也容易實現(xiàn)膠囊的定位和剔除。考慮到相機性能的重要性,從分辨率、快門速度、幀頻、鏡頭進行分析。
4.1 分辨率
工業(yè)相機作為圖像采集裝置的核心部件,實際所需的分辨率并不需要很高。但分辨率太小,檢測精度也達不到實際的要求,甚至出現(xiàn)誤判和漏檢[22]。為兼顧膠囊滾動不完全而產(chǎn)生的圖像采集不完整現(xiàn)象,借用人工復(fù)檢的經(jīng)驗,添加復(fù)采相機,將每個膠囊的圖像采集次數(shù)由2次增加到4次,保證膠囊表面360°完全展開。根據(jù)膠囊槽中心距離,相機所需的視場大小50 mm×40 mm。可通過以下公式計算相機實際所需的分辨率:
故相機2和相機3分辨率可選640 mm×480 mm左右。由于相機1和相機4都只需要其視野出現(xiàn)2個膠囊,即視野都是25 mm×40 mm,所以相機1、4分辨率可選640 mm×480 mm左右。
4.2 快門速度
快門速度越高,對運動物體反應(yīng)越靈敏,越容易捕捉運動速度快的物體;快門速度太低,會導(dǎo)致捕捉的物體圖像產(chǎn)生拖影現(xiàn)象,從而加大了計算機的圖像處理難度。通常情況下,相機快門時間內(nèi),目標(biāo)移動的距離超過1.5個像素就會產(chǎn)生拖影,即不產(chǎn)生拖影就必須使t滿足以下關(guān)系:
4.3 幀頻
將系統(tǒng)檢測速度設(shè)為12萬顆/h,由此相機需要在30 fps左右穩(wěn)定運行。但通過實際實驗發(fā)現(xiàn),30 fps的相機在外觸發(fā)的模式下,當(dāng)相機接近最大速度時,圖像采集會出現(xiàn)閃爍現(xiàn)象,極不穩(wěn)定。因此需要選擇高于30 fps的相機。
綜合以上因素,相機1、2、3選擇映美精DMK 21AF04,相機4選擇MV-GED31,不僅能滿足穩(wěn)定性,且在價格方面也有較大的優(yōu)勢。
4.4 鏡頭
為使目標(biāo)能在圖像傳感器上成像,必須利用鏡頭將光進行轉(zhuǎn)換。影響圖像質(zhì)量形成的因素主要為鏡頭焦距。焦距越短視場越大,即能夠拍攝的范圍也越大。因此在選擇鏡頭時,應(yīng)該充分考慮工作距離與視場之間的關(guān)系。相機捕獲完整的目標(biāo)圖像,應(yīng)滿足以下公式:
4.5 相機安裝方式
一般都將相機安裝在待測膠囊正上方[6]。但待檢膠囊邊緣區(qū)域會成為相機的盲區(qū)。若該盲區(qū)存在缺陷,是無法體現(xiàn)在圖像上的,勢必會造成膠囊缺陷的漏檢。因此將相機2、3安裝在2個待測膠囊間隙的正上方,可以消除視野盲區(qū)的影響。如圖7所示。
5 光源設(shè)計
光源是相機采集環(huán)節(jié)的首要部件之一,采集的圖像質(zhì)量受其影響很大,進而影響到系統(tǒng)的性能[25]。選擇優(yōu)質(zhì)的光源不僅可以突出目標(biāo)特征,同時也可以減少甚至抑制和消除無關(guān)的部分,對降低后續(xù)計算機圖像處理算法的復(fù)雜度,提高檢測精度來說至關(guān)重要。
膠囊缺陷類別很多(表1),針對不同缺陷的空間結(jié)構(gòu)以及黑白相機、彩色相機中的圖像差別,以往單一的光源照射已經(jīng)無法滿足膠囊實際生產(chǎn)需求,進行以下光源方案設(shè)計。
5.1 柱面光源設(shè)計
LED光源內(nèi)部由許多小的LED燈泡組成,可根據(jù)膠囊不同檢測部分制成不同的結(jié)構(gòu),從而改變光源的照射角度[26]。同時,通過直流電源供電,不僅可以穩(wěn)定光源的色彩和亮度,也可對不同膠囊表面特征和材質(zhì)選擇不同波長的光源,從而實現(xiàn)多種顏色光源的轉(zhuǎn)換。實驗證明(圖8):紅外LED光源穿透能力最強,為降低后續(xù)計算機處理的復(fù)雜度,我們選擇紅外光源。
為凸顯不同顏色膠囊的輪廓特征,便于尺寸類缺陷檢測,借鑒人工分揀的經(jīng)驗,采用背面照明,避免了空膠囊因其表面反光而無法清晰獲取膠囊圖像的問題。為獲得均勻的光照條件,相機2、相機3必須對應(yīng)獨立的光源,同時合理加長光源板,使相機視場中待檢測的4個膠囊處于亮度保持一致的中間部分。結(jié)構(gòu)簡圖如圖9。
條形LED光源如果低角度照射,可以突出膠囊表面印字、破損、異色等特征,增強彩色相機的攝像質(zhì)量,對膠囊缺陷檢測的準(zhǔn)確率提高具有重要意義。故相機4打光方式如圖10。
5.2 端面光源設(shè)計
端面圖像獲取過程中,若相機1單純依靠背光源照明,其半球面結(jié)構(gòu)導(dǎo)致盲區(qū)的存在,無法得到完整的端面圖像。如果采取兩臺相機,不僅提高了成本,也增大了計算機圖像處理的復(fù)雜度。為此在不改變相機1拍攝方式的前提下,可以在傳送帶膠囊槽兩側(cè)各加裝一個平行光源進行正面照明,通過觀察進入相機1的反射光是否存在異常來判斷膠囊端面是否存在缺陷。結(jié)構(gòu)如圖11。
6 結(jié)語
論文提出的供料排序裝置、傳送觸發(fā)裝置、光源供給裝置、圖像采集裝置可以實現(xiàn)膠囊表面360°全面采集,并將采集的圖像傳送給計算機圖像處理單元分析得出結(jié)果,通過串口控制踢廢機構(gòu),實現(xiàn)不合格膠囊的分揀,提高了設(shè)備的處理能力。下一步,進行檢測設(shè)備樣機的加工制作,驗證膠囊缺陷檢測的準(zhǔn)確性,以期為缺陷檢測、產(chǎn)品質(zhì)量追溯、產(chǎn)品分揀以及故障診斷提供借鑒和參考。
參考文獻:
[1]趙敬丹,秦峰,聞宏亮,等. 西羅莫司膠囊的質(zhì)量評價[C].? 福州:第十三屆全國抗生素學(xué)術(shù)會議,2017:8.
[2]李少波,楊靜,王錚,等. 缺陷檢測技術(shù)的發(fā)展與應(yīng)用研究綜述[J/OL]. 自動化學(xué)報:1-18[2020-04-02]. https://doi.org/10.16383/j.aas.c180538.
[3]李少波,王錚,楊靜,等. 基于機器視覺的一維和二維條碼高速在線識別[J/OL]. 計算機集成制造系統(tǒng):1-18[2020-04-02]. http://kns.cnki.net/kcms/detail/11.5946.tp.20190201.1318.022.html.
[4]張瑞勛,周洪雨,駱圣麗. 基于機器視覺的藥盒傳送擁堵檢測算法[J]. 計算機與現(xiàn)代化,2019(10):94-100,107.
[5]李海蕓,邱榮斌,姜紅,等. 鋸材分揀檢測裝置的設(shè)計與功能評價[J].? 木材工業(yè), 2019,33(5): 57-60.
[6]王暉,程小虎,趙淑華,等. 基于機器視覺的接裝紙缺陷檢測裝置[J].? 煙草科技, 2016,49(9): 92-96.
[7]蔣儒浩,王玉琳,劉冀,等. 自動扶梯/自動人行道梳齒板安全保護檢測裝置[J]. 機床與液壓,2019,47(19):86-91.
[8]杜曉光,李楠,劉燕芳,等. 基于BP神經(jīng)網(wǎng)絡(luò)的核電站溫度傳感器檢測裝置的設(shè)計開發(fā)研究[J]. 核科學(xué)與工程, 2019,39(5): 771-777.
[9]蔡培良,何邦貴,華衛(wèi),等. BV包裝機條煙外觀質(zhì)量檢測裝置的設(shè)計[J]. 包裝工程,2018,39(23):143-150.
[10]吳小進,王文成. 基于機器視覺的齒輪質(zhì)量在線檢測系統(tǒng)[J].? 機械傳動,2019,43(4):167-170.
[11]趙娟,全朋坤,張猛勝,等. 基于特征LED光源的蘋果多品質(zhì)參數(shù)無損檢測裝置研究[J]. 農(nóng)業(yè)機械學(xué)報,2019,50(4):333-339.
[12]黃文濤,閆紀(jì)紅,陳芳. 基于雙目電荷耦合器件的三維形貌檢測裝置研制[J]. 實驗室研究與探索,2019,38(4):60-64,69.
[13]張文學(xué),王繼紅,任戈. 光學(xué)元件缺陷在線檢測光學(xué)系統(tǒng)設(shè)計[J].? 應(yīng)用光學(xué),2019,40(5):779-785.
[14]龔志文,彭黔榮,周明珠,等. 微波法膠囊濾棒檢測算法研究與裝置設(shè)計[J]. 煙草科技,2017,50(10):80-86.
[15]楊立,趙杰文,鄒小波. 基于機器視覺的軟膠囊重量在線分選研究[J]. 食品工業(yè),2008(5):64-66.
[16]左奇,史忠科. 基于機器視覺的膠囊完整性檢測系統(tǒng)研究[J].? 西安交通大學(xué)學(xué)報,2002(12):1262-1265.
[17]鞏曉云. 計算機視覺在藥品包裝檢測中的應(yīng)用[D]. 哈爾濱:哈爾濱理工大學(xué),2019:60.
[18]ISLAM M J,AHMADI M, SIDAHMED M A. Image processing techniques for quality inspection of gelatin capsules in pharmaceutical applications[C]//International Conference on Control.IEEE,2009.
[19]MEHLE A, BUKOVEC M,LIKAR B,et al. Print registration for automated visual inspection of transparent pharmaceutical capsules[J]. Machine Vision & Applications.2016,27(7):1087-1102.
[20]SILVIA S M,JUAN G O, JAVIER G G,et al. A dynamic lighting system for automated visual inspection of headlamp lenses[C]//Proceedings of 12th IEEE International Conference on Emerging Technologies and Factory Automation, ETFA 2009,September 22-25,2008,Palma de Mallorca,Spain.IEEE,2009.
[21]賈真真,張濤,曹興強,等. 基于機器視覺的食品內(nèi)包裝缺陷檢測裝置設(shè)計與實現(xiàn)[J]. 食品與機械,2018(7):111-114.
[22]馬麗萍,崔明,朱培逸. 基于機器視覺的汽車安全帶的表面缺陷檢測系統(tǒng)[J]. 機床與液壓,2018,46(2):134-138.
[23]袁豹. 基于機器視覺的共軌針閥尺寸參數(shù)在線測量監(jiān)控系統(tǒng)的研究與開發(fā)[D]. 鎮(zhèn)江:江蘇大學(xué),2017.
[24]吳宏杰,季劍蘭,朱音,等. 一種膠囊缺陷檢測系統(tǒng)的設(shè)計與研究[J]. 電腦知識與技術(shù),2010,6(28):8093-8094.
[25]EDMATSU K,NITTA Y.? Automated capsule inspection method[J]. Pattern Recognition,1981,14(1-6):365-374.
[26]孫曉東. 表面缺陷機器視覺在線檢測技術(shù)分析與研究[J]. 價值工程,2014(16):57-58.
(責(zé)任編輯:曾 晶)