劉 超，陳 捷，洪榮晶，秦鐘偉

(南京工業(yè)大學(xué) a.機械與動力工程學(xué)院；b.江蘇省工業(yè)裝備數(shù)字制造及控制技術(shù)重點實驗室， 南京 211800)

0 引言

在現(xiàn)代工業(yè)自動化生產(chǎn)中，涉及到各種各樣的產(chǎn)品質(zhì)量檢測、工件分揀、模型識別等應(yīng)用，例如工件批量加工的尺寸檢查、元件自動定位和分揀、IC上的字符識別等。通常這種帶有高度重復(fù)性和智能性的工作只能由人眼來完成[1]。而在很多工業(yè)自動化生產(chǎn)場合，人眼根本無法實現(xiàn)連續(xù)穩(wěn)定地工作。通過圖像采集與圖像處理技術(shù)搭建機器視覺檢測平臺，自動化生產(chǎn)線中的分揀系統(tǒng)將更具智能。將機器視覺技術(shù)應(yīng)用到工業(yè)分揀系統(tǒng)上有著高質(zhì)量，高速率，高可靠性等無法替代的優(yōu)勢[2]。

20世紀(jì)80年代，機器視覺獲得了蓬勃發(fā)展，新概念、新方法、新理論不斷涌現(xiàn)[3]。工業(yè)視覺系統(tǒng)的應(yīng)用大致可分為兩個方向：工業(yè)視覺檢測系統(tǒng)和工業(yè)機器人系統(tǒng)[4]。國外基于機器視覺的自動化分揀的研究已有很大發(fā)展，并已經(jīng)廣泛應(yīng)用于生產(chǎn)生活中。日本的機械手供應(yīng)商，包括Fanuc公司、Motman公司和 Staubli 公司，都推出了基于視覺的自動“揀選”系統(tǒng)[5]。國際先進的視覺集成公司如康耐視、基士達、松下、NI等，其開發(fā)的視覺系統(tǒng)與各大機器人廠商合作，廣泛應(yīng)用于各行各業(yè)。國內(nèi)機器視覺技術(shù)應(yīng)用于90年代，起步較晚，但是經(jīng)過二十多年的努力，我國基于機器視覺的自動分揀研究已經(jīng)有了較為成熟的應(yīng)用。

目前國內(nèi)外學(xué)者主要采用PC作為視覺檢測平臺的處理器。Bikarna Pokharel就通過工業(yè)相機、PC機等設(shè)備搭建了基于NI視覺檢測技術(shù)的分揀系統(tǒng)[6]。施銀中通過USB攝像頭和PC機，借助NI IMAQ Vision模塊搭建了LED球燈泡的視覺檢測系統(tǒng)[7]；熊曉松選用USB攝像頭和NI LabVIEW視覺開發(fā)模塊搭建視覺檢測平臺[8]。王詩宇等以并聯(lián)型機器人和康奈In-Sight7000 型工業(yè)相機搭建工業(yè)機器人視覺分揀系統(tǒng)[9]。

采用PC作為核心的視覺檢測平臺搭建方式很多時候不能滿足工業(yè)現(xiàn)場復(fù)雜的工作環(huán)境，而NI公司生產(chǎn)的智能相機內(nèi)置圖像采集卡和高性能圖像處理器，視覺檢測過程不需要借助PC機，且配有千兆以太網(wǎng)接口和工業(yè)I/O接口用于連接其他設(shè)備。采用集成化的高性能NI系列智能相機為核心搭建機器視覺檢測平臺具有開發(fā)周期短，檢測速度快，可靠性高的特點。

1 系統(tǒng)結(jié)構(gòu)

1.1 系統(tǒng)結(jié)構(gòu)概述

智能相機固定在相機支架上，通過以太網(wǎng)編寫和配置相應(yīng)的圖像采集、圖像處理以及圖像檢測功能函數(shù)后，獨立運行檢測程序。檢測結(jié)果傳遞給UR機器人控制柜。UR機械手根據(jù)檢測結(jié)果執(zhí)行分揀程序。圖1是系統(tǒng)結(jié)構(gòu)示意圖。

圖1 系統(tǒng)結(jié)構(gòu)示意圖

1.2 系統(tǒng)硬件組成

(1)NI 1776c智能相機：1.6 GHz Intel Atom處理器，512MB系統(tǒng)內(nèi)存，2GB閃存，圖像分辨率：1600×1200；

(2)相機電源：NI系列智能相機專用電源，12W24VDC, ±10%；

(3)相機固定支架：根據(jù)智能相機鏡頭自行設(shè)計支架；

(4)光源：LED光源；

(5)相機I/O板(781993-01)：17-pin M12 to 25-pin相機接口，4通道數(shù)字輸入，4通道數(shù)字輸出，1個觸發(fā)輸入，1個LED輸出，9-pin RS232接口，2-pin 電源輸出接口；

(6)電磁繼電器：用于連接智能相機I/O板和UR機器人控制柜；

(7)上位機：PC機，用于編寫配置圖像處理和圖像檢測函數(shù)，同時顯示智能相機的檢測界面；

(8)UR工業(yè)機器人：UR5，六自由度關(guān)節(jié)臂式機器人，配有專用示教器、UR控制柜、二爪型氣爪、氣泵；

(9)工件工作臺：步進電機驅(qū)動，用于傳輸不同類型的工件；

(10)光電傳感器：安裝在工作臺指定位置，用于檢測工件的位置。

1.3 開發(fā)軟件

(1)NI VBAI(NI Vision Builder for Automated Inspection，NI用于自動檢測的視覺生成器)：NI 1776c智能相機集成化的機器視覺檢測平臺可以搭載VBAI軟件，通過以太網(wǎng)連接PC機與智能相機，借助PC機實現(xiàn)NI 機器視覺檢測平臺圖像采集、圖像處理和檢測功能函數(shù)的編寫和配置。

(2)NI VI(NI Vision Assistant，NI 視覺助手)：用于進行具體的圖像預(yù)處理和邊緣特征提取。

(3)LabVIEW：輔助編程。

1.4 通訊電路

研究智能相機I/O通訊板和UR機器人控制柜的通訊原理，電磁繼電器作中間通信媒介，設(shè)計了一種用于NI視覺平臺和工業(yè)機器人通訊的I/O電路，接線原理見圖2。

圖2 視覺檢測平臺和機械手I/O通信接線原理圖

待分揀工件通過形狀檢測時，智能相機IO板數(shù)字輸出OUT正負端通過一個500Ω的電阻相連，形成一個閉合回路；而待分揀工件未通過形狀檢測時，數(shù)字輸出OUT正負端相當(dāng)于斷路。借助電磁繼電器將檢測結(jié)果傳遞給UR控制柜。

2 搭建機器視覺檢測平臺

2.1 機器視覺檢查流程概述

本系統(tǒng)分揀不同形狀特征的工件，即分揀圓形、方形和三角形工件，規(guī)定分揀的優(yōu)先級為圓形→方形→三角形，設(shè)計了如圖3所示的機器視覺檢查流程。共三種檢查，每種檢查都編寫配置了相應(yīng)的圖像處理和檢測功能函數(shù)，三種圖像檢查循環(huán)運行。

圖3 機器視覺檢查流程

2.2 編寫并配置NI視覺檢測函數(shù)

整個機器視覺檢測平臺的檢測流程如圖4所示。

圖4 機器視覺檢測平臺檢查流程

光電傳感器檢測到待分揀工件進入NI 1776c智能相機視野時，觸發(fā)相機采集圖像，原始圖像通過VA軟件實現(xiàn)圖像預(yù)處理，然后提取工件的邊緣特征，之后基于邊緣特征進行模板匹配，從而識別出不同形狀的工件。最后把識別結(jié)果通過通訊電路傳遞給UR控制柜。

2.3 NI VA圖像預(yù)處理與邊緣特征提取

(1)圖像預(yù)處理：本視覺檢測平臺的預(yù)處理步驟包括：改善圖像亮度和對比度的圖像增強、抽取HSV顏色空間亮度值V的灰度化處理、灰度圖Gaussian濾波、消除圖像噪點的形態(tài)學(xué)閉運算操作。

(2)邊緣特征提取：圖像邊緣即亮度值變化較大的點。圖像邊緣特征具有縮放、旋轉(zhuǎn)、位移不變性[10]。利用邊緣特征進行目標(biāo)識別即可以降低噪聲的影響，又可以減少計算時間。傳統(tǒng)的邊緣提取算子有：Roberts算子、Sobel算子、Canny算子、Laplacian算子等，本文采用Sobel算子進行邊緣檢測。

描述圖像的二階可微函數(shù)f(x,y)的一階導(dǎo)數(shù)定義為圖像梯度向量：

(1)

圖像梯度的向量幅值代表了圖像在像素(x,y)處的變化速率：

(2)

Sobel算子通過3×3的掩膜來近似X和Y方向上一階導(dǎo)數(shù)值?f/?x和?f/?y。假設(shè)某像素3×3鄰域內(nèi)的灰度為v1,v2,v3,v4,v5,v6,v7,v8,v9，則鄰域中心點的梯度近似為：

s≈|Gx|+|Gy|=|(v7+2v8+v9)-(v1+2v2+v3)|+
|(v3+2v6+v9)-(v1+2v4+v7)|

(3)

圖像預(yù)處理及邊緣提取的效果如圖5所示。

(a)圓形原圖 (b)方形原圖 (c)三角形原圖

(d)圓形邊緣 (e)方形邊緣 (f)三角形邊緣圖5 邊緣提取效果圖

2.4 基于邊緣特征的模板匹配算法

模板匹配通過計算已知的模板圖與實時圖中搜索區(qū)域的相似性測度實現(xiàn)目標(biāo)識別[11]。目前用于模板匹配的方法主要有基于灰度的匹配和基于特征的匹配?；诨叶鹊钠ヅ湓砗唵?，實現(xiàn)容易，但是計算量大且易受干擾，而基于邊緣的模板匹配不僅降低了計算量，部分遮擋時也可以得到較好的匹配結(jié)果[12]。

“你好。”她說，帶有歡快的語氣。我轉(zhuǎn)過身的時候看見了她向我伸出的瘦削的手，我遲疑了一下，輕輕握了一下她的手，冰涼冰涼的。抬頭的時候，很驚奇地，看見她戴著一副墨鏡。很少看見過有人在室內(nèi)戴墨鏡。我盯著她的眼睛看的時候發(fā)現(xiàn)她很不自然地躲過我的目光，才發(fā)覺自己失禮。我點頭致歉，然后轉(zhuǎn)身打開門，關(guān)門的時候，再次對她點點頭。

基于邊緣特征的模板匹配算法如下：

(3)

模板圖像與目標(biāo)搜索區(qū)域完全匹配則返回1，完全不同則返回0。

在VBAI中實現(xiàn)基于邊緣特征的模板匹配的效果如圖6所示。

圖6 邊緣特征模板匹配

2.5 NI視覺檢測界面

實際分揀過程中，我們設(shè)定分揀的優(yōu)先級為圓形→方形→三角形。視覺檢測程序的運行界面如圖7所示。

圖7 視覺檢測界面

3 工業(yè)機器人分揀程序設(shè)計

分揀程序的設(shè)計步驟如下：

(1)機械手運動路徑規(guī)劃：機器手三種運動指令：MoveJ、MoveL和MoveC，分別對應(yīng)關(guān)節(jié)最優(yōu)運動、直線運動和圓周運動。合理規(guī)劃運動方式和軌跡，確保安全的前提下，保證時間最優(yōu)。

(2)獲取視覺檢測結(jié)果：類別檢測信息傳輸至機械手控制柜數(shù)字輸入模塊，每一個不同類別都對應(yīng)一路數(shù)字輸入通道。

(3)抓取程序設(shè)計：根據(jù)接收到的工件類別信息將不同形狀工件抓取至相應(yīng)放置區(qū)；未接收到類別信息則保持初始狀態(tài)。

4 實驗過程

實驗設(shè)備的實物接線如圖8所示。

圖8 實驗設(shè)備實物接線

系統(tǒng)分揀結(jié)果的準(zhǔn)確性如表1所示。

表1 系統(tǒng)分揀結(jié)果

5 結(jié)束語

本文從理論和實驗上完成了NI視覺檢測技術(shù)在產(chǎn)品分揀中的應(yīng)用方案設(shè)計。通過運用NI機器視覺檢測技術(shù)，脫離PC成功實現(xiàn)了不同形狀的工件檢測并實現(xiàn)了NI視覺平臺與UR工業(yè)機器人之間的I/O通信，實驗效果非常理想?；贜I智能相機的產(chǎn)品分揀系統(tǒng)克服了傳統(tǒng)的自動化分揀系統(tǒng)靈活性差、可靠度低等弊端，視覺檢測靈活可靠且便于開發(fā)，具有很強的工業(yè)實用性。