朱林安

（湖南金石分選智能科技有限公司 湖南省長(zhǎng)沙市 410000）

1 機(jī)器視覺系統(tǒng)總體闡述

機(jī)器視覺系統(tǒng)主要是利用機(jī)器代替人眼來作各種測(cè)量和判斷，先對(duì)目標(biāo)物進(jìn)行圖像采集，再由相應(yīng)的傳輸子單元進(jìn)行數(shù)字處理，然后按照不同的圖像分布、高亮像素、顏色信息以及整個(gè)圖像的識(shí)別，具體過程可分為：目標(biāo)長(zhǎng)度的相對(duì)轉(zhuǎn)換，整個(gè)識(shí)別結(jié)果的數(shù)字信息轉(zhuǎn)換，以及按照轉(zhuǎn)換后的數(shù)字信息對(duì)相關(guān)現(xiàn)場(chǎng)設(shè)備進(jìn)行檢測(cè)和控制。

1.1 視覺系統(tǒng)基本組成

對(duì)一個(gè)典型的工業(yè)機(jī)器視覺系統(tǒng)，它主要包括所需光源、鏡頭、工業(yè)相機(jī)到圖像處理模塊、處理軟件以及監(jiān)視器的輸入和輸出。在整個(gè)操作過程中光源起著非常重要的作用，它是機(jī)器視覺輸入系統(tǒng)的主要組成部分，如果光源受外界因素影響到一定程度，就很難保證圖像的整體穩(wěn)定性，所以為可以保證圖像效果的質(zhì)量，應(yīng)選擇合適的光源。在選擇光源時(shí)，我們應(yīng)該考慮許多方面，例如光譜特性、強(qiáng)度、穩(wěn)定性、結(jié)構(gòu)和形狀、發(fā)光面積的大小和構(gòu)成。在工業(yè)應(yīng)用中相機(jī)主要是指一個(gè)工業(yè)攝像頭，這是視覺檢查系統(tǒng)的重要部分。整個(gè)系統(tǒng)的基本作用可以被視為轉(zhuǎn)換有序電信號(hào)的具體過程。對(duì)于選擇相機(jī)，它不僅在要收集的圖像的分辨率或形狀中發(fā)揮著重要作用，而且在鏈接的正常和有序操作中也發(fā)揮著重要作用，換句話說，它采集了物體的顏色與形狀并將其轉(zhuǎn)換為數(shù)字信號(hào)發(fā)送給處理單元。鏡頭的主要作用是將目標(biāo)成像在相機(jī)的光敏面上。鏡頭的質(zhì)量直接影響到機(jī)器視覺系統(tǒng)的整體性能，合理地選擇和安裝鏡頭，是機(jī)器視覺系統(tǒng)設(shè)計(jì)的重要環(huán)節(jié)。圖像處理軟件是整個(gè)機(jī)器視覺系統(tǒng)的重要組成部分。通過它，可以分析和處理各種相關(guān)的圖像信息。通過有效的處理，可以找到與整體匹配的相關(guān)圖像。尋找具有相同圖像含義的相關(guān)圖像。并將處理的結(jié)果發(fā)送給顯示或者執(zhí)行單元。顯示器是整個(gè)圖像處理軟件的圖像顯示部分。它可以用來查看采集的圖像，以外部連接形式的通信或輸入輸出單元通過系統(tǒng)本身連接到外部控制裝置，然后進(jìn)行相應(yīng)的信息傳輸。該P(yáng)LC 控制器通過輸入輸出單元的連續(xù)通信連接，不斷地傳送其特定的指令，并接收相應(yīng)的數(shù)據(jù)。

1.2 整體工作流程

一般來說，一個(gè)比較完整的工業(yè)視覺過程是在被檢測(cè)對(duì)象達(dá)到相應(yīng)的檢測(cè)范圍時(shí)，對(duì)檢測(cè)對(duì)象進(jìn)行穩(wěn)定的處理，然后發(fā)出圖像采集信號(hào)；接收到信號(hào)后，采集系統(tǒng)啟動(dòng)相機(jī)設(shè)置進(jìn)行拍攝；拍攝完所需的圖像將圖像轉(zhuǎn)換到處理單元，并通過相關(guān)執(zhí)行程序?qū)μ幚砗蟮膱D像進(jìn)行具體分析，然后得到結(jié)果，將結(jié)果傳輸，控制動(dòng)作完成。具體分析其檢測(cè)特點(diǎn)可以概括為安全性、可靠性高、辨識(shí)性強(qiáng)、穩(wěn)定性好、效率高等。因此機(jī)器視覺可以用來代替相應(yīng)的人工視覺，以適應(yīng)不適合人類生存的相對(duì)危險(xiǎn)的環(huán)境工人。不是僅此而已，同時(shí)也要加強(qiáng)對(duì)其控制的準(zhǔn)確性，提高自動(dòng)化程度，由于其自身的完善，但集成度也逐步提高，才能夠有效保證到了整個(gè)生產(chǎn)的高速有效實(shí)施。

2 視覺檢測(cè)實(shí)驗(yàn)系統(tǒng)的設(shè)計(jì)與開發(fā)

2.1 實(shí)驗(yàn)設(shè)備和實(shí)驗(yàn)系統(tǒng)的基本架構(gòu)

生產(chǎn)線的設(shè)計(jì)和開發(fā)主要包括機(jī)械結(jié)構(gòu)和照明設(shè)備、成像系統(tǒng)和視覺檢測(cè)識(shí)別的設(shè)計(jì)和研究算法。通過系統(tǒng)實(shí)踐的實(shí)踐，在工業(yè)實(shí)踐中結(jié)合工業(yè)生產(chǎn)線的實(shí)際問題，總結(jié)過去的理論、過去的研究、過去的實(shí)踐，視覺檢測(cè)實(shí)驗(yàn)系統(tǒng)的設(shè)備主要配備有機(jī)器支撐結(jié)構(gòu)、工業(yè)光源、模擬線、模擬線、模擬線、模擬線等，工業(yè)攝像機(jī)、工業(yè)鏡頭、監(jiān)控系統(tǒng)和計(jì)算機(jī)包括TA、相關(guān)軟件平面等。在現(xiàn)有組件的基礎(chǔ)上，可基于實(shí)際工業(yè)生產(chǎn)線構(gòu)建實(shí)驗(yàn)系統(tǒng)，設(shè)計(jì)、編程、實(shí)現(xiàn)視覺檢測(cè)算法，并具有系統(tǒng)設(shè)計(jì)能力，提高算法設(shè)計(jì)和編程能力。特別是產(chǎn)品線、物流包裝線、電子產(chǎn)品（零件方向檢驗(yàn)）、飲料應(yīng)用（切出和批檢驗(yàn)）和醫(yī)療行業(yè)（醫(yī)藥業(yè)務(wù)）都可以正常進(jìn)行。根據(jù)機(jī)器產(chǎn)品的基本結(jié)構(gòu)（表面和結(jié)構(gòu)缺陷等）進(jìn)行設(shè)計(jì)和試驗(yàn)，確定瓶蓋是否符合要求。

2.2 機(jī)械結(jié)構(gòu)設(shè)計(jì)及照明裝配

通用機(jī)架，設(shè)計(jì)加工功能多，兼容性好，擴(kuò)展性強(qiáng)。機(jī)架為照明系統(tǒng)和成像設(shè)備提供整體結(jié)構(gòu)和固定支撐，適用于大多數(shù)生產(chǎn)線。一個(gè)小的機(jī)器零件可以采購(gòu)加工，結(jié)合具體的成長(zhǎng)線應(yīng)用，并可以滿足不同的要求，員工可以發(fā)表自己的想法，然后再對(duì)相關(guān)零件進(jìn)行整合。照明系統(tǒng)的優(yōu)劣直接決定了視覺圖像的質(zhì)量，保證了后續(xù)視覺檢測(cè)算法的穩(wěn)定性，采用不同的照明系統(tǒng)來匹配一系列生產(chǎn)線及其檢測(cè)項(xiàng)目的特點(diǎn)，照明材料的測(cè)量指標(biāo)、反射功能和顏色，以及生產(chǎn)線上的可調(diào)裝置。光源的亮度可以改變。機(jī)器結(jié)構(gòu)和照明設(shè)備根據(jù)生產(chǎn)線的具體檢驗(yàn)要求進(jìn)行集成組裝。我們考慮了光照方式、光照形狀和光照色溫對(duì)測(cè)試結(jié)果的影響。結(jié)合上述設(shè)備，我們調(diào)查機(jī)械結(jié)構(gòu)和照明系統(tǒng)的重要性，進(jìn)行目視檢查，探索適當(dāng)設(shè)施的設(shè)計(jì)，實(shí)踐機(jī)械結(jié)構(gòu)和LED 照明組件系統(tǒng)的綜合理論知識(shí)。通過開發(fā)一種檢測(cè)識(shí)別算法，可以有效地提高解決實(shí)際工藝問題的能力。

2.3 成像系統(tǒng)及視覺檢測(cè)算法設(shè)計(jì)

在視覺檢測(cè)技術(shù)的研究中，需要獲取視覺信息，即光學(xué)成像系統(tǒng)的功能。根據(jù)現(xiàn)有光學(xué)成像系統(tǒng)，一種滿足工業(yè)生產(chǎn)線所需的視覺檢測(cè)請(qǐng)求的光學(xué)成像系統(tǒng)，例如多個(gè)成像相機(jī)（類型不同）和多個(gè)配置透鏡（不同焦距視角等），選擇了最佳的成像方法（相機(jī)和鏡頭），實(shí)現(xiàn)了最佳視覺圖像信息的比例采集?？梢杂眯阅軇?chuàng)建一個(gè)成像控制程序，使用下面的代碼在相機(jī)SDK 中實(shí)現(xiàn)二次開發(fā)，根據(jù)下一步的圖像信息進(jìn)行處理。

傳統(tǒng)的圖像采集通常是具有最大分辨率和最大視場(chǎng)的圖像。然而，對(duì)于許多工業(yè)生產(chǎn)線，例如，在高速下檢測(cè)故障產(chǎn)品，可以選擇高速成像，犧牲部分分辨率，并且檢測(cè)和處理小產(chǎn)品通常需要的視覺信息僅限于在產(chǎn)品周圍獲取的圖像，僅此部分不需要大視場(chǎng)。因此，傳統(tǒng)的方法限制了視覺檢測(cè)技術(shù)的應(yīng)用。根據(jù)具體線路的情況，可以自行設(shè)計(jì)，利用二次開發(fā)技術(shù)提出合理的圖像采集手段。

視覺檢測(cè)技術(shù)是視覺系統(tǒng)中最核心的技術(shù)，類似于人腦的思維和判斷。工業(yè)生產(chǎn)線視覺檢測(cè)技術(shù)?；诂F(xiàn)有的模擬線和照明成像系統(tǒng)，需要從相應(yīng)的視覺信息圖像分析中分析不同線和視覺圖像的視覺傳感，該視覺信息圖像分析需要分析全局和局部部分的部分特征實(shí)現(xiàn)視覺檢測(cè)。

在視覺檢測(cè)過程中，有時(shí)需要進(jìn)行圖像增強(qiáng)優(yōu)化。這是因?yàn)楂@取的圖像對(duì)比度低，亮度不均勻，增強(qiáng)了直方圖均衡、顯著性增強(qiáng)等圖像優(yōu)化方法，快速獲取了最重要的圖像信息。

通過將成像系統(tǒng)和系統(tǒng)組裝在組裝好的機(jī)器結(jié)構(gòu)和照明設(shè)備上，將成像系統(tǒng)和系統(tǒng)組裝起來，利用成像系統(tǒng)的二次開發(fā)能力進(jìn)行編程，將成像控制與視覺設(shè)計(jì)、圖像傳感器的深度統(tǒng)一起來，有可能對(duì)圖像傳感器有更深入的了解。改進(jìn)的建模能力。系統(tǒng)集成和系統(tǒng)集成，系統(tǒng)集成和系統(tǒng)集成采用集成設(shè)計(jì)算法，通過集成設(shè)計(jì)算法獲得最優(yōu)的視覺圖像，并自行設(shè)計(jì)視覺檢測(cè)算法。

2.4 結(jié)合生產(chǎn)線的視覺檢測(cè)實(shí)驗(yàn)系統(tǒng)的軟件集成

圖像處理模塊是利用一個(gè)或多個(gè)數(shù)字信號(hào)處理器DSP 進(jìn)行高速運(yùn)算，以及一系列復(fù)雜的圖像增強(qiáng)去噪、邊緣化、捕獲等圖像。它的運(yùn)行速度是主要特點(diǎn)，硬件可以抵抗EPEAT。按照檢測(cè)對(duì)象的特點(diǎn)和檢測(cè)目的，通過JTAG 接口將程序快速下載到DSP 和CPLD上，可以有效的提高整機(jī)的視覺檢測(cè)效果。與實(shí)際生產(chǎn)線相結(jié)合，基于上述硬件平臺(tái)和算法設(shè)計(jì)，實(shí)驗(yàn)室提供基本的模塊代碼。將每種算法轉(zhuǎn)換為代碼，并將軟件與可視界面集成。軟件功能基本上包括相機(jī)控制，優(yōu)化和視覺檢測(cè)。通過對(duì)整個(gè)系統(tǒng)的理解，掌握視覺檢測(cè)的使用集成了軟件集成，澄清了系統(tǒng)的軟件和硬件組成，掌握了系統(tǒng)的設(shè)計(jì)和應(yīng)用程序開發(fā)方法，并設(shè)置了每個(gè)組件的參數(shù)。

3 視覺檢測(cè)系統(tǒng)的具體工業(yè)應(yīng)用

當(dāng)前工業(yè)時(shí)代的到來，工業(yè)視覺越來越流行。視覺監(jiān)控系統(tǒng)的工業(yè)應(yīng)用是近年來社會(huì)發(fā)展的主要推動(dòng)力。在不斷的發(fā)展中，某藥品物流周轉(zhuǎn)中心中越來越普遍的搬運(yùn)藥品包裝箱，這些藥品包裝箱藥品名稱、條碼和箱的尺寸大小不同。藥品箱出入立體倉(cāng)庫(kù)，視覺監(jiān)控系統(tǒng)它可以根據(jù)藥品條碼和箱的尺寸大小自動(dòng)識(shí)別，分類放置和提取，可以從流水線上解決入庫(kù)和出庫(kù)的工作，能解決人工去尋找和搬運(yùn)，大大的提高了藥品的轉(zhuǎn)運(yùn)速度和工作效率。整個(gè)機(jī)器視覺系統(tǒng)是：用3d 相機(jī)，abb 機(jī)器手，光源，工控機(jī)（軟件系統(tǒng)）。這里的3d 相機(jī)是一個(gè)工業(yè)相機(jī)加一個(gè)面激光傳感器。光源是4 條線光源，4 條線光源組成一個(gè)正方形，把3d 相機(jī)圍在中間。Abb 機(jī)器手是幫運(yùn)藥品箱的執(zhí)行機(jī)構(gòu)，也是相機(jī)和光源的安裝架。Abb 機(jī)器手的第6 軸是一個(gè)吸盤，吸盤的前方還固定了3d 相機(jī)和光源。工控機(jī)是算法的運(yùn)算機(jī)構(gòu)和軟件系統(tǒng)，也是abb 機(jī)器手和3d 相機(jī)的通信機(jī)構(gòu)。主要工作流程；藥品箱堆移動(dòng)到指定位置，abb 機(jī)器手運(yùn)動(dòng)到拍照位置，觸發(fā)拍照，工控機(jī)通過工業(yè)相機(jī)可以得到藥品箱條碼和xy 坐標(biāo)，通過面激光傳感器可以生成藥品箱最上層的每一個(gè)點(diǎn)到面激光的距離。用算法組合在一起就可以獲得，藥品箱對(duì)應(yīng)的3d 相機(jī)的xyz 坐標(biāo)和藥品類別，根據(jù)z 坐標(biāo)將藥品箱分層，然后識(shí)別最上層的藥品箱。計(jì)算出最適合抓取的最上層的藥品箱。將該藥品箱的坐標(biāo)轉(zhuǎn)換成機(jī)器人坐標(biāo)，然后通過tcp 協(xié)議將該坐標(biāo)發(fā)送給abb 機(jī)器手。abb 機(jī)器手抓取該藥品箱放到傳送帶上或指定位置，然后進(jìn)行下一次拍照循環(huán)。工控機(jī)軟件系統(tǒng)是整個(gè)系統(tǒng)的核心部分，可以對(duì)圖像進(jìn)行預(yù)處理、校正、對(duì)角處理，并對(duì)相關(guān)尺寸進(jìn)行定位和識(shí)別。它主要是基于圖像處理的程序。在線識(shí)別整個(gè)代碼和座標(biāo)，在此基礎(chǔ)上，采用了圖像灰度化、平滑和校正技術(shù)，增強(qiáng)了定位過程。在研究?jī)A斜角度時(shí)，采用了相關(guān)的投影方法進(jìn)行使用，激光測(cè)距，通過系統(tǒng)的連續(xù)實(shí)驗(yàn)，獲得了大量的數(shù)據(jù)，從整體上看，系統(tǒng)穩(wěn)定性強(qiáng)，對(duì)自動(dòng)化的有效利用起到了重要的作用，并提供了相應(yīng)的解決方案經(jīng)驗(yàn)與下一步研究技術(shù)。但是，由于條件的限制，系統(tǒng)辨識(shí)與測(cè)試結(jié)果有時(shí)還存在個(gè)別差錯(cuò)。

4 包裝生產(chǎn)線的自動(dòng)打包技術(shù)應(yīng)用

包裝生產(chǎn)線是某珠寶公司的珠寶盒打包應(yīng)用。該應(yīng)用通過機(jī)器視覺，將彩色包裝盒、特殊首飾盒及透明預(yù)包盒，與證書和皮繩袋從中轉(zhuǎn)箱中用機(jī)器手放入專用的快遞包裝盒中。然后對(duì)打包好的快遞包裝盒進(jìn)行檢測(cè)。該應(yīng)用中用機(jī)器視覺定位檢測(cè)方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度，減少人工打包出錯(cuò)的概率。需要打包的物品放在中轉(zhuǎn)箱中，由于物品比較多，為了達(dá)到項(xiàng)目要求，這里使用了2 個(gè)工位。選用2 個(gè)500 萬像素彩色相機(jī)（Basler）和500 萬像素16mm 鏡頭,選用穹形光源作為打光工具。在包裝盒的流水線，選用500 萬像素Basler 黑白相機(jī)和500 萬像素16mm 鏡頭，選用白色漫反射面光源作為打光工具，包裝盒打包完成后的外觀檢測(cè)。選用1 個(gè)500 萬像素Basler 黑白相機(jī)和100 萬像素8mm 鏡頭。整套系統(tǒng)使用一臺(tái)工控機(jī)，工控機(jī)配備十個(gè)千兆網(wǎng)口。視覺系統(tǒng)再增配一臺(tái)西門子PLC（型號(hào)為1215C）實(shí)現(xiàn)與產(chǎn)線和工控機(jī)的實(shí)時(shí)閉環(huán)交互功能。

中轉(zhuǎn)箱的流水線上裝著需要打包的物品的中轉(zhuǎn)箱，運(yùn)動(dòng)到指定位置并停止，然后觸發(fā)相機(jī)拍照，工控機(jī)獲取圖像，通過多模板匹配，獲取物品的圖像坐標(biāo)與角度，通過手眼標(biāo)定將圖像坐標(biāo)轉(zhuǎn)換成機(jī)器手坐標(biāo)，然后將坐標(biāo)發(fā)送給機(jī)器手。與此同時(shí)，包裝盒的流水線，也通過基于形狀的模板匹配，將包裝盒的坐標(biāo)與角度發(fā)送給機(jī)器手，然后機(jī)器手在中轉(zhuǎn)箱進(jìn)行抓取并放入包裝盒中。在包裝盒的外觀檢測(cè)工位，用限定檢測(cè)的范圍和去背景的方法減少干擾。然后自動(dòng)閾值獲取盒子的面積，用面積來判斷，包裝盒的好壞。

5 結(jié)束語(yǔ)

由上可知，結(jié)合生產(chǎn)線的視覺檢測(cè)系統(tǒng)的開發(fā)和應(yīng)用能夠理論學(xué)習(xí)和產(chǎn)業(yè)實(shí)踐有效的結(jié)合在一起，應(yīng)用此系統(tǒng)能夠有效鞏固基礎(chǔ)理論知識(shí)的理解，能夠全面提升工業(yè)生產(chǎn)質(zhì)量，取得不錯(cuò)的效果。