国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于視覺引導(dǎo)的采樣系統(tǒng)設(shè)計

2023-02-03 08:51:28楊忠炯鄒紹昕周立強
制造業(yè)自動化 2023年1期
關(guān)鍵詞:通體坐標系平面

楊忠炯,鄒紹昕,周立強

(1.中南大學 機電工程學院,長沙 410083;2.中南大學 高性能復(fù)雜制造國家重點實驗室,長沙 410083)

0 引言

國內(nèi)金屬行業(yè)的質(zhì)檢部門需對供應(yīng)商車輛運輸?shù)牡V粉進行采樣,通常是在礦粉堆的不同位置進行人工采樣作為該批次的樣本,樣本化驗結(jié)果作為該批次礦粉的定價依據(jù)?,F(xiàn)有的采樣方式很大程度上還依賴于人工,國內(nèi)對于采樣系統(tǒng)的研究發(fā)展落后于歐美等發(fā)達國家[1]。實現(xiàn)采樣自動化要解決的技術(shù)問題是準確檢測出采樣區(qū)域,并在采樣機器人基礎(chǔ)坐標系得到采樣點坐標。通過視覺引導(dǎo)的方式,協(xié)助機器人到目標點進行工作,這種方法可以有效地提高生產(chǎn)線的工作效率和自動化水平[2-5],特別是對于一些人工操作危險復(fù)雜的工作,具有非常重要的意義。

文中依據(jù)實際項目提出了一種基于SSD的采樣區(qū)域檢測算法,并基于激光定位燈實現(xiàn)圖像坐標系到機器人基礎(chǔ)坐標系的坐標轉(zhuǎn)換,并通過現(xiàn)場實驗對采樣系統(tǒng)的精度和可靠性進行了驗證。

1 系統(tǒng)硬件組成

1)相機采用hikvision的MV-CA032-10GC型號的工業(yè)相機,靶面積為1/1.8英寸,使用千兆網(wǎng)線與上位機通訊,相機安裝在采樣現(xiàn)場的正上方。

2)鏡頭采用mindvision的MV-LD-4-4M-G型號的定焦鏡頭,焦距為4mm,鏡頭畸變率小于0.5%,靶面積為1/1.8英寸。

3)激光定位燈為工業(yè)用激光燈,型號為G0028,輸出功率為400mw,波長為532nm,投射綠色光斑。

4)工控機采用Lenovo的工控機,負責從CMOS相機采集的圖像中識別采樣區(qū)域、生成隨機采樣點、進行圖像坐標系到實際坐標系的轉(zhuǎn)換、TCP通訊以及PLC控制等。

5)采樣機器人為三自由度導(dǎo)軌式機器人,電機采用siemens的SIMOTICS S-1FK7緊湊型的永磁同步電機,并通過PLC控制電機以及液壓系統(tǒng)控制采樣機器人進行采樣。

采樣系統(tǒng)整體如圖1所示,工業(yè)相機和激光定位燈固定在頂部,且激光定位燈垂直向下投射綠色光斑,激光定位燈所在位置為采樣機器人原點,采樣機器人可沿著導(dǎo)軌在xw、yw方向運動,當車輛??繒r,采樣機器人可沿zw方向進行采樣工作,zw方向采樣深度根據(jù)電機轉(zhuǎn)矩傳感器進行控制。

圖1 采樣系統(tǒng)組成

2 基于SSD的采樣區(qū)域檢測

2.1 SSD算法的核心思想

SSD[6]網(wǎng)絡(luò)是目標檢測中常用的one-stage類算法,能夠在保證檢測精度的同時,大大提升檢測速度,且SSD網(wǎng)絡(luò)內(nèi)置有數(shù)據(jù)增強的方法,如剪裁、放大、縮小等,SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

圖2 SSD模型的網(wǎng)絡(luò)結(jié)構(gòu)

其主要思路是使用VGG16作為基礎(chǔ)網(wǎng)絡(luò),在此基礎(chǔ)上使用卷積層、池化層等結(jié)構(gòu),得到多尺度預(yù)測特征圖,在圖像的預(yù)測特征圖中進行多次采樣,并在6個預(yù)測特征圖層根據(jù)不同尺寸和長寬比生成共8732個默認框(defalut box),大尺度的預(yù)測特征圖用于檢測小目標物,小尺度的預(yù)測特征圖用于檢測大目標物,可覆蓋所有待檢測目標,對默認框內(nèi)的目標類別進行預(yù)測,并對默認框的邊界進行回歸,再使用非極大值抑制[7],得到最后的檢測結(jié)果。

2.2 訓(xùn)練結(jié)果

通過相機采集5127張現(xiàn)場圖片,數(shù)據(jù)集中包括不同光線強度、不同時間段的情況下所有運輸車輛的俯視拍攝圖,并通過數(shù)據(jù)擴增的方式對每張圖片進行亮度調(diào)整、對比度調(diào)整、添加噪聲、圖像翻轉(zhuǎn)、圖像模糊的操作,每張圖片可額外擴充5張圖片,得到共30762張訓(xùn)練樣本,對采樣區(qū)域數(shù)據(jù)集進行標注后進行訓(xùn)練,訓(xùn)練后的模型對現(xiàn)場的運輸車輛進行采樣區(qū)域檢測,結(jié)果如下圖所示。

圖3 SSD模型的檢測結(jié)果圖

SSD的檢測結(jié)果將用于引導(dǎo)采樣機器人進行采樣,因此對預(yù)測框的精度要求高,預(yù)測框若超出實際采樣范圍,會造成安全問題。將IoUG定義為預(yù)測框與真實框交集的面積除以真實框面積所得到的比值,若預(yù)測框超出采樣范圍、未檢測出采樣范圍或IoUG<0.8,則認為檢測失??;若0.8≤IoUG≤1且未超出采樣范圍,則認為檢測成功,則對1000張測試集圖片進行檢測,結(jié)果如表1所示。

表1 SSD模型對于采樣范圍的檢測情況

使用數(shù)據(jù)擴增之前,由于運輸車輛出現(xiàn)的時間段限制,同一車輛在不同光線強度以及對比度的數(shù)據(jù)集較少,導(dǎo)致52張測試集圖像都無法在圖像中檢測中采樣范圍,并且42張測試集圖像的預(yù)測框超出采樣范圍,61張測試集圖像的預(yù)測框IoUG<0.8,使用數(shù)據(jù)擴增后,成功率從84.5%提高到97.6%,表明使用數(shù)據(jù)擴增能有效提高檢測成功率,由于待檢測目標為大目標且場景穩(wěn)定,使用數(shù)據(jù)擴增后的SSD模型可用于采樣范圍的檢測,對于檢測失敗的情況,人工可在控制界面對預(yù)測框進行修正,確保采樣機器人在采樣范圍內(nèi)工作。

3 隨機采樣點的產(chǎn)生規(guī)則

由于現(xiàn)場采樣要求采樣點為16個,且滿足均勻隨機分布,按圖4(a)的規(guī)則產(chǎn)生采樣點。

圖4 隨機采樣點的生成

將SSD模型檢測出的采樣區(qū)域按4×6方式劃分為24個候選區(qū)域,通過隨機函數(shù)在24個候選區(qū)域中選取16個待采樣區(qū)域,再將每個待采樣區(qū)域按3×3方式劃分為9個子區(qū)域,通過隨機函數(shù)在9個子區(qū)域的選取一個子區(qū)域的中心點作為隨機采樣點?,F(xiàn)場隨機采樣點的產(chǎn)生結(jié)果如圖4(b)所示,每次生成的16個采樣點都滿足隨機均勻分布的要求,可避免出現(xiàn)在礦粉內(nèi)摻假的現(xiàn)象。

4 視覺定位模型

機械人視覺定位方法通常是將棋盤靶標固定于機器人法蘭末端,使得棋盤靶標隨機器人運動而運動,相機拍攝處于不同位姿下的棋盤靶標,從而標定相機與機器人之間的位姿關(guān)系[8],采樣機器人為導(dǎo)軌式且相機安裝在頂部,無法通過手眼標定的方式來進行坐標轉(zhuǎn)換。文中提出一種易部署且滿足采樣精度要求的視覺定位模型,用于引導(dǎo)采樣機器人移動到隨機生成的采樣點位置進行采樣。

4.1 綠色激光點的識別

綠色激光定位燈投射在采樣平面后,在圖像中找到綠色激光點在圖像中的位置,圖像處理過程如圖5所示。

圖5 圖像處理流程圖

4.1.1 顏色特征篩選

在OpenCV中將原圖從RGB顏色空間轉(zhuǎn)換到HSV顏色空間,根據(jù)綠色在HSV顏色空間中的范圍,從原圖中提取出綠色像素點,并進行灰度化、二值化、形態(tài)學膨脹等操作,得到二值化圖像,不同光線強度下綠色激光點的識別結(jié)果如圖6(a)所示。

圖6 顏色特征篩選后的圖像

顏色特征篩選后,得到的二值化圖像中仍存在其他連通體區(qū)域,如圖6(c)所示,僅通過顏色特征無法直接從圖像中得到綠色激光點的位置,還需根據(jù)二值化圖像中的連通體特征進一步篩選。

4.1.2 連通體特征篩選

需根據(jù)激光點連通體特征[9],從二值化圖像中唯一確定綠色激光點的質(zhì)心位置坐標,并將綠色激光點的質(zhì)心作為圖像坐標系原點,選取以下3個連通體特征進行篩選:

1)連通體質(zhì)心位置:(xM,yM)指二值化圖像中單個連通域質(zhì)心坐標在圖像中的坐標,OpenCV坐標系是以左上角為原點,橫向為x,縱向為y。

2)連通體面積特征S:指二值化圖像中單個連通域的像素個數(shù)。

3)連通體圓形度特征θ:指二值化圖像中單個連通域的面積與最小外接圓面積之比。

式中,L為連通體長軸,i為二值化圖像中連通體序號,n為二值化圖像中連通體總數(shù);xmin、xmax為綠色激光點質(zhì)心坐標x方向的極限位置,ymin、ymax為綠色激光點質(zhì)心坐標x方向的極限位置,xmin、xmax、ymin、ymax可在最低采樣平面以及最高采樣平面情況下測得;Smin、Smax為綠色激光點連通體的極限面積,θmin代表綠色激光點連通體圓形度的最小值,Smin、Smax、θmin可根據(jù)現(xiàn)場環(huán)境設(shè)定;Pi為所有連通體的圓形度特征和面積特征進行加權(quán)后計算得到的最大值,α為連通體圓形度權(quán)重系數(shù),β為連通體面積權(quán)重系數(shù)。

二值化圖像中的連通體需滿足式(2)的條件,對于所有滿足式(2)的連通體,通過式(3)得到目標連通體Pi,Pi對應(yīng)的第i個連通體為綠色激光點對應(yīng)的連通體,該連通體的質(zhì)心坐標為綠色激光點的中心坐標,并將綠色激光點的質(zhì)心作為圖像坐標系原點,對綠色激光點的識別結(jié)果如圖7所示,對于照射在采樣平面的綠色激光點,通過都能在圖像中都找到其位置,為后續(xù)的坐標轉(zhuǎn)換提供可靠信息。

圖7 現(xiàn)場圖片中綠色激光點的識別結(jié)果

4.2 坐標轉(zhuǎn)換

在采樣機器人基礎(chǔ)坐標系中,采樣機器人的運動原點為激光定位燈所在位置,由于采樣機器人z方向采樣深度根據(jù)電機轉(zhuǎn)矩傳感器進行控制,且綠色激光點垂直投射在采樣平面,可將三維的采樣機器人基礎(chǔ)坐標系簡化為二維的采樣平面坐標系,采樣平面坐標系的原點為激光定位燈在采樣平面投影點的質(zhì)心位置,因此可通過采樣平面坐標系的坐標點(x,y)控制采樣機器人到對應(yīng)位置采樣。

圖8 坐標轉(zhuǎn)換示意圖

因相機中心與激光定位燈中心的橫向距離Δx可通過測量得到,且圖像坐標系中,圖片中心點與綠色激光點質(zhì)心的橫向像素距離Δu也可通過計算得到,16個采樣點的計算如下:

式中,Kt為圖像坐標系到采樣平面標系的轉(zhuǎn)換系數(shù),Δx為采樣平面坐標系中的常量,Δu隨采樣平面高度變化,采樣平面越高Δu越大,i為采樣點序號,(xi,yi)T為采樣平面坐標系中的采樣點,(ui,vi)T為圖像坐標系中按規(guī)則隨機生成的點。

圖像坐標系中16個隨機采樣點換算到采樣平面坐標系后,通過TCP通訊的方式從工控機傳輸?shù)絇LC,進而引導(dǎo)采樣機器人到對應(yīng)位置進行采樣。

5 實驗結(jié)果

采用人工方式在圖像中生成采樣點,對視覺定位的精度進行多次實驗,每次實驗選定10個采樣點進行視覺定位誤差實驗,進行三次實驗,共測試30個采樣點,且30個采樣點均勻分布在整個采樣平面,計算x、y方向的最大誤差以及平均誤差,第一次的實驗結(jié)果如表2所示,視覺引導(dǎo)采樣實驗如圖9所示。

表2 視覺定位結(jié)果與采樣頭實際位置(mm)

圖9 視覺引導(dǎo)采樣實驗

實驗的定位誤差結(jié)果如圖10所示,30個采樣點在x方向的最大絕對誤差為9mm,y方向的最大絕對誤差為7mm,誤差產(chǎn)生原因是由于綠色激光點質(zhì)心的識別精度、機器人運動誤差等因素造成,采樣過程是在采樣區(qū)域隨機生成取樣點進行采樣,采樣點不能超出采樣區(qū)域,根據(jù)采樣點的產(chǎn)生規(guī)則,在極限情況下,隨機生成的邊緣點距離采樣區(qū)域邊界在x方向有167mm裕量,y方向上有87mm裕量,因此不會出現(xiàn)采樣點超出采樣范圍的情況,該采樣精度可滿足現(xiàn)場采樣要求。

6 結(jié)語

針對半封閉式空間的采樣環(huán)境,文中提出一種視覺引導(dǎo)的采樣系統(tǒng)用于三自由度導(dǎo)軌式采樣機器人,主要的研究成果如下:

1)基于SSD目標檢測算法實現(xiàn)采樣區(qū)域檢測,可從采集的圖像中自動識別出采樣區(qū)域。

2)根據(jù)采樣要求,提出一種隨機采樣點的產(chǎn)生規(guī)則,并且生成的采樣點滿足隨機均勻分布。

3)基于激光定位燈提出一種視覺定位模型,實現(xiàn)從圖像坐標系到采樣機器人基礎(chǔ)坐標系的轉(zhuǎn)換,進而引導(dǎo)采樣機器人到對應(yīng)隨機點進行采樣。

通過現(xiàn)場實驗驗證了采樣系統(tǒng)的可行性,采樣點的分布以及定位精度均滿足現(xiàn)場采樣要求,對提高采樣自動化具有重要意義。

猜你喜歡
通體坐標系平面
痛風
通體結(jié)冰的球
一種通體大理石瓷磚的制作方法
佛山陶瓷(2018年6期)2018-09-14 10:54:46
解密坐標系中的平移變換
坐標系背后的故事
中國沉香基地及通體結(jié)香技術(shù)
基于重心坐標系的平面幾何證明的探討
參考答案
關(guān)于有限域上的平面映射
參考答案
澄迈县| 日土县| 丰镇市| 武安市| 民勤县| 无为县| 淮南市| 西乌珠穆沁旗| 崇仁县| 姚安县| 安平县| 宁德市| 荔浦县| 镇巴县| 贡山| 麻阳| 昭苏县| 孟连| 习水县| 曲周县| 玉门市| 油尖旺区| 民勤县| 祁东县| 汝城县| 沁源县| 东乌| 柘荣县| 温宿县| 雅安市| 翁牛特旗| 巴中市| 武义县| 青神县| 逊克县| 桂平市| 股票| 涡阳县| 夏津县| 武陟县| 丹东市|