郭 政，周 軍，史建新，蔡 建

(新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆烏魯木齊 830052)

?

機(jī)器視覺(jué)核桃分級(jí)中相機(jī)可變視場(chǎng)與像素轉(zhuǎn)換系數(shù)自動(dòng)獲取方法

郭 政，周 軍*，史建新，蔡 建

(新疆農(nóng)業(yè)大學(xué)機(jī)械交通學(xué)院，新疆烏魯木齊 830052)

針對(duì)利用機(jī)器視覺(jué)進(jìn)行農(nóng)產(chǎn)品無(wú)損檢測(cè)中相機(jī)視場(chǎng)調(diào)節(jié)困難以及調(diào)整后需要重新標(biāo)定的問(wèn)題，提出一種基于MFC軟件界面控制的大恒定焦USB 2.0工業(yè)相機(jī)視場(chǎng)自動(dòng)調(diào)節(jié)方法，并通過(guò)試驗(yàn)對(duì)相機(jī)進(jìn)行標(biāo)定，擬合出相機(jī)高度和像素轉(zhuǎn)換系數(shù)的關(guān)系式，當(dāng)相機(jī)視場(chǎng)發(fā)生變化時(shí)，系統(tǒng)中超聲波測(cè)高模塊可以實(shí)時(shí)給出相機(jī)高度，程序根據(jù)關(guān)系式實(shí)時(shí)給出對(duì)應(yīng)高度的像素轉(zhuǎn)換系數(shù)，方便圖像處理軟件根據(jù)核桃輪廓像素?cái)?shù)據(jù)換算出核桃尺寸，精確判斷等級(jí)。

機(jī)器視覺(jué)；相機(jī)視場(chǎng)；像素轉(zhuǎn)換系數(shù)；系統(tǒng)標(biāo)定

在農(nóng)場(chǎng)品無(wú)損檢測(cè)研究中機(jī)器視覺(jué)占據(jù)重要地位，而工業(yè)相機(jī)性能無(wú)疑是實(shí)現(xiàn)整個(gè)系統(tǒng)功能的一個(gè)關(guān)鍵環(huán)節(jié)。提高工業(yè)相機(jī)靈活性，增加其利用率對(duì)整合視覺(jué)系統(tǒng)性能具有重要意義。周竹等[1]在馬鈴薯機(jī)器視覺(jué)自動(dòng)檢測(cè)中利用雙平面鏡對(duì)同一對(duì)象同時(shí)獲取3張圖片，提高了一個(gè)工業(yè)相機(jī)的采圖利用率。應(yīng)義斌等[2]在對(duì)水果高速運(yùn)動(dòng)下無(wú)損檢測(cè)中，利用多個(gè)觸發(fā)傳感器和輸送軌道聯(lián)合作用，保證相機(jī)位置不變情況下，實(shí)現(xiàn)對(duì)同一個(gè)水果采集多幀圖片。針對(duì)利用機(jī)器視覺(jué)進(jìn)行農(nóng)產(chǎn)品無(wú)損檢測(cè)中相機(jī)視場(chǎng)調(diào)節(jié)困難以及調(diào)整后需要重新標(biāo)定的問(wèn)題，筆者以工業(yè)相機(jī)采集視場(chǎng)為研究?jī)?nèi)容提出一種基于MFC軟件界面控制的大恒定焦USB 2.0工業(yè)相機(jī)視場(chǎng)自動(dòng)調(diào)節(jié)方法，以期實(shí)現(xiàn)圖像采集對(duì)象發(fā)生特征變化或整個(gè)視覺(jué)系統(tǒng)功能調(diào)整時(shí)(如系統(tǒng)檢測(cè)對(duì)象從外形尺寸到紋理特征的調(diào)整)可自動(dòng)調(diào)節(jié)工業(yè)相機(jī)的視場(chǎng)屬性，從而提高工業(yè)相機(jī)的利用率和使用便捷性。

1 理論方案分析

目前在農(nóng)產(chǎn)品無(wú)損檢測(cè)應(yīng)用中，大部分機(jī)器視覺(jué)硬件系統(tǒng)都是固定相機(jī)位置，根據(jù)特定的檢測(cè)對(duì)象讓相機(jī)進(jìn)行單一圖像采集工作。當(dāng)檢測(cè)對(duì)象發(fā)生變化時(shí)(如檢測(cè)對(duì)象的外形尺寸由大變小)，固定機(jī)位的機(jī)器視覺(jué)系統(tǒng)圖像處理軟件未必可以對(duì)圖像進(jìn)行正確處理，同時(shí)在機(jī)器視覺(jué)系統(tǒng)調(diào)校中，需人工改變相機(jī)高度，給操作人員帶來(lái)不便。該研究對(duì)象是基于機(jī)器視覺(jué)的核桃大小分級(jí)，當(dāng)需要提高檢測(cè)精度時(shí)，需對(duì)同一個(gè)核桃進(jìn)行多次拍照處理(或單一核桃壞殼檢測(cè))，由于核桃在生產(chǎn)線(xiàn)上處于快速運(yùn)動(dòng)狀態(tài)，若要準(zhǔn)確采集到固定數(shù)量的圖像，系統(tǒng)則需對(duì)檢測(cè)對(duì)象進(jìn)行大視場(chǎng)拍照(或縮小視場(chǎng)，放大倍率拍照)，針對(duì)此問(wèn)題有以下幾種解決方法：①采用變焦鏡頭。但其成本太高，且一般變焦鏡頭在變焦時(shí)最大光圈值(f)會(huì)發(fā)生改變，從而引起圖像采集參數(shù)變化，且同等價(jià)位的變焦鏡頭成像質(zhì)量不如定焦鏡頭[3]；②將檢測(cè)對(duì)象做靠近相機(jī)移動(dòng)。由于被檢測(cè)對(duì)象多位于機(jī)械裝置(如輸送皮帶或輸送鏈條)上，移動(dòng)機(jī)械裝置較難實(shí)現(xiàn)；③動(dòng)態(tài)改變相機(jī)位置。該方法可根據(jù)需要調(diào)節(jié)高度，改變相機(jī)的視場(chǎng)，檢測(cè)對(duì)象不發(fā)生位置改變。

根據(jù)以上分析可知，機(jī)器視覺(jué)系統(tǒng)中可調(diào)相機(jī)視場(chǎng)具有較多優(yōu)勢(shì)，而基于可視化界面的自動(dòng)視場(chǎng)調(diào)節(jié)則會(huì)帶來(lái)更多便利。方案③可以在較低成本下實(shí)現(xiàn)相機(jī)視場(chǎng)自動(dòng)調(diào)節(jié)，合理可行。

2 可變視場(chǎng)調(diào)節(jié)

2.1 可變視場(chǎng)中的成像關(guān)系 大視場(chǎng)光學(xué)系統(tǒng)應(yīng)用廣泛，對(duì)于固定的硬件設(shè)備可提高光學(xué)儀器的工作效率，增加獲取的圖像信息量[4]。根據(jù)光學(xué)中高斯成像公式：

(1)

式中，u為物距；v為像距；f為相機(jī)焦距[5]。對(duì)于可變焦相機(jī)，當(dāng)u不變、f增大時(shí)，v變大，結(jié)果表現(xiàn)為拍攝物體被拉近(放大)，可視角度變小；f減小時(shí)，v變小，結(jié)果表現(xiàn)為拍攝物體被推遠(yuǎn)(縮小)，可視角度變大。圖1為可變焦相機(jī)在焦距改變時(shí)帶來(lái)的視場(chǎng)變化。

圖1 變焦相機(jī)焦距與視場(chǎng)的關(guān)系Fig.1 Relationship between focal length and field of view of camera

對(duì)于機(jī)器視覺(jué)系統(tǒng)中大部分應(yīng)用的定焦鏡頭，f為相機(jī)固定參數(shù)。要想在固定機(jī)位，即不改變u的情況下獲得較大或較小的視場(chǎng)角度是不可能的。因此，只有通過(guò)改變物距才可以實(shí)現(xiàn)。

2.2 可變視場(chǎng)調(diào)節(jié)的實(shí)現(xiàn)方法 該研究采用的硬件設(shè)備為大恒8 mm定焦USB 2.0工業(yè)相機(jī)。將此款相機(jī)安裝于步進(jìn)電機(jī)滑軌上，由于步進(jìn)電機(jī)的轉(zhuǎn)速、停止的位置只取決于脈沖信號(hào)的頻率和脈沖數(shù)，而不受負(fù)載變化的影響，配合上32細(xì)分的驅(qū)動(dòng)控制器，可以精確控制移動(dòng)高度[6]。通信方式采用USB串口向以8951單片機(jī)為下位機(jī)的控制板傳遞電機(jī)控制信號(hào)。自動(dòng)調(diào)節(jié)系統(tǒng)如圖2所示。

圖2 自動(dòng)調(diào)節(jié)系統(tǒng)示意Fig.2 Schematic diagram of automatic regulatory system

在相機(jī)上下移動(dòng)的同時(shí)，超聲波測(cè)距模塊會(huì)實(shí)時(shí)將相機(jī)高度(即u)計(jì)算出來(lái)，顯示到控制界面上，通過(guò)標(biāo)定后，該高度值將作為重要參數(shù)計(jì)算像素轉(zhuǎn)換系數(shù)。相機(jī)自動(dòng)調(diào)整控制界面如圖3所示。

圖3 自動(dòng)調(diào)節(jié)控制界面Fig.3 Interface of automatic adjustment control

點(diǎn)擊視場(chǎng)變大按鈕，相機(jī)將做遠(yuǎn)離拍攝主體運(yùn)動(dòng)，點(diǎn)擊視場(chǎng)減小按鈕，相機(jī)將做靠近拍攝主體運(yùn)動(dòng)。

3 相機(jī)標(biāo)定

相機(jī)成像的數(shù)學(xué)模型決定了空間物體表面某點(diǎn)在世界坐標(biāo)系中的位置與其在圖像坐標(biāo)系中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，通過(guò)試驗(yàn)與計(jì)算得到這些模型參數(shù)的過(guò)程就稱(chēng)為相機(jī)標(biāo)定。相機(jī)標(biāo)定問(wèn)題是機(jī)器視覺(jué)測(cè)量應(yīng)用中首先需要解決的問(wèn)題[7]。

3.1 傳統(tǒng)相機(jī)標(biāo)定法 該研究的目的是在核桃在線(xiàn)分級(jí)中建立合理的相機(jī)標(biāo)定模型。當(dāng)相機(jī)視場(chǎng)改變時(shí)可通過(guò)軟件計(jì)算，自動(dòng)對(duì)改變高度后的相機(jī)進(jìn)行標(biāo)定。此次相機(jī)標(biāo)定采用小孔成像原理，標(biāo)定方法采用傳統(tǒng)標(biāo)定法[8]，該方法需要使用尺寸已知的標(biāo)定物，通過(guò)標(biāo)定物上坐標(biāo)已知點(diǎn)組成的長(zhǎng)度與其圖像點(diǎn)之間進(jìn)行對(duì)應(yīng)，利用三角相似原理獲得相機(jī)內(nèi)部參數(shù)。針孔成像原理如圖4所示[9]。

圖4 針孔成像模型Fig.4 Pin-hole imaging model

根據(jù)針孔成像原理得到：

(2)

對(duì)公式進(jìn)行變形，并且令像素轉(zhuǎn)換系數(shù)為k，則公式(2)變?yōu)椋?/p>

(3)

當(dāng)u變化時(shí)，由于拍攝主體位置發(fā)生變化，為了清晰對(duì)焦，v會(huì)遵從凸透鏡成像原理，在2倍焦距外發(fā)生微小偏移，將成像最清晰的點(diǎn)承接至圖像平面上。由公式(1)可知，當(dāng)物距增加，像距向靠近透鏡方向偏移，相反，則向遠(yuǎn)離透鏡方向偏移，這解決了u和v在相機(jī)高度變化中的關(guān)系問(wèn)題，即為相機(jī)進(jìn)行了標(biāo)定。

3.2 進(jìn)行試驗(yàn)標(biāo)定 由于拍攝主體對(duì)象處于鏡頭正下方，鏡頭畸變小，且要求精度不是很高，所以此次標(biāo)定沒(méi)有采用象棋盤(pán)標(biāo)定模板，而是改為已知尺寸的核桃進(jìn)行標(biāo)定。標(biāo)定時(shí)對(duì)同一高度單個(gè)核桃進(jìn)行5次測(cè)量，每個(gè)高度對(duì)應(yīng)的像素值取5次測(cè)量的平均值。高度樣本為7個(gè)，高度區(qū)間為Hmin=18 cm，Hmax=28 cm。通過(guò)測(cè)量后給出原始拍攝圖片和處理后像素圖片，前后對(duì)照如圖5所示。

得到處理圖片后，由圖像處理軟件給出每個(gè)核桃對(duì)應(yīng)高度的輪廓像素?cái)?shù)據(jù)，并由每個(gè)核桃的實(shí)際尺寸和輪廓像素?fù)Q算出不同高度的轉(zhuǎn)換系數(shù)ki(i=1，2，…，7)。根據(jù)ki值和標(biāo)定的相機(jī)高度建立圖表關(guān)系，并進(jìn)行曲線(xiàn)擬合。由“3.1”分析可知，曲線(xiàn)大致為線(xiàn)性關(guān)系。圖6反映了標(biāo)定后像素轉(zhuǎn)換系數(shù)和相機(jī)高度的關(guān)系。

4 轉(zhuǎn)換系數(shù)自動(dòng)獲取

從轉(zhuǎn)換系數(shù)和相機(jī)高度的擬合關(guān)系中得到：

k=y=0.006 0x-0.015 4

(4)

當(dāng)需要相機(jī)調(diào)整時(shí)，操作人員只需根據(jù)實(shí)際情況長(zhǎng)按圖3中對(duì)應(yīng)的按鈕，步進(jìn)電機(jī)動(dòng)作時(shí)間與按鈕按下時(shí)間同步，松開(kāi)鼠標(biāo)按鍵，動(dòng)作停止。只要步進(jìn)電機(jī)轉(zhuǎn)動(dòng)，x值就會(huì)發(fā)生改變，同時(shí)下位機(jī)控制板IO口接收到超聲波模塊返回的相機(jī)高度值[10]，處理器隨即根據(jù)此關(guān)系式進(jìn)行換算，并將換算后的像素轉(zhuǎn)換系數(shù)以USB串口通信的方式反饋到交互式軟件界面[11]。

圖5 原始圖片和處理圖片F(xiàn)ig.5 Original images and treatment images

圖6 轉(zhuǎn)換系數(shù)和相機(jī)高度關(guān)系Fig.6 Relationship between conversion coefficient and camera height

圖像處理程序在對(duì)圖像(in)進(jìn)行輪廓提取后，得到輪廓數(shù)據(jù)的像素值(pn)，通過(guò)調(diào)用上述轉(zhuǎn)換系數(shù)值，得到：

ln=k×pn

(5)

式中，ln為系數(shù)轉(zhuǎn)化后的核桃尺寸。在核桃分級(jí)控制軟件界面有輸入等級(jí)尺寸的交互編輯框。由人工界定的某一品種核桃的不同等級(jí)尺寸，可輸入程序，讓ln與之判斷比較，從而精確給出核桃大小等級(jí)，最后由控制軟件將等級(jí)判斷結(jié)果送入下位機(jī)控制機(jī)構(gòu)，下位機(jī)控制對(duì)應(yīng)的不同等級(jí)的氣動(dòng)電磁閥動(dòng)作，實(shí)現(xiàn)精準(zhǔn)分級(jí)。

5 結(jié)論

(1)采用基于MFC界面交互的方式實(shí)現(xiàn)了機(jī)器視覺(jué)中相機(jī)視場(chǎng)的自動(dòng)調(diào)節(jié)。利用步進(jìn)電機(jī)驅(qū)動(dòng)相機(jī)可直線(xiàn)往復(fù)運(yùn)動(dòng)，同時(shí)超聲波測(cè)高模塊實(shí)時(shí)測(cè)量相機(jī)位置，精確反映高度，實(shí)現(xiàn)相機(jī)視場(chǎng)的拉近和遠(yuǎn)離。

(2)為獲得相機(jī)拍攝圖像的實(shí)際二維空間尺寸，對(duì)工業(yè)相機(jī)進(jìn)行了試驗(yàn)標(biāo)定，分析了實(shí)物坐標(biāo)和圖像坐標(biāo)之間的關(guān)系后計(jì)算出像素轉(zhuǎn)換系數(shù)，并將其與相機(jī)高度之間的關(guān)系進(jìn)行了線(xiàn)性擬合。通過(guò)測(cè)高模塊給出的高度計(jì)算得出對(duì)應(yīng)的像素轉(zhuǎn)換系數(shù)可方便控制軟件對(duì)核桃外形尺寸進(jìn)行分級(jí)判斷。

[1] 周竹，黃懿，李小昱，等.基于機(jī)器視覺(jué)的馬鈴薯自動(dòng)分級(jí)方法[J].農(nóng)業(yè)工程學(xué)報(bào)，2012，28(7)：178-183.

[2] 應(yīng)義斌，饒秀勤，黃永林，等.運(yùn)動(dòng)水果圖像的實(shí)時(shí)采集方法與系統(tǒng)研究[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2004，35(3)：179-182.

[3] 溫同強(qiáng).變焦距光學(xué)系統(tǒng)的研究與設(shè)計(jì)[D].鎮(zhèn)江：江蘇大學(xué)，2009.

[4] 鐘興，張?jiān)鸸?大視場(chǎng)光學(xué)系統(tǒng)像面照度均勻性?xún)?yōu)化[J].光學(xué)學(xué)報(bào)，2012，32(3)：41-45.

[5] 王琦，王光宇，程雪岷，等.變焦距鏡頭高斯光學(xué)設(shè)計(jì)的新方法[J].光學(xué)學(xué)報(bào)，2002，22(8)：983-989.

[6] 劉寶志.步進(jìn)電機(jī)的精確控制方法研究[D].濟(jì)南：山東大學(xué)，2010.

[7] GARY BRADSKI，ADRIAN KAEHLER.學(xué)習(xí)OpenCV(中文版)[M].于仕琪，劉瑞禎，譯.北京：清華大學(xué)出版社，2015.

[8] 王靖韜，侯振杰.傳統(tǒng)相機(jī)標(biāo)定方式的自動(dòng)標(biāo)定方法[J].計(jì)算機(jī)工程與應(yīng)用，2010，46(35)：205-208.

[9] 劉雪超.基于數(shù)字圖像處理的自動(dòng)調(diào)焦技術(shù)研究[D].長(zhǎng)春：中國(guó)科學(xué)院研究生院(長(zhǎng)春光學(xué)精密機(jī)械與物理研究所)，2014.

[10] 沈燕，高曉蓉，孫增友，等.基于單片機(jī)的超聲波測(cè)距儀設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2012，35(7)：126-130.

[11] 章輝，葉建芳，葉建威.基于MSComm控件串口通信的實(shí)現(xiàn)[J].電子測(cè)量技術(shù)，2011，34(8)：126-129.

科技論文寫(xiě)作規(guī)范——標(biāo)點(diǎn)符號(hào) 標(biāo)點(diǎn)符號(hào)按照1990年國(guó)家語(yǔ)言文字工作委員會(huì)等公布的《標(biāo)點(diǎn)符號(hào)的用法》執(zhí)行，每個(gè)標(biāo)點(diǎn)占一格(破折號(hào)占兩格)。外文中的標(biāo)點(diǎn)符號(hào)按照外文的規(guī)范和習(xí)慣。外文字母、阿拉伯?dāng)?shù)字、百分號(hào)等并列時(shí)，其間用“，”，不用頓號(hào)“、”。注意破折號(hào)“——”、范圍號(hào)“—”和連字符“-”的不同用法。破折號(hào)又稱(chēng)兩字線(xiàn)或雙連劃，占兩個(gè)字身位置；范圍號(hào)又稱(chēng)一字線(xiàn)或全身劃，占一個(gè)字身位置，連字符又稱(chēng)半字線(xiàn)或?qū)﹂_(kāi)劃，占半個(gè)字身位置。破折號(hào)可作文中的補(bǔ)充性說(shuō)明(如注釋、插入語(yǔ)等)，或用于公式或圖表的說(shuō)明文字中。范圍號(hào)用于表示從某某到某某。例如20—30℃，70%—90%，1949—1986年(本刊文中范圍號(hào)寫(xiě)成“～”，參考文獻(xiàn)范圍號(hào)用“-”。連字符用于連接詞組，或用于連接化合物名稱(chēng)與其前面的符號(hào)或位序，或用于公式、表格、插圖、插題、型號(hào)、樣本等的編號(hào)。外文中的破折號(hào)(Dash)的字身與m寬，俗稱(chēng)m Dash，其用法與中文中的破折號(hào)相當(dāng)。外文的連接符俗稱(chēng)哈芬(hyphen)。其中，對(duì)開(kāi)哈芬的字身為m字身的一半，相當(dāng)于中文中范圍號(hào)的用法；三開(kāi)哈芬的字身為m字母的1/3，相當(dāng)于中文中的連字符的用法。

Variable View of Camera and Pixel Conversion Coefficient Getting Automatically in Machine Vision for Walnut Grading

GUO Zheng, ZHOU Jun*, SHI Jian-xin et al

(College of Mechanical and Traffic College, Xinjiang Agricultural University, Urumqi, Xinjiang 830052)

For machine vision post-agricultural non-destructive testing in the field of view camera adjustments are difficult and require re-calibration adjustment problems, this paper presented a constant USB 2.0 industrial camera of Daheng-Image company field of view of MFC software interface to control automatic adjustment method. And through experiments to calibrate the camera, the camera fitted the equation between height and pixel conversion coefficient. When the camera field of view changed, ultrasound height measurement module in the system could give corresponding camera height. According to the equation, the program gave pixel conversion coefficient of corresponding height, which was convenient to image processing software. Walnut size was calculated according to the pixel count of walnut contour, so that the grade was accurately judged.

Machine vision; Camera view; Pixel conversion coefficient; System calibration

“十二五”國(guó)家科技支撐計(jì)劃項(xiàng)目(2011BAD27B02-05-02)；新疆維吾爾自治區(qū)科技成果轉(zhuǎn)化項(xiàng)目(201130102-4)。

郭政(1990-)，男，江蘇宿遷人，碩士研究生，研究方向：農(nóng)業(yè)機(jī)械工程。*通訊作者，講師，從事農(nóng)業(yè)機(jī)械研究。

2016-08-19

S 22

A

0517-6611(2016)29-0234-03