朱德利，陳兵旗，梁習(xí)卉子，楊艷秋

?

基于傾斜攝影的玉米種粒三維參數(shù)同步測量裝置

朱德利1,2，陳兵旗1※，梁習(xí)卉子1，楊艷秋1

（1. 中國農(nóng)業(yè)大學(xué)工學(xué)院，北京 100083； 2. 重慶師范大學(xué)計算機與信息科學(xué)學(xué)院，重慶 401331）

為解決脫穗之后的玉米種粒三維特征的獲取和分析這個重要而又困難的問題，該研究基于機器視覺技術(shù)開發(fā)了一種融合三維特征的玉米種?？挤N裝置。裝置通過2塊相互垂直的標(biāo)定板來保留傾斜影像中的空間信息和標(biāo)定數(shù)據(jù)，并據(jù)此計算三維數(shù)據(jù)?；谘b置的標(biāo)定數(shù)據(jù)，用圖像處理的方法獲取玉米種粒的長度、寬度和厚度數(shù)值。通過透視變換，從傾斜攝影圖像分別得到水平正攝和垂直正攝的圖像；玉米種粒輪廓的長軸和短軸以旋轉(zhuǎn)盤的直徑為參考進(jìn)行計算；玉米種粒的厚度以垂直方向棋盤格標(biāo)定數(shù)據(jù)為參考進(jìn)行計算。按照10 幀/s的幀率和1 280×720的圖像分辨率啟動圖像記錄系統(tǒng)。選取180粒不同品種的玉米種粒進(jìn)行試驗。種粒長軸、短軸和厚度測量的均方根誤差分別為1.86、1.28和0.741 mm；決定系數(shù)分別是0.849 6、0.869 3和0.846 2。使用該裝置并配合相應(yīng)的方法能較為準(zhǔn)確的一次性測量玉米種粒的三維參數(shù)，該研究可為玉米種粒的精細(xì)化考種提供參考。

機器視覺；圖像處理；測量；玉米種粒；農(nóng)業(yè)裝置；傾斜攝影

0 引 言

玉米作為中國的重要主糧，其品種特性分析判斷是農(nóng)業(yè)生產(chǎn)和科研中的重要課題。考種作業(yè)即是通過技術(shù)手段考查其品種特征特性[1]。研究人員基于計算機視覺技術(shù)結(jié)合機械、電子等手段針對玉米考種問題已經(jīng)有一些理論分析及系統(tǒng)實現(xiàn)。針對玉米在穗和脫穗2種狀態(tài)，分成2種類型的考種模式[2]。其一是針對玉米在穗的考種，主要是玉米還未脫穗前，對玉米穗進(jìn)行整穗考查，其考查參數(shù)包括穗長[3]、穗粗[4]、穗行數(shù)[5]、行粒數(shù)[6]、禿尖程度[7]、穗質(zhì)量[8]等；其二是針對玉米種粒的考種，即在玉米從穗上脫粒之后，對玉米種粒進(jìn)行單獨或批量考查，其考查參數(shù)包括種粒的長、寬、周長、面積、千粒質(zhì)量等[9]。相對于傳統(tǒng)的基于游標(biāo)卡尺、卷尺、天平等人工考種而言，這些自動化考種系統(tǒng)在速度、客觀性等方面都有較大的技術(shù)進(jìn)步[10]。但是統(tǒng)觀已經(jīng)實現(xiàn)的考種方法和系統(tǒng)，沒有能對玉米種粒的長度、寬度和厚度三維特征同時進(jìn)行有效獲取和分析的解決方案。其中部分在穗玉米考種系統(tǒng)能通過旋轉(zhuǎn)玉米穗的方法[11]，用圖像處理技術(shù)獲取每一個種粒的厚度，但是由于種粒還在穗，所以無法通過無損的方法獲取其長度和寬度[12]；基于脫穗后的種?？挤N方法雖能方便地通過圖像處理技術(shù)獲取種粒的長和寬等參數(shù)[13]，但是現(xiàn)有的研究還沒有能獲取其厚度參數(shù)的解決方案，其主要原因是現(xiàn)有采取正面拍攝玉米種粒的方法[14]，獲取不了厚度信息。傾斜攝影是近年來在航空攝影測量領(lǐng)域興起的一種測量方法[15]。它改變了以往正射影像只能從垂直角度拍攝的局限，通過傾斜圖像采集裝置再配合影像的透視變換進(jìn)行測量[16]。相對于航空測量來說，玉米種?？挤N的測量環(huán)境更加可控[17]，因此可以借鑒該理論用于考種領(lǐng)域。本研究設(shè)計了一種傾斜攝影配合旋轉(zhuǎn)試驗臺的自動玉米種?？挤N裝置，并基于裝置的標(biāo)定數(shù)據(jù)，試驗了用機器視覺技術(shù)獲取玉米種粒三維參數(shù)的測量方法，以期解決玉米考種作業(yè)中同步獲取種粒長度、寬度和厚度參數(shù)的問題。

1 試驗裝置

試驗裝置的整體設(shè)計原理是，通過傾斜攝影得到玉米種粒的圖像，基于裝置的標(biāo)定數(shù)據(jù)，用圖像處理的方法獲取玉米種粒的長度、寬度和厚度數(shù)值。測量方法是：通過透視變換，從傾斜攝影圖像分別得到水平正攝和垂直正攝的圖像；玉米種粒輪廓的長軸和短軸以旋轉(zhuǎn)盤的直徑為參考進(jìn)行計算；玉米種粒的厚度以垂直方向棋盤格為參考進(jìn)行計算。

根據(jù)設(shè)計原理，裝置主要由高清相機、兩塊相互垂直的標(biāo)定板、電子衡器及計算機等設(shè)備構(gòu)成，如圖1所示。

1）待測玉米種粒放置于步進(jìn)電機驅(qū)動的旋轉(zhuǎn)圓盤上。圓盤采用黑色襯底以便圖像處理過程中種粒區(qū)域的抽出。水平標(biāo)定板中間有一個圓孔，圓盤置于圓孔中間。在水平標(biāo)定板上用線明確的標(biāo)示出圓盤的外接正方形。該正方形與圓盤的切點及正方形的4個頂點用紅色點明確標(biāo)出。這些點在圖像系統(tǒng)中的坐標(biāo)做為標(biāo)定數(shù)據(jù)提供給測量系統(tǒng)，為后續(xù)的透視變換提供支持；圓盤的直徑作為已知參數(shù)亦提供給測量系統(tǒng)，為玉米種粒的長度和寬度測量提供定標(biāo)數(shù)據(jù)。均衡考慮玉米種粒的尺寸和考種效率，圓盤的直徑設(shè)定為200 mm。

2）垂直部分標(biāo)定板由10×6的黑白棋盤格為主體構(gòu)成。棋盤格與旋轉(zhuǎn)圓盤的外接正方形對齊，故該棋盤格的每個小方格的邊長為20 mm。垂直部分的棋盤格用于為玉米種粒的厚度測量提供定標(biāo)數(shù)據(jù)。

3）相機的視角為俯視45°；調(diào)節(jié)相機與轉(zhuǎn)臺的位置，使相機的視場恰好容納標(biāo)定板；用1 280×720像素的解析度和10幀/s的幀率采集圖像。

1. 三腳架 2.相機云臺 3.相機 4.標(biāo)定板垂直部分 5.標(biāo)定板水平部分 6.黑色襯底旋轉(zhuǎn)盤 7.步進(jìn)電機 8.電子衡器 9.鋁型材框架 10.步進(jìn)電機直流電源 11.步進(jìn)電機控制線 12.質(zhì)量數(shù)據(jù)傳輸線 13.圖像數(shù)據(jù)傳輸線 14.計算機 15.顯示和操作設(shè)備

2 測量圖像的預(yù)處理

2.1 計算垂直正攝和水平正攝圖像

當(dāng)相機垂直于拍攝平面時，物體投影到圖像傳感器上的圖像和物體的真實形狀是一致的，如果傾斜拍攝，形成的圖像會發(fā)生變形，需要通過透視變換來校正[18]。

通常使用齊次坐標(biāo)的方法表示透視變換[19]。設(shè)原始圖像像素坐標(biāo)為（,），表示成齊次坐標(biāo)為（,,1），對應(yīng)得到變換后該點的坐標(biāo)為（,），表示成齊次坐標(biāo)為（,,），則透視變換可以表示為

在計算完透視矩陣之后一般把矩陣的所有元素都除以33，得到

式中，分別為變換前的像素點的橫坐標(biāo)和縱坐標(biāo)。

由以上的推導(dǎo)可見，求透視變換的只需要求透視變換矩陣即可，根據(jù)該矩陣就能依據(jù)某像素變換前的坐標(biāo)獲得該像素在透視圖中的坐標(biāo)位置。

式（3）中共有8個參數(shù)，要確定這8個參數(shù)的值，需要有8個方程。因此需要4對變換前后圖像坐標(biāo)點。依據(jù)此原理，本試驗用一次傾斜攝影得到的圖像，根據(jù)相應(yīng)的標(biāo)定獲取測量裝置的水平正攝圖像和垂直正攝圖像，然后依據(jù)得到的圖像獲得玉米種粒的三維數(shù)據(jù)。

試驗中根據(jù)測量設(shè)備的標(biāo)定獲取透視圖像的方法如下。

1）從傾斜攝影圖像轉(zhuǎn)化為垂直正攝視圖圖像，以旋轉(zhuǎn)盤的外接正方形標(biāo)定為基準(zhǔn)來確定透視圖的新坐標(biāo)點。其步驟是：

①標(biāo)定轉(zhuǎn)盤的外接正方形4個頂點分別是(1,2)，(1,2)，(12)，(12)，轉(zhuǎn)盤與該正方形相切且與相機中軸方向一致的切點分別是(12)，(12)，分別取得這些標(biāo)定點的坐標(biāo)且存入不同的變量；設(shè)垂直正攝視圖中對應(yīng)的坐標(biāo)點分別是(12)，(1,2)，(12)，(12),設(shè)置相應(yīng)的變量來存儲后續(xù)的計算結(jié)果，如圖2所示。

圖2 獲取垂直正攝圖的透視變換坐標(biāo)方法

②通過比較標(biāo)定點的坐標(biāo)，確保2=2,2=2,2=2，以保證測量裝置與相機的正確位置。

③點和點的距離作為新的正方形的邊長，設(shè)邊長變量名為，由于、點的縱坐標(biāo)一致，故=1-1。

④以點為標(biāo)準(zhǔn)計算和兩點，其坐標(biāo)分別是′(1,2-/2)，′(1,2+/2)。

⑤以點為標(biāo)準(zhǔn)計算′和兩點，其坐標(biāo)分別是′(1,2-/2)，′(1,2+/2)。

2）從傾斜攝影圖像轉(zhuǎn)化為水平正攝視圖圖像?；驹砼c垂直正攝圖像獲取方法類似。先取得傾斜攝影圖像上的4個特征點，然后計算水平正攝視圖圖像對應(yīng)的4個點的坐標(biāo)值，再結(jié)合4對點的坐標(biāo)值利用透視變換來獲取水平正攝圖像。根據(jù)裝置的構(gòu)造特點，取垂直的棋盤格的第一個黑色正方形的4個頂點為特征點能完成這一標(biāo)定。

2.2 粘連種粒的分割

為了使玉米種粒的厚度信息能盡可能地被相機采集到，本系統(tǒng)要求在測量前將待測種粒進(jìn)行離散化操作，消除上下重疊的種粒。盡管如此，也不能排除采集到的圖像中有粘連的玉米種粒，故預(yù)處理圖像時需要對種粒進(jìn)行分割。本研究引入像素距離測量方法[20-21]，結(jié)合分水嶺算法[22]進(jìn)行分割，取得了較好的效果。

首先在轉(zhuǎn)盤標(biāo)定的基礎(chǔ)上確定種粒區(qū)域作為圖像處理的感興趣區(qū)域（region of interest，ROI），然后對該區(qū)域進(jìn)行二值化操作。由于本研究使用的轉(zhuǎn)盤為黑色襯底，故獲取的處理區(qū)域灰度圖像的直方圖會有明顯的雙峰，使用全局閾值法[23]能獲取適于后續(xù)處理的二值化圖像。對二值圖像進(jìn)行去噪、消除毛刺、填充空洞等預(yù)處理操作后，再對像素點進(jìn)行距離測量，然后結(jié)合分水嶺算法對圖像進(jìn)行分割。

基于距離計算的分水嶺算法流程如圖3所示。其原理是[24]：先計算輸入二值圖像的所有非零元素對其最近零元素的距離；再計算測距圖像的梯度；然后根據(jù)梯度標(biāo)識區(qū)域，直至沒有新的極小區(qū)域。當(dāng)閾值擴展到某一個灰度值，該值會使對應(yīng)的區(qū)域合并時結(jié)束，終止的像素位置即對應(yīng)于分水嶺的分割線。

圖3 基于距離的分水嶺算法流程圖

從以上算法的實現(xiàn)過程可知，分水嶺算法的關(guān)鍵在于找出分割區(qū)域的標(biāo)識，有多少個標(biāo)識最終就會分割出多少個封閉區(qū)域。通過對玉米種粒的二值化圖像的像素點進(jìn)行距離測量，能保證每個種粒都有一個標(biāo)識區(qū)域。算法的該特性為準(zhǔn)確分割多個粘連種粒提供了保證。圖4以2個粘連種粒的分割為例，表示了帶距離計算的分水嶺算法處理過程和結(jié)果。

圖4 基于距離的分水嶺算法處理過程及結(jié)果

3 種粒尺寸的計算

3.1 種粒方向的判斷和長寬的計算

本系統(tǒng)需要用正確的種粒方向來確定計算種粒厚度所使用的圖像幀，寧紀(jì)鋒等[25]通過計算種粒輪廓的曲率來判斷方向，原理較復(fù)雜。本研究設(shè)計了一種簡單的種粒方向判斷方法：通過計算玉米種粒輪廓的0階矩和1階矩，首先計算出輪廓的形心；然后以距離形心最大的點作為種粒的尖端點；形心與尖端點連線的方向即為種粒的方向。

使用透視變換獲得的垂直正攝圖像來計算種粒的長和寬。具體測量方法如下。

1）連接輪廓的尖端點和形心點，然后計算這2點決定的直線與輪廓的另一個交點；將點和該交點組成的線段作為長軸；

2）求過形心且垂直于長軸的直線，并計算該直線與玉米種粒輪廓交點，以這兩個交點連成的線段作為短軸；

3）以長軸的長度數(shù)據(jù)作為玉米種粒的長，短軸的長度數(shù)據(jù)作為玉米種粒的寬。如圖5所示。

注：v M為種粒輪廓的形心；N為與形心距離最大的點；L為長軸；S為短軸。

3.2 提取ROI區(qū)域所有種粒背面圖像

種粒背面圖像提取的基本原理是根據(jù)每一種粒在第一幀的角度，然后結(jié)合測量系統(tǒng)的參數(shù)，計算其背部正對相機中軸的圖像幀，最后根據(jù)坐標(biāo)關(guān)系獲取背面圖像。操作過程如圖6所示。

1）以第一幀圖像為基礎(chǔ)，按照前述方法對二值圖像進(jìn)行分割后，把第一幀的每一粒種粒進(jìn)行編號，同時通過種粒方向計算每一種粒相對于相機中軸的角度，并記錄該種粒在第一幀中的位置坐標(biāo)。

2）根據(jù)轉(zhuǎn)盤的轉(zhuǎn)速、相機采集圖像的幀率等測量系統(tǒng)基本參數(shù)，對每一粒種粒分別計算其旋轉(zhuǎn)到背部正對相機的時間，進(jìn)而獲取該時間所對應(yīng)的圖像幀，設(shè)其幀號為。

3）從圖像序列中取出第幀，根據(jù)第一幀每一粒種粒的位置坐標(biāo)計算旋轉(zhuǎn)到幀后該種粒的位置坐標(biāo)，設(shè)該坐標(biāo)為。

4）對幀用基于距離的分水嶺算法進(jìn)行二值分割，提取坐標(biāo)為的分割對象即為該種粒背面正對相機的圖像。

由于旋轉(zhuǎn)系統(tǒng)有不可避免的輕微震動，坐標(biāo)計算過程中也存在一定的誤差，故在程序?qū)崿F(xiàn)時需要把幀中輪廓形心點最靠近坐標(biāo)的種粒做為目標(biāo)種粒，可使尋找種粒背面圖像的方法更具魯棒性。

圖6 提取ROI區(qū)域所有種粒背面圖像

3.3 種粒厚度的計算

在種粒長寬數(shù)值計算完畢后進(jìn)入種粒厚度計算程序。以每一種粒的背部圖像為基礎(chǔ)，計算該種粒在水平正攝視圖中的圖像，將其做為待求厚度的目標(biāo)圖像。

種粒表面比較光滑，使用圖像分割的方法得到其厚度區(qū)域是困難的。由于大部分種粒寬度最大處在其種皮背部與胚乳部的交界處。如圖7a所示。本研究依據(jù)該形狀特點，使用水平方向的累計分布圖來獲取種粒厚度上下邊界。

1）在前述種粒分割結(jié)果圖的基礎(chǔ)上，提取被測種粒的二值圖像，如圖7b所示；

2）計算該二值圖像水平方向像素值累計分布數(shù)據(jù)；

3）種粒的下邊界作為其背部的下邊界；取累計分布中的最大值所在的位置作為其背部上邊界，如圖7c所示。

圖7 種粒厚度邊界的提取和計算

由于透視的關(guān)系，該數(shù)據(jù)還不是種粒真正的厚度數(shù)據(jù)，故需根據(jù)種粒所在的位置，建立空中解析和計算三角形，把上一步測得的數(shù)據(jù)映射到用于標(biāo)定的棋盤格平面，從而取得準(zhǔn)確的測量結(jié)果。

1）如圖8所示，設(shè)轉(zhuǎn)盤的四條切線組成平面。和兩點的連線交于（1,2）點；由于,,,四點的坐標(biāo)已經(jīng)標(biāo)定，故能計算直線和直線的方程，根據(jù)兩條直線的方程計算點的坐標(biāo)。

2）設(shè)待計算種粒的形心點為(1,2)，可獲得、兩點確定的直線方程；計算直線和兩點的交點，設(shè)此點為(1,2)。經(jīng)點做垂直于直線的線段，其長度為上一步獲取的玉米厚度，由此可以確定的坐標(biāo)1和2。將3點確定的平面命名為。

3）平面中的3點獲得后，即可確定空中解算三角形的夾角，設(shè)前一步計算得到的玉米圖像背部數(shù)值為，則映射到棋盤格平面的數(shù)值′即可通過解三角形的方法獲得。

注： J(j1,j2)為待計算種粒的輪廓形心坐標(biāo)；b為玉米背部圖像的厚度數(shù)值；H(h1,h2)為空中解算三角形的一個頂點；x′為映射到垂直標(biāo)定板的厚度數(shù)值；α為空中解算三角形的角度。

4 試驗與結(jié)果分析

以Microsoft Visual Studio 2010為軟件開發(fā)工具，結(jié)合北京現(xiàn)代富博科技有限公司的ImageSys圖像處理平臺[26-27]，并使用OpenCV機器視覺算法庫[28]完成試驗程序的開發(fā)。

試驗中步進(jìn)電機帶動轉(zhuǎn)盤以10°/s的速度旋轉(zhuǎn)。以10幀/s的幀率和1 280×720像素的分辨率啟動圖像記錄系統(tǒng)。選取魯單981、農(nóng)大108、鄭單958等3個品種[29-30]作為試驗對象，每種玉米60粒，共180粒玉米進(jìn)行試驗。

4.1 變換矩陣計算結(jié)果

按照圖2的方法進(jìn)行標(biāo)定，可以得到獲取垂直正攝透視變換矩陣需要的源點和目標(biāo)點坐標(biāo)，分別是(62,578)，(749,578)，(115,225)，(685,225)以及′(92,697)，′(715,697)，(′92,73)，′(715,73)。設(shè)計算得到的透視變換矩陣為1，該矩陣結(jié)果為式（4）。

類似的方法，獲取水平正攝透視變換矩陣需要的源點和目標(biāo)點坐標(biāo)。計算得到新的透視變換矩陣為2′，該矩陣結(jié)果為式（5）。

以圖2所示的圖像為例，經(jīng)過透視變換后，得到如圖9a所示的垂直正攝圖和如圖9b所示的水平正攝圖。

圖9 透視變換后獲取的垂直和水平正攝圖

4.2 不同玉米品種測量的標(biāo)準(zhǔn)差

選取品種為魯單981的60個種粒樣本放入旋轉(zhuǎn)圓盤，啟動圖像測量系統(tǒng)。36 s后結(jié)束圖像采集，進(jìn)入計算程序。在系統(tǒng)的標(biāo)定數(shù)據(jù)的基礎(chǔ)上，程序分別計算透視變換矩陣，然后再在垂直正攝圖的基礎(chǔ)上計算每一種粒的長度和寬度，在水平正攝圖的基礎(chǔ)上計算每一種粒的厚度。最后對該品種的測量數(shù)據(jù)進(jìn)行統(tǒng)計。用同樣的流程對農(nóng)大108和鄭單958分別進(jìn)行測量和統(tǒng)計。表1是這3種玉米種粒測量結(jié)果的標(biāo)準(zhǔn)差統(tǒng)計。

表1 不同玉米品種測量的標(biāo)準(zhǔn)差

4.3 測量誤差分析

本研究采用人工測量數(shù)據(jù)與圖像測量數(shù)據(jù)進(jìn)行對比的方式來進(jìn)行測量誤差分析。使用游標(biāo)卡尺分別對試驗樣本的粒長、粒寬及其粒厚進(jìn)行測量。為了保證人工測量數(shù)據(jù)的準(zhǔn)確性，試驗中采用3個不同的試驗人員對同一樣本進(jìn)行測量，然后取其平均值作為該份樣本的人工測量結(jié)果。

把3個品種的180個樣本的圖像測量結(jié)果和人工測量結(jié)果統(tǒng)計對比，圖像測量的誤差如圖10所示。從圖中可以看出，以人工測量數(shù)據(jù)為基準(zhǔn)，圖像測量方法對玉米種粒的長度、寬度和厚度測量的均方根誤差分別為1.86、1.28和0.741 mm；圖像測量值與人工測量值的決定系數(shù)分別為0.849 6、0.869 3和0.846 2。統(tǒng)計結(jié)果表明圖像測量系統(tǒng)的測量結(jié)果與人工測量結(jié)果之間具有較高的一致性。

圖10 種粒三維參數(shù)圖像測量誤差分析

5 結(jié) 論

1）該文設(shè)計了一種融合三維特征的玉米種粒考種裝置。通過傾斜攝影得到玉米種粒的圖像，在標(biāo)定裝置已知信息的基礎(chǔ)上，用圖像處理的方法獲取玉米種粒的長度、寬度和厚度數(shù)值，結(jié)合電子衡器的數(shù)據(jù)獲取千粒質(zhì)量。通過透視變換，從傾斜攝影圖像分別得到水平正攝和垂直正攝的圖像；玉米種粒輪廓的長軸和短軸以旋轉(zhuǎn)盤的直徑為參考進(jìn)行計算；玉米種粒的厚度以垂直方向棋盤格標(biāo)定數(shù)據(jù)為參考進(jìn)行計算。

2）以O(shè)penCV配合Visual studio 2010完成試驗程序的開發(fā)。選取魯單981、農(nóng)大108和鄭單958等3個品種為對象，每種玉米60粒，共180粒玉米做為樣本進(jìn)行試驗。以人工測量數(shù)據(jù)為基準(zhǔn)，圖像測量方法對玉米種粒的長度、寬度和厚度測量的均方根誤差分別為1.86、1.28和0.741 mm；圖像測量值與人工測量值的決定系數(shù)分別為0.849 6、0.869 3和0.846 2。試驗證明本方法能較為準(zhǔn)確地一次性測量玉米種粒的三維參數(shù)，可為玉米種粒的精細(xì)化考種作業(yè)提供參考。

[1] 王傳宇，郭新宇，吳升，等. 采用全景技術(shù)的機器視覺測量玉米果穗考種指標(biāo)[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(24)：155―162.

Wang Chuanyu, Guo Xinyu, Wu Sheng, et al. Investigate maize ear traits using machine vision with panoramic photography[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(24): 155―162. (in Chinese with English abstract)

[2] Panigrahi S, Misra M K, Willson S. Evaluations of fractal geometry and invariant moments for shape classification of corn germplasm[J]. Computers and Electronics in Agriculture, 1998, 20(1): 1－20.

[3] 齊江濤，張書慧，牛序堂，等. 穗狀玉米測產(chǎn)系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)機械學(xué)報，2011，42(1)：181―185.

Qi Jiangtao, Zhang Shuhui, Niu Xutang, et al. Design and application of yield monitor system for corn ear[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(1): 181―185. (in Chinese with English abstract)

[4] 王慧慧，孫永海，劉晶晶，等. 基于二維離散小波的鮮玉米果穗成熟度的等級評定[J]. 吉林大學(xué)學(xué)報：工學(xué)版，2011，41(2)：574－578.

Wang Huihui, Sun Yonghai, Liu Jingjing, et al. Evaluation of maturity grading of fresh corn ears based on two-dimensional discrete wavelet[J]. Journal of Jilin University: Engineering and Technology Edition, 2011, 41(2): 574－578. (in Chinese with English abstract)

[5] 王僑，陳兵旗，楊曦，等. 用于定向播種的玉米種穗圖像精選方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(1)：170－177.

Wang Qiao, Chen Bingqi, Yang Xi, et al. Corn ears image selection method for directional seeding[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(1): 170－177. (in Chinese with English abstract)

[6] 劉長青，陳兵旗. 基于機器視覺的玉米果穗?yún)?shù)的圖像測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(6)：131－138.

Liu Changqing, Chen Bingqi. Method of image detection for ear of corn based on computer vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(6): 131－138. (in Chinese with English abstract)

[7] 周金輝，馬欽，朱德海，等. 基于機器視覺的玉米果穗產(chǎn)量組分性狀測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2015，31(3)：221―227.

Zhou Jinhui, Ma Qin, Zhu Dehai, et al.Measurement method for yield component traits of maize based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 221―227. (in Chinese with English abstract)

[8] 楊錦忠，張洪生，郝建平，等. 玉米果穗圖像單一特征的品種鑒別力評價[J]. 農(nóng)業(yè)工程學(xué)報，2011，27(1)：196―200.

Yang Jinzhong, Zhang Hongsheng, Hao Jianping, et al. Identifying maize cultivars by single characteristics of ears using image analysis[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(1): 196―200. (in Chinese with English abstract)

[9] 王傳宇，郭新宇，溫維亮，等. 基于計算機視覺的玉米種粒形態(tài)測量[J]. 農(nóng)機化研究，2011，33(6)：141－144.

Wang Chuanyu, Guo Xinyu, Wen Weiliang, et al. The measurement of maize kernel shape based on computer vision[J]. Journal of Agricultural Mechanization Research, 2011, 33(6): 141－144. (in Chinese with English abstract)

[10] 曹婧華，冉彥中，郭金城. 玉米考種系統(tǒng)的設(shè)計與實現(xiàn)[J]. 長春師范學(xué)院學(xué)報：自然科學(xué)版，2011，30(4)：38－41.

Cao Jinghua, Ran Yanzhong, Guo Jincheng. The design and realization of corn test system[J]. Journal of Changchun Normal University: Natural Science, 2011, 30(4): 38－41. (in Chinese with English abstract)

[11] 柳冠伊，楊小紅，白明，等. 基于線陣掃描圖像的玉米果穗性狀檢測技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報，2013，44(11)：276－280.

Liu Guanyi, Yang Xiaohong, Bai Ming, et al. Detecting techniques of maize ear characters based on line scan image[J]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(11): 276－280. (in Chinese with English abstract)

[12] 段熊春，周金輝，王思嘉. 面向玉米果穗考種測量的圖像標(biāo)定方法[J]. 農(nóng)機化研究，2014,36(1)：76－79.

Duan Xiongchun, Zhou Jinhui, Wang Sijia. Image calibration method for the ear of corn measurement system[J]. Journal of Agricultural Mechanization Research, 2014, 36(1): 76－79. (in Chinese with English abstract)

[13] 韓仲志，楊錦忠. 計數(shù)玉米穗行數(shù)的機器視覺研究[J]. 玉米科學(xué)，2010，18(2)：146－148，152.

Han Zhongzhi, Yang Jinzhong. Vision research on the machine of counting ear rows in maize[J]. Journal of Maize Sciences, 2010, 18(2): 146－148, 152. (in Chinese with English abstract)

[14] 劉苗騰，郭新宇，溫維亮，等. 基于農(nóng)學(xué)參數(shù)的玉米葉片表觀建模與可視化方法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(19)：187－195.

Liu Miaoteng, Guo Xinyu, Wen Weiliang, et al. Appearance modeling and visualization of maize leaf with agronomic parameters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(19): 187－195. (in Chinese with English abstract)

[15] 張軍國，馮文釗，胡春鶴，等. 無人機航拍林業(yè)蟲害圖像分割復(fù)合梯度分水嶺算法[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(14)：93－99.

Zhang Junguo, Feng Wenzhao, Hu Chunhe, et al. Image segmentation method for forestry unmanned aerial vehicle pest monitoring based on composite gradient watershed algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(14): 93－99. (in Chinese with English abstract)

[16] Kise M, Zhang Q. Creating a panoramic field image using multi-spectral stereovision system[J]. Computers and Electronics in Agriculture, 2008, 60(1): 67－75.

[17] 閘建文，陳永艷. 基于外部特征的玉米品種計算機識別系統(tǒng)[J]. 農(nóng)業(yè)機械學(xué)報，2004，35(6)：115－118.

Zha Jianwen, Chen Yongyan. Recognition system for corn species by exterior parameters[J]. Transactions of the Chinese Society for Agricultural Machinery, 2004, 35(6): 115－118. (in Chinese with English abstract)

[18] Sakai N, Yonekawa S, Matsuzaki A. Two-dimensional image analysis of the shape of rice and its application to separating varieties[J]. Journal of Food Engineering, 1996, 27(4): 397－407.

[19] Keefe P D, Draper S R. The measurement of new characters for cultivar identification in wheat using machine vision[J]. Seed Science Technology, 1986(14): 715－724.

[20] Gunasekaran S, Cooper T M, Berlage A G. Evaluating quality factors of corn and soybeans using a computer vision system[J]. Transactions of the ASABE, 1988, 31(4): 1264－1271.

[21] Ng H F, Wilcke W F, Morey R V, et al. Machine vision evaluation of corn kernel mechanical and mold damage [J]. Transactions of the American Society of Agricultural Engineers, 1998, 41(2): 415－420.

[22] 任守綱，馬超，謝忠紅，等. 基于分水嶺和梯度的蝴蝶蘭圖像分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(9)：125－129.

Ren Shougang, Ma Chao, Xie Zhonghong, et al. Image segmentation algorithm for Phalaenopsis amabilis based on watershed algorithm and gradient[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(9): 125－129. (in Chinese with English abstract)

[23] 張怡卓，佟川，于慧伶. 基于形態(tài)學(xué)重構(gòu)的實木地板缺陷分割方法研究[J]. 森林工程，2012，28(3)：14－17.

Zhang Yizhuo, Tong Chuan, Yu Huiling. Research on wood floor defects segmentation based on morphological reconstruction[J]. Forest Engineering, 2012, 28(3): 14－17. (in Chinese with English abstract)

[24] 李文勇，陳梅香，許樹坡，等. 基于分水嶺和凸包理論的自然場景下未成熟蘋果直徑測量方法[J]. 農(nóng)業(yè)工程學(xué)報，2014，30(23)：207－214.

Li Wenyong, Chen Meixiang, Xu Shupo, et al. Diameter measurement method for immature apple based on watershed and convex hull theory[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(23): 207－214. (in Chinese with English abstract)

[25] 寧紀(jì)鋒，何東健，楊蜀秦. 玉米籽粒的尖端和胚部的計算機視覺識別[J]. 農(nóng)業(yè)工程學(xué)報，2004，20(3)：117－119.

Ning Jifeng, He Dongjian, Yang Shuqin. Identification of tip cap and germ surface of corn kernel using computer vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2004, 20(3): 117－119. (in Chinese with English abstract)

[26] 張興會. 基于機器視覺的玉米種子穗選及粒選方法研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2012.

Zhang Xinghui. Method of Ear Corn and Corn Seed Selection Based on Image Processing[D]. Beijing: China Agricultural University, 2012. (in Chinese with English abstract)

[27] 王僑，陳兵旗，寇春榮，等. 基于機器視覺的玉米種粒定向定位擺放裝置研制[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(11)：19－28.

Wang Qiao, Chen Bingqi, Kou Chunrong, et al. Development of corn seed directional positioning machine based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 19－28. (in Chinese with English abstract)

[28] 宋懷波，張傳棟，潘景朋，等. 基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(3)：163－168.

Song Huaibo, Zhang Chuandong, Pan Jingpeng, et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(3): 163－168. (in Chinese with English abstract)

[29] 宋鵬，張晗，王成，等. 玉米高通量自動考種裝置設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2017，33(16)：41－47.

Song Peng, Zhang Han, Wang Cheng, et al. Design and experiment of high throughput automatic measuring device for corn[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(16): 41－47. (in Chinese with English abstract)

[30] 楊曦. 基于機器視覺的玉米穗及玉米粒精選算法研究[D]. 北京：中國農(nóng)業(yè)大學(xué)，2014.

Yang Xi. Research on the Selection Algorithm of Corn Ears and Seeds Based on Machine Vision[D]. Beijing: China Agricultural University, 2014. (in Chinese with English abstract)

Apparatus for synchronous measuring three dimensional parameters of maize seeds based on oblique photography

Zhu Deli1,2, Chen Bingqi1※, Liang Xihuizi1, Yang Yanqiu1

(1.100083,; 2.401331,)

It is an important and difficult problem to acquire and analyze the three-dimensional characteristics of maize seeds after the ear removal. In this study, a maize seed measuring device and the corresponding algorithm were developed based on oblique photography. The device was used to store the spatial information and the calibration data which were obtained from oblique photography. Through 2 mutually perpendicular calibration plates, the three-dimensional data were calculated based on the obtained information and data. The center of the horizontal plate was provided with a circular hole whose diameter is equal to that of the rotating disk (200 mm in the experiment). The diameter of the round hole was measured as a constant to provide for the system. It provided calibration data for measuring the length and width of maize seeds. The tangent points on the left and right sides and the 4 vertices of the square were clearly marked with red dots. The stepper motor drove the disk to rotate with the speed of 10 degrees per second. The image recording system started with the speed of 10 frames per second and the resolution of 1280×720. With the support of the device, the length, width and thickness of each maize seed were obtained by image processing algorithm. Horizontal and vertical images were taken from oblique photography images by perspective transformation; long axis and short axis of each maize seed were calculated using the diameter of the disk as the reference; the thickness of a maize seed was calculated by taking the calibration data as the reference. Pixel distance measurement method was combined with the watershed algorithm to achieve better image segmentation results. First, global threshold was used to obtain binary image. Then the distance of 2 pixels in the binary image was calculated. At last combined with the watershed algorithm, the boundary of the region was taken as the watershed. A simple and fast calculation method was designed according to the shape characteristics of maize seed to judge the seeds direction. First the centroid was calculated based on the moments of maize contour, and then the pixel whose distance from the centroid was the maximum was taken as the tip of the seed. The direction of the connection between the center and tip point was the direction of the seed. In this study, the length and width of the maize seeds were calculated based on the vertical orthographic images obtained from the perspective transform. Since the centroid position and the tip position of the maize seed contour had been calculated, the length and width of the seeds could be measured based on these data efficiently. After obtaining the back image of a seed in ROI (region of interest), the thickness was calculated based on the horizontal view from the perspective transformation. The boundary of thickness was obtained according to the horizontal cumulative distribution. An analysis and calculation triangle was established according to the location of a seed. The thickness data were mapped on the checkerboard plane, and accurate measurement results were obtained. Microsoft Visual Studio 2010 was taken as the software development tool, and OpenCV machine vision algorithm library was used to develop the experimental program. The experiment was performed with 180 maize seeds selected randomly. The root mean square errors (RMSEs) of the long axis, short axis and thickness were 1.86, 1.28 and 0.741 mm respectively. The determination coefficients of the long axis, short axis and thickness were 0.849 6, 0.869 3 and 0.846 2 respectively. The results show that this device and method can be used to measure the three-dimensional parameters of maize seeds with a relative high accuracy.

machine vision; image processing; measurement; maize seeds; agricultural equipment; oblique photography

2017-09-18

2018-01-05

國家高技術(shù)研究發(fā)展計劃（2012AA10A501-5）；重慶市教委科技計劃（KJ1500320）

朱德利，四川榮縣人，博士生，副教授，主要從事機器學(xué)習(xí)與機器視覺在農(nóng)業(yè)工程中的應(yīng)用研究。Email：zhudeli@cau.edu.cn

陳兵旗，河南沁陽人，教授，主要從事圖像處理與機器視覺方面的研究。Email：fbcbq@163.com

10.11975/j.issn.1002-6819.2018.04.024

TP391

A

1002-6819(2018)-04-0201-08

朱德利，陳兵旗，梁習(xí)卉子，楊艷秋. 基于傾斜攝影的玉米種粒三維參數(shù)同步測量裝置[J]. 農(nóng)業(yè)工程學(xué)報，2018，34(4)：201－208.doi：10.11975/j.issn.1002-6819.2018.04.024 http://www.tcsae.org

Zhu Deli, Chen Bingqi, Liang Xihuizi, Yang Yanqiu. Apparatus for synchronous measuring three dimensional parameters of maize seeds based on oblique photography[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(4): 201－208. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2018.04.024 http://www.tcsae.org