摘要 釀酒葡萄葉幕厚度是園區(qū)管理、整形修剪、變量噴藥等作業(yè)的重要參考依據(jù)，但是監(jiān)測(cè)葉幕厚度存在作業(yè)量大、效率低、勞動(dòng)強(qiáng)度高等問(wèn)題。以賀蘭山東麓釀酒葡萄葉幕為目標(biāo)，基于機(jī)器視覺(jué)技術(shù)研究葉幕厚度的快速估算方法并進(jìn)行驗(yàn)證。采集葡萄葉幕雙目圖像及參數(shù)，基于HSV顏色空間和形態(tài)學(xué)處理方法提取左目圖像葉幕部分，將提取的圖像與右目圖像進(jìn)行校正，采用BM算法對(duì)校正后的圖像進(jìn)行立體匹配，計(jì)算葉幕范圍內(nèi)所有像素點(diǎn)的三維坐標(biāo)，依據(jù)z值平均值和園區(qū)參數(shù)計(jì)算葉幕厚度估算值。經(jīng)測(cè)試，提出的葉幕厚度估算方法計(jì)算結(jié)果與實(shí)際測(cè)量值基本一致，滿(mǎn)足釀酒葡萄園實(shí)際管理應(yīng)用監(jiān)測(cè)需求，可為研發(fā)葉幕厚度快速測(cè)量設(shè)備、推進(jìn)園區(qū)管理精細(xì)化提供一定的理論基礎(chǔ)。

關(guān)鍵詞 釀酒葡萄；機(jī)器視覺(jué)；葉幕厚度；立體匹配

中圖分類(lèi)號(hào) S126 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 0517-6611（2024）15-0232-04

doi：10.3969/j.issn.0517-6611.2024.15.049

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

Research on the Estimation Method of Canopy Thickness of Grapevine Based on Machine Vision

MA Cong， CHEN Xue-dong

（Institute of Agricultural Economy and Information Technology， Ningxia Academy of Agriculture and Forestry Sciences， Yinchuan， Ningxia 750002）

Abstract The canopy thickness of grapevine is an important reference for vineyards management， shaping and pruning， variable spraying and other operations. However， monitoring the canopy thickness of grapevine has problems， such as high workload， low efficiency and high labor intensity. We focused on the canopy thickness of grapevine from the east Helan Mountain area， and used machine vision technology to study and validate a rapid estimation method for canopy thickness. We collected binocular images and parameters of canopy， extracted the canopy part of the left image based on HSV color space and morphological processing methods， corrected the extracted image with the right eye image， used BM algorithm to perform stereo matching on the corrected image， calculated the three-dimensional coordinates of all pixel points within the leaf canopy range， and calculated the estimated canopy thickness of grapevine based on the average z value and fixed parameters. After testing， the calculation results of the thickness estimation method proposed were basically consistent with the actual measurement values. It could provide a certain theoretical basis for the development of thickness measurement equipment and promoting the refinement of park management.

Key words Grapevine;Machine vision;Canopy thickness;Stereo matching

因地理?xiàng)l件和環(huán)境氣候非常適合種植釀酒葡萄，寧夏賀蘭山東麓葡萄是國(guó)家地理標(biāo)志農(nóng)產(chǎn)品，生產(chǎn)的寧夏葡萄酒在消費(fèi)市場(chǎng)上的知名度和需求量快速提升，是我國(guó)優(yōu)質(zhì)的釀酒葡萄產(chǎn)業(yè)區(qū)之一。預(yù)計(jì)到2025年，新增釀酒葡萄種植基地3.39萬(wàn)hm2，規(guī)模達(dá)到6.67萬(wàn)hm2［1-3］。隨著釀酒葡萄種植面積規(guī)?；腿斯こ杀镜脑黾樱ㄟ^(guò)機(jī)械化、信息化的手段對(duì)釀酒葡萄生產(chǎn)環(huán)節(jié)進(jìn)行監(jiān)測(cè)、分析、預(yù)警、作業(yè)，以降低勞動(dòng)強(qiáng)度、提高生產(chǎn)效率，成為產(chǎn)業(yè)發(fā)展的重要方向。

釀酒葡萄的葉幕管理是葡萄園種植生產(chǎn)的重要內(nèi)容。葉幕結(jié)構(gòu)合理，則植株的光合效率高，有利于提升葡萄果實(shí)的品質(zhì)和產(chǎn)量。不同的葉幕厚度會(huì)影響植株?duì)I養(yǎng)分配、釀酒葡萄的果實(shí)形成和生長(zhǎng)，是葉幕管理的關(guān)鍵參數(shù)。葡萄葉幕過(guò)厚，會(huì)導(dǎo)致樹(shù)體郁閉，降低葉幕的通風(fēng)性和透光性，也會(huì)抑制葡萄的生殖生長(zhǎng)；葡萄葉幕過(guò)薄，則光合作用制造的能量不足，影響葡萄正常生長(zhǎng)［4-5］。葉幕厚度是葡萄園管理、機(jī)械整形修剪［6-8］、變量施藥［9-10］等作業(yè)的重要參考依據(jù)，但是由于葡萄園區(qū)面積大、勞動(dòng)力緊缺、測(cè)量耗時(shí)費(fèi)力，較難實(shí)現(xiàn)葉幕厚度的實(shí)時(shí)測(cè)量和監(jiān)測(cè)。針對(duì)葉幕厚度估算的需求，需要研究能快速估算葡萄葉幕厚度的方法。采用機(jī)器視覺(jué)技術(shù)［11-12］開(kāi)展了葉幕厚度估算方法研究，以期為釀酒葡萄葉幕信息化管理提供參考，為進(jìn)一步完善葡萄園信息化應(yīng)用奠定一定的理論基礎(chǔ)。

1 葉幕厚度估算方法

1.1 技術(shù)路線

釀酒葡萄葉幕厚度估算主要技術(shù)路線如下：標(biāo)定雙目相機(jī)后獲取相機(jī)內(nèi)部和外部參數(shù)，采用標(biāo)定后的雙目相機(jī)采集釀酒葡萄葉幕圖像，將雙目圖像分割后提取左目圖像目標(biāo)區(qū)域，對(duì)提取后的圖像與左圖進(jìn)行極線校正以保證2幅圖像上對(duì)應(yīng)的點(diǎn)具有相同的行號(hào)，校正后的雙目圖像通過(guò)BM（blocking matching）算法［13-15］進(jìn)行立體匹配，得到像素點(diǎn)的視差值，根據(jù)視差深度換算公式計(jì)算目標(biāo)區(qū)域各點(diǎn)的空間三維坐標(biāo)，結(jié)合葡萄園實(shí)際測(cè)量參數(shù)，獲得葉幕參數(shù)估計(jì)值。

1.2 數(shù)據(jù)采集

1.2.1 相機(jī)標(biāo)定。

數(shù)據(jù)采集設(shè)備是高幀率雙目相機(jī)，基本配置為：40 mm基線，3.6 mm無(wú)畸變鏡頭，USB 3.0連接電腦控制拍照。相機(jī)標(biāo)定采用機(jī)器視覺(jué)系統(tǒng)常用的張正友標(biāo)定法，具有標(biāo)定方法簡(jiǎn)單、操作靈活、標(biāo)定結(jié)果可靠等優(yōu)點(diǎn)。雙目相機(jī)標(biāo)定結(jié)果見(jiàn)表1。

1.2.2 數(shù)據(jù)采集。

數(shù)據(jù)采集地點(diǎn)位于寧夏賀蘭山東麓釀酒葡萄種植基地，采集葉幕數(shù)據(jù)的釀酒葡萄品種是西拉。釀酒葡萄采用籬架式種植，行間距3.2 m，株距0.8 m，每行立柱之間有多層雙行鐵絲固定枝蔓，兩行鐵絲之間的距離為0.17 m，葉幕高度約0.8 m。

該研究首先構(gòu)建了田間圖像采集機(jī)器視覺(jué)數(shù)據(jù)采集系統(tǒng)，主要包括雙目相機(jī)、采集支架、環(huán)境監(jiān)測(cè)傳感器、測(cè)距卡尺、圖像采集軟件和數(shù)據(jù)處理系統(tǒng)等。根據(jù)實(shí)際監(jiān)測(cè)需求，采集了不同時(shí)間段、多個(gè)角度、不同光照條件下的葡萄葉幕雙目圖像，數(shù)據(jù)采集時(shí)相機(jī)隨機(jī)處于葉幕不同距離位置，圖像采集范圍為相機(jī)有效視野范圍內(nèi)葡萄葉片覆蓋區(qū)域，實(shí)地測(cè)量相機(jī)平面到葡萄葉幕最厚位置的距離、相機(jī)平面到立柱固定鐵絲內(nèi)側(cè)距離、內(nèi)側(cè)鐵絲到葉幕最厚位置的距離。采集到的圖像左目圖像為彩色圖像，右目圖像為灰度圖，數(shù)據(jù)處理均以左目圖像為基準(zhǔn)。

1.3 葉幕厚度估算

1.3.1 目標(biāo)區(qū)域提取。

葉幕圖像包括了背景圖像與目標(biāo)圖像，背景圖像包含了地面、通風(fēng)帶及天空等干擾因素。為提高圖像處理效率、準(zhǔn)確獲取目標(biāo)信息，通過(guò)圖像處理將目標(biāo)與背景分割，最大限度降低采集環(huán)境對(duì)目標(biāo)識(shí)別的影響。分析采集的葉幕圖像可知，自然光照條件下順光和逆光拍攝的葡萄葉幕圖像顏色沒(méi)有太大區(qū)別，葉幕區(qū)域基本都是綠色。在光照強(qiáng)度較大的條件下逆光拍攝時(shí)，部分葉片由于反光趨近于白色，但是這部分為一小部分葉片，不影響葉幕整體區(qū)域整體識(shí)別結(jié)果。葉幕顏色與背景區(qū)域顏色差異較大，采用顏色模型進(jìn)行目標(biāo)區(qū)域提取能有效地分離出目標(biāo)區(qū)域，也可以降低圖像數(shù)據(jù)處理的計(jì)算量。

該研究采用HSV（hue，saturation，value）顏色模型提取葉幕圖像目標(biāo)，為保證最大限度完整地分割出葉幕區(qū)域，將顏色分割閾值范圍擴(kuò)大，包括青綠色、黃綠色、深綠色等范圍內(nèi)所有目標(biāo)?；居?jì)算流程如下：讀入雙目圖像，分割出左目圖像與右目圖像；將左目圖像轉(zhuǎn)換為HSV模型，建立與左圖大小一致的空白圖像，分別設(shè)置H、S、V閾值；遍歷左目圖像所有像素點(diǎn)，提取閾值范圍內(nèi)圖像點(diǎn)復(fù)制到建立的空白圖像對(duì)應(yīng)位置，閾值范圍外的圖像點(diǎn)均設(shè)置為黑色；將提取區(qū)域進(jìn)行形態(tài)學(xué)處理，設(shè)置連通域閾值，存在大于閾值的連通域圖像被判斷為存在目標(biāo)區(qū)域；針對(duì)存在目標(biāo)區(qū)域的圖像，腐蝕去除圖像小的噪聲；對(duì)目標(biāo)區(qū)域圖像進(jìn)行膨脹操作，最大化的保留原圖信息，避免因光線不均和拍攝角度變化導(dǎo)致出現(xiàn)葉幕區(qū)域提取不完整、碎片化現(xiàn)象；以處理后的區(qū)域圖為蒙版，提取校葉幕左圖原圖中對(duì)應(yīng)區(qū)域，即葉幕區(qū)域。

1.3.2 雙目圖像校正。

理論條件下，雙目相機(jī)的2個(gè)鏡頭光心是完全相互平行的，采集到的左目圖像與右目圖像中對(duì)應(yīng)點(diǎn)具有一致的行號(hào)。但是在應(yīng)用中，由于震動(dòng)、裝配工藝、環(huán)境變化等因素，實(shí)際采集到的雙目圖像很難達(dá)到上述標(biāo)準(zhǔn)，2幅圖像上的對(duì)應(yīng)點(diǎn)不在同一條直線上。因此，在進(jìn)行2張圖像中對(duì)應(yīng)點(diǎn)匹配查找時(shí)，需要在整幅圖像中進(jìn)行遍歷搜索，數(shù)據(jù)計(jì)算量大、運(yùn)行消耗時(shí)間長(zhǎng)，不利于機(jī)器視覺(jué)系統(tǒng)的實(shí)時(shí)計(jì)算。為了提高對(duì)應(yīng)點(diǎn)的查找效率，需要對(duì)雙目圖像進(jìn)行數(shù)學(xué)校正，使2幅圖像中對(duì)應(yīng)點(diǎn)具有相同的行號(hào)，極大地提高對(duì)應(yīng)點(diǎn)匹配速度和準(zhǔn)確性。采用極線約束B(niǎo)ouguet校正算法［16-17］對(duì)目標(biāo)區(qū)域提取圖和右目圖像進(jìn)行校正，基本計(jì)算流程如下：讀取雙目相機(jī)標(biāo)定出內(nèi)部參數(shù)和外部參數(shù)；計(jì)算左目和右目相機(jī)的旋轉(zhuǎn)矩陣和投影矩陣；將原圖像和校正后圖像上的點(diǎn)進(jìn)行映射；分析圖像校正結(jié)果。

1.3.3 立體匹配。

針對(duì)葡萄圖像的面積大、紋理不明顯的特點(diǎn)和深度計(jì)算精度需求，采用局部立體匹配算法中的塊匹配BM（block matching）算法進(jìn)行葉幕圖像的匹配計(jì)算。基本計(jì)算流程如圖1所示：①讀入雙目圖像，將彩色圖像轉(zhuǎn)換為灰度圖；②根據(jù)匹配計(jì)算速度和精度需求，設(shè)置匹配窗口大小和視差范圍；③分別計(jì)算匹配窗口內(nèi)雙目圖像中的所有像素點(diǎn)灰度值；④以SAD（sum of absolute differences）函數(shù)計(jì)算窗口內(nèi)像素點(diǎn)的相似性，SAD的計(jì)算公式見(jiàn)公式（1）［18］；⑤判斷SAD值是否最小，是最小值則表明找到最佳匹配點(diǎn)，不是最小值則匹配窗口按照極線方向在右目圖像中移動(dòng)，重復(fù)步驟③～⑤，直到找到最佳匹配點(diǎn)為止。

SAD（x，y，d）=x∈S|Ir（x，y）-Il（x+d，y）|（1）

式中：S為BM算法匹配窗口；Ir（x，y）為右目圖像像素點(diǎn)灰度值；d為左右目圖像像素點(diǎn)視差值；Il（x+d，y）為左目圖像像素點(diǎn)灰度值。

1.3.4 葉幕厚度估算。

通過(guò)立體匹配計(jì)算獲得了雙目圖像所有像素點(diǎn)對(duì)應(yīng)的視差值，根據(jù)視差值、相機(jī)內(nèi)部參數(shù)、相機(jī)外部參數(shù)，計(jì)算得到圖像內(nèi)所有像素點(diǎn)的空間三維坐標(biāo)值，計(jì)算公式見(jiàn)公式（2）。

z=f×bd（2）

式中：z為深度距離；f為雙目相機(jī)焦距；b為雙目相機(jī)基線值；d為雙目圖像中對(duì)應(yīng)點(diǎn)的視差值。

三維坐標(biāo)值中的z值是空間點(diǎn)到雙目相機(jī)平面的距離，即深度。為快速估算厚度，認(rèn)為籬架式釀酒葡萄冠層是以立柱固定鐵絲為中心左右對(duì)稱(chēng)，即兩側(cè)葉幕厚度一致。因此，該研究以?xún)?nèi)側(cè)固定鐵絲作為計(jì)算起始點(diǎn)，相機(jī)距離鐵絲的距離減去深度值，是樹(shù)體單側(cè)葉幕厚度。釀酒葡萄葉幕厚度是單側(cè)厚度的兩倍值與雙側(cè)鐵絲之間距離之和。

2 葉幕厚度估算結(jié)果及分析

2.1 葡萄葉幕區(qū)域提取及校正

葡萄葉幕圖像的目標(biāo)區(qū)域提取結(jié)果見(jiàn)圖2左圖。分析提取結(jié)果可知，采用的方法能快速、完整地將目標(biāo)區(qū)域分割出來(lái)，保留了葉幕原始信息，去除了大多數(shù)的背景噪聲，圖像數(shù)據(jù)處理量減少，可以作為后續(xù)葉幕厚度計(jì)算的基礎(chǔ)。

葡萄葉幕圖像校正結(jié)果如圖2所示。分析校正結(jié)果可知，雙目圖像中對(duì)應(yīng)的像素點(diǎn)均處于同一綠色線條上，表明雙目相機(jī)標(biāo)定結(jié)果獲得的參數(shù)準(zhǔn)確，采用的極線校正方法正確。

2.2 厚度估算結(jié)果及分析

計(jì)算出的葡萄葉幕圖像像素點(diǎn)的空間三維坐標(biāo)點(diǎn)云分布如圖3所示。分析計(jì)算結(jié)果可知，深度值z(mì)值主要分布在1.35～1.55 m。進(jìn)一步分析葉幕深度值保持一定的區(qū)間范圍原因，是因?yàn)槿~幕厚度存在一定的差異性。雙目相機(jī)采集的葉幕范圍是寬約2 m，覆蓋了不同的葡萄樹(shù)體，雖然園區(qū)管理、生長(zhǎng)環(huán)境和土壤條件基本一致，但是葡萄樹(shù)體生長(zhǎng)狀態(tài)不同，葉幕厚度就不一致，并且不同高度的葉幕厚度也不同。因此，將所有點(diǎn)的深度值的平均值作為相機(jī)到葉幕最外側(cè)的深度值估算值。該研究計(jì)算出的深度平均值是1.48 m，相機(jī)距離內(nèi)側(cè)鐵絲1.67 m，鐵絲之間距離0.17 m，因此計(jì)算出的葉幕厚度估算值為0.55 m，實(shí)際測(cè)量葡萄葉幕平均厚度是0.60 m。資料分析和實(shí)地調(diào)研顯示，葡萄葉幕厚度估算值的誤差能夠滿(mǎn)足實(shí)際應(yīng)用需求，可作為生產(chǎn)管理的參考依據(jù)。

3 結(jié)論

該研究以寧夏賀蘭山東麓釀酒葡萄葉幕厚度為目標(biāo)，基于機(jī)器視覺(jué)技術(shù)開(kāi)展非接觸式葉幕厚度的快速估算方法研究。采用HSV顏色空間和形態(tài)學(xué)處理等方法完整地提取出葉幕圖像目標(biāo)區(qū)域，采用極線約束方法校正提取圖與原圖右圖的結(jié)果準(zhǔn)確、計(jì)算量小，采用局部立體匹配方BM算法計(jì)算葡萄葉幕雙目圖像視差值，在此基礎(chǔ)上計(jì)算葉幕范圍內(nèi)所有像素點(diǎn)的三維坐標(biāo)，結(jié)合z值平均值及葡萄園結(jié)構(gòu)參數(shù)估算出釀酒葡萄葉幕厚度值，計(jì)算出的厚度值與實(shí)際測(cè)量值基本一致，滿(mǎn)足園區(qū)管理實(shí)際監(jiān)測(cè)需求。釀酒葡萄園種植面積大、用工量多、人工成本高，較難實(shí)現(xiàn)對(duì)葉幕參數(shù)的全程監(jiān)測(cè)管理，需研發(fā)自動(dòng)測(cè)量參數(shù)的設(shè)備及系統(tǒng)平臺(tái)，進(jìn)一步提升葡萄園區(qū)生產(chǎn)管理效率。該研究提出的基于機(jī)器視覺(jué)的釀酒葡萄葉幕厚度估算方法數(shù)據(jù)處理量小、運(yùn)行效率高、測(cè)量結(jié)果準(zhǔn)確，可作為研發(fā)葉幕厚度日常監(jiān)測(cè)、葉幕智能修剪、長(zhǎng)勢(shì)分析等設(shè)備的基礎(chǔ)算法，具有一定的理論價(jià)值和實(shí)際應(yīng)用價(jià)值。

參考文獻(xiàn)

［1］ 王晶，吳曉麗，潘靜，等.賀蘭山東麓葡萄產(chǎn)業(yè)發(fā)展現(xiàn)狀及品牌升級(jí)路徑［J］.中國(guó)果樹(shù)，2022（2）：93-98.

［2］ 王燕華.從地理視角看寧夏賀蘭山東麓葡萄種植區(qū)［J］.中學(xué)地理教學(xué)參考，2021（8）：95-96.

［3］ 馮學(xué)梅，梁玉文，李阿波，等.寧夏賀蘭山東麓釀酒葡萄產(chǎn)量控制對(duì)果實(shí)品質(zhì)及葡萄酒質(zhì)量的影響［J］.寧夏農(nóng)林科技，2020，61（10）：6-9.

［4］ 薛春林，杜亞光，邊永亮，等.葡萄葉幕機(jī)械化修剪技術(shù)及裝置研究進(jìn)展［J］.現(xiàn)代農(nóng)業(yè)裝備，2021，42（4）：2-6，14.

［5］ 朱燕芳，郝燕，陳建軍，等.河西走廊葡萄葉幕厚度對(duì)果實(shí)品質(zhì)的影響［J］.中外葡萄與葡萄酒，2022（6）：71-75.

［6］ 焦連成，曲運(yùn)琴，賈強(qiáng)生，等.葉幕厚度與修剪次數(shù)對(duì)‘赤霞珠’葡萄果實(shí)產(chǎn)量和品質(zhì)的影響［J］.河北果樹(shù)，2023（3）：9-11，14.

［7］ 薛春林，陳春皓，呂林碩，等.往復(fù)式葡萄葉幕修剪裝置設(shè)計(jì)與試驗(yàn)［J］.農(nóng)機(jī)化研究，2023，45（10）：99-106.

［8］ 李秀杰，逯志斐，姜建剛，等.不同機(jī)械修剪量對(duì)巨峰葡萄生長(zhǎng)及果實(shí)品質(zhì)的影響［J］.安徽農(nóng)業(yè)科學(xué)，2017，45（24）：36-38.

［9］ 閆成功，徐麗明，袁全春，等.基于雙目視覺(jué)的葡萄園變量噴霧控制系統(tǒng)設(shè)計(jì)與試驗(yàn)［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（11）：13-22.

［10］ 翟長(zhǎng)遠(yuǎn)，趙春江，WANG N，等.果園風(fēng)送噴霧精準(zhǔn)控制方法研究進(jìn)展［J］.農(nóng)業(yè)工程學(xué)報(bào)，2018，34（10）：1-15.

［11］ 田鵬菲，王皞陽(yáng).機(jī)器視覺(jué)技術(shù)在我國(guó)農(nóng)業(yè)領(lǐng)域內(nèi)的應(yīng)用分析［J］.江蘇農(nóng)業(yè)科學(xué)，2023，51（14）：13-21.

［12］ 馬聰，陳學(xué)東.黃花菜采摘機(jī)器人視覺(jué)系統(tǒng)研究［J］.寧夏農(nóng)林科技，2021，62（12）：60-64.

［13］ 李先祥，陳思琪，肖紅軍，等.基于SGBM算法與BM算法的三維重建分析［J］.自動(dòng)化與信息工程，2019，40（5）：6-12.

［14］ 張歡，安利，張強(qiáng)，等.SGBM算法與BM算法分析研究［J］.測(cè)繪與空間地理信息，2016，39（10）：214-216.

［15］ 馬聰，周慧，陳學(xué)東.基于機(jī)器視覺(jué)的黃花菜圖像深度計(jì)算［J］.寧夏農(nóng)林科技，2022，63（2）：48-52，65.

［16］ FUSIELLO A，TRUCCO E，VERRI A.A compact algorithm for rectification of stereo pairs［J］.Machine vision and applications，2000，12（1）：16-22.

［17］ 王浩，張鳳生，劉延杰.接觸線雙目視覺(jué)測(cè)量系統(tǒng)標(biāo)定及立體校正方法研究［J］.制造業(yè)自動(dòng)化，2019，41（3）：97-101.

［18］ 劉學(xué)君，常夢(mèng)潔，孔祥旻，等.倉(cāng)庫(kù)三維重建系統(tǒng)中改進(jìn)雙目匹配SAD算法研究［J］.計(jì)算機(jī)應(yīng)用與軟件，2023，40（7）：180-184，214.