韓長杰 燕長輝 仇世龍 徐 陽 胡 斌 毛罕平

(1.新疆農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院, 烏魯木齊 830052; 2.石河子大學(xué)機(jī)械電氣工程學(xué)院, 石河子 832003)

0 引言

棉花是我國主要經(jīng)濟(jì)作物之一,在我國經(jīng)濟(jì)作物種植中占有十分重要的地位。棉花具有無限生長的習(xí)性,棉株長勢過高,會(huì)消耗果枝中的營養(yǎng),影響棉花產(chǎn)量,同時(shí)也不利于棉花機(jī)械化收獲[1]。棉花打頂是抑制頂端優(yōu)勢、提高產(chǎn)量、減輕機(jī)械化收獲難度的重要環(huán)節(jié)。目前,主要的打頂方式有3種:人工打頂、化學(xué)打頂和機(jī)械打頂。人工打頂勞動(dòng)強(qiáng)度大、效率低,不能滿足新疆大規(guī)模種植的需要[2-3]?；瘜W(xué)打頂易受棉花品種、環(huán)境溫度和降雨影響,且會(huì)對(duì)環(huán)境造成一定的污染。機(jī)械打頂能提高工作效率,降低人工成本,不會(huì)對(duì)環(huán)境產(chǎn)生較大的污染,因此具有較好的市場需求和發(fā)展?jié)摿4-6]。

國外對(duì)棉花打頂機(jī)的研究起步較早,但因機(jī)械打頂研發(fā)周期長、成本高,導(dǎo)致現(xiàn)階段歐美國家暫緩了對(duì)機(jī)械打頂方面的研究,轉(zhuǎn)而采用化學(xué)打頂?shù)姆绞?機(jī)械打頂研究基本處于空白。國內(nèi)學(xué)者研發(fā)的幾種機(jī)型,其末端執(zhí)行機(jī)構(gòu)多采用“圓盤刀”和“滾筒刀”。以圓盤刀為末端執(zhí)行機(jī)構(gòu)的主要機(jī)型有3MDZ-4型自走式棉花打頂噴藥聯(lián)合作業(yè)機(jī)[7]和3MDZJ-1型電力驅(qū)動(dòng)式棉花智能精準(zhǔn)打頂機(jī)[8]等。以滾筒刀為末端執(zhí)行機(jī)構(gòu)的代表機(jī)型有3MDZK-12型組控式單行仿形棉花打頂機(jī)[9]和3FDD-6型后懸掛滾筒式棉花打頂機(jī)[10]等。以上機(jī)型都能實(shí)現(xiàn)打頂過程的垂直仿形,但這兩種打頂機(jī)構(gòu)會(huì)對(duì)其他枝葉造成一定損傷,產(chǎn)生較為嚴(yán)重的過打頂情況,不容易實(shí)現(xiàn)棉花頂尖的精準(zhǔn)去除。

近幾年來機(jī)器視覺中的視覺識(shí)別技術(shù)和深度學(xué)習(xí)技術(shù)發(fā)展迅速,給農(nóng)業(yè)生產(chǎn)領(lǐng)域帶來了新的研究方向[11-13],為棉花頂尖識(shí)別及定位提供了技術(shù)支持[14]。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的代表算法之一,誕生了AlexNet、GoogLeNet、VGG等經(jīng)典網(wǎng)絡(luò),YOLO作為一種新興的目標(biāo)檢測網(wǎng)絡(luò),既保證了較高的檢測精度,同時(shí)極大地提高了檢測速度,被廣泛應(yīng)用于農(nóng)業(yè)生產(chǎn)領(lǐng)域[15-18],張伏等[19]通過改進(jìn)YOLO v4神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)密集圣女果的識(shí)別,提高了檢測速度;孫想等[20]提出了一種基于LW-YOLO v3模型的棉花主莖生長點(diǎn)檢測與定位方法,準(zhǔn)確率可達(dá)88.66%,平均檢測時(shí)間17.8 ms;盧偉等[21]提出一種基于YOLO v5-TL的褐菇采摘視覺識(shí)別-測量-定位技術(shù),滿足了機(jī)器人褐菇自動(dòng)化采摘需求。

針對(duì)現(xiàn)有多數(shù)棉花打頂機(jī)過打頂情況較為嚴(yán)重的問題,設(shè)計(jì)一種雙圓盤式打頂機(jī)構(gòu),并基于機(jī)器視覺搭建單行樣機(jī),實(shí)現(xiàn)棉花頂尖的識(shí)別定位和打頂機(jī)構(gòu)的運(yùn)動(dòng)控制。通過理論與試驗(yàn)驗(yàn)證打頂機(jī)構(gòu)的打頂性能和整體樣機(jī)設(shè)計(jì)的合理性。

1 總體設(shè)計(jì)

1.1 整機(jī)結(jié)構(gòu)

打頂裝置通過三點(diǎn)懸掛的方式安裝在拖拉機(jī)前方,整機(jī)結(jié)構(gòu)如圖1所示,主要由機(jī)架、視覺檢測機(jī)構(gòu)、運(yùn)動(dòng)機(jī)構(gòu)、電控箱、打頂機(jī)構(gòu)組成。視覺檢測機(jī)構(gòu)由調(diào)節(jié)支架和深度相機(jī)組成,安裝在機(jī)架正前方。運(yùn)動(dòng)機(jī)構(gòu)由橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)組成,安裝在機(jī)架上。

圖1 整機(jī)結(jié)構(gòu)示意圖

1.2 工作原理

打頂裝置三點(diǎn)懸掛在拖拉機(jī)前方,由拖拉機(jī)提供前進(jìn)動(dòng)力,蓄電池為整機(jī)供電。工作前根據(jù)棉花高度初調(diào)整機(jī)懸掛高度,使棉花頂尖高度在打頂裝置的工作范圍內(nèi)。打頂裝置工作過程分為3個(gè)階段:圖像采集、識(shí)別定位、移動(dòng)打頂。視覺檢測機(jī)構(gòu)中的深度相機(jī)完成前進(jìn)過程中棉花頂尖的圖像采集;上位機(jī)中的棉花頂尖識(shí)別及控制系統(tǒng)對(duì)圖像中的棉花頂尖進(jìn)行識(shí)別定位;下位機(jī)控制運(yùn)動(dòng)機(jī)構(gòu)使打頂機(jī)構(gòu)提前置于棉花頂尖正后方,前進(jìn)過程中棉花頂尖從打頂機(jī)構(gòu)中的雙圓盤楔形口處喂入,運(yùn)動(dòng)到雙圓盤閉合處時(shí),相互閉合的旋轉(zhuǎn)圓盤模仿人手夾持并向上拔斷頂尖,實(shí)現(xiàn)移動(dòng)打頂。

1.3 設(shè)計(jì)參數(shù)

打頂裝置設(shè)計(jì)參數(shù)如表1所示。

表1 設(shè)計(jì)參數(shù)

2 關(guān)鍵部件設(shè)計(jì)

2.1 打頂機(jī)構(gòu)設(shè)計(jì)

打頂需去除棉花頂端“一葉一芯”,人手打頂時(shí)的動(dòng)作分為夾持和拔取兩個(gè)過程,如圖2所示,人手在視覺和觸覺的引導(dǎo)下去除棉花頂尖時(shí),不會(huì)對(duì)周圍葉片造成損傷。為模仿人手打頂過程,設(shè)計(jì)一種雙圓盤式打頂機(jī)構(gòu)作為末端執(zhí)行機(jī)構(gòu),實(shí)現(xiàn)對(duì)棉花頂尖的夾持和拔取。

圖2 人工打頂示意圖

打頂機(jī)構(gòu)主要由安裝架、角度調(diào)節(jié)支架、拉伸彈簧、圓盤、帶輪、圓形帶和減速電機(jī)組成,如圖3所示。圖中雙圓盤的直徑為250 mm,主動(dòng)帶輪直徑為40 mm,從動(dòng)帶輪直徑60 mm。通過具有2個(gè)旋轉(zhuǎn)自由度的角度調(diào)節(jié)支架,可實(shí)現(xiàn)雙圓盤閉合點(diǎn)位置的自由調(diào)節(jié),圓盤閉合點(diǎn)位置P與水平方向夾角θ的調(diào)節(jié)范圍為0°～90°。打頂機(jī)構(gòu)由雙頭直流減速電機(jī)作為動(dòng)力源,電機(jī)額定電壓為24 V,額定輸出轉(zhuǎn)速為64 r/min,額定扭矩為1.6 N·m,極限扭矩為3.8 N·m,電機(jī)兩軸端裝有帶輪,通過兩條圓形帶為雙圓盤提供旋轉(zhuǎn)動(dòng)力,同時(shí)圓形帶傳動(dòng)允許兩帶輪有一定的角度差,滿足雙圓盤閉合點(diǎn)可調(diào)的要求。通過調(diào)整角度調(diào)節(jié)支架使雙圓盤閉合,并由拉伸彈簧提供預(yù)緊力使雙圓盤夾緊,防止圓盤松動(dòng)。夾緊的圓盤存在韌性,使閉合點(diǎn)處實(shí)際為面接觸,增大了棉花頂尖與雙圓盤間的接觸面積,同時(shí)雙圓盤前方楔形口具有一定的集禾作用,有利于棉花頂尖被聚合后夾持拔除。

圖3 打頂機(jī)構(gòu)示意圖

工作過程如圖4所示,打頂機(jī)構(gòu)隨機(jī)具前進(jìn),減速電機(jī)驅(qū)動(dòng)雙圓盤同向旋轉(zhuǎn),當(dāng)棉花頂尖從雙圓盤前方楔形口處喂入后運(yùn)動(dòng)到閉合點(diǎn)處時(shí),受到夾持力和拔取力作用,棉花頂尖與植株分離,實(shí)現(xiàn)與人手相似的打頂過程,完成棉花打頂。

圖4 打頂過程

2.2 運(yùn)動(dòng)機(jī)構(gòu)設(shè)計(jì)

運(yùn)動(dòng)機(jī)構(gòu)為兩個(gè)同步帶滑臺(tái)模組構(gòu)成的“十字結(jié)構(gòu)”,分為橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)兩部分,分別由滑軌、滑塊、同步帶、聯(lián)軸器、連接架、步進(jìn)電機(jī)和接近開關(guān)組成,高度調(diào)節(jié)機(jī)構(gòu)配備行星減速機(jī)和拉伸彈簧,如圖5所示。

圖5 運(yùn)動(dòng)機(jī)構(gòu)

工作前需置零位,使橫向調(diào)節(jié)機(jī)構(gòu)滑塊調(diào)至最左端,位于視覺檢測機(jī)構(gòu)正后方,高度調(diào)節(jié)機(jī)構(gòu)升至最高點(diǎn)。工作時(shí)步進(jìn)電機(jī)驅(qū)動(dòng)帶輪轉(zhuǎn)動(dòng),帶輪通過同步帶使滑塊運(yùn)動(dòng),實(shí)現(xiàn)對(duì)運(yùn)動(dòng)機(jī)構(gòu)的控制。

針對(duì)新疆機(jī)采棉種植模式,測得同一棉田區(qū)域棉花頂尖左右偏行量為0～150 mm,符合打頂要求的棉株高度差集中在0～260 mm,故橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)的有效行程設(shè)定為300 mm。根據(jù)負(fù)載選擇60型同步帶滑臺(tái)模組(滑臺(tái)截面寬為60 mm),配套57型步進(jìn)電機(jī),帶輪轉(zhuǎn)動(dòng)一圈滑塊移動(dòng)125 mm。綜合機(jī)具前進(jìn)速度、步進(jìn)電機(jī)性能、單片機(jī)晶振、驅(qū)動(dòng)器細(xì)分等條件,測得橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)完成整段行程的平均移動(dòng)速度分別為375、167 mm/s。

在橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)兩端安裝接近開關(guān),負(fù)責(zé)工作前置零位及工作過程中的行程保護(hù)。高度調(diào)節(jié)機(jī)構(gòu)中的步進(jìn)電機(jī)裝有電磁制動(dòng)器,通過繼電器控制高度調(diào)節(jié)機(jī)構(gòu)運(yùn)動(dòng)時(shí)制動(dòng)器分離,停止時(shí)制動(dòng)器制動(dòng),最大限度防止高度調(diào)節(jié)機(jī)構(gòu)的步進(jìn)電機(jī)失步和斷電時(shí)突然下落的情況。在高度調(diào)節(jié)機(jī)構(gòu)上加裝兩根拉伸彈簧,防止因田間土地不平整導(dǎo)致瞬時(shí)負(fù)載過大,造成步進(jìn)電機(jī)失步情況。

3 棉花頂尖識(shí)別及控制系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)方案

棉花頂尖識(shí)別及控制系統(tǒng)作為整機(jī)的主控系統(tǒng),可以實(shí)現(xiàn)棉花頂尖的識(shí)別與空間定位以及運(yùn)動(dòng)機(jī)構(gòu)的自動(dòng)控制,通過人機(jī)交互界面,方便啟停打頂機(jī)構(gòu),顯示和保存作業(yè)視頻、棉花頂尖空間位置數(shù)據(jù)等。

整機(jī)系統(tǒng)執(zhí)行流程如圖6所示,整機(jī)通電后,通過按鈕開關(guān)觸發(fā)信號(hào)使運(yùn)動(dòng)機(jī)構(gòu)自動(dòng)置零位,并由開關(guān)控制打頂機(jī)構(gòu)圓盤的旋轉(zhuǎn)。在人機(jī)交互界面中設(shè)置打頂裝置工作參數(shù),啟動(dòng)系統(tǒng)采集棉花圖像,經(jīng)過識(shí)別定位把運(yùn)動(dòng)機(jī)構(gòu)橫向和高度移動(dòng)距離轉(zhuǎn)變?yōu)椴竭M(jìn)電機(jī)脈沖值,驅(qū)動(dòng)步進(jìn)電機(jī)實(shí)現(xiàn)機(jī)構(gòu)移動(dòng)。在系統(tǒng)運(yùn)行過程中可隨時(shí)暫停和停止程序,方便調(diào)節(jié)打頂裝置和調(diào)整工作參數(shù),操作過程如圖7所示。

圖6 整機(jī)系統(tǒng)執(zhí)行流程圖

圖7 人機(jī)交互界面

3.2 硬件組成

圖像采集選用Intel RealSense D435i型深度相機(jī),深度圖像最高分辨率1 280像素×720像素,RGB圖像最高分辨率1 920像素×1 080像素,深度視頻流最高幀率90 f/s,深度探測范圍為0.2～10 m?？刂撇考猩衔粰C(jī)采用工控機(jī)作為中央處理器,用于棉花頂尖的識(shí)別定位;下位機(jī)選用兩塊Arduino UNO R3單片機(jī),用于接收上位機(jī)信號(hào)并發(fā)送指令到驅(qū)動(dòng)器,由驅(qū)動(dòng)器控制步進(jìn)電機(jī)旋轉(zhuǎn);選用雷賽科技的兩相步進(jìn)電機(jī)驅(qū)動(dòng)器,型號(hào)為DM542,供電電壓為20～50 V,輸出電流最小值1 A,最大值4.2 A,步進(jìn)脈沖頻率為200 kHz;接近開關(guān)選擇PNP三線直流常開型,型號(hào)為LJ18A3-8-ZBY;5 V繼電器。運(yùn)動(dòng)部件步進(jìn)電機(jī)型號(hào)為57HBP112AL4,保持轉(zhuǎn)矩T為2.8 N·m,步距角1.8°,工作電壓10～48 V,額定電流3 A;行星減速機(jī)型號(hào)為PX57N00S0,減速比為4。

外電路采用24 V直流供電,深度相機(jī)與計(jì)算機(jī)之間通過USB Type-c接口連接,支持USB 3.1傳輸協(xié)議,傳輸速度可達(dá)1.25 GB/s。通過RS-232串行協(xié)議實(shí)現(xiàn)上下位機(jī)串口通信。

3.3 棉花頂尖視覺識(shí)別

3.3.1目標(biāo)識(shí)別算法及配置環(huán)境

采用YOLO v3算法訓(xùn)練數(shù)據(jù)集,建立棉花頂尖識(shí)別模型,進(jìn)行棉花頂尖視覺識(shí)別。YOLO v3算法能較好地兼顧識(shí)別速度和識(shí)別精度,同時(shí)提高了檢測小物體的能力[22-23]。

模型訓(xùn)練所使用計(jì)算機(jī)配置為:16 GB內(nèi)存,搭載AMD Ryzen 5 5600H CPU和4 GB顯存的NVIDIA GeForce RTX 3050 GPU,系統(tǒng)為Windows 11,Tensorflow-GPU2.6作為深度學(xué)習(xí)框架,OpenCV 3.4.1作為機(jī)器視覺庫,Python 3.6作為主編程語言。

3.3.2圖像預(yù)處理及數(shù)據(jù)集制作

2022年7月初,在新疆維吾爾自治區(qū)博爾塔拉蒙古自治州博樂市達(dá)勒特鎮(zhèn)棉田進(jìn)行棉花頂尖圖像信息采集,采集時(shí)分3個(gè)時(shí)間段進(jìn)行,分別為09:00—11:00、13:00—15:00、16:00—18:00。采用簡單隨機(jī)抽樣法豎直向下拍攝棉花頂尖圖像,建立棉花頂尖圖像數(shù)據(jù)庫,如圖8所示。

圖8 不同狀態(tài)下棉花頂尖圖像

將收集到的棉花頂尖圖像進(jìn)行預(yù)處理,剔除拍攝不清晰的圖像,將不同時(shí)期收集的圖像進(jìn)行隨機(jī)排列,統(tǒng)一成相同尺寸(416像素×416像素)和格式。選取其中1 950幅圖像,按照比例9∶1劃分訓(xùn)練集和驗(yàn)證集,制作VOC數(shù)據(jù)集。

3.3.3模型訓(xùn)練與測試

對(duì)原YOLO v3訓(xùn)練參數(shù)進(jìn)行修改,重新設(shè)定網(wǎng)絡(luò)的訓(xùn)練參數(shù)。本模型采用遷移訓(xùn)練的方式,訓(xùn)練時(shí)采用早停法防止過擬合,設(shè)置每次送入網(wǎng)絡(luò)圖像的批量大小為8,初始學(xué)習(xí)率為0.000 1,動(dòng)量因子為0.9,權(quán)重衰減系數(shù)為0.000 5,經(jīng)過50輪訓(xùn)練,總共迭代11 000次后,訓(xùn)練停止,模型收斂,生成權(quán)重文件,用于構(gòu)建棉花頂尖識(shí)別模型。

VOC數(shù)據(jù)集中驗(yàn)證集中共有195幅圖像,其中146幅棉花頂尖完整清晰,49幅頂尖破損或受遮擋,在置信度閾值為0.5的條件下,通過圖像識(shí)別得正確檢測到頂尖的株數(shù)為135株,錯(cuò)誤檢測株數(shù)為10株,漏檢株數(shù)為11株,因此識(shí)別模型準(zhǔn)確率為93.10%,召回率為92.47%,F1值為92.78%,滿足識(shí)別要求。

將訓(xùn)練好的模型導(dǎo)入棉花頂尖識(shí)別程序中,實(shí)現(xiàn)棉花頂尖的視覺識(shí)別,生成頂尖的邊界框,且每一幀圖像只輸出一個(gè)邊界框。

隨機(jī)選取400幅棉花頂尖圖像,探究棉花頂尖識(shí)別模型在不同分辨率下的識(shí)別準(zhǔn)確率和處理時(shí)間。將測試集圖像轉(zhuǎn)換成1 280像素×720像素、848像素×480像素、640像素×480像素3種分辨率,調(diào)整置信度閾值為0.5,即檢測框置信度大于0.5判定為棉花頂尖,測試不同分辨率下的識(shí)別準(zhǔn)確率和圖像處理時(shí)間,試驗(yàn)結(jié)果如表2所示。

表2 模型測試結(jié)果

由表2可知模型在3種分辨率下的準(zhǔn)確率都能滿足設(shè)計(jì)要求。848像素×480像素比1 280像素×720像素準(zhǔn)確率下降0.87個(gè)百分點(diǎn),處理時(shí)間減少29.27 ms,準(zhǔn)確率相差不大,速度提升較為明顯;848像素×480像素比640像素×480像素準(zhǔn)確率下降0.32個(gè)百分點(diǎn),處理時(shí)間增加5.08 ms,準(zhǔn)確率和處理時(shí)間相差都不大。為擴(kuò)大相機(jī)視野,減小相機(jī)與棉花頂尖距離,滿足打頂裝置的調(diào)節(jié)范圍,選取848像素×480像素分辨率較為合適。

3.4 定位與控制

3.4.1目標(biāo)定位

目標(biāo)定位運(yùn)用雙目視覺定位原理,主要涉及相機(jī)坐標(biāo)系(Xc,Yc,Zc)、圖像坐標(biāo)系(x,y)和像素坐標(biāo)系(u,v)之間的轉(zhuǎn)換[24]。雙目相機(jī)利用左右相機(jī)成像的視覺差可推算出視覺范圍內(nèi)任意一點(diǎn)P距相機(jī)的垂直距離Zc[25],如圖9所示。圖中相機(jī)坐標(biāo)系下點(diǎn)P在左右兩個(gè)圖像平面的投影坐標(biāo)分別為Pl、Pr,圖像坐標(biāo)系原點(diǎn)為圖像中心點(diǎn)。

圖9 雙目視覺定位

根據(jù)圖9雙目視覺定位原理建立點(diǎn)P在相機(jī)坐標(biāo)系與像素坐標(biāo)系的轉(zhuǎn)換關(guān)系式為

(1)

式中ul——Pl在u軸上的坐標(biāo)值,像素

ur——Pr在u軸上的坐標(biāo)值,像素

u0——圖像中心點(diǎn)在u軸上的坐標(biāo)值,像素

v0——圖像中心點(diǎn)在v軸上的坐標(biāo)值,像素

v——Pl、Pr兩點(diǎn)在v軸上的坐標(biāo)值,像素

Xc——P在Xc軸上的坐標(biāo)值,mm

Yc——P在Yc軸上的坐標(biāo)值,mm

Zc——P在Zc軸上的坐標(biāo)值,mm

f——焦距,mm

L——光心間距,mm

dx——u軸上單位像素的物理尺寸,mm/像素

dy——v軸上單位像素的物理尺寸,mm/像素

根據(jù)雙目相機(jī)的參數(shù)及讀取數(shù)值,可得ul、ur、v、u0、v0、f、L,通過相機(jī)標(biāo)定可知dx、dy,代入式(1)得到點(diǎn)P在相機(jī)坐標(biāo)系下的坐標(biāo)(Xc,Yc,Zc)。

視覺檢測機(jī)構(gòu)選取的Intel RealSense D435i型深度相機(jī)為雙目相機(jī),可將左右相機(jī)中的彩色圖像與深度圖像對(duì)齊,形成帶有深度的彩色圖像,返回左右相機(jī)對(duì)齊后的像素坐標(biāo)值u、v和深度Zc,如圖10所示,左側(cè)箭頭代表機(jī)具前進(jìn)方向。同時(shí)D435i型深度相機(jī)可返回fx、fy、u0、v04個(gè)內(nèi)參,已知fx=f/dx,fy=f/dy,故可將式(1)簡化,轉(zhuǎn)換成矩陣方程為

圖10 深度相機(jī)圖像

(2)

通過深度相機(jī)返回的深度Zc,根據(jù)式(2),由點(diǎn)P在像素坐標(biāo)系下坐標(biāo)值(u,v)可直接得到相機(jī)坐標(biāo)系下的坐標(biāo)(Xc,Yc,Zc),此坐標(biāo)可反映相機(jī)視覺范圍內(nèi)任一點(diǎn)P與打頂裝置的相對(duì)空間位置。

通過雙目視覺識(shí)別與定位,得到棉花頂尖邊界框左上角點(diǎn)P1,右下角點(diǎn)P2,在像素坐標(biāo)系下的坐標(biāo)分別為(u1,v1)、(u2,v2),故棉花頂尖中心點(diǎn)Pm在像素坐標(biāo)系下的坐標(biāo)為

(3)

式中um——Pm在u軸上的坐標(biāo)值,像素

vm——Pm在v軸上的坐標(biāo)值,像素

根據(jù)棉花頂尖中心點(diǎn)Pm在像素坐標(biāo)系下的坐標(biāo)(um,vm),通過深度相機(jī)可測得Pm與相機(jī)的豎直距離為Zm,根據(jù)式(2)得棉花頂尖中心點(diǎn)Pm在相機(jī)坐標(biāo)系下的坐標(biāo)為(Xm,Ym,Zm)。

測得深度相機(jī)在打頂范圍(深度相機(jī)距棉花頂尖的距離范圍在500～800 mm之間)內(nèi)的深度測量精度小于8 mm,讀取深度相機(jī)在分辨率848像素×480像素下的fx為605.65像素,fy為605.69像素,根據(jù)式(2)可知橫、縱坐標(biāo)的最大偏差分別為5.6、3.2 mm,故圖像識(shí)別定位的橫坐標(biāo)、縱坐標(biāo)和深度的最大偏差分別為5.6、3.2、8.0 mm,實(shí)際工作時(shí)定位誤差在最大偏差內(nèi)都視為有效定位。

3.4.2棉花頂尖奇異值篩選

為提高目標(biāo)定位的準(zhǔn)確性,通過計(jì)算目標(biāo)識(shí)別輸出的棉花頂尖邊界框的真實(shí)尺寸,使其與棉花頂尖的真實(shí)尺寸對(duì)比,去除奇異值。通過式(2)可知點(diǎn)P1、P2在相機(jī)坐標(biāo)系下的坐標(biāo)分別為(Xc1,Yc1,Zc1)、(Xc2,Yc2,Zc2),故棉花頂尖邊界框的真實(shí)尺寸為

(4)

式中w——棉花頂尖邊界框?qū)挾?mm

h——棉花頂尖邊界框高度,mm

通過田間測量得棉花頂尖邊界框的寬高比在0.7～1.3之間,邊界框近似為正方形,邊長在2～7 cm之間,測量過程如圖11所示。設(shè)定棉花頂尖邊界框?qū)捀弑鹊淖钚￠撝禐?.7,最大閾值為1.3;棉花頂尖邊界框邊長的最小閾值為2 cm,最大閾值為7 cm;當(dāng)目標(biāo)識(shí)別輸出的棉花頂尖邊界框?qū)捀弑群瓦呴L都在閾值范圍內(nèi)時(shí),判定為有效輸出,否則為無效輸出,從而實(shí)現(xiàn)對(duì)無效輸出的篩選,去除奇異值。

圖11 棉花頂尖邊界框尺寸

3.4.3打頂機(jī)構(gòu)定位與控制方法

若同一株棉花頂尖在相機(jī)視野范圍內(nèi)被多次識(shí)別定位,導(dǎo)致打頂機(jī)構(gòu)在很小范圍內(nèi)頻繁移動(dòng),極易引起步進(jìn)電機(jī)過熱。為避免這種情況,根據(jù)棉花頂尖中心點(diǎn)Pm在相機(jī)坐標(biāo)系下的坐標(biāo)(Xm,Ym,Zm),結(jié)合打頂機(jī)構(gòu)雙圓盤前方楔形口尺寸Lx,設(shè)定棉花頂尖允許左右偏移量ΔX

圖12 打頂圓盤工作俯視圖

若識(shí)別出一株棉花頂尖,但打頂機(jī)構(gòu)尚未經(jīng)過棉花頂尖處時(shí),檢測機(jī)構(gòu)識(shí)別出下一株棉花頂尖,此時(shí)打頂機(jī)構(gòu)的移動(dòng)會(huì)導(dǎo)致前一株棉花的漏打頂。通過比較兩株棉花的頂尖前后距離差值ΔY,可知打頂?shù)南群箜樞?避免出現(xiàn)此種漏打頂情況。如圖12所示,ΔY=Ym3-Ym2,若ΔY<0,則Pm2先于Pm3被識(shí)別,此時(shí)打頂機(jī)構(gòu)保持點(diǎn)Pm2定位不移動(dòng),直至棉花頂尖Pm2通過識(shí)別區(qū),打頂機(jī)構(gòu)重新定位移動(dòng);若ΔY>0,則Pm3先于Pm2被識(shí)別,此時(shí)打頂機(jī)構(gòu)由點(diǎn)Pm3位置移動(dòng)到點(diǎn)Pm2位置,保證棉花頂尖Pm2的去除。如圖10所示,虛線上方為識(shí)別區(qū),通過調(diào)整虛線位置和相機(jī)安裝位置,保證棉花頂尖通過識(shí)別區(qū)后直接喂入打頂機(jī)構(gòu)。

3.4.4控制流程

棉花頂尖識(shí)別及控制系統(tǒng)將目標(biāo)定位返回的棉花頂尖中心點(diǎn)位置的橫坐標(biāo)和高度坐標(biāo)(Xm,Zm)發(fā)送到單片機(jī)中,通過與上次頂尖中心點(diǎn)位置進(jìn)行比較,計(jì)算出運(yùn)動(dòng)機(jī)構(gòu)運(yùn)動(dòng)方向及位移,實(shí)現(xiàn)打頂機(jī)構(gòu)的定位,單片機(jī)控制流程如圖13所示。單片機(jī)引用AccelStepper庫控制步進(jìn)電機(jī)轉(zhuǎn)動(dòng),可實(shí)現(xiàn)步進(jìn)電機(jī)的加減速運(yùn)動(dòng),降低機(jī)構(gòu)運(yùn)動(dòng)過程中的慣性影響,提高了運(yùn)動(dòng)平穩(wěn)性,減少步進(jìn)電機(jī)失步情況。

圖13 單片機(jī)控制流程圖

系統(tǒng)部分控制電路如圖14所示,橫向調(diào)節(jié)機(jī)構(gòu)和高度調(diào)節(jié)機(jī)構(gòu)的控制電路基本相同,高度調(diào)節(jié)機(jī)構(gòu)電路中只多出制動(dòng)器控制部分,為簡化電路圖,故略去橫向調(diào)節(jié)機(jī)構(gòu)電路。圖中單片機(jī)Arduino UNO R3,采用ATmega328P微控制器,工作電壓為5 V。PD1、PD2為信號(hào)輸入接口,采用低電平沿觸發(fā),通過啟動(dòng)按鈕SB1和停止按鈕SB2,可控制運(yùn)動(dòng)機(jī)構(gòu)的啟停和置零位。SQ1、SQ2為PNP常開型接近開關(guān),通過KA7805三端穩(wěn)壓器,將輸入的24 V電壓信號(hào)降為5 V分別輸出到PD6和PD5,PD6和PD5采用高電平觸發(fā),用來檢測運(yùn)動(dòng)機(jī)構(gòu)滑臺(tái)位置,實(shí)現(xiàn)運(yùn)動(dòng)機(jī)構(gòu)置零位和行程保護(hù)。DM542步進(jìn)電機(jī)驅(qū)動(dòng)器采用共陰接法,通過PD3、PD4接口分別控制步進(jìn)電機(jī)轉(zhuǎn)動(dòng)方向和脈沖數(shù)。繼電器常開端NC連接制動(dòng)器正極VCC,PD7輸出高電平,制動(dòng)器通電,摩擦片分離,反之摩擦片閉合,通過PD3、PD4和PD7之間相互配合實(shí)現(xiàn)步進(jìn)電機(jī)與制動(dòng)器的協(xié)調(diào)工作,起到防止步進(jìn)電機(jī)失步的作用。

圖14 控制電路

4 試驗(yàn)

4.1 棉花頂尖識(shí)別試驗(yàn)

為測試棉花頂尖識(shí)別模型針對(duì)視頻流的識(shí)別率,在新疆維吾爾自治區(qū)博爾塔拉蒙古自治州博樂市達(dá)勒特鎮(zhèn)棉田隨機(jī)選取早中晚3個(gè)不同時(shí)段拍攝的棉花頂尖視頻進(jìn)行識(shí)別試驗(yàn),并用手持式光照度計(jì)記錄各時(shí)間段光照強(qiáng)度。

拍攝視頻時(shí)需模擬機(jī)具在田間行走所拍攝的棉花頂尖情況,截取視頻中穩(wěn)定運(yùn)動(dòng)的前100株棉花植株作為試驗(yàn)樣本,以識(shí)別率作為試驗(yàn)指標(biāo),置信度閾值設(shè)定為0.5,進(jìn)行識(shí)別試驗(yàn),識(shí)別過程如圖15所示,延時(shí)在49～63 ms之間,識(shí)別結(jié)果如表3所示。

表3 棉花頂尖識(shí)別結(jié)果

圖15 識(shí)別過程

識(shí)別率計(jì)算式為

(5)

式中η1——棉花頂尖識(shí)別率,%

n——正確識(shí)別的棉花株數(shù),株

nz——棉花樣本容量,株

由表3可知,對(duì)于視頻流中的棉花頂尖,模型在光照強(qiáng)度較強(qiáng)時(shí)識(shí)別率有所下降,可通過增加遮光板,降低陽光直射的影響。若夜間工作則需增加補(bǔ)光燈對(duì)棉花頂尖進(jìn)行補(bǔ)光。3個(gè)時(shí)間段的平均識(shí)別率為93%,滿足田間工作所需精度;識(shí)別速度16～20 f/s,識(shí)別過程中只需識(shí)別其中一幀,所需最大時(shí)間63 ms遠(yuǎn)小于運(yùn)動(dòng)機(jī)構(gòu)執(zhí)行時(shí)間,滿足實(shí)時(shí)檢測要求。

4.2 打頂機(jī)構(gòu)性能試驗(yàn)

2022年7月在新疆維吾爾自治區(qū)博爾塔拉蒙古自治州博樂市達(dá)勒特鎮(zhèn)稼豐科技有限公司廠區(qū)內(nèi)進(jìn)行試驗(yàn),驗(yàn)證打頂機(jī)構(gòu)的打頂性能。試驗(yàn)不考慮打頂機(jī)構(gòu)的橫向和高度調(diào)節(jié)情況,故搭建單行棉花臺(tái)架時(shí)要盡量保證棉花頂尖高度一致,且不發(fā)生左右偏移。

以前進(jìn)速度、相匹配的圓盤轉(zhuǎn)速為試驗(yàn)因素,打頂率為試驗(yàn)指標(biāo),試驗(yàn)過程如圖16所示,試驗(yàn)前調(diào)整打頂機(jī)構(gòu)在合適高度,并對(duì)準(zhǔn)棉花行,機(jī)具前進(jìn)時(shí)盡量保證直線行駛,打頂效果如圖17所示,試驗(yàn)結(jié)果如表4所示。

表4 打頂結(jié)果

圖16 打頂機(jī)構(gòu)性能試驗(yàn)

圖17 打頂效果

打頂率計(jì)算式為

(6)

式中η2——打頂率,%

W——完成打頂?shù)拿藁ㄖ陻?shù),株

Wz——棉花樣本容量,株

由表4可知,在3種不同前進(jìn)速度與圓盤轉(zhuǎn)速的匹配條件中,打頂機(jī)構(gòu)的打頂率相差不明顯,在前進(jìn)速度0.3 m/s、圓盤轉(zhuǎn)速46 r/min時(shí)打頂率最高,為96%,平均打頂率為94.67%,故此雙圓盤式打頂機(jī)構(gòu)基本滿足設(shè)計(jì)要求。由圖17可知,打頂機(jī)構(gòu)對(duì)側(cè)枝的損傷較小。受整機(jī)識(shí)別及控制系統(tǒng)和運(yùn)動(dòng)機(jī)構(gòu)執(zhí)行時(shí)間的限制,前進(jìn)速度不能過快,綜合選取前進(jìn)速度為0.3～0.4 m/s。

4.3 田間試驗(yàn)

2022年7月在新疆博爾塔拉蒙古自治州博樂市達(dá)勒特鎮(zhèn)棉田進(jìn)行單行樣機(jī)田間試驗(yàn),試驗(yàn)結(jié)合視覺識(shí)別和運(yùn)動(dòng)機(jī)構(gòu)自動(dòng)控制,驗(yàn)證打頂機(jī)構(gòu)的田間工作效果。棉花品種為新陸早系列,選取76 cm單行種植模式,調(diào)整視覺檢測機(jī)構(gòu)中深度相機(jī)與歸零后的圓盤閉合點(diǎn)豎直距離為500 mm,前后水平距離為400 mm,保證識(shí)別范圍覆蓋打頂范圍內(nèi)的所有棉花頂尖。根據(jù)前期單因素試驗(yàn)確定的圓盤較優(yōu)直徑d=250 mm,圓盤閉合點(diǎn)較優(yōu)位置為與水平方向夾角θ=30°;取前進(jìn)速度0.3 m/s、圓盤轉(zhuǎn)速46 r/min為固定參數(shù),打頂率和識(shí)別率為試驗(yàn)指標(biāo),其中打頂株數(shù)只統(tǒng)計(jì)未對(duì)側(cè)枝造成嚴(yán)重?fù)p傷且完成主徑頂尖拔除的棉花株數(shù)。

隨機(jī)在棉田選取3行進(jìn)行打頂試驗(yàn),如圖18所示。打頂裝置處于穩(wěn)定工作狀態(tài)后每行取前150株棉花,進(jìn)行3次重復(fù)試驗(yàn)得出試驗(yàn)結(jié)果如表5所示。

表5 試驗(yàn)結(jié)果

圖18 田間試驗(yàn)

經(jīng)過3次重復(fù)試驗(yàn)統(tǒng)計(jì),田間試驗(yàn)受機(jī)具晃動(dòng)、棉花枝葉交錯(cuò)及日照條件的影響,棉花頂尖的識(shí)別率和打頂率相比前期穩(wěn)定環(huán)境中的試驗(yàn)有所下降,棉花頂尖的平均識(shí)別率為85.33%,平均打頂率為78.22%,工作過程中可連續(xù)完成棉花頂尖識(shí)別和打頂機(jī)構(gòu)的運(yùn)動(dòng)控制,實(shí)現(xiàn)棉花打頂?shù)娜套詣?dòng)化作業(yè)。

5 討論

本文打頂裝置實(shí)現(xiàn)了全程自動(dòng)化控制,其打頂機(jī)構(gòu)性能基本滿足初始設(shè)計(jì)功能的驗(yàn)證目標(biāo),對(duì)側(cè)枝的損傷小,在能夠正常喂入棉花頂尖時(shí)打頂效果較好,同時(shí)針對(duì)試驗(yàn)時(shí)存在的問題、產(chǎn)生原因及可能的解決方案,分析如下:

(1)田間試驗(yàn)時(shí)雙圓盤式打頂裝置與圓盤刀式和滾筒刀式打頂機(jī)相比,打頂率偏低,主要是存在部分棉花頂尖不能準(zhǔn)確喂入打頂機(jī)構(gòu)雙圓盤之間楔形口的情況。產(chǎn)生原因是田間土地不平整引起的拖拉機(jī)前進(jìn)時(shí)橫向擺動(dòng),導(dǎo)致打頂機(jī)構(gòu)的運(yùn)動(dòng)產(chǎn)生一定偏差,頂尖從圓盤外側(cè)劃過,出現(xiàn)漏打頂情況。可通過開發(fā)智能化履帶自走式專用平臺(tái),提高機(jī)具移動(dòng)的穩(wěn)定性,使識(shí)別定位之后橫向伺服系統(tǒng)的運(yùn)動(dòng)更加精準(zhǔn),從而進(jìn)一步提高打頂率。

(2)田間作業(yè)時(shí)棉花頂尖的識(shí)別率還需進(jìn)一步提高。產(chǎn)生原因是深度相機(jī)抖動(dòng)、日光強(qiáng)度以及日照光線角度的變化會(huì)引起圖像信號(hào)的噪聲,且棉花頂尖也會(huì)受到部分枝葉遮擋,出現(xiàn)漏識(shí)別的情況?？赏ㄟ^構(gòu)建包含棉花頂尖及周圍葉片整體形狀的數(shù)據(jù)集,運(yùn)用圖像處理與深度學(xué)習(xí)技術(shù),對(duì)受遮擋的頂尖進(jìn)行位置預(yù)測,提高檢測能力;通過添加云臺(tái)來降低相機(jī)的抖動(dòng),優(yōu)化視覺檢測機(jī)構(gòu)的遮光與補(bǔ)光結(jié)構(gòu)設(shè)計(jì),以提高識(shí)別率。

6 結(jié)論

(1)設(shè)計(jì)了仿人手動(dòng)作的雙圓盤式打頂機(jī)構(gòu),并運(yùn)用機(jī)器視覺和運(yùn)動(dòng)控制技術(shù)實(shí)現(xiàn)了棉花頂尖的識(shí)別和打頂機(jī)構(gòu)的自動(dòng)控制。

(2)運(yùn)用YOLO v3算法搭建的棉花頂尖識(shí)別及控制系統(tǒng),識(shí)別延時(shí)穩(wěn)定在49～63 ms之間,置信度閾值為0.5時(shí),識(shí)別率為93%,搭配運(yùn)動(dòng)機(jī)構(gòu),能滿足田間作業(yè)實(shí)時(shí)檢測和自動(dòng)控制的要求。

(3)通過打頂機(jī)構(gòu)的打頂性能試驗(yàn),打頂機(jī)構(gòu)的平均打頂率為94.67%;以前進(jìn)速度0.3 m/s、圓盤轉(zhuǎn)速46 r/min為固定參數(shù)進(jìn)行樣機(jī)田間試驗(yàn),平均識(shí)別率為85.33%,平均打頂率為78.22%;整機(jī)實(shí)現(xiàn)了全程自動(dòng)化作業(yè),對(duì)研發(fā)精準(zhǔn)定位的棉花打頂機(jī)械具有一定的參考意義。