国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于樹莓派深度學(xué)習(xí)的采摘機(jī)器人

2023-06-21 22:09覃書波胡美婧陳昌熙
現(xiàn)代信息科技 2023年1期
關(guān)鍵詞:PID算法深度學(xué)習(xí)

覃書波 胡美婧 陳昌熙

摘? 要:為解決采摘機(jī)器人在抓取中的目標(biāo)識(shí)別、位置定位及系統(tǒng)控制方面準(zhǔn)確率低,自主能力差等問題。提出一種基于深度學(xué)習(xí)的采摘機(jī)器人,該機(jī)器人系統(tǒng)以樹莓派為主控核心,結(jié)合舵機(jī)和多種傳感器組等模塊,通過建立機(jī)器人運(yùn)動(dòng)學(xué)模型,實(shí)現(xiàn)從關(guān)節(jié)到末端執(zhí)行機(jī)構(gòu)的映射,采用視覺技術(shù)建立目標(biāo)識(shí)別與定位模型,通過視覺反饋來(lái)控制機(jī)器人。試驗(yàn)結(jié)果表明,該機(jī)器人具有較高的識(shí)別能力與定位準(zhǔn)確率,并具有較高的控制效率。

關(guān)鍵詞:采摘機(jī)器人;深度學(xué)習(xí);運(yùn)動(dòng)學(xué)模型;LeNet卷積神經(jīng)網(wǎng)絡(luò);PID算法

中圖分類號(hào):TP242? ? 文獻(xiàn)標(biāo)識(shí)碼:A? 文章編號(hào):2096-4706(2023)01-0154-05

Picking Robot Based on Deep Learning of Raspberry Pie

QIN Shubo1, HU Meijing2, CHEN Changxi3

(1.School of Electrical and Information Engineering, Anhui University of Science and Technology, Huainan? 232001, China;

2.School of Earth and Environment, Anhui University of Science and Technology, Huainan? 232001, China;

3.School of Computer and Engineering, Anhui University of Science and Technology, Huainan? 232001, China)

Abstract: In order to solve the problems of low accuracy and poor autonomy of picking robot in aspects of target recognition, position positioning and system control in grasping, a type of picking robot based on deep learning is proposed. The robot system takes raspberry pie as control core, combined with the steering gear and a variety of sensor modules, through the establishment of the robot kinematics model, achieves the mapping from the joint to the end of the actuator. The vision technology is adopted to establish the target identification and positioning model, and it controls the robot through the visual feedback. The experimental results show that the robot has higher recognition ability and positioning accuracy, and has higher control efficiency.

Keywords: picking robot; deep learning; kinematic model; LeNet convolutional neural network; PID algorithm

0? 引? 言

作為農(nóng)業(yè)生產(chǎn)大國(guó),我國(guó)每年的果蔬產(chǎn)量巨大。果蔬的采摘必然成為一項(xiàng)重大任務(wù),傳統(tǒng)采摘方式仍然處于人工采摘階段,不僅需要投入大量的人力物力還會(huì)存在人為因素造成的采摘不及時(shí),誤摘等現(xiàn)象,從而導(dǎo)致采摘成本的增加,效率的下降[1]。

近年來(lái),自動(dòng)化技術(shù)和人工智能技術(shù)迅猛發(fā)展,農(nóng)業(yè)采摘也順勢(shì)由傳統(tǒng)的人工采摘轉(zhuǎn)變?yōu)闄C(jī)械采摘,人工智能的進(jìn)步,使得越來(lái)越多的機(jī)器人、機(jī)械臂應(yīng)用到農(nóng)業(yè)采摘中,極大地提高了農(nóng)業(yè)生產(chǎn)效率[2,3]。但利用機(jī)器人進(jìn)行采摘的過程中,對(duì)目標(biāo)對(duì)象的識(shí)別不準(zhǔn)確,定位有誤差,以及控制不穩(wěn)定都會(huì)使采摘更困難,造成采摘效率的下降[4]。因此如何進(jìn)一步提高采摘的效率成為眾多學(xué)者研究的一個(gè)熱點(diǎn),目前,圖像處理技術(shù)的發(fā)展為農(nóng)業(yè)采摘機(jī)器人的設(shè)計(jì)提供了一大思路[5],將圖像視覺技術(shù)嵌入到機(jī)器人采摘系統(tǒng)中,利用視覺反饋信息間接控制機(jī)器人的運(yùn)動(dòng),使得機(jī)器人能夠根據(jù)目標(biāo)對(duì)象顏色、位置等信息作出正確的指令,以此驅(qū)動(dòng)機(jī)器人末端執(zhí)行器的準(zhǔn)確運(yùn)動(dòng)。本文針對(duì)目前機(jī)器人在采摘過程中,存在的采摘準(zhǔn)確率低、自主能力差等問題,提出了一種基于深度學(xué)習(xí)的采摘機(jī)器人,該機(jī)器人系統(tǒng)以樹莓派為主控核心,結(jié)合舵機(jī)和多種傳感器組等模塊,利用LeNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)果實(shí)目標(biāo)進(jìn)行準(zhǔn)確識(shí)別,采用避障算法進(jìn)行準(zhǔn)確定位,并利用PID算法來(lái)實(shí)現(xiàn)機(jī)器人的穩(wěn)定準(zhǔn)確控制。最后通過別定位測(cè)試實(shí)驗(yàn)可以看出,提出的采摘機(jī)器人能夠達(dá)到較高的識(shí)別定位精度,且能夠?qū)崿F(xiàn)高效的控制。說(shuō)明將其應(yīng)用于農(nóng)業(yè)果實(shí)的采摘可以提高采摘效率和質(zhì)量,對(duì)于促進(jìn)農(nóng)業(yè)智能化發(fā)展具有重要意義[6]。

1? 采摘機(jī)器人整體架構(gòu)設(shè)計(jì)

該采摘機(jī)器人的整體架構(gòu)設(shè)計(jì)由控制板、傳感器、舵機(jī)及其機(jī)械結(jié)構(gòu)組成,其系統(tǒng)包含四部分,即上位機(jī)(計(jì)算機(jī))、下位機(jī)(控制板)、驅(qū)動(dòng)元件(舵機(jī))以及傳感器。整個(gè)系統(tǒng)結(jié)構(gòu)如圖1所示。

其中上位機(jī)具有強(qiáng)大的運(yùn)算功能,主要完成目標(biāo)對(duì)象圖像信息處理,機(jī)器人的運(yùn)動(dòng)控制策略,以及與控制器之間的通信監(jiān)測(cè)。下位機(jī)控制器主要是接收來(lái)自上位機(jī)的指令以及傳感器的信息,從而驅(qū)動(dòng)機(jī)器人完成各項(xiàng)運(yùn)動(dòng)。驅(qū)動(dòng)部分主要由舵機(jī)構(gòu)成,其功能是接收控制器的控制指令后帶動(dòng)機(jī)器人末端執(zhí)行機(jī)構(gòu)的運(yùn)行。傳感器主要獲取外部環(huán)境信息并傳送給控制器,另外驅(qū)動(dòng)元件會(huì)將機(jī)器人的運(yùn)動(dòng)狀態(tài)反饋給控制器部分,從而實(shí)現(xiàn)機(jī)器人的準(zhǔn)確運(yùn)動(dòng)控制。電源部分給控制板、舵機(jī)以及傳感器供電。

2? 采摘機(jī)器人系統(tǒng)硬件設(shè)計(jì)

該采摘機(jī)器人系統(tǒng)硬件主要部分包括控制器,舵機(jī)以及傳感器,其中傳感器又分為超聲波傳感器和深度相機(jī)。如圖2所示,給出了由SolidWorks畫出的機(jī)械臂結(jié)構(gòu)。

2.1? 控制板

控制器為整個(gè)硬件系統(tǒng)的核心部分,機(jī)器人末端機(jī)構(gòu)的運(yùn)行離不開控制器的控制,該控制器的控制板采用了樹莓派及擴(kuò)展板,其中下層擴(kuò)展板為智能溫控風(fēng)扇及RGB燈擴(kuò)展板,由于機(jī)器人需要安裝很多舵機(jī),發(fā)送很多指令,且在功能實(shí)現(xiàn)上有很多子線程,樹莓派CPU將完成很復(fù)雜的工作,因此需要設(shè)計(jì)它的散熱系統(tǒng)。上層擴(kuò)展板為舵機(jī)和傳感器的擴(kuò)展板,連接機(jī)械臂的總線舵機(jī),由于只對(duì)樹莓派的物理引腳做了一個(gè)映射,所以通過樹莓派來(lái)直接控制它們。另外,樹莓派與散熱系統(tǒng)之間通過IIC協(xié)議通信,與舵機(jī)通過ttyAMA0串口通信。

2.2? 舵機(jī)

舵機(jī)為機(jī)器人系統(tǒng)的驅(qū)動(dòng)機(jī)構(gòu),它接收來(lái)自控制器的指令然后驅(qū)動(dòng)機(jī)械臂末端執(zhí)行機(jī)構(gòu)的運(yùn)行,該舵機(jī)使用的是Dynamixel,通信協(xié)議是通過主程序和舵機(jī)之間互相發(fā)送數(shù)據(jù)包來(lái)進(jìn)行的,其數(shù)據(jù)包分為指令數(shù)據(jù)包和狀態(tài)數(shù)據(jù)包,主程序向舵機(jī)發(fā)送指令數(shù)據(jù)包,舵機(jī)做出相應(yīng)的動(dòng)作并返回狀態(tài)數(shù)據(jù)包,其舵機(jī)協(xié)議是我們編碼的依據(jù)[7]。

2.3? 傳感器

2.3.1? 超聲波傳感器

該采摘機(jī)器人使用HC-SR04超聲波傳感器用來(lái)測(cè)距,它的Trig端發(fā)出超聲波,接觸到反射物后反射,被Echo端接收,通過記錄超聲波的發(fā)射時(shí)間和接收時(shí)間得到一個(gè)時(shí)間差,然后使用空氣中的聲速計(jì)算距離。如表1所示,給出了HC-SR04超聲波傳感器部分參數(shù)。

2.3.2? 深度相機(jī)

深度相機(jī)作為采摘機(jī)器人的視覺系統(tǒng)具有重要功能,它能夠獲得目標(biāo)對(duì)象的圖像信息,然后將圖像特征信息傳輸給計(jì)算機(jī)進(jìn)行圖像信息處理,從而實(shí)現(xiàn)目標(biāo)物的識(shí)別與定位。本系統(tǒng)使用intel RealSense D415深度相機(jī),該相機(jī)兼容樹莓派Linux系統(tǒng)。捕捉最遠(yuǎn)距離可達(dá)到10 m,且在戶外陽(yáng)光下也可以使用,支持輸出1 280×720分辨率的深度畫面。

3? 機(jī)械臂運(yùn)動(dòng)學(xué)建模

機(jī)械臂運(yùn)動(dòng)學(xué)研究基于D-H參數(shù)法進(jìn)行建模,如表2所示,為該機(jī)械臂D-H參數(shù)。

機(jī)械臂的正運(yùn)動(dòng)學(xué)公式由相鄰連桿之間的變換矩陣推導(dǎo)得到位姿矩陣,并由解析法得出逆運(yùn)動(dòng)學(xué)公式:

其中:

a=-(l3+l4)sinθ3

b=(l3+l4)cosθ3+l2

c=-pxcosθ1-pysinθ1

為機(jī)械臂夾持器末端的固定結(jié)構(gòu)繞z軸的轉(zhuǎn)動(dòng)向量[8]。

由上面參數(shù)在MATLAB仿真平臺(tái)上可獲得機(jī)械臂仿真模型以及Simulink仿真圖如圖3和圖4所示。

4? 采摘機(jī)器人總體軟件及各算法設(shè)計(jì)

4.1? 總體軟件架構(gòu)設(shè)計(jì)

機(jī)械臂的總體軟件結(jié)構(gòu)包括上位機(jī)中機(jī)械臂運(yùn)動(dòng)模型的搭建,視覺信息處理模塊,即卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì),避障算法的運(yùn)行,下位機(jī)中運(yùn)動(dòng)控制算法的運(yùn)行以及實(shí)現(xiàn)通信協(xié)議。其軟件總體結(jié)構(gòu)如圖5所示。

圖5? 系統(tǒng)軟件總體架構(gòu)

系統(tǒng)在運(yùn)行時(shí),傳感器會(huì)獲得外部信息并通過通信協(xié)議傳輸給上位機(jī),在上位機(jī)中實(shí)現(xiàn)目標(biāo)圖像信息進(jìn)行處理,并將指令發(fā)送至控制器,控制器將來(lái)自上位機(jī)的指令信息與來(lái)自傳感器的反饋信息進(jìn)行相應(yīng)處理后,發(fā)送控制指令給驅(qū)動(dòng)裝置,進(jìn)而驅(qū)動(dòng)機(jī)械臂的運(yùn)行,完成各項(xiàng)指定功能。另外驅(qū)動(dòng)機(jī)構(gòu)也會(huì)將機(jī)械臂的運(yùn)行狀態(tài)反饋給控制器,實(shí)現(xiàn)了機(jī)械臂系統(tǒng)的閉環(huán)控制[9]。

對(duì)機(jī)器人的完整控制需要如下部分代碼來(lái)實(shí)現(xiàn):舵機(jī)、傳感器與樹莓派的通信代碼(即驅(qū)動(dòng)程序,有串口、USB和IIC等),數(shù)據(jù)處理代碼(用深度學(xué)習(xí)代碼處理攝像頭采集的數(shù)據(jù)),機(jī)器人的運(yùn)動(dòng)代碼(需要轉(zhuǎn)化為控制器中能夠運(yùn)行的語(yǔ)言),功能實(shí)現(xiàn)代碼(能夠?qū)Y(jié)果做出反饋動(dòng)作)。

4.2? 采摘機(jī)器人各算法設(shè)計(jì)

4.2.1? LeNet模型

機(jī)械臂與深度相機(jī)組成了該機(jī)器人系統(tǒng)中最為關(guān)鍵的手眼系統(tǒng),目標(biāo)對(duì)象信息由深度相機(jī)負(fù)責(zé)采集,傳送給上位機(jī)進(jìn)行信息處理。在該系統(tǒng)中設(shè)計(jì)了LeNet卷積神經(jīng)網(wǎng)絡(luò),其功能是對(duì)目標(biāo)對(duì)象進(jìn)行識(shí)別定位,以確定抓取目標(biāo)的位置,然后經(jīng)過機(jī)械臂的逆運(yùn)動(dòng)學(xué)運(yùn)算可獲得機(jī)械臂各關(guān)節(jié)角信息,并結(jié)合傳感器反饋信息實(shí)現(xiàn)了對(duì)目標(biāo)物的精準(zhǔn)抓取。

LeNet-5卷積網(wǎng)絡(luò)模型如圖6所示。它包括C1卷積層,S2池化層,C3卷積層,S4池化層,C5卷積層,F(xiàn)6全連接層和Output輸出層[10]。

通過卷積操作,增強(qiáng)了原信號(hào)特征,并降低了噪聲,而池化層操作利用了圖像局部相關(guān)性的原理,對(duì)圖像進(jìn)行了子抽樣,減少了數(shù)據(jù)處理量的同時(shí)也保留了一定的有用信息。如表3所示,給出了LeNet網(wǎng)絡(luò)結(jié)構(gòu)具體參數(shù)。

4.2.2? 避障算法

為了實(shí)現(xiàn)采摘機(jī)器人的精準(zhǔn)動(dòng)作,其需要擁有較強(qiáng)的自主識(shí)別定位能力。因此,當(dāng)機(jī)器人在遇到障礙物時(shí),要能夠及時(shí)作出響應(yīng),重新規(guī)劃路線以此越過障礙物。采摘機(jī)器人上的超聲波測(cè)距傳感器組能夠持續(xù)對(duì)環(huán)境進(jìn)行實(shí)時(shí)探測(cè),當(dāng)遇到障礙物時(shí)會(huì)返回障礙物的距離信息[11],同時(shí),深度相機(jī)會(huì)將獲得的圖像信息反饋到上位機(jī)中,在上位機(jī)中利用傳感器獲取的信息進(jìn)障礙物的三維重建,并規(guī)劃新的路徑,使得機(jī)器人能夠及時(shí)避開障礙物到達(dá)作業(yè)區(qū)域。

其中超聲波傳感器測(cè)距流程如圖7所示。

4.2.3? PID算法

采摘機(jī)器人在移動(dòng)過程中,關(guān)節(jié)部分的角速度不斷變化,為了保證機(jī)器人不發(fā)生側(cè)翻,需要機(jī)器人具有較高的穩(wěn)定性。采用PID控制策略實(shí)現(xiàn)采摘機(jī)器人的穩(wěn)定控制[12],當(dāng)系統(tǒng)檢測(cè)到機(jī)器人關(guān)節(jié)力矩有較大變化時(shí),會(huì)反饋給控制器,控制器通過PID控制對(duì)關(guān)節(jié)力矩誤差進(jìn)行調(diào)節(jié),進(jìn)而調(diào)整電機(jī)的轉(zhuǎn)速來(lái)控制機(jī)器人關(guān)節(jié)。通過對(duì)關(guān)節(jié)力矩誤差的調(diào)節(jié),逐漸降低控制誤差,以此實(shí)現(xiàn)機(jī)器人的精準(zhǔn)穩(wěn)定控制。其反饋控制流程如圖8所示。

5? 實(shí)驗(yàn)測(cè)試

為了驗(yàn)證基于樹莓派深度學(xué)習(xí)的采摘機(jī)器人是否具有較高的目標(biāo)識(shí)別和定位能力,以及控制效果,在實(shí)驗(yàn)室環(huán)境下對(duì)該種機(jī)器人進(jìn)行了多組實(shí)驗(yàn)測(cè)試,分為對(duì)機(jī)器人的避障,自由度檢測(cè),物體顏色識(shí)別,移動(dòng)物體跟蹤測(cè)試,目標(biāo)物體抓取五部分功能。得到的實(shí)驗(yàn)測(cè)試結(jié)果如表4所示。

實(shí)驗(yàn)結(jié)果表明,該機(jī)器人在運(yùn)行過程中,可實(shí)現(xiàn)遇障礙物靜止、自主識(shí)別物體顏色與位置、自主抓取物體各項(xiàng)功能。進(jìn)一步說(shuō)明了基于深度學(xué)習(xí)的采摘機(jī)器人具有較高的識(shí)別定位能力,與較強(qiáng)的控制穩(wěn)定性和較高的控制準(zhǔn)確性。

6? 結(jié)? 論

為了確保采摘機(jī)器人的采摘準(zhǔn)確性和工作效率,本文在原有采摘機(jī)器人存在識(shí)別定位準(zhǔn)確性差和控制效率低等問題基礎(chǔ)上,設(shè)計(jì)了一款基于樹莓派深度學(xué)習(xí)的采摘機(jī)器人。利用視覺圖像技術(shù),優(yōu)化了傳統(tǒng)采摘機(jī)器人,完成了采摘機(jī)器人的總體結(jié)構(gòu)設(shè)計(jì)和硬件模塊設(shè)計(jì),采用了LeNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)果實(shí)進(jìn)行識(shí)別,并設(shè)計(jì)了避障算法以及PID控制算法,然后在MATLAB平臺(tái)上搭建Simulink仿真模型,實(shí)現(xiàn)機(jī)器人的運(yùn)動(dòng)控制仿真實(shí)驗(yàn),最后通過對(duì)其抓取和避障實(shí)驗(yàn)以及軌跡跟蹤測(cè)試證明了提出的采摘機(jī)器人能夠達(dá)到較高的識(shí)別率,定位精度,以及高效穩(wěn)定的控制。因此,將其應(yīng)用于農(nóng)業(yè)果實(shí)的采摘中可以提高采摘效率,對(duì)農(nóng)業(yè)生產(chǎn)的智能化發(fā)展具有重要意義。

參考文獻(xiàn):

[1] 魯家皓.基于計(jì)算機(jī)圖像的采摘機(jī)器人結(jié)構(gòu)優(yōu)化研究 [J].農(nóng)機(jī)化研究,2022,44(6):199-203.

[2] 任亞婧,張寧寧,徐媛媛,等.基于視覺識(shí)別的成熟蘋果識(shí)別及采摘定位系統(tǒng) [J].現(xiàn)代電子技術(shù),2021,44(11):73-77.

[3] 孔翰博,王克強(qiáng),蔡肯,等.基于機(jī)器視覺的采摘機(jī)器人目標(biāo)識(shí)別定位研究應(yīng)用進(jìn)展 [J].電子技術(shù)與軟件工程,2022(10):160-165.

[4] 周浩,唐昀超,鄒湘軍,等.農(nóng)業(yè)采摘機(jī)器人視覺感知關(guān)鍵技術(shù)研究 [J].農(nóng)機(jī)化研究,2023,45(6):68-75.

[5] 朱明秀.采摘機(jī)器人水果檢測(cè)及定位研究——基于圖像處理和卷積神經(jīng)網(wǎng)絡(luò) [J].農(nóng)機(jī)化研究,2022,44(4):49-53.

[6] 劉凱. 面向農(nóng)業(yè)環(huán)境的采摘機(jī)器人空間視覺感知與采摘控制方法研究 [D].桂林:桂林電子科技大學(xué),2021.

[7] 胡可狄,于亞利,李帥,等.基于stm32的車輛調(diào)試自動(dòng)控制系統(tǒng)設(shè)計(jì) [J].電子制作,2022,30(3):31-34.

[8] 陳愛波,寧淑榮,陳五一.基于MATLAB與SolidWorks的六自由度機(jī)器人聯(lián)合建模仿真 [J].機(jī)電技術(shù),2014(6):57-60.

[9] 吳蓬勃,張金燕,張冰玉,等.基于樹莓派的機(jī)械臂視覺抓取系統(tǒng)設(shè)計(jì) [J].電子制作,2022,30(7):23-25.

[10] 吳麗娜,王林山.改進(jìn)的LeNet-5模型在花卉識(shí)別中的應(yīng)用 [J].計(jì)算機(jī)工程與設(shè)計(jì),2020,41(3):850-855.

[11] 張向珂.采摘機(jī)械手障礙信息探測(cè)及避障技術(shù)研究 [D].鎮(zhèn)江:江蘇大學(xué),2010.

[12] 倪江楠,郭君揚(yáng).基于PID控制和ADAMS的快速移動(dòng)采摘機(jī)器人設(shè)計(jì) [J].農(nóng)機(jī)化研究,2023,45(2):219-222.

作者簡(jiǎn)介:覃書波(1999.02—),男,漢族,四川彭州人,本科在讀,研究方向:電氣工程及其自動(dòng)化。

收稿日期:2022-08-29

基金項(xiàng)目:安徽省省級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目(S202110361119)

猜你喜歡
PID算法深度學(xué)習(xí)
基于LabVIEW的旋轉(zhuǎn)倒立擺系統(tǒng)設(shè)計(jì)
有體驗(yàn)的學(xué)習(xí)才是有意義的學(xué)習(xí)
電子商務(wù)中基于深度學(xué)習(xí)的虛假交易識(shí)別研究
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場(chǎng)域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
基于STM32的風(fēng)力擺控制系統(tǒng)
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
風(fēng)力擺控制系統(tǒng)
基于K60的智能循跡小車系統(tǒng)實(shí)現(xiàn)