陳元杰 趙翰宇 何啟寧 陳彥希 彭江 江沛

doi：?10.11835/j.issn.1000-582X.2022.002

收稿日期：2021-12-10

網(wǎng)絡(luò)出版日期：2022-02-26

基金項(xiàng)目：中央高?；究蒲袠I(yè)務(wù)費(fèi)科研平臺(tái)與成果培育專項(xiàng)（2020CDCGJX023）。

Foundation：Supported by the Fundamental Research Funds for the Central Universities （2020CDCGJX023）.

作者簡介：陳元杰（1996—），男，碩士研究生，主要從事機(jī)械臂視覺伺服、運(yùn)動(dòng)學(xué)模型研究，（E-mail）804830684@qq.com。

通信作者：江沛，男，副教授，博士生導(dǎo)師，（E-mail）Peijiang@cqu.edu.cn。

摘要：軟體機(jī)械臂具有靈活性和柔順性的特點(diǎn)，可在實(shí)現(xiàn)對(duì)位姿跟蹤的同時(shí)確保與環(huán)境交互的安全性，近年成為研究的熱點(diǎn)。但由于軟體機(jī)械臂材料變形是非線性的，其運(yùn)動(dòng)學(xué)建模的參數(shù)眾多且難以獲得準(zhǔn)確值，使軟體機(jī)械臂實(shí)現(xiàn)運(yùn)動(dòng)學(xué)控制較為困難。為了補(bǔ)償軟體機(jī)械臂的不確定性，在現(xiàn)在視覺伺服的基礎(chǔ)上，提出一種基于歷史數(shù)據(jù)驅(qū)動(dòng)的手眼視覺伺服新方法。該方法結(jié)合基于隨機(jī)森林算法的控制器來完成機(jī)械臂控制任務(wù)，通過對(duì)歷史數(shù)據(jù)聚類，基于隨機(jī)森林回歸模型建立軟體機(jī)械臂驅(qū)動(dòng)狀態(tài)和末端圖像特征的逆映射，無須求解機(jī)械臂和攝像機(jī)的任何參數(shù)，即可快速獲取系統(tǒng)輸入變量。實(shí)驗(yàn)結(jié)果表明，所提出的方法可以較好地實(shí)現(xiàn)預(yù)期控制目標(biāo)。

關(guān)鍵詞：軟體機(jī)械臂控制；視覺伺服；隨機(jī)森林

中圖分類號(hào)：TP241.3 ?????????文獻(xiàn)標(biāo)志碼：A ?????文章編號(hào)：1000-582X（2023）09-033-08

Visual servo control of pneumatic soft manipulator based on random forest algorithm

CHEN Yuanjie¹， ZHAO Hanyu¹， HE Qining²， CHEN Yanxi³， PENG Jiang⁴， JIANG Pei¹

（1. College of Mechanical Engineering， Chongqing University， Chongqing 400044， P. R. China; 2. Chongqing City Construction Development Co.， Ltd.， Chongqing 400025， P. R. China; 3. Chongqing Industry Polytechnic College， Chongqing 401120， P. R. China; 4. CCTEG Chongqing Research Institute， Chongqing 400042， P. R. China）

Abstract： The soft manipulator possesses dexterity and flexibility， ensuring safe interaction with the environment while accurately tracking position and posture. It has emerged as a prominent area of research in recent years. However， because the material deformation of the soft manipulator is nonlinear， its kinematic modeling parameters are numerous and it is difficult to obtain accurate values， these difficulties hinder the realization of kinematic control for the soft manipulator. To address the uncertainty of the soft manipulator， this paper proposes a new hand-eye visual servoing method driven by historical data， building upon the current visual servoing techniques. This method integrates a controller based on the random forest algorithm to accomplish the control tasks of the manipulator. By clustering historical data， an inverse mapping of the driving state of the soft manipulator and image characteristics is established using the random forest regression model. The system input variables are predicted quickly without the need to solve any parameters of the manipulator and camera. The experimental results show that the proposed method can better achieve the expected control objectives.

Keywords： soft robot control; visual-servo; random forest

與傳統(tǒng)的剛體機(jī)器臂相比，軟體機(jī)器臂擁有連續(xù)變形機(jī)體結(jié)構(gòu)，具有良好的運(yùn)動(dòng)能力和環(huán)境適應(yīng)性，可高效完成抓握、攀爬等功能性動(dòng)作，引起了研究人員的廣泛關(guān)注，在工業(yè)生產(chǎn)、醫(yī)療手術(shù)、救災(zāi)探測、生活護(hù)理等方面具有廣闊應(yīng)用前景。雖然軟體機(jī)械臂具有很多優(yōu)點(diǎn)，但由于軟體機(jī)械臂的柔性材料和驅(qū)動(dòng)方式，給構(gòu)型和結(jié)構(gòu)設(shè)計(jì)、材料選取、力學(xué)建模與仿真帶來了挑戰(zhàn)，也給控制模型及控制系統(tǒng)設(shè)計(jì)提出了新的難題。

為實(shí)現(xiàn)軟體機(jī)械臂的精確控制，研究者們提出了很多對(duì)軟體機(jī)械臂進(jìn)行近似建模的方法。Mahl等^[1]和Hildebrandt等^[2]運(yùn)用連續(xù)曲率方法和拉格朗日方法建立了一種象鼻軟體機(jī)械臂的運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)模型；Webster等^[3]介紹了常用的軟體機(jī)械臂建模方法，假設(shè)軟體機(jī)械臂變形均勻?qū)ΨQ進(jìn)行建模；Penning等^[4]結(jié)合位置傳感器實(shí)現(xiàn)軟體機(jī)械臂在自由空間中位姿的閉環(huán)控制；Luo等^[5]基于分段恒定曲率假設(shè)，通過曲率傳感器反饋實(shí)現(xiàn)對(duì)軟體機(jī)械蛇運(yùn)動(dòng)的控制；Wang等^[6]將軟體機(jī)械臂虛擬成剛性機(jī)械臂，基于動(dòng)力學(xué)對(duì)其進(jìn)行運(yùn)動(dòng)控制。其他的一些針對(duì)特定機(jī)械臂結(jié)構(gòu)的建模方法，如有限元方法^[7]、彈性桿理論^[8]等，在軟體機(jī)械臂模型控制中不常用。

數(shù)據(jù)驅(qū)動(dòng)的無模型控制方法通過機(jī)器學(xué)習(xí)等方法建立感測數(shù)據(jù)與軟體機(jī)械臂運(yùn)動(dòng)的映射進(jìn)行控制，可以在一定程度上避開軟體機(jī)械臂建模困難的問題。Thuruthel等^[9]使用神經(jīng)網(wǎng)絡(luò)建立了軟體機(jī)械臂的全局映射；Lee等^[10]提出了一種用于氣動(dòng)軟體機(jī)械臂的在線加權(quán)學(xué)習(xí)控制器控制軟體機(jī)械臂追蹤3D軌跡。

除了通過上述方法建立精確的映射外，運(yùn)用傳感器采集狀態(tài)信息用于控制反饋是提高控制精度的重要方法。視覺傳感器常與機(jī)械臂集成，很多學(xué)者對(duì)視覺伺服進(jìn)行研究并提出了很多方法。Wang等^[11?14]提出深度無關(guān)雅可比矩陣，基于運(yùn)動(dòng)學(xué)模型，對(duì)拉線控制的軟體機(jī)械臂eye-in-hand視覺伺服進(jìn)行研究；Xu等^[15]提出了一種基于動(dòng)力學(xué)的水下環(huán)境軟體機(jī)械臂eye-in-hand視覺伺服控制方法；Fang等^[16]通過高斯回歸算法，設(shè)計(jì)在線學(xué)習(xí)控制器，實(shí)現(xiàn)了具有一定抗干擾能力的視覺伺服控制；Wang等^[17]融合圖像和光纖光柵傳感器提高運(yùn)動(dòng)估計(jì)的準(zhǔn)確性，在手術(shù)機(jī)器人中實(shí)現(xiàn)更精確的運(yùn)動(dòng)跟蹤；Cao等^[18]基于神經(jīng)網(wǎng)絡(luò)用非線性模型近似柔性彎曲驅(qū)動(dòng)器的動(dòng)力學(xué)，跟蹤參考軌跡。

為了克服軟體機(jī)械臂建模及控制系統(tǒng)設(shè)計(jì)困難的問題，提出了一種基于機(jī)器學(xué)習(xí)的eye-in-hand視覺伺服控制方法，通過機(jī)器學(xué)習(xí)建立氣動(dòng)軟體機(jī)械臂氣腔壓力與圖像映射關(guān)系，以圖像誤差為反饋，對(duì)氣動(dòng)軟體機(jī)械臂狀態(tài)進(jìn)行動(dòng)態(tài)調(diào)整，從而對(duì)流體驅(qū)動(dòng)的軟體機(jī)械臂進(jìn)行視覺伺服控制。這種方法不需要求解機(jī)械臂和攝像機(jī)的任何參數(shù)，避開了相機(jī)標(biāo)定和軟體機(jī)械臂建模困難和不精確的問題，實(shí)現(xiàn)軟體機(jī)械臂視覺伺服控制，具有較高的控制精度。

1控制策略

1.1任務(wù)空間的定義

Eye-in-hand視覺伺服控制方法需將攝像頭安裝在機(jī)械臂末端執(zhí)行器上。實(shí)現(xiàn)對(duì)軟體機(jī)械臂的控制，須先建立驅(qū)動(dòng)空間、操作空間和任務(wù)空間的映射關(guān)系。

1.2圖像平面上的運(yùn)動(dòng)

相對(duì)于橫向移動(dòng)，相機(jī)的軸向移動(dòng)對(duì)特征點(diǎn)坐標(biāo)識(shí)別影響很小，因?yàn)檩S向運(yùn)動(dòng)主要導(dǎo)致被識(shí)別對(duì)象的縮放，而不是平移。因此，在具有合適幀率的情況下，圖像連續(xù)幀之間引起的深度變化對(duì)圖像處理的影響可忽略。在軟體機(jī)械臂連續(xù)運(yùn)動(dòng)的過程中，通過特征點(diǎn)圖像坐標(biāo)和預(yù)期圖像軌跡，能夠連續(xù)地估計(jì)達(dá)到預(yù)期位置所需要的位移增量。

1.3基于隨機(jī)森林的控制方法

從圖像任務(wù)空間運(yùn)動(dòng)到驅(qū)動(dòng)空間輸入的逆映射學(xué)習(xí)是一個(gè)回歸問題。隨機(jī)森林回歸是一種基于CART決策樹的集成回歸算法，可以解決軟體機(jī)械臂關(guān)節(jié)空間和攝像機(jī)標(biāo)定甚至攝像機(jī)反饋的噪聲引起的參數(shù)不確定性。此外，通過聚類將任務(wù)空間分類加權(quán)，可以提高計(jì)算效率和預(yù)測的準(zhǔn)確度。

1.3.1 CART決策樹

在控制任務(wù)中，可將目標(biāo)變量看作連續(xù)變量，建立回歸樹，用均方誤差（mean-square error， MSE）或者平均絕對(duì)誤差（mean absolute error， MAE）進(jìn)行屬性劃分。對(duì)于有M片葉子的回歸樹，最小化MSE公式為

決策樹算法所需訓(xùn)練數(shù)據(jù)少、可靠性高，但易產(chǎn)生過于復(fù)雜的模型，對(duì)數(shù)據(jù)的泛化性能差，易產(chǎn)生過擬合現(xiàn)象，對(duì)數(shù)據(jù)微小變化的敏感度高，因此可采用基于決策樹的隨機(jī)森林算法。

1.3.2 隨機(jī)森林模型

隨機(jī)森林是決策樹的集成算法，在集成算法中利用裝袋的思想構(gòu)造多個(gè)獨(dú)立的決策樹，根據(jù)平均或多數(shù)表決原則決定集成評(píng)估器的結(jié)果，以降低數(shù)據(jù)過擬合風(fēng)險(xiǎn)。由于算法中加入了隨機(jī)過程，每個(gè)決策樹都有少量差異。合并各個(gè)樹的預(yù)測結(jié)果，以減少預(yù)測方差，提高預(yù)測性能。隨機(jī)森林生成的規(guī)則如下：

1）從原始訓(xùn)練集中隨機(jī)發(fā)放回采樣訓(xùn)練樣本，重復(fù)T次；

2）用這T個(gè)數(shù)據(jù)集，分別作為訓(xùn)練集訓(xùn)練T個(gè)CART樹模型；

3）若特征為M維，指定常數(shù)m，隨機(jī)從M維特征中選取m個(gè)子特征集，按照上述建立決策樹的方式獲得最佳分割；

4）將生成的T棵決策樹集成，構(gòu)成隨機(jī)森林；

5）由T棵樹預(yù)測結(jié)果的均值作為最終結(jié)果并輸出。

1.3.3 模型聚類

2實(shí)驗(yàn)與分析

2.1實(shí)驗(yàn)平臺(tái)

如圖3所示，軟體機(jī)械臂固定在基座上，一特征點(diǎn)固定在工作空間中。軟體機(jī)械臂由3根氣動(dòng)肌肉組成，機(jī)械臂末端通過剛性基板固連在基座上?？諝馔ㄟ^與管段中心軸對(duì)齊的撓性管供應(yīng)到氣動(dòng)肌肉，不同的氣壓使氣動(dòng)肌肉有不同的伸縮長度。3根氣動(dòng)肌肉圍繞中心軸均勻排列，通過3根氣動(dòng)肌肉的不同長度組合，可以實(shí)現(xiàn)機(jī)械臂的伸長和各個(gè)方向上的彎曲。

氣動(dòng)肌肉由橡膠管、兩端剛性基板、外部編織網(wǎng)構(gòu)成，其內(nèi)部無任何剛性結(jié)構(gòu)，可以伸長和彎曲。氣動(dòng)肌肉全長180 mm，直徑14 mm，壁厚2 mm，外部編織網(wǎng)角度約為70°，可在充氣后伸長。

3根氣動(dòng)肌肉和基座連接盤中間留有直徑約為6 mm的間隙孔，中間嵌入工業(yè)內(nèi)窺鏡相機(jī)用以采集實(shí)時(shí)圖像并傳輸至上位機(jī)。相機(jī)鏡頭直徑5.5 mm，剛好穿過間隙和小孔，線材長2 m，幀率為30 FPS，采集圖像像素為640×480，鏡頭上帶有6個(gè)LED燈，可以補(bǔ)充光線，提高圖像質(zhì)量。

驅(qū)動(dòng)系統(tǒng)由氣泵、3個(gè)電磁比例閥構(gòu)成。氣泵為無油空氣壓縮機(jī)，轉(zhuǎn)速1 380 r/min，公稱容積流量40 L/min，額定排氣壓力0.7 MPa。電磁比例閥為SMC公司ITV0030-3BS輕薄型空氣電子比例閥，壓力調(diào)節(jié)范圍0.001～0.5 MPa，輸出壓力分辨率為0.001 MPa。3個(gè)電磁比例閥分別與3根氣動(dòng)肌肉相連控制其氣壓。

2.2模型訓(xùn)練

2.3實(shí)驗(yàn)結(jié)果與分析

通過2個(gè)控制任務(wù)檢測控制模型的性能。

1）單個(gè)點(diǎn)的追蹤：在640×480的圖像平面中，任意選擇目標(biāo)點(diǎn)，通過隨機(jī)森林模型預(yù)測驅(qū)動(dòng)變量，驅(qū)動(dòng)軟體機(jī)械臂，使軟體機(jī)械臂末端相機(jī)圖像特征點(diǎn)到達(dá)目標(biāo)點(diǎn)。圖像平面中，特征點(diǎn)運(yùn)動(dòng)軌跡如圖4所示，藍(lán)色圓圈為目標(biāo)點(diǎn)位置（150，278），紅色為特征點(diǎn)運(yùn)動(dòng)軌跡。起始坐標(biāo)位置為（312，217），追蹤過程迅速收斂，在3個(gè)控制循環(huán)內(nèi)便使追蹤誤差小于10像素點(diǎn)。

2）預(yù)期軌跡的運(yùn)動(dòng)：在640×480的圖像平面中，規(guī)劃一條預(yù)期目標(biāo)軌跡，通過隨機(jī)森林模型預(yù)測驅(qū)動(dòng)變量，驅(qū)動(dòng)軟體機(jī)械臂，使軟體機(jī)械臂末端相機(jī)圖像特征點(diǎn)按照預(yù)期軌跡運(yùn)動(dòng)。圖像平面中，特征點(diǎn)運(yùn)動(dòng)軌跡如圖5（a）所示，藍(lán)色線條為規(guī)劃的正弦軌跡，紅色為特征點(diǎn)運(yùn)動(dòng)軌跡，軌跡跟蹤誤差如圖5（b）所示，按照預(yù)期軌跡運(yùn)動(dòng)過程中，最大跟蹤誤差為47像素，最小跟蹤誤差為1像素，平均誤差約為20像素，整個(gè)追蹤過程用時(shí)約27 s。

實(shí)驗(yàn)結(jié)果表明，運(yùn)用隨機(jī)森林模型近似的逆映射能夠準(zhǔn)確地?cái)M合輸入空間和任務(wù)空間的關(guān)系，并對(duì)到達(dá)預(yù)期目標(biāo)位置的驅(qū)動(dòng)變量進(jìn)行準(zhǔn)確的預(yù)測。實(shí)驗(yàn)結(jié)果驗(yàn)證了控制策略的有效性和隨機(jī)森林模型的準(zhǔn)確性。

3結(jié)束語

為了克服軟體機(jī)械臂運(yùn)動(dòng)學(xué)建模困難和相機(jī)標(biāo)定的問題，提出了一種基于隨機(jī)森林算法的氣動(dòng)軟體機(jī)械臂視覺伺服方法。該方法基于歷史數(shù)據(jù)建立氣動(dòng)軟體機(jī)械臂氣腔壓力與圖像映射關(guān)系，以圖像誤差為反饋，對(duì)氣動(dòng)軟體機(jī)械臂狀態(tài)進(jìn)行動(dòng)態(tài)調(diào)整，從而實(shí)現(xiàn)對(duì)流體驅(qū)動(dòng)的軟體機(jī)械臂視覺伺服控制。最后搭建了一個(gè)由3根氣動(dòng)肌肉構(gòu)成的軟體機(jī)械臂實(shí)驗(yàn)平臺(tái)，在此平臺(tái)上進(jìn)行單個(gè)目標(biāo)點(diǎn)和預(yù)期目標(biāo)軌跡的追蹤控制。實(shí)驗(yàn)結(jié)果表明軟體機(jī)械臂追蹤時(shí)反應(yīng)迅速，追蹤平均誤差約為20像素，能夠達(dá)到預(yù)期精度，驗(yàn)證了模型的準(zhǔn)確性和有效性。

但是，目前的方法控制精度對(duì)歷史數(shù)據(jù)依賴度高，對(duì)環(huán)境變化適應(yīng)性不強(qiáng)。在未來的工作中，將研究在線學(xué)習(xí)的算法進(jìn)一步提高軟體機(jī)械臂追蹤的準(zhǔn)確度和環(huán)境適應(yīng)能力，同時(shí)探索一些更有挑戰(zhàn)性的動(dòng)態(tài)控制任務(wù)。

參考文獻(xiàn)

［1］??Mahl T， Hildebrandt A， Sawodny O. A variable curvature continuum kinematics for kinematic control of the bionic handling assistant[J]. IEEE Transactions on Robotics， 2014， 30（4）： 935-949.

［2］??Falkenhahn V， Mahl T， Hildebrandt A， et al. Dynamic modeling of bellows-actuated continuum robots using the euler-lagrange formalism[J]. IEEE Transactions on Robotics， 2015， 31（6）： 1483-1496.

［3］??Webster R J， Jones B A. Design and kinematic modeling of constant curvature continuum robots： a review[J]. International Journal of Robotics Research， 2010， 29（13）： 1661-1683.

［4］??Penning R S， Jung J， Ferrier N J， et al. An evaluation of closed-loop control options for continuum manipulators[C]// IEEE International Conference on Robotics and Automation. IEEE， 2012： 5392-5397.

［5］??Luo M， Pan Y X， Skorina E H， et al. Slithering towards autonomy： a self-contained soft robotic snake platform with integrated curvature sensing[J]. Bioinspiration & Biomimetics， 2015， 10（5）：055001.

［6］??Wang C S， Frazelle C G， Wagner J R， et al. Dynamic control of multisection three-dimensional continuum manipulators based on virtual discrete-jointed robot models[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（2）： 777-788.

［7］??Till J， Bryson C E， Chung S， et al. Efficient computation of multiple coupled Cosserat rod models for real-time simulation and control of parallel continuum manipulators[C]// IEEE International Conference on Robotics & Automation. IEEE， 2015： 5067-5074.

［8］??Lee K H， Leong M， Chow M C W， et al. FEM-based soft robotic control framework for intracavitary navigation[C]// IEEE International Conference on Real-time Computing and Robotics. IEEE， 2018： 11-16.

［9］??Thuruthel T G， Falotico E， Manti M， et al. Learning closed loop kinematic controllers for continuum manipulators in unstructured environments[J]. Soft Robotics， 2017， 4（3）：285-296.

［10］??Lee K H， Fu D K C， Leong M C W， et al. Nonparametric online learning control for soft continuum robot： an enabling technique for effective endoscopic navigation[J]. Soft Robotics， 2017， 4（4）： 324-337.

［11］??Liu Y H， Wang H S， Wang C Y， et al. Uncalibrated visual servoing of robots using a depth-independent interaction matrix[J]. IEEE Transactions on Robotics， 2006， 22（4）： 804-817.

［12］??Wang H S， Chen W D， Yu X J， et al. Visual servo control of cable-driven soft robotic manipulator[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. IEEE， 2014： 57-62.

［13］??Wang H S， Yang B H， Liu Y T， et al. Visual servoing of soft robot manipulator in constrained environments with an adaptive controller[J]. ASME Transactions on Mechatronics， 2017， 22（1）： 41-50.

［14］??Xu F， Wang H S， Chen W D， et al. Visual servoing of a cable-driven soft robot manipulator with shape feature[J]. IEEE Robotics and Automation Letters， 2021， 6（3）： 4281-4288.

［15］??Xu F， Wang H S， Wang J C， et al. Underwater dynamic visual servoing for a soft robot arm with online distortion correction[J]. IEEE/ASME Transactions on Mechatronics， 2019， 24（3）： 979-989.

［16］??Fang G， Wang X M， Wang K， et al. Vision-based online learning kinematic control for soft robots using local Gaussian process regression[J]. IEEE Robotics and Automation Letters， 2019， 4（2）： 1194-1201.

［17］??Wang X M， Fang G， Wang K， et al. Eye-in-hand visual servoing enhanced with sparse strain measurement for soft continuum robots[J]. IEEE Robotics and Automation Letters， 2020， 5（2）： 2161-2168.

［18］??Cao Y， Huang J， Ru H G， et al. A visual servo-based predictive control with echo state Gaussian process for soft bending actuator[J]. IEEE/ASME Transactions on Mechatronics， 2021， 26（1）： 574-585.

［19］??Siciliano B， Khatib O. Springer handbook of robotics[M]. Berlin， Heidelberg： Springer Berlin Heidelberg， 2008.

［20］??Zelinsky A. Learning OpenCV-computer vision with the OpenCV library [J]. IEEE Robotics & Automation Magazine， 2009， 16（3）：100.

［21］??Suzuki S， Be K. Topological structural analysis of digitized binary images by border following[J]. Computer Vision， Graphics， and Image Processing， 1985， 30（1）： 32-46.

（編輯??詹燕平）