王杰棟，黃家海，2，蘭 媛，2，熊曉燕，2

（1.太原理工大學(xué)機(jī)械與運(yùn)載工程學(xué)院，山西 太原 030000；2.太原理工大學(xué)新型傳感器與智能控制教育部重點(diǎn)實(shí)驗(yàn)室，山西 太原 030000）

1 引言

挖掘機(jī)廣泛應(yīng)用于各種施工場(chǎng)合，在工程機(jī)械中占有十分重要的地位。挖掘機(jī)作業(yè)環(huán)境復(fù)雜，常常伴有噪聲、粉塵，甚至存在塌方、輻射等危險(xiǎn)，不利于操作人員長(zhǎng)時(shí)間工作。挖掘機(jī)智能化、自主化成為未來(lái)發(fā)展趨勢(shì)［1-2］。

挖掘機(jī)自主智能化研究，一直以來(lái)都是很具挑戰(zhàn)的課題，國(guó)內(nèi)外研究人員為此做了大量的研究工作，文獻(xiàn)［3-4］采用激光測(cè)距儀對(duì)作業(yè)環(huán)境進(jìn)行感知，以此實(shí)現(xiàn)挖掘作業(yè)過(guò)程中對(duì)挖掘點(diǎn)和運(yùn)載目標(biāo)的準(zhǔn)確可靠識(shí)別；文獻(xiàn)［5-6］為實(shí)現(xiàn)挖掘機(jī)自主化挖掘，在挖掘機(jī)上安裝激光掃描儀來(lái)檢測(cè)環(huán)境、障礙和土質(zhì)；文獻(xiàn)［7-8］利用普通相機(jī)、立體相機(jī)和激光測(cè)距儀來(lái)進(jìn)行環(huán)境感知實(shí)現(xiàn)挖掘機(jī)避障和挖掘目標(biāo)的檢測(cè)；文獻(xiàn)［9-10］利用激光雷達(dá)建立了一套具備站點(diǎn)建模能力的挖掘機(jī)機(jī)器人。這些挖掘機(jī)的自主智能化大多體現(xiàn)在環(huán)境感知、避障和挖掘目標(biāo)識(shí)別等方面，在挖掘機(jī)工作裝置姿態(tài)測(cè)量方面，更多的是以電位計(jì)、關(guān)節(jié)角度編碼器等傳統(tǒng)接觸式傳感器來(lái)實(shí)現(xiàn)。工作裝置姿態(tài)信息作為控制系統(tǒng)的重要參數(shù)，實(shí)時(shí)精準(zhǔn)地獲取姿態(tài)信息對(duì)自主智能化作業(yè)起著至關(guān)重要的作用。文獻(xiàn)［11-12］針對(duì)姿態(tài)測(cè)量中傳統(tǒng)接觸式傳感器容易碰撞損壞等問(wèn)題，提出了一種基于視覺測(cè)量技術(shù)的姿態(tài)測(cè)量方法。在挖掘機(jī)工作裝置上固定人工靶標(biāo)，以工業(yè)相機(jī)獲取圖像信息，經(jīng)圖像處理后檢測(cè)到人工靶標(biāo)上的角點(diǎn)特征信息或其他特征標(biāo)識(shí)，并將這些特征作為關(guān)鍵點(diǎn)，根據(jù)其約束條件獲得工作裝置的姿態(tài)信息［13-14］。在此過(guò)程中，由于挖掘機(jī)作業(yè)環(huán)境復(fù)雜及其本身具有的棱角，因此相機(jī)捕獲的圖像中元素和噪點(diǎn)過(guò)多，從而特征識(shí)別算法檢測(cè)到較多無(wú)效的特征點(diǎn)，導(dǎo)致姿態(tài)檢測(cè)失敗率高且耗時(shí)比較嚴(yán)重；同時(shí)，人工靶標(biāo)上的角點(diǎn)信息在作業(yè)過(guò)程中不可避免地會(huì)被泥土等污染，這也是導(dǎo)致姿態(tài)檢測(cè)失敗的原因之一。

因此提出，利用基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法實(shí)現(xiàn)對(duì)工作裝置上關(guān)鍵點(diǎn)特征的檢測(cè)。不同于傳統(tǒng)機(jī)器視覺算法對(duì)特定對(duì)象特征和人工制作特征的提取，深度神經(jīng)網(wǎng)絡(luò)可以從眾多樣本中提取更多廣義特征［15］?；谏疃葘W(xué)習(xí)的目標(biāo)檢測(cè)算法大致可以分為基于候選區(qū)域和基于回歸兩類，與前者相比后者不需要候選區(qū)域生成分支，可直接對(duì)給定的圖像回歸出目標(biāo)類別和候選框［16］。YOLO系列算法作為基于回歸類目標(biāo)檢測(cè)算法，經(jīng)過(guò)多次改進(jìn)，YOLOv3已能夠以高精度和高速度檢測(cè)多個(gè)標(biāo)簽對(duì)象，是現(xiàn)階段目標(biāo)檢測(cè)中，滿足實(shí)時(shí)性和精確性的首要選擇之一［17］。YOLOv3算法以其對(duì)小目標(biāo)識(shí)別率高、高精度、快響應(yīng)等優(yōu)勢(shì)，可應(yīng)用于無(wú)人駕駛汽車行駛過(guò)程中對(duì)交通標(biāo)志的檢測(cè)［18］。YOLOv3算法對(duì)不同顏色目標(biāo)有較高的識(shí)別率，可以此實(shí)現(xiàn)對(duì)交通信號(hào)燈的實(shí)時(shí)檢測(cè)，有效地減小光照及汽車尾燈對(duì)檢測(cè)的不良影響［19］。因此利用YOLOv3算法可以有效地提取工作裝置上較小關(guān)鍵點(diǎn)的特征，對(duì)其進(jìn)行識(shí)別和定位，即使關(guān)鍵點(diǎn)被污染遮擋也可實(shí)現(xiàn)檢測(cè)。

針對(duì)現(xiàn)在挖掘機(jī)工作裝置姿態(tài)測(cè)量的一些問(wèn)題，提出一種基于多點(diǎn)標(biāo)識(shí)的挖掘機(jī)工作裝置姿態(tài)測(cè)量方法。以不同類型的關(guān)鍵點(diǎn)標(biāo)識(shí)作為工作裝置各桿件的關(guān)鍵點(diǎn)，用YOLOv3目標(biāo)識(shí)別算法直接分類并定位這些關(guān)鍵點(diǎn)標(biāo)識(shí)，無(wú)需特征篩選，減少檢測(cè)耗時(shí)、提高測(cè)量實(shí)時(shí)性。YOLOv3算法可以在關(guān)鍵點(diǎn)標(biāo)識(shí)被污染遮擋的情況下，實(shí)現(xiàn)識(shí)別和定位，提高工作裝置姿態(tài)檢測(cè)的成功率。

2 YOLOv3算法回顧

YOLOv3算法的核心結(jié)構(gòu)是一個(gè)能夠一次預(yù)測(cè)多類目標(biāo)的卷積神經(jīng)網(wǎng)絡(luò)。它可以實(shí)現(xiàn)真正意義上的端到端目標(biāo)檢測(cè)，具有檢測(cè)準(zhǔn)確率高、速度快的優(yōu)點(diǎn)。YOLOv3算法使用回歸方法代替Softmax方法，實(shí)現(xiàn)檢測(cè)多種類別目標(biāo)，該算法的神經(jīng)網(wǎng)絡(luò)使用了Darknet-53作為整個(gè)網(wǎng)絡(luò)的分類骨干部分，采用殘差網(wǎng)絡(luò)思想，允許構(gòu)建更深的網(wǎng)絡(luò)來(lái)改善網(wǎng)絡(luò)中的非線性，并顯著改善分類和檢測(cè)效果。YOLOv3調(diào)出從不同比例提取的三個(gè)特征圖來(lái)預(yù)測(cè)對(duì)象。小特征圖提供語(yǔ)義信息，大特征圖提供更細(xì)粒度的信息，YOLOv3結(jié)構(gòu)全貌，如圖1所示。

圖1 Darknet-53結(jié)構(gòu)與Yolov3網(wǎng)絡(luò)結(jié)構(gòu)全貌Fig.1 Overview of Darknet-53 Structure and Yolov3 Network Structure

3 關(guān)鍵點(diǎn)坐標(biāo)變換

關(guān)鍵點(diǎn)是挖掘機(jī)工作裝置上用于工作裝置姿態(tài)計(jì)算的特征點(diǎn)，工作裝置各桿件姿態(tài)角是根據(jù)關(guān)鍵點(diǎn)的世界坐標(biāo)計(jì)算的，關(guān)鍵點(diǎn)坐標(biāo)的轉(zhuǎn)換模型，如圖2所示。

圖2 坐標(biāo)變換模型Fig.2 Coordinate Transformation Model

假設(shè)P(Xw，Yw，Zw)為世界坐標(biāo)系OwXwYwZw上任意一點(diǎn)，投影到成像平面為點(diǎn)p(x，y)，該點(diǎn)在像素平面坐標(biāo)系的坐標(biāo)為(u，v)，將像素坐標(biāo)(u，v)轉(zhuǎn)換為世界坐標(biāo)P(Xw，Yw，Zw)的轉(zhuǎn)換過(guò)程如下：

（1）像素平面坐標(biāo)Ouvuv與圖像坐標(biāo)系Oxy

像素平面上的像經(jīng)過(guò)放大處理得到數(shù)字圖像，像素平面上的成像點(diǎn)(u，v)轉(zhuǎn)換成為圖像點(diǎn)(x，y)，則：

式中：(u0，v0)—光軸中心線與成像平面交點(diǎn)的坐標(biāo)。

將其寫成矩陣形式為：

式中：Min—內(nèi)參數(shù)矩陣，該參數(shù)矩陣含有4個(gè)參數(shù)。

（2）圖像平面坐標(biāo)系Oxy與相機(jī)坐標(biāo)系OcXcYcZc

點(diǎn)P在相機(jī)坐標(biāo)系內(nèi)的坐標(biāo)為(Xc，Yc，Zc)，是世界坐標(biāo)在相機(jī)坐標(biāo)系下的投影，是一個(gè)三維坐標(biāo)，將其經(jīng)投影變換得到其圖像坐標(biāo)(x，y)，則：

經(jīng)變換可得：

將其寫成矩陣形式為：

式中：f—相機(jī)焦距。

（3）相機(jī)坐標(biāo)系和世界坐標(biāo)系

相機(jī)坐標(biāo)與世界坐標(biāo)的轉(zhuǎn)換關(guān)系，可以看成是攝像機(jī)的外參數(shù)模型，是世界坐標(biāo)系在相機(jī)坐標(biāo)系中的描述。坐標(biāo)系(Xw，Yw，Zw)在坐標(biāo)系OcXcYcZc中的表示，構(gòu)成攝像機(jī)的外參數(shù)矩陣：

式中：R—3×3旋轉(zhuǎn)矩陣；T—三維的平移向量；

旋轉(zhuǎn)矩陣R、平移向量T通過(guò)相機(jī)標(biāo)定獲得，cMw為外參數(shù)矩陣。

（4）將以上式子整合為：

式（6）為其坐標(biāo)轉(zhuǎn)換過(guò)程，將點(diǎn)P的圖像坐標(biāo)帶入可得到其對(duì)應(yīng)的世界坐標(biāo)。式中f、u0、v0為相機(jī)的物理參數(shù)，取決于相機(jī)成像芯片以及鏡頭，R、T經(jīng)過(guò)相機(jī)標(biāo)定可以獲得。

4 挖掘機(jī)工作裝置姿態(tài)測(cè)量系統(tǒng)

設(shè)計(jì)的工作裝置姿態(tài)測(cè)量系統(tǒng)，不依賴任何姿態(tài)傳感器，僅利用一臺(tái)RGB攝像機(jī)實(shí)現(xiàn)對(duì)工作裝置姿態(tài)的測(cè)量。為工作裝置設(shè)置易于識(shí)別和定位的關(guān)鍵點(diǎn)標(biāo)識(shí)，捕獲工作裝置圖像并標(biāo)注建立數(shù)據(jù)集，以此數(shù)據(jù)集訓(xùn)練獲得視覺模型實(shí)現(xiàn)關(guān)鍵點(diǎn)標(biāo)識(shí)的檢測(cè)；根據(jù)關(guān)鍵點(diǎn)間的約束關(guān)系和相機(jī)成像原理還原關(guān)鍵點(diǎn)標(biāo)識(shí)的三維信息，并計(jì)算對(duì)應(yīng)機(jī)械桿件的姿態(tài)角。在背景環(huán)境與挖掘機(jī)過(guò)度融合、關(guān)鍵點(diǎn)標(biāo)識(shí)被污染遮擋的情況下，實(shí)現(xiàn)關(guān)鍵點(diǎn)的識(shí)別和定位，并完成姿態(tài)測(cè)量。

4.1 系統(tǒng)概述

為一臺(tái)無(wú)傳感器的挖掘機(jī)模型配備一個(gè)基于多點(diǎn)標(biāo)識(shí)的工作裝置視覺測(cè)量系統(tǒng)。在姿態(tài)測(cè)量過(guò)程中，工作裝置始終在其側(cè)面所在平面內(nèi)運(yùn)動(dòng)，定義此平面為目標(biāo)平面，對(duì)目標(biāo)的檢測(cè)即對(duì)目標(biāo)平面的檢測(cè)。挖掘機(jī)工作裝置姿態(tài)測(cè)量系統(tǒng)組成包括計(jì)算機(jī)、RGB攝像機(jī)、挖掘機(jī)（目標(biāo)平面）、數(shù)據(jù)線等。其安裝布置，如圖3所示。

圖3 姿態(tài)測(cè)量硬件布置Fig.3 Hardware Layout of Attitude Measurement

如圖4所示，測(cè)量系統(tǒng)由數(shù)據(jù)采集模塊和姿態(tài)估計(jì)模塊M兩部分組成。數(shù)據(jù)采集模塊包括訓(xùn)練圖像采集和實(shí)時(shí)圖像采集，姿態(tài)估計(jì)模塊M，用數(shù)學(xué)方式表達(dá)為：

圖4 姿態(tài)估計(jì)系統(tǒng)Fig.4 Attitude Estimation System

該模型接收實(shí)時(shí)圖像x并輸出定義的姿態(tài)向量p。

式中：p—工作裝置在圖像中的位置參數(shù)，包括9個(gè)維度：6個(gè)相機(jī)外部參數(shù)（平移、旋轉(zhuǎn)）和3個(gè)姿態(tài)角度；x—實(shí)時(shí)從視覺傳感器輸入的圖像（圖片或視頻）；θ—可學(xué)習(xí)參數(shù)。

關(guān)鍵點(diǎn)標(biāo)識(shí)在現(xiàn)實(shí)中都遵循一定的約束，為了充分利用這些約束，姿態(tài)估計(jì)模塊M：h()可分解為兩個(gè)分量：二維關(guān)鍵點(diǎn)檢測(cè)模塊M1、三維姿態(tài)估計(jì)模塊M2，用數(shù)學(xué)方式表達(dá)為

二維關(guān)鍵點(diǎn)檢測(cè)模塊

M1：y=f(x；θ)

三維姿態(tài)估計(jì)模塊

M2：(p，z)=g(y；τ)

式中：y∈R8×2、z∈R8×3—關(guān)鍵點(diǎn)在像素平面坐標(biāo)系和世界坐標(biāo)系中的位置；θ—可學(xué)習(xí)參數(shù)；τ—對(duì)應(yīng)于幾何約束的固定方程組，例如兩個(gè)關(guān)鍵點(diǎn)之間的長(zhǎng)度。也就是說(shuō)，M1—被訓(xùn)練來(lái)優(yōu)化θ的，而M2則是一種無(wú)參數(shù)算法，它涉及擬合幾個(gè)固定的算術(shù)方程。

挖掘機(jī)工作裝置姿態(tài)測(cè)量系統(tǒng)具體實(shí)現(xiàn)過(guò)程為RGB攝像機(jī)在不同環(huán)境下捕獲大量具有關(guān)鍵點(diǎn)標(biāo)識(shí)的挖掘機(jī)圖像數(shù)據(jù)，目標(biāo)檢測(cè)算法利用這些數(shù)據(jù)訓(xùn)練獲得關(guān)鍵點(diǎn)檢測(cè)模塊M1；挖掘機(jī)作業(yè)過(guò)程中RGB攝像機(jī)實(shí)時(shí)捕獲工作裝置的圖像，作為姿態(tài)估計(jì)模塊M的輸入，模塊M1負(fù)責(zé)檢測(cè)該狀態(tài)下關(guān)鍵點(diǎn)二維坐標(biāo)，通過(guò)模塊M2獲得關(guān)鍵點(diǎn)的世界坐標(biāo)和三維姿態(tài)；挖掘機(jī)控制系統(tǒng)將估計(jì)的三維姿態(tài)作為輸入，控制工作裝置變化，變化后的姿態(tài)又作為下一輪循環(huán)的輸入，實(shí)現(xiàn)挖掘機(jī)工作裝置姿態(tài)的實(shí)時(shí)測(cè)量。

4.2 關(guān)鍵點(diǎn)標(biāo)識(shí)

工作裝置姿態(tài)就是工作裝置各機(jī)械桿件的姿態(tài)角，分別為挖掘機(jī)動(dòng)臂與水平基座的夾角α2、斗桿與動(dòng)臂夾角α3、鏟斗（斗尖）與斗桿的夾角α4，如圖5 所示。其中，a1、a2、a3分別為挖掘機(jī)動(dòng)臂、斗桿、鏟斗。

圖5 工作裝置姿態(tài)角分布Fig.5 Attitude Angle Distribution of Work Device

為了實(shí)時(shí)準(zhǔn)確地測(cè)量工作裝置各桿件姿態(tài)角，關(guān)鍵點(diǎn)的選取要易于識(shí)別和定位，由于挖掘機(jī)作業(yè)環(huán)境復(fù)雜，挖掘機(jī)及其工作裝置與背景環(huán)境過(guò)度融合，沒有可以明顯區(qū)分二者的關(guān)鍵點(diǎn)標(biāo)識(shí)。顏色特征和形狀幾何特征是深度學(xué)習(xí)算法易于學(xué)習(xí)和提取的特征信息，用不同顏色和大小的貼片作為關(guān)鍵點(diǎn)標(biāo)識(shí)，既易于識(shí)別和定位又能明顯區(qū)分工作裝置和背景環(huán)境。設(shè)計(jì)了8種類型的關(guān)鍵點(diǎn)標(biāo)識(shí)，關(guān)鍵點(diǎn)標(biāo)識(shí)為顏色不同大小相同的圓形標(biāo)識(shí)，具體參數(shù)，如表1所示。工作裝置各桿件和水平基座上各布置兩種，桿件上兩關(guān)鍵點(diǎn)標(biāo)識(shí)中心連線與對(duì)應(yīng)桿件鉸點(diǎn)連線平行，其布置方式如圖3所示，關(guān)鍵點(diǎn)標(biāo)識(shí)的中心即為關(guān)鍵點(diǎn)，用于姿態(tài)角的測(cè)量。

表1 關(guān)鍵點(diǎn)標(biāo)識(shí)位置布置與參數(shù)Tab.1 Key Point Mark Location Layout and Parameters

4.3 數(shù)據(jù)采集

為挖掘機(jī)模型配備工作裝置姿態(tài)測(cè)量系統(tǒng)，主要是訓(xùn)練獲得一個(gè)姿態(tài)估計(jì)模型M，使給定輸入圖像x，輸出姿態(tài)預(yù)測(cè)p。訓(xùn)練這樣的模型通常需要大量的標(biāo)記數(shù)據(jù)，收集大量不同環(huán)境下的挖掘機(jī)圖像，用于姿態(tài)測(cè)量模型的訓(xùn)練。數(shù)據(jù)采集包括訓(xùn)練圖像采集和實(shí)時(shí)圖像采集。訓(xùn)練數(shù)據(jù)D1采集于實(shí)驗(yàn)室環(huán)境下模擬挖掘機(jī)在不同背景環(huán)境、光照、障礙物下作業(yè)的圖像，最大限度地保證工作裝置的姿態(tài)、背景環(huán)境和相機(jī)視角的多變性，以確保獲得準(zhǔn)確的預(yù)測(cè)模型。采集到圖像后，利用標(biāo)注軟件LabelImg對(duì)每幅圖像上的8類關(guān)鍵點(diǎn)標(biāo)識(shí)進(jìn)行標(biāo)注，訓(xùn)練數(shù)據(jù)樣本容量為1300。訓(xùn)練樣本按比例6：2：2劃分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。訓(xùn)練集用于訓(xùn)練或者擬合模型，用于建立模型；驗(yàn)證集用來(lái)測(cè)試不同模型和參數(shù)的表現(xiàn)，借此調(diào)整模型；測(cè)試集用來(lái)評(píng)估模型在實(shí)際使用時(shí)的泛化能力。

實(shí)時(shí)圖像D2是姿態(tài)測(cè)量系統(tǒng)的輸入，是挖掘機(jī)在實(shí)際作業(yè)過(guò)程中RGB攝像機(jī)捕獲的圖像。

4.4 相機(jī)標(biāo)定

數(shù)學(xué)軟件MATLAB 具有強(qiáng)大的視覺算法包，其內(nèi)置的標(biāo)定方法操作簡(jiǎn)單，獲得的標(biāo)定精度高，被廣泛應(yīng)用于各種相機(jī)標(biāo)定。相機(jī)標(biāo)定分為兩部分：內(nèi)部參數(shù)的校核、外出參數(shù)的標(biāo)定。

4.4.1 內(nèi)部參數(shù)校核

MATLAB相機(jī)標(biāo)定程序原理為張正友棋盤格標(biāo)定法，利用棋盤格標(biāo)定板對(duì)相機(jī)標(biāo)定，將棋盤格標(biāo)定板置于相機(jī)視場(chǎng)范圍內(nèi)，改變標(biāo)定板的角度、方向、位置等，攝像機(jī)捕獲大量圖像，導(dǎo)入MATLAB標(biāo)定軟件，角點(diǎn)檢測(cè)算法檢測(cè)標(biāo)定板上各個(gè)棋盤格的角點(diǎn)，根據(jù)其圖像坐標(biāo)計(jì)算獲得相機(jī)內(nèi)部參數(shù)，完成對(duì)內(nèi)部參數(shù)的校核，如圖6所示。

圖6 相機(jī)內(nèi)部參數(shù)校核Fig.6 Camera Internal Parameter Check

4.4.2 外部參數(shù)標(biāo)定

進(jìn)行相機(jī)標(biāo)定的過(guò)程中，我們以標(biāo)定板邊緣角點(diǎn)為世界坐標(biāo)系的原點(diǎn)，如圖7所示。標(biāo)點(diǎn)板可以看作目標(biāo)平面，目標(biāo)平面的世界坐標(biāo)系對(duì)應(yīng)標(biāo)定板的坐標(biāo)系，此標(biāo)定板的位置決定世界坐標(biāo)系的位置。

圖7 相機(jī)外部參數(shù)標(biāo)定Fig.7 Camera External Parameter Calibration

如圖7所示，目標(biāo)平面內(nèi)所有點(diǎn)Zw=0，固定相機(jī)與挖掘機(jī)的位置，在不考慮挖掘機(jī)回轉(zhuǎn)的情況下，其世界坐標(biāo)系和相機(jī)坐標(biāo)系的相對(duì)位置固定不變，即旋轉(zhuǎn)矩陣R和平移向量T位置固定不變。利用MATLAB標(biāo)定軟件，可獲得其固定的旋轉(zhuǎn)矩陣R和平移向量T。

4.5 姿態(tài)角的測(cè)量

工作裝置姿態(tài)測(cè)量過(guò)程中，相機(jī)捕獲挖掘機(jī)作業(yè)圖像輸入姿態(tài)測(cè)量系統(tǒng)，檢測(cè)到關(guān)鍵點(diǎn)標(biāo)識(shí)的位置并獲得其世界坐標(biāo)，根據(jù)世界坐標(biāo)計(jì)算各桿件在目標(biāo)平面的方向向量，其表達(dá)矩陣為：

其中，4列依次為水平基座、動(dòng)臂、斗桿的方向向量。

因此，工作裝置各桿件相應(yīng)的姿態(tài)角為：

4.6 試驗(yàn)

以挖掘機(jī)模型為研究對(duì)象，為其配備工作裝置姿態(tài)測(cè)量系統(tǒng)，挖掘機(jī)模型本身無(wú)任何傳感器，為驗(yàn)證姿態(tài)測(cè)量的準(zhǔn)確性，在挖掘機(jī)模型上布置傳統(tǒng)接觸式傳感器，以此來(lái)獲得工作裝置的真實(shí)姿態(tài)，并以此為基準(zhǔn)評(píng)估姿態(tài)估計(jì)模型的好壞。

針對(duì)工作裝置視覺測(cè)量中存在的問(wèn)題，進(jìn)行兩組測(cè)試。第一組工作裝置上布置設(shè)計(jì)好的標(biāo)識(shí)，測(cè)量其姿態(tài)；第二組工作裝置上布置被污染的標(biāo)識(shí)，測(cè)量其姿態(tài)。兩組關(guān)鍵點(diǎn)標(biāo)識(shí)，如圖8所示。

圖8 關(guān)鍵點(diǎn)標(biāo)識(shí)（左：第一組 右：第二組）Fig.8 Key Point Identification（Left：Group 1，Right：Group 2）

關(guān)鍵點(diǎn)標(biāo)識(shí)檢測(cè)模型訓(xùn)練的超參數(shù)設(shè)置為：最大訓(xùn)練輪數(shù)為100，前50 個(gè)epoch 初始學(xué)習(xí)率配置為0.001，后50 個(gè)epoch 初始學(xué)習(xí)率配置為0.0001，batch size設(shè)置為16，優(yōu)化器為Adam，經(jīng)訓(xùn)練獲得最優(yōu)的網(wǎng)絡(luò)模型。在自然光照下，采用分辨率為（960×540）的RGB攝像機(jī)，相機(jī)幀率為30fps，采用USB接口，工作裝置以正常速度作業(yè)，姿態(tài)估計(jì)系統(tǒng)對(duì)兩組關(guān)鍵點(diǎn)標(biāo)識(shí)的檢測(cè)，如圖9所示。各類關(guān)鍵點(diǎn)標(biāo)識(shí)均可被檢測(cè)，其部分圖像的識(shí)別率，如表2所示。第一組檢測(cè)率均在0.97以上，第二組被污染靶標(biāo)識(shí)別率有所下降，但大部分高于0.9。

表2 部分圖像關(guān)鍵點(diǎn)標(biāo)識(shí)識(shí)別率Tab.2 Recognition Rate of Key Points in Some Images

圖9 二維關(guān)鍵點(diǎn)標(biāo)識(shí)檢測(cè)（左：第一組 右：第二組）Fig.9 2D Key Point Mark Detection（Left：Group 1，Right：Group 2）

姿態(tài)測(cè)量系統(tǒng)將二維關(guān)鍵點(diǎn)經(jīng)坐標(biāo)變換獲得其世界坐標(biāo)，確定工作裝置各桿件姿態(tài)角，其動(dòng)臂姿態(tài)角動(dòng)態(tài)測(cè)量結(jié)果，如圖10所示。

圖10 動(dòng)臂姿態(tài)角測(cè)量結(jié)果Fig.10 Measurement Results of Boom Attitude Angle

由圖10的兩組測(cè)量結(jié)果可知，設(shè)計(jì)的姿態(tài)測(cè)量模型測(cè)量的結(jié)果與傳感器測(cè)量系統(tǒng)測(cè)量的結(jié)果基本吻合。在挖掘機(jī)模型模擬作業(yè)的過(guò)程中，由于挖掘機(jī)微小振動(dòng)，使所測(cè)數(shù)據(jù)上下浮動(dòng)，在工作裝置突然劇烈晃動(dòng)時(shí)會(huì)出現(xiàn)突變的情況，如圖10 中出現(xiàn)的脈沖現(xiàn)象，此類數(shù)據(jù)具有較大的誤差。為避免由此類現(xiàn)象而導(dǎo)致的誤差，對(duì)前后兩次所捕獲的圖像獲得的姿態(tài)估計(jì)結(jié)果進(jìn)行比對(duì)。定義兩次結(jié)果之差為ΔA，若實(shí)際差值a＞ΔA，則舍棄此組數(shù)據(jù)；若實(shí)際差值a＜ΔA，則保留此組數(shù)據(jù)。經(jīng)處理后結(jié)果，如圖11 所示。結(jié)果明顯改善，且不影響姿態(tài)估計(jì)模型的測(cè)量準(zhǔn)確性。

圖11 舍棄突變數(shù)據(jù)后動(dòng)臂姿態(tài)角測(cè)量結(jié)果Fig.11 Measurement of Boom Attitude Angle After Data Processing

同理，經(jīng)數(shù)據(jù)處理后，斗桿姿態(tài)角測(cè)量結(jié)果，如圖12 所示。對(duì)比兩組測(cè)量結(jié)果傳感器測(cè)量和姿態(tài)估計(jì)模型測(cè)量結(jié)果，姿態(tài)角測(cè)量偏差，如圖13所示。工作裝置各桿件姿態(tài)角偏差均在±2°之間，大部分偏差在±1.5°之間。設(shè)計(jì)的測(cè)量系統(tǒng)對(duì)每幀圖像測(cè)量耗時(shí)，如圖14所示。截取前100幀，初始位置由于加載模型，耗時(shí)較長(zhǎng)，大于240ms，之后的圖像耗時(shí)趨于穩(wěn)定，穩(wěn)定后的平均耗時(shí)為108.26ms，滿足實(shí)時(shí)測(cè)量的條件。根據(jù)以上結(jié)果可知，第一組工作裝置姿態(tài)測(cè)量偏差在±2°范圍內(nèi)，其動(dòng)臂姿態(tài)角測(cè)量平均偏差為0.864°，斗桿姿態(tài)角測(cè)量平均偏差為0.942°；第二組測(cè)量偏差在±2°范圍內(nèi)，其動(dòng)臂姿態(tài)角測(cè)量平均偏差為0.880°，斗桿姿態(tài)角測(cè)量平均偏差為0.804°，滿足挖掘機(jī)作業(yè)過(guò)程中視覺伺服控制系統(tǒng)的姿態(tài)反饋。

圖12 舍棄突變數(shù)據(jù)后斗桿姿態(tài)角測(cè)量結(jié)果Fig.12 Measurement of Stick Attitude Angle After Data Processing

圖13 姿態(tài)角測(cè)量偏差Fig.13 Attitude Angle Measurement Deviation

圖14 測(cè)量耗時(shí)Fig.14 Measurement Time

5 結(jié)論

（1）提出一種基于多點(diǎn)標(biāo)識(shí)的視覺姿態(tài)測(cè)量方案，本方案一方面可直接應(yīng)用于各種機(jī)械臂設(shè)備的位姿測(cè)量，包括挖掘機(jī)工作裝置、機(jī)器人手臂等；另一方面，也可以將其作為配備傳感器設(shè)備系統(tǒng)的補(bǔ)充信息，用于完善系統(tǒng)。這里以無(wú)任何傳感器的挖掘機(jī)模型為研究對(duì)象，僅使用一臺(tái)RGB攝像機(jī)，完成對(duì)其工作裝置姿態(tài)測(cè)量。以視覺傳感器取代傳統(tǒng)接觸型傳感器，很大程度上克服了接觸型傳感器在工作裝置作業(yè)中出現(xiàn)碰撞、劇烈振動(dòng)造成的損壞現(xiàn)象，降低了維護(hù)成本。（2）深度學(xué)習(xí)算法的應(yīng)用，改善了傳統(tǒng)機(jī)器視覺姿態(tài)測(cè)量系統(tǒng)中靶標(biāo)特征被污染遮擋導(dǎo)致的檢測(cè)失敗的情況。（3）試驗(yàn)表明，與傳統(tǒng)傳感器測(cè)量結(jié)果相比，基于多點(diǎn)標(biāo)識(shí)和深度學(xué)習(xí)算法的視覺測(cè)量方法可以實(shí)現(xiàn)對(duì)挖掘機(jī)工作裝置的實(shí)時(shí)測(cè)量，其姿態(tài)測(cè)量偏差均在±2°范圍內(nèi)。如配備相應(yīng)的伺服系統(tǒng)，可實(shí)現(xiàn)挖掘機(jī)作業(yè)的實(shí)時(shí)控制。