吳培良 隰曉珺 楊霄 孔令富 侯增廣

縱觀人類文明史,社會(huì)每一次進(jìn)步幾乎都與使用工具息息相關(guān);在人的成長(zhǎng)過(guò)程中,學(xué)習(xí)使用工具也是其必備的能力之一.在機(jī)器智能研究領(lǐng)域,機(jī)器人的發(fā)展始終都在學(xué)習(xí)人類智能和技能,目前機(jī)器人可在一定程度上模擬人類的感知能力[1],而借鑒人類認(rèn)知方式,使機(jī)器人具備工具及其組成部件的功能用途(功用性,Affordance)認(rèn)知能力,對(duì)機(jī)器人從感知到認(rèn)知的主動(dòng)智能提升具有重要意義[2].

目前,機(jī)器人主要通過(guò)讀取語(yǔ)義標(biāo)簽方式被動(dòng)獲取物品功用性等語(yǔ)義,基于學(xué)習(xí)的功用性主動(dòng)認(rèn)知方法研究剛剛出現(xiàn).特別是近年來(lái)隨著RGB-D傳感器(如Kinect)的出現(xiàn),3D數(shù)據(jù)的獲取更加方便快捷,極大地推動(dòng)了功用性檢測(cè)領(lǐng)域的研究.Lenz等學(xué)習(xí)工具中可供機(jī)器人抓取的部位[3],Kjellstrom等通過(guò)學(xué)習(xí)人手操作來(lái)分類所用工具[4],Grabner等通過(guò)3D數(shù)據(jù)檢測(cè)出可供坐的曲面[5],文獻(xiàn)[6]將工具功用性看做相互關(guān)聯(lián)的整體,通過(guò)馬爾科夫隨機(jī)場(chǎng)建模工具與人的操作,文獻(xiàn)[7]運(yùn)用結(jié)構(gòu)隨機(jī)森林(Structured random forest,SRF)和超像素分層匹配追蹤(SHMP)方法檢測(cè)家庭常見(jiàn)工具的7種功用性部件(grasp、cut、scoop、contain、pound、support和wrap-grasp),上述方法均提取彩色圖像或深度圖像中的特征加以建模,但沒(méi)有考慮圖像塊間的空間上下文信息.文獻(xiàn)[8]考慮部件間的空間結(jié)構(gòu),針對(duì)目標(biāo)輪廓進(jìn)行幾何特征稀疏表示與分級(jí)檢測(cè).Redmon等提出采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)識(shí)別工具[9],文獻(xiàn)[10]研究多模特征深度學(xué)習(xí)與融合方法,以實(shí)現(xiàn)最優(yōu)抓取判別,Myers通過(guò)雙流卷積神經(jīng)網(wǎng)絡(luò)(Two-stream CNN),將幾何特征與材質(zhì)信息相結(jié)合用于功用性檢測(cè)[11],Nguyen等以端到端的方式利用深度特征訓(xùn)練CNN,并通過(guò)CNN中的編解碼裝置保證標(biāo)簽平滑性[12].但上述深度學(xué)習(xí)方法均需較高的硬件配置(GPU環(huán)境).文獻(xiàn)[13]僅利用結(jié)構(gòu)隨機(jī)森林(SRF)訓(xùn)練功用性部件檢測(cè)模型,基本實(shí)現(xiàn)了無(wú)GPU配置下的實(shí)時(shí)檢測(cè).Thogersen等通過(guò)聯(lián)合隨機(jī)森林與條件隨機(jī)場(chǎng)(Conditional random field,CRF)實(shí)現(xiàn)室內(nèi)各功能區(qū)的分割[14],其中CRF的引入有效地整合了空間上下文以描述區(qū)域關(guān)聯(lián)性,但文獻(xiàn)[14]缺少對(duì)特征有效性的判別而文獻(xiàn)[13]僅依靠經(jīng)驗(yàn)選取關(guān)鍵特征,兩者均可通過(guò)采用更加通用的特征編碼方法來(lái)提升信息的有效性.

稀疏編碼已成功應(yīng)用于圖像表示和模式識(shí)別等諸多領(lǐng)域,通過(guò)將普通稠密特征轉(zhuǎn)化為稀疏表達(dá)形式從而使學(xué)習(xí)任務(wù)得到簡(jiǎn)化,使模型復(fù)雜度得到降低[15].顯著性計(jì)算領(lǐng)域的研究結(jié)果表明,對(duì)CRF和稀疏編碼的聯(lián)合學(xué)習(xí)比兩種方法順序處理性能更好[16].借鑒該理論,本文針對(duì)功用性檢測(cè)問(wèn)題,整合CRF刻畫(huà)空間上下文能力和稀疏編碼特征約簡(jiǎn)的優(yōu)點(diǎn),綜合考慮兩者間的耦合關(guān)系,設(shè)計(jì)其聯(lián)合條件概率表示與解耦策略,繼而給出了基于聯(lián)合學(xué)習(xí)的算法實(shí)現(xiàn).

1 問(wèn)題描述與分析

本文研究深度圖像中工具部件功用性檢測(cè)問(wèn)題,即給定一幅深度圖像,試圖得知其中是否存在某類待檢測(cè)功用性部件.針對(duì)此問(wèn)題,提出了功用性部件字典的概念,并將稀疏編碼用于工具部件功用性特征表示.此外,顯著性計(jì)算和目標(biāo)跟蹤等研究均表明,如果一個(gè)局部塊表現(xiàn)了很強(qiáng)的目標(biāo)特性,那么其附近的塊也可能含有相似的性能[16?17],遵循這一法則,針對(duì)該功用性字典在描述空間上下文方面的不足,引入條件隨機(jī)場(chǎng)(CRF)來(lái)表征這種空間臨域關(guān)系,從而構(gòu)建出一個(gè)自上而下的基于圖像塊稀疏編碼的CRF模型.但分析可知,在該模型中CRF構(gòu)建和稀疏編碼是互相耦合的兩個(gè)子問(wèn)題:一方面,CRF中節(jié)點(diǎn)存儲(chǔ)圖像塊的特征稀疏向量,CRF權(quán)重向量的優(yōu)化將導(dǎo)致特征字典的更新;另一方面,各圖像塊的特征稀疏向量則被用于計(jì)算和優(yōu)化CRF的權(quán)重向量.

綜合上述分析,針對(duì)不同功用性部件分別訓(xùn)練模型,將該部件功用性區(qū)域視為目標(biāo)區(qū)域,其他區(qū)域視為背景區(qū)域,深度結(jié)合CRF與稀疏編碼,將稀疏向量作為潛變量構(gòu)建CRF,與此同時(shí),通過(guò)CRF的調(diào)制更新字典.

2 公式化表示

本文針對(duì)深度圖像展開(kāi)功用性部件特征提取,并針對(duì)不同功用性部件分別設(shè)置與深度圖同尺度的二值標(biāo)簽文件.深度圖中,假設(shè)某局部圖像塊特征向量x∈Rp,p為特征維度,若在該圖像塊中存在某功用性部件,則令該部件二值標(biāo)簽文件中對(duì)應(yīng)位置處的標(biāo)簽y=1;否則,令y=?1[18].則可從圖像不同位置采樣m個(gè)圖像塊構(gòu)建特征集X={x1,x2,···,xm}作為觀測(cè)值,對(duì)應(yīng)標(biāo)簽集合Y={y1,y2,···,ym}記錄目標(biāo)存在與否.構(gòu)建字典D∈Rp×k用于存儲(chǔ)從訓(xùn)練樣本學(xué)習(xí)得到的最具判別性的k個(gè)深度特征單詞{d1,d2,···,dk},并引入潛變量si∈Rk作為圖像塊特征xi的稀疏表示,即有xi=Dsi.此稀疏表示可進(jìn)一步公式化為如下最優(yōu)化問(wèn)題:

其中,λ為控制稀疏性的參數(shù).令S(X,D)=[s(x1,D),···,s(xm,D)]表示所有塊的潛變量,可知S(X,D)為關(guān)于字典D的函數(shù),且同時(shí)包含了字典和圖像塊特征集信息.

考慮到采樣塊空間連接特性,本文創(chuàng)建四連接圖G=hv,εi,其中v表示節(jié)點(diǎn)集合,ε表示邊集合,鑒于v中節(jié)點(diǎn)只與其周圍四鄰接節(jié)點(diǎn)存在條件概率關(guān)系,而與其他節(jié)點(diǎn)無(wú)關(guān).本文以S(X,D)作為節(jié)點(diǎn)信息,則可知在S(X,D)條件下,圖G具有Markov性[16],即可用如下的條件概率作為CRF公式:

其中,Z為配分函數(shù),E(S(X,D),Y,w)為能量函數(shù),其可分解為節(jié)點(diǎn)能量項(xiàng)與邊能量項(xiàng)[19?20].對(duì)于每一個(gè)節(jié)點(diǎn)i∈v,該節(jié)點(diǎn)能量由稀疏編碼的總貢獻(xiàn)計(jì)算得到,即,其中w1∈Rk是權(quán)重向量.對(duì)于每一條邊(i,j)∈ε,若只考慮數(shù)據(jù)間的平滑性,則有ψ(yi,yj,w2)=w2⊕(yi,yj),其中w2表示標(biāo)簽平滑性的權(quán)重,⊕表示異或運(yùn)算.

因此,隨機(jī)能量場(chǎng)可詳寫(xiě)為:

其中,w=[w1;w2].

由前面式(2)可知,學(xué)習(xí)CRF權(quán)重w與字典D為兩個(gè)相互耦合的子問(wèn)題.給出CRF權(quán)重w,式(2)的模型可以看作是CRF監(jiān)督下的字典學(xué)習(xí);給出字典D,則可看作是基于稀疏編碼的CRF調(diào)制.在此模型中,通過(guò)求解下面的邊緣概率來(lái)計(jì)算節(jié)點(diǎn)i∈v的目標(biāo)概率[21]:

其中,N(i)表示圖像上結(jié)點(diǎn)i的鄰居節(jié)點(diǎn).若定義圖像塊i中目標(biāo)存在的概率為:

則最終圖像中存在某種功用性部件的概率圖為:

3 模型優(yōu)化與解耦求解

假設(shè)由N幅深度圖構(gòu)成的訓(xùn)練樣本集為, 其對(duì)應(yīng)標(biāo)簽為ψ=,本文旨在學(xué)習(xí)CRF參數(shù)和字典來(lái)獲得訓(xùn)練樣本的最大聯(lián)合似然估計(jì):

其中,?為滿足如下約束的字典集合:

3.1 模型優(yōu)化

對(duì)于上節(jié)式(7),考慮到從有限的訓(xùn)練樣本學(xué)習(xí)大量參數(shù)較為困難,參考Max-margin CRF學(xué)習(xí)方法[22],我們將似然最大化轉(zhuǎn)化為不等式約束優(yōu)化問(wèn)題以追求最優(yōu)的w和D,則對(duì)于所有YY(n),n=1,2,···,N,有:

在此約束優(yōu)化的條件下可將兩邊的配分函數(shù)Z去掉,表示為能量項(xiàng)的形式:

若試圖使實(shí)際的能量ESX(n),D,Y(n),w比任意E?S?X(n),D￠,Y,w￠都小[23],則可令:

因此,對(duì)式(7)中權(quán)值w和字典D的學(xué)習(xí)可通過(guò)最小化如下目標(biāo)損失函數(shù)來(lái)實(shí)現(xiàn):

3.2 CRF權(quán)重求解

本文采用Adam 算法[24]來(lái)優(yōu)化式(13)中的目標(biāo)損失函數(shù),從中解耦出CRF并計(jì)算其權(quán)重.當(dāng)潛變量S(X,D)己知時(shí),式 (3)中能量函數(shù)E(Y,S(X,D),w)對(duì)權(quán)值w是線性的,則可進(jìn)一步表示為:

對(duì)式(15)采用Adam算法加以求解.若第t次迭代的梯度值記為g(n)(w(t?1)),有偏的第一時(shí)刻向量記為m(t),有偏的第二時(shí)刻向量記為v(t),則有:

式中,β1,β2分別為某接近1的固定參數(shù).對(duì)上式進(jìn)行偏差校正,令

則在第t次迭代后的CRF權(quán)重更新公式如下:

式中,α為固定參數(shù),其與聯(lián)合構(gòu)成可自適應(yīng)動(dòng)態(tài)調(diào)整的學(xué)習(xí)率函數(shù).

3.3 字典求解

對(duì)于字典D,本文使用鏈?zhǔn)椒▌t[25]來(lái)計(jì)算ln對(duì)D的微分:

建立式(1)的不動(dòng)點(diǎn)方程:

其中 sgn(s)以逐點(diǎn)的方式表示s的符號(hào),且sgn(0)=0.式(20)兩端分別對(duì)D求導(dǎo)得:

其中,Λ表示s的非零編碼索引集,表示零編碼索引集.為每個(gè)s引入一個(gè)輔助變量z來(lái)簡(jiǎn)化式(19):

此處,同樣采用Adam算法進(jìn)行字典的求解,求解過(guò)程與上節(jié)相同.

4 算法實(shí)現(xiàn)

4.1 幾何特征表示與提取

本文所用特征有高斯曲率(Gaussian curvatures)、方向梯度直方圖(Oriented gradient histograms)、梯度幅值(Gradient magnitude)、平均曲率(Mean curvatures)、形狀指數(shù)(Shape index)、曲度(Curvedness)和表面法向量(Surface normals)[7].其中方向梯度直方圖為4維特征向量,表面法向量為3維特征向量,其他特征均為1維向量.將這些特征進(jìn)行歸一化后組合,得到表征某圖像塊的工具功用性部件的12維特征向量.上述特征均在家庭日常工具1/4下采樣的深度圖上計(jì)算得到,并經(jīng)由稀疏編碼后作為表征某工具功用性部件的特征向量.

此外,考慮到方向梯度直方圖、梯度幅值、平均曲率、形狀指數(shù)和曲度在功用性部件邊緣快速檢測(cè)時(shí)的重要作用,借鑒文獻(xiàn)[13]中的功用性部件邊緣表示方法,并將這些特征用結(jié)構(gòu)隨機(jī)森林(SRF)進(jìn)行組織和功用性部件邊緣建模,受篇幅所限,具體算法不再贅述.

4.2 基于聯(lián)合學(xué)習(xí)的模型構(gòu)建算法

在對(duì)CRF和稀疏編碼耦合分析與求解基礎(chǔ)上,采用聯(lián)合學(xué)習(xí)的方法分別對(duì)每類功用性部件構(gòu)建模型,該模型包括了最宜于表征該功用性部件的字典原子及CRF權(quán)重向量.下面給出模型構(gòu)建的完整算法.

算法1. 基于聯(lián)合學(xué)習(xí)的模型構(gòu)建算法

輸入.χ(訓(xùn)練圖像集),ψ(真實(shí)標(biāo)簽集),D(0)(初始字典);

w(0)(初始CRF權(quán)重),λ(在式(1)中),T(循環(huán)次數(shù));

γ(在式(13)中)

輸出.

1 fort=1,···,Tdo

2 /*依次訓(xùn)練樣本集合(χ,ψ)*/

3 forn=1,···,Ndo/*N為χ中深度圖像的數(shù)量*/

4 通過(guò)式(1)評(píng)估潛變量s(xi,D),?i∈V;

6 采用Adam算法通過(guò)式(18)更新CRF權(quán)重w(t);

7 為s(xi,D)找到有效集Λi,?i∈V;

8 通過(guò)式(22)計(jì)算輔助變量zi;

9 采用Adam算法更新字典D(t);

10 通過(guò)式(8)在?上對(duì)D(t)進(jìn)行正則化;

11 end for

12 end for

4.3 功用性部件在線檢測(cè)

通過(guò)前面的離線建模階段,得到了最具判別性的特征字典和CRF權(quán)重向量.在線檢測(cè)過(guò)程中,利用工具部件功用性邊緣檢測(cè)器計(jì)算功用性的外接矩形區(qū)域,在此區(qū)域內(nèi)以特征稀疏表示作為圖像節(jié)點(diǎn)信息,在聯(lián)合CRF圖模型與稀疏編碼的基礎(chǔ)上利用置信度傳播算法完成圖像的語(yǔ)義分割,至此得到每個(gè)圖像塊屬于目標(biāo)的概率,進(jìn)而產(chǎn)生目標(biāo)功用性概率圖U={u1,u2,···,um},其中,概率大于某一閾值的區(qū)域即為目標(biāo)區(qū)域,反之則為背景區(qū)域.

5 實(shí)驗(yàn)及結(jié)果分析

5.1 實(shí)驗(yàn)數(shù)據(jù)集

為驗(yàn)證本文理論推導(dǎo)和算法實(shí)現(xiàn)的正確性,使用文獻(xiàn) [7]中的數(shù)據(jù)集檢測(cè)并分類其中的家庭工具功用性部件,該數(shù)據(jù)集中包括廚房、園藝和工作間共17類105種家庭日常工具的 RGB-D 信息,涵蓋了 grasp、wrapgrasp、cut、scoop、contain、pound、support 共7種功用性.圖1給出了數(shù)據(jù)集內(nèi)的部分工具示例,圖2給出了示例工具所具有的功用性部件,可以直觀看出,每類工具都可視為若干功用性部件的集合,而同一功用性部件則可能出現(xiàn)在不同工具中.

圖1 RGB-D數(shù)據(jù)集中部分工具Fig.1 Tools in RGB-D data set

圖2 工具目標(biāo)部件功用性區(qū)域Fig.2 Target affordance parts in tools

針對(duì)某種功用性部件,在數(shù)據(jù)集中選取包含該功用性部件的各類工具的不同角度Depth圖像以及已標(biāo)記該功用性部件的二值標(biāo)簽文件作為訓(xùn)練樣本.從功用性角度出發(fā),圖3直觀地給出了包含功用性部件“盛(Contain)”的工具及其對(duì)應(yīng)的二值標(biāo)簽.

圖3 包含功用性部件“盛(Contain)”的工具及其對(duì)應(yīng)的二值標(biāo)簽Fig.3 Tools containing affordance of“contain” and the corresponding labels in binaryzation

5.2 實(shí)驗(yàn)條件與配置

將深度圖像1/4下采樣后作為訓(xùn)練樣本,其中每個(gè)像素視為一個(gè)圖像塊.訓(xùn)練過(guò)程中,收集所有塊的幾何特征,并使用K-means算法初始化字典D(0).基于字典計(jì)算特征稀疏表示,并將其作為潛變量與對(duì)應(yīng)標(biāo)簽進(jìn)行訓(xùn)練得到一個(gè)線性SVM(Support vector machine),利用此SVM初始化CRF結(jié)點(diǎn)能量權(quán)重,并將邊能量權(quán)重設(shè)置為1.所有模型訓(xùn)練3個(gè)周期,訓(xùn)練得到表征該功用性部件的字典與CRF權(quán)重向量.基于該模型進(jìn)行功用性部件檢測(cè)和定位,產(chǎn)生目標(biāo)功用性存在的概率圖,將概率值大于等于0.5的圖像塊認(rèn)定為目標(biāo)塊,將概率值小于0.5的塊認(rèn)定為背景塊.本文算法運(yùn)行于Windows 7操作系統(tǒng),雙核3.20GHz CPU,內(nèi)存為8GB.

5.3 實(shí)驗(yàn)結(jié)果及分析

本文依次構(gòu)建上文提到的4種功用性contain、scoop、support與wrap-grasp的部件檢測(cè)模型.僅使用文獻(xiàn)[15]的稀疏編碼并分別采用SIFT(Scale invariant feature transform)特征和深度特征得到的檢測(cè)結(jié)果如圖4(c)和圖4(d)所示,使用文獻(xiàn)[16]的聯(lián)合學(xué)習(xí)方法并分別采用SIFT特征和深度特征得到的檢測(cè)結(jié)果如圖4(e)和圖4(f)所示,采用深度特征并使用文獻(xiàn)[7]方法和文獻(xiàn)[13]方法得到的檢測(cè)結(jié)果如圖4(g)和圖4(h)所示,使用本文方法的檢測(cè)結(jié)果如圖4(i)所示.通過(guò)對(duì)比可以直觀看出,相較于SIFT特征,深度特征能夠更加有效地表征工具的功用性部件,且相較于僅采用稀疏編碼方法、SRF方法以及傳統(tǒng)的CRF與稀疏編碼結(jié)合的方法,本文通過(guò)對(duì)多類深度特征進(jìn)行稀疏編碼,同時(shí)采用CRF表征特征空間關(guān)系,使得檢測(cè)效果獲得了不同程度的提升.

為了進(jìn)一步定量評(píng)定本文方法的性能,圖5給出了采用不同特征及不同方法所得到的精度召回率曲線.可以看出,采用SIFT特征表征功用性部件時(shí),其精度和召回率普遍低于采用深度特征表征功用性部件.本文算法采用深度特征及性能更優(yōu)的Adam優(yōu)化算法,對(duì)4種功用性部件的檢測(cè)效果普遍都較好,總體性能優(yōu)于現(xiàn)有方法.

為了評(píng)判不同算法的效率,表1給出了本文方法與其他已有方法的用時(shí)對(duì)比.實(shí)驗(yàn)過(guò)程中,文獻(xiàn)[7]方法需先將深度數(shù)據(jù)做較為費(fèi)時(shí)的平滑預(yù)處理,再提取深度特征并交由訓(xùn)練好的SRF模型進(jìn)行功用性判別;文獻(xiàn)[13]中采用功用性部件邊緣檢測(cè)器快速定位目標(biāo)區(qū)域,有效提升了檢測(cè)效率;文獻(xiàn)[15?16]方法本用于處理SIFT特征和顯著性檢測(cè),但針對(duì)功用性部件建模深度特征較SIFT特征更具優(yōu)勢(shì),在Depth圖像中多類深度特征的提取速度稍慢于在RGB圖像中SIFT特征.本文從Depth圖像中提取多類深度特征,采用功用性部件邊緣檢測(cè)器快速定位目標(biāo)區(qū)域,加之采用能夠快速收斂的Adam算法,因此取得了較為理想的檢測(cè)效率.

圖4 本文方法與其他方法的檢測(cè)結(jié)果對(duì)比圖((a)為單一場(chǎng)景下的待檢測(cè)工具圖,由上到下分別為碗(bowl)、杯子(cup)、勺子(ladle)、鏟子(turner);(b)為待檢測(cè)目標(biāo)功用性部件的真實(shí)值圖,由上到下分別為盛(contain)、握抓(wrap-grasp)、舀(scoop)、支撐(support);(c)SIFT+文獻(xiàn)[15]方法檢測(cè)結(jié)果;(d)深度特征+文獻(xiàn)[15]方法檢測(cè)結(jié)果;(e)SIFT+文獻(xiàn)[16]方法檢測(cè)結(jié)果;(f)深度特征+文獻(xiàn)[16]方法檢測(cè)結(jié)果;(g)深度特征+文獻(xiàn)[7]方法檢測(cè)結(jié)果;(h)深度特征+文獻(xiàn)[13]方法檢測(cè)結(jié)果;(i)本文方法檢測(cè)結(jié)果)Fig.4 Comparison of detection results between our method and others((a)Tools in a single scene,from the top to the bottom:bowl,cup,ladle and turner;(b)Ground truth of object affordances,from the top to the bottom:contain、wrap-grasp、scoop、support;(c)Detection result with SIFT+Paper[15];(d)Detection result with Depth+Paper[15];(e)Detection result with SIFT+Paper[16];(f)Detection result with Depth+Paper[16];(g)Detection result with Depth+Paper[7];(h)Detection result with Depth+Paper[13];(i)Detection result with our method)

表1 本文方法與其他方法的效率對(duì)比(秒)Table 1 Comparison of efficiency between our method and others(s)

此外,需要說(shuō)明的是,深度學(xué)習(xí)方法已被用于功用性部件的學(xué)習(xí)和檢測(cè),并取得了與本文相當(dāng)?shù)淖R(shí)別準(zhǔn)確率,但該類方法的運(yùn)行均需GPU支持,如文獻(xiàn)[9]的CNN方法運(yùn)行于NVIDIA Tesla K20 GPU環(huán)境下,文獻(xiàn)[12]的CNN方法運(yùn)行于NVIDIA Titan X GPU環(huán)境下,兩者的識(shí)別速度均達(dá)到毫秒級(jí),但在普通配置的CPU上無(wú)法運(yùn)行.文獻(xiàn)[3]的SAE(Sparse auto-encoder)方法雖可運(yùn)行于CPU環(huán)境,但算法運(yùn)行耗時(shí)較長(zhǎng)(如功用性部件grasp的檢測(cè)用時(shí)約幾十分鐘),無(wú)法滿足服務(wù)機(jī)器人任務(wù)的實(shí)時(shí)性要求.

6 結(jié)論

機(jī)器人與人的共融,將成為下一代機(jī)器人的本質(zhì)特征.事實(shí)上,功用性語(yǔ)義頻繁出現(xiàn)在人們的日常思維和交互中,功用性認(rèn)知也已成為了人機(jī)和諧共融的必然要求.本文利用工具的多類深度特征,結(jié)合稀疏編碼與CRF優(yōu)勢(shì)訓(xùn)練家庭日常工具功用性部件的檢測(cè)模型,通過(guò)與利用SIFT特征表示圖像信息和傳統(tǒng)聯(lián)合CRF與稀疏編碼訓(xùn)練模型的算法進(jìn)行比較,由精度召回率曲線可知本文模型對(duì)工具部件的目標(biāo)功用性檢測(cè)效果良好,為機(jī)器人工具功能認(rèn)知及后續(xù)人機(jī)共融和自然交互奠定基礎(chǔ).

圖5 本文方法與其他方法的精度召回率曲線對(duì)比Fig.5 Comparison of precision recall curves between our method and others