童金茂

(福建船政交通職業(yè)學(xué)院 通識教育學(xué)院體育部，福建 福州 350007)

0 引言

動作識別的技術(shù)受到高度關(guān)注，使其得到快速發(fā)展[1-2].動作識別技術(shù)主要目的是精確、快速地將視頻圖像序列中的運動目標(biāo)在背景中區(qū)分出來，它對目標(biāo)識別以及定位等動作起著重要作用.現(xiàn)階段如何在復(fù)雜環(huán)境下進(jìn)行籃球投籃打手動作識別成為現(xiàn)階段研究的熱點話題，然而，有關(guān)籃球投籃打手動作識別方面的內(nèi)容少之又少.在計算機處理技術(shù)的不斷加強下，才使該技術(shù)得到廣泛應(yīng)用，同時，出現(xiàn)很多新的動作識別技術(shù).凌佩佩等[3]將全部三維信息設(shè)定為特權(quán)信息引入到二維動作識別過程中，進(jìn)而實現(xiàn)動作識別，但是降噪效果不佳.羅會蘭等[4]對輸入信號的類型和數(shù)量進(jìn)行統(tǒng)計，通過深度學(xué)習(xí)進(jìn)行人體動作識別，但是識別的準(zhǔn)確率不高.上述兩種方法雖然取得了較為滿意的研究成果，但是無法滿足現(xiàn)階段的發(fā)展需求.因此，提出一種基于機器視覺的籃球投籃打手動作識別方法.測試結(jié)果表明，本文方法能夠在復(fù)雜的環(huán)境下有效地實時識別動作.

1 方法

1.1 圖像預(yù)處理

籃球投籃打手動作識別是目前研究的熱點話題，該技術(shù)主要是圖像的識別，然而，圖像預(yù)處理在圖像色彩量化過程中占據(jù)十分重要的地位.設(shè)定采集到的籃球投籃打手動作圖像均為真彩色圖像[5-6].因此，為實現(xiàn)圖像預(yù)處理，需要優(yōu)先對彩色圖像進(jìn)行量化處理，具體操作步驟如下.

(1)選取具有代表性的256種顏色，結(jié)合系統(tǒng)已有顏色，選取剩余顏色即可.同時將全部色彩作為調(diào)色索引，組建調(diào)色板.

(2)初始圖像內(nèi)全部的顏色映射到調(diào)色板索引，組建全新的圖像數(shù)據(jù).

通過圖像中的RGB顏色值全部均勻劃分到八叉樹結(jié)構(gòu)中實現(xiàn)圖像的量化處理.量化處理的操作是在含有9層深度結(jié)構(gòu)的八叉樹中，包含一層根節(jié)點以及不同取值的8層節(jié)點，將不重要的RGB取值放置在較低層，在編程的過程中刪除最下面的三層[7]，有效節(jié)省內(nèi)存，并且提升計算效率.

圖像的量化過程如下：在掃描圖像內(nèi)全部的色素時，將掃描到的新顏色放置在八叉樹中，構(gòu)建全新的節(jié)點.當(dāng)葉節(jié)點數(shù)量高于所需要重構(gòu)的調(diào)色板顏色數(shù)量時，將最下面的節(jié)點放置到上層節(jié)點進(jìn)行轉(zhuǎn)換，最終形成葉節(jié)點.將在節(jié)點數(shù)據(jù)中出現(xiàn)的顏色以及頻數(shù)進(jìn)行存儲，能夠有效的降低圖像的顏色數(shù)[8]，直至葉節(jié)點數(shù)量達(dá)到調(diào)色板所需要的的顏色數(shù)量，將葉節(jié)點顏色設(shè)定調(diào)色板顏色，深度掃描處理全部源文件，同時將各個色度點放置到調(diào)色板索引上，進(jìn)而形成一個全新的目標(biāo)圖像文件，圖1為具體的操作流程.

圖1 八叉樹量化流程圖

在CCD攝像頭進(jìn)行圖像采集的過程中，會出現(xiàn)圖像的質(zhì)量下降等問題.因此，采用濾波處理的方式對圖像進(jìn)行處理，提高圖像的質(zhì)量，其主要是由噪聲的特性所決定的，在不同的空間域或者頻率均采取不同的處理措施[9].

設(shè)計濾波器窗口尺寸以及對濾波效果進(jìn)行分析，利用編程設(shè)定窗口的大小以及窗口數(shù)量，給出整個算法的具體操作流程如下：

設(shè)窗口內(nèi)N個矢量的集合能夠表示為

V={v1,v2,…,vN}.

(1)

根據(jù)矢量中值濾波器計算對應(yīng)的輸出中值數(shù)量，即

xVM=VM{v1,v2,…,vN}.

(2)

窗口中不同矢量間的距離和為

(3)

其中vk需滿足

(4)

式中：vk代表輸出的中值矢量.

此外，如果光的強度不均勻會對圖像的色彩產(chǎn)生影響，同時影響圖像后期的分割效果.造成該現(xiàn)象的主要原因是大部分的光源為點光源，且采集的圖像均呈中間亮旁邊暗的狀態(tài)，因此，需要對圖像進(jìn)行亮度補償，以此完成圖像預(yù)處理.

1.2 基于機器視覺的籃球投籃打手動作識別

當(dāng)圖像經(jīng)過預(yù)處理后，通過機器視覺對籃球投籃打手動作進(jìn)行識別，具體的操作流程如圖2所示.

圖2 基于機器視覺的籃球投籃打手動作識別流程圖

通過背景差分法對籃球投籃打手動作進(jìn)行剪影特征提取，得到對應(yīng)的剪影特征.在t時間段內(nèi)[10-11]，對圖像I中的像素低進(jìn)行剪影，其中剪影特征可以表示為D(x,y,t).通過全局時空表征向量表示特征的時空變化，具體的計算式為

(5)

由于需要針對不同時間間隔內(nèi)的籃球投籃打手動作進(jìn)行識別，使用機器視覺進(jìn)行表征的過程中還需要考慮時長產(chǎn)生的影響.設(shè)定最小時長為τmin，最大時長為τmax，為了有效實現(xiàn)不同圖像序列的匹配工作，在表征時設(shè)定時間窗口算子為Δτ，n代表窗口數(shù)量，通過以下公式計算各個Δτ對應(yīng)的MHI，

(6)

利用閾值法獲取動作時空特征[12]，同時使用時空特征在時間坐標(biāo)的累積完成動作特征表征.

利用圖像勢獲取圖像中全部像素的關(guān)聯(lián)性，給定一幅圖像I，首先計算梯度幅值G在設(shè)定區(qū)間內(nèi)的平均值，則有

GI=|G|*Gσ.

(7)

在對數(shù)空間內(nèi)對圖像進(jìn)行濾波處理，獲取各個像素點間的相關(guān)關(guān)系，即

RI=ln(GI)-ln(GI)*Gσ.

(8)

針對原始的圖像勢能進(jìn)行改進(jìn)[13]，經(jīng)過改進(jìn)后指數(shù)函數(shù)區(qū)間對應(yīng)的圖像勢能，即梯度函數(shù)表示為

?Gr(x,y)=γ[φ(eη(x,y,σ))].

(9)

將梯度函數(shù)?Gr(x,y)設(shè)定為sobel梯度，則有

Grx=I(x-1,y+1)+2I(x,y+1)+
I(x+1,y+1)-I(x-1,y-1)-
2I(x,y-1)-I(x+1,y-1),

(10)

Gry=I(x-1,y-1)+2I(x-1,y)+
I(x-1,y+1)-I(x+1,y-1)-
2I(x+1,y)-I(x+1,y-1).

(11)

針對圖像而言，在進(jìn)行sobel梯度計算的過程中，將其看做通過窗口對圖像進(jìn)行卷積操作，其中對應(yīng)方向的核窗口表示為

(12)

(13)

由于模糊特征值存在負(fù)值和零值，因此，在映射時需要選擇模糊特征點對應(yīng)的絕對值，同時將其進(jìn)行轉(zhuǎn)換，具體的計算公式為

(14)

在完成轉(zhuǎn)換后，對圖像進(jìn)行閾值化處理，獲取圖像勢能差分在不同方向的特征，即

(15)

(16)

在上述分析的基礎(chǔ)上，進(jìn)行深度特征提取，獲取中層特征描述子[14-15]，即

(17)

將獲取的中層特征作為局部動作表征算子，采用soft-VLAD算法對其進(jìn)行高時空特征表述，最終達(dá)到籃球投籃打手動作識別的目的，即

(18)

2 仿真實驗

為了驗證本文設(shè)計的基于機器視覺的籃球投籃打手動作識別方法的準(zhǔn)確性，設(shè)計以i7處理器為實驗平臺，實驗數(shù)據(jù)來自ADNI數(shù)據(jù)庫的實驗.在實驗的過程中，設(shè)置兩組對照組進(jìn)行對比分析，對比組采用的方法分別為文獻(xiàn)[3]的結(jié)合特權(quán)信息的人體動作識別和文獻(xiàn)[4]的深度學(xué)習(xí)的視頻中人體動作識別方法，在相同的條件下用不同的方法對相同的動作進(jìn)行識別，識別結(jié)果如圖3所示.

(a)測試對象

(b)本文方法

(c)文獻(xiàn)[3]方法

(d)文獻(xiàn)[4]方法

分析圖3中的實驗數(shù)據(jù)可知，本文方法在多人環(huán)境下能夠精準(zhǔn)識別籃球運動員的籃球投籃打手動作，及時發(fā)現(xiàn)犯規(guī)情況，而另外兩種方法的識別均存在誤差，分別識別到肘部和小范圍的手掌，其精度遠(yuǎn)遠(yuǎn)低于本文的方法，這說明所提方法能夠獲取更加精準(zhǔn)的識別結(jié)果.

動作識別的時間長短也是衡量動作識別技術(shù)的好壞指標(biāo)，因此，為了更加全面地驗證本文方法的優(yōu)越性，將識別時間設(shè)定為測試指標(biāo)，對比結(jié)果如表1所列.

表1 不同方法的籃球投籃打手動作識別時間對比結(jié)果

由表1中的數(shù)據(jù)可知，本文方法無論進(jìn)行多少樣本的測試，其所用識別時間都是3種方法中最短的，而且本文方法平均識別時間為0.187 min，文獻(xiàn)[3]的方法平均識別時間為0.246 min，文獻(xiàn)[4]的方法平均識別時間為0.269 min，其他兩種方法的識別時間均高出本文方法.因此，本文方法能夠更快地完成精準(zhǔn)的識別.

3 結(jié)語

通過機器視覺進(jìn)行動作識別為實現(xiàn)機器人和人智能交互起到重要作用，結(jié)合機器視覺，提出一種基于機器視覺的籃球投籃打手動作識別方法.通過八叉樹量化方法對圖像進(jìn)行量化處理，借助矢量中值降低噪聲的干擾，再對其進(jìn)行深度特征提取，得到中層特征描述子，通過soft-VLAD算法對局部算子進(jìn)行高時空特征表述，實現(xiàn)籃球投籃打手動作的識別.經(jīng)過實驗證明，本文的方法與傳統(tǒng)方法相比，降低了識別時間，提高了的精準(zhǔn)度，并且能夠在復(fù)雜環(huán)境下進(jìn)行識別，同時實時輸出結(jié)果，在動作識別技術(shù)上取得了突破性進(jìn)展，滿足了籃球運動的需求，豐富了動作識別技術(shù)，提高了識別效果，可為籃球運動和識別技術(shù)的發(fā)展提供參考.