摘要：傳統(tǒng)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別方法，直接對(duì)運(yùn)動(dòng)員動(dòng)作識(shí)別結(jié)果進(jìn)行輸出未對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行提取，識(shí)別精度低。該文提出基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別方法，使用攝像機(jī)對(duì)體育運(yùn)動(dòng)員動(dòng)作圖像進(jìn)行采集，并對(duì)圖像進(jìn)行基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)區(qū)域提取，體育運(yùn)動(dòng)員動(dòng)作識(shí)別流程，輸入動(dòng)作圖像并對(duì)結(jié)果進(jìn)行輸出，實(shí)現(xiàn)基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別。實(shí)驗(yàn)結(jié)果表明該研究方法識(shí)別精度高，具有一定優(yōu)勢(shì)。

關(guān)鍵詞：改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)；體育運(yùn)動(dòng)；動(dòng)作識(shí)別；識(shí)別方法

doi：10.3969/J.ISSN.1672-7274.2024.07.019

中圖分類號(hào)：G 642；TP 393.08 文獻(xiàn)標(biāo)志碼：B 文章編碼：1672-7274（2024）07-00-03

Sports Athlete Action Recognition Method Based on Improved Fully Convolutional Neural Network

HAO Junfeng

（Shanxi Provincial School of Traditional Chinese Medicine， Taiyuan 030012， China）

Abstract： Traditional sports athlete action recognition methods directly output the results of sports athlete action recognition without extracting the movement area， resulting in low recognition accuracy. The article proposes a sports athlete action recognition method based on an improved fully convolutional neural network. By using a camera to capture images of sports athlete movements and extracting motion regions based on an improved fully convolutional neural network， the process of sports athlete movement recognition is carried out. The input action image is then outputted to achieve sports athlete movement recognition based on an improved fully convolutional neural network. The experimental results indicate that the research method has high recognition accuracy and certain advantages.

Keywords： improving fully convolutional neural networks; sports activities; action recognition; recognition methods

0 引言

傳統(tǒng)的動(dòng)作識(shí)別方法通常采用手動(dòng)標(biāo)注和特征提取的方法，不僅耗時(shí)，而且容易出錯(cuò)。全卷積神經(jīng)網(wǎng)絡(luò)（FCN）被廣泛應(yīng)用于圖像識(shí)別領(lǐng)域，取得了很好的效果。但是，F(xiàn)CN卷積層參數(shù)固定，無法適應(yīng)不同尺寸和形狀的目標(biāo)，以及訓(xùn)練過程中容易過擬合等[1]。近年來，國內(nèi)外學(xué)者針對(duì)全卷積神經(jīng)網(wǎng)絡(luò)在動(dòng)作識(shí)別中的應(yīng)用進(jìn)行了廣泛研究。例如，一些研究采用了基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)（R-FCN），將目標(biāo)檢測(cè)和分類兩個(gè)任務(wù)結(jié)合起來，提高了目標(biāo)識(shí)別的準(zhǔn)確性[2]，但是需要手動(dòng)標(biāo)注目標(biāo)框位置，增加了工作量。一些研究采用了基于注意力機(jī)制的全卷積神經(jīng)網(wǎng)絡(luò)（A-FCN），通過引入注意力機(jī)制來關(guān)注圖像中的重要區(qū)域，提高了目標(biāo)識(shí)別的精度，但是注意力機(jī)制的計(jì)算復(fù)雜度較高，增加了模型的計(jì)算負(fù)擔(dān)[3]。還有一些研究采用了基于數(shù)據(jù)增強(qiáng)技術(shù)的全卷積神經(jīng)網(wǎng)絡(luò)（D-FCN），通過對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)來增加模型的泛化能力，提高了模型在測(cè)試集上的表現(xiàn)[4]，但是只是在一定程度上解決了過擬合問題，不能完全避免。因此，本文提出了一種基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別方法，旨在解決以上問題，提高動(dòng)作識(shí)別的準(zhǔn)確性和效率。

1 基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)

員動(dòng)作識(shí)別方法設(shè)計(jì)

1.1 體育運(yùn)動(dòng)員動(dòng)作圖像采集處理

使用兩臺(tái)攝像機(jī)獲取運(yùn)動(dòng)員的動(dòng)作，這兩臺(tái)攝像機(jī)可以獲取運(yùn)動(dòng)員的彩色信息，還可以獲取運(yùn)動(dòng)員的深度信息。在用兩個(gè)攝像頭收集運(yùn)動(dòng)員動(dòng)作圖像時(shí)，首要步驟是校準(zhǔn)攝像頭，目標(biāo)是以二維平面圖的形式來描繪運(yùn)動(dòng)員的立體信息[5]。一旦完成校準(zhǔn)，需要在兩臺(tái)攝像機(jī)之間進(jìn)行立體調(diào)整，以確保左右兩臺(tái)攝像機(jī)所拍攝的照片處于同一水平面上。為了進(jìn)行雙目相機(jī)的立體校正，采用了Bouguet的方法。如果雙目相機(jī)的旋轉(zhuǎn)矩陣和平移向量分別用和表示，為了最大程度地降低左右兩側(cè)雙目相機(jī)之間重投影的畸變程度，并保證兩個(gè)相機(jī)的平面處于共面狀態(tài)，Bouguet的立體調(diào)整方法變換了對(duì)左右雙腔都進(jìn)行調(diào)整的復(fù)合矩陣。具體表達(dá)式為：

（1）

式中，和分別是左相機(jī)和右相機(jī)的旋轉(zhuǎn)矩陣。通過應(yīng)用式（1），兩個(gè)相機(jī)平面將被放置在同一平面上的相同位置。為了確保它們?cè)谶@個(gè)平面上的有效對(duì)齊，計(jì)算極點(diǎn)矩陣是必要的，以找到無窮多個(gè)多項(xiàng)式。的公式如下：

（2）

式中，用于描述矩陣的換位操作；代表極點(diǎn)。在方向上，對(duì)應(yīng)于平移矢量的不同行，存在多個(gè)多邊形形狀，這個(gè)關(guān)系由式（3）表示。與相機(jī)光軸方向相互正交，表示圖像平面的方向向量，這個(gè)關(guān)系通過在和上的式（4）得出。在和點(diǎn)之間，通過對(duì)正交進(jìn)行處理，得到，該過程由式（5）描述：

（3）

（4）

（5）

相機(jī)的光軸是由水平和垂直平移矢量和定義的，結(jié)合式（2）可以獲得用于雙目相機(jī)的立體校正矩陣，具體公式如下：

（6）

根據(jù)式（6），完成了雙目相機(jī)的立體調(diào)節(jié)，確保了圖像線的準(zhǔn)確對(duì)齊。在此基礎(chǔ)上，進(jìn)行了立體協(xié)調(diào)，以獲得運(yùn)動(dòng)員的深層圖像。使用塊的相應(yīng)算法來完成立體平衡。采用塊匹配算法來完成立體匹配。基于其他相機(jī)的視圖，獲取與劃分圖像塊最近的塊，以此實(shí)現(xiàn)體育運(yùn)動(dòng)員動(dòng)作圖像采集。

1.2 基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)區(qū)域提取

采用深度可分離卷積操作，減少網(wǎng)絡(luò)的參數(shù)量和計(jì)算復(fù)雜度，提高特征提取能力，進(jìn)而改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)。改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)公式如下：

（7）

式中，ConvSeparable為深度可分離卷積操作。

在識(shí)別運(yùn)動(dòng)員運(yùn)動(dòng)動(dòng)作前，需要依據(jù)上述體育運(yùn)動(dòng)員動(dòng)作圖像采集處理結(jié)果提取運(yùn)動(dòng)區(qū)域。從體育視頻中提取出運(yùn)動(dòng)員的運(yùn)動(dòng)區(qū)域，并進(jìn)行標(biāo)注。設(shè)計(jì)了一種新的損失函數(shù)，將空間連續(xù)性和時(shí)序信息納入考慮，以更好地適應(yīng)運(yùn)動(dòng)區(qū)域的特性。具體公式如下：

（8）

式中，和分別為像素級(jí)別的交叉熵?fù)p失和邊界損失，和分別為網(wǎng)絡(luò)的預(yù)測(cè)輸出和真實(shí)輸出，、和是平衡不同損失的權(quán)重參數(shù)。

通過上述處理，能夠有效地去除不同大小的區(qū)域。由于視頻序列中動(dòng)作運(yùn)動(dòng)幅度各異，給目標(biāo)提取帶來了困難。此外，在實(shí)際場(chǎng)景中，運(yùn)動(dòng)背景往往復(fù)雜多變，也會(huì)干擾到目標(biāo)提取的準(zhǔn)確性。為了解決這些問題，采用幀間差異的方法進(jìn)行進(jìn)一步處理。

1.3 體育運(yùn)動(dòng)員動(dòng)作識(shí)別結(jié)果輸出

在完成了對(duì)運(yùn)動(dòng)員深度背景圖像的提取之后，將提取出的動(dòng)作圖像引入到體育運(yùn)動(dòng)員動(dòng)作識(shí)別的流程中，以便對(duì)運(yùn)動(dòng)員的動(dòng)作進(jìn)行精準(zhǔn)的識(shí)別。該動(dòng)作識(shí)別流程是基于全卷積神經(jīng)網(wǎng)絡(luò)的，并在局部函數(shù)提取模塊的基礎(chǔ)上進(jìn)行引入。體育運(yùn)動(dòng)員動(dòng)作識(shí)別流程如圖1所示。

圖1 體育運(yùn)動(dòng)員動(dòng)作識(shí)別流程

在運(yùn)動(dòng)員完成部署后，體育運(yùn)動(dòng)員動(dòng)作識(shí)別流程采用批量歸一化和提取的局部特征之外的方法，在預(yù)處理的背景圖像中生成RGB幀和密集流圖像。同時(shí)，兩個(gè)網(wǎng)絡(luò)都配置了A-softmax損失函數(shù)用于活動(dòng)分類。這樣可以獲取前景圖像中的表觀信息和運(yùn)動(dòng)信息，并極大程度地提升對(duì)于動(dòng)作的識(shí)別效果。最后，對(duì)兩層網(wǎng)絡(luò)的分類結(jié)果進(jìn)行加權(quán)和組合，以獲得運(yùn)動(dòng)員的最終運(yùn)動(dòng)識(shí)別結(jié)果。

2 實(shí)驗(yàn)論證

2.1 實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證所提出方法應(yīng)用的效果，將該方法應(yīng)用于某省運(yùn)動(dòng)隊(duì)。在訓(xùn)練過程中，收集了該省運(yùn)動(dòng)隊(duì)200組運(yùn)動(dòng)員位移圖像。

隨機(jī)選取一組數(shù)據(jù)，具體內(nèi)容如表1所示，包括擊球動(dòng)作的基本位置。

共收集了1 200項(xiàng)網(wǎng)球運(yùn)動(dòng)數(shù)據(jù)，使用多種數(shù)據(jù)類型對(duì)所提出的方法進(jìn)行分析，以確保實(shí)驗(yàn)的準(zhǔn)確性，其中80%的數(shù)據(jù)用作訓(xùn)練集，其余20%用作實(shí)驗(yàn)集。在隨機(jī)選取的數(shù)據(jù)集中利用本文方法、傳統(tǒng)方法1和傳統(tǒng)方法2分別對(duì)正手擊球動(dòng)作進(jìn)行識(shí)別，識(shí)別結(jié)果如表2所示。

2.2 對(duì)比實(shí)驗(yàn)

由表2可知，本文方法對(duì)體育運(yùn)動(dòng)員動(dòng)作識(shí)別中的正手擊球次數(shù)識(shí)別結(jié)果更加接近實(shí)際值，識(shí)別精度達(dá)到100%，明顯優(yōu)于傳統(tǒng)方法1和傳統(tǒng)方法2。這也表明了基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別方法的優(yōu)勢(shì)。

3 結(jié)束語

本文提出了一種基于改進(jìn)全卷積神經(jīng)網(wǎng)絡(luò)的體育運(yùn)動(dòng)員動(dòng)作識(shí)別方法。該方法旨在解決傳統(tǒng)動(dòng)作識(shí)別方法中的問題，提高動(dòng)作識(shí)別的準(zhǔn)確性和效率。采用改進(jìn)的全卷積神經(jīng)網(wǎng)絡(luò)模型，能夠更好地適應(yīng)不同尺寸和形狀的目標(biāo)，減少過擬合現(xiàn)象的發(fā)生。實(shí)驗(yàn)結(jié)果表明，該方法在體育運(yùn)動(dòng)員動(dòng)作識(shí)別任務(wù)中取得了很好的效果，為教練員、裁判員和運(yùn)動(dòng)員提供了更加準(zhǔn)確和高效的輔助工具。

參考文獻(xiàn)

[1] 張偉．基于機(jī)器視覺技術(shù)的體育網(wǎng)球錯(cuò)誤技術(shù)動(dòng)作識(shí)別研究[J]．齊齊哈爾大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，37（6）：26-30．

[2] 馬倩倩，賀莉．基于動(dòng)作識(shí)別算法的健美操難度自動(dòng)評(píng)分系統(tǒng)設(shè)計(jì)[J]．西昌學(xué)院學(xué)報(bào)（自然科學(xué)版），2021，35（2）：106-110．

[3] 吳曉軍．基于時(shí)空?qǐng)D卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)球底線正手擊球動(dòng)作識(shí)別方法[J]．河北北方學(xué)院學(xué)報(bào)（自然科學(xué)版），2022，38（9）：14-20，29．

[4] 王輝，宋佳豪，丁鉑栩，等．三角形網(wǎng)格序列表示的人體動(dòng)作識(shí)別[J]．計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2022，34（11）：1723-1730．

[5] 李新春，張光銳，于洪仕，等．基于HHT和改進(jìn)PNN的CSI人體動(dòng)作識(shí)別研究[J]．重慶郵電大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，34（6）：976-986．