包梓群

（浙江理工大學 信息學院，杭州 310018）

0 引言

仰臥起坐是國內(nèi)各個階段學生體育測試中的一項重要運動。在日常測試過程中，需要人工對其動作是否規(guī)范進行評判并計數(shù)。隨著深度學習中目標檢測技術(shù)被廣泛應(yīng)用于生產(chǎn)生活中，同時也為機器檢測的實現(xiàn)提供了技術(shù)基礎(chǔ)。目標檢測為當今計算機視覺的熱門研究方向。其主要工作就是預(yù)測目標在視頻或者圖片中的具體位置，現(xiàn)已在安防、自動駕駛、行為分析等應(yīng)用領(lǐng)域起著至關(guān)重要的作用。

目標檢測，旨在從數(shù)字圖像中檢測出特定類別的實例，這是計算機視覺中一項基本且具有挑戰(zhàn)性的任務(wù)。但近年來，隨著卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）不斷發(fā)展與演進，使得目標檢測算法越來越成熟。采用CNN 的目標檢測算法因其在特征提取上具有良好的泛化性，逐漸取代了基于人工特征的目標檢測算法?；贑NN 的目標檢測算法在不同的場景中產(chǎn)生多種類型：

（1）基于區(qū)域候選目標檢測算法，如Faster-RCNN。

（2）基于端到端回歸的算法模型，如YOLO、RetinaNet。

2 種模型的特點較為明顯：基于區(qū)域候選的模型可以得到較好的檢測準確率，但檢測速度較慢；基于回歸的模型目標檢測速度快，但準確率較低。為了使模型能在實時檢測的同時又不有損精度，本文提出了一種改進的RetinaNet 網(wǎng)絡(luò)目標檢測算法。

1 網(wǎng)絡(luò)模型

RetinaNet 網(wǎng)絡(luò)模型主要由主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、分類子網(wǎng)絡(luò)和回歸自網(wǎng)絡(luò)組成。其中，主干網(wǎng)絡(luò)即為卷積池化層的堆疊網(wǎng)絡(luò)，一般為ResNet網(wǎng)絡(luò)和VGG網(wǎng)絡(luò)；頸部網(wǎng)絡(luò)則用于特征的堆疊和融合，一般使用特征金字塔網(wǎng)絡(luò)（Feature Pyramid Network，F(xiàn)PN）。FPN 將多尺度特征加以融合，使得最后的預(yù)測結(jié)果包含各幀圖片內(nèi)各個尺度的信息，模型的性能也得以提升；分類子網(wǎng)絡(luò)利用全卷積層對頸部網(wǎng)絡(luò)的輸出進行處理，再對圖像中的目標對象去做類別預(yù)測；回歸子網(wǎng)絡(luò)利用全卷積層對頸部網(wǎng)絡(luò)的輸出進行處理，并對圖像中的目標對象實現(xiàn)定位。RetinaNet 網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1 所示。

圖1 一般RetinaNet 網(wǎng)絡(luò)模型圖Fig.1 General RetinaNet network model diagram

2 改進的RetinaNet 網(wǎng)絡(luò)目標檢測算法

針對原始網(wǎng)絡(luò)對于視頻中目標檢測精度不高的問題，采用2 個RetinaNet 網(wǎng)絡(luò)模型級聯(lián)，即將第一個RetinaNet 網(wǎng)絡(luò)的輸出作為第二個RetinaNet 網(wǎng)絡(luò)的輸入，用來對待檢測圖像進行目標檢測，增加模型的泛化能力。但是網(wǎng)絡(luò)模型的級聯(lián)會增加資源消耗和參數(shù)數(shù)量。為了解決此問題，引入深度可分離卷積（Depth Separable Convolution，DSC）取代原始的卷積模塊，以降低網(wǎng)絡(luò)級聯(lián)帶來的資源消耗和計算量。使用深度卷積模塊，雖然簡化了模型的骨干網(wǎng)絡(luò)，但會弱化模型的特征提取能力，導致模型精度下降。為此，提出了一種新的函數(shù)，用來計算定位框的損失，彌補丟失的精度。

2.1 深度可分離卷積

深度可分離卷積（Depth Separable Convolution，DSC）是把常規(guī)卷積分為深度卷積（Depthwise Convolution，DW）和點卷積（Pointwise Convolution，PW）兩個階段。其中，DW 階段實質(zhì)上起到一個濾波的作用，通過使用和輸入圖像通道數(shù)相同的卷積核，提取每一個單獨通道的特征信息。PW 階段可以看作是對DW 階段的輸出進行組合的過程，使用一個11 × C ×C（這里，C為輸入通道數(shù)，C為輸出通道數(shù)）的卷積核對DW 的輸出進行整合，其結(jié)構(gòu)如圖2 所示。

圖2 深度可分離卷積Fig.2 Depth Separable Convolution

深度可分離卷積的計算量和參數(shù)量都比一般卷積要小，可以極大地增加模型檢測的速度，滿足仰臥起坐實時檢測的需求。但因其簡化了特征提取模塊，因此就需要改進預(yù)測回歸的損失函數(shù)，來彌補準確率的丟失。

2.2 損失函數(shù)的改進

在目標檢測中，常常利用預(yù)測框（Prediction Box，）與真實框（Ground Truth，）之間的交并比（Intersection over Union，）作為衡量兩者之間關(guān)系的重要度量，的計算公式如下：

相對于其它預(yù)測回歸的損失函數(shù)，具有更好的效果，但也存在一定的局限性。研究給出了幾種預(yù)測框與真實框間的關(guān)系如圖3 所示。由圖3（b）、圖3（c）可知，當預(yù)測框與真實框沒有重疊時，2 種情況的損失值相同，但圖3（b）的效果略好于圖3（c）。另一方面，當損失函數(shù)的值為0 時，在反向傳播中其梯度為0，無法對網(wǎng)絡(luò)進行優(yōu)化。當初始值選擇不佳時，會使訓練出來的模型擬合效果極差。

圖3 幾種預(yù)測框與真實框之間的關(guān)系Fig.3 Relationship between several prediction frames and real frames

為了解決上述問題，對回歸損失函數(shù)進一步優(yōu)化。對此可表示為：

其中，表示真實框與預(yù)測框之間的偏差。

將其求導得到：

從式（4）中可以看出，Smooth在較小時，對的梯度也較?。划斪兇髸r，也只能在1 之內(nèi)，限制了梯度跌漲自由，不會破壞網(wǎng)絡(luò)參數(shù)，解決了當值比較大時導致訓練損失值出現(xiàn)明顯變化而引起的訓練不穩(wěn)定問題。

比較F和函數(shù)，引入正則項，改變了I的正負號，使得其與正則項有一樣的梯度朝向。構(gòu)建預(yù)測回歸的損失函數(shù)L公式如下：

由式（5）可知，若出現(xiàn)被測試人員半臥起、臥起姿態(tài)的特殊情況時，雖然2 種情況具有相同的IoU值，即與公式（5）中的F值相同。但得益于Smooth正則項，邊框損失函數(shù)L的梯度仍然可以得到反向傳播。實驗測得3 時，在仰臥起坐測試上有著較好的效果。

3 人體姿態(tài)估計

人體姿態(tài)估計、即關(guān)鍵點檢測，目的是檢測人體身上個關(guān)鍵點的位置（頭部、手肘、膝蓋等），抽象出人體的當前行為。目前，最先進的方法是把該問題轉(zhuǎn)變?yōu)楣烙嫙釄D。需要一提的是，每個熱圖的值，表示第個關(guān)鍵點的位置置信度。

在網(wǎng)絡(luò)設(shè)計方面，當前大多數(shù)方法都是將高分辨率到低分辨率的子網(wǎng)絡(luò)串聯(lián)起來，且每個子網(wǎng)絡(luò)形成一個階段，相鄰子網(wǎng)絡(luò)之間存在一個下采樣層，將分辨率縮小一半。本文采用HRNet 并行地連接高到低的子網(wǎng)，保持了高分辨率的表示，生成了整個過程的空間精確熱圖估計。通過重復(fù)融合高到低子網(wǎng)產(chǎn)生的高分辨率，生成可靠的高分辨率表示。

本文將HRNet 引入到模型中，測試時被測試人員各個姿態(tài)的關(guān)鍵點效果如圖4 所示。

具體地，圖4（a）表示被測試人員平躺姿態(tài)的骨架圖；圖4（b）表示被測試人員半臥起姿態(tài)的骨架圖；圖4（c）表示被測試人員臥起姿態(tài)的骨架圖。

圖4 被測試人員各個姿態(tài)的關(guān)鍵點提取Fig.4 Key points extraction of each pose of the tested target

4 實驗結(jié)果分析

實驗所用的計算機系統(tǒng)配置：CPU 為Intel（R）Xeon（R）Silver 4110 CPU ＠ 2.10 GHz；GPU 為24 G RTX3090 顯卡；主頻為4.00 GHZ；系統(tǒng)為CentOS 7.7。采用Python3.6 語言編寫實驗代碼，深度學習框架選取Pytorch1.4.0。

4.1 性能評價指標

由于將網(wǎng)絡(luò)用于仰臥起坐的實時檢測具有一定的特殊性，無法使用召回率、等常用指標來進行評價。因此，本文設(shè)計了一些合理的評價指標，用于實驗檢測，對此擬做闡釋分述如下。

（1）平均測得仰臥起坐數(shù)量可由如下公式計算求出：

（2）平均實際仰臥起坐數(shù)量?？捎扇缦鹿接嬎闱蟪觯?/p>

（3）平均反應(yīng)時間?？捎扇缦鹿接嬎闱蟪觯?/p>

（4）平均測試準確率?？捎扇缦鹿接嬎闱蟪觯?/p>

4.2 實驗結(jié)果以及分析

為了驗證本文提出的改進目標檢測網(wǎng)絡(luò)相對于原始效果有所提升，使用4.1 節(jié)中采集的數(shù)據(jù)集展開對比試驗，并使用上述指標進行評價。實驗結(jié)果見表1。為了得出式（5）中最好的超參數(shù)，在［0，10］的區(qū)間內(nèi)，設(shè)置步長為1 進行調(diào)參。實驗結(jié)果如圖5 所示。

表1 改進前后網(wǎng)絡(luò)各個指標具體數(shù)值表Tab.1 Specific values of network indicators before and after improvement

圖5 獲取最佳超參數(shù)λ 的實驗結(jié)果圖Fig.5 Experimental results of getting the best super parameters λ

由圖5、表1 可以看出，改進后的網(wǎng)絡(luò)相對于原網(wǎng)絡(luò)在速度和精度上有了質(zhì)的飛躍。模型反應(yīng)時間由原來的1 570 ms 降低到了50 ms，達到了實時檢測的效果。得益于速度的增長和損失函數(shù)的改進，模型的準確率提高了0.498。以上結(jié)論驗證了改進網(wǎng)絡(luò)的有效性。

5 結(jié)束語

本文提出了一種改進的RetinaNet 網(wǎng)絡(luò)目標檢測算法。為了提高檢測效果，將2 個RetinaNet 網(wǎng)絡(luò)級聯(lián)，采用深度可分離卷積代替了原網(wǎng)絡(luò)中的骨干模塊，以減小級聯(lián)網(wǎng)絡(luò)帶來的額外計算量；而后對邊框損失函數(shù)加以改進，引入了Smooth正則項，在給出了重合度信息的基礎(chǔ)上，Smooth又提供了預(yù)測框與真實框的位置信息，使得網(wǎng)絡(luò)效果得到提升，并且訓練也更加穩(wěn)定。由實驗結(jié)果可知，改進后的網(wǎng)絡(luò)針對仰臥起坐測試計數(shù)具有良好的效果，滿足正確檢測的實時要求。