張宇成, 陳金立

(南京信息工程大學， 江蘇 南京 210044)

0 引 言

自古以來，手勢就一直是人們生活中一種重要的溝通途徑，通過手勢這種利用手部關節(jié)在特定位置做出特定動作的方式，人們就可以相互交流理解，傳達想法[1]。近年來，隨著人機交互技術的發(fā)展，動態(tài)手勢識別技術也正逐漸成為國內(nèi)外研究的熱點之一[2-3]。動態(tài)手勢識別技術將人與人之間特有的手勢溝通方式轉(zhuǎn)嫁到人與機器之間，讓人和機器間的交互化繁為簡，僅用手部動作就可以控制設備，大大提高了人機信息交互的有效性和安全性。

傳統(tǒng)的動態(tài)手勢識別技術可分為兩大類：接觸式和非接觸式。接觸式的手勢識別技術利用可穿戴設備檢測手部動作并收集手勢信息[4]，該種設備通常配備有大量傳感器，使用時極其不方便。而傳統(tǒng)非接觸式手勢識別技術通常是利用攝像頭采集并處理圖像，從而對動態(tài)手勢進行判別。該手勢識別方法無需過多復雜的穿戴操作，但受光照強度的影響較大，在強光干擾或亮度較低的環(huán)境中可能會無法正常工作，而且還存在用戶隱私泄漏的隱患?；谶@些缺陷，可采用調(diào)頻連續(xù)波(Frequency Modulated Continuous Wave，F(xiàn)MCW)毫米波雷達來進行動態(tài)手勢識別的研究工作。文獻[5]通過 60 GHz FMCW 雷達收集了10種手勢的信號數(shù)據(jù)，利用長短期記憶網(wǎng)絡(Long Short-Term Memory，LSTM)網(wǎng)絡模型實現(xiàn)手勢識別。文獻[6]利用77 GHz毫米波雷達構(gòu)建了一種新型駕駛員動態(tài)手勢輔助識別系統(tǒng)，將雷達手勢微多普勒信號送入卷積神經(jīng)網(wǎng)絡后分類，運用動態(tài)手勢對車內(nèi)儀表盤進行遠程控制。在美國谷歌公司與德國英飛凌公司合作的Soil項目中[7]，研究人員提取毫米波雷達手勢回波信號中的距離、多普勒信息構(gòu)建距離-多普勒圖數(shù)據(jù)集，送入聯(lián)合神經(jīng)網(wǎng)絡對手勢進行特征提取和分類。文獻[8]對從LFMCW雷達獲取的手勢信號進行快速傅里葉變換和相干累積后得到RD譜圖并構(gòu)建數(shù)據(jù)集，輸入卷積神經(jīng)網(wǎng)絡進行手勢分類。文獻[9]利用FMCW雷達獲取原始手勢回波信號，分別從二維距離圖和距離-多普勒圖中提取距離-時間譜和多普勒-時間譜，并建立數(shù)據(jù)集，最后構(gòu)建雙通道卷積神經(jīng)網(wǎng)絡訓練手勢數(shù)據(jù)集。提取手勢的維度信息越全面，對手勢特征的描述就更充分。而文獻[6]僅提取了手勢信號的多普勒信息，文獻[7-9]僅提取了手勢的距離和速度信息，都缺少對手勢角度信息的描述，且對手勢分類準確率都需要進一步提高。

針對現(xiàn)有毫米波雷達手勢識別研究中手勢信息提取不充分的問題，本文提出一種基于RDATM三維數(shù)據(jù)集的手勢識別方法。該方法首先對手勢回波信號進行預處理，提取動態(tài)手勢目標；然后，通過對回波信號的時頻分析構(gòu)建距離-時間圖(Range-Time-Map，RTM)，多普勒-時間圖(Doppler-Time-Map，DTM)和角度-時間圖(Angle-Time-Map，ATM)；接著，將RTM、DTM和ATM作為圖像R、G、B三顏色通道構(gòu)造RDATM圖并建立手勢RDATM數(shù)據(jù)集，該數(shù)據(jù)集從手勢距離、速度和角度三個維度充分描述了手勢特征；最后，對VGG16網(wǎng)絡的超參數(shù)改進后得到單分支卷積神經(jīng)網(wǎng)絡，并對手勢數(shù)據(jù)集進行特征提取和分類。實驗結(jié)果表明，利用RDATM數(shù)據(jù)集對手勢的分類準確率高于RTM、DTM和ATM數(shù)據(jù)集，多維度數(shù)據(jù)集相較于單維度數(shù)據(jù)集對手勢特征的描述更充分。

1 毫米波雷達原理

1.1 毫米波雷達信號模型

毫米波雷達的組成通常包括發(fā)射天線(RX)、接收天線(TX)、射頻信號模塊、混頻器和模數(shù)轉(zhuǎn)換器(ADC)等。射頻模塊產(chǎn)生連續(xù)調(diào)頻信號，倍頻后通過發(fā)射天線射出,發(fā)射信號遇到遮擋物體后反射被接收天線捕捉,將接收信號與發(fā)射信號進行混頻后得到中頻信號,最終對獲取的中頻信號進行模數(shù)轉(zhuǎn)換和后續(xù)信號處理。毫米波雷達發(fā)射信號可表示為

(1)

式中：AT為發(fā)射信號幅值；fc為調(diào)頻信號起始頻率；B為調(diào)頻信號帶寬；Tc為調(diào)頻信號周期。雷達接收信號為

(2)

式中：AR為接收回波信號幅值；td為調(diào)頻信號從發(fā)射到接收的時延；Δfd為多普勒頻移值。接收信號和發(fā)射信號混頻后的中頻信號為

(3)

對毫米波雷達中頻信號進行時頻分析可估計手勢距離、速度和角度值。毫米波雷達的系統(tǒng)架構(gòu)以及信號模型如圖1所示。

圖1 毫米波雷達架構(gòu)與信號模型圖

1.2 FMCW測距、測速、測角原理

FMCW雷達利用信號飛行速度以及信號傳播時延間的關系測算目標距離，為

(4)

其中，

(5)

式中：R為雷達與目標間的距離；c為光速；fB為中頻信號頻率。

將式(5)帶入式(4)中得到毫米波雷達距離測算公式為

(6)

式中：fB可通過對中頻信號進行1DFFT和頻譜分析獲得。

FMCW雷達對速度的估計則需要借助回波信號中多個掃頻脈沖(chirp)的信息，單個chirp進行1DFFT后可估計距離值，而在同一距離的不同chirp間具有不同的相位，根據(jù)這些相位信息可進行速度估計：

(7)

其中，

Δω=2πΔfdTc

式中：Δω為chirp間的相位差；λ是信號波長。

毫米波雷達角度參數(shù)可由多個接收天線的回波信號相位差和信號入射角之間的關系所得到。

(8)

式中：θ是需要獲取的角度信息；ΔΦ是不同接收天線的回波信號相位差；L是同一水平面接收天線間的距離。

2 系統(tǒng)設計

毫米波雷達手勢識別系統(tǒng)，主要包括動態(tài)手勢檢測、數(shù)據(jù)集建立和手勢分類這三個部分。動態(tài)手勢檢測部分用于探測雷達感知環(huán)境中的移動手勢目標；數(shù)據(jù)集建立部分根據(jù)檢測的手勢目標建立包含距離、速度、角度信息的三維數(shù)據(jù)集；手勢分類部分利用基于VGG16網(wǎng)絡改進的單分支卷積神經(jīng)網(wǎng)絡對手勢數(shù)據(jù)集進行特征提取和分類。

2.1 雷達信號動態(tài)手勢檢測

為達到動態(tài)手勢檢測的目的，需要從三個方面對實驗手勢動作進行約束：1)雷達探測環(huán)境中僅出現(xiàn)一種動態(tài)手勢動作，即移動目標僅有一個，但靜止目標可以有多個；2)檢測到的移動目標即是手勢目標；3)手勢活動范圍在雷達前方0 m～1 m內(nèi)。

雷達信號動態(tài)手勢檢測分為數(shù)據(jù)預處理、目標檢測和手勢目標檢測三個部分，流程示意圖如圖2所示。

圖2 雷達信號動態(tài)手勢檢測流程圖

2.1.1數(shù)據(jù)預處理

將手勢樣本的原始一維回波數(shù)據(jù)先按通道數(shù)(本實驗通道數(shù)為4)、幀數(shù)Nf、掃頻脈沖數(shù)Nc、ADC采樣點數(shù)Ns排列[10]，如圖3所示。然后將4個通道的手勢回波數(shù)據(jù)取平均，最后通過均值歸一化和背景幀差法分別抑制回波信號中的直流量和背景噪聲。

圖3 一維手勢回波數(shù)據(jù)預處理

2.1.2目標檢測

經(jīng)過回波數(shù)據(jù)預處理后會得到Nf個(幀)Ns×Nc大小的矩陣，對每個矩陣在快時間維做FFT(1DFFT)后得到距離維矩陣。設第t(1≤t≤Nf)幀距離維矩陣中第j(1≤j≤Nc)列距離譜的第i(1≤i≤Ns)個頻點數(shù)據(jù)為p(t,j,i)，則距離譜可用向量為

pt,j=[p(t,j,1),p(t,j,2),…,p(t,j,Ns)]T

(9)

分別取出每幀距離維矩陣最后一列距離譜，拼接獲得大小為Ns×Nf的幀-距離譜矩陣，矩陣每列包含一幀手勢數(shù)據(jù)的距離信息。幀-距離譜矩陣可表示為

(10)

利用CA-CFAR算法檢測幀-距離譜矩陣中每列距離譜中是否有目標。若有目標的列數(shù)大于設定閾值，則認為雷達前方出現(xiàn)目標。該目標可能僅是靜止的物體，也可能是移動手勢。若雷達探測范圍內(nèi)沒有任何目標，則無需建立該樣本數(shù)據(jù)的特征圖譜。

2.1.3手勢目標檢測

手勢目標檢測的目的是判斷前一步檢測中目標的類別是靜止物體還是移動手勢，該檢測包含距離維動態(tài)手勢檢測和速度維動態(tài)手勢檢測兩部分。

距離維動態(tài)手勢檢測通過手勢距離信息檢測手勢目標。在目標檢測中，利用CA-CFAR算法還可得到幀-距離譜矩陣中每列距離譜的目標數(shù)，通過比較獲取目標數(shù)最小值Ntmin，將幀-距離譜矩陣中目標數(shù)不為Ntmin的列(幀)去除，這些列的距離譜受噪聲干擾較大，實際沒有目標的頻點被誤認為目標頻點，影響手勢目標的判斷。然后根據(jù)矩陣保留列(幀)中距離譜的目標距離信息判斷目標類別，若在同一個距離處始終存在目標，則該目標為靜止目標，否則為手勢目標。

實驗中手勢距離分辨率為3.75 cm，距離維手勢目標檢測僅能甄別移動距離范圍超過3.75 cm的手勢動作，而移動幅度小于3.75 cm的手勢需要進一步進行速度維動態(tài)手勢檢測。對每幀距離維矩陣在慢時間方向做FFT(2DFFT)得到距離-多普勒(Range-Doppler-Map，RDM)矩陣。提取距離-多普勒矩陣中對應目標距離處的多普勒譜，對多普勒譜進行譜峰搜索后獲取本幀手勢速度信息。若每幀手勢速度值始終不為0，則檢測到手勢目標。

2.2 數(shù)據(jù)集建立

2.2.1RTM數(shù)據(jù)集

本文通過幀-脈沖選取的方式構(gòu)建RTM。該方法通過選取每幀距離維矩陣中估計信噪比最小的距離譜，并依次拼接得到RTM。以一幀數(shù)據(jù)為例，首先利用多掃頻相干累計法[11]對距離維矩陣進行噪聲抑制，并合并矩陣每列距離譜中相鄰距離處的手勢目標頻點。第t幀距離維矩陣中第j列距離譜的估計信噪比為

(11)

式中：p(t,j,g)為手勢目標頻點。在每幀距離譜矩陣中，搜尋使SNRt,j最大的一列距離譜來構(gòu)建RTM矩陣。對RTM矩陣每列數(shù)據(jù)進行歸一化后得到原始RTM灰度圖。然后將原始RTM灰度圖中的非手勢目標像素灰度值置0，從而去除非手勢目標，突出手勢目標的距離變化。最后為令手勢距離變化曲線更加平滑，對圖像中的曲線進行曲線擬合得到RTM圖。上述過程如圖4所示。

圖4 RTM構(gòu)建過程

2.2.2DTM數(shù)據(jù)集

首先，對每幀距離-多普勒矩陣同樣利用多掃頻相干累計法進行噪聲抑制，并根據(jù)RTM圖中的手勢距離變化信息，提取每幀距離-多普勒矩陣中手勢距離單元處的多普勒譜向量；然后，對其轉(zhuǎn)置并按幀拼接后得到DTM矩陣；最后，重復RTM圖構(gòu)建中歸一化、非手勢目標去除等處理步驟得到DTM灰度圖，DTM圖反映了觀測時長內(nèi)手勢速度的變化。

2.2.3ATM數(shù)據(jù)集

將同一幀雷達數(shù)據(jù)下4個通道的距離-多普勒矩陣在深度方向拼接，并為其補上大小一致但數(shù)值全為0的矩陣[11]。根據(jù)本幀手勢的距離值和速度值在對應深度處取出一向量，對該向量做FFT處理后轉(zhuǎn)置得到角度譜，將多幀角度譜向量依次拼接獲取ATM矩陣，如圖5所示。重復RTM、DTM矩陣的后續(xù)處理得到ATM圖。

圖5 ATM構(gòu)建示意圖

2.2.4RDATM

將RTM，DTM和ATM作為圖像R、G、B三顏色通道拼接構(gòu)造手勢RDATM圖。本文選取的手勢動作有前推、后拉、后拉前推、下壓、上提、上提下壓6種。各手勢RTM，DTM，ATM圖尺寸為64×64×1，RDATM為64×64×3。經(jīng)前文所述處理，最終得到所有手勢特征圖，如圖6所示。

圖6 手勢特征圖

2.3 單分支卷積神經(jīng)網(wǎng)絡設計

為對手勢動作進行分類，本文利用卷積神經(jīng)網(wǎng)絡對手勢特征圖進行特征提取。實驗挑選了6位志愿者，對每位志愿者分別采集100份手勢樣本數(shù)據(jù)，共計600份。并按前文方法為每類手勢構(gòu)建RTM、DTM、ATM和RDATM數(shù)據(jù)集，4類數(shù)據(jù)集特征圖總數(shù)達2 400個。

綜合考慮數(shù)據(jù)集特征和訓練速度等因素，本文對VGG16網(wǎng)絡[12]進行改進得到單分支卷積神經(jīng)網(wǎng)絡，通過該網(wǎng)絡對數(shù)據(jù)集進行訓練和驗證。VGG16網(wǎng)絡有13層卷積層和3層全連接層，在本文中，保留原網(wǎng)絡的第1、3、5、6和8～10層的卷積層，僅保留1層全連接層并對所有選取層的神經(jīng)元數(shù)量做出調(diào)整。卷積核的行列尺寸和原網(wǎng)絡保持一致。

本文設計的基于VGG16網(wǎng)絡構(gòu)建的單分支卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)如表1所示，表中當Input層輸入為RTM，DTM，ATM時，深度數(shù)為1，當輸入為RDATM時，深度數(shù)為3。

表1 單分支卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)

3 實驗結(jié)果

3.1 實驗環(huán)境

本實驗FMCW雷達選用TI公司的IWR 1443-BOOST開發(fā)板和DCA1000數(shù)據(jù)采集卡。該毫米波雷達調(diào)頻范圍為77 GHz～81 GHz，最大理論調(diào)頻帶寬可達4 GHz，實測最大帶寬為3 999.78 MHz，具有2個發(fā)射天線和4個接收天線。雷達調(diào)頻信號的起始頻率設定為77 GHz，其余雷達參數(shù)設定如表2所示。采用MATLAB 2021b對算法進行仿真。通過配置為AMD R7 5800H CPU和NVIDIA RTX 3060 顯卡的PC機進行網(wǎng)絡訓練和測試驗證。

表2 FMCW雷達參數(shù)

3.2 單分支卷積神經(jīng)網(wǎng)絡驗證

在單分支卷積神經(jīng)網(wǎng)絡驗證中，將各類數(shù)據(jù)集的60%作為訓練集，40%作為測試集。網(wǎng)絡訓練過程中利用帶動量的隨機梯度下降算法(Stochastic Gradient Descent Momentum，SGDM)進行優(yōu)化。訓練輪數(shù)為50，每次迭代的樣本Batch size為128。初始網(wǎng)絡學習率設定為0.001，學習率更新方法采用固定步長衰減，每經(jīng)過5輪訓練學習率衰減0.1。圖7給出了在該網(wǎng)絡中個類測試集的準確率隨迭代步數(shù)變化的曲線。

圖7 各類數(shù)據(jù)集準確率變化曲線

由圖7可知，4類數(shù)據(jù)集中RDATM數(shù)據(jù)集的最終準確率最高，RTM和ATM次之，且這三者的測試集準確率均在95%以上，而DTM數(shù)據(jù)集準確率最低，在85%～90%之間。導致這種差異的原因是：實驗中在采集各手勢樣本時，志愿者手部的移動速度通常固定，導致手勢樣本間描述手勢速度信息的DTM圖特征區(qū)分不明顯，分類準確率低。而各手勢動作的距離、角度變化幅度較大，因此在RTM和DTM數(shù)據(jù)集中能較好的區(qū)分不同類型的手勢，獲得更高的分類準確率。RDATM數(shù)據(jù)集融合了手勢距離、速度和角度信息，從三個維度充分描述了手勢動作特征，擁有最高的分類準確率。

3.3 算法對比與分析

為更好地驗證本文改進的卷積神經(jīng)網(wǎng)絡，實驗中也將各類數(shù)據(jù)集在原VGG16網(wǎng)絡中進行了訓練和測試。VGG16模型中的優(yōu)化算法、訓練輪數(shù)、學習率等網(wǎng)絡參數(shù)設定均與前文單分支卷積神經(jīng)網(wǎng)絡驗證部分一致。兩種網(wǎng)絡的準確率對比曲線圖如圖8所示。

圖8 不同網(wǎng)絡下準確率對比圖

由圖8可知，本文設計的網(wǎng)絡在RDATM數(shù)據(jù)集和DTM數(shù)據(jù)集上的準確率均高于原VGG16網(wǎng)絡。表3中給出了更具體的網(wǎng)絡模型對比結(jié)果。由表3可知，相較于VGG16網(wǎng)絡，本文網(wǎng)絡對各數(shù)據(jù)集的分類準確率均有提升，提升幅度在0.18%～1.67%內(nèi)不等，而且在訓練參數(shù)量、時間復雜度和訓練時長等方面均優(yōu)于原VGG16網(wǎng)絡。

表3 網(wǎng)絡模型對比表

4 結(jié) 語

本文提出了一種基于RDATM數(shù)據(jù)集的毫米波雷達手勢識別方法。該方法首先利用雷達回波信號進行動態(tài)手勢檢測；然后，通過頻譜信號分析構(gòu)建手勢RTM，DTM，ATM灰度圖；最后，聯(lián)合3類特征圖構(gòu)建RDATM數(shù)據(jù)集，送入基于VGG16改進的單分支卷積神經(jīng)網(wǎng)絡對手勢進行分類。實驗結(jié)果表明，利用RDATM數(shù)據(jù)集對6種手勢的平均分類準確率可高達99.17%，且本文改進網(wǎng)絡在訓練參數(shù)量、時間復雜度等方面優(yōu)于原VGG16網(wǎng)絡。