国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

可解釋時(shí)空卷積網(wǎng)絡(luò)的微表情識(shí)別應(yīng)用

2020-06-28 01:18張鑰迪
關(guān)鍵詞:解釋性集上殘差

牛 斌,張鑰迪,馬 利

(遼寧大學(xué) 信息學(xué)院,遼寧 沈陽(yáng) 110036)

0 引言

微表情是根據(jù)人們?cè)谌粘I钪星榫w變化而產(chǎn)生的無(wú)意識(shí)的、短暫的自發(fā)式面部表情,其最大優(yōu)勢(shì)是無(wú)法抑制,能夠顯露出人類(lèi)試圖隱藏的真正情感,且其持續(xù)時(shí)間短,最短僅持續(xù)1/25秒.與一般的面部表情相比,微表情發(fā)生時(shí)面部肌肉變化范圍小、強(qiáng)度低,但卻能展現(xiàn)出人類(lèi)的真實(shí)情感,因此,微表情識(shí)別在司法審訊[1]、心理咨詢(xún)[2]、交流談判[3]等領(lǐng)域具有極大的應(yīng)用價(jià)值.

自19世紀(jì)達(dá)爾文[4]開(kāi)始,人類(lèi)對(duì)面部表情的研究逐漸進(jìn)步.1966年,Haggard等[5]第一次提出了微表情的概念.Ekman等[6]在1969年將面部表情分成六類(lèi):快樂(lè)、悲傷、驚訝、恐懼、憤怒、厭惡,在2002 年研制出第一個(gè)微表情訓(xùn)練工具(Micro Expression Training Tool,METT),并進(jìn)行了日本人與高加索人短暫表情識(shí)別實(shí)驗(yàn)(Japanese and Caucasian brief affect recognition test,JACBART).相比于國(guó)外,國(guó)內(nèi)的微表情研究起步較晚.傅小蘭教授帶領(lǐng)其團(tuán)隊(duì)制作了CASME和CASME2數(shù)據(jù)集,為微表情識(shí)別領(lǐng)域的發(fā)展作出了巨大貢獻(xiàn).2010年,吳奇等[7]從心理學(xué)角度對(duì)微表情的研究進(jìn)行了總結(jié),并分析了微表情的應(yīng)用領(lǐng)域.

2015年之前,微表情識(shí)別大部分還是使用手工提取特征(Handcrafted)的方式.Liu等[8]提出一種簡(jiǎn)單而有效的主方向平均光流(MDMO)特征,基于感興趣區(qū)域標(biāo)準(zhǔn)化統(tǒng)計(jì)特征,考慮局部運(yùn)動(dòng)信息及空間位置.Lu等[9]提出一種通過(guò)將光流差分的水平和垂直分量組合而產(chǎn)生的基于運(yùn)動(dòng)邊界直方圖(FMBH)融合的新特征.近幾年,利用深度學(xué)習(xí)技術(shù)來(lái)解決圖像問(wèn)題成為研究的熱點(diǎn),采用深度學(xué)習(xí)方法的微表情識(shí)別研究逐步開(kāi)展.Wang等[10]提出一種新的注意力機(jī)制,即Micro-Attention與殘差網(wǎng)絡(luò)的結(jié)合,并且在處理小型數(shù)據(jù)集時(shí),利用轉(zhuǎn)移學(xué)習(xí)方法來(lái)緩解過(guò)擬合風(fēng)險(xiǎn).Reddy等[11]提出了利用三維時(shí)空卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微表情識(shí)別的方法(MicroExpSTCNN).Peng等[12]提出了基于頂點(diǎn)幀的空間信息以及其相鄰幀的時(shí)間信息分別使用CNN和LSTM進(jìn)行微表情識(shí)別的方法(ATNet).但是,現(xiàn)階段微表情識(shí)別的研究方法中均沒(méi)有強(qiáng)調(diào)模型的可解釋.

可解釋性是模型公正性的重要考察因素.人類(lèi)大多數(shù)決策是基于邏輯和推理,而由機(jī)器做出決策無(wú)疑會(huì)受到質(zhì)疑,甚至在很多時(shí)候,有偏差的分類(lèi)模型會(huì)產(chǎn)生一些負(fù)面影響,如預(yù)測(cè)潛在的犯罪、信用評(píng)分等,因此對(duì)分類(lèi)模型的理解和進(jìn)行解釋是至關(guān)重要的.現(xiàn)如今的科研方面正在致力于模型的可解釋性,Chakraborty等[13]概述了一些對(duì)模型可解釋性有用的維度,并按照這些維度對(duì)先前的工作進(jìn)行分類(lèi),在此過(guò)程中,對(duì)需要采取的措施進(jìn)行差距分析,以提高模型的可解釋性.Zhang等[14]提出一種將傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)修改為可解釋CNN的方法,以闡明CNN卷積層中的知識(shí)表示,其可解釋的CNN使用與普通CNN相同的訓(xùn)練數(shù)據(jù),且無(wú)需任何用于監(jiān)督的對(duì)象部分或紋理的注釋.可解釋的深度學(xué)習(xí)模型也被用于各行各業(yè),如醫(yī)學(xué)[15,16],噴氣式飛機(jī)[17],生物學(xué)[18]等.

盡管可解釋的模型運(yùn)用逐漸增多,但復(fù)雜模型的內(nèi)部運(yùn)作仍然還是黑盒子,如果沒(méi)有能力來(lái)解釋這樣的模型,就不能完全支持模型的決策.在微表情領(lǐng)域,無(wú)論其準(zhǔn)確性如何,如果不能理解模型的決策,那么將不能保證模型決策的公正性,這種缺點(diǎn)會(huì)妨礙模型的實(shí)際運(yùn)用,如在司法審訊中,如果不能保證模型決策的公正,那么便不能保證司法的公平公正.鑒于此,本文對(duì)應(yīng)用于3D人類(lèi)動(dòng)作識(shí)別的可解釋時(shí)間卷積網(wǎng)絡(luò)模型進(jìn)行改進(jìn),提出了基于殘差單元的可解釋時(shí)空卷積網(wǎng)絡(luò)模型(Residual-Spatiotemporal Convolutional Network,Res-STCN).本文方法將原本應(yīng)用于骨架特征點(diǎn)提取的一維卷積核調(diào)整為二維,以便更好地適應(yīng)微表情識(shí)別輸入的視頻幀序列,除此之外,對(duì)網(wǎng)絡(luò)模型層數(shù)進(jìn)行調(diào)整并修改了卷積核尺寸,使其更好地運(yùn)用在微表情識(shí)別領(lǐng)域,并在CASME2、SAMM和SMIC數(shù)據(jù)集上進(jìn)行驗(yàn)證,證明了在保證Res-STCN可解釋性的基礎(chǔ)上,提高了模型在微表情識(shí)別上的準(zhǔn)確率.

1 基于殘差單元的可解釋時(shí)間卷積網(wǎng)絡(luò)

可解釋性是人能夠充分認(rèn)知、理解模型在其決策過(guò)程中如何選擇決策的方法、進(jìn)行決策的原因和決策的內(nèi)容.而模型的可解釋性和模型的性能之間往往有一個(gè)權(quán)衡,這里的性能指模型作出分類(lèi)預(yù)測(cè)的準(zhǔn)確度.例如決策樹(shù)模型,雖然它的預(yù)測(cè)原理很好直觀理解,但是模型性能卻比較低.所以本文在保證模型性能的基礎(chǔ)上,使模型具有可解釋性.

按照可解釋性方法進(jìn)行的過(guò)程可以劃分為三類(lèi),即在建模之前的可解釋性方法、建模本身具備可解釋的模型、在建模之后使用可解釋性方法對(duì)模型作出解釋.本文的可解釋性是在建模后通過(guò)模型結(jié)果來(lái)反向理解決策的原因,并保證模型有一個(gè)較好的性能,即在微表情識(shí)別上有一個(gè)較高的準(zhǔn)確率.

1.1 可解釋時(shí)間卷積網(wǎng)絡(luò)

時(shí)間卷積網(wǎng)絡(luò)(Temporal Convolution Network,TCN)是由Lea等[19]提出,其提出的TCN僅使用時(shí)間卷積、Pooling和上采樣,但可以有效地捕捉長(zhǎng)時(shí)程模式(long-term temporal patterns),并且比基于LSTM的神經(jīng)網(wǎng)絡(luò)更快地訓(xùn)練.TCN采用編碼器、解碼器結(jié)構(gòu),具體結(jié)構(gòu)如圖1所示.編碼器有L層,表示為E(l)∈RFl×Tl,其中Fl是第l層中的卷積濾波器數(shù)量,Tl是相應(yīng)時(shí)間步長(zhǎng)的數(shù)量.每個(gè)層由時(shí)間卷積,非線性激活函數(shù)和跨時(shí)間的最大池化組成.

E(l)=max_pooling(f(W*E(l-1)+b))

(1)

解碼器類(lèi)似于編碼器,不同之處在于池化替換為上采樣,并且操作順序變?yōu)樯喜蓸?,卷積和激活函數(shù).

模型參數(shù)與其隱藏層之間缺乏明確的關(guān)系是當(dāng)前時(shí)空模型可解釋性的最大障礙,添加殘差單元,通過(guò)跳躍連接與恒等映射的連接將不同層的特征進(jìn)行連接,在不增加額外參數(shù)和計(jì)算復(fù)雜性的情況下,充分利用不同層的特征.通過(guò)將較深層分解為殘差單元來(lái)重新設(shè)計(jì)的TCN,可以產(chǎn)生可解釋的隱藏表示和模型參數(shù).

1.2 基于殘差單元的可解釋TCN

在原始的可解釋時(shí)間卷積網(wǎng)絡(luò)中,為了提高模型的可解釋性以及具有語(yǔ)義含義的輸入,引入了跳躍連接與恒等映射的連接,即殘差單元[24],并對(duì)殘差單元進(jìn)行了堆疊,如圖2所示,其中Xl是l-1層的輸出和第l層的輸入,而Xl+1是第l層的輸出和l+1層的輸入.與傳統(tǒng)的殘差單元相比,堆疊殘差單元將激活函數(shù)(BatchNorm和ReLU)放在權(quán)重層之前,這樣使得訓(xùn)練變得更加簡(jiǎn)單,同時(shí)也提高了網(wǎng)絡(luò)的泛化能力.

激活函數(shù)是通過(guò)在時(shí)間上卷積可學(xué)習(xí)的空間濾波器并通過(guò)ReLU單元傳遞輸出來(lái)進(jìn)行計(jì)算.在ReLU網(wǎng)絡(luò)中,向前-向后傳遞的迭代之后,進(jìn)行網(wǎng)絡(luò)參數(shù)優(yōu)化,這使得在下一次迭代中,卷積濾波器將獲得一個(gè)正值,迫使網(wǎng)絡(luò)學(xué)習(xí)有區(qū)別的時(shí)空特征.

2 應(yīng)用于微表情識(shí)別的可解釋時(shí)空卷積網(wǎng)絡(luò)

2.1 基于Res-STCN的微表情識(shí)別過(guò)程

本文提出的Res-STCN的微表情識(shí)別方法框架如圖3所示,首先采用時(shí)間插值模型(TIM)[20]將不同長(zhǎng)度的視頻幀序列調(diào)整成相同長(zhǎng)度,然后將每張圖像像素調(diào)整到相同尺寸,使每個(gè)樣本的輸入數(shù)據(jù)格式相同,以便更好地輸入到Res-STCN網(wǎng)絡(luò)中.接著,將調(diào)整好的微表情幀序列與相對(duì)應(yīng)的微表情分類(lèi)標(biāo)簽輸入到Res-STCN網(wǎng)絡(luò)中實(shí)現(xiàn)微表情分類(lèi).

2.2 改進(jìn)的Res-STCN模型可解釋性

對(duì)Res-STCN模型進(jìn)行解釋?zhuān)梢栽诮o出微表情識(shí)別結(jié)果的同時(shí),為結(jié)果提供論據(jù),使人們更好地接受實(shí)驗(yàn)結(jié)果,從而增加對(duì)模型的信任度.

為了使基于殘差單元的時(shí)間卷積網(wǎng)絡(luò)(Residual-Temporal Convolutional Network,Res-TCN)更好地運(yùn)用到微表情識(shí)別領(lǐng)域中,將空間信息添加到Res-TCN中,提出基于殘差模塊的時(shí)空卷積網(wǎng)絡(luò)(Res-STCN),同時(shí)為了使網(wǎng)絡(luò)具有可解釋性,對(duì)網(wǎng)絡(luò)中特征的各個(gè)維度進(jìn)行解釋.原始的Res-TCN是在3D動(dòng)作識(shí)別中,根據(jù)骨架運(yùn)動(dòng)過(guò)程進(jìn)行識(shí)別,其輸入是視頻序列在時(shí)間上逐幀連接而成的骨架特征.而微表情識(shí)別是基于面部肌肉輕微變化進(jìn)行識(shí)別,因此改進(jìn)后的Res-STCN輸入X0為經(jīng)過(guò)預(yù)處理調(diào)整好的相同長(zhǎng)度和分辨率的視頻幀序列.

X1為第一層中不經(jīng)過(guò)任何非線性激活函數(shù),即僅使用濾波器進(jìn)行卷積,即

X1=W1X0

(3)

X0∈P×P×T,其中P表示輸入圖像像素,T表示視頻幀序列長(zhǎng)度,W1為濾波器集合.

在l≥2的殘差單元中,先在Xl-1上進(jìn)行激活函數(shù)(BatchNorm和ReLU)操作,然后再使用Wl中的濾波器進(jìn)行卷積操作.由于ReLU操作,因此梯度僅經(jīng)過(guò)Xl-1的正區(qū)域,可以使網(wǎng)絡(luò)學(xué)習(xí)有區(qū)別的時(shí)空特征.

對(duì)于第l(l≥2)層中的每個(gè)單元執(zhí)行以下計(jì)算

F(Wl,Xl-1)=Wl*σ(Xl-1)

(4)

Xl=Xl-1+F(Wl,Xl-1)

(5)

其中,F(xiàn)表示卷積操作,Xl-1表示l層的輸入,Wl為參數(shù)集合,σ表示激活函數(shù).若σ為ReLU,則Wl*σ(Xl-1)可重寫(xiě)為Wl*max(0,Xl-1).在Res-STCN網(wǎng)絡(luò)中,第一層是在經(jīng)過(guò)預(yù)處理后的輸入視頻幀序列上運(yùn)行,并將生成的映射Xl在后續(xù)層上傳遞.因此,在第N個(gè)殘差單元上,XN可表示為

(6)

在網(wǎng)絡(luò)的最后一個(gè)合并層之后使用全局平均運(yùn)算,并增加一個(gè)Softmax層,使神經(jīng)元的數(shù)量與微表情分類(lèi)數(shù)相等,具體結(jié)構(gòu)如圖4所示.第一層通過(guò)一個(gè)8×8卷積,將輸入數(shù)據(jù)X0進(jìn)行卷積,結(jié)果輸入到后面的殘差單元中.在每層殘差單元中,均使用5×5卷積,最后一層殘差單元后,將合并結(jié)果通過(guò)平均池化操作后,輸入到全連接層,經(jīng)過(guò)Softmax函數(shù)計(jì)算,輸出分類(lèi)結(jié)果.

理解微表情分類(lèi)預(yù)測(cè)模型背后的原因在評(píng)估模型信任度方面非常重要,如果計(jì)劃將模型應(yīng)用于實(shí)際的工業(yè)中,則對(duì)模型的信任是至關(guān)重要的.本文從模型的輸入微表情視頻幀出發(fā),對(duì)模型的輸入輸出進(jìn)行解釋?zhuān)斫饽P蜎Q策原因,并對(duì)模型性能進(jìn)行測(cè)試.

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

表1 微表情數(shù)據(jù)集概述

在我們的實(shí)驗(yàn)中使用了三個(gè)微表情數(shù)據(jù)集,分別是CASME2、SAMM和SMIC.表1總結(jié)了這三個(gè)數(shù)據(jù)集.

3.1.1 CASME2

CASME2數(shù)據(jù)集是在2014年由中國(guó)科學(xué)院心理研究所的傅小蘭團(tuán)隊(duì)設(shè)計(jì)的,具有高時(shí)間(200 fps)和空間分辨率(面部區(qū)域約280×340像素).該數(shù)據(jù)集通過(guò)適當(dāng)?shù)膶?shí)驗(yàn)設(shè)計(jì)和照明,在一個(gè)控制良好的實(shí)驗(yàn)室環(huán)境中引出參與者的面部表情.該數(shù)據(jù)集包含26個(gè)受試者(11名男性,15名女性),在近3 000個(gè)面部動(dòng)作中,為數(shù)據(jù)集選擇了247個(gè)微表情,是目前微表情識(shí)別最常用的數(shù)據(jù)集.

3.1.2 SAMM

SAMM數(shù)據(jù)集是2016年由英國(guó)曼徹斯特城市大學(xué)的Davison等人提出的,同樣使用200fps的高速相機(jī)捕獲動(dòng)作信息,圖像分辨率為960×650像素,包含通過(guò)情緒誘導(dǎo)實(shí)驗(yàn)獲得的159個(gè)自發(fā)的微表情,其來(lái)自32名受試者,其中包括13個(gè)不同的種族,平均年齡為33.24歲(標(biāo)準(zhǔn)差11.32,年齡在19到57歲之間),女性有17名.

3.1.3 SMIC

SMIC數(shù)據(jù)集是Li等在FG2013上發(fā)布的,所有數(shù)據(jù)均由100 fps的高速相機(jī)記錄,圖像分辨率為640×480像素,在20名受試者中,使用了其中16名受試者的164個(gè)自發(fā)式微表情.

3.2 具體實(shí)現(xiàn)

本文實(shí)現(xiàn)過(guò)程采用的實(shí)驗(yàn)平臺(tái)為NVIDIA GTX 1080顯卡,志強(qiáng)4核E3處理器,使用Keras深度學(xué)習(xí)框架和TensorFlow后端.

在將圖像序列輸入到網(wǎng)絡(luò)之前,需要對(duì)圖像序列進(jìn)行預(yù)處理.首先使用時(shí)間插值模型將視頻幀長(zhǎng)度固定為10,隨后視頻幀的大小調(diào)整到64×64像素分辨率,以匹配網(wǎng)絡(luò)的輸入維度.在實(shí)驗(yàn)過(guò)程中,為了找到更好的輸入數(shù)據(jù),將SMIC數(shù)據(jù)集的TIM分別設(shè)置為10和18,實(shí)驗(yàn)結(jié)果表明TIM為10時(shí),準(zhǔn)確率比TIM為18高3.03%,因此TIM為10時(shí)效果更好.除此之外,還將視頻幀分辨率分別調(diào)整為64×64,128×128,200×200,根據(jù)實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)視頻幀分辨率對(duì)微表情分類(lèi)準(zhǔn)確率沒(méi)有影響,因此本文采用64×64的分辨率.關(guān)于卷積核尺寸的確定,本文亦進(jìn)行了多次試驗(yàn)選擇效果最好的,如圖5是Res-STCN的第一層不同卷積核處理的結(jié)果,由于微表情肌肉變化主要集中在眼睛、鼻子和嘴附近,因此可以發(fā)現(xiàn)8×8卷積核更適合用于64×64像素視頻幀的微表情識(shí)別.

在實(shí)驗(yàn)中,本文將數(shù)據(jù)集分為80%的訓(xùn)練集和20%的測(cè)試集,進(jìn)行了多次對(duì)比實(shí)驗(yàn).因?yàn)樵趯?shí)驗(yàn)中epochs到達(dá)100時(shí),loss基本穩(wěn)定,故本文將epochs設(shè)置為100,由于數(shù)據(jù)樣本較小,因此將batch大小設(shè)置為4,訓(xùn)練時(shí)使用Adam進(jìn)行優(yōu)化,正則化強(qiáng)度為0.001,在10個(gè)epoch中模型性能不能提升時(shí),學(xué)習(xí)率減少為之前的1/10.

3.3 結(jié)果與分析

通過(guò)上述參數(shù)設(shè)置,改進(jìn)后的Res-STCN可以更好地適應(yīng)微表情識(shí)別.在CASME2、SAMM和SMIC數(shù)據(jù)集上分別進(jìn)行微表情識(shí)別分類(lèi),結(jié)果混淆矩陣圖6、圖7和圖8所示,矩陣的每一列代表數(shù)據(jù)集所提供的的微表情分類(lèi)標(biāo)準(zhǔn),每一行代表Res-STCN識(shí)別的表情分類(lèi)結(jié)果,表中對(duì)角線為正確分類(lèi)比例,其余為錯(cuò)誤的分類(lèi)比例.

圖6顯示了本文所提出方法在CASME2數(shù)據(jù)集上的驗(yàn)證結(jié)果.由于害怕(fear)樣本只有2個(gè),悲傷(sadness)樣本只有7個(gè),不能很好地表現(xiàn)識(shí)別的準(zhǔn)確率,因此在訓(xùn)練及測(cè)試集中均不考慮該分類(lèi),僅考慮高興(happiness)、驚訝(surprise)、厭惡(disgust)和抑郁(repression).其中厭惡表情由于數(shù)據(jù)集樣本較多,因此有更好的識(shí)別準(zhǔn)確率,而悲傷表情測(cè)試集僅有2個(gè)樣本,因此準(zhǔn)確率較低.

圖7顯示了本文所提出方法在SAMM數(shù)據(jù)集上的驗(yàn)證結(jié)果,在該數(shù)據(jù)集上驗(yàn)證了生氣(anger)、鄙視(contempt)、高興(happiness)和驚訝(surprise)4個(gè)類(lèi)別.在該數(shù)據(jù)集上鄙視表情測(cè)試樣本僅有2個(gè),因此準(zhǔn)確率較低,而驚訝表情雖然測(cè)試樣本也較少僅有3個(gè),但由于發(fā)生驚訝表情時(shí)面部肌肉變化與其它表情相差較大,因此有很好的準(zhǔn)確率.

圖8顯示了本文所提出方法在SMIC數(shù)據(jù)集上的驗(yàn)證結(jié)果,在該數(shù)據(jù)集上測(cè)試了積極(positive)、消極(negative)和驚訝(surprise)3個(gè)微表情類(lèi)別.在該數(shù)據(jù)集上由于微表情類(lèi)別較少,且測(cè)試樣本數(shù)量比較均勻,因此在該數(shù)據(jù)集上3個(gè)類(lèi)別的準(zhǔn)確率差距較小且均有不錯(cuò)的表現(xiàn).

將本文的方法結(jié)果與一些經(jīng)典手工制作的方法(如:LBP-TOP和MDMO)和最新深度學(xué)習(xí)方法進(jìn)行比較,結(jié)果如表2所示.

表2 本文所提出方法與經(jīng)典方法及最新方法對(duì)比

LBP-TOP方法數(shù)據(jù)來(lái)自于CASME2、SAMM和SMIC數(shù)據(jù)集提供者,均采用LOSO(Leave One Subject Out)的交叉驗(yàn)證方法.在CASME2數(shù)據(jù)集上MicroExpSTCNN僅考慮高興、生氣和厭惡3個(gè)樣本量較大的表情,因此得到了非常高的準(zhǔn)確率,而本文方法與其他方法都是對(duì)5個(gè)微表情進(jìn)行分類(lèi)識(shí)別,因此準(zhǔn)確率相對(duì)MicroExpSTCNN較低,而相較于其他方法有一定提升,僅次于ATNet,但ATNet使用CNN和LSTM相結(jié)合的雙流時(shí)空網(wǎng)絡(luò)模型,其網(wǎng)絡(luò)較復(fù)雜,而本文網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單.在SAMM和SMIC數(shù)據(jù)集上,相較于其他深度學(xué)習(xí)方法,本文提出的Res-STCN方法均有較好的準(zhǔn)確率,而與LBP-TOP和MDMO兩個(gè)手工特征方法相比,還存在一些不足,但是手工構(gòu)建的特征需要耗費(fèi)大量的人力成本,而深度學(xué)習(xí)方法不需要人為干預(yù)就可以選取所需的特征,節(jié)省了大量的人力資源.

4 總結(jié)

本文提出一種基于殘差模塊的可解釋時(shí)空卷積網(wǎng)絡(luò)模型的微表情識(shí)別方法,對(duì)于給定可解釋的輸入,即微表情視頻幀序列,解釋Res-STCN中模型參數(shù)和特征,實(shí)現(xiàn)了模型的可解釋性.在模型性能方面,本文在CASME2、SMIC、SAMM數(shù)據(jù)集上進(jìn)行了訓(xùn)練和測(cè)試,實(shí)驗(yàn)結(jié)果證明在微表情識(shí)別準(zhǔn)確度上,本文方法與其他深度學(xué)習(xí)方法相比有顯著提升.

猜你喜歡
解釋性集上殘差
基于殘差-注意力和LSTM的心律失常心拍分類(lèi)方法研究
基于雙向GRU與殘差擬合的車(chē)輛跟馳建模
關(guān)于短文本匹配的泛化性和遷移性的研究分析
論行政自由裁量的“解釋性控權(quán)”
基于互信息的多級(jí)特征選擇算法
基于殘差學(xué)習(xí)的自適應(yīng)無(wú)人機(jī)目標(biāo)跟蹤算法
基于深度卷積的殘差三生網(wǎng)絡(luò)研究與應(yīng)用
英漢互譯中的認(rèn)知隱喻翻譯探究
一種基于詞語(yǔ)計(jì)算的模糊分類(lèi)系統(tǒng)的設(shè)計(jì)方法
師如明燈,清涼溫潤(rùn)
运城市| 高碑店市| 柘荣县| 新泰市| 和林格尔县| 江山市| 洛扎县| 方城县| 峨边| 金湖县| 十堰市| 铁力市| 临潭县| 东平县| 永善县| 石棉县| 宁明县| 孟津县| 青浦区| 苏州市| 大庆市| 昌吉市| 乐都县| 时尚| 临颍县| 盘锦市| 勐海县| 调兵山市| 伽师县| 乌兰察布市| 南涧| 清远市| 塔城市| 南陵县| 临朐县| 嘉禾县| 沿河| 银川市| 宜宾县| 沙洋县| 临沂市|