魏震宇,文 暢,謝 凱,賀建飚

(1.長江大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院,湖北 荊州434023; 2.長江大學(xué) 電子信息學(xué)院,湖北 荊州 434023;3.中南大學(xué) 信息科學(xué)與工程學(xué)院, 長沙 410083)(*通信作者電子郵箱wenchang2016paper@163.com)

0 引言

移動(dòng)設(shè)備上的實(shí)時(shí)人臉檢測(cè)是人臉識(shí)別的一個(gè)重要發(fā)展方向。人臉檢測(cè)的應(yīng)用領(lǐng)域也由經(jīng)典的靜態(tài)圖像向連續(xù)的視頻幀發(fā)展。受性能限制,移動(dòng)設(shè)備上的人臉檢測(cè)往往存在速度較慢難以滿足實(shí)時(shí)檢測(cè)需求、檢測(cè)精度差的問題,從而需要設(shè)計(jì)一種高效的移動(dòng)設(shè)備人臉檢測(cè)算法。人臉檢測(cè)問題是屬于圖像識(shí)別中目標(biāo)檢測(cè)的一個(gè)分支,傳統(tǒng)的檢測(cè)算法都是以多張人臉為目標(biāo)在圖像上進(jìn)行檢測(cè)?，F(xiàn)有的人臉檢測(cè)算法分為以維奧拉-瓊斯(Viola-Jones, V-J)目標(biāo)檢測(cè)框架[1-2]為代表的經(jīng)典機(jī)器學(xué)習(xí)方法和使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)的深度學(xué)習(xí)方法兩大類,這兩類方法都是針對(duì)單張靜態(tài)圖片設(shè)計(jì)的,并不能很好地適應(yīng)視頻實(shí)時(shí)檢測(cè)的需求。

Viola-Jones目標(biāo)檢測(cè)框架利用AdaBoost方法[3]訓(xùn)練級(jí)聯(lián)分類器,能進(jìn)行快速靜態(tài)人臉檢測(cè),也是現(xiàn)有大多數(shù)工程采用的方法,開放視覺庫OpenCV[4-5]中就有一種具體實(shí)現(xiàn)。但OpenCV實(shí)現(xiàn)的算法主要缺點(diǎn)是誤檢率高[5],不能很好地滿足精確度要求。

針對(duì)Viola-Jones方法檢測(cè)率低的問題,出現(xiàn)了應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)[6-8]來進(jìn)行人臉檢測(cè)的方法,通過利用局部感知和權(quán)值共享的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取并加以分類,使利用CNN進(jìn)行人臉檢測(cè)在20%誤檢率下召回率普遍達(dá)到了87%以上[9-10]；但由于CNN高昂的計(jì)算代價(jià),往往只能應(yīng)用在單張靜態(tài)圖像上,不能進(jìn)行實(shí)時(shí)視頻檢測(cè)。

由靜態(tài)圖像檢測(cè)轉(zhuǎn)變到視頻檢測(cè)同樣存在一些難點(diǎn),其中一些熱點(diǎn)問題由視頻幀不良內(nèi)容引起,例如動(dòng)態(tài)模糊、部分遮擋、角度偏轉(zhuǎn)等問題引起檢測(cè)結(jié)果精度較差甚至無法檢測(cè)。

為應(yīng)對(duì)移動(dòng)設(shè)備傳統(tǒng)解決方案中的現(xiàn)有問題,本文嘗試將機(jī)器學(xué)習(xí)算法與CNN相結(jié)合，以提高檢測(cè)精度；同時(shí)為平衡CNN高昂的計(jì)算代價(jià),本文應(yīng)用了光流估計(jì)方法[11],以解決移動(dòng)設(shè)備上的視頻實(shí)時(shí)人臉檢測(cè)中無法很好地平衡檢測(cè)速度與檢測(cè)精度的問題。

1 移動(dòng)設(shè)備上的視頻人臉檢測(cè)

本文提出了一種在人臉子圖快速劃分的基礎(chǔ)上應(yīng)用以卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)面部特征分布的方法。如圖1所示,進(jìn)行人臉檢測(cè)的算法流程主要分為:1)視頻幀預(yù)處理,提取灰度分量并計(jì)算積分圖;2)應(yīng)用嵌入型級(jí)聯(lián)分類器進(jìn)行人臉子圖劃分;3)應(yīng)用五官特征進(jìn)行人臉精細(xì)分割;4)預(yù)測(cè)人臉響應(yīng)邊界盒。

圖1 視頻人臉檢測(cè)流程

1.1 視頻幀預(yù)處理

1.1.1 提取灰度分量

由Google提供的應(yīng)用程序編程接口(Application Programming Interface, API)[12-13]可知,在API Level 14以上的安卓設(shè)備中,攝像頭預(yù)覽的數(shù)據(jù)以ImageFormat.YV12的格式通過預(yù)覽的回調(diào)接口傳遞給用戶。YV12圖像數(shù)據(jù)在Android實(shí)現(xiàn)為一個(gè)大小為(w*h)3/2的byte數(shù)組,而YV12格式中的Y′分量就是一幀圖像frame的灰度表示,記一幀圖像大小為sizey=w*h，則灰度化后的視頻幀序列記為grey:

grey=[frame0,frame1,…,framesizey-1]

(1)

記灰度圖像中每一點(diǎn)的灰度值為grey(x,y):

grey(x,y)=frame[x+y*w]

(2)

其中：(x,y)是位于以橫持設(shè)備時(shí)，以屏幕左上角的點(diǎn)為原點(diǎn),橫向?yàn)閤軸,縱向?yàn)閥軸的坐標(biāo)系上的點(diǎn)。

1.1.2 積分圖計(jì)算

基于Haar-like特征的分類器需要計(jì)算特征區(qū)域內(nèi)的圖像和,應(yīng)用積分圖可以進(jìn)行區(qū)域快速求和計(jì)算。積分圖的計(jì)算方法很簡(jiǎn)單,定義積分圖上的一點(diǎn)為I(x′,y′):

(3)

顯然,對(duì)積分圖的計(jì)算可以轉(zhuǎn)換為前綴數(shù)組求和:

I(x′,y′)=I(x′-1,y′-1)+I(x′,y′-1)+

I(x′-1,y′)+grey(x′,y′)

(4)

當(dāng)積分圖計(jì)算完成,對(duì)灰度圖像的任意矩形區(qū)域求和計(jì)算在常數(shù)時(shí)間內(nèi)即可完成。

1.2 改進(jìn)的Viola-Jones候選人臉子圖分割

圖2 嵌入式級(jí)聯(lián)分類器

嵌入型級(jí)聯(lián)(nested classifier)是一種信息復(fù)用的級(jí)聯(lián)方式,與AdaBoost方法的主要區(qū)別在于,分類器級(jí)聯(lián)時(shí)加入了一個(gè)“嵌入式”的項(xiàng),一起合并為當(dāng)前迭代的強(qiáng)分類器,其檢測(cè)基礎(chǔ)同樣是Haar-like特征,優(yōu)點(diǎn)是能在不損失分類速度的情況下提高準(zhǔn)確率。

經(jīng)典的弱分類器h(w′)表達(dá)式為:

(5)

其中:w′為一個(gè)子窗口圖像;f為一種Haar-like特征;p用于控制不等號(hào)方向,使之總是小于號(hào);θ是閾值,即圖2中的bij。Nested瀑布流的級(jí)聯(lián)方式是在退化決策樹的基礎(chǔ)上,為每一個(gè)迭代后的神經(jīng)元加入了額外的被稱為Nested的子項(xiàng)。強(qiáng)分類器采用這樣的形式:

(6)

Hn(w′)=

(7)

這相當(dāng)于所有弱分類器投票,即所有弱分類器與其突觸的權(quán)重乘積加上前一次迭代中強(qiáng)分類器的輸出加權(quán)平均,與本次迭代中的弱分類器輸出的算術(shù)平均比較,最終判斷一個(gè)子窗口內(nèi)圖像是否通過檢測(cè)。嵌入型的分類器級(jí)聯(lián)方式有效地重用了信息,降低了每個(gè)分類器需要學(xué)習(xí)的特征數(shù)目,可以在達(dá)到經(jīng)典框架相同級(jí)別檢測(cè)率的同時(shí)減少所需分類器的層數(shù),從而降低移動(dòng)設(shè)備上由于復(fù)雜特征帶來的計(jì)算代價(jià)。

1.3 基于五官特征的視頻檢測(cè)

為了進(jìn)一步剔除非人臉無關(guān)項(xiàng),本文綜合了卷積神經(jīng)網(wǎng)絡(luò)Faceness-Net[14]進(jìn)行人臉面部特征提取,分別探查頭發(fā)、眼睛、鼻子、唇部、下顎的存在性,并應(yīng)用光流估計(jì)算法用于平衡卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算代價(jià)，如算法1所示。為表述方便，先定義需要用到的符號(hào)，如表1所示。

表1 符號(hào)的定義

算法1 稀疏關(guān)鍵幀五官特征檢測(cè)。

輸入 視頻幀序列。

輸出 人臉檢測(cè)結(jié)果。

1)init(視頻幀序列):

curr=key=0

feature0=netfeature(frames[0])

mask0=netdect(feature0)

2)detect(視頻幀序列):

while (curr

ifisKeyFrame(curr)

key=curr

featurekey=netfeature(frames[key])

maskkey=netdect(featurekey)

else

flow=F(featurekey,featurecurr)

featurecurr=W(featurekey,flow)

maskcurr=netdect(featurecurr)

return {maski}

1.3.1 關(guān)鍵幀F(xiàn)aceness-Net五官特征分布提取

卷積神經(jīng)網(wǎng)絡(luò)Faceness-Net的檢測(cè)目標(biāo)是人臉部件,文獻(xiàn)[13]中的實(shí)現(xiàn)是對(duì)頭發(fā)、眼睛、鼻子、唇部、下顎進(jìn)行特征提取,并構(gòu)造評(píng)分窗口進(jìn)行區(qū)域預(yù)測(cè)。而本文的檢測(cè)并不需要精細(xì)到像素級(jí),所以需要對(duì)關(guān)鍵幀上的Faceness-Net特征提取子網(wǎng)絡(luò)netfeature流程加以優(yōu)化。

Faceness-Net的網(wǎng)絡(luò)結(jié)構(gòu)同樣可以分為特征提取與目標(biāo)檢測(cè)兩個(gè)部分,這樣便于區(qū)分計(jì)算開銷大的卷積神經(jīng)網(wǎng)絡(luò)netfeature與輕量的目標(biāo)檢測(cè)網(wǎng)絡(luò)netdect。計(jì)算代價(jià)高昂的netfeature只在關(guān)鍵幀上運(yùn)行,而非關(guān)鍵幀的特征圖將通過光流估計(jì)將關(guān)鍵幀的特征圖遷移到當(dāng)前幀。

1.3.2 非關(guān)鍵幀光流估計(jì)特征傳播

光流場(chǎng)(Optical flow field)估計(jì)是一種視頻中運(yùn)動(dòng)圖像位移量的估計(jì)方法,用于兩幀圖像之間計(jì)算二維位移關(guān)系。光流估計(jì)方法假設(shè)間隔相近的兩幀視頻幀中出現(xiàn)的內(nèi)容相近,進(jìn)而假設(shè)相同亮度的點(diǎn)存在二維線性位移關(guān)系,從而得到圖像插值時(shí)的速度與位置信息。圖3展示了應(yīng)用光流估計(jì)進(jìn)行特征傳播與直接應(yīng)用Faceness-Net進(jìn)行特征提取的流程。

記key為關(guān)鍵幀索引,curr為當(dāng)前幀索引，framekey為關(guān)鍵幀,framecurr為當(dāng)前幀,Mkey→curr為二維光流場(chǎng):

flow=Mkey→curr=F(framekey,framecurr)

(8)

得到光流估計(jì)的結(jié)果后應(yīng)用雙線性插值算法將特征圖縮放至視頻當(dāng)前幀同等大小,這將返回一個(gè)二維映射,用于表示關(guān)鍵幀上的特征位置p與當(dāng)前幀上特征位置p+δp的關(guān)系,構(gòu)造雙線性插值函數(shù)B′(q,p+δp):

B′(q,p+δp)=b(qx,px+δpx)·b(qy,py+δpy)

(9)

(10)

其中：δp=Mkey→curr(p);b(q′,p′)=max(0,1-|q′-p′|)。

圖3 基于光流估計(jì)的特征聚合

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)平臺(tái)

本項(xiàng)目在實(shí)驗(yàn)中用到的設(shè)備硬件部分為:小米6手機(jī),CPU為高通驍龍835,主頻為2.45 GHz,圖形處理器Adreno 540,DDR4內(nèi)存6 GB。軟件部分安卓系統(tǒng)軟件版本為Android 7.1.1,本文開發(fā)的應(yīng)用使用Android Studio編寫, Java development kit版本8u152。

實(shí)驗(yàn)分別在YouTube人臉視頻數(shù)據(jù)庫(YouTube Face Database[16])和實(shí)驗(yàn)室自建正位人臉(攝像頭正對(duì)人臉,法線夾角不大于20°,人臉位置大致位于視野中央)數(shù)據(jù)庫上進(jìn)行測(cè)試。YouTube人臉視頻數(shù)據(jù)庫包含有3 425段來自YouTube的視頻和1 595張規(guī)格化圖片,常被用于“視頻-視頻”人臉識(shí)別的項(xiàng)目測(cè)試,剪輯為24 frame/s的1 080 p視頻,平均剪輯長度為每秒181.3幀(剪輯總長度約為620 952幀),視頻人臉區(qū)域標(biāo)定方法同戶外臉部檢測(cè)數(shù)據(jù)庫(Labeled Faces in the Wild, LFW)。本項(xiàng)目中使用的自建人臉視頻數(shù)據(jù)庫為100段1 min幀率為24 frame/s的H.264編碼壓縮視頻，包含來自5個(gè)人的各20段1分鐘視頻,視頻幀使用YCrCb顏色空間,按LFW標(biāo)注方法為每人4段視頻的第一幀起前120幀手工標(biāo)定人臉區(qū)域范圍。同時(shí)，為訓(xùn)練得到的模型編寫接口用于設(shè)計(jì)安卓程序,將從移動(dòng)設(shè)備攝像頭直接讀取數(shù)據(jù)以進(jìn)行實(shí)時(shí)人臉檢測(cè),圖4～5為不同條件下軟件的運(yùn)行截圖。

圖4 明亮平均光照環(huán)境測(cè)試結(jié)果

圖5 單側(cè)不良光照環(huán)境測(cè)試

2.2 數(shù)據(jù)記錄

2.2.1 不同關(guān)鍵幀間隔選擇對(duì)檢測(cè)速度的影響

關(guān)鍵幀上運(yùn)行耗時(shí)最長的Faceness-Net五官特征分布提取直接決定了運(yùn)行最小時(shí)間,記l為兩關(guān)鍵幀間隔幀數(shù),選取Faceness-Net完整5個(gè)特征,分別對(duì)l=0(即不應(yīng)用光流估計(jì))、l=15、l=30進(jìn)行實(shí)驗(yàn)。

程序在始終沒有得到特征分布圖的檢測(cè)結(jié)果時(shí)不會(huì)運(yùn)行檢測(cè)程序,即檢測(cè)幀被丟棄。從表2可以看出,關(guān)鍵幀選取間隔越大,輸入視頻幀分辨率越低,檢測(cè)平均幀率越高(耗時(shí)越短)。

表2 關(guān)鍵幀間隔對(duì)平均幀率的影響 frame/s

2.2.2 Faceness-Net不同粒度下的速度

為了研究相似五官特征的影響，在測(cè)試關(guān)鍵幀選取間隔實(shí)驗(yàn)的基礎(chǔ)上，本項(xiàng)目嘗試減少Faceness-Net提取的五官特征數(shù)目,分別去掉了嘴巴和鼻子的檢測(cè),在關(guān)鍵幀間隔l=30的條件下實(shí)驗(yàn)，得到了如表3所示的結(jié)果。

表3 檢測(cè)粒度對(duì)平均幀率的影響(l=30)

考慮到由于在關(guān)鍵幀上運(yùn)行Faceness-Net仍將耗費(fèi)大量的計(jì)算時(shí)間,將會(huì)在移動(dòng)設(shè)備上造成卡頓,使檢測(cè)精度波動(dòng)；同時(shí)考慮到五官特征的特殊性,即部分特征可能是相似且可以舍棄的，進(jìn)而可以選取更加合適的間隔-粒度關(guān)系。從表3的結(jié)果中可以看出，減少檢測(cè)特征目標(biāo)數(shù)目可以帶來檢測(cè)速度的提升。

2.3 結(jié)果分析

2.3.1 算法復(fù)雜度分析

根據(jù)本文算法流程,算法前端應(yīng)用人臉子圖分割的算法是相同的,都記作O(crop)。記在每一幀上應(yīng)用的人臉提取的算法時(shí)間復(fù)雜度為O(task):

O(task)=O(netfeature)+O(netdect)

(10)

在光流估計(jì)的基礎(chǔ)上進(jìn)行五官檢測(cè)的復(fù)雜度為O(task)′:

(11)

(12)

那么非關(guān)鍵幀與關(guān)鍵幀的復(fù)雜度之比ratio在O(netdect)?O(netfeature)的條件下有以下近似關(guān)系:

(13)

又O(crop)?O(F),O(crop)?O(netfeature),則總體算法復(fù)雜度之比r為:

(14)

可以得出,檢測(cè)所需的時(shí)間在非關(guān)鍵幀上接近傳統(tǒng)的Viola-Jones結(jié)果,而關(guān)鍵幀上的運(yùn)行最短時(shí)間由Faceness-Net提取特征的時(shí)間決定。從表2所示的相同粒度實(shí)驗(yàn)結(jié)果來看,統(tǒng)計(jì)1 min 640 p視頻檢測(cè)結(jié)果由不應(yīng)用光流估計(jì)l=0的平均幀率7.75 frame/s提升至l=30的平均幀率18.35 frame/s, 速度有2～3倍的提升,實(shí)驗(yàn)結(jié)果符合復(fù)雜度預(yù)期。

2.3.2 檢測(cè)精度對(duì)比分析

除了正位人臉測(cè)試視頻數(shù)據(jù)集,本項(xiàng)目還使用了旋轉(zhuǎn)人臉(人臉?biāo)谄矫鎯?nèi))、側(cè)位人臉(人臉?biāo)谄矫嫱?進(jìn)行測(cè)試與對(duì)比分析。其中側(cè)位人臉的評(píng)判標(biāo)準(zhǔn)沒有很好地界定,所以本項(xiàng)目人為規(guī)定,側(cè)位人臉的可見特征(1幀內(nèi))不少于3個(gè)(最低Faceness-Net檢測(cè)粒度),即可認(rèn)為視頻中出現(xiàn)了有效側(cè)位人臉。

圖6 運(yùn)行時(shí)間與召回率擬合關(guān)系

由圖6～7所示的實(shí)驗(yàn)結(jié)果可看出,減少檢測(cè)特征數(shù)目時(shí),Faceness-Net網(wǎng)絡(luò)的檢測(cè)精度有所下降,隨之帶來的是速度的提升。檢驗(yàn)全部5個(gè)特征速度最慢,平均幀率在14.10 frame/s左右;只檢驗(yàn)3個(gè)部分特征的運(yùn)行速度最快,平均幀率在18.53 frame/s以上,而檢測(cè)精度的損失也最大,相較全部5個(gè)特征損失在5.1%～8.3%；而4個(gè)特征的情況精度損失在0.6%～2.5%。相比之下,同等級(jí)檢測(cè)粒度下視頻幀分辨率對(duì)結(jié)果影響不大。

圖7 不同算法在不同誤檢數(shù)下的召回率關(guān)系

綜合來看,舍棄一個(gè)部分特征即檢測(cè)粒度為4的情況,檢驗(yàn)速度與召回率的平衡最好,精度損失較粒度為3的損失小,可以根據(jù)不同的需求場(chǎng)景調(diào)整精度與速度的平衡。

2.3.3 復(fù)雜情況視頻檢測(cè)問題

在實(shí)際的程序運(yùn)行測(cè)試中,本項(xiàng)目還進(jìn)行了人臉快速移動(dòng)帶來動(dòng)態(tài)模糊復(fù)雜情況檢測(cè),應(yīng)用光流估計(jì),可以在內(nèi)容較差、無法提取有效特征的幀上進(jìn)行檢測(cè),如圖8所示。

圖8 動(dòng)態(tài)模糊檢測(cè)結(jié)果

從圖8可以看出應(yīng)用本文算法對(duì)部分視頻檢測(cè)熱點(diǎn)問題有一定的幫助。

3 結(jié)語

本文通過綜合改進(jìn)的Viola-Jones檢測(cè)算法與應(yīng)用光流估計(jì)的Faceness-Net面部特征檢測(cè)方法,實(shí)現(xiàn)了移動(dòng)設(shè)備上的視頻人臉檢測(cè),使檢測(cè)精度達(dá)到了接近CNN方法的檢測(cè)精度,且速度基本滿足實(shí)時(shí)監(jiān)測(cè)的要求;實(shí)現(xiàn)的應(yīng)用可以應(yīng)用于中低端設(shè)備,滿足了大多數(shù)移動(dòng)設(shè)備實(shí)際監(jiān)測(cè)工作的性能需要,可以應(yīng)用于諸如人臉門禁等項(xiàng)目的檢測(cè)任務(wù)中。但同時(shí)也存在不足：人臉快速運(yùn)動(dòng)帶來的動(dòng)態(tài)模糊未能得到良好的解決，在更高的分辨率下性能仍有待進(jìn)一步提升。接下來的工作中可以通過加入優(yōu)化關(guān)鍵幀的智能選取以在不同設(shè)備上更好地平衡精度與速度,以規(guī)避關(guān)鍵幀內(nèi)容較差的情況。

參考文獻(xiàn)(References)

[1] 魏瑋,馬瑞,王小芳. 視頻中人臉位置的定量檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用, 2017, 37(3): 801-805.(WEI W, MA R, WANG X F. Quantitative detection of face location in videos[J]. Journal of Computer Applications, 2017, 37(3): 801-805.)

[2] LI Q, NIAZ U, MERIALDO B. An improved algorithm on Viola-Jones object detector[C]// Proceedings of the 2012 10th International Workshop on Content-Based Multimedia Indexing. Piscataway, NJ: IEEE, 2012: 55-60.

[3] ELMAGHRABY A, ABDALLA M, ENANY O, et al. Detect and analyze face parts information using Viola-Jones and geometric approaches[J]. International Journal of Computer Applications, 2014, 101(3): 23-28.

[4] 朱承志.基于OpenCV的人臉檢測(cè)與跟蹤[J]. 計(jì)算機(jī)工程與應(yīng)用, 2012, 48(26): 157-161.(ZHU C Z. Face detection and tracking based on OpenCV[J]. Computer Engineering and Applications, 2012, 48(26): 157-161.)

[5] BRUCE B R, AITKEN J M, PETKE J. Deep parameter optimisation for face detection using the Viola-Jones algorithm in OpenCV[C]// SSBSE 2016: Proceedings of 8th International Symposium, LNCS 9962. Berlin: Springer, 2016: 238-243.

[6] 孔英會(huì),王之涵, 車轔轔. 基于卷積神經(jīng)網(wǎng)絡(luò)(CNN) 和CUDA加速的實(shí)時(shí)視頻人臉識(shí)別[J]. 科學(xué)技術(shù)與工程, 2016, 16(35): 96-100.(KONG Y H, WANG Z H, CHE L L. Real-time face recognition in videos based on Convolutional Neural Networks(CNN) and CUDA[J]. Science Technology & Engineering, 2016, 16(35): 96-100.)

[7] JIANG H, LEARNEDMILLER E. Face detection with the faster R-CNN[C]// Proceedings of the 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition. Washington, DC: IEEE Computer Society, 2017: 650-657.

[8] QIN H, YAN J, LI X, et al. Joint training of cascaded CNN for face detection [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2016: 3456-3465.

[9] 盧宏濤, 張秦川. 深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中的應(yīng)用研究綜述[J]. 數(shù)據(jù)采集與處理, 2016, 31(1): 1-17.(LU H T, ZHANG Q C. Applications of deep convolutional neural network in computer vision[J]. Journal of Data Acquisition and Processing, 2016, 31(1): 1-17.)

[10] KONG K H, KANG D S. A study of face detection algorithm using CNN based on symmetry-LGP & uniform-LGP and the skin color[EB/OL]. [2017- 05- 10]. http: //onlinepresent.org/proceedings/vol139_2016/30.pdf.

[11] ZHU X, XIONG Y, DAI J, et al. Deep feature flow for video recognition[EB/OL]. [2017- 05- 10]. https: //arxiv.org/abs/1611.07715.

[12] Google. Camera.PreviewCallback[EB/OL]. [2017- 08- 22]. https: //developer.android.com/reference/android/hardware/Camera.PreviewCallback.html.

[13] Google. Camera.Parameters[EB/OL]. [2017- 08- 22]. https: //developer.android.com/reference/android/hardware/Camera.Parameters.html#setPreviewFormat(int).

[14] YANG S, LUO P, LOY C C, et al. From facial parts responses to face detection: a deep learning approach [C]// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway, NJ: IEEE, 2015: 3676-3684.

[15] WEDEL A, CREMERS D. Stereo Scene Flow for 3D Motion Analysis[M]. Berlin: Springer, 2011: 5-30.

[16] WOLF L, HASSNER T, MAOZ I. Face recognition in unconstrained videos with matched background similarity [C]// Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2011: 529-534.

This work is partially supported by the National Natural Science Foundation of China (61272147), the Innovation and Entrepreneurship Training Program for Yangtze University Students (2017008)