国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于Candide-3算法的圖像中面部替換技術(shù)

2018-04-13 08:28黃誠
計算技術(shù)與自動化 2018年2期
關(guān)鍵詞:圖像處理

黃誠

摘要:提出了一種基于CANDIDE-3算法的人臉替換算法,該算法使用CLM作為面部特征點(diǎn)定位算法,將2維的面部特征點(diǎn)和CANDIDE中3維的頂點(diǎn)相對應(yīng),建立相應(yīng)的源人臉?biāo)惴?。根?jù)面部特征點(diǎn)估計出頭部姿態(tài)和表情相關(guān)參數(shù),對源人臉進(jìn)行方向和角度調(diào)整,通過顏色轉(zhuǎn)移算法,將源人臉的色彩轉(zhuǎn)換為目標(biāo)人臉的色彩,然后利用圖像融合算法進(jìn)行融合。實(shí)驗(yàn)結(jié)果表明,本文的方法能夠在圖像和視頻中進(jìn)行有效的進(jìn)行人臉替換。

關(guān)鍵詞:圖像處理;人臉替換;面部特征點(diǎn)檢測;人臉建模;圖像融合

中圖分類號:TP317.4

文獻(xiàn)標(biāo)識碼:A

0 引言

人臉替換技術(shù)研究的是如何使用計算機(jī)或手機(jī)快速的將一張圖像或視頻中的人臉(目標(biāo)人臉)替換成另一張圖像或視頻的人臉區(qū)域(源人臉)[1]。替換的基本需求是使替換后的圖像或視頻具有逼真自然的視覺效果,其次是表情轉(zhuǎn)移,目標(biāo)人臉的表情轉(zhuǎn)移使得換臉效果更具有應(yīng)用意義和使用空間。從2004起,人臉替換技術(shù)從基于圖像庫的人臉替換,至使用3D算法匹配替換[2],國內(nèi)外一些高校和研究機(jī)構(gòu)已經(jīng)開展了人臉替換技術(shù)方面上的研究[3-5],并取得了一定的成果,此外,也有不少研究團(tuán)隊在人臉替換的基礎(chǔ)上加了表情轉(zhuǎn)移[6-7]。

Bitouk D等[8]人實(shí)現(xiàn)了照片中的自動人臉置換系統(tǒng)。此系統(tǒng)為使用了一個從網(wǎng)絡(luò)中收集的人臉作為備選庫,當(dāng)輸入一張圖片時,系統(tǒng)從人臉庫中找到面部表情和姿勢相似的幾個圖片,然后調(diào)整這些備選的姿勢,光照和顏色匹配源人臉,最后通過邊界度量法則對這些融合后的人臉進(jìn)行評分,得分最高的將作為最終結(jié)果替換到源圖片上。2011年,Nuri Murat Arar等[9]人提出了一種基于AAM的人臉替換方法,使用了改進(jìn)的Census變換方法(Modified Census Transform,MCD和AAM作為人臉檢測和對面部建模的方法。然后使用分段仿射變形方法(piecewise affine warping)對所要替換的人臉進(jìn)行面部配準(zhǔn),調(diào)整姿態(tài)和方向。2016年,Thies J等[10]人對于單目攝像頭的數(shù)據(jù),提出了一種無密集標(biāo)記的面部捕捉方法,實(shí)時的替換視頻中的人臉。

本文在考慮了人臉替換效果和實(shí)時性的基礎(chǔ)上,提出了基于Candide-3算法的圖像中人臉替換技術(shù)。在獲取人臉區(qū)域后,通過匹配面部特征點(diǎn)與Candide-3算法建立映射關(guān)系后,將源人臉替換到目標(biāo)人臉上。

1 人臉替換CANDIDE-3算法

1.1 面部特征點(diǎn)定位

面部特征點(diǎn)定位算法是人臉圖像處理中的重要研究課題,它可以為后續(xù)人臉替換,表情轉(zhuǎn)移提供基礎(chǔ)數(shù)據(jù),也可以用到表情識別,虛擬現(xiàn)實(shí)等場景。由于面部特征點(diǎn)定位算法是基于圖像或視頻的,所以依舊受到光照條件、遮擋、姿態(tài)等因素的影響。

常見的面部特征點(diǎn)定位方法有基于可變形模板(Deformable Template)的定位方法[11]、點(diǎn)分布算法[12](主動表現(xiàn)算法和主動形狀算法)、圖算法[13]等。本文的人臉特征點(diǎn)提取算法是基于CLM (Con-strained Local Models)算法[14],即有約束的局部算法算法,該算法融合了ASM和AAM兩個算法的優(yōu)點(diǎn),既有ASM中的約束性,又有AAM的靈活性。CLM也學(xué)習(xí)擁有形狀和紋理的面部算法(類似于AAIVD,但是他的紋理信息是體現(xiàn)在獨(dú)立的Patch算法中,每個Patch被一些特征點(diǎn)包圍。如圖l所示,CLM算法可以檢測68個面部特征點(diǎn)。

基于CLM的人臉特征點(diǎn)定位可分兩個階段:算法構(gòu)建階段和點(diǎn)擬合階段。算法構(gòu)建又分為形狀算法構(gòu)建和Patch算法構(gòu)建,形狀算法構(gòu)建就是通過ASM算法獲取的人臉形狀建模,描述了形狀變化遵循的準(zhǔn)則。而Patch算法就是每個特征點(diǎn)的鄰域進(jìn)行建模,即建立一個特征點(diǎn)匹配準(zhǔn)則,獲得最佳匹配。

1.2 CANDIDE-3算法

CANDIDE算法是一組參數(shù)化的面部算法,用于基于算法的人臉編碼。因?yàn)榇怂惴ň哂休^少的多邊形,可以快速的對人臉進(jìn)行重建。CANDIDE算法自問世以來,經(jīng)過兩次改版,最新一版為2001年的Candide-3算法。Candide-3算法具有113個面部頂點(diǎn)和184個形變?nèi)切螀^(qū)域。

CANDIDE算法含有動作單元(Action Units.Aus)用來處理面部的動作。這些動作單元編碼是相對于三個軸的旋轉(zhuǎn)。動作單元控制臉部行為來獲得不同的表情行為表達(dá),這些面部行為包括但不限于嘴巴張合、鼻子聳動、眉毛抬起放下、眼睛閉合等。

1.2.1 顏色調(diào)整

由于光照和膚色的原因,源人臉區(qū)域的顏色通常和目標(biāo)人臉區(qū)域的顏色不太一致,這就帶來了一個色彩調(diào)整和圖像融合的問題。由于在顏色轉(zhuǎn)移的問題上,研究人員普遍選擇Reinhard算法[15]因此本文也將采用此方法。此算法Lαβ是基于色彩空間的算法,由于Lαβ色彩空間是擁有亮度分量L,色彩分量α代表綠色到紅色的光譜變化,色彩分量β代表藍(lán)色到黃色的光譜變化。

對于兩個不同膚色的人臉,首先分別對源人臉圖像和目標(biāo)人臉圖像進(jìn)行顏色轉(zhuǎn)換處理,把RGB模式下的圖像數(shù)據(jù)轉(zhuǎn)換為Lαβ算法中的表達(dá)形式。然后分離顏色通道,表達(dá)(L,α,β)為類型的向量。然后計算得到每個通道的平均值meanO和方差σ。目標(biāo)通道的值減去均值作為目標(biāo)通道值。目標(biāo)圖像的方差和源圖像的方差相除,作為變化比例。將新的目標(biāo)通道值和比例相乘,再疊加上源人臉圖像的顏色通道。最終結(jié)果,再轉(zhuǎn)換為RGB圖像通道的人臉圖像,上述過程可以按照以下所示理解

1.2.2 臉型調(diào)整

臉型調(diào)整用來調(diào)整源人臉與目標(biāo)人臉之間的臉型區(qū)別,是基于面部特征點(diǎn)定位的結(jié)果來進(jìn)行形變處理仿射變換得到的結(jié)果。要實(shí)現(xiàn)對面部形變的替換,將使用仿射變換和經(jīng)線三角形以及混合型變算法得到替換區(qū)域?;旌狭繉⒂蓞?shù)α控制。使用以下步驟創(chuàng)建變形:

(1)在變形圖像中查找特征點(diǎn)的位置:在變形圖像M中,我們可以找到所有特征點(diǎn)(xm,ym)的位置。

(2)計算仿射變換:源圖像中有一組特征點(diǎn),目標(biāo)圖像中有相同數(shù)量的特征點(diǎn),在變形圖像中有特征點(diǎn)的第三組。我們也知道這些點(diǎn)定義的三角測量。選擇源圖像中的三角形和變形圖像中的相應(yīng)三角形,并計算將源圖像中的三角形的三個角映射到變形圖像中相應(yīng)三角形的三個角的仿射變換。為每對三角形計算仿射變換。最后,重復(fù)目標(biāo)圖像的過程和變形的圖像。

(3)經(jīng)線三角形:對于源圖像中的每個三角形,使用上一步中計算的仿射變換將三角形內(nèi)的所有像素轉(zhuǎn)換為變形圖像。對源圖像中的所有三角形重復(fù)此操作,以獲得源圖像的翹曲版本。類似地,獲取目標(biāo)圖像的翹曲版本。

(4) Alpha混合變形圖像:在上一步中,獲得了源圖像和目標(biāo)圖像的翹曲版本。這兩個圖像可以使用進(jìn)行alpha混合,得到最終效果。

大多數(shù)基于68個特征點(diǎn)的面部特征非常齊全,對面部區(qū)域的扭轉(zhuǎn)變形,可以獲得不錯的效果。

1.3 頭部姿態(tài)估計

頭部姿態(tài)估計主要用于將源人臉和目標(biāo)人臉的面部朝向和角度進(jìn)行統(tǒng)一,可以使替換效果更自然。對面部的姿態(tài)估計主要通過跟蹤特征點(diǎn)區(qū)域,通過面部特征點(diǎn)的相對位置判斷面部的朝向和旋轉(zhuǎn)角度。如圖3所示,頭部姿態(tài)估計可以通過俯仰角(pitch)、偏航角(yaw)和滾轉(zhuǎn)角(roll)來描述。

(b)(c)偏航角,(d)(e)俯仰角,(f)(g)滾轉(zhuǎn)角

對于表情的估計和傳遞,本文主要使用的是根據(jù)Candide-3算法中的動作單元系數(shù),表情可以通過這些關(guān)鍵表情的組合,使源人臉和目標(biāo)人臉的表情相匹配。面部對齊算法標(biāo)記在每個臉上標(biāo)記了68個特征點(diǎn)。在面部特征中,眉毛和輪廓的特征點(diǎn)是最不明確的,因?yàn)樵谶@些區(qū)域很難具體的定義特征點(diǎn)。鼻子上的特征點(diǎn)與面部表情最不相關(guān)。因此,我們的算法集中在嘴部和眼瞼的運(yùn)動。有兩個關(guān)于眼瞼運(yùn)動的關(guān)鍵表情:關(guān)閉左眼和關(guān)閉右眼的表達(dá)。眼鏡的閉合部分通過上下眼瞼之間的距離即可判斷閉眼與否,可以根據(jù)圖像中的動作反映在三維形變算法上。下面重點(diǎn)推導(dǎo)嘴部的動作判斷。

1.4 人臉替換

經(jīng)過上述的人臉建模,表情參數(shù)提取,已經(jīng)得到了源人臉相關(guān)數(shù)據(jù)(基于形變算法的頭部算法,調(diào)整過光照和顏色的頭部紋理,表情系數(shù)),目標(biāo)人臉相關(guān)數(shù)據(jù)(頭部算法和姿態(tài)),通過已有的部件可以組合完成最后一步人臉替換步驟,即圖像融合技術(shù)。良好的圖像融合技術(shù)可以使兩個不同的圖片自然融合,達(dá)到邊緣幾乎不可見,圖像融合效果好的效果。

圖像融合,就是把不同的兩個圖片融合到一起,形成一張新的圖像。越能使過渡自然的算法,效果越好。最簡單的融合算法就是將兩個圖像拼接的位置將兩張圖像進(jìn)行透明度線性疊加。拉普拉斯變換[16],泊松融合算法[11]都是比較高階的圖像融合算法。本文在這里只選用了最初的版本來進(jìn)行說明。其主要思想是并非將兩幅圖像單純的疊加,而是讓目標(biāo)圖像在融合時根據(jù)自身的的圖像變換梯度(一階算子或者拉普拉斯算子表示的梯度),將源圖像的紋理按照這個變換梯度進(jìn)行紋理變換。

在泊松融合中,主要要解決的函數(shù)是以下公式,其中v是原圖區(qū)域的梯度向量,g是源圖像區(qū)域,S表示融合后的結(jié)果,其中f代表融合后的圖像,f*代表目標(biāo)圖像未改變的區(qū)域,Ω表示要融合的區(qū)域,Ω表示融合區(qū)域的邊緣部分:

這個式子是求解一個關(guān)系,在目標(biāo)圖像邊緣不變的情況下,求融合部分的圖像,使融合圖像在融合部分的梯度與源圖像在融合部分的梯度最為接近。

2 系統(tǒng)架構(gòu)

將基于CANDIDE算法的視頻人臉替換系統(tǒng)框架設(shè)計如圖4所示。此系統(tǒng)擁有兩個輸入,含有源人臉的圖像和含有目標(biāo)人臉的視頻文件。對于含有源人臉的圖像文件,本文使用三維形變算法和源人臉進(jìn)行基于Candide-3算法的建模,獲得一個人臉?biāo)惴?。對于含有目?biāo)人臉的視頻文件,首先使用人臉跟蹤對齊算法,獲得人臉位置和運(yùn)動參數(shù)估計,根據(jù)人臉特征點(diǎn)的變化,獲得表情參數(shù)。最后將源人臉的CANDIDE算法和目標(biāo)人臉的表情和運(yùn)動姿態(tài)合成,重新著色和調(diào)整光線后,使用圖像融合技術(shù)將CANDIDE人臉?biāo)惴ê椭車h(huán)境融為一體。

在人臉檢測方面,本文使用的是MMOD人臉檢測法,人臉跟蹤方面,使用的是Mean-shift跟蹤方法,人臉特征點(diǎn)定位方面,使用的是CLM算法匹配方法。姿態(tài)估計部分,使用坐標(biāo)變換方法獲得面部的旋轉(zhuǎn)角度等參數(shù),光照估計部分,使用光照調(diào)整算法使得兩個人臉光照條件一致。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)平臺

本文中涉及到的所有算法都是在VS2015中,使用的開源開發(fā)工具為OpenCV3,Dlib,使用C++/Python語言編寫實(shí)現(xiàn)的?;贑LM算法的面部特征點(diǎn)提取依賴于CLM人臉識別庫。實(shí)驗(yàn)運(yùn)行環(huán)境為Win lO,lntel (R) Core (TM) i5-4590 CPU@3.3GHz,8G內(nèi)存,且安裝了普通攝像頭的計算機(jī)上,攝像頭分辨率為640px*480px。

3.2 實(shí)驗(yàn)效果

基于上述平臺和實(shí)驗(yàn)環(huán)境,本文提出基于圖像和基于視頻的兩個人臉替換實(shí)現(xiàn),圖5是基于圖像的人臉替換,圖6是基于視頻的人臉替換,這兩種實(shí)現(xiàn)均使用了圖4所表示的系統(tǒng)架構(gòu)設(shè)計。

由圖5可以看出對于基于圖像的人臉替換算法具有很好的替換效果,替換后的融合圖像具有和目標(biāo)人臉的色彩范圍,并且具有良好的五官替換效果和融合效果。

圖6表示的用源人臉替換視頻中的效果,左上角為源人臉圖像,其他3張為一組的圖像依次表示:目標(biāo)人臉,Candide-3算法,替換效果。在本文的實(shí)驗(yàn)環(huán)境中,可以做到30FPS的替換速度,并且在此速度的基礎(chǔ)上,仍能實(shí)現(xiàn)對面部五官進(jìn)行替換的良好效果。圖中可以看出對于不同的膚色、角度、方向、表情,都能出現(xiàn)較自然的替換效果。

然而此算法架構(gòu)受限于算法提供的細(xì)節(jié),導(dǎo)致替換后的效果減少了較多的目標(biāo)人臉面部紋理細(xì)節(jié),使得面部紋理和頸部紋理出現(xiàn)了差異。其次,對于頭部旋轉(zhuǎn)角度過大的情況,將出現(xiàn)面部丟失的情況,這也是一個需要繼續(xù)改進(jìn)的方向。上述問題將作為本文后續(xù)的努力方向進(jìn)行研究。

4 結(jié)論

給出了一種基于Candide-3算法進(jìn)行人臉替換的算法實(shí)現(xiàn),人臉替換系統(tǒng)的實(shí)現(xiàn)主要包括人臉檢測、特征點(diǎn)定位、色彩調(diào)整、人臉對齊、表情轉(zhuǎn)移、圖像融合這幾個模塊,并且每個模塊都單獨(dú)做了實(shí)驗(yàn)和測試。主要內(nèi)容是將上述模塊融合成一個系統(tǒng),可以自動根據(jù)輸入圖像/視頻進(jìn)行人臉替換以及表情轉(zhuǎn)移功能。從實(shí)驗(yàn)效果來看,具有較好的替換效果,可以運(yùn)行到實(shí)際環(huán)境中去。若要使替換效果更進(jìn)一步,保留目標(biāo)人臉的面部紋理,需要在此方向繼續(xù)進(jìn)行研究。

參考文獻(xiàn)

[1]林源,桂良琰,王生進(jìn),等,基于真實(shí)感三維頭重建的人臉替換[J].清華大學(xué)學(xué)報:自然科學(xué)版,2012,52 (05):602-606.

[2]吳樂,黃修訓(xùn),周霽婷,等,即時聊天的視頻背景實(shí)時替換技術(shù)研究[J].電子測量技術(shù),2014,37 (03):66-68+72.

[3]劉錦云,彭宏京,基于表情傳輸?shù)慕换ナ秸掌庉媅J].中國圖象圖形學(xué)報,2015,20 (10):1390-1402.

[4]魏瑋,馬瑞,王小芳,視頻中人臉位置的定量檢測[J].計算機(jī)應(yīng)用,2017,37 (03):801-805.

[5]陳晗,胡新榮,萬立,復(fù)雜背景下人體頭部圖像替換算法研究[J].通信電源技術(shù),2016,33 (02):130-131.

[6]徐明亮,孫亞西,呂培,等.呈現(xiàn)人臉顯著性特征的二維碼視覺優(yōu)化[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2016,28 (08):1215-1223.

[7]成亞玲,譚愛平,張敏.混合多距離圖像的線性判別分析人臉識別算法[J].系統(tǒng)仿真學(xué)報,2016,28 (09):2254-2259+2266.

[8] BITOUK D,KUMAR N,DHILLON S,et al.Face swapping:automatically replacing faces in photographs U]. ACM.Transactions on Craphics (TOC), 2008, 27 (3): 39.

[9] ARAR N M, BEKMEZCI N K,GUNEY F,et 81.Real-timeface swapping in video sequences: Magic Mirror [C]//SignalProcessing and Communications Applications (SIU). 2011IEEE 19th Conference on. IEEE, 2011: 825-828.

[10] THIES J,ZOLLHOFER M,SRAMMINCER M,et al.Face2face:Real-time face capture and reenactment of rgb 20 videos ECl//Proceedings of the IEEE Conference on Computer Vision and

Pattem Recognition. 2016: 2387-2395.

[11]宋懷波,齊關(guān)鋒,錢程.基于YUV顏色空間的臉部區(qū)域特征點(diǎn)定位方法[J].吉林大學(xué)學(xué)報:工學(xué)版,2013,43(Sl):39-42.

[12]潘翔,陳敖,周春燕,等,基于視圖特征點(diǎn)分布的三維模型檢索算法[J].浙江工業(yè)大學(xué)學(xué)報,2013,41(06):641-645.

[13]賈海鵬,張云泉,徐建良.基于OpenCL的圖像積分圖算法優(yōu)化研究[J].計算機(jī)科學(xué),2013,40 (02):1-7..

[14]束平,桑慶兵,唐曉東.一種復(fù)雜環(huán)境下魯棒的精確人臉檢測算法[J].電子設(shè)計工程,2017,25 (03):5-8+13.

[15]邱曉樸.基于CUDA的Reinhard算法研究[J].山東工業(yè)技術(shù),2016,(08):141.

[16]汪玉美,陳代梅,趙根保.基于目標(biāo)提取與拉普拉斯變換的紅外和可見光圖像融合算法[J].激光與光電子學(xué)進(jìn)展,2017,54(Ol):104-112.

[17]儀曉斌,陳瑩,分段仿射變換下基于泊松融合的正面人臉合成[J].計算機(jī)工程與應(yīng)用,2016,52 (15):172-177.

猜你喜歡
圖像處理
視覺系統(tǒng)在發(fā)動機(jī)涂膠的應(yīng)用
“課程思政”視域下職業(yè)學(xué)?!秷D像處理》課程教學(xué)改革實(shí)踐
構(gòu)建《Photoshop圖像處理》課程思政實(shí)踐教學(xué)路徑的探索
基于圖像處理與卷積神經(jīng)網(wǎng)絡(luò)的零件識別
基于新一代信息技術(shù)的Photoshop圖像處理課程開發(fā)與建設(shè)
基于機(jī)器視覺的自動澆注機(jī)控制系統(tǒng)的研究
Photoshop軟件圖像處理技巧
基于二元全區(qū)間插值法的畸變圖像矯正方法
機(jī)器視覺技術(shù)在煙支鋼印檢測中的應(yīng)用
自贡市| 嘉祥县| 泸溪县| 丹寨县| 赫章县| 铜鼓县| 莫力| 喀喇沁旗| 垫江县| 鄂托克旗| 南阳市| 甘洛县| 枣强县| 固镇县| 淅川县| 宁阳县| 临沂市| 治县。| 两当县| 赣榆县| 常熟市| 威宁| 九龙坡区| 自治县| 松潘县| 老河口市| 怀远县| 久治县| 江北区| 沈阳市| 曲沃县| 乐昌市| 杂多县| 屏南县| 油尖旺区| 进贤县| 桃园市| 辽源市| 肇东市| 余姚市| 阿合奇县|