時書劍
摘要:隨著數(shù)碼相機、手機等拍照設(shè)備的普及,自動人臉修飾技術(shù)成為計算機視覺、數(shù)字圖像處理領(lǐng)域的一個研究熱點。本文總結(jié)了國內(nèi)外關(guān)于自動人臉修飾技術(shù)的算法框架和新進(jìn)展,主要針對基于頻域濾波的算法、基于幾何表示的算法、基于年齡演化模型地算法進(jìn)行了歸納,詳細(xì)介紹了主要算法,并分析比較了各種算法的優(yōu)勢與不足。通過對國內(nèi)外應(yīng)用中實際問題進(jìn)行研究,給出了自動人臉修飾技術(shù)仍然存在的挑戰(zhàn)及不足。
關(guān)鍵詞:人臉修飾;頻域濾波;幾何表示;演化模型
中圖分類號:TP18 文獻(xiàn)標(biāo)識碼:A 文章編號:1009-3044(2015)22-0119-03
Abstract: With the popularity of digital cameras, mobile phones and other camera equipment, automatic face modification technology has become a research hotspot in the field of computer vision, digital image processing. In this paper, the framework and the new progress of automatic face modification technology are summarized. The algorithm based on frequency domain filtering, the algorithm based on geometric representation, and the algorithm based on age evolution model are summarized. The main algorithms are introduced and the advantages and disadvantages of various algorithms are also analyzed. Through the research on the practical problems in the domestic and international application, the challenge and the shortage of the automatic face modification technology are presented.
Key words: face modification; frequency domain filtering; geometric representation; evolution model
隨著圖像信息處理技術(shù)的不斷進(jìn)步,以及拍照設(shè)備的普及,人們對照片的處理需求不斷提高,尤其是針對面部圖像的修飾技術(shù)已成為電腦軟件和手機軟件的一個開發(fā)熱點,比如:美圖秀秀、人人-美顏美圖、光影魔術(shù)手等。這些軟件不要求用戶具有專業(yè)的圖像處理技術(shù),可以方便地實現(xiàn)美化照片的效果。
人臉自動修飾與渲染是計算攝影領(lǐng)域中新的研究熱點。其主要關(guān)注人臉照片品質(zhì)的提高,更關(guān)注對人臉的某些屬性的處理,如:對人臉皺紋的去除、膚色的改善、光潔度的提高等。人們希望經(jīng)自動修飾與渲染的照片,能夠符合視覺感知習(xí)慣、更具吸引力,改變傳統(tǒng)的攝影、圖像處理工作需繁復(fù)的人工操作的現(xiàn)狀。因此,在攝影、廣告設(shè)計、電影制作、數(shù)字娛樂、專業(yè)研究領(lǐng)域都有著廣泛的應(yīng)用前景。
本文對自動人臉修飾技術(shù)的研究背景、研究現(xiàn)狀進(jìn)行了綜述,列舉了近幾年自動人臉修飾技術(shù)的主要算法,以及算法的改進(jìn)、對比,最后對自動人臉修飾技術(shù)發(fā)展趨勢、存在的問題、下一步的研究方向進(jìn)行了闡述。
1 人臉修飾技術(shù)研究進(jìn)展
1.1 基于頻域濾波的方法
該算法可以實現(xiàn)圖像中高頻率瑕疵(如:皺紋、斑點)的去除,進(jìn)而完成人臉的修飾,使處理后圖片看上去更白、更美觀,但該算法當(dāng)遇到大范圍皺紋、斑點等瑕疵時的處理效果不理想。
1.2 基于幾何表示的方法
此外還有一些修改人臉外形的算法,通過對面部輪廓和器官作適當(dāng)變形,使其更加貼近最優(yōu)臉型,達(dá)到優(yōu)化人臉的目的。但該類算法容易造成修改后的人臉對標(biāo)準(zhǔn)人臉的依賴,調(diào)整過大時,容易造成人臉原來特征的丟失。
1.3 基于年齡演化模型的方法
基于年齡演化模型的算法通常基于FG-NET數(shù)據(jù)庫、MORPH數(shù)據(jù)庫開展實驗。FG-NET數(shù)據(jù)庫包含了82個人,年齡從0~69歲,共有1002張照片,為包含大的年齡跨度里面收集的照片直接采自被拍攝者的老照片,因此拍攝角度、環(huán)境、光照條件都不能一致,有的照片還有帽子、眼鏡等遮擋,年代很早的照片都是黑白照片,而且早期的照片,受拍照攝備所限,畫面不夠清晰。但FG-NET仍然是現(xiàn)有的人臉年齡數(shù)據(jù)庫中,唯一包含了0~18歲照片的數(shù)據(jù)庫,而且照片反映的年齡跨度大、且密集。
MORPH數(shù)據(jù)庫是最大的、已公開的縱向人臉數(shù)據(jù)庫。該數(shù)據(jù)庫包含超過13000人的55000幅圖像,年齡跨度在16歲到77歲之間,并且該數(shù)據(jù)庫還在不斷擴種中。MORPH數(shù)據(jù)庫除了包含人臉照片,還包含被拍照者的年齡、性別、種族、體重、身高等信息,可供面部分析、年齡分析、面部識別的研究使用。
現(xiàn)階段年齡相關(guān)的人臉數(shù)據(jù)庫還很不完善,人臉圖像的采集需要經(jīng)歷相當(dāng)長時間的跟蹤拍攝,這需要相當(dāng)長時間的積累,并且考慮包含不同種族、性別、地域的人臉照片。
在計算機視覺領(lǐng)域,年齡演化問題是一個研究熱點?;谀挲g演化模型的自動人臉修飾技術(shù)的關(guān)鍵是通過各年齡段的人臉照片構(gòu)建合適的年齡演化模型。
早期的基于年齡演化模型的自動人臉?biāo)惴ㄖ?,結(jié)合了小波變換的內(nèi)容,如:參考文獻(xiàn)[3]中,Tidderman提出了通過小波變換建立特征向量,并針對不同年齡構(gòu)建合成人臉。實驗結(jié)果表明,當(dāng)使用小區(qū)域邊緣強度加權(quán)來保留邊緣特征后,根據(jù)年齡進(jìn)行人臉修飾的效果更明顯。對這一算法進(jìn)一步改進(jìn),通過MRF模型在小波變換后進(jìn)行年齡演化過程中的人臉特征學(xué)習(xí),可以實現(xiàn)人臉的年輕化修飾、以及性別修改。實驗結(jié)果表明,MRF模型比單純使用小波變換對人臉的修飾效果要好。
此外,還有根據(jù)生物學(xué)、遺傳學(xué)等領(lǐng)域的研究來建立年齡演化模型的方法。如:參考文獻(xiàn)[4]中,Ramanathan根據(jù)生物學(xué)中顱面骨的生長規(guī)律,對0-18歲期間的人臉建立基于年齡影響的模型,融入人體測量學(xué)的方法,即:人臉不同部位在不同年齡段會有不同的生長進(jìn)度,來提取不同年齡段人臉的特征。圖3顯示了側(cè)面人臉隨年齡增長的模型,及對應(yīng)不同年齡跨度,產(chǎn)生的特征參數(shù)k。通過最優(yōu)化計算人臉成長參數(shù)k,來實現(xiàn)不同年齡人臉比例的轉(zhuǎn)換,圖4顯示了參考文獻(xiàn)[4] 的實驗結(jié)果。
針對成年人的年齡演化模型,如:參考文獻(xiàn)[5]中,Ramanathan考慮到人的衰老,主要體現(xiàn)在面部肌肉的彈性變差、皺紋的增加,提出了與年齡相關(guān)的形狀、紋理變化的模型,可以用來修飾人臉產(chǎn)生老化特征,如:額頭皺紋、眼角紋、嘴角紋等。實驗通過將數(shù)據(jù)庫人臉按年齡分組,年齡跨度在10歲,如:21-30歲一組,31-40歲一組等,搜集的實驗數(shù)據(jù)可以很好的反映隨年齡、性別、種族等變化而產(chǎn)生的形狀、紋理特征。
綜上,基于年齡演化模型的自動人臉修飾技術(shù)先要對人臉數(shù)據(jù)庫按年齡分組,對不同分組提取特征,得到經(jīng)年齡演化修飾后的圖像。實驗效果很大程度上依賴于人臉數(shù)據(jù)庫,為了得到好的演化效果,需要使用年齡跨度大的人臉照片。
2 總結(jié)
本文總結(jié)了國內(nèi)外關(guān)于自動人臉修飾技術(shù)的算法框架,主要針對基于頻域濾波的算法、基于幾何表示的算法、基于年齡演化模型地算法進(jìn)行了歸納,這些算法仍存在很大的改善空間,下一步研究可以考慮如下問題:
1)自動人臉修飾技術(shù)最重要的是保留人臉的個性化特征,不能在修飾后面目全非,因此如何在特征提取過程中盡量保留原照片的個性化特征,仍然需要繼續(xù)探討。
2)現(xiàn)階段的自動修飾技術(shù),會使修飾的結(jié)果和方向趨于一致,如何使美化修飾過程具有一定的個性化是一個有待進(jìn)一步研究的問題。
最后,為了使自動人臉修飾技術(shù)的應(yīng)用更具有利用價值,在算法的改進(jìn)中不能只局限于現(xiàn)有的數(shù)據(jù)模型、年齡演化模型,可以跨學(xué)科地嘗試、引入新的模型方法,以期在更具有實用價值的指導(dǎo)下設(shè)計新的算法或改進(jìn)。
參考文獻(xiàn):
[1] 韓靜亮,趙曦,趙群飛,等.基于迭代多級中值濾波的人臉美化算法[J].計算機應(yīng)用與軟件,2010,27(5): 227-229.
[2] Leyvand T, Cohen-Or D, Dror G, et al., Data-driven enhancement of facial attractiveness, in ACM Transactions on Graphics(TOG), 2008: 38.
[3] Tidderman B, Stirrat B, Perrett D I, Towards realism in facial image transformations: Results from a wavelet mrf method, Computer Graphics Forum,2005, vol. 24: 449-456.
[4] Ramanathan N, Chellappa R, Modeling age progression in young faces. IEEE Conference on Computer Vision and Pattern Recognition. 2006, vol. 1: 387-394.
[5] Ramanathan N, Chellappa R, Modelinng shape and textural variations in aging faces, Automatic Face & Gesture Recognition, 2008:1-8.