李旭 萬(wàn)雪超

摘 要：人臉表情是情感的主載體，通過(guò)臉部表情能夠表達(dá)人的微妙的情緒反應(yīng)以及人類對(duì)應(yīng)的心理狀態(tài)。通過(guò)人臉表情可以得到很多有價(jià)值的信息，因此，人臉表情識(shí)別應(yīng)用在合成臉部動(dòng)畫、視頻檢索、虛擬現(xiàn)實(shí)技術(shù)等領(lǐng)域，且它的研究對(duì)于自然和諧的人機(jī)交互、公安刑偵、醫(yī)療診斷、遠(yuǎn)程教育、安全駕駛等都有重要的作用和意義。

關(guān)鍵詞：人臉表情識(shí)別，特征提取，表情分類，專利申請(qǐng)，應(yīng)用

1人臉表情識(shí)別技術(shù)概述

1.1人臉表情識(shí)別系統(tǒng)架構(gòu)

經(jīng)過(guò)幾十年的發(fā)展，人臉表情識(shí)別技術(shù)已經(jīng)形成了一個(gè)完整的體系，典型的人臉表情識(shí)別系統(tǒng)包括三個(gè)部分：人臉檢測(cè)、定位與表情圖像的獲取，臉部特征提取和表情分類。其中，人臉檢測(cè)、定位與表情圖像的獲取包括由輸入圖像定位人臉、對(duì)定位的人臉?lè)峙湟粋€(gè)通用的坐標(biāo)系以及進(jìn)行圖像的預(yù)處理；臉部特征提取這一步用來(lái)提取和數(shù)據(jù)化由表情引起的人臉面部變化及趨勢(shì)；最后表情分類是基于表情描述與情感的映射關(guān)系去判斷提取的特征所對(duì)應(yīng)的表情分類。

人臉圖像檢測(cè)與定位的基本思想是用知識(shí)或統(tǒng)計(jì)的方法對(duì)人臉建模， 比較待檢測(cè)區(qū)域與人臉模型的匹配程度， 從而得到可能存在人臉的區(qū)域。

定位人臉后是特征提取部分，由檢測(cè)到的人臉區(qū)域獲得有效的面部表情特征是表情識(shí)別系統(tǒng)成功與否的關(guān)鍵。常用的圖像特征提取的方法有：線性判別分析、Gabor小波，光流法、特征點(diǎn)跟蹤、法光流法等。

表情分類是指定義一組類別，并設(shè)計(jì)相應(yīng)的分類機(jī)制對(duì)表情進(jìn)行識(shí)別，歸入相應(yīng)類別。如按照臉部動(dòng)作分類（FACS），將臉部的動(dòng)作分類到44個(gè)AUs；或按照感情分類，將表情分類到Ekman和Friesen定義的6種基本感情。

1.2人臉表情識(shí)別的應(yīng)用

對(duì)表情識(shí)別進(jìn)行深入研究可以使機(jī)器人更好地理解人類的情感和心理，使其在與人的交互過(guò)程中，變得更友好、更智能、更人性化，從而更好地為人類服務(wù)。

（1）基礎(chǔ)學(xué)科

在行為科學(xué)中，人臉表情識(shí)別能幫助人們研究和建立交流中的可信度。人臉表情識(shí)別能夠成為公安部門刑偵和測(cè)謊有效的輔助手段。

（2）醫(yī)療行業(yè)

對(duì)于一些重癥病人和精神病人，在治療過(guò)程中可以使用具有表情分析能力的護(hù)理機(jī)器人對(duì)其進(jìn)行實(shí)時(shí)監(jiān)護(hù)。

（3）安全駕駛

在長(zhǎng)途汽車駕駛、核電站管理、駕駛飛機(jī)的飛行員等需要高度集中注意力、著重強(qiáng)調(diào)安全的崗位上，運(yùn)用表情識(shí)別系統(tǒng)有助于及時(shí)掌握工作人員的情緒和生理狀況，為其提供有效的安全保障。

（5）電子商務(wù)

店主可以通過(guò)面部表情分析體系判斷出顧客對(duì)產(chǎn)品的喜好程度，假如再加上一些簡(jiǎn)單的傾銷技巧，成單率大大進(jìn)步。

2人臉表情識(shí)別的專利基本情況分析

本章以人臉表情識(shí)別技術(shù)的專利為切入點(diǎn)，對(duì)該領(lǐng)域的專利現(xiàn)狀進(jìn)行宏觀分析。

2.1全球?qū)＠暾?qǐng)分析

為了獲得與人臉表情識(shí)別技術(shù)相關(guān)的專利技術(shù)的全球申請(qǐng)情況，在DWPI數(shù)據(jù)庫(kù)中通過(guò)關(guān)鍵詞和分類號(hào)的相關(guān)專利申請(qǐng)，分析專利數(shù)據(jù)。

2.1.1 全球歷年專利申請(qǐng)分析

數(shù)據(jù)顯示，人臉表情識(shí)別首次專利申請(qǐng)是在1986年提出的，隨著通信技術(shù)的發(fā)展，人臉表情識(shí)別是在2000左右才開(kāi)始逐漸快速發(fā)展，到了2006年，發(fā)展速度明顯加快，申請(qǐng)量驟然提升，而且在接下來(lái)的幾年中這種發(fā)展都保持良好的態(tài)勢(shì)，雖然有所波動(dòng)，但是總體而言專利申請(qǐng)量是不斷增加的，這與模式識(shí)別、人工智能領(lǐng)域受到學(xué)術(shù)、工業(yè)界的關(guān)注是密不可分的。

2.1.2 全球區(qū)域分布分析

經(jīng)統(tǒng)計(jì)分析，在美國(guó)的專利申請(qǐng)占全球?qū)＠暾?qǐng)總量的25%，處于第一位；其次是中國(guó)，達(dá)到全球申請(qǐng)總量的22%；再次是日本，達(dá)到全球申請(qǐng)總量的15%。美國(guó)、中國(guó)、日本和韓國(guó)的專利申請(qǐng)數(shù)量占到總申請(qǐng)量的大部分份額，遠(yuǎn)遠(yuǎn)領(lǐng)先于其它國(guó)家，這與它們?cè)趫D像視頻處理領(lǐng)域的行業(yè)領(lǐng)頭地位不可分離。

2.1.3 全球申請(qǐng)人分布分析

排名前三的公司三星、佳能、INT均是全球視頻處理行業(yè)的龍頭行業(yè)，通過(guò)閱讀這些企業(yè)的專利，可見(jiàn)人臉表情識(shí)別的核心技術(shù)一是如何更加準(zhǔn)確的對(duì)表情所蘊(yùn)含的情感、情緒進(jìn)行分析；二是如何在成像設(shè)備或者工業(yè)界實(shí)現(xiàn)其實(shí)用價(jià)值。同時(shí)，在排名較前的公司里面國(guó)內(nèi)的僅僅有上海交通大學(xué)和OPPO，而上海交大的高校申請(qǐng)主要是基于人臉表情識(shí)別的理論算法研究。

2.2國(guó)內(nèi)專利申請(qǐng)分析

2.2.1 國(guó)內(nèi)技術(shù)趨勢(shì)分析

與全球?qū)＠暾?qǐng)年代相比，我國(guó)人臉表情識(shí)別技術(shù)起步比較晚，在2005年之前國(guó)內(nèi)對(duì)人臉表情識(shí)別技術(shù)的專利申請(qǐng)量較少；在2005年之后，隨著人機(jī)交互的大力發(fā)展，人臉表情識(shí)別技術(shù)領(lǐng)域的專利申請(qǐng)量才逐漸增多，專利申請(qǐng)總量整體來(lái)說(shuō)一直呈上升發(fā)展趨勢(shì)。在2014年達(dá)到高峰，基本持平全球?qū)＠暾?qǐng)的水平，這表明中國(guó)的人臉表情識(shí)別技術(shù)已經(jīng)越來(lái)越受到全球范圍內(nèi)的重視和關(guān)注。

2.2.2國(guó)內(nèi)申請(qǐng)人分布

在我國(guó)的人臉表情識(shí)別專利申請(qǐng)中，主要申請(qǐng)人還是高校，企業(yè)和個(gè)人專利申請(qǐng)所占比例較少。以韓國(guó)的三星、日本的索尼、美國(guó)的英特爾為首的龍頭企業(yè)也印證了上述分析的美、日、韓在人臉表情識(shí)別中的技術(shù)發(fā)展的重視和先驅(qū)作用。國(guó)內(nèi)的企業(yè)北京中星微電子、歐珀也緊跟技術(shù)發(fā)展趨勢(shì)；同時(shí)，后期涉足人臉表情識(shí)別的華為公司，雖然申請(qǐng)量不多，但作為國(guó)內(nèi)既看重技術(shù)革新又有商業(yè)戰(zhàn)略的大勢(shì)公司，可以看出其對(duì)人臉表情識(shí)別領(lǐng)域的興趣與儲(chǔ)備，預(yù)計(jì)后續(xù)可能還有更多相關(guān)的專利申請(qǐng)量。

2.2.3國(guó)內(nèi)申請(qǐng)區(qū)域分布

我國(guó)北京在人臉表情識(shí)別技術(shù)領(lǐng)域的申請(qǐng)量處于第一位，廣東和江蘇分別位居第二和第三。由于在國(guó)內(nèi)從事人臉表情識(shí)別的大多是高校的研究團(tuán)隊(duì)，而北京、上海、浙江的高校較集中；而沿海的廣東省作為電子產(chǎn)品行業(yè)的領(lǐng)先區(qū)域，發(fā)展較快。

3小結(jié)

經(jīng)過(guò)多年的快速發(fā)展，人臉表情識(shí)別不論是從技術(shù)研究、專利申請(qǐng)，都取得了長(zhǎng)足的發(fā)展?？梢灶A(yù)見(jiàn)，隨著該技術(shù)的不斷發(fā)展，相關(guān)專利技術(shù)的博弈也將進(jìn)入白熱化。誰(shuí)能掌握核心專利技術(shù)，誰(shuí)就能保護(hù)自己的合法權(quán)益，從而在激烈的市場(chǎng)競(jìng)爭(zhēng)中勝出。

作者簡(jiǎn)介：

李旭 1989.09，漢族，湖北武漢，女，碩士研究生，視頻圖像處理。

萬(wàn)雪超 1989.12，漢族，湖北武漢，女，碩士研究生，視頻圖像處理（等同第一作者）。