唐玉梅， 李丹楊， 吳亞婷， 黃仕松， 陳 星， 吳義青

（貴州大學(xué) 大數(shù)據(jù)與信息工程學(xué)院， 貴陽 550025）

0 引言

面部表情識別是近年來模式識別與人工智能領(lǐng)域的研究熱點(diǎn)，在疲勞駕駛監(jiān)測、刑事案件偵破、課堂教育、醫(yī)療診斷等場景有著廣泛的應(yīng)用［1－2］。 盡管已有學(xué)者對表情識別技術(shù)展開一系列的研究［3－5］，但由于光照、年齡、性別、拍照姿勢等綜合因素的影響，要想獲得較高的表情識別準(zhǔn)確率在機(jī)器學(xué)習(xí)和模式識別領(lǐng)域仍是一個(gè)復(fù)雜且富有挑戰(zhàn)的問題。

深度學(xué)習(xí)成為表情識別領(lǐng)域的研究熱點(diǎn)［6－9］。但是，由于識別過程通常采用單一模型進(jìn)行分類預(yù)測，對未知數(shù)據(jù)的預(yù)測能力有限，集成學(xué)習(xí)能通過組合若干分類器提高模型的泛化能力，有效彌補(bǔ)單一模型在表情識別領(lǐng)域的不足［10－11］。

隨著集成分類器數(shù)目的增多，分類器之間的多樣性降低，產(chǎn)生冗余的分類器，不但不能提升預(yù)測系統(tǒng)的準(zhǔn)確率，卻還會增加計(jì)算量和存儲空間，降低預(yù)測的時(shí)效性。 從所有基分類器中選擇少而好的分類器集成，有效彌補(bǔ)集成學(xué)習(xí)存在的上述缺陷，由此產(chǎn)生“選擇性集成”，達(dá)到了以較小的集成的規(guī)模，在保證分類準(zhǔn)確率穩(wěn)中有升的同時(shí)減少計(jì)算負(fù)載的效果［12－14］。 Li 等學(xué)者［15］提出基于圖的動態(tài)剪枝 算法，將圖論的思想運(yùn)用到分類器選擇過程，證明選擇性集成是一種有效提高人臉表情識別準(zhǔn)確率的方法。 賈澎濤等學(xué)者［16］為了提高人臉表情識別的性能，提出一種基于集成學(xué)習(xí)理論的二次優(yōu)化選擇性集成分類。

分類器選擇性集成在表情識別取得一定的效果，但現(xiàn)有相關(guān)研究的文獻(xiàn)較少，而且，如何選出“好而不同”的分類器沒有統(tǒng)一的衡量標(biāo)準(zhǔn)，主流的選擇思想是通過準(zhǔn)確率或多樣性選擇分類器子集。然而，如何有效地度量并利用分類器之間的差異性的問題也沒有得到很好的解決。 基于粗糙集理論的知識約簡無需先驗(yàn)知識，在不損失分類或?qū)W習(xí)信息的前提下降低數(shù)據(jù)維度，簡化學(xué)習(xí)過程，在理論和應(yīng)用上都取得了豐碩的研究成果［17－20］。 粗糙集理論也被運(yùn)用于人臉表情識別領(lǐng)域。 馮林等學(xué)者［21］提出一種基于鄰域粗糙集與量子遺傳算法的人臉表情特征選擇。 段麗等學(xué)者［22］提出一種基于粗糙集的表情特征選擇。 但這些方法目的是為了降低人臉表情特征的維度，找到一個(gè)特征子集，提升分類器的性能。

綜上，本文提出一種面向人臉表情識別的基于知識約簡的分類器選擇方法，首次將粗糙集運(yùn)用于分類器的選擇過程，綜合知識約簡、鄰域粗糙集和一致性指標(biāo)的思想，提出了基于一致性閾值的鄰域粗糙集模型，發(fā)掘分類器之間的依賴關(guān)系，對集成系統(tǒng)進(jìn)行剪枝，依次選出對集成系統(tǒng)貢獻(xiàn)最大的“最優(yōu)”分類器子集集成，并運(yùn)用于人臉表情的識別領(lǐng)域，取得比多個(gè)集成剪枝算法更好的效果。

1 基于粗糙集和分類器選擇的人臉表情識別

為了減少人臉表情識別分類器的集成規(guī)模，本文提出一種基于粗糙集和集成剪枝的人臉表情識別方法，實(shí)驗(yàn)流程如圖1 所示。 首先，訓(xùn)練分類器，選擇卷積神經(jīng)網(wǎng)絡(luò)算法對人臉表情數(shù)據(jù)加以訓(xùn)練，得到若干基分類器并對驗(yàn)證數(shù)據(jù)集進(jìn)行預(yù)測；其次，進(jìn)行分類器選擇，即根據(jù)預(yù)測結(jié)果構(gòu)建分類器選擇的信息決策表，綜合鄰域粗糙集［23－24］和一致性指標(biāo)的思想，提出了基于一致性閾值的鄰域粗糙集模型，利用粗糙集對信息決策表進(jìn)行知識約簡，從而選出分類器子集；最后，集成分類器，即使用大多數(shù)投票法將選出的分類器子集進(jìn)行集成。

圖1 基于粗糙集集成剪枝的人臉表情識別模型Fig. 1 Facial expression recognition model based on rough set and integrated pruning

1.1 基分類器訓(xùn)練

卷積神經(jīng)網(wǎng)絡(luò)（CNN）可以更好地展現(xiàn)圖像的深層次信息，對大型圖像處理表現(xiàn)十分出色。 因此，本文選擇卷積神經(jīng)網(wǎng)絡(luò)作為基分類器，擬合表情數(shù)據(jù)。

卷積神經(jīng)網(wǎng)絡(luò)模型如圖2 所示，由圖2 可知，卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。 本文共構(gòu)造了31 種不同CNN模型，各模型的不同之處包括網(wǎng)絡(luò)層數(shù)、卷積核大小、填充方式、步長、激活函數(shù)等，從而增加分類器間的多樣性，具體參數(shù)設(shè)置將在實(shí)驗(yàn)部分討論。

圖2 卷積神經(jīng)網(wǎng)絡(luò)模型Fig. 2 Convolutional neural network model

1.2 基于鄰域粗糙集的分類器選擇模型

粗糙集不需要任何先驗(yàn)知識或附加信息，處理不相容、不精確和不完整數(shù)據(jù)的問題，可用于知識約簡。 因此，本文擬基于粗糙集屬性重要度指標(biāo)，衡量分類器的重要程度，依次選出重要度較大的分類器子集集成。

然而，經(jīng)典粗糙集局限于論域上嚴(yán)格的等價(jià)關(guān)系，完全按照集合間的包含關(guān)系定義下近似集，當(dāng)分類器預(yù)測值與樣本實(shí)際類別不符時(shí)，難以求解下近似，從而無法區(qū)分不同分類器的重要程度。 鄰域粗糙集支持離散型和連續(xù)型數(shù)據(jù)處理，借助給定的半徑來約束樣本之間的相似性，進(jìn)而實(shí)現(xiàn)鄰域信息?；恢滦灾笜?biāo)進(jìn)一步彌補(bǔ)粗糙集對噪聲敏感的不足。 鄰域粗糙集通過分類器對樣本的預(yù)測結(jié)果計(jì)算樣本間的距離，得到各樣本的鄰域，并根據(jù)鄰域信息判斷樣本是否能夠劃分到下近似中，對錯(cuò)誤預(yù)測的樣本有較好的容忍性。

1.2.1 構(gòu)建信息決策表

根據(jù)粗糙集模型，利用基分類器對驗(yàn)證集數(shù)據(jù)的預(yù)測結(jié)果構(gòu)建信息決策表S ＝＜U，C∪D ＞。 其中，為論域，由所有驗(yàn)證集樣本組成，xi為第i個(gè)驗(yàn)證樣本；為條件屬性，C表示分類器池，屬性值為第k個(gè)分類器ck對樣本xi的預(yù)測結(jié)果preik；D ＝｛di｝ 是決策屬性，由驗(yàn)證集樣本真實(shí)標(biāo)簽組成，所有屬性值均為離散數(shù)值。 可以得到的信息決策表見表1。

表1 基于基分類器對驗(yàn)證集預(yù)測結(jié)果構(gòu)建信息決策表Tab. 1 Based on the base classifier， an information decision table is constructed for the predicted results of validation set

1.2.2 構(gòu)建鄰域一致性粗糙集模型

針對表1 分類器池構(gòu)建的信息決策表，可定義樣本間存在鄰域關(guān)系如下：

定義1若對論域U中的任意樣本xi、xj、xn，都存在唯一確定的實(shí)函數(shù)Δ與之對應(yīng)，且Δ滿足：

（1）Δ（xi，xj） ≥0，當(dāng)且僅當(dāng)xi＝xj，Δ（xi，xj）＝0；

（2）Δ（xi，xj）＝Δ（xj，xi）；

（3）Δ（xi，xn） ≤Δ（xi，xj）＋Δ（xj，xn）。

則＜U，Δ ＞為距離空間或度量空間，Δ為U上的距離函數(shù)。 本次研究使用漢明距離作為距離函數(shù)，“⊕” 為異或運(yùn)算符，則對任意xi，xj∈U，xi＝（prei1，…，preim） 和xj＝（prej1，…，prejm） 的距離表示為：

對分類器池C，若屬性子集B?C，B中包含m個(gè)分類器，則第i個(gè)驗(yàn)證樣本xi在B上的δ1鄰域可以表示為：

其中，δ1為鄰域半徑。 通過式（1）、式（2）計(jì)算各樣本鄰域，得到分類器子集B?C上的鄰域關(guān)系NRB。

定義2在鄰域決策系統(tǒng)＜U，NRB，D ＞中，NRB為在分類器子集B?C上的鄰域關(guān)系，決策屬性D將論域U中的所有樣本劃分為P個(gè)等價(jià)類：X1，X2，…，XP。 則決策屬性D關(guān)于分類器子集B的鄰域下近似為：

圖3 為針對二分類問題的鄰域粗糙集上下近似劃分示意圖，設(shè)δ為鄰域半徑，由式（4）分析可知，左側(cè)x1鄰域內(nèi)所有樣本屬于同一類，則x1被列入O類下近似中。 然而，右側(cè)x2鄰域內(nèi)的樣本既有O類，也有Δ 類，x2不能被劃分到任何等價(jià)類的下近似。

圖3 鄰域粗糙集近似劃分示意圖Fig. 3 Approximate partition of neighborhood rough sets

圖3 說明鄰域粗糙集的近似劃分方法對被錯(cuò)誤標(biāo)識的樣本敏感度較高。 因此，本文引入一致性閾值δ2解決上述問題。 假設(shè)P（Lj｜δB(xi) ） 為xi域內(nèi)labelj類的概率，n是鄰域內(nèi)樣本的數(shù)量，nj是第j類樣本的數(shù)量。 給定分類器子集B?C，xi∈U，δB(xi) 是樣本xi在屬性子集B上的鄰域，則xi的鄰域決策函數(shù)可以定義為：

即Ll為xi域內(nèi)概率最大的樣本類，當(dāng)且Ll與樣本xi的決策屬性di一致時(shí)，將xi加入決策屬性di所在等價(jià)類Xi的下近似，從而有效降低鄰域粗糙集對錯(cuò)誤表示樣本干擾的敏感性。 此時(shí)式（4）可重新定義為：

1.2.3 對信息決策表的屬性約簡

不同分類器對集成預(yù)測系統(tǒng)具有不同影響，刪除不重要的分類器能夠降低數(shù)據(jù)維度，從而減小分類器的集成規(guī)模。 設(shè)red為約簡集，ck∈｛C － red｝表示預(yù)選入約簡集的分類器，D表示樣本的真實(shí)預(yù)測值。 由式（6）得出屬性子集｛red∪ck｝約束下的下近似集，從而計(jì)算出下近似集中樣本的總數(shù)｜POSred∪ck(D)｜，則決策屬性對選入的分類器序列的依賴度可表示為：

依賴度反映論域中能夠被確切分類的樣本比例。｜U ｜表示樣本的總數(shù)，由粗糙集依賴度的性質(zhì)可知，依賴度越大，則D對｛red∪ck｝ 的依賴程度越強(qiáng)，也就是選出的分類器對預(yù)測結(jié)果影響越大。

分類器的重要度可由添加該分類器所引起的信息量的變化來度量，由此得出分類器ck∈｛C －red｝在已有分類器集合red的基礎(chǔ)上相對決策屬性D的重要度為：

將分類器的重要度排序，選出σ(ck，red，D) 最大時(shí)對應(yīng)的第k個(gè)分類器ck， 如 果max（σ(ck，red，D) ）＞0， 則將ck加入到約簡集合red，參與最終的分類器集成。

1.2.4 基于鄰域粗糙集的分類器選擇算法

本文分類器選擇算法，由空屬性集合red ＝?開始，選出分類器池C中屬性重要度最大，即對當(dāng)前系統(tǒng)最重要的分類器ck添加到red中。 其后的每次迭代，將原屬性集合剩下的屬性｛C － red｝中最重要的分類器添加到red， 當(dāng)屬性的重要度max（σ(ck，red，D) ）＝0 時(shí)，停止迭代。 對表1 信息決策表S中的條件屬性約簡，結(jié)果red即為最終選擇的分類器。 分類器選擇過程如算法1 所示。

算法1 基于鄰域粗糙集的分類器選擇算法

輸入S ＝（U，C∪D），δ2；這里，U為所有驗(yàn)證集，條件屬性C為分類器集合，D為驗(yàn)證集的真實(shí)標(biāo)簽，δ2為一致性閾值

輸出S的屬性約簡red，red中的集合即為選出的分類器子集

算法2 樣本鄰域計(jì)算算法

輸入決策系統(tǒng)S ＝（U，C∪D）， 鄰域半徑δ1

輸出樣本xi的鄰域δ（xi）

1.3 分類器集成

模型求解得到分類器子集red ＝{c1，c2，…，cm｝，m為分類器子集數(shù)量，使用大多數(shù)投票法將選出的分類器子集進(jìn)行決策層融合，獲得最大投票數(shù)的標(biāo)簽作為最終的預(yù)測類別mv（x）。 輸入測試樣本x，大多數(shù)投票公式如下：

其中，I（·） 是一個(gè)判別函數(shù)；L表示所有樣本類別；ci（x） 是第i個(gè)分類器對給出的觀測樣本x的預(yù)測標(biāo)簽。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 實(shí)驗(yàn)準(zhǔn)備

2.1.1 數(shù)據(jù)集與實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)采用FER2013［25］、JAFFE［26］、CK＋［27］三個(gè)經(jīng)典人臉表情數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。 其中，F(xiàn)ER2013 均為灰度圖像，包含28709 張測試集圖像，公共驗(yàn)證集和私有驗(yàn)證集圖像各有3589 張。 JAFFE 選取10名日本女學(xué)生在實(shí)驗(yàn)環(huán)境下根據(jù)指示做出的213 張表情圖像，每個(gè)人包括憤怒等7 種基本表情。 CK＋數(shù)據(jù)集由123 個(gè)類別、593 個(gè)圖形序列組成，其中326 個(gè)圖形序列帶有表情標(biāo)簽，本實(shí)驗(yàn)隨機(jī)選取58個(gè)帶標(biāo)記的序列的前3 張圖片組成CK＋的中性表情圖片。

實(shí)驗(yàn)過程將所有表情統(tǒng)一成大小為48?48 的單通道圖，并將數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗(yàn)證集三個(gè)部分。 FER2013 訓(xùn)練集數(shù)據(jù)量較大，實(shí)驗(yàn)中作為訓(xùn)練集，用于訓(xùn)練分類器，獲得模型參數(shù)。 公共驗(yàn)證集作為驗(yàn)證集（fer＿valid），用于驗(yàn)證分類器效果，進(jìn)行模型參數(shù)微調(diào)。 測試集包括FER2013 中的私有驗(yàn)證集（FER）、CK＋和JAFFE，用于測試整個(gè)識別系統(tǒng)的性能。 圖4 為3 個(gè)數(shù)據(jù)集的部分表情示例。 圖4 （a） ～（c）中，從左至右依次為： anger，disgust， fear， happy， sadness， surprise， neutral。

圖4 所有數(shù)據(jù)集圖片示例Fig. 4 Sample images of all datasets

2.1.2 實(shí)驗(yàn)評價(jià)標(biāo)準(zhǔn)

準(zhǔn)確率（Accuracy，Acc） 常作為衡量分類效果的標(biāo)準(zhǔn)。 設(shè)TP和FP分別表示被正確分類和被錯(cuò)誤分類的樣本數(shù)量，Total為總的樣本數(shù)量，則Acc計(jì)算公式如下：

2.1.3 訓(xùn)練細(xì)節(jié)

實(shí)驗(yàn)基于TensorFlow 框架，主要通過調(diào)整超參數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)共生成31 個(gè)卷積神經(jīng)網(wǎng)絡(luò)分類器形成分類器池。 所更改的神經(jīng)網(wǎng)絡(luò)參數(shù)類型及范圍見表2。

表2 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置Tab. 2 Parameter settings of convolutional neural network

圖5 為生成的分類器對不同數(shù)據(jù)集的預(yù)測結(jié)果的箱線疊加散點(diǎn)圖，用于顯示基分類器對不同數(shù)據(jù)集預(yù)測準(zhǔn)確率的分布情況。 箱線圖由上至下各橫向依次表示基分類器預(yù)測準(zhǔn)確率的最大值、上四分位數(shù)、中位數(shù)、下四分位數(shù)和最小值。 箱線圖中處于最大值和最小值之外的數(shù)據(jù)視為異常值，說明該分類器預(yù)測效果不具有代表性。 fer＿valid 和FER 均來源于同一數(shù)據(jù)庫的不同劃分，且樣本總體數(shù)量一致，由此推測會出現(xiàn)類似的預(yù)測效果。 從圖5 可得到證明，分類器對2 個(gè)數(shù)據(jù)集的預(yù)測結(jié)果的準(zhǔn)確率均主要分布在0.45 ～0.6 之間。 CK＋上測試結(jié)果相對較差，準(zhǔn)確率主要分布在0.4 ～0.53 之間，而JAFFE 數(shù)據(jù)庫采集的亞洲人臉表情，和訓(xùn)練數(shù)據(jù)集相比由于種族不同，面部解析的方式有所不同，從而預(yù)測效果不佳，準(zhǔn)確率主要分布在0.3～0.45 之間。

圖5 基分類器對各數(shù)據(jù)預(yù)測結(jié)果的箱線疊加散點(diǎn)圖Fig. 5 Box line superposition scatter diagram of predicted results of each data by base classifier

2.2 實(shí)驗(yàn)結(jié)果分析

根據(jù)式（10）計(jì)算測試集的預(yù)測準(zhǔn)確率作為集成算法性能評估的標(biāo)準(zhǔn)。 利用鄰域關(guān)系構(gòu)建的粗糙集，下近似元素的個(gè)數(shù)可以衡量相對重要度，依據(jù)屬性重要度準(zhǔn)則進(jìn)行知識約簡，采用前向貪心搜索策略依次選出分類器。 鄰域半徑過大，會導(dǎo)致大量不同類別的樣本劃分到同一鄰域；一致性閾值過小，會失去對鄰域樣本的約束作用，反之，會輸出空的特征子集。

為了說明所提出的基于鄰域粗糙集分類器選擇的表情識別模型的有效性，設(shè)置9 個(gè)不同的鄰域半徑δ1， 分別為0.1，0.15，0.2，0.25，0.3，0.35，0.4，0.45，0.5 及6 個(gè)不同的一致性閾值δ2，分別為0.55，0.6，0.65，0.7，0.75，0.8。

鄰域半徑δ1隨著不同一致閾值δ2變化，在各數(shù)據(jù)集上的集成效果如圖6 所示。

圖6 鄰域半徑δ1隨一致性閾值δ2變化的選擇集成效果Fig. 6 Influence of domain radiusδ1with consistency thresholdδ2on the selected integration effect of each data set

圖6 （a）展示了隨著一致性閾值變化，在不同鄰域半徑下選擇后集成的效果總體呈現(xiàn)相同的趨勢，鄰域半徑δ1＝0.5 時(shí)預(yù)測效果大幅下降后再上升，這是由于鄰域半徑設(shè)置過大可能導(dǎo)致較多不同類別的樣本劃分到同一鄰域內(nèi)，而較小的一致性閾值不能很好地取起對鄰域決策的約束作用；同理，由圖6（b）、（c）可看出，鄰域半徑δ1＝0.5 時(shí)預(yù)測效果與其它不同鄰域半徑的預(yù)測趨勢不一致，說明鄰域半徑設(shè)置過大，會增加鄰域樣本的不一致性。 綜合圖6 在3 個(gè)不同的數(shù)據(jù)集上的集成效果，總體上，一致性閾值δ2取0.65 和0.7時(shí)，對不同的鄰域半徑下集成效果影響較為突出，說明只有選取合適的一致性閾值，才能更好地對樣本進(jìn)行正確分類，有效度量不同分類器的重要程度。

2.3 與其它方法比較

為了驗(yàn)證本文集成剪枝方法的有效性，使用經(jīng)典表情數(shù)據(jù)集，選用多個(gè)不同剪枝算法與本文所提模型進(jìn)行對比。 通過多次實(shí)驗(yàn)，選擇每種算法在各個(gè)數(shù)據(jù)集上表現(xiàn)效果最好的一組數(shù)據(jù)，得到的結(jié)果見表3。

表3 不同剪枝算法在各個(gè)數(shù)據(jù)集上的準(zhǔn)確率Tab. 3 The accuracy of different pruning algorithms on each data set

由表3 可知，將所有分類器進(jìn)行大多數(shù)投票集成的結(jié)果作為基線，各集成剪枝算法的準(zhǔn)確率在大部分情況下高于將所有分類器集成。 和基線相比，本文的集成剪枝算法在FER 數(shù)據(jù)集上準(zhǔn)確率提升了2.1%，在JAFFE 數(shù)據(jù)集上提升了8%，在CK＋上提升了7.9%，且本文提出的集成剪枝算法在JAFFE和CK＋數(shù)據(jù)集上都獲得比其它集成剪枝算法更高的準(zhǔn)確率，在FER 上準(zhǔn)確率比文獻(xiàn)［32］方法略低，原因是采用大多數(shù)投票法集成，當(dāng)存在多個(gè)相同票數(shù)的類型時(shí)，隨機(jī)選擇其中一個(gè)類型，會出現(xiàn)誤判的情況，進(jìn)而導(dǎo)致準(zhǔn)確率略微下降。

3 結(jié)束語

本文結(jié)合粗糙集和集成學(xué)習(xí)的思想，研究重點(diǎn)在于對多個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行集成剪枝，拓寬粗糙集的運(yùn)用領(lǐng)域，并將提出的集成剪枝算法運(yùn)用到人臉表情識別領(lǐng)域，在提高人臉表情識別率的同時(shí)，減小分類器的集成規(guī)模，進(jìn)而提升識別系統(tǒng)的穩(wěn)定性的效果。 由于集成剪枝算法準(zhǔn)確率一定程度上取決于基分類器預(yù)測效果，因此，后續(xù)工作將使用先進(jìn)的深度學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建分類器池，再進(jìn)行集成剪枝操作，以提高人臉表情識別的準(zhǔn)確率。