李雯，李豪喆，陳琛，蔡偉雄

司法鑒定科學研究院 上海市法醫(yī)學重點實驗室 司法部司法鑒定重點實驗室 上海市司法鑒定專業(yè)技術(shù)服務平臺，上海 200063

人臉表情可分為微表情和宏表情。在日常交談過程中能夠被肉眼察覺的通常是宏表情，其能夠被主觀控制。相較于宏表情，微表情是一種動作幅度微小、短暫的、快速的、無意識的表情。微表情具有兩大特點，一是持續(xù)時間非常短暫，僅為1/25～1/3 s，靠肉眼難以察覺，基于此，YAN 等[1]將微表情定義為持續(xù)時長短于500 ms 或出現(xiàn)時間短于260 ms 的表情；二是不受主觀意識控制，是一種自發(fā)式的表情，既無法偽造也無法抑制[2]。因此微表情被看作是揭示隱藏情緒的重要標志[3-5]，能夠反映個體的真實情感[6]。

微表情有關(guān)研究已有數(shù)十年發(fā)展史。1966 年，HAGGARD 等[7]第一次提出了微表情的概念，他們認為，微表情與自我防御機制有關(guān)，能夠表達隱藏起來的情緒。1969 年，EKMAN 和 FRIESE 在觀看1 例抑郁癥患者的錄像時發(fā)現(xiàn)，雖然表面上該患者無任何異常表現(xiàn)，但慢速播放錄像時卻發(fā)現(xiàn)該患者有一個強烈痛苦的表情，而這個痛苦表情僅持續(xù)了1/12 s[8]。自此，微表情分析相關(guān)研究逐漸發(fā)展、拓寬，相關(guān)技術(shù)逐漸進步、完善。目前在刑事偵查[9-11]、教育[12-13]領(lǐng)域已較廣泛地探討了微表情分析的應用價值，相關(guān)醫(yī)學領(lǐng)域[14-18]的應用探索在近年也逐漸開展。

微表情分析技術(shù)在法醫(yī)精神病學領(lǐng)域的應用價值在于該技術(shù)對患者情緒反應非常敏感[19]。精神障礙者的癥狀之一是情感癥狀，如情感障礙者可有顯著的情緒高漲或情緒低落，精神分裂癥患者可有情感平淡、情感不協(xié)調(diào)、或繼發(fā)（伴發(fā)）抑郁癥狀、器質(zhì)性精神障礙、神經(jīng)癥性障礙等，也會表現(xiàn)不同程度的情緒反應。因此，微表情分析作為能夠反映患者真實情緒狀態(tài)的技術(shù)手段，在輔助精神病鑒定診斷、嚴重精神障礙者的社區(qū)監(jiān)管、暴力風險預測、詐病識別等法醫(yī)精神病學研究中的重要議題中都有潛在的應用價值。本文將回顧相關(guān)研究，討論微表情分析在法醫(yī)精神病學領(lǐng)域的研究現(xiàn)狀，并展望其應用前景和研究方向。

1 面部微表情分析技術(shù)及其發(fā)展

早期，微表情分析通常依靠研究員逐幀觀看受試者面部錄像視頻來完成。為了對面部表情做系統(tǒng)化分析，方便同類研究結(jié)果的比較，研究者編制了面部表情編碼系統(tǒng)。例如，面部動作編碼系統(tǒng)（facial action coding system，F(xiàn)ACS）[20]以及表情辨別整體判斷系統(tǒng)[21]等。其中，F(xiàn)ACS 是迄今為止最精細的面部動作編碼體系，使用最為廣泛。該系統(tǒng)定義了46 個面部動作單元（action unit，AU），每一個動作單元對應一組面部肌肉收縮[20]。例如，AU2 代表由額肌的外側(cè)肌群收縮引起的眉尾提升，AU5 代表由眼輪匝肌內(nèi)圈和上瞼提肌共同收縮引起的上眼瞼提起等。不同面部動作單元的組合可以描述不同的面部情緒表達，如AU2（額肌外側(cè)收縮）、AU5（上瞼提起）、AU25（雙唇分開）3 個面部運動單元同時激活可描述驚訝的表情。不同的面部動作單元組合也可以描述同一種情緒表達，如對于六大基礎(chǔ)情緒（憤怒、厭惡、恐懼、愉快、傷心、驚訝），每種情緒都有多組面部動作單元對其進行描述。在具體研究中，可根據(jù)研究內(nèi)容有針對性地選擇部分面部動作單元或部分面部動作單元組合進行監(jiān)測和分析[17]。例如，HAYNIE 等[3]依據(jù)表情辨別整體判斷系統(tǒng)編碼記錄了7個月、10個月、13 個月月齡的嬰兒在燈光、寵物刺激下的情緒反應，記錄積極的、消極的面部情緒反應應答時間和持續(xù)時間。LOTZIN 等[22]使用FACS 記錄了精神分裂癥患兒和健康兒童在一個問題處理任務中的面部表情，結(jié)果發(fā)現(xiàn)，患兒組每分鐘表達的積極情緒比健康兒童顯著減少。這種通過人工識別分析微表情的方式有諸多局限性，其耗時長、效率低、人工成本高，需要受過系統(tǒng)培訓的專門人員才能操作，而且人工識別準確率有限[23]。此外，早期研究受限于錄影設(shè)備及視頻播放設(shè)備的幀數(shù)限制，持續(xù)時間過短的微表情難以被捕捉到。這些都導致微表情分析技術(shù)的應用受到限制。

隨著錄影設(shè)備的發(fā)展，視頻清晰度和幀數(shù)得到顯著提升，不過幀數(shù)增多意味著工作量增大，通過人工識別來分析時間過長的視頻實屬困難。得益于人工智能技術(shù)的發(fā)展，微表情的自動化分析得以實現(xiàn)[6]。目前已有眾多研究開發(fā)或驗證基于計算機視覺的微表情分析技術(shù)。計算機視覺通過分析視覺及其他感官數(shù)據(jù)來系統(tǒng)研究人類行為[24-26]。例如，OWAYJAN等[27]使用嵌入式視覺系統(tǒng)來捕捉受試者訪談中的視頻，其使用LabVIEW 系統(tǒng)工程軟件（美國國家儀器有限公司）將視頻轉(zhuǎn)換成一系列幀，然后通過顏色轉(zhuǎn)換、過濾、確定面部結(jié)構(gòu)的關(guān)鍵特征、提取測量數(shù)據(jù)等幾個步驟檢測受試者微表情，該檢測系統(tǒng)可以解讀快樂、悲傷、喜悅、憤怒、恐懼、驚訝、厭惡和輕蔑8 種面部表情。使用計算機自動分析視頻數(shù)據(jù)抓捕受試者面部表情具有諸多優(yōu)勢。首先，高速攝像機可以記錄持續(xù)時間非常短暫的微表情，但產(chǎn)生的數(shù)據(jù)量巨大，基于計算機自動分析技術(shù)的微表情抓取則能夠處理人工難以完成的數(shù)據(jù)量[28]。在建立了穩(wěn)定的識別模型的前提下，計算機能夠大規(guī)模進行微表情識別，顯著提高識別效率[28]。其次，隨著電腦、手機、攝像機等錄影設(shè)備的日?；占?，實時拍攝、記錄受試者得以實現(xiàn)，結(jié)合微表情自動分析技術(shù)處理所得的視頻數(shù)據(jù)，理論上就能夠?qū)崟r監(jiān)測受試者在自然狀態(tài)下的行為、表情數(shù)據(jù)，如監(jiān)測患者在家時的行為動作和面部表情變化[29]，從而實現(xiàn)病情的動態(tài)監(jiān)測[14]。

目前，微表情的自動化識別主要通過深度學習方法來實現(xiàn)。識別模型的訓練多基于現(xiàn)有的微表情數(shù)據(jù)集，如SMIC 數(shù)據(jù)集[30]、CASME 數(shù)據(jù)集[31]、Polikovsky數(shù)據(jù)集[32]以及USF-HD 數(shù)據(jù)集[33]等。深度學習為保證結(jié)局指標識別的準確性，納入的變量眾多，樣本需求量大，但現(xiàn)實研究中通常難以獲取足夠的樣本量來訓練模型，因此也有研究嘗試納入語音數(shù)據(jù)[34-35]或腦電圖數(shù)據(jù)[36]以優(yōu)化模型，或在卷積神經(jīng)網(wǎng)絡、序列融合方法、鏈式融合機制、長短期記憶網(wǎng)絡等的基礎(chǔ)上優(yōu)化算法[37-39]。目前，除自行建立識別模型外，Noldus FaceReader[40]、Computer Expression Recognition Toolbox（CERT）[41]以及Openface[42]等面部表情分析軟件能夠識別特定面部情緒表情類型，研究者可根據(jù)需求在軟件中選取需要抓取、分析的表情類型，也能透過軟件自行建立、定義新的表情類型。

2 微表情分析在法醫(yī)精神病學領(lǐng)域研究中的狀況

輔助診斷是目前使用微表情分析技術(shù)最常見的研究方向，其中，研究最多的精神障礙為抑郁癥。COHN 等[16]使用FACS 人工編碼和主動外觀模型（active appearance models，AAM）結(jié)合語音數(shù)據(jù)分析抑郁癥患者中有抑郁癥狀和無抑郁癥狀者的面部表情視頻數(shù)據(jù)，結(jié)果發(fā)現(xiàn)，人工判別有抑郁者的準確度為88%，自動分析模型判別的準確率為79%。ALGHOWINEM 等[43]對比分析了抑郁癥患者和健康人群臨床訪談視頻中面部128 個眼瞼和眼角的特征點，所得的幾種模型診斷抑郁癥的準確率平均約為88%。PAMPOUCHIDOU 等[44]也比較了抑郁癥患者和健康人群面部表情的視頻，視頻內(nèi)容為受試者通過人機交互模式和真人對話模式完成一系列測試的過程，不過，該研究所得的視頻分析模型對判別自評焦慮癥狀的準確性更高。此外，也有研究嘗試基于現(xiàn)有數(shù)據(jù)集通過篩選特征值、引入新算法提高抑郁表情識別的準確性[45]。

既往亦有研究嘗試使用微表情分析輔助自閉癥早期診斷。ALVARI等[17]使用Openface分析了6～12月齡自閉癥幼兒和健康幼兒的家庭錄像，提取了自閉癥幼兒社會性微笑表情的動態(tài)變化，結(jié)果發(fā)現(xiàn)，自閉癥幼兒社會性微笑的頻率和激活強度均明顯降低。EGGER 等[46]則開發(fā)了1 個手機APP 收集12～72 月齡兒童的視頻，家長通過該手機APP 帶受試兒童觀看能夠引發(fā)自閉癥相關(guān)癥狀的短片，并錄制上傳受試兒童觀看短片時的面部表情，視頻收集完畢后研究者使用人工智能自動分析受試兒童的情緒和行為以識別自閉癥患兒。

此外，還有研究探討精神障礙者面部微表情的特征性表現(xiàn)。FUJIWARA 等[18]使用該技術(shù)在一組6～8 歲經(jīng)歷過地震的兒童中識別情感麻木表情，受試兒童先觀看2 min 與地震無關(guān)的風景圖片以建立基線情緒反應，再觀看2 min 兒童戲劇，在受試兒童觀看圖片及視頻時錄制他們的面部表情，再使用FaceReader 軟件對視頻進行編碼，該研究發(fā)現(xiàn)，創(chuàng)傷后應激障礙癥狀更重者表現(xiàn)出中性面部表情的比例更大[18]。使用傳統(tǒng)面部表情分析技術(shù)發(fā)現(xiàn)精神分裂癥患者面部動作特征有改變[22]，相較于健康人群，精神分裂癥在面對刺激因素時[47-49]或在社會交往中[50]面部動作顯著減少。

3 微表情分析在法醫(yī)精神病學領(lǐng)域應用的展望

3.1 輔助診斷

微表情分析技術(shù)有望為精神障礙的診斷提供客觀評估指標。目前，精神障礙診斷分類的基軸主要是患者的癥狀表現(xiàn)，其中情感癥狀是精神障礙的重要癥狀，是精神檢查的重要內(nèi)容，不同精神障礙的情感癥狀表現(xiàn)會有所不同。微表情識別作為一種對受試者情緒敏感的客觀檢查技術(shù)，能夠極大地避免評估者偏倚，有望為精神障礙的診斷提供客觀評估指標，從而輔助精神病司法鑒定診斷。該方法還可以讓患者更少暴露于既往的創(chuàng)傷性經(jīng)歷。傳統(tǒng)的病情監(jiān)測手段，如臨床訪談、填寫自評問卷方法，需要患者回憶患病經(jīng)過，如果接診醫(yī)生或測試者處理不當，則會造成對患者的二次創(chuàng)傷，而微表情分析則可以避免這種情況的發(fā)生。

3.2 嚴重精神障礙者的社區(qū)監(jiān)管

社區(qū)監(jiān)管是嚴重精神障礙者及強制醫(yī)療出院患者康復管理的重要一環(huán)[51]，社區(qū)監(jiān)管不到位是該類患者病情控制不佳、出現(xiàn)肇事肇禍違法犯罪行為的重要因素之一。目前，社區(qū)對于嚴重精神障礙者的病情監(jiān)測主要依靠定期精神科隨訪，在隨訪過程中精神科醫(yī)生一般依據(jù)臨床判斷、監(jiān)護人對患者病情的反映、相關(guān)的他評或自評量表等監(jiān)測患者病情。這種傳統(tǒng)的監(jiān)測方法存在顯著不足，如監(jiān)護人對患者的病情反映可能不準確，自評工具可能有回顧性偏倚，在有限的訪談時間內(nèi)患者可能會隱藏病情，從而造成病情評估不全面、準確性欠佳的情況。此外，嚴重精神障礙的癥狀是隨時變化的[52-54]，持續(xù)監(jiān)測時間不足也是導致精神障礙診斷不全面的重要因素[55]。

微表情自動化分析技術(shù)有望在一定程度上彌補上述傳統(tǒng)病情監(jiān)測方法的不足，可依托患者或監(jiān)護人上傳的視頻，實現(xiàn)對患者精神狀態(tài)的動態(tài)監(jiān)測及遠程監(jiān)測。不過這種監(jiān)測手段首先需要準確可靠的精神癥狀識別模型，未來研究可側(cè)重于開發(fā)可靠的疾病自動識別模型，為該技術(shù)在病情的動態(tài)監(jiān)測和遠程監(jiān)測中的應用做充足準備。

3.3 暴力風險預測

精神障礙者暴力攻擊風險預測和評估也是法醫(yī)精神病學研究中的重要議題。時至今日，雖然有眾多研究從流行病學、神經(jīng)影像學、神經(jīng)生化等方面就暴力風險相關(guān)因素及可能機制進行了探討[56-58]，并建立了一些風險預測模型[59-60]，但這些預測模型受限于風險因素納入不全、研究對象代表性不足的問題，其預測效度仍待探討。精神障礙者的暴力行為與情緒控制障礙密切相關(guān)[61]，因此情緒反應是暴力風險預測的重要方面。在進一步完善、優(yōu)化暴力風險預測模型時，微表情分析有望成為重要監(jiān)測指標。

基于視頻監(jiān)控的微表情自動化識別技術(shù)對暴力風險的防控有其獨特優(yōu)勢。該技術(shù)具有隱蔽性好、可操作性強的特點，在精神病醫(yī)院、監(jiān)獄特殊場所，將微表情監(jiān)測聯(lián)合運用于暴力風險監(jiān)控有助于提高風險預測、防治效力；在公共場所對特殊人群進行微表情監(jiān)測有助于暴力風險的即時識別。

自殺行為作為一種針對患者自身的暴力行為，亦是法醫(yī)精神病學的研究重點。自殺不僅會傷及患者個人人身安全，部分患者可能有擴大性自殺行為從而危害他人人身安全。如前文所述，微表情識別最初的經(jīng)典研究就是在慢速回放1 例自殺抑郁癥患者生前錄像時，發(fā)現(xiàn)了一個極為痛苦但持續(xù)時間短暫的表情[8]?；诖?，未來研究可考慮分析有自殺行為者在實施自殺行為前的影像資料，提取面部微表情特征值，建立自殺行為的預測模型，并將其應用于重點人群的面部視頻監(jiān)測，加固自殺風險的防范。

3.4 詐病識別

微表情分析作為一種有效且可靠的測謊技術(shù)，有望為詐病的鑒別提供一定幫助。既往研究表明，面部動作單元在某些特定情況下似乎能夠區(qū)分“真表情”和“假表情”。EKMAN 等[62]發(fā)現(xiàn)，“真”開心表情表現(xiàn)為臉頰上提、眼周肌肉收縮、顴大肌收縮等，而“假”開心則只表現(xiàn)為臉頰上提，眼周肌、顴大肌收縮可能不出現(xiàn)或者延遲出現(xiàn)。PORTER 等[63]令受試者觀看惡心的、悲傷的、恐怖的、快樂的和中性的圖片，然后受試者對真實表情或虛假表情作出回應，通過對基礎(chǔ)表情、微表情及眨眼動作的出現(xiàn)頻率和持續(xù)時間進行分析發(fā)現(xiàn)，負面情緒比正面情緒難隱藏。MATSUMOTO等[11]在模擬犯罪實驗中監(jiān)測受試者在初次面談時的面部表情，發(fā)現(xiàn)持續(xù)時間≤0.40 s 和≤0.50 s 的負性情緒微表情能夠區(qū)分說謊者和說實話者。上述研究[11，63]發(fā)現(xiàn)，在給予適當刺激時，監(jiān)測受試者微表情能夠區(qū)分受試者說謊與否。不過也有研究者對微表情分析的測謊能力有所質(zhì)疑，BURGOON[64]認為，欺騙行為伴隨的不僅是消極情緒，也有積極情緒或者無情緒，因此除了關(guān)注特定微表情的出現(xiàn)與否外，也應當關(guān)注微表情的缺失，以及與欺騙行為有關(guān)的起始面部運動模式。我國刑事偵查領(lǐng)域已嘗試將微表情識別作為生理反應監(jiān)測的內(nèi)容之一，輔助偵查訊問工作，以識別口供的真?zhèn)蝃65-66]，不過上述研究發(fā)現(xiàn)尚未在精神障礙者中得到驗證。綜上，在普通人群中微表情分析能夠在一定程度上辨別“謊言”，未來研究可考慮在精神障礙者中探討微表情分析輔助測謊的可靠性和可行性。

4 挑戰(zhàn)與發(fā)展方向

微表情分析作為一種新的檢測手段，其在法醫(yī)精神病學領(lǐng)域的應用仍面臨眾多挑戰(zhàn)。（1）可靠的診斷模型和預測模型是實現(xiàn)微表情分析技術(shù)應用于精神障礙輔助診斷、社區(qū)監(jiān)管、詐病識別以及風險預測的關(guān)鍵，然而，現(xiàn)有模型的可靠性仍待檢驗。①訓練可靠的模型需要良好的訓練數(shù)據(jù)集，具體來講，需要該數(shù)據(jù)集中精神障礙的診斷準確、樣本量充足、變量充分，但實際研究所用數(shù)據(jù)集可能在上述方面存在不足，最終導致所得模型可靠性不佳。②納入模型的微表情特征值提取的準確性仍有待提升。雖然現(xiàn)有研究提出了多種特征提取算法做圖片分析處理，然而現(xiàn)有的算法對精神障礙識別的準確性仍不滿意[45]。③目前基于微表情自動化分析的診斷模型均為判別精神障礙者和健康對照的模型，尚無研究探索不同精神障礙的鑒別診斷模型，這導致目前發(fā)現(xiàn)的區(qū)分精神障礙者和健康人群的微表情特征是否在該類精神障礙中特異尚未可知，極大地限制了現(xiàn)有模型在實際診斷工作中的應用。④受試者不合作可能導致錄像質(zhì)量不佳，受試者如經(jīng)過訓練可能會影響其微表情表達，然而目前仍缺乏研究探討這些方面是否會影響模型的準確性，也缺乏研究探討如何在實際操作過程中避免或控制這些影響因素。因此，未來研究應通過建立可靠的微表情數(shù)據(jù)集、改良提取微表情特征值的方案、探索各類精神障礙間鑒別診斷模型以及建立面部表情錄制標準化方案等，提高模型可靠性，實現(xiàn)微表情分析技術(shù)的臨床應用。（2）目前已有多種微表情識別軟件發(fā)布，研究者可以使用軟件識別特定微表情類型。不過，①現(xiàn)有軟件通常只能識別幾種特定的情緒，例如，CERT 軟件只能識別7 種基礎(chǔ)情緒以及中性情緒，這些軟件在識別單一情緒時通常準確性良好，但識別某些混合情緒時準確性會下降[67]。②現(xiàn)有研究多集中探討這些軟件信效度[68]，使用這些軟件來探討臨床問題的研究尚欠缺。因此，未來研究需要提高現(xiàn)有軟件識別混合情緒的敏感性和準確性，并進一步探索如何將現(xiàn)有的微表情識別軟件檢測到的面部表情數(shù)據(jù)與具體需要解決的精神科問題聯(lián)系起來。

綜上所述，微表情分析在精神障礙的輔助診斷、病情監(jiān)測、風險監(jiān)控及詐病識別等方面都有很好的應用前景。目前技術(shù)已經(jīng)能夠支撐微表情的自動化分析，不過該分析技術(shù)仍面臨諸多挑戰(zhàn)，未來研究應當著重于開發(fā)可靠性良好的基于微表情分析的診斷、預測模型，以豐富微表情分析技術(shù)在法醫(yī)精神病學領(lǐng)域的應用。