苗丹民，曹 爽，劉 治，李晨曦，劉旭峰

(1空軍軍醫(yī)大學(xué)軍事醫(yī)學(xué)心理學(xué)系，陜西 西安 710032；2解放軍中部戰(zhàn)區(qū)空軍醫(yī)院心理科，山西 大同 037000；3山東大學(xué)信息科學(xué)與工程學(xué)院，山東 青島 266237)

心理測量是依據(jù)一定的心理學(xué)理論和程序，對人的行為和心理屬性進(jìn)行量化的科學(xué)。自陳式量表作為心理測量的主流手段，在人員選拔、臨床診療、教育教學(xué)等方面發(fā)揮了十分重要的作用，但同時也因主觀性等原因受到了廣泛質(zhì)疑，測量的準(zhǔn)確性始終因測量理論和技術(shù)的限制而構(gòu)成瓶頸。多質(zhì)融合心理測量技術(shù)使用自然語言喚醒特定的意識活動，通過應(yīng)答行為和輔助性認(rèn)知神經(jīng)反應(yīng)最大程度探求被試的真實意識活動，以提高測驗的有效性和準(zhǔn)確性。多質(zhì)融合心理測量技術(shù)著眼于量表作答過程中意識的啟動及其特點和規(guī)律的探索，以期為傳統(tǒng)的心理測量方法帶來嶄新的生機(jī)。

1 多質(zhì)融合思想為心理測量理論發(fā)展提供了基石

現(xiàn)代心理測量學(xué)有三大主流理論——經(jīng)典測量理論、項目反應(yīng)理論和概化理論[1]，它們構(gòu)成了現(xiàn)代人員選拔的理論基礎(chǔ)，推進(jìn)了心理測量學(xué)的研究。這些理論從不同的角度構(gòu)建了作答結(jié)果與潛在心理特質(zhì)之間的統(tǒng)計學(xué)模型。但遺憾的是，它們似乎從沒有關(guān)注過答題過程中意識的啟動及其特點與規(guī)律，一定程度上影響了心理測量的發(fā)展。

心理測量理論有一個假設(shè)：被試在答題時將會認(rèn)真且真實作答[2]。但實際操作中，往往因為社會贊許性等致使被試應(yīng)答反應(yīng)容易產(chǎn)生偏差。在征兵、應(yīng)聘等高應(yīng)激情景下[3-4]，心理測量效果受到廣泛質(zhì)疑。與智力(如能力傾向、成就等)測驗相比，非智力(如人格、情緒、動機(jī)和態(tài)度等)測驗會更多受到文化、種族、教育等因素影響，測量效果不盡人意。

自2006年以來，本課題組擔(dān)任了征兵、征招學(xué)員、招聘文職人員心理健康人格測驗的任務(wù)，發(fā)現(xiàn)了心理測量中存在的問題，開始積極思考解決問題的辦法。2015年提出了心理測量的多質(zhì)融合概念，并于2017年系統(tǒng)論述多質(zhì)融合理論與發(fā)展[5]。通過八年多的研究探索，初步論證了該理論的可行性和有效性。多質(zhì)融合理論的假設(shè)是：①被試在作答非智力測驗題目時是一個復(fù)雜的意識加工過程，包含了條目刺激下意識活動和社會性加工下意識活動兩個部分；②條目刺激下的意識活動是簡單明確的心理反應(yīng)，社會性加工是復(fù)雜性混合的心理反應(yīng)并對應(yīng)答行為產(chǎn)生明顯影響；③條目刺激下的意識活動可同時喚醒本能性認(rèn)知神經(jīng)活動[眼動、面部運動單元(action units，AU)、面部血流等]，兩者存在一定函數(shù)規(guī)律；④多質(zhì)融合心理測量的目的是，通過自然語言喚醒特定的意識活動，同時記錄伴隨性認(rèn)知神經(jīng)本能反應(yīng)，并通過應(yīng)答行為和輔助性認(rèn)知神經(jīng)反應(yīng)最大程度探求被試的真實意識反應(yīng)，以提高測驗的有效性和準(zhǔn)確性。

基于以上假設(shè)，多質(zhì)融合技術(shù)旨在心理測量中同時采集被試應(yīng)答行為及其多項認(rèn)知神經(jīng)活動，借助于統(tǒng)計學(xué)、機(jī)器學(xué)習(xí)等技術(shù)對多通道數(shù)據(jù)進(jìn)行融合識別，搭建意識-認(rèn)知神經(jīng)活動的藍(lán)橋，實現(xiàn)主觀意識活動的客觀、精細(xì)評判[6-7]，并據(jù)此形成了三個研究方向：①意識喚醒：包括意識喚醒的機(jī)制、意識喚醒與認(rèn)知神經(jīng)活動的關(guān)系等；②自然語料庫建立：包括能夠喚醒意識活動的自然語言形式和內(nèi)容、自然語料的獲取、基于人工智能的自然語言自生成技術(shù)等；③多質(zhì)數(shù)據(jù)融合分析：包括多質(zhì)認(rèn)知神經(jīng)數(shù)據(jù)同步采集、分析、大數(shù)據(jù)處理，以及多質(zhì)數(shù)據(jù)跨通道分析即模型構(gòu)建等。

2 多質(zhì)融合心理測量技術(shù)為意識本質(zhì)認(rèn)識提供了新途徑

意識探索是科學(xué)研究的皇冠。哲學(xué)家與生物學(xué)家在意識本源的認(rèn)識上長期存在不同見解，認(rèn)識論和方法論上截然不同，對意識的主觀性或客觀性爭論不休。近30年來，腦科學(xué)的出現(xiàn)和發(fā)展，有力推動了意識的科學(xué)研究。

生物學(xué)家或神經(jīng)科學(xué)家秉持還原論的觀點，即意識活動與大腦活動是同質(zhì)的，心理屬性可以還原為大腦神經(jīng)系統(tǒng)的屬性[8]，因此采用的是分子、神經(jīng)元、神經(jīng)系統(tǒng)、腦功能的研究途徑。弗朗西斯·克里克[9]認(rèn)為，“你的快樂和憂傷，你的記憶和抱負(fù)，你的人格同一感和自由意志，都只不過是神經(jīng)細(xì)胞及大量分子不斷聚集的活動”。他的研究目標(biāo)是尋找意識活動的神經(jīng)活性物，即能夠產(chǎn)生意識體驗最小限度的神經(jīng)活動和神經(jīng)機(jī)制。FEINBERG等[10-11]通過多年的神經(jīng)生物學(xué)研究，提出了意識的“神經(jīng)生物學(xué)自然主義”模型，認(rèn)為意識表現(xiàn)出復(fù)雜神經(jīng)網(wǎng)絡(luò)系統(tǒng)的生物活動特征，其本質(zhì)是物理的。

意識科學(xué)的研究強(qiáng)烈暗示了一種觀點：意識體驗可以從大腦中解碼出來。主要實驗的邏輯是，如果施加的實驗刺激與大腦活動變化間存在統(tǒng)計依賴關(guān)系(稱為編碼過程)，那么可通過大腦活動變化的規(guī)律推測被試受到的特定實驗刺激[12]。HAXBY等[13]使用最近鄰法對被試視覺刺激的類別進(jìn)行分類；WAGER等[14]通過最小絕對收縮和選擇算法預(yù)測被試的疼痛水平；GRECUCCI等[15]使用核嶺回歸法從被試的大腦灰質(zhì)中預(yù)測憤怒的表達(dá)和抑制分?jǐn)?shù)；BORST等[16]使用多元探照燈法研究心理意向與大腦活動模式的關(guān)系，預(yù)測被試此刻想象的是電影畫面還是聲音。

腦科學(xué)家認(rèn)為，神經(jīng)元的運作機(jī)制可以解釋任何一項行為活動，但意識存在于主觀領(lǐng)域，當(dāng)采用客觀方法研究時，便會出現(xiàn)“解釋鴻溝”，即外部的科學(xué)視角與主觀的意識體驗存在無法逾越的鴻溝[8]。基于自然法則研究最大困難是，“沒有任何科學(xué)依據(jù)能將客觀與主觀聯(lián)系在一起，證明兩者之間存在因果關(guān)系”，因為“大腦是物質(zhì)的，意識是非物質(zhì)的”[17]。因此，CHALMERS[18]將意識問題分為 “簡單問題”和 “困難問題”。簡單問題是指可用還原論的方法“科學(xué)”描述和解釋的意識問題；困難問題是指通過理解物理過程會伴隨出現(xiàn)的主觀類意識體驗。生物學(xué)和神經(jīng)科學(xué)取向的意識研究符合當(dāng)代科學(xué)框架的研究規(guī)則，可以闡明意識產(chǎn)生的神經(jīng)基礎(chǔ)及作用機(jī)制，但是它們對“困難問題”卻束手無策。CHALMERS[18]通過神經(jīng)元替換思維實驗，假想將神經(jīng)網(wǎng)絡(luò)中神經(jīng)元一個一個被計算機(jī)所替代，當(dāng)全部神經(jīng)元被計算機(jī)替代，機(jī)器就產(chǎn)生了意識。正如渡邊正峰[17]所言，盡管全部神經(jīng)元被取代，可以重現(xiàn)神經(jīng)點火，“卻缺少了其他要素(神經(jīng)回路、突觸)和結(jié)構(gòu)(電脈沖的產(chǎn)生和搬運，突觸應(yīng)答)”，所以“人工神經(jīng)網(wǎng)絡(luò)是沒有意識”產(chǎn)生的。越來越多的研究證據(jù)表明，研究得到的大腦數(shù)據(jù)與意識體驗之間毫無關(guān)系，“即便是將大腦的客觀存在問題完全解決了，也絲毫無法向大腦的主觀問題靠近一步”。

神經(jīng)元直接測量、腦電圖、功能性磁共振成像、經(jīng)顱磁刺激、光遺傳學(xué)技術(shù)等的發(fā)展，極大豐富了腦科學(xué)研究手段；隨著機(jī)器學(xué)習(xí)領(lǐng)域研究的快速發(fā)展，對復(fù)雜數(shù)據(jù)集無與倫比的學(xué)習(xí)和處理能力，為神經(jīng)科學(xué)研究帶來了方法學(xué)的重大創(chuàng)新[19]?？茖W(xué)家們希望這些技術(shù)和機(jī)器學(xué)習(xí)結(jié)合，未來能預(yù)判一個人在想什么[20]。然而，這類研究默認(rèn)了大腦是不變性和一致性的，即解碼模型可以在不同時間、不同被試間保持穩(wěn)定性[21]。JABAKHANJI等[22]對多項已發(fā)表中的研究數(shù)據(jù)庫進(jìn)行了交叉對比，發(fā)現(xiàn)這些模型的實際識別功效被夸大了，目前跨被試的心理狀態(tài)解碼模型并不適用于實際決策場景。于是渡邊正峰[17]認(rèn)為，有一個可能，把大腦與機(jī)器連接，如果產(chǎn)生意識融合，證明可以將大腦所體驗到的事物儲存在機(jī)器里，“未來向機(jī)器移植大腦的意識，可能是打開意識研究最有希望的突破口”。谷歌技術(shù)開發(fā)主管KURZWEIL預(yù)言：“21世紀(jì)后期可以實現(xiàn)把人的意識移植到機(jī)器中?！?/p>

看起來繁榮昌盛的認(rèn)知神經(jīng)科學(xué)領(lǐng)域，卻沒有人愿意觸碰意識。因為基于自然法則研究意識最大的困難是，沒有任何科學(xué)依據(jù)能將客觀與主觀聯(lián)系在一起，證明兩者之間存在因果關(guān)系?，F(xiàn)有科學(xué)框架無法解釋意識，因為科學(xué)研究被封閉在客觀的框架中，意識科學(xué)超越了現(xiàn)存的科學(xué)研究能力。

多質(zhì)融合心理測量的意識研究觀認(rèn)為：①大腦是意識產(chǎn)生的前提，但意識與物質(zhì)歸屬于兩種不同的現(xiàn)象。就目前的科技研究水平而言，人類仍無法從細(xì)胞或大腦結(jié)構(gòu)等實證研究中推導(dǎo)出意識；②認(rèn)知神經(jīng)活動是意識活動在不同維度上的反應(yīng)，它們表征了意識活動的傾向而不是其本身。認(rèn)知神經(jīng)數(shù)據(jù)與意識的關(guān)系類似于指紋與人的關(guān)系，雖然指紋不能還原出人本身的信息，但我們可以通過指紋信息判定出人的身份。多質(zhì)融合心理測量的研究思想是通過探尋意識活動和認(rèn)知神經(jīng)活動之間的規(guī)律關(guān)系，澄清腦、意識與認(rèn)知神經(jīng)活動之間行為層面的關(guān)系。

3 自然語言的意識喚醒效應(yīng)為多質(zhì)融合技術(shù)提供了理論基礎(chǔ)

在既往研究中，意識喚醒的方法主要包括：當(dāng)研究者希望研究“有意識”和“無意識”時，會試圖在有意識和無意識的刺激之間建立關(guān)聯(lián)或?qū)Ρ?。例如：讓被試對閾值水平附近的刺激物進(jìn)行辨別[23]；連續(xù)閃爍抑制范式，通過向被試一只眼睛呈現(xiàn)連續(xù)閃爍的圖像，另一只眼睛呈現(xiàn)靜止的圖像，使被試看到但意識不到靜止的圖像[24]。當(dāng)研究者希望判別或預(yù)測意識內(nèi)容時，通常會操縱實驗條件，以喚醒被試不同的意識。例如研究視覺體驗時，向被試呈現(xiàn)不同種類的視覺圖片；研究疼痛的意識體驗時，向被試的手臂施加不同程度的熱刺激。既往研究是在嚴(yán)格的實驗室條件下，通過剝離并喚醒出單純的意識體驗，進(jìn)而探討大腦的反應(yīng)。

心理測量意識喚醒，涉及記憶提取、自我參照、判別決策等復(fù)雜信息加工過程，以往采用主觀問題喚醒、主觀應(yīng)答反應(yīng)的途徑，推測意識體驗內(nèi)容。在特定條件下，這種推測是真實的，如醫(yī)院精神心理科就診患者完成的心理測量，可以用簡單的方法解決復(fù)雜的問題。但面對非特定條件下的心理測量，意識喚醒就沒有那么好的運氣了。多質(zhì)融合技術(shù)的使命，就是要在這樣的條件下，尋找一種能喚醒特定復(fù)雜的意識，并又能夠準(zhǔn)確地判斷其意識活動傾向更為恰當(dāng)?shù)姆椒ā?/p>

首先我們需要闡明多質(zhì)融合技術(shù)要喚醒的是什么樣的意識。以抑郁癥為例，當(dāng)判斷是否心情低落時，我們希望探測被試是否具有抑郁癥情緒低落的病理性主觀體驗，而非正常人群心情不佳的體驗，這種體驗儲存于患者情景記憶中。情景記憶以自己的切身經(jīng)歷作為參考系，是指個體對于自己生活的記錄[25]。情景記憶的一個獨特作用是具有“時間心理旅行”的功能，即對過去事件意識的再次體驗，包括行為發(fā)生時的時間、場景、思維、情緒反應(yīng)等[26]?？梢岳斫鉃椋噘|(zhì)融合喚醒的意識是非能力測驗中儲存于被試大腦內(nèi)相關(guān)記憶痕跡?；诖耍噘|(zhì)融合技術(shù)提出的解決方案是使用欲測量心理屬性的人群的自然語料進(jìn)行量表條目編制。

語言是人類意識體驗最直接的記錄。既往研究表明，記憶的提取符合編碼-提取匹配一致性原則，即記憶提取的效果取決于信息編碼和信息提取時線索的匹配程度。匹配程度越高，提取的效果越好[27]。使用自然語言，能夠使得對于題目有過經(jīng)歷的被試更好地提取到行為發(fā)生時的記憶。而沒有這種記憶痕跡的被試，則無法在這種刺激下提取到類似的意識體驗。在過去的研究中，我們對抑郁癥、童年創(chuàng)傷等嘗試使用了自然語料的方法進(jìn)行量表編制，得到了較好的效果[28-29]。

自然語料是喚醒特定復(fù)雜意識有效性的重要手段[6]。多質(zhì)融合技術(shù)承認(rèn)意識與物理間的鴻溝，主觀性的問題須通過主觀性與客觀性相融合的方法解決，認(rèn)知神經(jīng)指標(biāo)可以探測到特定意識活動的傾向性。心理測量的意識喚醒，屬主觀性的喚醒方法。因此，在作答完成一個條目后，可通過詢問被試“該刺激讓你想到了什么、產(chǎn)生了什么樣的畫面感(表象)、是否引起了情緒變化”等，以質(zhì)性分析和李克特式分?jǐn)?shù)評定的方式進(jìn)行綜合評估。

4 自然語料庫的建立為多質(zhì)融合技術(shù)提供了載體，但自然語料的自生成技術(shù)和語言學(xué)差異還需要更深入探索

多質(zhì)融合技術(shù)采用了自然語料進(jìn)行條目編制，因此其一項重要的工作是對不同心理屬性人群的自然語言進(jìn)行科學(xué)提取，建立自然語料庫。

自然語料庫的建立有兩類方式。一種是人工獲取法：由專業(yè)人員向特定被試群體提問開放性問題，要求針對問題展開敘述。比如請做一個5 min的自我介紹，請描述近期讓你印象最深刻的一件事等。通過錄音設(shè)備記錄、語音轉(zhuǎn)換文字、自然語言分析技術(shù)，提取語料，歸類整合，再通過信效度檢驗確定語料的質(zhì)量。人工獲取法的優(yōu)勢是便于實施，可以定向獲取所需話題語料，深入了解被試對一個話題的想法等；缺點是部分被試表述時存在方言、口音，為后期轉(zhuǎn)錄帶來困難，需要耗費大量的人力和時間成本。另一種是網(wǎng)絡(luò)爬蟲法：使用編程從互聯(lián)網(wǎng)自動抓取信息的方法。隨著網(wǎng)絡(luò)時代的普及，社交網(wǎng)絡(luò)為各類志同道合的人群提供了相互交流的平臺，這些語料是未經(jīng)實驗室條件干預(yù)下的天然信息。機(jī)器學(xué)習(xí)領(lǐng)域的研究表明，基于網(wǎng)絡(luò)語言對精神障礙患者進(jìn)行識別是可行且有效的[30]。網(wǎng)絡(luò)爬蟲法的優(yōu)點在于能夠在較短時間內(nèi)獲得大量的語料，例如由于社交媒體的匿名性，人們將會更加愿意披露自己的真實想法和體驗[31]，特別是對于精神障礙及敏感性話題；缺點在于互聯(lián)網(wǎng)的信息良莠不齊，信息來源難以確認(rèn)，有非目標(biāo)語料被錯誤納入語料庫的可能性。因此，網(wǎng)絡(luò)爬蟲法仍需要設(shè)置相關(guān)的人工審核以提高信息的準(zhǔn)確性。

自然語料提取技術(shù)有兩個面臨的挑戰(zhàn)。第一，使用機(jī)器學(xué)習(xí)進(jìn)行自然語料的自生成。隨著自然語言分析領(lǐng)域的進(jìn)步，人工智能表現(xiàn)出了強(qiáng)大的語言生成能力。近期生成型預(yù)訓(xùn)練變換模型(Chat Generative Pre-trained Transformer，ChatGPT)的發(fā)布在社會引起了較大反響。ChatGPT是一種自回歸語言模型，它使用了基于深度學(xué)習(xí)模型的轉(zhuǎn)換器架構(gòu)來生成類似于人類的語言文本。ChatGPT在一系列上下文學(xué)習(xí)方面的表現(xiàn)非常出色，可以按照用戶的要求生成特定角色的語言，以對話的形式與用戶在不同的主題中交談，甚至難以與人類所編寫的語言區(qū)分[32]。專家使用語料庫編制題目需要前期進(jìn)行大量工作，我們希望可以給定一個主題(題目)，由機(jī)器利用語料庫生成語言，以實現(xiàn)題目的實時化生成，極大拓寬多質(zhì)融合在現(xiàn)實場景的應(yīng)用。第二，不同人群、文化、年齡自然語料的差異。理解不同人群自然語料的差異有助于提升多質(zhì)融合的識別準(zhǔn)確性。既往研究者對精神障礙人群的語言差異有著較多的研究，以抑郁癥為例，BERNARD等[33]探究了抑郁癥和消極情緒者在語言使用上的區(qū)別，發(fā)現(xiàn)兩者都會影響代詞的使用，但抑郁癥主要影響第一人稱代詞，而消極情緒主要影響第三人稱代詞。SMIRNOVA等[34]使用標(biāo)準(zhǔn)化的心理語言學(xué)程序，研究了在俄語中抑郁癥患者的語言特點，發(fā)現(xiàn)其語言結(jié)構(gòu)與臨床思維障礙相關(guān)，并認(rèn)為語言變化是抑郁癥的重要病理表現(xiàn)。LEIS等[35]通過爬取推特上西班牙語用戶的發(fā)言，發(fā)現(xiàn)抑郁癥用戶更常見于在夜間發(fā)帖，在語言上更多地使用了動詞和負(fù)性詞。此外，對于同一人群，不同文化、年齡的語言是否有差異，這些差異是否會導(dǎo)致被試答題時的加工差異，需要結(jié)合語言學(xué)繼續(xù)探索。

5 認(rèn)知神經(jīng)多質(zhì)數(shù)據(jù)的融合分析為心理測量提供了客觀依據(jù)，但認(rèn)知神經(jīng)與自然語言識別的關(guān)系研究仍存在挑戰(zhàn)

隨著非接觸認(rèn)知神經(jīng)信息采集技術(shù)的發(fā)展，眼動追蹤、AU、面部血流分布檢測等技術(shù)被廣泛采用。多通道認(rèn)知行為數(shù)據(jù)采集硬件搭建，跨通道融合分析軟件開發(fā)和大數(shù)據(jù)信息傳送與分析等，為多質(zhì)融合技術(shù)的實現(xiàn)奠定了基礎(chǔ)。

為了實現(xiàn)多通道數(shù)據(jù)的大規(guī)模采集，硬件設(shè)備需要考慮以下因素：①時間分辨率高。硬件能夠滿足數(shù)據(jù)采集的實時性，較高的時間分辨率是觀測量表意識加工過程的前提，從而彌補傳統(tǒng)量表只關(guān)注于主觀答題結(jié)果的缺陷。②性價比高。設(shè)備需要價格合適，能夠量產(chǎn)，且在實驗程序上無需繁瑣的準(zhǔn)備流程，以滿足心理測驗短時間內(nèi)完成測試要求。③應(yīng)用場景廣泛。設(shè)備需要兼容性強(qiáng)，具有較強(qiáng)的推廣性。④非接觸式測量。設(shè)備可以在被試沒有察覺的情況下記錄其真實反應(yīng)，不會為心理測量帶來無關(guān)的混雜變量。

5.1 眼動追蹤技術(shù)

眼動追蹤技術(shù)是通過眼動儀觀測人們眼球運動的一種手段。眼動儀可以實時記錄人們視線的注視位置、注視方向及瞳孔大小。眼動不僅可以探查人們行為背后的信息加工機(jī)制，還可以揭示人們不能或者不愿意透露的情緒反應(yīng)、興趣愛好等[36]。課題組既往使用眼動技術(shù)，對抑郁癥患者的識別準(zhǔn)確率達(dá)91.80%[28]，對抑郁障礙高危人群識別準(zhǔn)確率達(dá)88.84%[37]，對童年虐待人群的識別準(zhǔn)確率達(dá)88.82%[29]。然而這項技術(shù)最大的挑戰(zhàn)是通過多指標(biāo)數(shù)據(jù)對自然語言評判的意識傾向性識別模型與標(biāo)準(zhǔn)的確定。

5.2 AU技術(shù)

面部表情是肌肉運動的結(jié)果，蘊含著大量人類情感的有效信息[38]。AU是美國心理學(xué)家保羅·艾克曼等從面部解剖學(xué)角度定義的一套面部運動編碼系統(tǒng)，這套系統(tǒng)的誕生為精確刻畫人臉表情提供了更客觀、更細(xì)粒度的描述方法[39]。通過對AU及其組合進(jìn)行準(zhǔn)確的檢測和分析，有望幫助我們深入理解個體的表情和情緒背后本質(zhì)的意識活動[40]。AU的檢測、識別和分析非常復(fù)雜，涉及圖像處理，模式識別，計算機(jī)視覺以及人工智能等多個領(lǐng)域。除了基于圖片和視頻數(shù)據(jù)對AU進(jìn)行檢測，近些年有些研究工作嘗試采用其他模態(tài)數(shù)據(jù)來檢測AU，比如REALE等[41]使用的點云數(shù)據(jù)和LIU等[42]采用的紅外圖像輔助的方法進(jìn)行AU的檢測。這些方法從多模態(tài)數(shù)據(jù)的角度，一定程度上克服了光照變化等復(fù)雜環(huán)境對AU檢測的干擾。隨著卷積神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等算法的不斷發(fā)展和進(jìn)步，逐步緩解了AU數(shù)據(jù)庫標(biāo)注缺乏等問題，使得提取的AU特征具有更強(qiáng)的解釋性，增強(qiáng)了所構(gòu)建模型的泛化能力[43]。但是，由于AU的發(fā)生時間短、強(qiáng)度低、當(dāng)前數(shù)據(jù)庫的標(biāo)注不足、現(xiàn)實測量場景復(fù)雜多變以及巨大的個體差異等，AU的檢測和識別仍然是極具挑戰(zhàn)性的任務(wù)。本團(tuán)隊既往探討了抑郁癥高危人群作答抑郁體驗問卷、抑郁篩查量表、中文版童年創(chuàng)傷問卷過程中AU的特征和規(guī)律，發(fā)現(xiàn)抑郁高危人群AU的激活程度、復(fù)雜度以及排列熵等特征與正常人群均有顯著差異。這些結(jié)果為基于AU的心理測量研究提供了基礎(chǔ)。

5.3 面部血流分布檢測技術(shù)

面部血管受植物神經(jīng)系統(tǒng)的調(diào)節(jié)，與認(rèn)知和情緒活動變化有關(guān)。目前通常采用熱成像技術(shù)實時記錄面部顏色或溫度變化，通過熱交換平衡模型實現(xiàn)成像轉(zhuǎn)換，監(jiān)測面部血流變化。機(jī)器學(xué)習(xí)和計算機(jī)視覺技術(shù)的發(fā)展，推動了面部血流研究進(jìn)入數(shù)據(jù)驅(qū)動時代。現(xiàn)有研究利用機(jī)器學(xué)習(xí)模型分析面部血流變化規(guī)律，實現(xiàn)對復(fù)雜生理心理狀態(tài)的判斷。NAKAYAMA等[44]發(fā)現(xiàn)，恒河猴面臨威脅性刺激時，鼻孔周圍皮膚溫度顯著下降，提示與負(fù)性情緒狀態(tài)密切相關(guān)；TSIAMYRTZIS等[45]分析被試觀看感興趣和無聊視頻后面部熱圖變化，證實面部血流可用于判斷注意狀態(tài)和興奮程度；HE等[46]提取面部脈搏信號特征，輸入反向傳播神經(jīng)網(wǎng)絡(luò)，實現(xiàn)人臉識別；何森[47]開發(fā)面部血流檢測系統(tǒng)，將提取的時空特征輸入支持向量機(jī)模型，判斷人的生理和心理狀態(tài)；焦佳琛[48]設(shè)計了一套面部血流感知與分析系統(tǒng)，利用卷積神經(jīng)網(wǎng)絡(luò)模型分析面部血流圖像，判斷研究對象的悲傷情緒強(qiáng)度，為臨床抑郁癥的診斷提供參考依據(jù)。本團(tuán)隊基于熱交換平衡血流模型，開展了面部熱成像及成像轉(zhuǎn)換，分析不同語言誘發(fā)下面部血流灌注率的差異。

5.4 多質(zhì)數(shù)據(jù)融合分析

多質(zhì)融合心理測量的目的是：在自然語言啟動下，同步記錄應(yīng)答行為、眼動信號、AU信號、面部血流信號等數(shù)據(jù)，通過對多通道數(shù)據(jù)融合分析，實現(xiàn)對現(xiàn)有心理測驗預(yù)測符合率的提升。由于不同自然語言激活的行為表征可能不同，不同人群易激活的行為表征可能不同，不同心理狀態(tài)激活的行為表征可能不同，因此需要構(gòu)建非線性、非等概率、點對點的多質(zhì)數(shù)據(jù)融合模型。通過融合模型探索認(rèn)知神經(jīng)與自然語言識別的關(guān)系，這是實現(xiàn)多質(zhì)融合心理測量技術(shù)最大的挑戰(zhàn)。這項挑戰(zhàn)需要利用大數(shù)據(jù)及人工智能技術(shù)，完成多指標(biāo)的有機(jī)融合。

多通道數(shù)據(jù)融合分析可通過聯(lián)合架構(gòu)、協(xié)作架構(gòu)和編解碼架構(gòu)等實現(xiàn)。聯(lián)合架構(gòu)是將單通道表示投影到一個共享語義子空間中，以便能夠融合多通道特征；協(xié)同架構(gòu)是尋求協(xié)調(diào)子空間中通道間的關(guān)聯(lián)關(guān)系，以保持各單通道獨有的特征和排他性；編解碼器架構(gòu)是將一個通道映射到另一個通道的中間表示。多通道融合方法分為基于模型無關(guān)的方法和基于模型的方法兩大類。基于模型法的多質(zhì)融合分析包括多核學(xué)習(xí)方法、圖像模型方法和神經(jīng)網(wǎng)絡(luò)方法。堆棧(Stacking)算法是結(jié)合多模型數(shù)據(jù)提取更優(yōu)且預(yù)測結(jié)果魯棒性更高的一種集成學(xué)習(xí)方法，其工作原理是：首先構(gòu)建多個不同類型的一級學(xué)習(xí)模型，然后檢驗每個初級學(xué)習(xí)模型的預(yù)測結(jié)果是否出現(xiàn)錯誤，一旦發(fā)現(xiàn)錯誤會根據(jù)其他初級學(xué)習(xí)模型的判斷構(gòu)建新的二級學(xué)習(xí)模型，以修正融合分析中產(chǎn)生的錯誤。Stacking算法通過對多模型融合錯誤修正機(jī)制，可獲得更加準(zhǔn)確和穩(wěn)定的預(yù)測結(jié)果。由于其允許不同類型的學(xué)習(xí)模型各施其才和互補，再通過二級學(xué)習(xí)模型進(jìn)行綜合判斷，糾正個別模型的誤差，選擇最優(yōu)預(yù)測結(jié)果，使得Stacking算法具有很強(qiáng)的學(xué)習(xí)與泛化能力。