毛涵，蔣偉

(中國(guó)傳媒大學(xué)視聽技術(shù)與智能控制系統(tǒng)文化部重點(diǎn)實(shí)驗(yàn)室，北京100024)

1 引言

隨著社交網(wǎng)絡(luò)的快速發(fā)展，圖片、視頻等多媒體規(guī)模不斷擴(kuò)大，如何有效處理加工多媒體內(nèi)容已成為人們研究的焦點(diǎn)。以往的圖片、視頻研究集中在高層語義的認(rèn)知層研究，如物體檢測(cè)與人臉識(shí)別。隨著多媒體傳播方式的變革，人們獲取信息不僅僅依靠視覺，同時(shí)聽覺也成為獲取信息的重要渠道。如今，人們不僅僅需要獲取多媒體的內(nèi)容信息，對(duì)多媒體的情感分析需求也日益迫切。有效利用視聽覺融合效應(yīng)逐漸成為多媒體情感研究的突破點(diǎn)。視聽覺融合效應(yīng)的研究可通過對(duì)聲畫關(guān)系和諧與對(duì)立問題來切入圖像的情感語義研究。基本研究思路是通過將視覺與聽覺模態(tài)分開，分別研究圖片和音樂的高層情感語義，通過建立情感空間，采用提取特征的方式探索圖片和音樂的情感語義。但圖片的情緒語義分析研究中常存在情感標(biāo)注維度單一，理解困難等缺點(diǎn)，不利于對(duì)視聽融合下的情感語義研究，因而需要以視聽覺信息融合智能處理科學(xué)與技術(shù)為依托，建立針對(duì)特定場(chǎng)景的情感形容詞標(biāo)注方式。如以影視劇運(yùn)用方向?yàn)槔?，選取影視劇圖片庫(kù)進(jìn)行情感形容詞標(biāo)注。

2 圖片情感庫(kù)現(xiàn)狀

近年來，對(duì)視聽覺融合效應(yīng)下圖片的情感分析研究不斷受到重視。在圖片情感研究中，研究者通過實(shí)驗(yàn)材料對(duì)情感誘發(fā)，以揭示圖片與情感的關(guān)聯(lián)。因此，誘發(fā)情感的圖片選擇就顯得尤為重要，因而需要選取標(biāo)準(zhǔn)化的圖片作為實(shí)驗(yàn)材料，通常是構(gòu)建標(biāo)準(zhǔn)化的圖片庫(kù)。

圖片庫(kù)按類型來分，可分為人物圖片庫(kù)和場(chǎng)景圖片庫(kù)；按照應(yīng)用領(lǐng)域細(xì)分，可分為生物/醫(yī)學(xué)數(shù)據(jù)庫(kù)，遙感圖片庫(kù)等等。人物圖片庫(kù)包括人物表情圖片庫(kù)和人物動(dòng)作圖片庫(kù)，人物表情圖片庫(kù)的構(gòu)建通常選取面孔表演者，要求表演者做出特定的情緒，如中國(guó)大學(xué)生情緒面孔表情圖片庫(kù)[1]；人物動(dòng)作圖片庫(kù)通過任務(wù)說明，要求表演者做出指定動(dòng)作，如MINTA數(shù)據(jù)庫(kù)[2]；場(chǎng)景圖片庫(kù)包括城市景觀圖片庫(kù)，藝術(shù)圖片庫(kù)，風(fēng)景圖片庫(kù)等等。城市景觀圖片庫(kù)的構(gòu)建常采用統(tǒng)一規(guī)格攝像機(jī)記錄特定城市景觀，如Tighe建立的Barcelona城市圖片數(shù)據(jù)庫(kù)；藝術(shù)圖片庫(kù)通常為合成圖片，多為抽象畫，如Abstract圖片庫(kù)。風(fēng)景圖片庫(kù)常按室內(nèi)場(chǎng)景和室外場(chǎng)景分類，按照?qǐng)鼍暗牟煌瑯?gòu)建子類小庫(kù)，如Corel圖片庫(kù)按照Beach、Buildings、Mountains等共計(jì)10類圖片庫(kù)。生物/醫(yī)學(xué)數(shù)據(jù)庫(kù)通過對(duì)具體類型的物體如合成細(xì)胞，胚胎細(xì)胞切片觀察，構(gòu)成生物圖片庫(kù)，如Lauge Sorensen[3]構(gòu)建的肺氣腫細(xì)胞圖片庫(kù)；遙感圖片庫(kù)的圖片一般為航拍圖片或者衛(wèi)星拍攝圖片，如城市遙感建筑圖片庫(kù)[4]。這些圖片庫(kù)的構(gòu)建常采用標(biāo)準(zhǔn)化的流程，通過統(tǒng)一采集圖片的設(shè)備以及拍攝角度，得到標(biāo)準(zhǔn)化的圖片，這些圖片的標(biāo)注通常是對(duì)圖片的特征進(jìn)行標(biāo)注，未涉及語義標(biāo)注。通用的圖片庫(kù)構(gòu)建從圖片的特征角度出發(fā)，未涉及到圖片的高層語義信息—情感語義，因而在針對(duì)圖片的情感分析研究，需要建立特定的圖片情感庫(kù)。

圖片情感研究第一步是選擇合適的圖片類型并進(jìn)行情感標(biāo)記選擇。建立標(biāo)準(zhǔn)的圖片情感庫(kù)需要采用標(biāo)準(zhǔn)化的情感標(biāo)注方式，通常是采用情感空間模型描述方法。圖片情感空間建模的研究在國(guó)內(nèi)外還處在初級(jí)階段。圖片情感研究需要合適的情感形容詞和情感維度進(jìn)行描述并建模，大多數(shù)研究者都是根據(jù)經(jīng)典的心理學(xué)理論或者專家經(jīng)驗(yàn)構(gòu)建模型，沒有一個(gè)標(biāo)準(zhǔn)的表示模式。圖片情感模型的構(gòu)建主要基于情緒心理學(xué)中的兩個(gè)理論，分別是基本情緒理論和情緒維度理論：一類是將情感離散化，即將情感分為幾種類型，比如Ekman[5]把情感分為六種：高興、悲傷、驚訝、恐懼、憤怒和厭惡，Andrew Ortony根據(jù)事件、目標(biāo)和動(dòng)作等評(píng)價(jià)標(biāo)準(zhǔn)形成22種情感分類，即OCC模型[6]；另一類是把情感映射到維度情感空間中，在連續(xù)的情感空間中對(duì)情感進(jìn)行研究，即支持情感的維度論。在此基礎(chǔ)上，Mehrabian進(jìn)行大量研究，提出了PAD三維情感維度模型[7]，該模型隨后得到了廣大學(xué)者的認(rèn)可。

不同的圖片情感數(shù)據(jù)集對(duì)情感的標(biāo)注也不統(tǒng)一，有的數(shù)據(jù)集還未對(duì)外公布，目前已公布的常用圖片情感數(shù)據(jù)庫(kù)有：IAPS，CAPS，Art photo，Abstract等。在常用圖片情感數(shù)據(jù)庫(kù)中，OCC模型和PAD模型廣泛運(yùn)用于情感圖片庫(kù)的標(biāo)注，如在IAPS(國(guó)際情感圖片系統(tǒng))中，有1182幅紀(jì)錄片風(fēng)格彩色圖片，分別從愉悅度(Pleasure)，喚醒度(Arousal)，優(yōu)勢(shì)度(Dominance)三個(gè)維度進(jìn)行標(biāo)注，圖片格式為jpg，分辨率未統(tǒng)一；CAPS又稱中文情感圖片庫(kù)，按照內(nèi)容清晰，含義明確，沒有文字并盡量突出刺激物本身的原則從2000多幅圖片中共選取852張具有東方特色的圖片，使用P、A、D三個(gè)維度進(jìn)行情感標(biāo)記，格式為bmp。但現(xiàn)有的情感圖片庫(kù)的類型多樣，但并未建立統(tǒng)一的標(biāo)準(zhǔn)，僅僅采用PAD值作為情感標(biāo)注方式，不利于針對(duì)具體類型圖片的情感分析研究。

針對(duì)特定領(lǐng)域的情感圖片庫(kù)，國(guó)內(nèi)外研究者在圖片庫(kù)情感標(biāo)注中除改進(jìn)已有的心理學(xué)模型，如OCC和PAD情感模型外，常通過情感形容詞的方式對(duì)特定類型圖片庫(kù)進(jìn)行標(biāo)注研究。在常用圖片情感數(shù)據(jù)庫(kù)中，如構(gòu)建藝術(shù)情感圖片庫(kù)時(shí)，采取形容詞標(biāo)注的方式，Colomb[8]等人便根據(jù)藝術(shù)繪畫中的線條、顏色、形狀所表示的情感特性，定義幾個(gè)常用的形容詞(溫暖的、清涼的、自然的等)來描述圖片的情感，并建立了情感空間；Yunhee[9]等人選取粗糙等多個(gè)形容詞對(duì)紡織圖片進(jìn)行了標(biāo)注；王上飛等[10-11]從心理學(xué)的“維量”思想出發(fā)，使用維量分析方法建立了情感空間。曹建芳[12]提出一種融合了情緒、性格因素的OCC情感量化模型，用10個(gè)相關(guān)情感形容詞對(duì)來自SUN Data BASE的未知場(chǎng)景圖進(jìn)行情感標(biāo)注。張海波[13]對(duì)服裝面料圖片的情感描述進(jìn)行研究并建立了面料圖片情感因子空間模型，將服裝圖片特征與七組情感形容詞聯(lián)系起來。付亞麗[14]對(duì)木材圖片特有的紋理特征進(jìn)行分析，建立起木材圖片的情感(“華麗的”和“自然的”)特征空間。高彥宇[15]提取自然風(fēng)景圖片的顏色、紋理等視覺特征，使用5組情感形容詞對(duì)Corel圖片庫(kù)中的部分風(fēng)景圖片進(jìn)行自動(dòng)標(biāo)識(shí)。

目前情感圖片庫(kù)除風(fēng)景庫(kù)，服飾庫(kù)外，針對(duì)特定運(yùn)用領(lǐng)域建庫(kù)較少，以影視劇情感研究為例，還未形成標(biāo)準(zhǔn)的情感標(biāo)注體系。由于目前國(guó)內(nèi)建立的情緒詞庫(kù)都側(cè)重于考察普通詞語的情感色彩，而不是考察情緒詞的情感色彩，如羅躍嘉[16]等人建立的漢語情感詞系統(tǒng)(CAWS)從感情色彩角度考慮了普通詞的情感要素。情感詞(affective words)和情緒詞(emotional words)屬于不同類型的詞語。情感詞通過其語義理解和個(gè)人感知使個(gè)體對(duì)詞語的情感色彩進(jìn)行把握；情緒詞直接描述人的情緒狀態(tài)(如愉快、興奮等)而非個(gè)人感知。同時(shí)，在國(guó)外大多數(shù)的圖片情感研究中幾乎都是情感詞[6]。這兩種詞語在圖片情感實(shí)驗(yàn)研究中誘發(fā)的情緒體驗(yàn)是不同的。將這些詞庫(kù)的情感詞直接作為標(biāo)注材料難免會(huì)影響標(biāo)注的結(jié)果。而采用單一的PAD值進(jìn)行標(biāo)注，標(biāo)注類型單一，理解抽象，不利于標(biāo)注者識(shí)別具體意義，同時(shí)不利于后期情感分析研究。目前研究中使用的情感標(biāo)注詞未嚴(yán)格區(qū)分情感詞和情緒詞，使用已有的標(biāo)準(zhǔn)化的情緒詞在情感分析研究中具有一定的局限性，不能直接用于圖片標(biāo)注。

以電影圖片情感內(nèi)容分析研究為例，國(guó)內(nèi)外學(xué)者常采用已有的情感空間模型，進(jìn)行簡(jiǎn)單的PAD值的標(biāo)注，與電影領(lǐng)域相適應(yīng)的情感形容詞標(biāo)注尚未建立。有鑒于此，通過對(duì)聲畫關(guān)系和諧與對(duì)立關(guān)系的研究，有必要篩選出適用于視聽覺信息融合智能處理科學(xué)與技術(shù)的標(biāo)準(zhǔn)化影視劇圖片標(biāo)注的情感形容詞，以推動(dòng)特定類型圖片下情感的研究，即針對(duì)影視劇類型進(jìn)行情感內(nèi)容分析，需要選取影視劇單幀圖片標(biāo)準(zhǔn)化情感標(biāo)注詞。

3 情感標(biāo)注詞的篩選

為研究特定場(chǎng)景的圖片情感語義，需要建立與之匹配的情感空間。以影視劇圖片情感內(nèi)容分析研究為例，采用特定的情感詞建立情感空間。情感空間的建立可分為情感詞的確立，情感維度確定，情感空間維度物理意義確定，情感空間確立這四步；首先要進(jìn)行情感形容詞的篩選。

特定類型圖片的情感標(biāo)注形容詞的選取通常包括廣泛搜集，主觀評(píng)價(jià)，標(biāo)準(zhǔn)化篩選[12]等幾步。以影視劇單幀圖片為例，選取影視劇單幀圖片標(biāo)準(zhǔn)化情感標(biāo)注形容詞可分為以下幾步：(1)收集表達(dá)心理情感的形容詞；(2)篩選針對(duì)圖片類型的情感形容詞；(3)對(duì)情感形容詞做相似性度量；(4)情感形容詞的確立。如下圖1所示。

圖1 電影圖片情感詞篩選流程

3.1 情感詞搜集

首先對(duì)形容詞進(jìn)行初步匯總，確立情感形容詞的定義。情感形容詞是指直接描述愉快、興奮、痛苦等情感狀態(tài)的形容詞。為了保證情感詞的來源具有全面性和代表性，第一，選取經(jīng)典心理學(xué)家等對(duì)圖片情感的描述詞，第二，選取圖片情感領(lǐng)域研究者對(duì)圖片情感的描述詞，第三，來自《現(xiàn)代漢語詞典》收集的情感形容詞。避免字?jǐn)?shù)對(duì)認(rèn)知實(shí)驗(yàn)(尤其是ERP和fMRI實(shí)驗(yàn))結(jié)果的干擾，在篩選過程中只保留字?jǐn)?shù)為2的形容詞，得到160個(gè)備選形容詞。

3.2 情感詞初步篩選

在正式進(jìn)行整理工作前，征求相關(guān)專家學(xué)者5人意見，就初步整理的160個(gè)詞語進(jìn)行探討，包括對(duì)情感形容詞的理解和選擇標(biāo)準(zhǔn)，去除情緒形容詞。再通過去除在意義上相近的心理動(dòng)詞，去除主觀評(píng)價(jià)色彩形容詞，保留絕對(duì)義性質(zhì)形容詞，對(duì)篩選形容詞而言，不能只從語義范疇去考慮，還要依據(jù)形式標(biāo)準(zhǔn)去判定。根據(jù)文獻(xiàn)的分析研究，情感形容詞的判定標(biāo)準(zhǔn)如下：

(1)能進(jìn)入以下語句 “NP1+很+_?！?/p>

不能進(jìn)入以下語句：NP1很+_+NP2

根據(jù)這項(xiàng)標(biāo)準(zhǔn)可以把情感形容詞和表示情感的心理動(dòng)詞區(qū)分開。

(2)能進(jìn)入以下語句：“NP1比NP2更+_?！?/p>

不能進(jìn)入以下語句：NP1比NP2+_；

根據(jù)這項(xiàng)標(biāo)準(zhǔn)可以把表示絕對(duì)義的情感形容詞和表示相對(duì)義的形容詞區(qū)分開來。

(3)能進(jìn)入以下語句：“NP1令人感到_?！?/p>

根據(jù)這項(xiàng)標(biāo)準(zhǔn)把表示情感形容詞和情緒形容詞區(qū)分開來。

在達(dá)成一致意見的情況下，開始正式的篩選詞匯工作。最后將篩選完成的情感形容詞100個(gè)情感形容詞作為實(shí)驗(yàn)對(duì)象。

3.3 情感詞的確立

3.3.1 被試選取

被試選取中國(guó)傳媒大學(xué)理工科研究生20人，隨機(jī)分成2組，一組10人，實(shí)驗(yàn)者從未參加過類似實(shí)驗(yàn)。每組被試女性與男性被試比例不高于 2：1，平均年齡22±2 歲，所有被試者均身體健康，無明顯精神疾病，無色盲，視力或矯正視力正常。實(shí)驗(yàn)前對(duì)被試使用貝克抑郁量表以及狀態(tài)-特質(zhì)焦慮量表進(jìn)行評(píng)定(M 焦慮=31.89，SD=10.90；M抑郁=10.56，SD=6.66)，所有被試均處于正常水平。實(shí)驗(yàn)前告知被試實(shí)驗(yàn)內(nèi)容，并簽署知情同意書。

3.3.2 情感形容詞確立

首先對(duì)情感形容詞以問卷調(diào)查的形式，選取可用于描述影視劇場(chǎng)景中的情感形容詞。將100個(gè)形容詞分為5組，每組20個(gè)形容詞，將20人分2組進(jìn)行測(cè)試。

回收問卷20份，去除無效問卷1份，得到19份問卷，對(duì)其信度進(jìn)行分析，得到Alpha信度系數(shù)為0.922，問卷信度良好。根據(jù)頻次統(tǒng)計(jì)，選取頻次超過11的詞語備選，共獲得49個(gè)情感形容詞。頻次統(tǒng)計(jì)如下圖2、圖3所示。

圖2 頻次統(tǒng)計(jì)圖

圖3 情感形容詞頻次統(tǒng)計(jì)圖

49個(gè)情感形容詞中在篩選時(shí)并未考慮去除語義上相似詞語，即存在近義詞，如愉快與開心就是一對(duì)近義詞，使用近義詞標(biāo)注圖像情感時(shí)會(huì)產(chǎn)生語義重合，不利于后期語義分析。需要考慮通過語義的相似性進(jìn)行去重。

則需要計(jì)算詞語之間的相似性，語義相似度的計(jì)算主要有兩種方法：一類是通過語義詞典，把有關(guān)詞語的概念組織在一個(gè)樹形結(jié)構(gòu)中來計(jì)算；另一類主要是通過詞語的上下文信息，運(yùn)用統(tǒng)計(jì)方法進(jìn)行求解。通過給定兩個(gè)詞匯w1和w2，計(jì)算他們之間的相似度，通過Sim(w1，w2)：S*S->[0，1]表示集合S中的兩個(gè)詞匯w1和w2的相似程度。在自然語言處理中，詞語的語義是指在不同的上下文語境中，對(duì)整體語義所作出的貢獻(xiàn)。相似度函數(shù)值域在[0，1]之間，一個(gè)詞語和它本身相似度函數(shù)值為1，兩個(gè)詞的語義越相似，相似度函數(shù)值越高。相似性函數(shù)計(jì)算流程如下圖4。

圖4 相似性函數(shù)計(jì)算流程流程圖

使用同義詞詞林計(jì)算[17]的方式將49個(gè)詞語分組，同義詞詞林計(jì)算按照樹狀的層次結(jié)構(gòu)把所有收錄的詞條組織到一起，把詞分為大，中，小三類。這些詞又根據(jù)詞義的類型分成了若干個(gè)詞群，每個(gè)詞群中的詞語又進(jìn)一步分為不同小類，同一層次的詞語要么詞義相近，要么詞義有很強(qiáng)相關(guān)性。同義詞林詞典分類采用層級(jí)體系，具備5層結(jié)構(gòu)，隨著級(jí)別遞增，詞義刻畫越來越細(xì)。其中同義詞詞林相似度計(jì)算算法思路如下：

首先，設(shè)置輸入樣本為{w1，w2，…，wn}

(1)隨機(jī)選取w1，w2

(2)進(jìn)行義項(xiàng)判斷

(3)若w1，w2不在同一棵樹

則Sim(w1，w2)=f；

(4)若w1，w2在同一棵樹

(a)若在第二層分支，系數(shù)為a

(b)若在第三層分支，系數(shù)為b

(c)若在第四層分支，系數(shù)為c

(d)若在第五層分支，系數(shù)為d

采用如上方法計(jì)算待選詞的相似度，部分計(jì)算結(jié)果如表1所示。通過Sim(w1，w2)數(shù)值可得到多個(gè)詞語相似類，詞語相似類統(tǒng)計(jì)結(jié)果如表2所示。

表1 相似度計(jì)算統(tǒng)計(jì)表

表2 詞語相似類統(tǒng)計(jì)表

34個(gè)詞之間構(gòu)成11組相似類，采用主觀實(shí)驗(yàn)評(píng)價(jià)方式獲取一組詞中最能表現(xiàn)影視劇圖片情感的形容詞，這34個(gè)詞選擇統(tǒng)計(jì)結(jié)果如圖5所示。

圖5 情感形容詞相似性分組篩選

共計(jì)得到共26個(gè)情感形容詞如下：幸福，沮喪，孤獨(dú)，夢(mèng)幻，迷惑，憤怒，平靜，無聊，緊張，震驚，厭惡，惆悵，興奮，愉快，自豪，神圣，郁悶，恐懼，輕松，悲傷，熱血，溫馨，浪漫，失落，壓抑，激動(dòng)。

4 結(jié)論

情緒詞的標(biāo)準(zhǔn)化工作包含材料的篩選、評(píng)定維度的確定、評(píng)定結(jié)果的可靠性等重要內(nèi)容。首先，這項(xiàng)研究在選詞的思路上參照了羅躍嘉[6]等人的研究。先廣泛收集情感形容詞，再由專業(yè)人員對(duì)情緒形容詞做出判斷和甄選，然后在普通大學(xué)生中采集數(shù)據(jù)。這種思路既保證研究的效率，又保證了研究所需的效度。其次，以往的圖像情感研究結(jié)果表明，情緒障礙甚至負(fù)面的心境都會(huì)影響到被試對(duì)情緒材料的加工。在實(shí)驗(yàn)之前，對(duì)20名學(xué)生最近一周情緒狀態(tài)的調(diào)查表明，被試的情緒總體上沒有出現(xiàn)抑郁和焦慮情緒。這排除了被試自身心境對(duì)評(píng)定的影響。這項(xiàng)研究初步對(duì)情緒形容詞的進(jìn)行了標(biāo)準(zhǔn)化篩選工作，并通過一些措施確保評(píng)定結(jié)果的客觀性和可靠性。總的來看，26個(gè)情緒形容詞可以作為素材庫(kù)標(biāo)注體系的一部分，應(yīng)用于電影圖片庫(kù)的情感標(biāo)注。通過對(duì)篩選出的情感形容詞的進(jìn)一步實(shí)驗(yàn)，通過聚類操作得到情感空間的多維度，通過明確其量化維度的物理意義，最終建立具有針對(duì)性的情感空間模型，可為視聽覺融合效應(yīng)下對(duì)聲畫關(guān)系和諧與對(duì)立關(guān)系的研究提供幫助，有利于進(jìn)一步完善視聽覺融合下的情感研究。