金忠星 李東

摘 要：通過(guò)對(duì)于人類(lèi)大腦活動(dòng)的研究來(lái)分析消費(fèi)者對(duì)廣告和產(chǎn)品的反應(yīng)的神經(jīng)營(yíng)銷(xiāo)正在受到新的關(guān)注。針對(duì)基于腦電波（EEG）的神經(jīng)營(yíng)銷(xiāo)，提出了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的消費(fèi)者對(duì)產(chǎn)品的偏好預(yù)測(cè)方法。首先，為了提取消費(fèi)者EEG的特征，采用短時(shí)傅里葉變換（STFT）與雙調(diào)和樣條插值，從多通道腦電信號(hào)中得到了5個(gè)不同頻帶的EEG形圖視頻;然后，提出了一種結(jié)合5個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）與多層長(zhǎng)短期記憶（LSTM）神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型，用于從腦電地形圖視頻預(yù)測(cè)到消費(fèi)者的偏好。與卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型和LSTM神經(jīng)網(wǎng)絡(luò)模型相比，消費(fèi)者依賴(lài)模型的平均準(zhǔn)確度分別提高了15.05個(gè)百分點(diǎn)和19.44個(gè)百分點(diǎn)，消費(fèi)者獨(dú)立模型的平均準(zhǔn)確度分別提高了16.34個(gè)百分點(diǎn)和17.88個(gè)百分點(diǎn)。理論分析與實(shí)驗(yàn)結(jié)果表明，所提出的消費(fèi)者偏好預(yù)測(cè)系統(tǒng)可以以低成本提供有效的營(yíng)銷(xiāo)策略開(kāi)發(fā)和營(yíng)銷(xiāo)管理。

關(guān)鍵詞：深度學(xué)習(xí);三維卷積神經(jīng)網(wǎng)絡(luò);長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò);神經(jīng)營(yíng)銷(xiāo);腦電地形圖視頻

Abstract： Neuromarketing， by which consumer responses to advertisements and products are analyzed through research on human brain activity， is receiving new attention. Aiming at neuromarketing based on ElectroEncephaloGraphy （EEG）， a method of consumer preference prediction based on deep learning neural network was proposed. Firstly， in order to extract features of consumers EEG， five different frequency bands of EEG topographic videos were obtained from multi-channel EEG signals by using Short Time Fourier Transform （STFT） and biharmonic spline interpolation. Then， a prediction model combining five three-Dimensional Convolutional Neural Networks （3D CNNs） and multi-layer Long Short-Term Memory （LSTM） neural networks was proposed for predicting consumer preference from EEG topographic videos. Compared with the Convolutional Neural Network （CNN） model and LSTM neural network model， the average accuracy of consumer-dependence model was increased by 15.05 percentage points and 19.44 percentage points respectively， and the average accuracy of consumer-independence model was increased by 16.34 percentage points and 17.88 percentage points respectively. Theoretical analysis and experimental results show that the proposed consumer preference prediction system can provide effective marketing strategy development and marketing management at low cost.

Key words： deep learning; 3D Convolutional Neural Network （3D CNN）; Long Short-Term Memory （LSTM） neural network; neuromarketing; ElectroEncephaloGraphy （EEG） topographic video

0 引言

準(zhǔn)確了解消費(fèi)者想要什么以及消費(fèi)者愿意做什么，對(duì)每家公司來(lái)說(shuō)既是渴望又是挑戰(zhàn)，因此，許多公司在消費(fèi)者研究方面投入了大量資金，以提前掌握消費(fèi)者對(duì)產(chǎn)品或廣告的反應(yīng)。然而，與由于各種原因（包括消費(fèi)者和社會(huì)關(guān)系的主觀(guān)感受）導(dǎo)致的公司所花費(fèi)的成本和時(shí)間相比，傳統(tǒng)的研究技術(shù)（例如焦點(diǎn)小組訪(fǎng)談和調(diào)查）往往未能提供令人滿(mǎn)意的結(jié)果。

最近，“神經(jīng)營(yíng)銷(xiāo)”作為克服傳統(tǒng)消費(fèi)者研究局限的更科學(xué)的研究技術(shù)而備受關(guān)注。神經(jīng)營(yíng)銷(xiāo)，是人類(lèi)大腦生物學(xué)研究中的神經(jīng)和商業(yè)營(yíng)銷(xiāo)的結(jié)合名詞。它通過(guò)測(cè)量消費(fèi)者的大腦活動(dòng)，分析大腦活動(dòng)信息（如無(wú)意識(shí)反應(yīng)等），進(jìn)而了解消費(fèi)者的心理和行為，并將其應(yīng)用于營(yíng)銷(xiāo)。在21世紀(jì)，先進(jìn)的高級(jí)工程技術(shù)應(yīng)用于腦生理學(xué)領(lǐng)域，這使人們能夠通過(guò)開(kāi)發(fā)安全的大腦活動(dòng)測(cè)量裝置來(lái)測(cè)量大腦活動(dòng)信息，創(chuàng)造了一種研究消費(fèi)者意識(shí)的新分析方法。通過(guò)這種方法，公司在投入大量營(yíng)銷(xiāo)成本之前，能夠定量地測(cè)量產(chǎn)品或廣告對(duì)消費(fèi)者潛意識(shí)的影響。

近年來(lái)，如功能磁共振成像（functional Magnetic Resonance Imaging， fMRI）、腦磁圖（MagnetoEncephaloGraphy， MEG）和腦電波（ElectroEncephaloGraph， EEG）的測(cè)量裝置已經(jīng)頻繁用于神經(jīng)營(yíng)銷(xiāo)。一項(xiàng)研究利用fMRI數(shù)據(jù)分析了27名青少年的大腦活動(dòng)，并預(yù)測(cè)了音樂(lè)的受歡迎度，該研究結(jié)果顯示參與者的大腦反應(yīng)與三年后的銷(xiāo)售量成正比。然而，這些實(shí)驗(yàn)的成本是巨大的，并且由于諸如保險(xiǎn)、維護(hù)和可移植性問(wèn)題之類(lèi)的額外成本，在神經(jīng)營(yíng)銷(xiāo)中使用fMRI是有限的。MEG用于捕獲由神經(jīng)元活動(dòng)引起的大腦活動(dòng)。這種神經(jīng)元活動(dòng)產(chǎn)生的磁場(chǎng)由MEG通過(guò)時(shí)空信息放大和映射。然而，由于成本較高、技術(shù)復(fù)雜并且皮層下區(qū)域的成像訪(fǎng)問(wèn)受限，因此不優(yōu)選作為開(kāi)發(fā)神經(jīng)營(yíng)銷(xiāo)系統(tǒng)的裝置。與fMRI和MEG相比，腦電波測(cè)量裝置便宜，不限制電極的數(shù)量，易于操作，易于攜帶，維護(hù)成本低得多，同時(shí)提供高時(shí)間分辨率，因此，本研究專(zhuān)注于使用腦電信號(hào)來(lái)分析大腦活動(dòng)信息，并對(duì)消費(fèi)者產(chǎn)品偏好進(jìn)行分類(lèi)和預(yù)測(cè)[1-2]。

目前，使用腦電波信號(hào)的神經(jīng)營(yíng)銷(xiāo)研究已取得一定成果。有一些研究者發(fā)現(xiàn)消費(fèi)者對(duì)產(chǎn)品的腦電波與消費(fèi)者購(gòu)買(mǎi)決策之間存在相關(guān)關(guān)系，因此得到采用腦電波方法的利潤(rùn)增長(zhǎng)率幾乎是問(wèn)卷調(diào)查方法三倍的研究結(jié)論[3-4]。在研究中，有學(xué)者提出了通過(guò)使用主成分分析或帶通濾波器進(jìn)行預(yù)處理并進(jìn)行傅里葉變換來(lái)定量計(jì)算消費(fèi)者偏好和腦電波頻帶之間的相關(guān)性的方法[5-6]。此外，一些學(xué)者還提出了消費(fèi)者偏好預(yù)測(cè)框架來(lái)預(yù)測(cè)消費(fèi)者對(duì)顏色和視頻的情緒狀態(tài)[7-8]。

根據(jù)以往的研究結(jié)果，本研究開(kāi)發(fā)了一種基于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)從消費(fèi)者腦電信號(hào)功率譜密度預(yù)測(cè)產(chǎn)品偏好的新方法。近來(lái)，作為人工智能的機(jī)器學(xué)習(xí)領(lǐng)域的深度學(xué)習(xí)已經(jīng)成功地應(yīng)用于各種領(lǐng)域，例如計(jì)算機(jī)視覺(jué)、圖像和視頻分類(lèi)、預(yù)測(cè)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、網(wǎng)絡(luò)搜索和自主導(dǎo)航。當(dāng)然，在腦電圖研究領(lǐng)域也有許多研究使用深度學(xué)習(xí)[9-10]。本研究的目的是提出一種神經(jīng)營(yíng)銷(xiāo)框架，通過(guò)分析腦電波信號(hào)來(lái)預(yù)測(cè)消費(fèi)者對(duì)電子商務(wù)產(chǎn)品的偏好。該研究首先使用短時(shí)傅里葉變換（Short Time Fourier Transform， STFT）來(lái)計(jì)算多通道腦電波信號(hào)的功率譜密度，并且用雙調(diào)和樣條插值（Biharmonic spline interpolation）從多通道腦電波信號(hào)功率譜密度來(lái)作出腦電地形圖。由于腦電地形圖是圓形的，因此沒(méi)有數(shù)值的非數(shù)區(qū)域存在腦電地形圖矩陣的四個(gè)角中。這些腦電地形圖隨時(shí)間排列的話(huà)，它變成與視頻類(lèi)似的三維格式，稱(chēng)為腦電地形圖視頻。從5個(gè)頻帶中得到的5個(gè)腦電地形圖視頻分別輸入到5個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network， 3D CNN）。為了處理腦電地形圖的非數(shù)區(qū)域，定義面膜層并將其插入到卷積層與池化層之間。將5個(gè)卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）的結(jié)果連接成一個(gè)矩陣，接著將其輸入到長(zhǎng)短期記憶（Long Short-Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)。在這里，卷積神經(jīng)網(wǎng)絡(luò)用作特征學(xué)習(xí)端，用于從5個(gè)頻帶的消費(fèi)者功率譜密度腦電地形圖視頻中提取特征，并且長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)作用于得到的特征預(yù)測(cè)消費(fèi)者的產(chǎn)品偏好的分類(lèi)端。通過(guò)實(shí)驗(yàn)過(guò)程和結(jié)果，確定了結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型的結(jié)構(gòu)參數(shù)，并與其他預(yù)測(cè)方法進(jìn)行了準(zhǔn)確度對(duì)比。

1 腦電波信號(hào)測(cè)量和預(yù)處理

如圖1所示，根據(jù)國(guó)際10-20電極放置方案，在32個(gè)電極位置上測(cè)量腦電波信號(hào)。32個(gè)電極的位置如下：FP1、FP2、AF3、AF4、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T7、T8、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、Oz、O1、O2。測(cè)量的腦電波信號(hào)以1024Hz采樣并發(fā)送到電腦。在電腦中，腦電波信號(hào)再次被下采樣到128Hz并通過(guò)50Hz巴特沃斯（Butterworth）低通濾波器。

在該實(shí)驗(yàn)中，20名年齡在18至40歲之間的男女消費(fèi)者（13名男性和7名女性）自愿參加。產(chǎn)品圖片在電腦屏幕上顯示4秒鐘，消費(fèi)者就所顯示的產(chǎn)品選擇“喜歡”或“不喜歡”。電腦屏幕上顯示的產(chǎn)品如圖2所示。如圖中所示，6種類(lèi)型的產(chǎn)品選擇了3種不同顏色和不同形式的樣本。

2 本研究提出的預(yù)測(cè)系統(tǒng)

在本章中，本文敘述了使用短時(shí)傅里葉變換和雙調(diào)和樣條插值[13]，作出5個(gè)頻帶功率譜密度腦電地形圖視頻的預(yù)處理過(guò)程，然后提出了構(gòu)建預(yù)測(cè)模型的過(guò)程。

2.1 腦電地形圖視頻

正如在引言中已經(jīng)提到的，許多研究人員已經(jīng)研究并建議消費(fèi)者對(duì)產(chǎn)品的偏好可以引起腦電波信號(hào)頻帶的變化，因此，本研究感興趣的是腦電波信號(hào)的功率譜密度作為研究中預(yù)測(cè)模型的輸入數(shù)據(jù)。功率譜密度可以通過(guò)短時(shí)傅里葉變換獲得。短時(shí)傅里葉變換是用于利用窗函數(shù)表示非平穩(wěn)信號(hào)的時(shí)頻分布的時(shí)頻分析方法。短時(shí)間傅里葉變換的計(jì)算方法是將長(zhǎng)時(shí)間信號(hào)分成相同長(zhǎng)度的窗段，然后分別在每個(gè)窗段上計(jì)算傅里葉變換[11]。信號(hào)s（t）的短時(shí)間傅里葉變換F（τ，ω）定義為;

從上面的公式中可以看出，通過(guò)沿著輸入信號(hào)時(shí)間軸移動(dòng)窗來(lái)計(jì)算每個(gè)窗段的傅里葉變換。在短時(shí)間傅里葉變換的功率譜密度中，更寬的窗函數(shù)導(dǎo)致更好的頻率分辨率，并且更窄的窗函數(shù)導(dǎo)致更好的時(shí)間分辨率[12]。該研究中，窗的長(zhǎng)度和相鄰窗之間的重蓋交疊長(zhǎng)度“重蓋長(zhǎng)度”這個(gè)詞是表述正確嗎？請(qǐng)明確分別設(shè)置為128和120，并且使用哈明窗函數(shù)。

腦電波信號(hào)具有時(shí)間、頻率和空間特征，空間特征反映了頭皮上的電極位置。通用腦電波信號(hào)分類(lèi)預(yù)測(cè)方法從多通道腦電波信號(hào)中提取特征并應(yīng)用分類(lèi)預(yù)測(cè)算法。然而，沒(méi)有建議此句不通順，需作相應(yīng)調(diào)整反映電極位置信息的分類(lèi)預(yù)測(cè)方法。該研究試圖基于電極的位置制作腦電地形圖。當(dāng)腦電地形圖隨著時(shí)間排列時(shí)，最終獲得腦電地形圖視頻。腦電地形圖視頻可以顯示頭皮上腦電波信號(hào)的功率譜密度如何隨時(shí)間變化。為了作出腦電地形圖，將Cz電極位置設(shè)定為極坐標(biāo)系的中心點(diǎn)，并將剩余的31個(gè)電極位置相對(duì)排列。

然后，這32個(gè)電極的位置矢量被轉(zhuǎn)換成正交坐標(biāo)系的位置矢量。將雙調(diào)和樣條插值[13]應(yīng)用于32個(gè)正交坐標(biāo)系上的坐標(biāo)點(diǎn)處的腦電信號(hào)功率譜密度，并在41×41網(wǎng)格上繪制腦電地形圖。通過(guò)在每個(gè)時(shí)間點(diǎn)重復(fù)該過(guò)程來(lái)獲取腦電地形圖視頻。通常，根據(jù)頻帶將腦電波信號(hào)分為δ波（0～4Hz）、θ波（4～8Hz）、α波（8～13Hz）、β波（13～30Hz）和λ波（30～50Hz），因此，計(jì)算每個(gè)頻帶中的功率譜密度的總和來(lái)獲得5個(gè)頻帶的腦電地形圖視頻。當(dāng)從4s的腦電波信號(hào)生成腦電地形圖視頻時(shí)，該腦電地形圖視頻由41×41×49矩陣數(shù)據(jù)表示。其中49是時(shí)間點(diǎn)數(shù)。該腦電地形圖視頻在[-1，+1]區(qū)間縮放并輸入到神經(jīng)網(wǎng)絡(luò)輸入層。圖3顯示0.5、1.5、2.5和3.5s時(shí)間點(diǎn)的腦電地形圖。

如圖3所示，在41×41網(wǎng)絡(luò)上繪制的腦電地形圖具有圓形形狀，四個(gè)角上的空白區(qū)域是沒(méi)有數(shù)值的區(qū)域。將此區(qū)域定義為非數(shù)區(qū)域。該研究中，為了便于在神經(jīng)網(wǎng)絡(luò)中進(jìn)行計(jì)算，非數(shù)區(qū)域用0填充。當(dāng)輸入數(shù)據(jù)通過(guò)神經(jīng)網(wǎng)絡(luò)的每個(gè)層時(shí)，在非數(shù)區(qū)域中可以生成非零值，并且這些非數(shù)區(qū)域的非零值可以影響后層的計(jì)算，因此，每當(dāng)在非數(shù)區(qū)域中生成非零值時(shí)，就必須將其除去。

2.2 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)（CNN）是在人類(lèi)神經(jīng)系統(tǒng)中提出的非常有用的神經(jīng)網(wǎng)絡(luò)，并且在各種應(yīng)用中表現(xiàn)出優(yōu)異的性能。卷積神經(jīng)網(wǎng)絡(luò)是一種分層結(jié)構(gòu)，在卷積層和池化層交錯(cuò)時(shí)提取入口數(shù)據(jù)的特征。

卷積層通過(guò)滑動(dòng)窗口方式從輸入數(shù)據(jù)中提取特征，該方式實(shí)現(xiàn)表示數(shù)據(jù)特征的特征映射。執(zhí)行特征映射的卷積內(nèi)核的權(quán)重在卷積層中共享，并且本地鏈接到輸入數(shù)據(jù)。池化層通過(guò)卷積層中的特征映射的平均池化或最大池化來(lái)減小輸出維度的大小，因此，可以忽略諸如輸入數(shù)據(jù)中的精細(xì)移位或失真的變化。在卷積神經(jīng)網(wǎng)絡(luò)的最終結(jié)構(gòu)中，神經(jīng)網(wǎng)絡(luò)完全連接并輸出到一維向量。卷積神經(jīng)網(wǎng)絡(luò)包括一維、二維和三維的卷積神經(jīng)網(wǎng)絡(luò)，通常，一維應(yīng)用于序列數(shù)據(jù)，二維應(yīng)用于圖像數(shù)據(jù)，三維應(yīng)用于視頻數(shù)據(jù)。

人腦活動(dòng)產(chǎn)生的腦電信號(hào)不僅隨著時(shí)間和頻率而變化，而且隨著通道而變化。這些三維數(shù)據(jù)不僅應(yīng)考慮空間（通道和頻率）特征，還應(yīng)考慮時(shí)間特征。二維卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在許多圖像識(shí)別應(yīng)用中得到了廣泛的研究，并且已經(jīng)顯示出良好的結(jié)果，但僅限于處理單幀輸入。三維卷積神經(jīng)網(wǎng)絡(luò)（3D CNN）可以同時(shí)提取空間和時(shí)間的特征，超過(guò)了視頻分析中二維卷積神經(jīng)網(wǎng)絡(luò)的性能[14-15]。在這研究中，三維卷積神經(jīng)網(wǎng)絡(luò)用于三維腦電地形圖視頻的特征學(xué)習(xí)。圖4顯示了三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

三維卷積神經(jīng)網(wǎng)絡(luò)通過(guò)以三維體積格式輸入數(shù)據(jù)來(lái)一起學(xué)習(xí)空間特征和時(shí)間特征。這種時(shí)空特征學(xué)習(xí)是通過(guò)三維卷積和三維池化操作實(shí)現(xiàn)的。使用ReLU（Rectified Linear Unit請(qǐng)補(bǔ)充ReLU的英文全稱(chēng)）作為激活函數(shù)的屬于第i層的第j個(gè)特征映射中的（x，y，z）位置的值通過(guò)式（3）計(jì)算：

2.3 長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型

長(zhǎng)短期記憶（Long Short-Term Memory， LSTM）神經(jīng)網(wǎng)絡(luò)是一種能夠?qū)W習(xí)長(zhǎng)期依賴(lài)性的特殊類(lèi)型的循環(huán)神經(jīng)網(wǎng)絡(luò)，旨在通過(guò)短期記憶解決長(zhǎng)期依賴(lài)性問(wèn)題。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)能夠處理甚至最長(zhǎng)的序列數(shù)據(jù)而不會(huì)消失梯度，現(xiàn)在，它被廣泛用于解決序列數(shù)據(jù)問(wèn)題，例如語(yǔ)音識(shí)別、自然語(yǔ)言處理和圖像的自動(dòng)注釋。

如圖5所示，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)在單個(gè)單元中具有復(fù)雜的循環(huán)結(jié)構(gòu)，其在時(shí)間上按時(shí)間順序連接。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)具有兩個(gè)屬性值：一個(gè)是隨時(shí)間變化的單元的隱藏狀態(tài)H（t）值，另一個(gè)是使得可以長(zhǎng)期維持存儲(chǔ)器的單元狀態(tài)C（t）。在圖5中，在框圖中沿著長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)單元的頂行水平改變單元狀態(tài)。長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)可以在單元狀態(tài)中添加或刪除信息。遺忘門(mén)F（t）調(diào)整輸入X（t）和先前隱藏狀態(tài)H（t-1）與單元狀態(tài)C（t）的連接，允許單元記住或忘記X（t）和H（t-1），并且輸入門(mén)I（t）和I′（t）確定是否將輸入值送到單元狀態(tài)C（t）。輸出門(mén)O（t）還基于單元狀態(tài)C（t）確定單元的輸出[16-18]。該過(guò)程如式（4）～（9）所示：

其中：W和B分別表示權(quán)重矩陣和偏差矢量，σ（·）表示sigmoid函數(shù)，tanh（·）表示雙曲正切函數(shù)。從長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的特性可以看出，可以通過(guò)反映單元的狀態(tài)和內(nèi)部狀態(tài)來(lái)精確地控制輸入數(shù)據(jù)。此外，固定長(zhǎng)度和可變長(zhǎng)度數(shù)據(jù)都可以在長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)入口和出口處理。當(dāng)將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)與其他類(lèi)型的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)一起結(jié)合使用時(shí)，這種優(yōu)勢(shì)比單獨(dú)使用長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)更明顯。

2.4 結(jié)合卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型

三維卷積神經(jīng)網(wǎng)絡(luò)可以提取許多有用的特征，以確保從輸入數(shù)據(jù)成功預(yù)測(cè)，具體取決于三維內(nèi)核的大小。這樣提取的特征也以三維矩陣表示。也就是說(shuō)，它是一種時(shí)空特征。然而，像典型的卷積神經(jīng)網(wǎng)絡(luò)一樣，當(dāng)通過(guò)在最后全連接層將三維特征矩陣制作成單個(gè)矢量來(lái)進(jìn)行分類(lèi)時(shí)，可能時(shí)空特征丟失它們自己的信息。另一方面，如上所述，長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)具有非常適合于時(shí)間序列數(shù)據(jù)的結(jié)構(gòu)，因此，可以從其固有特性在記憶輸入數(shù)據(jù)的長(zhǎng)時(shí)間歷史并同時(shí)輸出結(jié)果。如果建立將三維卷積神經(jīng)網(wǎng)絡(luò)作為特征學(xué)習(xí)端與將長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)作為分類(lèi)/預(yù)測(cè)端的結(jié)合模型，該模型可以獲得非常好的結(jié)果，所以，本研究提出了一種新的消費(fèi)者偏好預(yù)測(cè)模型，通過(guò)長(zhǎng)短期記憶層而不是全連接層，以便在保持從三維卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)獲得的時(shí)空特征信息同時(shí)執(zhí)行預(yù)測(cè)。

圖6顯示所提出的結(jié)合三維卷積神經(jīng)網(wǎng)絡(luò)與長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)模型。如圖6所示，由于腦電地形圖是圓形，因此在輸入到卷積神經(jīng)網(wǎng)絡(luò)的腦電地形圖視頻中存在未定義數(shù)值的非數(shù)區(qū)域（參見(jiàn)圖3）。為了便于在卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行計(jì)算，非數(shù)區(qū)域填充了零。然而，由于卷積神經(jīng)網(wǎng)絡(luò)的特性，在通過(guò)卷積層之后在非數(shù)區(qū)域中產(chǎn)生一些非零數(shù)值。這是不必要的結(jié)果，會(huì)對(duì)后層產(chǎn)生不利影響，因此，在通過(guò)卷積層之后，應(yīng)該去除在非數(shù)區(qū)域中產(chǎn)生的非零數(shù)。在該研究中，定義一個(gè)面膜層來(lái)去除非零值并將其插入到在卷積層和池化層之間。面膜層預(yù)定義0和1元素組成的面膜矩陣，并進(jìn)行面膜矩陣與卷積層結(jié)果的對(duì)應(yīng)元素乘法，以去除在非數(shù)區(qū)域中的非零值。非數(shù)區(qū)域在通過(guò)卷積層和池化層的過(guò)程中逐漸變小并消失，因此必須應(yīng)用面膜層，直到非數(shù)區(qū)域消失。

如圖6所示，在5個(gè)頻帶中得到的腦電地形圖視頻數(shù)據(jù)分別輸入到5個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)。每個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)由幾個(gè)卷積層、面膜層和池化層組成。各個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果保留時(shí)間順序來(lái)組成一個(gè)矩陣，并輸入到長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)層。預(yù)測(cè)結(jié)果通過(guò)幾個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)層輸出。

本文提出的這種預(yù)測(cè)模型可以應(yīng)用于腦電信號(hào)的分類(lèi)和預(yù)測(cè)，同時(shí)它可以提供良好的結(jié)果。首先，與一種基于特定公式或算法從時(shí)間頻率通道格式的大規(guī)模腦電波數(shù)據(jù)中提取特征的方法不同，本文提出的方法具有能夠從三維卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中學(xué)習(xí)特征以產(chǎn)生理想的最終結(jié)果的優(yōu)點(diǎn)。簡(jiǎn)而言之，可以通過(guò)三維卷積神經(jīng)網(wǎng)絡(luò)特征學(xué)習(xí)來(lái)學(xué)習(xí)適合于從腦電波數(shù)據(jù)傳遞到結(jié)果的特征。另外，由于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)被用作分類(lèi)/預(yù)測(cè)端，因此其優(yōu)點(diǎn)在于它可以充分反映根據(jù)時(shí)間的腦電波信號(hào)的變化特性。

3 實(shí)驗(yàn)結(jié)果和分析

如第2章已經(jīng)提到的，在電腦上以128Hz下采樣的腦電波數(shù)據(jù)由32個(gè)通道中的512個(gè)樣本值組成。通過(guò)短時(shí)間傅里葉變換將該腦電波數(shù)據(jù)轉(zhuǎn)換成在32個(gè)通道、49個(gè)時(shí)間樣本和50個(gè)頻帶樣本中以三維形式表示的功率譜密度。該功率譜密度是預(yù)測(cè)模型的輸入數(shù)據(jù)?？偰X電波數(shù)據(jù)中的80%用于學(xué)習(xí)數(shù)據(jù)，20%用于檢查數(shù)據(jù)。

為了評(píng)估所提出的預(yù)測(cè)模型的性能，本研究比較了所提出的預(yù)測(cè)模型與三維卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型。針對(duì)兩種情況進(jìn)行了性能評(píng)估：消費(fèi)者依賴(lài)預(yù)測(cè)模型和消費(fèi)者獨(dú)立預(yù)測(cè)模型。

本研究在Intel 2.5GHz Core i7處理器和內(nèi)存8GHz計(jì)算機(jī)上使用深度學(xué)習(xí)專(zhuān)用包tensorflow開(kāi)發(fā)了一個(gè)Python程序。性能評(píng)估的準(zhǔn)確度（Accuracy， Acc）計(jì)算如下：

當(dāng)消費(fèi)者對(duì)產(chǎn)品的偏好表示為“喜歡”和“不喜歡”時(shí)，TP（True Positive）、FP（False Positive）、TN（True Negative）、FN（False Negative請(qǐng)補(bǔ)充TP、TN、FP、FN的英文全稱(chēng)）分別表示將“喜歡”樣本預(yù)測(cè)為“喜歡”樣本的次數(shù)，將“不喜歡”樣本預(yù)測(cè)為“喜歡”樣本的次數(shù)、將“喜歡”樣本預(yù)測(cè)為“不喜歡”樣本的次數(shù)、將“不喜歡”樣本預(yù)測(cè)為“不喜歡”樣本的次數(shù)。

3.1 預(yù)測(cè)模型的結(jié)構(gòu)和參數(shù)確定以及對(duì)比模型

進(jìn)行實(shí)驗(yàn)以確定圖6所示預(yù)測(cè)模型的結(jié)構(gòu)和參數(shù)，為此提出了4種候選模型，4種候選模型的結(jié)構(gòu)和參數(shù)如表1所示。其中特征學(xué)習(xí)端（第二列）的參數(shù)說(shuō)明為：卷積層（高度×寬度×深度輸出數(shù)量）;面膜層（高度×寬度））;（池化層（高度×寬度×深度）;LSTM層（長(zhǎng)短期記憶單元數(shù)量）。

為了評(píng)估3D CNN-LSTM預(yù)測(cè)模型的有效性，本研究將其與3D CNN和LSTM的單獨(dú)預(yù)測(cè)模型進(jìn)行了比較。3D CNN預(yù)測(cè)模型如3D CNN-LSTM，由兩個(gè)卷積層、一個(gè)面膜層和兩個(gè)池化層組成，最后層連接全連接層輸出預(yù)測(cè)結(jié)果和全連接輸出層組成此句不太通順。對(duì)于LSTM預(yù)測(cè)模型，輸入數(shù)據(jù)隨著時(shí)間軸被轉(zhuǎn)換為二維格式，并且兩個(gè)LSTM層的單元數(shù)分別被設(shè)置為100、20，并且層之間的壓差系數(shù)被設(shè)置為0.6。

3.2 消費(fèi)者依賴(lài)模型的性能對(duì)比

該實(shí)驗(yàn)通過(guò)訓(xùn)練和測(cè)試每個(gè)消費(fèi)者的預(yù)測(cè)模型來(lái)進(jìn)行，因此，所學(xué)習(xí)的預(yù)測(cè)模型就是消費(fèi)者依賴(lài)預(yù)測(cè)模型。首先，當(dāng)產(chǎn)品類(lèi)型設(shè)置為1、3、5和6時(shí)，為每個(gè)消費(fèi)者訓(xùn)練和測(cè)試本文提出的3D CNN-LSTM模型。這些結(jié)果如圖8所示。從圖8中可見(jiàn)，消費(fèi)者在實(shí)驗(yàn)中的偏好預(yù)測(cè)結(jié)果通常顯示出超過(guò)80%的準(zhǔn)確度。尤其是第3、第4和第17消費(fèi)者的平均預(yù)測(cè)準(zhǔn)確度超過(guò)85%;而第5、第14和第15消費(fèi)者的平均預(yù)測(cè)準(zhǔn)確度在75%至80%。消費(fèi)者之間準(zhǔn)確度的差異是由于消費(fèi)者對(duì)產(chǎn)品偏好對(duì)的情緒狀態(tài)不同此句不太通順，因此腦電波信號(hào)的激活狀態(tài)彼此不同。由于消費(fèi)者們對(duì)產(chǎn)品的情緒狀態(tài)互相不同，所以消費(fèi)者們的大腦激活狀態(tài)也互相不同，因此存在消費(fèi)者們之間的準(zhǔn)確度差異。

除了第15和第17消費(fèi)者以外，每個(gè)消費(fèi)者對(duì)產(chǎn)品類(lèi)型數(shù)量的預(yù)測(cè)準(zhǔn)確度沒(méi)有顯示出很明顯的差異。由此可以看出，預(yù)測(cè)消費(fèi)者產(chǎn)品偏好的準(zhǔn)確度不會(huì)受到產(chǎn)品類(lèi)型數(shù)量的影響。

接下來(lái)，使用3個(gè)預(yù)測(cè)模型來(lái)訓(xùn)練每個(gè)消費(fèi)者對(duì)于所有產(chǎn)品類(lèi)型的預(yù)測(cè)模型并測(cè)試。該實(shí)驗(yàn)的結(jié)果如圖9所示。

3D CNN-LSTM模型、3D CNN模型和LSTM神經(jīng)網(wǎng)絡(luò)模型的平均預(yù)測(cè)準(zhǔn)確度分別為82.36%，67.31%和62.92%。本文所提出的3D CNN-LSTM模型的平均預(yù)測(cè)準(zhǔn)確度分別比3D CNN模型和LSTM神經(jīng)網(wǎng)絡(luò)模型提高15.05個(gè)百分點(diǎn)和19.44個(gè)百分點(diǎn)。3D CNN模型的預(yù)測(cè)準(zhǔn)確度比LSTM神經(jīng)網(wǎng)絡(luò)模型提高4.39個(gè)百分點(diǎn)。3D CNN預(yù)測(cè)模型通過(guò)特征學(xué)習(xí)充分反映了時(shí)空特征，但準(zhǔn)確度較低的原因是在全連接層中沒(méi)有考慮特征矩陣的時(shí)間順序。在LSTM神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的情況下，由于僅將連接矩陣連接到輸入層和輸出層而不能通過(guò)時(shí)空特征來(lái)進(jìn)行模型學(xué)習(xí)，因此，盡管反映了輸入數(shù)據(jù)的整體時(shí)間特性，但未反映空間特性。這就是LSTM預(yù)測(cè)模型的性能較低的原因。然而，3D CNN-LSTM預(yù)測(cè)模型獲得了良好的結(jié)果是因?yàn)樘卣骶仃囀峭ㄟ^(guò)CNN特征提取階段中的時(shí)空特征學(xué)習(xí)來(lái)計(jì)算的，并且預(yù)測(cè)結(jié)果是在反映特征矩陣的時(shí)間順序的LSTM分類(lèi)階段中進(jìn)行的。

3.3 消費(fèi)者獨(dú)立模型性能對(duì)比

在之前的實(shí)驗(yàn)中，進(jìn)行消費(fèi)者依賴(lài)預(yù)測(cè)模型的性能評(píng)估。在該實(shí)驗(yàn)中，重點(diǎn)在于構(gòu)建可應(yīng)用于所有消費(fèi)者的預(yù)測(cè)模型，而不考慮每個(gè)消費(fèi)者的特性。表2顯示了消費(fèi)者獨(dú)立預(yù)測(cè)模型的產(chǎn)品類(lèi)型性能對(duì)比。

因?yàn)橄M(fèi)者的大腦活動(dòng)進(jìn)展不同，消費(fèi)者獨(dú)立模型的預(yù)測(cè)結(jié)果比消費(fèi)者依賴(lài)模型大約低10個(gè)百分點(diǎn)。每種產(chǎn)品準(zhǔn)確度的差異與消費(fèi)者對(duì)產(chǎn)品的不同響應(yīng)狀態(tài)有關(guān)。與之前的實(shí)驗(yàn)結(jié)果相似，使用3D CNN和LSTM的預(yù)測(cè)模型分別與3D CNN-LSTM預(yù)測(cè)模型的準(zhǔn)確度大約低16.34個(gè)百分點(diǎn)和17.88個(gè)百分點(diǎn)。3D CNN-LSTM的消費(fèi)者獨(dú)立預(yù)測(cè)模型平均準(zhǔn)確度為71.33%，其中最高73.24%是鞋子產(chǎn)品的，最低69.36%是包箱包產(chǎn)品的。

為了測(cè)試所提出模型的可擴(kuò)展性，本研究分析了消費(fèi)者人數(shù)對(duì)預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確性的影響，為此，通過(guò)將消費(fèi)者人數(shù)改變?yōu)?、10、15和20來(lái)評(píng)估預(yù)測(cè)模型的預(yù)測(cè)準(zhǔn)確度。這些結(jié)果顯示在表3中，可見(jiàn)所提出的模型仍然優(yōu)于3D CNN和LSTM神經(jīng)網(wǎng)絡(luò)模型;而且，隨著消費(fèi)者人數(shù)的增加，所提出模型的預(yù)測(cè)準(zhǔn)確度幾乎保持穩(wěn)定。

4 結(jié)語(yǔ)

本文提出了一種利用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型從消費(fèi)者腦電波信號(hào)預(yù)測(cè)消費(fèi)者產(chǎn)品偏好的新方法，并對(duì)該方法進(jìn)行了評(píng)估實(shí)驗(yàn)。

首先，本研究使用短時(shí)間傅里葉變換和雙調(diào)和樣條插值從多通道腦電波信號(hào)得到五個(gè)頻帶功率譜密度的腦電地形圖視頻;其次，本研究提出結(jié)合特征學(xué)習(xí)端和分類(lèi)預(yù)測(cè)端的消費(fèi)者偏好預(yù)測(cè)模型，該模型中，特征學(xué)習(xí)端由5個(gè)三維卷積神經(jīng)網(wǎng)絡(luò)的并聯(lián)連接組成，而且分類(lèi)預(yù)測(cè)段由2個(gè)長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)的串聯(lián)連接組成;最后，在選取20名消費(fèi)者（13名男性和7名女性）參與實(shí)驗(yàn)并對(duì)預(yù)測(cè)模型進(jìn)行性能評(píng)估模型的訓(xùn)練和測(cè)試后，結(jié)果顯示，與卷積神經(jīng)網(wǎng)絡(luò)模型和長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)模型相比，消費(fèi)者依賴(lài)模型的平均準(zhǔn)確度分別提高了15.05個(gè)百分點(diǎn)和19.44個(gè)百分點(diǎn)，消費(fèi)者獨(dú)立模型的平均準(zhǔn)確度分別提高了16.34個(gè)百分點(diǎn)和17.88個(gè)百分點(diǎn)。綜上，本文提出的預(yù)測(cè)模型的理論特性與實(shí)驗(yàn)結(jié)果，為消費(fèi)者偏好預(yù)測(cè)系統(tǒng)低成本且高效服務(wù)于企業(yè)營(yíng)銷(xiāo)策略研發(fā)與營(yíng)銷(xiāo)管理提供了參考。

參考文獻(xiàn) （References）

[1] SOLEYMANI M， CHANEL G， KIERKELS J J， et al. Affective ranking of movie scenes using physiological signals and content analysis[C]// Proceedings of the 2nd ACM Workshop on Multimedia Semantics. New York： ACM， 2008：32-39.

[2] TELPAZ A， WEBB R， LEVY D J. Using EEG to predict consumers future choices[J]. Journal of Marketing Research， 2015， 52（4）： 511-529.

[3] AMBLER T， BRAEUTIGAM S， STINS J， et al. Salience and choice： neural correlates of shopping decisions[J]. Psychology and Marketing， 2004， 21（4）： 247-261.

[4] BALDO D， PARIKH H， PIU Y， et al. Brain waves predict success of new fashion products： a practical application for the footwear retailing industry[J]. Journal of Creating Value， 2015， 1（1）： 61-71.

[5] KHUSHABA R N， GREENACRE L， KODAGODA S， et al. Choice modeling and the brain： a study on the electroencephalogram （EEG） of preferences[J]. Expert Systems with Applications， 2012， 39（16）： 12378-12388.

[6] MURUGAPPAN M. Wireless EEG signals based neuromarketing system using fast Fourier transform （FFT）[C]// CSPA 2014： Proceedings of the 10th International Colloquium on Signal Processing and Its Applications. Piscataway， NJ： IEEE， 2014：25-30.

[7] BOKSEM M A， SMIDTS A. Brain responses to movie trailers predict individual preferences for movies and their population-wide commercial success[J]. Journal of Marketing Research， 2015， 52（4）： 482-492.

[8] KAWASAKI M， YAMAGUCHI Y. Effects of subjective preference of colors on attention-related occipital theta oscillations[J]. Neuroimage， 2012， 59（1）： 808-814.

[9] FAUST O， HAGIWARA Y， HONG T J， et al. Deep learning for healthcare applications based on physiological signals： A review[J]. Computer Methods and Programs in Biomedicine， 2018， 161： 1-13.

[10] SHU L， XIE J Y， YANG M Y， et al. A review of emotion recognition using physiological signals[J]. Sensors， 2018， 18（7）： 2074.

[11] LIANG J W， CHAUDHURI S R， SHINOZUKA M. Simulation of nonstationary stochastic processes by spectral representation[J]. Journal of Engineering Mechanics， 2007， 133（6）： 616-627.

[12] HUANG G Q， SU Y W， KAREEM A， et al. Time-frequency analysis of nonstationary process based on multivariate empirical mode decomposition[J]. Journal of Engineering Mechanics， 2016， 142（1）： 04015065.

[13] Mathworks Inc. Griddata function description[EB/OL]. [2018-11-20]. https：//ww2.mathworks.cn/help/matlab/ref/griddata.html.

[14] TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks[C]// ICCV 2015： Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 4489-4497.

[15] 孔祥浩，馬琳，李海峰，等.CNN與CSP相結(jié)合的腦電特征提取與識(shí)別方法研究[J].信號(hào)處理，2018，34（2）：164-173.（KONG X H， MA L， LI H F， et al. Research on EEG feature extraction and recognition method based on CNN and CSP[J]. Journal of Signal Processing， 2018， 34（2）： 164-173.）

[16] 謝逸，饒文碧，段鵬飛，等.基于CNN和LSTM混合模型的中文詞性標(biāo)注[J].武漢大學(xué)學(xué)報(bào)（理學(xué)版），2017，63（3）：246-250.（XIE Y， RAO W B， DUAN P F， et al. A Chinese POS tagging approach using CNN and LSTM-based hybrid model[J]. Wuhan University Journal of Natural Sciences， 2017， 63（3）： 246-250.）

[17] GREFF K， SRIVASTAVA R K， KOUTNíK J， et al. LSTM： a search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems， 2015， 28（10）： 2222-2232.

[18] GERS F A， ECK D， SCHMIDHUBER J. Applying LSTM to time series predictable through time-window approaches[C]// ICANN 2001： Proceedings of the 10th International Conference on Artificial Neural Networks. Berlin： Springer， 2001： 21-25.