消費者偏好預測的深度學習神經網絡模型

金忠星 李東

摘 要：通過對于人類大腦活動的研究來分析消費者對廣告和產品的反應的神經營銷正在受到新的關注。針對基于腦電波（EEG）的神經營銷，提出了一種基于深度學習神經網絡的消費者對產品的偏好預測方法。首先，為了提取消費者EEG的特征，采用短時傅里葉變換（STFT）與雙調和樣條插值，從多通道腦電信號中得到了5個不同頻帶的EEG形圖視頻;然后，提出了一種結合5個三維卷積神經網絡（3D CNN）與多層長短期記憶（LSTM）神經網絡的預測模型，用于從腦電地形圖視頻預測到消費者的偏好。與卷積神經網絡（CNN）模型和LSTM神經網絡模型相比，消費者依賴模型的平均準確度分別提高了15.05個百分點和19.44個百分點，消費者獨立模型的平均準確度分別提高了16.34個百分點和17.88個百分點。理論分析與實驗結果表明，所提出的消費者偏好預測系統可以以低成本提供有效的營銷策略開發和營銷管理。

關鍵詞：深度學習;三維卷積神經網絡;長短期記憶神經網絡;神經營銷;腦電地形圖視頻

Abstract： Neuromarketing， by which consumer responses to advertisements and products are analyzed through research on human brain activity， is receiving new attention. Aiming at neuromarketing based on ElectroEncephaloGraphy （EEG）， a method of consumer preference prediction based on deep learning neural network was proposed. Firstly， in order to extract features of consumers EEG， five different frequency bands of EEG topographic videos were obtained from multi-channel EEG signals by using Short Time Fourier Transform （STFT） and biharmonic spline interpolation. Then， a prediction model combining five three-Dimensional Convolutional Neural Networks （3D CNNs） and multi-layer Long Short-Term Memory （LSTM） neural networks was proposed for predicting consumer preference from EEG topographic videos. Compared with the Convolutional Neural Network （CNN） model and LSTM neural network model， the average accuracy of consumer-dependence model was increased by 15.05 percentage points and 19.44 percentage points respectively， and the average accuracy of consumer-independence model was increased by 16.34 percentage points and 17.88 percentage points respectively. Theoretical analysis and experimental results show that the proposed consumer preference prediction system can provide effective marketing strategy development and marketing management at low cost.

Key words： deep learning; 3D Convolutional Neural Network （3D CNN）; Long Short-Term Memory （LSTM） neural network; neuromarketing; ElectroEncephaloGraphy （EEG） topographic video

0 引言

準確了解消費者想要什么以及消費者愿意做什么，對每家公司來說既是渴望又是挑戰，因此，許多公司在消費者研究方面投入了大量資金，以提前掌握消費者對產品或廣告的反應。然而，與由于各種原因（包括消費者和社會關系的主觀感受）導致的公司所花費的成本和時間相比，傳統的研究技術（例如焦點小組訪談和調查）往往未能提供令人滿意的結果。

最近，“神經營銷”作為克服傳統消費者研究局限的更科學的研究技術而備受關注。神經營銷，是人類大腦生物學研究中的神經和商業營銷的結合名詞。它通過測量消費者的大腦活動，分析大腦活動信息（如無意識反應等），進而了解消費者的心理和行為，并將其應用于營銷。在21世紀，先進的高級工程技術應用于腦生理學領域，這使人們能夠通過開發安全的大腦活動測量裝置來測量大腦活動信息，創造了一種研究消費者意識的新分析方法。通過這種方法，公司在投入大量營銷成本之前，能夠定量地測量產品或廣告對消費者潛意識的影響。

近年來，如功能磁共振成像（functional Magnetic Resonance Imaging， fMRI）、腦磁圖（MagnetoEncephaloGraphy， MEG）和腦電波（ElectroEncephaloGraph， EEG）的測量裝置已經頻繁用于神經營銷。一項研究利用fMRI數據分析了27名青少年的大腦活動，并預測了音樂的受歡迎度，該研究結果顯示參與者的大腦反應與三年后的銷售量成正比。然而，這些實驗的成本是巨大的，并且由于諸如保險、維護和可移植性問題之類的額外成本，在神經營銷中使用fMRI是有限的。MEG用于捕獲由神經元活動引起的大腦活動。這種神經元活動產生的磁場由MEG通過時空信息放大和映射。然而，由于成本較高、技術復雜并且皮層下區域的成像訪問受限，因此不優選作為開發神經營銷系統的裝置。與fMRI和MEG相比，腦電波測量裝置便宜，不限制電極的數量，易于操作，易于攜帶，維護成本低得多，同時提供高時間分辨率，因此，本研究專注于使用腦電信號來分析大腦活動信息，并對消費者產品偏好進行分類和預測[1-2]。

目前，使用腦電波信號的神經營銷研究已取得一定成果。有一些研究者發現消費者對產品的腦電波與消費者購買決策之間存在相關關系，因此得到采用腦電波方法的利潤增長率幾乎是問卷調查方法三倍的研究結論[3-4]。在研究中，有學者提出了通過使用主成分分析或帶通濾波器進行預處理并進行傅里葉變換來定量計算消費者偏好和腦電波頻帶之間的相關性的方法[5-6]。此外，一些學者還提出了消費者偏好預測框架來預測消費者對顏色和視頻的情緒狀態[7-8]。

根據以往的研究結果，本研究開發了一種基于深度學習神經網絡從消費者腦電信號功率譜密度預測產品偏好的新方法。近來，作為人工智能的機器學習領域的深度學習已經成功地應用于各種領域，例如計算機視覺、圖像和視頻分類、預測、語音識別、自然語言處理、網絡搜索和自主導航。當然，在腦電圖研究領域也有許多研究使用深度學習[9-10]。本研究的目的是提出一種神經營銷框架，通過分析腦電波信號來預測消費者對電子商務產品的偏好。該研究首先使用短時傅里葉變換（Short Time Fourier Transform， STFT）來計算多通道腦電波信號的功率譜密度，并且用雙調和樣條插值（Biharmonic spline interpolation）從多通道腦電波信號功率譜密度來作出腦電地形圖。由于腦電地形圖是圓形的，因此沒有數值的非數區域存在腦電地形圖矩陣的四個角中。這些腦電地形圖隨時間排列的話，它變成與視頻類似的三維格式，稱為腦電地形圖視頻。從5個頻帶中得到的5個腦電地形圖視頻分別輸入到5個三維卷積神經網絡（3D Convolutional Neural Network， 3D CNN）。為了處理腦電地形圖的非數區域，定義面膜層并將其插入到卷積層與池化層之間。將5個卷積神經網絡（Convolutional Neural Network， CNN）的結果連接成一個矩陣，接著將其輸入到長短期記憶（Long Short-Term Memory， LSTM）神經網絡。在這里，卷積神經網絡用作特征學習端，用于從5個頻帶的消費者功率譜密度腦電地形圖視頻中提取特征，并且長短期記憶神經網絡作用于得到的特征預測消費者的產品偏好的分類端。通過實驗過程和結果，確定了結合三維卷積神經網絡和長短期記憶神經網絡的預測模型的結構參數，并與其他預測方法進行了準確度對比。

1 腦電波信號測量和預處理

如圖1所示，根據國際10-20電極放置方案，在32個電極位置上測量腦電波信號。32個電極的位置如下：FP1、FP2、AF3、AF4、Fz、F3、F4、F7、F8、FC1、FC2、FC5、FC6、Cz、C3、C4、T7、T8、CP1、CP2、CP5、CP6、Pz、P3、P4、P7、P8、PO3、PO4、Oz、O1、O2。測量的腦電波信號以1024Hz采樣并發送到電腦。在電腦中，腦電波信號再次被下采樣到128Hz并通過50Hz巴特沃斯（Butterworth）低通濾波器。

在該實驗中，20名年齡在18至40歲之間的男女消費者（13名男性和7名女性）自愿參加。產品圖片在電腦屏幕上顯示4秒鐘，消費者就所顯示的產品選擇“喜歡”或“不喜歡”。電腦屏幕上顯示的產品如圖2所示。如圖中所示，6種類型的產品選擇了3種不同顏色和不同形式的樣本。

2 本研究提出的預測系統

在本章中，本文敘述了使用短時傅里葉變換和雙調和樣條插值[13]，作出5個頻帶功率譜密度腦電地形圖視頻的預處理過程，然后提出了構建預測模型的過程。

2.1 腦電地形圖視頻

正如在引言中已經提到的，許多研究人員已經研究并建議消費者對產品的偏好可以引起腦電波信號頻帶的變化，因此，本研究感興趣的是腦電波信號的功率譜密度作為研究中預測模型的輸入數據。功率譜密度可以通過短時傅里葉變換獲得。短時傅里葉變換是用于利用窗函數表示非平穩信號的時頻分布的時頻分析方法。短時間傅里葉變換的計算方法是將長時間信號分成相同長度的窗段，然后分別在每個窗段上計算傅里葉變換[11]。信號s（t）的短時間傅里葉變換F（τ，ω）定義為;

從上面的公式中可以看出，通過沿著輸入信號時間軸移動窗來計算每個窗段的傅里葉變換。在短時間傅里葉變換的功率譜密度中，更寬的窗函數導致更好的頻率分辨率，并且更窄的窗函數導致更好的時間分辨率[12]。該研究中，窗的長度和相鄰窗之間的重蓋交疊長度“重蓋長度”這個詞是表述正確嗎？請明確分別設置為128和120，并且使用哈明窗函數。

腦電波信號具有時間、頻率和空間特征，空間特征反映了頭皮上的電極位置。通用腦電波信號分類預測方法從多通道腦電波信號中提取特征并應用分類預測算法。然而，沒有建議此句不通順，需作相應調整反映電極位置信息的分類預測方法。該研究試圖基于電極的位置制作腦電地形圖。當腦電地形圖隨著時間排列時，最終獲得腦電地形圖視頻。腦電地形圖視頻可以顯示頭皮上腦電波信號的功率譜密度如何隨時間變化。為了作出腦電地形圖，將Cz電極位置設定為極坐標系的中心點，并將剩余的31個電極位置相對排列。

然后，這32個電極的位置矢量被轉換成正交坐標系的位置矢量。將雙調和樣條插值[13]應用于32個正交坐標系上的坐標點處的腦電信號功率譜密度，并在41×41網格上繪制腦電地形圖。通過在每個時間點重復該過程來獲取腦電地形圖視頻。通常，根據頻帶將腦電波信號分為δ波（0～4Hz）、θ波（4～8Hz）、α波（8～13Hz）、β波（13～30Hz）和λ波（30～50Hz），因此，計算每個頻帶中的功率譜密度的總和來獲得5個頻帶的腦電地形圖視頻。當從4s的腦電波信號生成腦電地形圖視頻時，該腦電地形圖視頻由41×41×49矩陣數據表示。其中49是時間點數。該腦電地形圖視頻在[-1，+1]區間縮放并輸入到神經網絡輸入層。圖3顯示0.5、1.5、2.5和3.5s時間點的腦電地形圖。

如圖3所示，在41×41網絡上繪制的腦電地形圖具有圓形形狀，四個角上的空白區域是沒有數值的區域。將此區域定義為非數區域。該研究中，為了便于在神經網絡中進行計算，非數區域用0填充。當輸入數據通過神經網絡的每個層時，在非數區域中可以生成非零值，并且這些非數區域的非零值可以影響后層的計算，因此，每當在非數區域中生成非零值時，就必須將其除去。

2.2 卷積神經網絡模型

卷積神經網絡（CNN）是在人類神經系統中提出的非常有用的神經網絡，并且在各種應用中表現出優異的性能。卷積神經網絡是一種分層結構，在卷積層和池化層交錯時提取入口數據的特征。

卷積層通過滑動窗口方式從輸入數據中提取特征，該方式實現表示數據特征的特征映射。執行特征映射的卷積內核的權重在卷積層中共享，并且本地鏈接到輸入數據。池化層通過卷積層中的特征映射的平均池化或最大池化來減小輸出維度的大小，因此，可以忽略諸如輸入數據中的精細移位或失真的變化。在卷積神經網絡的最終結構中，神經網絡完全連接并輸出到一維向量。卷積神經網絡包括一維、二維和三維的卷積神經網絡，通常，一維應用于序列數據，二維應用于圖像數據，三維應用于視頻數據。

人腦活動產生的腦電信號不僅隨著時間和頻率而變化，而且隨著通道而變化。這些三維數據不僅應考慮空間（通道和頻率）特征，還應考慮時間特征。二維卷積神經網絡已經在許多圖像識別應用中得到了廣泛的研究，并且已經顯示出良好的結果，但僅限于處理單幀輸入。三維卷積神經網絡（3D CNN）可以同時提取空間和時間的特征，超過了視頻分析中二維卷積神經網絡的性能[14-15]。在這研究中，三維卷積神經網絡用于三維腦電地形圖視頻的特征學習。圖4顯示了三維卷積神經網絡的結構。

三維卷積神經網絡通過以三維體積格式輸入數據來一起學習空間特征和時間特征。這種時空特征學習是通過三維卷積和三維池化操作實現的。使用ReLU（Rectified Linear Unit請補充ReLU的英文全稱）作為激活函數的屬于第i層的第j個特征映射中的（x，y，z）位置的值通過式（3）計算：

2.3 長短期記憶神經網絡模型

長短期記憶（Long Short-Term Memory， LSTM）神經網絡是一種能夠學習長期依賴性的特殊類型的循環神經網絡，旨在通過短期記憶解決長期依賴性問題。長短期記憶神經網絡能夠處理甚至最長的序列數據而不會消失梯度，現在，它被廣泛用于解決序列數據問題，例如語音識別、自然語言處理和圖像的自動注釋。

如圖5所示，長短期記憶神經網絡在單個單元中具有復雜的循環結構，其在時間上按時間順序連接。長短期記憶神經網絡具有兩個屬性值：一個是隨時間變化的單元的隱藏狀態H（t）值，另一個是使得可以長期維持存儲器的單元狀態C（t）。在圖5中，在框圖中沿著長短期記憶神經網絡單元的頂行水平改變單元狀態。長短期記憶神經網絡可以在單元狀態中添加或刪除信息。遺忘門F（t）調整輸入X（t）和先前隱藏狀態H（t-1）與單元狀態C（t）的連接，允許單元記住或忘記X（t）和H（t-1），并且輸入門I（t）和I′（t）確定是否將輸入值送到單元狀態C（t）。輸出門O（t）還基于單元狀態C（t）確定單元的輸出[16-18]。該過程如式（4）～（9）所示：

其中：W和B分別表示權重矩陣和偏差矢量，σ（·）表示sigmoid函數，tanh（·）表示雙曲正切函數。從長短期記憶神經網絡的特性可以看出，可以通過反映單元的狀態和內部狀態來精確地控制輸入數據。此外，固定長度和可變長度數據都可以在長短期記憶神經網絡入口和出口處理。當將長短期記憶神經網絡與其他類型的深度學習神經網絡一起結合使用時，這種優勢比單獨使用長短期記憶神經網絡更明顯。

2.4 結合卷積神經網絡與長短期記憶神經網絡的預測模型

三維卷積神經網絡可以提取許多有用的特征，以確保從輸入數據成功預測，具體取決于三維內核的大小。這樣提取的特征也以三維矩陣表示。也就是說，它是一種時空特征。然而，像典型的卷積神經網絡一樣，當通過在最后全連接層將三維特征矩陣制作成單個矢量來進行分類時，可能時空特征丟失它們自己的信息。另一方面，如上所述，長短期記憶神經網絡具有非常適合于時間序列數據的結構，因此，可以從其固有特性在記憶輸入數據的長時間歷史并同時輸出結果。如果建立將三維卷積神經網絡作為特征學習端與將長短期記憶神經網絡作為分類/預測端的結合模型，該模型可以獲得非常好的結果，所以，本研究提出了一種新的消費者偏好預測模型，通過長短期記憶層而不是全連接層，以便在保持從三維卷積神經網絡特征學習獲得的時空特征信息同時執行預測。

圖6顯示所提出的結合三維卷積神經網絡與長短期記憶神經網絡的預測模型。如圖6所示，由于腦電地形圖是圓形，因此在輸入到卷積神經網絡的腦電地形圖視頻中存在未定義數值的非數區域（參見圖3）。為了便于在卷積神經網絡中進行計算，非數區域填充了零。然而，由于卷積神經網絡的特性，在通過卷積層之后在非數區域中產生一些非零數值。這是不必要的結果，會對后層產生不利影響，因此，在通過卷積層之后，應該去除在非數區域中產生的非零數。在該研究中，定義一個面膜層來去除非零值并將其插入到在卷積層和池化層之間。面膜層預定義0和1元素組成的面膜矩陣，并進行面膜矩陣與卷積層結果的對應元素乘法，以去除在非數區域中的非零值。非數區域在通過卷積層和池化層的過程中逐漸變小并消失，因此必須應用面膜層，直到非數區域消失。

如圖6所示，在5個頻帶中得到的腦電地形圖視頻數據分別輸入到5個三維卷積神經網絡。每個三維卷積神經網絡由幾個卷積層、面膜層和池化層組成。各個三維卷積神經網絡的結果保留時間順序來組成一個矩陣，并輸入到長短期記憶神經網絡層。預測結果通過幾個長短期記憶神經網絡層輸出。

本文提出的這種預測模型可以應用于腦電信號的分類和預測，同時它可以提供良好的結果。首先，與一種基于特定公式或算法從時間頻率通道格式的大規模腦電波數據中提取特征的方法不同，本文提出的方法具有能夠從三維卷積神經網絡的學習過程中學習特征以產生理想的最終結果的優點。簡而言之，可以通過三維卷積神經網絡特征學習來學習適合于從腦電波數據傳遞到結果的特征。另外，由于長短期記憶神經網絡被用作分類/預測端，因此其優點在于它可以充分反映根據時間的腦電波信號的變化特性。

3 實驗結果和分析

如第2章已經提到的，在電腦上以128Hz下采樣的腦電波數據由32個通道中的512個樣本值組成。通過短時間傅里葉變換將該腦電波數據轉換成在32個通道、49個時間樣本和50個頻帶樣本中以三維形式表示的功率譜密度。該功率譜密度是預測模型的輸入數據。總腦電波數據中的80%用于學習數據，20%用于檢查數據。

為了評估所提出的預測模型的性能，本研究比較了所提出的預測模型與三維卷積神經網絡預測模型和長短期記憶神經網絡預測模型。針對兩種情況進行了性能評估：消費者依賴預測模型和消費者獨立預測模型。

本研究在Intel 2.5GHz Core i7處理器和內存8GHz計算機上使用深度學習專用包tensorflow開發了一個Python程序。性能評估的準確度（Accuracy， Acc）計算如下：

當消費者對產品的偏好表示為“喜歡”和“不喜歡”時，TP（True Positive）、FP（False Positive）、TN（True Negative）、FN（False Negative請補充TP、TN、FP、FN的英文全稱）分別表示將“喜歡”樣本預測為“喜歡”樣本的次數，將“不喜歡”樣本預測為“喜歡”樣本的次數、將“喜歡”樣本預測為“不喜歡”樣本的次數、將“不喜歡”樣本預測為“不喜歡”樣本的次數。

3.1 預測模型的結構和參數確定以及對比模型

進行實驗以確定圖6所示預測模型的結構和參數，為此提出了4種候選模型，4種候選模型的結構和參數如表1所示。其中特征學習端（第二列）的參數說明為：卷積層（高度×寬度×深度輸出數量）;面膜層（高度×寬度））;（池化層（高度×寬度×深度）;LSTM層（長短期記憶單元數量）。

為了評估3D CNN-LSTM預測模型的有效性，本研究將其與3D CNN和LSTM的單獨預測模型進行了比較。3D CNN預測模型如3D CNN-LSTM，由兩個卷積層、一個面膜層和兩個池化層組成，最后層連接全連接層輸出預測結果和全連接輸出層組成此句不太通順。對于LSTM預測模型，輸入數據隨著時間軸被轉換為二維格式，并且兩個LSTM層的單元數分別被設置為100、20，并且層之間的壓差系數被設置為0.6。

3.2 消費者依賴模型的性能對比

該實驗通過訓練和測試每個消費者的預測模型來進行，因此，所學習的預測模型就是消費者依賴預測模型。首先，當產品類型設置為1、3、5和6時，為每個消費者訓練和測試本文提出的3D CNN-LSTM模型。這些結果如圖8所示。從圖8中可見，消費者在實驗中的偏好預測結果通常顯示出超過80%的準確度。尤其是第3、第4和第17消費者的平均預測準確度超過85%;而第5、第14和第15消費者的平均預測準確度在75%至80%。消費者之間準確度的差異是由于消費者對產品偏好對的情緒狀態不同此句不太通順，因此腦電波信號的激活狀態彼此不同。由于消費者們對產品的情緒狀態互相不同，所以消費者們的大腦激活狀態也互相不同，因此存在消費者們之間的準確度差異。

除了第15和第17消費者以外，每個消費者對產品類型數量的預測準確度沒有顯示出很明顯的差異。由此可以看出，預測消費者產品偏好的準確度不會受到產品類型數量的影響。

接下來，使用3個預測模型來訓練每個消費者對于所有產品類型的預測模型并測試。該實驗的結果如圖9所示。

3D CNN-LSTM模型、3D CNN模型和LSTM神經網絡模型的平均預測準確度分別為82.36%，67.31%和62.92%。本文所提出的3D CNN-LSTM模型的平均預測準確度分別比3D CNN模型和LSTM神經網絡模型提高15.05個百分點和19.44個百分點。3D CNN模型的預測準確度比LSTM神經網絡模型提高4.39個百分點。3D CNN預測模型通過特征學習充分反映了時空特征，但準確度較低的原因是在全連接層中沒有考慮特征矩陣的時間順序。在LSTM神經網絡預測模型的情況下，由于僅將連接矩陣連接到輸入層和輸出層而不能通過時空特征來進行模型學習，因此，盡管反映了輸入數據的整體時間特性，但未反映空間特性。這就是LSTM預測模型的性能較低的原因。然而，3D CNN-LSTM預測模型獲得了良好的結果是因為特征矩陣是通過CNN特征提取階段中的時空特征學習來計算的，并且預測結果是在反映特征矩陣的時間順序的LSTM分類階段中進行的。

3.3 消費者獨立模型性能對比

在之前的實驗中，進行消費者依賴預測模型的性能評估。在該實驗中，重點在于構建可應用于所有消費者的預測模型，而不考慮每個消費者的特性。表2顯示了消費者獨立預測模型的產品類型性能對比。

因為消費者的大腦活動進展不同，消費者獨立模型的預測結果比消費者依賴模型大約低10個百分點。每種產品準確度的差異與消費者對產品的不同響應狀態有關。與之前的實驗結果相似，使用3D CNN和LSTM的預測模型分別與3D CNN-LSTM預測模型的準確度大約低16.34個百分點和17.88個百分點。3D CNN-LSTM的消費者獨立預測模型平均準確度為71.33%，其中最高73.24%是鞋子產品的，最低69.36%是包箱包產品的。

為了測試所提出模型的可擴展性，本研究分析了消費者人數對預測模型的預測準確性的影響，為此，通過將消費者人數改變為5、10、15和20來評估預測模型的預測準確度。這些結果顯示在表3中，可見所提出的模型仍然優于3D CNN和LSTM神經網絡模型;而且，隨著消費者人數的增加，所提出模型的預測準確度幾乎保持穩定。

4 結語

本文提出了一種利用深度學習神經網絡預測模型從消費者腦電波信號預測消費者產品偏好的新方法，并對該方法進行了評估實驗。

首先，本研究使用短時間傅里葉變換和雙調和樣條插值從多通道腦電波信號得到五個頻帶功率譜密度的腦電地形圖視頻;其次，本研究提出結合特征學習端和分類預測端的消費者偏好預測模型，該模型中，特征學習端由5個三維卷積神經網絡的并聯連接組成，而且分類預測段由2個長短期記憶神經網絡的串聯連接組成;最后，在選取20名消費者（13名男性和7名女性）參與實驗并對預測模型進行性能評估模型的訓練和測試后，結果顯示，與卷積神經網絡模型和長短期記憶神經網絡模型相比，消費者依賴模型的平均準確度分別提高了15.05個百分點和19.44個百分點，消費者獨立模型的平均準確度分別提高了16.34個百分點和17.88個百分點。綜上，本文提出的預測模型的理論特性與實驗結果，為消費者偏好預測系統低成本且高效服務于企業營銷策略研發與營銷管理提供了參考。

參考文獻 （References）

[1] SOLEYMANI M， CHANEL G， KIERKELS J J， et al. Affective ranking of movie scenes using physiological signals and content analysis[C]// Proceedings of the 2nd ACM Workshop on Multimedia Semantics. New York： ACM， 2008：32-39.

[2] TELPAZ A， WEBB R， LEVY D J. Using EEG to predict consumers future choices[J]. Journal of Marketing Research， 2015， 52（4）： 511-529.

[3] AMBLER T， BRAEUTIGAM S， STINS J， et al. Salience and choice： neural correlates of shopping decisions[J]. Psychology and Marketing， 2004， 21（4）： 247-261.

[4] BALDO D， PARIKH H， PIU Y， et al. Brain waves predict success of new fashion products： a practical application for the footwear retailing industry[J]. Journal of Creating Value， 2015， 1（1）： 61-71.

[5] KHUSHABA R N， GREENACRE L， KODAGODA S， et al. Choice modeling and the brain： a study on the electroencephalogram （EEG） of preferences[J]. Expert Systems with Applications， 2012， 39（16）： 12378-12388.

[6] MURUGAPPAN M. Wireless EEG signals based neuromarketing system using fast Fourier transform （FFT）[C]// CSPA 2014： Proceedings of the 10th International Colloquium on Signal Processing and Its Applications. Piscataway， NJ： IEEE， 2014：25-30.

[7] BOKSEM M A， SMIDTS A. Brain responses to movie trailers predict individual preferences for movies and their population-wide commercial success[J]. Journal of Marketing Research， 2015， 52（4）： 482-492.

[8] KAWASAKI M， YAMAGUCHI Y. Effects of subjective preference of colors on attention-related occipital theta oscillations[J]. Neuroimage， 2012， 59（1）： 808-814.

[9] FAUST O， HAGIWARA Y， HONG T J， et al. Deep learning for healthcare applications based on physiological signals： A review[J]. Computer Methods and Programs in Biomedicine， 2018， 161： 1-13.

[10] SHU L， XIE J Y， YANG M Y， et al. A review of emotion recognition using physiological signals[J]. Sensors， 2018， 18（7）： 2074.

[11] LIANG J W， CHAUDHURI S R， SHINOZUKA M. Simulation of nonstationary stochastic processes by spectral representation[J]. Journal of Engineering Mechanics， 2007， 133（6）： 616-627.

[12] HUANG G Q， SU Y W， KAREEM A， et al. Time-frequency analysis of nonstationary process based on multivariate empirical mode decomposition[J]. Journal of Engineering Mechanics， 2016， 142（1）： 04015065.

[13] Mathworks Inc. Griddata function description[EB/OL]. [2018-11-20]. https：//ww2.mathworks.cn/help/matlab/ref/griddata.html.

[14] TRAN D， BOURDEV L， FERGUS R， et al. Learning spatiotemporal features with 3D convolutional networks[C]// ICCV 2015： Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway， NJ： IEEE， 2015： 4489-4497.

[15] 孔祥浩，馬琳，李海峰，等.CNN與CSP相結合的腦電特征提取與識別方法研究[J].信號處理，2018，34（2）：164-173.（KONG X H， MA L， LI H F， et al. Research on EEG feature extraction and recognition method based on CNN and CSP[J]. Journal of Signal Processing， 2018， 34（2）： 164-173.）

[16] 謝逸，饒文碧，段鵬飛，等.基于CNN和LSTM混合模型的中文詞性標注[J].武漢大學學報（理學版），2017，63（3）：246-250.（XIE Y， RAO W B， DUAN P F， et al. A Chinese POS tagging approach using CNN and LSTM-based hybrid model[J]. Wuhan University Journal of Natural Sciences， 2017， 63（3）： 246-250.）

[17] GREFF K， SRIVASTAVA R K， KOUTNíK J， et al. LSTM： a search space odyssey[J]. IEEE Transactions on Neural Networks and Learning Systems， 2015， 28（10）： 2222-2232.

[18] GERS F A， ECK D， SCHMIDHUBER J. Applying LSTM to time series predictable through time-window approaches[C]// ICANN 2001： Proceedings of the 10th International Conference on Artificial Neural Networks. Berlin： Springer， 2001： 21-25.