用于情绪识别的生物信号数据集汇总

在HCI Games Group，研究人员喜欢将情感视为游戏体验的核心驱动因素，为了了解玩家如何体验游戏原型，以及游戏中互动会引发什么样的情感反应，一种常见的技术就是询问玩家玩完游戏后的感受。为此，通常使用不同的情感维度，如arousal(即兴奋程度)，valence(即good or bad)或dominance(即玩家在控制中的感觉)来量化主观现象。您可以想象，这些类型的自我报告对于迭代改进游戏原型是非常有价值的。

自我评估人体模型用于量化情感维度((valence和arousal)

然而，事后调查问卷的一个缺点是，某些类型的情绪是短暂的经历，可能会随着时间的推移而消失。如果目标是实时调查情感反应，这就成了一个问题。为了解决这个问题，文献[1]建议使用生物信号，如大脑活动(如EEG或MEG)、心率(如ECG)、皮肤电导率、皮肤温度或肌肉活动(通过肌电图)。HCI游戏小组的一个主要关注点就是这个领域。

HTC Games Group开发的Repidly是一种用于基于生物信号的游戏分析的协作工具

这种生物识别方法的主要挑战在于找到玩家所经历的从生理模式到情感状态的可靠映射。目的是实时量化某些情感维度，而不会中断游戏流程以采访玩家其情绪状态。因此，创建自动的方法以基于实时的实时生理测量来估计情感维度的幅度是有帮助的。但是，包含创建此类自动化方法所需的所有信息的数据集成本高昂，且难以获取。

在这篇博客文章中，作者希望提供一个可用的免费数据集的概要，供任何对这一领域的研究感兴趣的人使用。本文总结的四个数据集是MAHNOB-HCI (Soleymani et al.)、EMDB (Carvalho et al.)、DEAP (Koelstra et al.)和DECAF (Abadi et al.)。通过向参与者呈现多媒体内容（即图像或视频），并记录参与者对该内容的各种生理反应，来获取所有这些数据集。为了实现从生理反应到情感反应的映射，所有数据集都包含有关情感维度的主观自我报告，比如arousal, valence和dominance。

SEED

(SJTU Emotion EEG Dataset)

SJTU 情感脑电数据集（SEED）是由BCMI实验室提供的EEG数据集的集合，该实验室由吕宝粮教授领导 。

数据集官网以及获取地址：

http://bcmi.sjtu.edu.cn/~seed

SEED数据集包含对象观看电影剪辑时的脑电信号。仔细选择影片剪辑，以引起不同类型的情感，包括积极（positive），消极（negative）和中性(neutral)的情感。

刺激与实验

从材料库（6部电影）中选择了15个中国电影剪辑（正面，中性和负面情绪）作为实验中使用的刺激。胶片夹的选择标准如下：

1. 整个实验的时间不应太长，以免会使受试者感到疲劳；

2. 影片应理解无须说明；

3. 视频应引起一种期望的目标情感。每个影片剪辑的持续时间约为4分钟。

每个影片剪辑都经过精心编辑，以产生连贯的情感，并最大化情感含义。实验中使用的影片剪辑的详细信息如下：earthquake=aftershock

MAHNOB-HCI 

(Multimodal Database for Affect Recognition and ImplicitTagging)

作者/机构: 

Soleymani et al. (Imperial College London,Intelligent Behaviour Understanding Group)

年份: 2011

网址: MAHNOB Databases

出版物: A Multimodal Database for Affect Recognition andImplicit Tagging [2]

参与者: 27 (11 male, 16 female)

刺激: fragments of movies and pictures

信号采集:

6 face and body cameras (60fps), head-wornmicrophone (44.1kHz), eye gaze tracker (60Hz), electrocardiogram (ECG),electroencephalogram (32 channels), skin temperature and respiration amplitude(all biosignals at 256Hz)

主观评分:

 arousal, valence, dominance and predictability(both on a scale from 1 to 9)

获取数据: 

按照用户请求中的说明操作。为了获得对数据集的访问权限，您需要签署一份最终用户许可协议。

网址:https://mahnob-db.eu/hci-tagging/

https://mahnob-db.eu/hci-tagging/accounts/register/

EMDB 

(Emotional Movie Database)

作者/机构: Carvalho et al.

年份: 2012

出版物: 

The Emotional Movie Database (EMDB): A Self-Report andPsychophysiological Study [3]

参与者: 

113 for self-report ratings of movie clips and 32 forbiometrics

刺激:

52 movie clips without auditory content from differentemotional categories

信号采集: skin conductance level (SCL) and heart rate (HR)

主观评分: arousal, valence and dominance (all on a scalefrom 1 to 9)

获取数据: 

向EMDB@psi.uminho.pt发送一个数据库请求，并遵循响应中的指令。当您提交使用该数据库的请求时，您将被要求确认该数据库将仅用于非营利性的科学研究，并且保证不会违反国际版权法复制或广播该数据库。

DEAP

(Database for Emotion Analysis using Physiological Signals)

作者/机构: 

Koelstra et al. (peta media, Queen MaryUniversity of London, University of Twente, University of Geneva, EPFL)

年份: 2012

Website: DEAP Dataset

出版物: 

DEAP: A Database for Emotion Analysis ;UsingPhysiological Signals[4]

参与者: 32

刺激: 

40x 1-minute long excerpts from music videos from last.fm(retrieved using affective tags, video highlight detection and an onlineassessment tool)

信号采集: 

electroencephalogram (32 channels at 512Hz), skinconductance level (SCL), respiration amplitude, skin temperature,electrocardiogram, blood volume by plethysmograph, electromyograms ofZygomaticus and Trapezius muscles (EMGs), electrooculogram (EOG), face video (for22 participants)

主观评分: 

arousal, valence, like/dislike, dominance (all ona scale from 1 to 9), familiarity (on a scale from 1 to 5)

获取数据: 

http://www.eecs.qmul.ac.uk/mmv/datasets/deap/

http://www.eecs.qmul.ac.uk/mmv/datasets/deap/download.html

DECAF

(Multimodal Dataset for Decoding Affective PhysiologicalResponses)

作者/机构: 

Abadi et al. (University of Trento, FBK, ADSC,CiMeC, Semantics & Knowledge Innovation Lab, Telecom Italia)

年份: 2015

Website: MHUG

出版物: 

DECAF: MEG-Based Multimodal Database for DecodingAffective Physiological Responses [5]

参与者: 30

刺激: 

40x 1-minute long excerpts from music videos (same as inthe DEAP dataset), 36x movie clips

信号采集: 

magnetoencephalogram (MEG), horizontalelectrooculogram (hEOG), electrocardiogram (ECG), electromyogram of theTrapezius muscle (tEMG), near-infrared face video

主观评分: 

arousal, valence, dominance (all on a scale from1 to 9), time-continuous emotion annotations for movie clips (from 7 experts)

获取数据:

http://mhug.disi.unitn.it/wp-content/DECAF/DECAF.html

参考:

https://medium.com/human-computer-interaction-and-games-research/biosignal-datasets-for-emotion-recognition-d3a8c61ef781