Högskolan i Skövde

Questionnaires and physiological measurements are the most common approach used to obtain data for emotion estimation in the field of human-computer interaction (HCI) and games research. Both approaches interfere with the natural behavior of users. Initiatives based on computer vision and the remote extraction of user signals for emotion estimation exist, however they are limited. Experiments of such initiatives have been performed under extremely controlled situations with few game-related stimuli. Users had a passive role with limited possibilities for interaction or emotional involvement, instead of game-based emotion stimuli, where users take an active role in the process, making decisions and directly interacting with the media. Previous works also focus on predictive models based on a group perspective. As a consequence, a model is usually trained from the data of several users, which in practice describes the average behavior of the group, excluding or diluting key individualities of each user. In that light, there is a lack of initiatives focusing on non-obtrusive, user-tailored emotion detection models, in particular regarding stress and boredom, within the context of games research that is based on emotion data generated from game stimuli. This research aims to fill that gap, providing the HCI and the games research community with an emotion detection process that can be used to remotely study user's emotions in a non-obtrusive way within the context of games.

The main knowledge contribution of this research is a novel process for emotion detection that is non-obtrusive, user-tailored and game-based. It uses remotely acquired signals, namely, heart rate (HR) and facial actions (FA), to create a user-tailored model, i.e. trained neural network, able to detect the emotional states of boredom and stress of a given subject. The process is automated and relies on computer vision and remote photoplethysmography (rPPG) to acquire user signals, so that specialized equipment, e.g. HR sensors, is not required and only an ordinary camera is needed. The approach comprises two phases: training (or calibration) and testing. In the training phase, a model is trained using a user-tailored approach, i.e. data from a given subject playing calibration games is used to create a model for that given subject. Calibration games are a novel emotion elicitation material introduced by this research. These games are carefully designed to present a difficulty level that constantly and linearly progresses over time without a pre-defined stopping point. They induce emotional states of boredom and stress, accounting for particularities at an individual level. Finally, the testing phase occurs in a game session involving a subject playing any ordinary, non-calibration game, e.g. Super Mario. During the testing phase, the subject's signals are remotely acquired and fed into the model previously trained for that particular subject. The model subsequently outputs the estimated emotional state of that given subject for that particular testing game.

The method for emotion detection proposed in this thesis has been conceived on the basis of established theories and it has been carefully evaluated in experimental setups. Results show a statistical significance classification of emotional states with a mean accuracy of 61.6\%. Finally, this thesis presents a series of systematic evaluations conducted in order to understand the relation between psychophysiological signals and emotions. Facial behavior and physiological signals, i.e. HR, are analyzed and discussed as indicators of emotional states. This research reveals that individualities can be detected regarding facial activity, e.g. an increased number of facial actions during the stressful part of games. Regarding physiological signals, findings are aligned with and reinforce previous research that indicates higher HR mean during stressful situations in a gaming context. Results also suggest that changes in HR during gaming sessions are a promising indicator of stress. The method for the remote detection of emotions, presented in this thesis, is feasible, but does contain limitations. Nevertheless, it is a solid initiative to move away from questionnaires and physical sensors into a non-obtrusive, remote-based solution for the evaluation of user emotions.

Frågeformulär och fysiologiska mätningar med hjälp av sensorer är i dagsläget de vanligaste metoderna för insamling av data som kan användas för att identifiera användares känslotillstånd inom människa- datorinteraktion och spelforskning. Dessa metoder påverkar dock användares naturliga beteenden då de antingen är påträngande under själva användningstillfället (till exempel EEG och ECG sensorer) eller genomförs först efter användningstillfället. Nya metoder försöker minska den direkta påverkan på användaren genom att samla användardata med hjälp av datorseende och olika fjärrinsamlingsverktyg (till exempel \textit{eye-tracking}), men dessa är för tillfället begränsade. Många av dessa metoder kan enbart användas i omsorgsfullt kontrollerade situationer med stimuli från experimentspecifik mjukvara. För att mätinstrumenten ska få tydlig data i dessa experimentsituationer har användare ofta förhållandevis begränsade interaktionsmöjligheter med specialutvecklade spel. Detta gör det tveksamt att de representerar komplexiteten hos verkliga spelsituationer. Metoderna använder sig även ofta av projiceringsmodeller baserade på genomsnittsdata från stora användargrupper, vilket gör att individuella egenheter hos användare ofta förbises. Med detta i åtanke finns det ett stort behov av nya verktyg och mätmetoder som är både icke-påträngande och användarspecifika. Denna avhandling presenterar ett forskningsprojekt där ett sådant verktyg utvecklas och utvärderas.

Det huvudsakliga kunskapsbidraget från denna forskning är en nydanande process för känslomätning som är icke-påträngande, användarspecifik och spelbaserad. Processen använder sig av fjärrinsamling av hjärtrytm (HR) och rörelser i ansiktsmuskler för att träna ett användarspecifikt neuralt nätverk som kan identifiera om användaren är uttråkad eller stressad. Denna lösning är helt automatiserad och använder sig av datorseende och fotopletysmografi vid analys av videoinspelningar för insamling av användardata och kräver inga specialanpassade verktyg (till exempel HR-sensorer). Processen består av två faser: en tränings- (eller kalibrerings-) och en testfas. I träningsfasen konstrueras och tränas en modell av en användares känslorespons under spelandet av särskilt utformade kalibreringsspel. Dessa kalibreringsspel är utvecklade för att framkalla olika typer av känslorespons i form av stress och uttråkning genom att utsätta användare för utmaningar med olika svårighetsgrader. I testfasen spelar användaren ett vanligt spel (till exempel Super Mario). Under detta spelande fjärrinsamlas fysiologisk användardata, vilken behandlas av den tidigare konstruerade modellen som är anpassad för att tolka data från just denna användare. Modellen producerar slutligen en uppskattning av användarens känslotillstånd under speltillfället.

Metoden för känslomätning som föreslås i denna avhandling är baserad på tidigare etablerade teorier och har även blivit utvärderad i en serie kontrollerade experiment. Resultat från utvärdering visar att det finns en statistiskt signifikant identifiering av känslotillstånd med en precision på 61,6\%. Utöver presentationen av det framtagna verktyget för känslomätningar presenteras även en serie av systematiska utvärderingar av förhållandet mellan psykofysiologiska signaler och känslor. Användning av ansiktsmuskler och fysiologiska signaler (till exempel HR) analyseras och deras roll som indikatorer på känslotillstånd diskuteras. Denna forskning visar att individuella egenheter i människors ansiktsuttryck kan identifieras (till exempel ökad mängd och intensitet av olika ansiktsuttryck under stressframkallande spelsegment). Angående fysiologiska signaler är studieresultaten förenliga med, och styrker, tidigare forskning som drar paralleller mellan HR och stresskänslor i spelsituationer. Metoden för fjärrmätning av känslotillstånd som presenteras i denna avhandling är användbar, men har vissa begränsningar. Oavsett detta är metoden ett lovande första steg bort från användning av frågeformulär och fysiskt påträngande sensorer och mot fjärrinsamlingsbaserade lösningar för utvärdering av användares känslotillstånd.