Título
Multimodal information fusion for deception detection in videos
Autor
Rodrigo Rill-García
Colaborador
Hugo Jair Escalante Balderas (Asesor de tesis)
Luis Villaseñor Pineda (Asesor de tesis)
Nivel de Acceso
Acceso Abierto
Materias
Resumen o descripción
Deception (the action of deliberately causing someone to believe something that is not true) can have many different repercussions and it is inherent to our daily life. However, detecting lies is inherently complex for humans despite our continuous contact with them. Due to this, not only there is uncertainty on which features could or should be used as cues for (automatic) deception detection, but also labeled data is scarce. In this thesis, we explore features that can be automatically extracted from videos for affective computing and study their performance for the specific task of deception detection in videos. Additionally, we present a study on different multimodal fusion methods meant to improve the individual performance of the different feature sets extracted, including a novel set of methods based on boosting. For this study, high-level features are extracted using open automatic tools on the visual, acoustical and textual modalities, respectively. Experiments are conducted using a real-life trial dataset as well as a novel Mexican deception detection dataset using Spanish as the spoken language. Summarizing, in this thesis we study high-level features and perform a multimodal complementarity analysis between them to support the idea that multimodal fusion is a good approach for deception detection; with such evidence, we present one of the first works focused on multimodal deception detection methods further than early concatenation of features, including the first study (to the best of our knowledge) on automatic deception detection in clips from Mexican subjects speaking Spanish.
El engaño (la acción de causar deliberadamente que alguien crea algo que no es cierto) puede tener varias diferentes repercusiones y es parte inherente de nuestra vida diaria. Sin embargo, detectar mentiras es inherentemente complejo para los humanos a pesar de nuestro continuo contacto con ellas. Debido a esto, no sólo hay incertidumbre en cuáles atributos podrían o deberían ser usados como pistas para detección (automática) de engaño, sino que también los datos etiquetados son escasos. En esta tesis, exploramos atributos que pueden ser automáticamente extraídos de videos para cómputo afectivo y estudiamos su desempeño para la tarea específica de detección de engaño en videos. Además, presentamos un estudio de diferentes métodos de fusión multimodal destinados a mejorar el desempeño individual de los diferentes conjuntos de atributos extraídos, incluyendo un nuevo conjunto de métodos basados en boosting. Para este estudio, atributos de alto nivel son extraídos usando herramientas automáticas de uso libre en las modalidades visual, acústica y textual, respectivamente. Los experimentos se llevan a cabo usando una base de datos de juicios de la vida real así como una nueva base de datos mexicana para detección de engaño usando el español como la lengua hablada. Resumiendo, en esta tesis estudiamos atributos de alto nivel y realizamos un análisis de complementariedad multimodal entre ellos para apoyar la idea de que la fusión multimodal es un buen acercamiento para la detección de engaño; con dicha evidencia, presentamos uno de los primeros trabajos enfocados en detección de engaño multimodal más allá de una concatenación temprana de atributos, incluyendo el primer estudio (hasta donde sabemos) en detección automática de engaño en videoclips de sujetos mexicanos hablando español.
Editor
Instituto Nacional de Astrofísica, Óptica y Electrónica
Fecha de publicación
agosto de 2019
Tipo de publicación
Tesis de maestría
Versión de la publicación
Versión aceptada
Recurso de información
Formato
application/pdf
Idioma
Inglés
Audiencia
Estudiantes
Investigadores
Público en general
Sugerencia de citación
Rill García, R, (2019), Multimodal information fusion for deception detection in videos, Tesis de Maestría, Instituto Nacional de Astrofísica, Óptica y Electrónica.
Repositorio Orígen
Repositorio Institucional del INAOE
Descargas
1088